JP2007140805A - 画像内オブジェクトのパラメータ推定装置，方法，媒体 - Google Patents

Abstract

【課題】画像内オブジェクトのパラメータ推定において、背景変化とオクルージョンに対して頑健なパラメータ推定を行う画像内オブジェクトのパラメータ推定装置，方法，媒体を提供する。
【解決手段】特徴抽出部１０２及び特徴抽出部１０６によって、画像の各位置における縦方向の画素値の変化と、横方向の画素値の変化に対して、それぞれ微分を施したものを含む複素数で表現したものを特徴量として抽出し、さらに、パラメータ推定関数作成部１０３及びパラメータ推定部１０７において、局所におけるガウシアンカーネルの和として表されたカーネル関数を利用して、画像内オブジェクトのパラメータを推定する。
【選択図】図１

Description

本発明は、画像内オブジェクトのパラメータ推定装置，方法，媒体であって、例えば、画像処理に関するものである。

一般的に、カメラで撮像したオブジェクトには、どの向きから撮ったものか、どこから照明をあてているか等、様々なパラメータが含まれている。

ここで、撮影角度（例えば、水平方向）をパラメータとして考えた場合の画像とパラメータの関係の一例を図３に基づいて説明する。例えば、図３中の画像Ａの撮影角度（即ち、パラメータ）は、水平方向で０度である。また、画像Ｂの撮影角度は、水平方向で４５度である。

前記のように、パラメータ情報を画像のみから推定することは、工業部品の分類，移動体の監視といった、幅広い応用が考えられ、工学的価値は高い。

なお、前記の推定を実現する方法として、例えば、線形部分空間法とサポートベクトル回帰を組み合わせた方法（例えば、非特許文献１参照）が提案されている。前記の推定方法は、パラメータを様々に変えたときの画像と、パラメータと、の関係を特徴空間における入出力関数として表現し、その関数を用いてパラメータを推定する推定方法である。なお、前記の推定方法における最適化では、例えば、凸二次計画法（例えば、非特許文献２参照）が用いられる。

また、前記の推定方法は、例えば、「パラメトリック固有空間法」（例えば、非特許文献３参照）のようにサンプル点を全て保存する方法ではなく、関数の基底ベクトルに相当するベクトル（例えば、サポートベクトル）だけを保存すれば良い。そのため、推定計算中に必要とされるメモリ容量が、計算機またはコンピュータのメモリ容量を圧迫する心配が少ない。
安藤信吾、草地良規、鈴木 章、荒川賢一，「サポートベクトル回帰による３次元物体の姿勢推定」，信学技報，社団法人 電子情報通信学会，ＰＲＭＵ２００４−９１，ｐｐ．９−１５，２００４。 今野浩、山下浩，「非線形計画法」，日科技連出版社，１９７８。 村瀬 洋、Ｓｈｒｅｅ Ｋ．ＮＡＹＡＲ，「２次元照合による３次元文体認識−パラメトリック固有空間法−」，電子情報通信学会論文誌，社団法人 電子情報通信学会，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．２１７９−２１８７，１９９４。

上述のような推定方法は、オブジェクトの背景がさまざまに変化したり、オクルージョンが発生するような状況に弱いという問題が存在している。

本発明は、前記課題に基づいてなされたものであり、画像内オブジェクトのパラメータ推定において、背景変化とオクルージョンに対して頑健なパラメータ推定を行う画像内オブジェクトのパラメータ推定装置，方法，媒体を提供することにある。

本発明は、前記課題の解決を図るために、請求項１記載の発明は、デジタル画像データに含まれるオブジェクトのパラメータを推定するパラメータ推定装置であって、前記デジタル画像データを入力する入力手段と、該デジタル画像データ中の各位置における第１方向及び第２方向の画素値の変化に関し、微分を施して得られる微分値で示される特徴を抽出する特徴抽出手段と、該特徴に基づき、局所におけるガウシアンカーネルの和として表されるカーネル関数及びサポートベクトル回帰を用いて、前記パラメータを推定するための関数を作成するパラメータ推定関数作成手段と、該関数に基づき、局所におけるガウシアンカーネルの和として表されるカーネル関数を用いて、パラメータ推定を行うパラメータ推定手段と、該パラメータ推定の結果を出力する出力手段と、を有することを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記の局所におけるガウシアンカーネルの和として表されるカーネル関数を式［１］と見做したパラメータ推定関数作成手段並びにパラメータ推定手段を含むことを特徴とする。

請求項３記載の発明は、デジタル画像データに含まれるオブジェクトのパラメータを推定するパラメータ推定方法であって、前記デジタル画像データを入力する入力ステップと、該デジタル画像データ中の各位置における第１方向及び第２方向の画素値の変化に関し、微分を施して得られる微分値で示される特徴を抽出する特徴抽出ステップと、該特徴に基づき、局所におけるガウシアンカーネルの和として表されるカーネル関数及びサポートベクトル回帰を用いて、前記パラメータを推定するための関数を作成するパラメータ推定関数作成ステップと、該関数に基づき、局所におけるガウシアンカーネルの和として表されるカーネル関数を用いて、パラメータ推定を行うパラメータ推定ステップと、該パラメータ推定の結果を出力する出力ステップと、を有することを特徴とする。

請求項４記載の発明は、請求項３記載の発明において、前記の局所におけるガウシアンカーネルの和として表されるカーネル関数を式［１］と見做したパラメータ推定関数作成ステップ並びにパラメータ推定ステップを含むことを特徴とする。

請求項５記載の発明は、記録媒体であって、請求項１または２に記載のパラメータ推定方法を、コンピュータで実行可能に記載したプログラム記録したことを特徴とする。

前記の請求項１，３記載の発明によれば、特徴量の一部が変化したときの影響を小さくするパラメータ推定を行うことができる。

前記の請求項２，４記載の発明によれば、式［１］を用いたパラメータ推定を行うことができる。

前記の請求項５記載の発明によれば、パラメータ推定方法を構成したプログラムを記録媒体に記録することができる。

以上示したように、請求項１，３記載の発明によれば、画像中に含まれるオブジェクトに対し、背景変化及びオクルージョンに頑健な（かつ、精度の高い）パラメータ推定を行うことができる。

請求項２，４記載の発明によれば、式［１］を用いたパラメータ推定の結果を取得できる。

請求項５記載の発明によれば、パラメータ推定方法を構成したプログラムを記録した記録媒体を取得することができる。

これらを以って画像処理の分野に貢献できる。

以下、本発明の実施の形態における画像内オブジェクトのパラメータ推定装置，方法，媒体を図面等に基づいて詳細に説明する。

本発明の実施の形態は、サポートベクトル回帰に使用する特徴量とカーネル関数を工夫した原理に基づいている。まず、画素の画素値（例えば、輝度）自体を特徴量として用いるのではなく、画像データ中の各位置における縦方向（例えば、図３中の矢印Ｖ方向）の輝度の変化と横方向（例えば、図３中の矢印Ｈ方向）の輝度の変化に対して、それぞれ微分を施して得られた量を特徴量と見做す。なお、前提として、特徴ベクトルは式（１）及び式（２）を採用する。

なお、式（１）中のｘは特徴ベクトル、Ｎは画素数、である。また、ｘは明るさの正規化が行われたものとする。

前記の式（２）中のｘ_kは特徴ベクトルｘのｋ番目の要素、ａ_kはｋ番目に対応する位置の横方向の微分値、ｂ_kはｋ番目に対応する位置の縦方向の微分値、である。即ち、ｘ_kはｋ番目に対応する位置のグラジェントを複素数で表現したものである。また、前記の微分値は、物体の輪郭などに限られた部分にのみ反応するため、背景の変化などに強い特徴量と言える。

さらに、カーネル関数ｋ（ｘ，ｙ）は、局所的なガウシアンカーネルの和をとった式（即ち、式（３））を用いる。

式（３）中のｘ_kは特徴ベクトルｘのｋ番目の要素、ｙ_kは特徴ベクトルｙのｋ番目の要素を表す。また、ｎは特徴ベクトルの次元数、σはパラメータである。さらに、

は、複素空間上での距離を表している。

通常の大局的なカーネル（例えば、ガウシアンカーネルや多項式カーネル）では、ある一部分が何らかの理由で欠けたとき、出力値に大きな影響を与える。前記の大局的なカーネルに対し、式（３）は局所的な結果の総和であるため、一部分が欠けても出力値に与える影響が少ない。したがって、式（３）をカーネル関数として利用すれば、背景変化とオクルージョンに頑健なパラメータ推定を実現できる。

即ち、本実施の形態は、画像の各位置における縦方向の画素値の変化と、横方向の画素値の変化に対して、それぞれ微分を施したものを含む複素数で表現したものを特徴量として用い、局所におけるガウシアンカーネルの和として表されたカーネル関数を利用した画像内オブジェクトのパラメータ推定装置，方法，媒体である。

本実施の形態の構成を図１に基づいて以下に説明する。なお、図１は、本実施の形態におけるパラメータ推定装置の構成図である。

図１中のパラメータ推定装置は、符号１０１から１０８で示される部から構成される。

符号１０１で示す部は、デジタルカメラ等で撮像された学習用のオブジェクト画像データ及びその正解パラメータ値を入力し、符号１０２で示す部（以後、特徴抽出部と称する）に対して伝送する部（以後、学習画像データ入力部と称する）である。

なお、前記のオブジェクト画像データは、例えば、画像データ記憶装置に記憶されても良い。

前記の特徴抽出部１０２は、入力されたオブジェクト画像データから、そのオブジェクトの特徴ベクトルを抽出し、該特徴ベクトルを符号１０３で示す部（以後、パラメータ推定関数作成部と称する）へ伝送する部である。なお、前記の特徴ベクトルは、式（１）及び式（２）を用いて抽出されるものとする。

なお、前記の特徴ベクトルの次元を減少させるための方法の一例としては、画像をメッシュ状に区切り、各領域内で平均化した特徴を用いる方法を採って良い。また、他例としては、画像上の各位置における画素値の分散の大きい位置から順に選択し、分散の小さい位置は無視することによって次元を減少する方法を採っても良い。

前記のパラメータ推定関数作成部１０３は、サポートベクトル回帰に基づき、パラメータ推定関数を生成する部である。前記のサポートベクトル回帰では、カーネル関数ｋ（ｘ_i，ｘ_j）を用いて、以下のような推定式（即ち、式（４））に表す。なお、ｘは特徴抽出部１０２によって、低次元圧縮された特徴ベクトルである。

なお、式（４）中のｘ_iは学習用の特徴ベクトル、ｍはその数である。また、（α_i ^*−α_i）≠０となるｘ_iをサポートベクトルと称する。前記のα_i ^*、α_i及びｂは、式（５）の最適化問題を解くことによって取得できる。

なお、式（５）中のｙ_iはｘ_iに対応する正解パラメータ値である。また、前記の最適化問題は、凸二次計画法を用いて解くことができる。その際に、式（５）中のカーネル関数には、前記の式（３）を用いる。

そして、前記パラメータ推定関数作成部１０３によって作成されたオブジェクトのパラメータ推定関数は、符号１０４で示される部（以後、パラメータ推定関数記憶部と称する）に伝送される。

前記のパラメータ推定関数記憶部１０４は、前記のパラメータ推定関数作成部１０３によって作成されたオブジェクトのパラメータ推定関数を所定のメモリに記憶する部である。

符号１０５で示される部は、デジタルカメラ等で撮像されたパラメータ推定対象となるオブジェクト画像データを入力し、符号１０６で示す部（以後、特徴抽出部と称する）に伝送する部（以後、対象画像データ入力部と称する）である。

前記の特徴抽出部１０６は、前記の特徴抽出部１０２と同様、オブジェクトの特徴ベクトルを抽出し、符号１０７で示す部（以後、パラメータ推定部と称する）へ伝送する部である。

前記のパラメータ推定部１０７は、前記のパラメータ推定関数記憶部１０４によってメモリに記憶されたパラメータ推定関数を読み出し、パラメータを推定する部である。なお、前記の式（４）が推定回帰式となる。また、前記のパラメータ推定部１０７は、推定されたパラメータ値を符号１０８で示す部（以後、出力部と称する）に伝送することも行う。

前記の出力部１０８部は、前記パラメータ推定部１０７で演算された結果を出力する部である。

次に、本実施の形態におけるパラメータ推定方法のフローチャートを図２に基づいて以下に説明する。前記のフローチャートは、学習処理フローチャート（即ち、図２Ａで示すフローチャート）とパラメータ推定処理フローチャート（即ち、図２Ｂで示すフローチャート）から構成されている。なお、以下の説明で図１中の符号と同じものの詳細な説明は省略する。

まず、前記の学習処理フローチャート図２Ａにおいては、撮像された学習用オブジェクト画像データ及びその正解パラメータが、図１中の学習画像データ入力部１０１に対して入力される。そして、学習画像データ入力部１０１は、前記の撮像された学習用のオブジェクト画像データ及びその正解パラメータを特徴抽出部１０２に対して伝送する（Ｓ０１）。

次に、前記の特徴抽出部１０２が、前記の入力された学習用のオブジェクト画像データ及びその正解パラメータから、そのオブジェクトの特徴ベクトルを抽出し、該特徴ベクトルをパラメータ推定関数作成部１０３へ伝送する（Ｓ０２）。

次に、前記のパラメータ推定関数作成部１０３が、前記の特徴ベクトルからパラメータ推定関数を生成し、該パラメータ推定関数をパラメータ推定関数記憶部１０４に対して伝送する（Ｓ０３）。

次に、前記のパラメータ推定関数１０４は、前記パラメータ推定関数を所定のメモリに記憶する（Ｓ０４）。

そして、全てのパラメータの推定関数を作成したか、否か、をチェックし、全てのパラメータの推定関数が作成された場合には、学習処理を終了する。また、全てのパラメータの推定関数が作成されていなかった場合には、符号Ｓ０３で示す処理に戻る（Ｓ０８）。

前記のパラメータ推定処理フローチャート図２Ｂにおいては、対象画像データ入力部１０５に対して、パラメータ推定対象となるオブジェクト画像データが入力され、該オブジェクト画像データが特徴抽出部１０６に対して伝送される（Ｓ０５）。

次に、前記の特徴抽出部１０６は、前記のオブジェクト画像データから特徴ベクトルを抽出し、該特徴ベクトルをパラメータ推定部１０７へ伝送する（Ｓ０６）。

次に、前記のパラメータ推定部１０７は、前記のメモリに記憶されたパラメータ推定関数を読み出し、パラメータを推定する（Ｓ０７）。

次に、全てのパラメータを作成したか、否か、をチェックし、全てのパラメータが作成されていた場合には、パラメータ推定処理を終了する。また、全てのパラメータが作成されていなかった場合には、符号Ｓ０７で示す処理に戻る（Ｓ０９）。

なお、前記のパラメータを出力部１０８に対して伝送する処理は、例えば、符号Ｓ０７で示す処理と符号Ｓ０９で示す処理間に挿入されても良い。

また、本実施の形態の方法を実現するソフトウェアを構成するプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（または、ＭＰＵ（Ｍｉｃｒｏｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））が記録媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。

即ち、前記のプログラムコードを記録した記録媒体（例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ），ＣＤ−ＲＷ（Ｃｏｍｐａｃｔ Ｄｉｓｋ ＲｅＷｒｉｔａｂｌｅ），ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ），ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ））は、本実施の形態を構成する。

以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。

例えば、本実施の形態の変形例としては、前記のパラメータを出力部１０８に対して伝送する処理を、符号Ｓ０７で示す処理中で、該パラメータを所定のメモリに蓄積し、全てのパラメータを作成したときに、出力部１０８に対し、一括して伝送する処理と見做しても良い。

本実施の形態におけるパラメータ推定装置の構成図 本実施の形態におけるパラメータ推定方法のフローチャート 一般的なパラメータの一例

符号の説明

１０１…学習画像データ入力部
１０２，１０６…特徴抽出部
１０３…パラメータ推定関数作成部
１０４…パラメータ推定関数記憶部
１０５…対象画像データ入力部
１０７…パラメータ推定部
１０８…出力部
Ａ，Ｂ，Ｃ，Ｄ，Ｅ…画像

Claims (5)

1. デジタル画像データに含まれるオブジェクトのパラメータを推定するパラメータ推定装置であって、
   前記デジタル画像データを入力する入力手段と、
   該デジタル画像データ中の各位置における第１方向及び第２方向の画素値の変化に関し、微分を施して得られる微分値で示される特徴を抽出する特徴抽出手段と、
   該特徴に基づき、局所におけるガウシアンカーネルの和として表されるカーネル関数及びサポートベクトル回帰を用いて、前記パラメータを推定するための関数を作成するパラメータ推定関数作成手段と、
   該関数に基づき、局所におけるガウシアンカーネルの和として表されるカーネル関数を用いて、パラメータ推定を行うパラメータ推定手段と、
   該パラメータ推定の結果を出力する出力手段と、
   を有することを特徴とするパラメータ推定装置。
2. 前記の局所におけるガウシアンカーネルの和として表されるカーネル関数を式［１］と見做したパラメータ推定関数作成手段並びにパラメータ推定手段を含むことを特徴とする請求項１に記載のパラメータ推定装置。
   
3. デジタル画像データに含まれるオブジェクトのパラメータを推定するパラメータ推定方法であって、
   前記デジタル画像データを入力する入力ステップと、
   該デジタル画像データ中の各位置における第１方向及び第２方向の画素値の変化に関し、微分を施して得られる微分値で示される特徴を抽出する特徴抽出ステップと、
   該特徴に基づき、局所におけるガウシアンカーネルの和として表されるカーネル関数及びサポートベクトル回帰を用いて、前記パラメータを推定するための関数を作成するパラメータ推定関数作成ステップと、
   該関数に基づき、局所におけるガウシアンカーネルの和として表されるカーネル関数を用いて、パラメータ推定を行うパラメータ推定ステップと、
   該パラメータ推定の結果を出力する出力ステップと、
   を有することを特徴とするパラメータ推定方法。
4. 前記の局所におけるガウシアンカーネルの和として表されるカーネル関数を式［１］と見做したパラメータ推定関数作成ステップ並びにパラメータ推定ステップを含むことを特徴とする請求項３に記載のパラメータ推定方法。
   
5. 請求項３または４に記載のパラメータ推定方法を、コンピュータで実行可能に記載したプログラム記録したことを特徴とする記録媒体。