JP2012178133A - 被写体認識装置、被写体認識方法及び被写体認識プログラム - Google Patents

Abstract

【課題】被写体を高速に認識することができる被写体認識装置を提供する。
【解決手段】被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における被写体の２次元展開画像を生成し、生成した２次元展開画像から特徴点データを抽出し、抽出した特徴点データ群と被写体を識別可能な識別情報と関係付けた展開画像特徴量データを記憶した学習データ記憶手段と、認識対象の被写体の画像データから特徴量を抽出し、画像特徴量データとして記憶する被写体特徴量データ記憶手段と、被写体特徴量データ記憶手段に記憶された画像特徴量データと、学習データ記憶手段に記憶された展開画像特徴量データとを照合した結果に基づき、認識対象の被写体の画像データが、学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の識別情報を出力する照合手段とを備えた。
【選択図】図１

Description

本発明は、撮像装置で撮影した被写体を認識する被写体認識装置に関する。

従来から、被写体を特定する装置として、紙等に印刷した２次元のマーカーを対象に貼り付け、このマーカーを携帯電話等に搭載された撮像装置で撮影し、その画像から画像処理によってマーカーに埋め込まれた情報を取得し、対象を特定する技術がある。利用するマーカーとして、例えば、ＱＲコードやバーコードがある。

しかしながら、上記技術では被写体に対してマーカーを貼り付ける必要があり、デザイン性を損なうといった観点やマーカーを貼り付けるスペースを確保する必要があることから、被写体が限定されてしまうという問題がある。

これに対して、マーカーを用いずカメラ等の撮像装置で撮影した画像のみを用いて、対象を特定する画像認識技術がある。例えば、予め被写体を異なる角度から撮影した画像群を学習画像群として記憶しておき、この学習画像群から生成した特徴量データと、利用者が被写体に対して任意の方向から撮影したクエリ画像から得た特徴量とを比較することで、任意の被写体を特定するものがある（例えば、非特許文献１参照）。しかし、被写体が３次元形状の場合、観測方向によって画像上の被写体の構造が変化するため、予め多数の画像群を学習画像群として撮影しておく必要があり、この作業に多大な手間がかかるという問題がある。

このような問題を解決するために、学習画像群の撮影の代わりに、仮想視点を移動させることによって予め入力された被写体の３次元形状とテクスチャから構成されるＣＧ（コンピュータグラフィックス）モデルに対し、コンピュータグラフィックス空間内で被写体を異なる方向から観測した学習画像群を合成し、この合成画像と利用者が被写体に対して任意の方向から撮影したクエリ画像の、両者から得た特徴量の照合によって対象を特定するものがある（例えば、非特許文献１参照）。

村瀬洋，Ｓ．Ｎａｙａｒ，"２次元照合による３次元物体認識−パラメトリック固有空間法″，信学論（Ｄ−II），ｖｏｌ．Ｊ７７−Ｄ−II，ｎｏ．１１，ｐｐ．２１７９−２１８７，Ｎｏｖ．１９９４． 望戸雄史，渡辺義浩，小室孝，石川正俊，"Ａｎａｌｙｓｉｓ−Ｓｙｎｔｈｅｓｉｓ法を用いた三次元物体姿勢推定法のＧＰＵによる実装"，第１６回画像センシングシンポジウム，２０１０，講演論文集ＩＳ４−１７．

しかしながら、上述した従来技術は、学習画像群を任意方向分生成する必要があり、加えて学習対象が複数ある場合には学習対象の分だけ学習画像群を任意方向分生成する必要があり、計算処理量が膨大になるという問題がある。

本発明は、このような事情に鑑みてなされたもので、被写体を高速に認識することができる被写体認識装置、被写体認識方法及び被写体認識プログラムを提供することを目的とする。

本発明は、被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群と前記被写体を識別可能な識別情報と関係付けた展開画像特徴量データを記憶した学習データ記憶手段と、認識対象の被写体の画像データから特徴量を抽出し、画像特徴量データとして記憶する被写体特徴量データ記憶手段と、前記被写体特徴量データ記憶手段に記憶された前記画像特徴量データと、前記学習データ記憶手段に記憶された前記展開画像特徴量データとを照合した結果に基づき、前記認識対象の被写体の画像データが、前記学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の前記識別情報を出力する照合手段とを備えたことを特徴とする。

本発明は、被写体の画像データから特徴量を抽出し、抽出した前記特徴点データ群と前記被写体を識別可能な識別情報と関係付けた画像特徴量データを記憶した学習データ記憶手段と、認識対象の被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群を展開画像特徴量データとして記憶する被写体特徴量データ記憶手段と、前記被写体特徴量データ記憶手段に記憶された前記展開画像特徴量データと、前記学習データ記憶手段に記憶された前記画像特徴量データとを照合した結果に基づき、前記認識対象の被写体の３次元形状データとテクスチャデータが、前記学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の前記識別情報を出力する照合手段とを備えたことを特徴とする。

本発明は、被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群と前記被写体を識別可能な識別情報と関係付けた画像特徴量データを記憶した学習データ記憶手段と、認識対象の被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群を展開画像特徴量データとして記憶する被写体特徴量データ記憶手段と、前記被写体特徴量データ記憶手段に記憶された前記展開画像特徴量データと、前記学習データ記憶手段に記憶された前記画像特徴量データとを照合した結果に基づき、前記認識対象の被写体の３次元形状データとテクスチャデータが、前記学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の前記識別情報を出力する照合手段とを備えたことを特徴とする。

本発明は、前記２次元展開画像は、前記３次元形状データから前記被写体の３次元形状の中心位置と、サンプリング視点群を設定し、前記サンプリング視点と前記３次元形状の中心位置とを結ぶ視線を決定し、該視線と前記３次元形状の交点を決定し、該交点のテクスチャ情報を抽出する処理を、設定した前記サンプリング視点群すべてに対して行うことにより生成することを特徴とする。

本発明は、前記サンプリング視点群は、前記３次元形状の中心位置を中心座標とした球体を設定し、当該球体を視点球とし、該視点球の半径を前記３次元形状の中心位置から３次元形状の表面までの最遠距離よりも大きいものとし、前記サンプリング視点群の位置を、所定距離毎に平行する複数の平面と、該平面に直交し所定距離毎に平行する複数の平面が視点球の表面上で交わる箇所として設定することを特徴とする。

本発明は、前記サンプリング視点群は、前記３次元形状の中心位置を中心座標とした球体を設定し、当該球体を視点球とし、該視点球の半径を前記３次元形状の中心位置から３次元形状の表面までの最遠距離よりも大きいものとし、前記サンプリング視点群の位置を視点球上に、直交する２軸周りを前記３次元形状の中心位置から所定角度毎に設定することを特徴とする。

本発明は、前記被写体を構成する点群を平面毎に分割し、最大点群数を有する回転処理候補面を算出し、原点を通り、前記回転処理候補面に垂直な軸直線を求めて出力する回転処理候補面・軸直線決定手段と、前記回転処理候補面と前記軸直線に基づき、前記被写体を回転する被写体回転手段とをさらに備えたことを特徴とする。

本発明は、前記被写体の所定方向の断面の周囲長を求め、原点を通り、前記断面の最大周囲長である回転処理候補面を求め、前記回転処理候補面に垂直な軸直線を求めて出力する回転処理候補面・軸直線決定手段と、前記回転処理候補面と前記軸直線に基づき、前記被写体を回転する被写体回転手段とをさらに備えたことを特徴とする。

本発明は、前記被写体の所定視点からの正射影した回転処理候補面における投影面積を求め、前記投影面積が最大投影面積となる視点位置と、前記被写体の重心を結ぶ軸直線を求めて出力する回転処理候補面・軸直線決定手段と、前記回転処理候補面と前記軸直線に基づき、前記被写体を回転する被写体回転手段とをさらに備えたことを特徴とする。

本発明は、前記被写体の所定視点からの正射影した投影面積を求め、前記投影面積が最大投影面積となる回転処理候補面を求め、原点を通り、前記回転処理候補面に垂直な軸直線を出力する回転処理候補面・軸直線決定手段と、前記回転処理候補面と前記軸直線に基づき、前記被写体を回転する被写体回転手段とをさらに備えたことを特徴とする。

本発明は、前記被写体を構成する点群を平面毎に分割し、テクスチャ情報が最大となる回転処理候補面を求め、原点を通り、前記回転処理候補面に垂直な軸直線を出力する回転処理候補面・軸直線決定手段と、前記回転処理候補面と前記軸直線に基づき、前記被写体を回転する被写体回転手段とをさらに備えたことを特徴とする。

本発明は、前記被写体の所定視点からの正射影した投影面を求め、テクスチャ情報が最大となる回転処理候補面を求め、原点を通り、前記回転処理候補面に垂直な軸直線を出力する回転処理候補面・軸直線決定手段と、前記回転処理候補面と前記軸直線に基づき、前記被写体を回転する被写体回転手段とをさらに備えたことを特徴とする。

本発明は、被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群と前記被写体を識別可能な識別情報と関係付けた展開画像特徴量データを記憶した学習データ記憶手段と、認識対象の被写体の画像データから特徴量を抽出し、画像特徴量データとして記憶する被写体特徴量データ記憶手段と、照合手段とを備える被写体認識装置上において被写体認識処理を行う被写体認識方法であって、前記照合手段が、前記被写体特徴量データ記憶手段に記憶された前記画像特徴量データと、前記学習データ記憶手段に記憶された前記展開画像特徴量データとを照合した結果に基づき、前記認識対象の被写体の画像データが、前記学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の前記識別情報を出力するステップを有することを特徴とする。

本発明は、被写体の画像データから特徴量を抽出し、抽出した前記特徴点データ群と前記被写体を識別可能な識別情報と関係付けた画像特徴量データを記憶した学習データ記憶手段と、認識対象の被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群を展開画像特徴量データとして記憶する被写体特徴量データ記憶手段と、照合手段とを備える被写体認識装置上において被写体認識処理を行う被写体認識方法であって、前記照合手段が、前記被写体特徴量データ記憶手段に記憶された前記展開画像特徴量データと、前記学習データ記憶手段に記憶された前記画像特徴量データとを照合した結果に基づき、前記認識対象の被写体の３次元形状データとテクスチャデータが、前記学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の前記識別情報を出力するステップを有することを特徴とする。

本発明は、被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群と前記被写体を識別可能な識別情報と関係付けた画像特徴量データを記憶した学習データ記憶手段と、認識対象の被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群を展開画像特徴量データとして記憶する被写体特徴量データ記憶手段と、照合手段とを備える被写体認識装置上において被写体認識処理を行う被写体認識方法であって、前記照合手段が、前記被写体特徴量データ記憶手段に記憶された前記展開画像特徴量データと、前記学習データ記憶手段に記憶された前記画像特徴量データとを照合した結果に基づき、前記認識対象の被写体の３次元形状データとテクスチャデータが、前記学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の前記識別情報を出力するステップを有することを特徴とする。

本発明は、コンピュータを請求項１〜１２に記載の被写体認識装置として機能させることを特徴とする。

本発明によれば、高速に被写体を認識することが可能になるという効果が得られる。

本発明の第１の実施形態の構成を示すブロック図である。 被写体データの一例を示す説明図である。 図１に示す２次元画像処理部１１の処理動作を示すフローチャートである。 被写体データの一例を示す説明図である。 抽出する特徴点の一例を示す説明図である。 特徴点データの一例を示す説明図である。 図１に示す３次元情報処理部１２の処理動作を示すフローチャートである。 サンプリング視点群の設定方法を示す説明図である。 サンプリング視点群の設定方法を示す説明図である。 テクスチャデータを抽出する処理を示す説明図である。 ２次元展開画像を生成する処理を示す説明図である。 特徴点データの一例を示す説明図である。 図１に示す照合部１３の処理動作を示すフローチャートである。 照合処理を示す説明図である。 被写体認識装置での２次元展開後の画像上の位置と幾何ゆがみの強度関係を示す説明図である。 被写体認識装置での２次元展開図のイメージ図である。 被写体認識装置で照合時に幾何ゆがみを発生させない被写体姿勢を示す説明図である。 本発明の第２の実施形態の構成を示すブロック図である。 図１８に示す被写体認識装置の動作を示すフローチャートである。 図１８に示す被写体認識装置の動作を示すフローチャートである。 被写体回転部における軸直線を用いた回転の説明図である。 被写体回転部における最小矩形を用いた回転の説明図である。 図１８に示す被写体認識装置の動作を示すフローチャートである。 輪郭線の探索方法の一例を示す説明図である。 不向きな形状の物体例を示す説明図である。 図１８に示す被写体認識装置の動作を示すフローチャートである。 投影図の求め方の一例を示す説明図である。 図１８に示す被写体認識装置の動作を示すフローチャートである。 図１８に示す被写体認識装置の動作を示すフローチャートである。 図１８に示す被写体認識装置の動作を示すフローチャートである。 本発明の各実施形態における対象物体の形状を示す説明図である。

＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による被写体認識装置を説明する。図１は同実施形態の構成を示す機能ブロック図である。被写体認識装置は、コンピュータ装置によって構成する。図１において、符号１は、被写体の認識処理を行う被写体認識部である。符号２は、カメラ等で撮影して得られた２次元画像データを入力する画像入力部である。符号３は、３次元形状データ及びテクスチャデータを入力するデータ入力部である。符号４は、被写体認識処理に必要なデータを記憶する記憶部である。符号５は、キーボード等から構成する入力部である。符号６は、表示装置等から構成する表示部である。

符号１１は、予め対象に対して任意の角度から撮影した画像データを画像入力部２を介して入力し、画像の特徴量を抽出して、記憶部４に保存する２次元画像処理部である。符号１２は、３次元形状データ（形状の３次元座標データ）とテクスチャデータ（３次元形状表面の模様データ）をデータ入力部３を介して入力し、２次元展開画像を生成し、生成した２次元展開画像から特徴量を抽出して、記憶部４に保存する３次元情報処理部である。符号１３は、３次元情報処理部１２により得た２次元展開画像の特徴量データと、２次元画像処理部１１により得た２次元画像の特徴量データとを照合の上、認識対象の被写体を特定する被写体ＩＤを決定し出力する照合部である。

次に、図１に示す被写体認識装置の処理動作を説明する。ここでは、クエリとして３次元形状データとテクスチャデータを入力し、学習データとして２次元画像群のデータが予め記憶部４に記憶しておくものとして説明する。なお、２次元画像群のデータは対象の被写体を任意の角度から撮影したものとし、図２で示すように予め対象の被写体毎に唯一に付与された被写体ＩＤや名前などの各種情報が関連づけられて保存されているものとする。また、被写体の３次元形状データとテクスチャデータは、例えば携帯電話等に搭載された撮像装置で対象を撮影し、その画像から画像処理によって生成したものでもよいし、レンジファインダ等のセンサーによって計測したものでもよい。また、コンピュータグラフィックス（ＣＧ）技術によって手動で生成したものでもよい。

次に、図３を参照して、図１に示す２次元画像処理部１１が入力画像から特徴量を抽出し、この特徴量を学習データとして記憶部４に記憶する動作を説明する。図３は、図１に示す２次元画像処理部１１が入力画像から特徴量を抽出し、この特徴量を学習データとして記憶部４に記憶する動作を示すフローチャートである。まず、ユーザが入力部５を操作して、２次元画像の入力を指示すると、２次元画像処理部１１は、画像入力部２から２次元画像データを入力する（ステップＳ１）。そして、２次元画像処理部１１は、入力した画像から、特徴量を抽出する（ステップＳ２）。この特徴量抽出処理は、例えば、文献：H.Bay,T.Tuytelaars, and L.V.Gool,"SURF:SpeedUp Robust Features",Proc. of Int. Conf. of ECCV, (2006)に記載の方法や、ヒストグラム等の公知の方法を用いて実行する。
この特徴量抽出処理は入力画像の枚数分繰り返し実行する。

最後に、対象の被写体ＩＤと、各々の画像から得られたｋ次元の特徴量を関連付けて記憶部４に保存し、これを２次元画像特徴量データとし、学習データとして用いる。例えば、特徴量の上記文献の方法を用い、図４に示す被写体ＩＤが「００１」の２次元画像を入力としたときの特徴点を抽出した結果を図５に示す。この時特徴点は各々１２８次元の特徴量を持ち、各々の特徴量を記憶部４に保存した例を図６に示す。これにより、被写体ＩＤ毎に、かつ特徴点を識別する特徴点番号毎に、ｋ（１２８）次元の特徴量のデータが記憶部４に保存されることになる。

次に、図７を参照して、図１に示す３次元情報処理部１２がクエリとして入力した入力データ（３次元形状データとテクスチャデータ）から特徴量を抽出して記憶部４に保存する動作を説明する。図７は、図１に示す３次元情報処理部１２が入力データから特徴量を抽出して記憶部４に保存する動作を示すフローチャートである。まず、ユーザが入力部５を操作して、クエリとして３次元情報入力を指示すると、３次元情報処理部１２は、データ入力部３を介して対象の被写体の３次元形状データとテクスチャデータを入力する（ステップＳ１１）。

次に、３次元情報処理部１２は、入力した３次元形状データで定義される３次元形状の中心位置を決定する（ステップＳ１２）。中心位置は３次元形状内部であれば、任意の点で良く、中心位置の決定は例えば、３次元形状を構成する全点の３次元座標情報から重心位置（Ｘｇ，Ｙｇ，Ｚｇ）を算出し、その点を中心位置とすればよい。重心位置は（１）式によって算出する。なお、（１）式においてｎは３次元形状として記録された点の総数を示す。ｎは形状を表現するのに十分な数であればよく、該点は複雑形状であれば多く必要であり、単純形状であれば少数でよい。例えば立方体ならｎ＝８で表現できる。

次に、３次元情報処理部１２は、設定した３次元形状の中心位置を中心座標とした球体を設定し、この球体を視点球とする。なお、視点球の半径は３次元形状の中心位置から３次元形状の表面までの最遠距離よりも大きいものとする。続いて、３次元情報処理部１２は、視点球の表面上にサンプリング視点群を設定する（ステップＳ１３）。サンプリング視点群の設定方法は、図８に示すように、ある距離ごとに平行する複数の平面と、平面群に直交しかつ所定距離ごとに平行する複数の平面が視点球の表面上で交わる箇所としてもよい。また、図９に示すように、ある直交する２軸周りを、３次元形状の中心位置から角度が一定となるように配置してもよい。

なお、３次元形状の中心位置に対し視点球を構成する２軸は任意でよい。例えば、視点球を構成する２軸をそれぞれｓＸ軸，ｓＹ軸としたとき、ｘ軸，ｙ軸，ｚ軸で構成されるオブジェクト座標系のｘ軸とｓＸ軸を一致させ、またオブジェクト座標系のｙ軸とｓＹ軸を一致させてもよい。また部分的な３次元形状データやテクスチャデータに対して、部分的にサンプリング視点群を設定してもよい。例えば、球状にある任意の点をｓＸ軸を回転の軸として０°〜１８０°まで１°ずつ変化させ、その各々の角度にある点からｓＹ軸まわりを１回転し１°ずつサンプリング視点を設定してもよい。サンプリング視点を設定する角度は１°でなくてもよいが、小さく設定した方がサンプリング数が増え、角度を大きく設定するとサンプリング数が減る。

次に、３次元情報処理部１２は、サンプリング視点と３次元形状の中心位置を結ぶ線である視線を決定し（ステップＳ１４）、決定した視線と３次元形状の交点のテクスチャデータを抽出する。この時、図１０に示すように、視線と３次元形状の交点うち、サンプリング視点に近い方のテクスチャデータを抽出する。テクスチャデータとして、例えば画素のＲＧＢ値を抽出する。

なお、テクスチャデータは交点のテクスチャデータのみではなく、交点に隣接する数画素のテクスチャデータや、交点のデプス情報をともに抽出するようにしてもよい。また、サンプリング視点の観測の角度や、各サンプリング視点の密度を関連付けて抽出してもよい。抽出方法は、例えばコンピュータグラフィクスで使われるピッキング技術を用いることで実現する。３次元情報処理部１２は、視線の決定（ステップＳ１４）と、視線と３次元形状の交点のテクスチャ情報の抽出処理（ステップＳ１５）を、全サンプリング視点数分繰り返し実行する。

次に、３次元情報処理部１２は、抽出したテクスチャデータ群の２次元展開画像を生成し出力する（ステップＳ１６）。２次元展開画像の縦横のサイズは、例えば図９で示すサンプリング視点の設定において、サンプリング角度を一定としたとき、２次元展開画像の縦のピクセル数をＨ、横のピクセル数をＷとおくと、ＨとＷはそれぞれ（２）式によって算出できる。

なお、（２）式において、Δｄｘ，Δｄｙはそれぞれ視点球を構成するｓＸ軸、ｓＹ軸を回転の軸としたときのサンプリング角度を示す。抽出処理結果の２次元展開画像上の位置は、図１１に示すように２次元展開画像左下を原点とし、ｓＸ軸を回転の軸としたとき０°を起点とし、サンプリング角度Δｄｘ毎角度が大きくなるとともに２次元展開画像のｙ軸方向に順に、またｓＹ軸を回転の軸としたとき０°を起点とし、サンプリング角度Δｄｙ毎回転角度が大きくなるとともにｘ軸方向に順に、それぞれ交点のテクスチャデータの抽出処理結果を展開することで実現する。

最後に、３次元情報処理部１２は、前述した特徴量抽出（ステップＳ２）手法と同じ方法を用いて、２次元展開画像の特徴量を抽出し（ステップＳ１７）、得られた特徴量を識別可能な特徴点番号と関係付けて記憶部４に保存する（ステップＳ１８）。図１２に、記憶部４に２次元展開画像の特徴量抽出結果データとして保存した特徴量データを示す。これにより、記憶部４には、入力した３次元形状データとテクスチャデータとから得た２次元展開画像の特徴量が記憶されることになる。

次に、図１３を参照して、図１に示す照合部１３がクエリと学習データを照合して結果を出力する動作を説明する。図１３は、図１に示す照合部１３がクエリと学習データを照合して結果を出力する動作を示すフローチャートである。まず、照合部１３は、記憶部４からクエリとして入力した３次元形状データとテクスチャデータとから得た２次元展開画像の特徴量抽出結果のデータ（図１２）を読み出す（ステップＳ２１）とともに、記憶部４に学習データとして記憶されている２次元画像特徴量データ（図６）を読み出す（ステップＳ２２）。

次に、照合部１３は、図１４に示すように、読み出した２次元展開画像の特徴量データと２次元画像特徴量データとを照合する（ステップＳ２３）。照合は、読み出した特徴量データそれぞれの特徴量１〜特徴量ｋまでのｋ次元ベクトルのベクトル間距離を算出し、２次元画像特徴量データの中で２次元展開画像の特徴量データとの距離が予め定めた閾値より小さくなる組を求め、該当する被写体ＩＤに対して投票を行うことにより行う。そして、照合部１３は、２次元展開画像のすべての特徴点において照合を行った結果から、投票数が最も多いものを最短距離の対象の被写体であると決定し、この被写体ＩＤを表示部６に出力する（ステップＳ２４）。

なお、特徴量データのベクトル間距離を算出した結果、予め定めた閾値より小さくなる組が存在しなかった場合には対象被写体が存在しないため投票は行わない。このため、全ての被写体ＩＤに対して投票が行われなかった場合は、対象の被写体は存在しないと見なして、照合結果として何も出力しない。

また、前述した説明においては、３次元形状データとテクスチャデータをクエリ、２次元画像データ群を学習データとして被写体を特定する形態について説明したが、２次元画像データをクエリ、３次元形状データとテクスチャデータを学習データとして被写体を特定するようにしてもよい。この場合は２次元画像処理部１１において被写体ＩＤと関連付ける処理は必要なく、また３次元情報処理部１２において、各々の特徴量抽出結果と被写体ＩＤを関連付けて保存するようにすればよい。

クエリとして２次元画像データを入力し、学習データとして３次元形状データとテクスチャデータを入力とする場合、クエリは被写体を任意の角度から撮影した２次元画像データとし、学習データは３次元形状データとテクスチャデータが、予め対象ごとに唯一に付与された対象ＩＤや名前などの各種情報が関連づけられて保存されていればよい。さらに、対象の３次元形状データとテクスチャデータは、例えば携帯電話等に搭載された撮像装置で対象を撮影し、その画像から画像処理によって生成したものでもよいし、レンジファインダ等のセンサーによって計測したものでもよい。また、コンピュータグラフィックス（ＣＧ）技術によって手動で生成したものでもよい。

さらに、クエリ、及び学習データの双方を３次元形状データとテクスチャデータとして被写体を特定するようにしてもよい。

以上説明したように、被写体の認識を行う際に、被写体データと学習データの照合に用いる特徴量のデータとして、被写体である物体の３次元形状データとテクスチャデータから２次元展開画像に変換し、２次元展開画像の特徴量データを用いて照合を行うようにしたため、高速に被写体を認識するための照合処理を実行することが可能になる。

＜第２の実施形態＞
次に、本発明の第２の実施形態による被写体認識装置を説明する。第１の実施形態では、３次元形状の中心位置に対し、視点球を構成する２軸は任意でよいものとして説明したが、第２の実施形態以降では、精度を向上させることができる被写体認識装置について説明する。

前述したように、「ある直交する２軸周りを、３次元形状の中心位置から角度が一定となるように配置」する方法をとる時、視点球を構成する２軸のうち１軸に対応する座標値に対しサンプリング視点群の密度が偏るため、２次元展開画像として展開した画素情報に幾何的なゆがみが生じてしまうという問題がある。この幾何ゆがみは３次元の球体に投影した情報を２次元展開画像として表現するため発生自体を避けることは難しい。しかし２次元展開画像生成時における視点球を構成する２軸に対する被写体の姿勢によってその発生箇所や影響の大きさが異なるため、被写体を特徴づける要素であり照合する際に有意となる情報を多く含む箇所を求められればこの箇所に発生する幾何ゆがみを最小限に抑制するように、視点球を構成する２軸に対する被写体の姿勢を決定付けて照合の精度劣化を防ぐことができる。第２の実施形態以降は、この特徴をとらえ、被写体を特徴づける要素であり照合する際に有意となる情報を多く含む箇所を求め、この箇所には幾何ゆがみを発生しないよう被写体を回転させるものである。

以降説明のため、図１５に示すようにサンプリング視点群の設定時に視点球を構成するＳＸ軸、ＳＹ軸に加え原点で２軸に直交するＳＺ軸を設定する。図１５〜１７に姿勢に応じて変化する２次元展開画像上での幾何ゆがみについて示す。図１６に被写体を認識する際に有意となる情報が前記被写体の姿勢によって展開画像上でどのように変化し得るか概念図を示す。図１６（上）に被写体を照合する際に有意となる情報に対し幾何ゆがみが最小限ですんでいる様子、図１６（下）に被写体を照合する際に有意となる情報に幾何ゆがみが大きく発生している様子を示している。図１５にサンプリングした画素情報を２次元展開画像として展開したとき、この画像上での位置と幾何ゆがみの発生強度の関係を示す。２次元展開画像を為す２軸をｘ軸、ｙ軸とすると該画像の中心からｙ座標方向の距離の絶対値が大きい画素になるほど、２次元展開する前の幾何情報に対し展開後の画素に幾何的なゆがみが大きく発生することとなる。図１７に、サンプリング視点群の設定時に視点球を構成するＳＸ軸とＳＹ軸の２軸のうちＳＹ軸に対する情報量を多く含む箇所の座標の範囲と、幾何ゆがみの発生強度の関係を示す。ＳＹ軸に対する座標の範囲が広くなるほど２次元展開する前の幾何情報に対し展開後の画素に幾何的なゆがみが大きく発生する部位が増加することとなる。

図１８に、第２の実施形態における被写体認識装置の構成を示す。図１８に示す装置が、図１に示す装置と異なる点は、回転処理候補面・軸決定部１２１と被写体回転部１２２が設けられている点である。回転処理候補面・軸決定部１２１では被写体の中で、照合の際に有意となる情報を多く含む箇所の候補を選定し、被写体回転部１２２では選定された箇所を幾何ゆがみの発生の少ない箇所へ回転する。回転処理候補面・軸決定部１２１は、テクスチャ付き３次元形状、原点、サンプリング視点群を入力データとし、回転処理候補面と軸直線を出力する。被写体回転部１２２は、テクスチャ付き３次元形状、回転処理候補面、軸直線、原点を入力とし、回転による座標変換後のテクスチャ付き３次元形状を出力する。

なお、以下の説明においては、被写体を照合する際に有意となる情報を以後情報量と呼ぶ。被写体のすべての面のテクスチャが面積に応じて均一な情報量を持つと仮定したとき、照合の際に有意となる情報を多く含むのは面積が広い面である。第２〜第４の実施形態は、情報量を多く含む箇所を被写体の照合対象面積を中心に求める方法を示し、その平面性やテクスチャの特異性からの算出方法を第５、第６の実施形態に示す。ただし、情報量の規定方法は面積、平面性、テクスチャの特異性の限りではない。

次に、図１９を参照して、被写体を構成する点群の平面分割に基づき被写体の中で情報量が最大となる箇所の候補を求め、最大情報量を為す平面形状をもとにこの箇所に幾何ゆがみが発生しないよう被写体を回転する方法を説明する。

まず、被写体を構成する点群の平面分割に基づく回転処理候補面・軸決定部１２１の処理動作を説明する。はじめに、対象のデータを入力し（ステップＳ３１）、続いて、文献「金野哲士，今野晃市，”点群の平面性に基づく領域分割による稜線抽出法”，第１２６回グラフィックスとＣＡＤ研究会，Ｖｏｌ．２００７，Ｎｏ．１３，ｐｐ．１３−１８，（２００７）．」による手法に基づき、被写体を構成する点群を平面ごとに分割し（ステップＳ３２）、その点群数が最も多い面を特定し式を算出する（ステップＳ３３）。面の式は面を為す点が３点以上あれば計算可能であるので、最も点群数の多い面を構成する点群の中から任意の３点を選び計算しても良い。その場合３点の座標を面の一般式である式（３）に代入し、連立方程式を解き、（３）式中のａ，ｂ，ｃ，ｄを算出することで求めることができる。これによって求まった平面を回転処理候補面とする。
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０・・・（３）

次に、原点を通り前記面と垂直となる直線を求めこの直線を軸直線とし（ステップＳ３４）、最後にこの軸直線の式と前記回転処理候補面の式と、面を構成するすべての座標群を出力する（ステップＳ３５）。

次に、図２０を参照して、被写体回転部１２２の処理動作を説明する。まず、対象データを入力し（ステップＳ４１）、ＳＸ，ＳＺ軸で為る平面とこの軸直線が為す角の角度を求める（ステップＳ４２）。この角度は、軸直線と視点球の交点２点の極座標値を算出し、図２１に示すように、その角度成分のうち小さい方の角度分原点を中心として時計回りを正として被写体を回転する（ステップＳ４３）。そして、図２２に示すように平面を包含する最小矩形を求める（ステップＳ４４）。この矩形を求める際、文献「Godfried T. Toussaint, "Solving geometric problems with the rotating calipers," Proceedings of IEEE MELECON'83, Athens, Greece, May 1983.」に記載のＲｏｔａｔｉｎｇ Ｃａｌｉｐｅｒｓ法を用いても良い。最後に、最小矩形の短い方の辺がＳＸ軸ＳＺ軸で為る平面に垂直となる回転角を算出し（ステップＳ４５）、この回転角に基づき、軸直線を回転の軸として回転する（ステップＳ４６）。そして、座標変換後の３次元形状を出力する（ステップＳ４７）。

このように、平面分割することで、点群の量もしくは面積が最大である平面を求めることで被写体を回転することを実現する。その特性上曲面形状でのみ為る形状など、不向きな図形が存在する。しかし、予め被写体が主に平面形状で為るような物体のカテゴリに属すことが分かっている場合はこの方法により求めることができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態による被写体認識装置を説明する。第３の実施形態による被写体認識装置は、曲面を含む被写体を対象とした被写体認識を行うためのものである。図２３を参照して、被写体の２次元断面図における輪郭の長さである周囲長が最大となる箇所が、情報量が多い箇所であるとして候補となる被写体の断面図を求め、この２次元断面図上の被写体形状をもとに、情報量が多い箇所に幾何ゆがみが発生しないよう被写体を回転する方法を説明する。

はじめに、被写体の断面図の周囲長に基づく回転処理候補面・軸決定１２１の処理動作を説明する。まず、対象データを入力し（ステップＳ５１）、被写体の最大周囲長を求める。最大周囲長は、設定したサンプリング視点群の位置情報を扱い、サンプリング視点から被写体を見たときの視線に垂直でかつ被写体の重心を通る平面で被写体の断面図を生成し（ステップＳ５２）、断面図上の被写体の輪郭線を求め、この輪郭線の長さである周囲長を求める（ステップＳ５３）。

なお、図２４に示すように断面図の画素を左上から順に注目画素をずらしながら輪郭線探索していき、輪郭線上の点を発見したら以降注目画素の左下から反時計周りに８方向の探索を行い、連結する画素を連続する輪郭点間の距離の総和として算出しても良い。本処理をサンプリング視点数分繰り返し行い、この周囲長が最大となる断面図を為すサンプリング視点を算出する。なお、あるサンプリング視点から被写体を見たときの視線の延長上に他のサンプリング視点を有する場合は、断面図が一致するためどちらか一方の処理を省いても良い。これによって最大でサンプリング視点の半数分の処理を省くことができる。この箇所はサンプリング視点から見ることのできる被写体の面積が広い面の候補である。最後に最大周囲長を持つ被写体の断面図と、重心と前記最大周囲長の断面図を得るサンプリング視点を結ぶ直線を算出する（ステップＳ５４）。そして、算出した回転処理候補面と、軸直線を出力する（ステップＳ５５）。

なお、被写体回転部１２２の処理動作は、第２の実施形態と同様であるので、ここでは詳細な説明を省略する。

なお、第２の実施形態による方法は、凹形状に代表されるように不向きな図形が存在する。例えば図２５に示すように凹形状を多く含む図形の場合、被写体を構成する面のうち最大面積を持つ面は選ばれない。しかし、予め被写体が凸形状で為るような物体カテゴリに属すことが分かっている場合はこの方法により求めることができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態による被写体認識装置を説明する。第４の実施形態による被写体認識装置は、すべての形状の被写体を対象とした被写体認識のためのものである。図２６を参照して、被写体の２次元投影画像を用いてこの投影画像の面積から被写体の中で情報量が最大となる箇所の候補を求め、２次元投影画像上での被写体の形状をもとに、情報量が最大の箇所に幾何ゆがみが発生しないよう被写体を回転する方法を説明する。

はじめに、被写体の２次元投影画像の面積に基づく回転処理候補面・軸決定部１２１の処理動作を説明する。まず、対象データを入力し（ステップＳ６１）、図２７に示すようにサンプリング視点から原点対象となる球上の点と、その球上の点を共有し前記視線とで為す直線に垂直な平面を求め、その平面上に被写体を正射影し射影した図形を２次元投影画像として、該２次元投影画像の面積（投影面積）を求める（ステップＳ６２）。面積の算出方法は一般的にＣＧ（コンピュータグラフィックス）分野で用いられるラベリング処理により、同じ数字のついた画素の中で最大面積のものをノイズではない被写体の投影画像として、画素を数え上げることにより求めてもよい。この処理をサンプリング視点数分行う（ステップＳ６３）。なお、各サンプリング視点の原点対象となる点が他のサンプリング視点と一致する場合は処理を省いても良いので、最大でサンプリング視点の半数回分処理を短縮することができる。最大投影面積を求め、最大投影面積となるときの視点位置を記録する。

次に、図２１に示すように、視点と被写体の重心をつなぐ直線を軸直線として、ＳＸ，ＳＺ軸で為る平面とこの軸直線が為す角を求める。この角度は最大投影面積となるサンプリング視点の極座標値の角度成分が９０°以下の場合は同値をとり、角度成分が９０°を超す場合は１８０°から角度成分を減算したものが該当する。原点を中心として被写体を回転し、第２の実施形態と同様にして投影面を包含する最小矩形を求め、視線を回転の軸として回転する。そして、回転処理候補面と軸直線を出力する（ステップＳ６４）。

以上第２〜第４の実施形態では、照合の際に重要となる情報量を、被写体をある視点から見たときの２次元面積の大きさから定義した方法である。なお、照合の際重要となる情報量は被写体をある視点から見たときの２次元面積のみではなく、その平面性やテクスチャのエントロピーで定義することもできる。第２〜第４の実施形態において回転処理候補面・軸を決定する際に単一ではなく複数候補算出し、その平面性やテクスチャのエントロピーを求め情報量が多く照合のしやすい面に投票を行い、最大投票数を得たものを最大情報量の箇所として以降の回転処理を行っても良い。

＜第５の実施形態＞
次に、図２８を参照して、本発明の第５の実施形態による被写体認識装置を説明する。前述した説明において、図２５右図Ｆに示すように求められた回転処理候補面が複数平面の複合で為る場合、照合の際に特徴量を算出する対象となるテクスチャの色情報に連続性が保たれない。そのため、求めた複数の回転処理候補面において、連続する最大面の大きさを比較することで更に被写体認識の精度劣化を防ぐことができるようになる。

そこで、被写体の２次元投影画像を用いてこの投影画像の面積と平面性から被写体の中で情報量が最大となる箇所の候補を求め、２次元投影画像上での被写体の形状をもとにこの箇所に幾何ゆがみが発生しないよう被写体を回転する方法を説明する。

はじめに、被写体の２次元投影画像の面積と平面性に基づく回転処理候補面・軸決定部１２１の処理動作を説明する。まず、サンプリング視点から原点対象となる球状の点と、この点を共有し視線とで為す直線に垂直な平面を求め、その平面上に被写体を正射影し射影した図形を２次元投影画像とし、この２次元投影画像の面積（投影面積）を求める。この処理をサンプリング視点数分行う。なお、各サンプリング視点の原点対象となる点が他のサンプリング視点と一致する場合は処理を省いても良いので、最大でサンプリング視点の半数回分処理を短縮することができる。このとき、最大なものから複数の投影面積を求め、それぞれの対となる視点位置を記録する。

次に、対象データ（第３の実施形態において算出した複数の回転処理候補面）を入力し（ステップＳ７１）、複数候補面それぞれを前述した方法と同じように平面分割し（ステップＳ７２）、それぞれの最大となる面を候補面として更新し（ステップＳ７３）、複数の候補面から更新後の面積が最大となる候補面を選定し、軸直線を算出する（ステップＳ７４）。そして、得られた回転処理候補面と軸直線を出力する（ステップＳ７５）。なお、連続性の保たれている曲面にも対応できるよう球表面に作成した投影面を為す点から視線と平行となる線上で一番視点に近い被写体上の点を求めていき、この点群と投影面の距離ヒストグラムを作成し、このヒストグラムの分散が大きければ凹凸の多い形状、この分散が小さければ平面性が高いものとして求めるようにしてもよい。

次に、図２１に示すように、視点と被写体の中心をつなぐ直線を軸直線として、ＳＸ，ＳＺ軸で為る平面とこの軸直線が為す角を求める。この角度は最大投影面積となるサンプリング視点の極座標値の角度成分が９０°以下の場合は同値をとり、該角度成分が９０°を超す場合は１８０°から該角度成分を減算したものが該当する。原点を中心として被写体を回転する。続いて、前述した処理動作と同様にして投影面を包含する最小矩形を求め、視線を回転の軸として回転する。

なお、ここでは、候補面を面積の大きさ、平面性の順に絞り込む形で最終的な候補面を選定したが、その順序はこの限りでは無く、またそれぞれの評価の際の順位の逆数値などをすべての評価において順位の逆数値の合計をとるなどの、投票手法によって求めても良い。

ここまで、情報量の大きさを面積と平面性から求める方法を記載したが、テクスチャの特異性が照合の際に重要な要素となることもある。そこで以下テクスチャの特異性やエントロピーなどの要素をテクスチャ情報量と呼び、面積や平面性に加え、該当箇所のテクスチャ情報量を用いた情報量の求め方を示す。

＜第６の実施形態＞
次に、図２９を参照して、本発明の第６の実施形態による被写体認識装置を説明する。ここでは、情報量の大きさを平面分割による面積の大きさとテクスチャ情報量から求める方法を説明する。

はじめに、被写体を構成する点群の平面分割とテクスチャ情報に基づき被写体の中で情報量が最大となる箇所の候補を求め、最大情報量を為す平面形状をもとにこの箇所に幾何ゆがみが発生しないよう被写体を回転する方法を説明する。まず、前述したように、被写体を構成する点群を平面ごとに分割しその点群数が最も多い面を特定し式を算出する。面の式は面を為す点が３点以上あれば計算可能であるので、最も点群数の多い面を構成する点群の中から任意の３点を選び計算しても良い。その場合３点の座標を面の一般式である式（１）に代入し、連立方程式を解き、（１）式中のａ，ｂ，ｃ，ｄを算出することで求めることができる。これによって求まった平面を回転処理候補面とする。点群数の多い面からこの回転処理候補面を複数求める。続いて、原点を通り、面と垂直となる直線をそれぞれ求め、この直線を軸直線とし、最後に軸直線の式と回転処理候補面の座標群と式を出力する。

次に、対象データ（第１の実施形態において算出された複数の回転処理候補面）を入力し（ステップＳ８１）、複数候補面それぞれに対し、濃度共起行列からテクスチャのエントロピーを求め、このエントロピーをテクスチャ情報量を算出し（ステップＳ８２）、最大値の候補面を算出する（ステップＳ８３）。続いて、原点を通りこの候補面に垂直な直線を軸直線を算出する（ステップＳ８４）。そして、算出した回転処理候補面と軸直線を出力する（ステップＳ８５）。

なお、テクスチャ情報量は、文献「竹村和久，ユーリガタノフ，高橋英彦，“描画の画像解析による偏見研究法” 第４９回日本社会心理学会大会，（２００８年）．」に記載の手法に基づき、濃度共起行列から算出したエントロピーのほか、エネルギーや相関、局所一様性、慣性から算出しても良い。また濃度差分行列から算出したコントラスト、角度別二次モーメント、エントロピー、平均、逆差分モーメント等によって表現してもよい。

次に、被写体回転１２２の処理動作を説明する。まず、ＳＸ軸，ＳＺ軸で為る平面とこの軸直線が為す角を求める。この角度は軸直線と視点球の交点２点の極座標値を算出し、その角度成分のうち小さい方の角度分原点を中心として時計回りを正として被写体を回転する。そして、平面を包含する最小矩形を求める。最後にこの最小矩形の短い方の辺がＳＸ軸，ＳＺ軸で為る平面に垂直となるよう軸直線を回転の軸として回転する。

最後に情報量の大きさを投影面積による面積の大きさ、平面性、テクスチャ情報量から求める方法を以下に示す。

＜第７の実施形態＞
次に、図３０を参照して、本発明の第７の実施形態による被写体認識装置を説明する。ここでは、被写体の２次元投影画像を用いて、投影画像の面積と平面性とテクスチャの情報量から被写体の中で情報量が最大となる箇所の候補を求め、２次元投影画像上での被写体の形状をもとに、この箇所に幾何ゆがみが発生しないよう被写体を回転する方法を説明する。

はじめに、被写体の２次元投影画像の面積と平面性に基づく回転処理候補面・軸決定部１２１の処理動作を説明する。まず、サンプリング視点から原点対象となる球状の点と、この点を共有し視線とで為す直線に垂直な平面を求め、その平面上に被写体を正射影し射影した図形を２次元投影画像として、２次元投影画像の面積（投影面積）を求める。この処理をサンプリング視点数分行う。なお、各サンプリング視点の原点対象となる点が他のサンプリング視点と一致する場合は処理を省いても良いので、最大でサンプリング視点の半数回分処理を短縮することができる。このとき、最大なものから複数の投影面積を求め、それぞれの対となる視点位置を記録する。

次に、複数候補面それぞれを平面分割し、それぞれの最大となる面を候補面として更新し、複数の候補面から更新後の面積が最大となる候補面を上位から複数選定し、それぞれの軸直線を算出する。なお、連続性の保たれている曲面にも対応できるよう球表面に作成した投影面を為す点から視線と平行となる線上で一番視点に近い被写体上の点を求めていき、この点群と投影面の距離ヒストグラムを作成し、このヒストグラムの分散が大きければ凹凸の多い形状、この分散が小さければ平面性が高いものとして求めることもできる。

次に、対象データ（第５の実施形態において算出された複数の回転処理候補面）を入力し（ステップＳ９１）、複数候補面それぞれに対し、濃度共起行列からテクスチャのエントロピーを求め、このエントロピーをテクスチャ情報量とし（ステップＳ９２）、最大値の候補面を算出し（ステップＳ９３）、原点を通りこの候補面に垂直な直線を軸直線とする（ステップＳ９４）。そして、算出した回転処理候補面と軸直線を出力する（ステップＳ９５）。

なお、テクスチャ情報量は濃度共起行列から算出したエントロピーのほか、エネルギーや相関、局所一様性、慣性から算出しても良い。また濃度差分行列から算出したコントラスト、角度別二次モーメント、エントロピー、平均、逆差分モーメント等によって表現してもよい。

つぎに、視点と被写体の中心をつなぐ直線を軸直線として、ＳＸ，ＳＺ軸で為る平面とこの軸直線が為す角を求める。この角度は最大投影面積となるサンプリング視点の極座標値の角度成分が９０°以下の場合は同値をとり、該角度成分が９０°を超す場合は１８０°から該角度成分を減算したものが該当する。そして、原点を中心として被写体を回転する。続いて、投影面を包含する最小矩形を求め、視線を回転の軸として回転する。

なお、候補面を面積の大きさ、平面性、テクスチャ情報量の順に絞り込む形で最終的な候補面を選定したが、その順序はこの限りでは無く、またそれぞれの評価の際の順位の逆数値などをすべての評価において順位の逆数値を合計をとるなどの、投票によって求めても良い。

以上説明した第２〜第７の実施形態は、図３１に示す関係になっている。すなわち、第２の実施形態は、対象物体が平面からなる物体であり、平面分割に基づく処理を行うものである。第３の実施形態は、対象物体が曲面を含む物体であり、周囲長の基づく処理を行うものである。第４の実施形態は、対象物体が平面と曲面を含む物体であり、投影面に基づく処理を行うものである。第５の実施形態は、第４の実施形態の処理に平面性の処理を加えたものである。第６の実施形態は、第２の実施形態の処理にテクスチャ情報量の処理を加えたものである。第７の実施形態は、第５の実施形態の処理にテクスチャ情報量の処理を加えたものである。

このように、被写体と視点球の回転軸との位置関係により、生成される２次元展開画像には大きな幾何ゆがみが生じる箇所があるが、被写体の特徴点の多い箇所が歪の大きく生じる箇所にあたらないように、視点球の回転軸に対する被写体の姿勢を決定するようにしたため、高速に被写体を認識することが可能になる。

なお、図１、図１８における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより被写体認識処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明を実施形態例に基づき具体的に説明したが、上記実施の形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或いは範囲を減縮する様に解すべきではない。また、本発明の各部の構成は、上記実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。

撮像装置で撮影した画像を使用して被写体を認識することが不可欠な用途に適用できる。

１・・・被写体認識部、１１・・・２次元画像処理部、１２・・・３次元情報処理部、１２１・・・回転処理候補面・軸決定部、１２２・・・被写体回転部、１３・・・照合部、２・・・画像入力部、３・・・データ入力部、４・・・記憶部、５・・・入力部、６・・・表示部

Claims (16)

1. 被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群と前記被写体を識別可能な識別情報と関係付けた展開画像特徴量データを記憶した学習データ記憶手段と、
   認識対象の被写体の画像データから特徴量を抽出し、画像特徴量データとして記憶する被写体特徴量データ記憶手段と、
   前記被写体特徴量データ記憶手段に記憶された前記画像特徴量データと、前記学習データ記憶手段に記憶された前記展開画像特徴量データとを照合した結果に基づき、前記認識対象の被写体の画像データが、前記学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の前記識別情報を出力する照合手段と
   を備えたことを特徴とする被写体認識装置。
2. 被写体の画像データから特徴量を抽出し、抽出した前記特徴点データ群と前記被写体を識別可能な識別情報と関係付けた画像特徴量データを記憶した学習データ記憶手段と、
   認識対象の被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群を展開画像特徴量データとして記憶する被写体特徴量データ記憶手段と、
   前記被写体特徴量データ記憶手段に記憶された前記展開画像特徴量データと、前記学習データ記憶手段に記憶された前記画像特徴量データとを照合した結果に基づき、前記認識対象の被写体の３次元形状データとテクスチャデータが、前記学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の前記識別情報を出力する照合手段と
   を備えたことを特徴とする被写体認識装置。
3. 被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群と前記被写体を識別可能な識別情報と関係付けた画像特徴量データを記憶した学習データ記憶手段と、
   認識対象の被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群を展開画像特徴量データとして記憶する被写体特徴量データ記憶手段と、
   前記被写体特徴量データ記憶手段に記憶された前記展開画像特徴量データと、前記学習データ記憶手段に記憶された前記画像特徴量データとを照合した結果に基づき、前記認識対象の被写体の３次元形状データとテクスチャデータが、前記学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の前記識別情報を出力する照合手段と
   を備えたことを特徴とする被写体認識装置。
4. 前記２次元展開画像は、前記３次元形状データから前記被写体の３次元形状の中心位置と、サンプリング視点群を設定し、前記サンプリング視点と前記３次元形状の中心位置とを結ぶ視線を決定し、該視線と前記３次元形状の交点を決定し、該交点のテクスチャ情報を抽出する処理を、設定した前記サンプリング視点群すべてに対して行うことにより生成することを特徴とする請求項１から３のいずれかに記載の被写体認識装置。
5. 前記サンプリング視点群は、前記３次元形状の中心位置を中心座標とした球体を設定し、当該球体を視点球とし、該視点球の半径を前記３次元形状の中心位置から３次元形状の表面までの最遠距離よりも大きいものとし、前記サンプリング視点群の位置を、所定距離毎に平行する複数の平面と、該平面に直交し所定距離毎に平行する複数の平面が視点球の表面上で交わる箇所として設定することを特徴とする請求項４記載の被写体認識装置。
6. 前記サンプリング視点群は、前記３次元形状の中心位置を中心座標とした球体を設定し、当該球体を視点球とし、該視点球の半径を前記３次元形状の中心位置から３次元形状の表面までの最遠距離よりも大きいものとし、前記サンプリング視点群の位置を視点球上に、直交する２軸周りを前記３次元形状の中心位置から所定角度毎に設定することを特徴とする請求項４記載の被写体認識装置。
7. 前記被写体を構成する点群を平面毎に分割し、最大点群数を有する回転処理候補面を算出し、原点を通り、前記回転処理候補面に垂直な軸直線を求めて出力する回転処理候補面・軸直線決定手段と、
   前記回転処理候補面と前記軸直線に基づき、前記被写体を回転する被写体回転手段と
   をさらに備えたことを特徴とする請求項１から６のいずれかに記載の被写体認識装置。
8. 前記被写体の所定方向の断面の周囲長を求め、原点を通り、前記断面の最大周囲長である回転処理候補面を求め、前記回転処理候補面に垂直な軸直線を求めて出力する回転処理候補面・軸直線決定手段と、
   前記回転処理候補面と前記軸直線に基づき、前記被写体を回転する被写体回転手段と
   をさらに備えたことを特徴とする請求項１から６のいずれかに記載の被写体認識装置。
9. 前記被写体の所定視点からの正射影した回転処理候補面における投影面積を求め、前記投影面積が最大投影面積となる視点位置と、前記被写体の重心を結ぶ軸直線を求めて出力する回転処理候補面・軸直線決定手段と、
   前記回転処理候補面と前記軸直線に基づき、前記被写体を回転する被写体回転手段と
   をさらに備えたことを特徴とする請求項１から６のいずれかに記載の被写体認識装置。
10. 前記被写体の所定視点からの正射影した投影面積を求め、前記投影面積が最大投影面積となる回転処理候補面を求め、原点を通り、前記回転処理候補面に垂直な軸直線を出力する回転処理候補面・軸直線決定手段と、
    前記回転処理候補面と前記軸直線に基づき、前記被写体を回転する被写体回転手段と
    をさらに備えたことを特徴とする請求項１から６のいずれかに記載の被写体認識装置。
11. 前記被写体を構成する点群を平面毎に分割し、テクスチャ情報が最大となる回転処理候補面を求め、原点を通り、前記回転処理候補面に垂直な軸直線を出力する回転処理候補面・軸直線決定手段と、
    前記回転処理候補面と前記軸直線に基づき、前記被写体を回転する被写体回転手段と
    をさらに備えたことを特徴とする請求項１から６のいずれかに記載の被写体認識装置。
12. 前記被写体の所定視点からの正射影した投影面を求め、テクスチャ情報が最大となる回転処理候補面を求め、原点を通り、前記回転処理候補面に垂直な軸直線を出力する回転処理候補面・軸直線決定手段と、
    前記回転処理候補面と前記軸直線に基づき、前記被写体を回転する被写体回転手段と
    をさらに備えたことを特徴とする請求項１から６のいずれかに記載の被写体認識装置。
13. 被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群と前記被写体を識別可能な識別情報と関係付けた展開画像特徴量データを記憶した学習データ記憶手段と、認識対象の被写体の画像データから特徴量を抽出し、画像特徴量データとして記憶する被写体特徴量データ記憶手段と、照合手段とを備える被写体認識装置上において被写体認識処理を行う被写体認識方法であって、
    前記照合手段が、前記被写体特徴量データ記憶手段に記憶された前記画像特徴量データと、前記学習データ記憶手段に記憶された前記展開画像特徴量データとを照合した結果に基づき、前記認識対象の被写体の画像データが、前記学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の前記識別情報を出力するステップを有することを特徴とする被写体認識方法。
14. 被写体の画像データから特徴量を抽出し、抽出した前記特徴点データ群と前記被写体を識別可能な識別情報と関係付けた画像特徴量データを記憶した学習データ記憶手段と、認識対象の被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群を展開画像特徴量データとして記憶する被写体特徴量データ記憶手段と、照合手段とを備える被写体認識装置上において被写体認識処理を行う被写体認識方法であって、
    前記照合手段が、前記被写体特徴量データ記憶手段に記憶された前記展開画像特徴量データと、前記学習データ記憶手段に記憶された前記画像特徴量データとを照合した結果に基づき、前記認識対象の被写体の３次元形状データとテクスチャデータが、前記学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の前記識別情報を出力するステップを有することを特徴とする被写体認識方法。
15. 被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群と前記被写体を識別可能な識別情報と関係付けた画像特徴量データを記憶した学習データ記憶手段と、認識対象の被写体の３次元形状データとテクスチャデータに基づいて、所定の視点位置における前記被写体の２次元展開画像を生成し、生成した前記２次元展開画像から特徴点データを抽出し、抽出した前記特徴点データ群を展開画像特徴量データとして記憶する被写体特徴量データ記憶手段と、照合手段とを備える被写体認識装置上において被写体認識処理を行う被写体認識方法であって、
    前記照合手段が、前記被写体特徴量データ記憶手段に記憶された前記展開画像特徴量データと、前記学習データ記憶手段に記憶された前記画像特徴量データとを照合した結果に基づき、前記認識対象の被写体の３次元形状データとテクスチャデータが、前記学習データ記憶手段に記憶されている被写体のいずれに該当するかを特定し、特定した被写体の前記識別情報を出力するステップを有することを特徴とする被写体認識方法。
16. コンピュータを請求項１〜１２に記載の被写体認識装置として機能させることを特徴とする被写体認識プログラム。

Images