JP2019057227A - テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム - Google Patents

Abstract

【課題】カメラ光軸との角度が小さい法線ベクトルのベクトル方向の変化による影響を受けにくい画像処理装置に関する技術を提供する。【解決手段】テンプレート作成装置２０は、認識対象の物体の３次元データを取得する３次元データ取得部２０１と、物体に対して設定された所定の視点から見た物体の特徴点における法線ベクトルを算出する法線ベクトル算出部２０３と、法線ベクトルを、視点を通る軸に直交する平面上の基準領域にマッピングすることによって量子化して、量子化法線方向特徴量を取得する法線ベクトル量子化部であって、基準領域は、軸近傍に対応する中心基準領域と、中心基準領域の周囲の基準領域とを含む、法線ベクトル量子化部２０４と、量子化法線方向特徴量に基づいて、視点毎にテンプレートを作成するテンプレート作成部２０５と、テンプレートを出力するテンプレート情報出力部と２０６を備える。【選択図】図３

Description

本発明は、テンプレートマッチングによる物体認識で用いられるテンプレートの作成技術に関する。

画像から対象物を認識する方法の一つにテンプレートマッチングと呼ばれる手法がある。テンプレートマッチングの基本処理は、認識対象となる物体のテンプレートを予め用意しておき、入力画像とテンプレートとの間の画像特徴の一致度を評価することで、画像中の物体の位置や姿勢を認識するというものである。テンプレートマッチングによる物体認識は、例えばＦＡ（Factory Automation）における検査やピッキング、ロボットビジョン、監視カメラ等様々な分野で実用化されている。

従来、認識対象が３次元物体であるテンプレートマッチングにおいて、精度の高い認識結果を維持しながら計算量や計算時間の削減を図るために、物体が有する平面や、その法線情報を特徴量として利用することが行われている（例えば、特許文献１）。

また、テンプレートマッチングにおいてエッジ情報を特徴量として利用する際に、エッジ角度である０〜３６０度の値を４５度単位で８分割した８ビットデータに変換した特徴量を使用することで、データ量の縮小及び処理速度の高速化を実現することが知られている（例えば、特許文献２）。

特開２０１５−０７９３７４号公報 特許第５２７１０３１号公報

図７に示されるように、従来は、法線情報を特徴量として用いるとき、法線ベクトルをｘｙ２次元空間にマッピングしたベクトルとｘ軸との角度θを量子化して、法線ベクトルの特徴量を取得していた。例えば、図７の例では、図７（ａ）に示される単位球上の法線ベクトルを、当該球の中心を通るＸＹ平面を８等分して得た８つのセグメントに対応する基準領域１〜８を有する、図７（ｂ）に示される２次元空間上にマッピングして量子化することで、特徴量を取得していた。例えば、図７（ｂ）の法線ベクトル１ｂが、図７（ａ）の法線ベクトル１ａに対応し、同様に、法線ベクトル２ｂが、法線ベクトル２ａに対応する。法線ベクトル１ｂの大きさは、法線ベクトル１ａのｓｉｎΦに対応する。

ここで、ｚ軸近傍は、基準領域１〜８の境界が集中することとなる。そのため、認識対象物を撮像した画像から抽出された法線ベクトルのうち、画像を取得したカメラのカメラ光軸（ｚ軸）との角度Φが小さい法線ベクトル１ａは、ノイズや計測誤差等の多少の影響により、認識対象物本来のあるべき法線ベクトルと異なる法線ベクトルと認識されることで、ｘｙ２次元空間にマッピングされるベクトルの属する基準領域が変化しやすく、その結果として、得られる量子化後の特徴量も変化しやすい。このため、テンプレートを登録する際の視点を通る軸と、認識対象物を撮像した入力画像を取得したカメラの光軸とが一致する場合に、カメラ光軸との角度Φが小さい法線ベクトルを有する特徴点において、テンプレートと認識対象物を撮像した入力画像との特徴量が一致しなくなり、認識精度の低下につながる。

そこで、本発明は、カメラ光軸との角度が小さい法線ベクトルのベクトル方向の変化による影響を受けにくいテンプレートを用いることにより認識精度の向上を可能としたテンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラムを提供することを目的とする。

本発明の一態様に係るテンプレート作成装置は、認識対象の物体の３次元形状を表す３次元データを取得する３次元データ取得部と、３次元データに基づいて、前記物体に対して設定された所定の視点から見た前記物体の特徴点における法線ベクトルを算出する法線ベクトル算出部と、算出した法線ベクトルを、視点を通る軸に直交する平面上の基準領域にマッピングすることによって量子化して、量子化法線方向特徴量を取得する法線ベクトル量子化部であって、基準領域は、軸近傍に対応する中心基準領域と、中心基準領域の周囲の基準領域とを含む、法線ベクトル量子化部と、取得した量子化法線方向特徴量に基づいて、テンプレートマッチングによる物体認識で用いられるテンプレートを視点毎に作成するテンプレート作成部と、作成したテンプレートを出力するテンプレート情報出力部とを備える。

この態様によれば、基準領域が軸近傍に対応する中心基準領域を含むことにより、ノイズや計測誤差等の影響で視点を通る軸との角度が小さい法線ベクトルの方向が変化する場合であっても、一定の量子化法線方向特徴量を取得することができる。ノイズや計測誤差等に起因する法線ベクトル方向の変化による影響を受けにくい特徴量を取得することにより、従来技術と比較して、認識精度を向上させることができる。

上記テンプレート作成装置において、周囲の基準領域は、３次元の単位球を均等に分割して得た複数のセグメントに対応する複数の基準領域を含んでもよい。この態様によれば、３次元の単位球を均等に分割して得たセグメントに基準領域を対応させるので、分散する法線ベクトルの特徴量を精度良く把握することができる。

上記テンプレート作成装置において、中心基準領域は、法線ベクトルと軸との角度Φに基づいて設定されてもよい。この態様によれば、ノイズや計測誤差による法線ベクトル方向の変化と角度Φとの関係に基づき、許容し得る所定の中心基準領域を容易に設定することができる。

上記テンプレート作成装置において、中心基準領域は、角度Φを所定の角度とした場合に求められる、ｓｉｎΦを半径とする円であってもよい。この態様によれば、ノイズや計測誤差による法線ベクトル方向の変化とｓｉｎΦとの関係に基づき、許容し得る所定の中心基準領域を容易に設定することができる。

上記テンプレート作成装置において、法線ベクトル量子化部は、量子化対象の法線ベクトルが属する基準領域の周辺の基準領域も許容するように法線ベクトルを量子化してもよい。この態様によれば、ノイズや計測誤差によって、物体認識時に、入力画像中の特徴点の法線ベクトルが、本来想定される基準領域の周辺の基準領域にマッピングされる場合であっても、当該法線ベクトルが一致すると判定して、照合スコアを算出することができる。このような特徴量のロバスト化をテンプレート作成装置側で実装することで、物体認識時の処理負荷を増大させることなく、許容される周辺の基準領域を設定することができる。

本発明の他の態様に係る、上記テンプレート作成装置によって作成されたテンプレートを用いて物体の認識を行う物体認識処理装置は、入力画像を取得する画像取得部と、入力画像において、特徴点の法線ベクトルを算出する法線ベクトル算出部と、算出した法線ベクトルを、入力画像を取得したカメラの光軸に直交する平面上の基準領域にマッピングすることによって量子化して、量子化法線方向特徴量を取得する法線ベクトル量子化部であって、基準領域は、光軸近傍に対応する中心基準領域と、中心基準領域の周囲の基準領域とを含む、法線ベクトル量子化部と、テンプレートと、法線ベクトル量子化部が取得した量子化法線方向特徴量とに基づいて、入力画像における物体の位置を探索して、照合結果を得るテンプレートマッチング部と、照合結果に基づく認識結果を出力する認識結果出力部とを備える。

上記物体認識処理装置において、周囲の基準領域は、３次元の単位球を均等に分割して得た複数のセグメントに対応する複数の基準領域を含んでもよい。

上記物体認識処理装置において、中心基準領域は、法線ベクトルと軸との角度Φに基づいて設定されてもよい。

上記物体認識処理装置において、中心基準領域は、角度Φを所定の角度とした場合に求められる、ｓｉｎΦを半径とする円であってもよい。

上記物体認識処理装置において、法線ベクトル量子化部は、量子化対象の法線ベクトルが属する基準領域の周辺の基準領域も許容するように法線ベクトルを量子化してもよい。この態様によれば、この態様によれば、ノイズや計測誤差によって、物体認識時に、入力画像中の特徴点の法線ベクトルが、本来想定される基準領域の周辺の基準領域にマッピングされる場合であっても、当該法線ベクトルが一致すると判定して、照合スコアを算出することができる。このような特徴量のロバスト化を物体認識処理装置側で実装することで、物体認識処理装置毎に固有の条件に基づいて、許容される周辺の基準領域を設定することができる。

本発明の他の態様に係る、コンピュータが実行するテンプレート作成方法は、認識対象の物体の３次元形状を表す３次元データを取得するステップと、３次元データに基づいて、物体に対して設定された所定の視点から見た物体の特徴点における法線ベクトルを算出するステップと、算出した法線ベクトルを、視点を通る軸に直交する平面上の基準領域にマッピングすることによって量子化して、量子化法線方向特徴量を取得するステップであって、基準領域は、軸近傍に対応する中心基準領域と、中心基準領域の周囲の基準領域とを含む、ステップと、取得した量子化法線方向特徴量に基づいて、テンプレートマッチングによる物体認識で用いられるテンプレートを視点毎に作成するステップと、作成したテンプレートを出力するステップとを含む。

本発明の他の態様に係るプログラムは、コンピュータに、認識対象の物体の３次元形状を表す３次元データを取得するステップと、３次元データに基づいて、物体に対して設定された所定の視点から見た物体の特徴点における法線ベクトルを算出するステップと、算出した法線ベクトルを、視点を通る軸に直交する平面上の基準領域にマッピングすることによって量子化して、量子化法線方向特徴量を取得するステップであって、基準領域は、軸近傍に対応する中心基準領域と、中心基準領域の周囲の基準領域とを含む、ステップと、取得した量子化法線方向特徴量に基づいて、テンプレートマッチングによる物体認識で用いられるテンプレートを視点毎に作成するステップと、作成したテンプレートを出力するステップとを実行させる。

本発明によれば、カメラ光軸との角度が小さい法線ベクトルのベクトル方向の変化による影響を受けにくいテンプレートを用いることにより認識精度の向上を可能としたテンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラムを提供することができる。

物体認識装置の全体構成を示す図である。 物体認識装置のハードウェア構成を示す図である。 画像処理装置のソフトウェア構成を示す図である。 法線ベクトルの量子化を説明する概念図である。 テンプレート作成装置によって実行されるテンプレート登録処理の流れを示すフローチャートである。 物体認識処理装置によって実行される物体認識処理の流れを示すフローチャートである。 従来の法線ベクトルの量子化を説明する概念図である。

添付図面を参照して、本発明の実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。

（物体認識装置の全体構成）
本発明の所定の実施形態によれば、テンプレートマッチングにおけるテンプレートの登録処理及び物体認識処理等において、認識対象物体に対して設定された所定の視点から見たときの画像の特徴を表すデータであるテンプレートを登録する際の視点を通る軸近傍と、物体認識処理する際の認識対象物体の入力画像を取得するカメラ光軸近傍に属する法線情報を量子化するための領域を含む基準領域に、物体の法線情報をマッピングして、マッピングされた基準領域を識別し得る量子化法線方向特徴量を取得する。これにより、カメラ光軸近傍の法線情報の計測誤差やノイズに対してロバストな量子化法線方向特徴量を取得することができる。ここでは、図１を参照して、本発明の一実施形態に係る物体認識装置の全体構成及び適用場面について説明する。

物体認識装置１は、生産ライン等に設置され、カメラ１１から取り込まれた画像を用いてトレイ３内の物体２の認識を行うシステムである。トレイ３には、認識対象の物体２がバラ積みされている。物体認識装置１は、カメラ１１から所定の時間間隔で画像を取り込み、画像処理装置１０によって画像に含まれる各物体２の位置及び姿勢を認識する処理を実行し、その結果をＰＬＣ（プログラマブルロジックコントローラ）４やディスプレイ１２等に出力する。物体認識装置１の出力である認識結果は、例えば、ピッキングロボットの制御、加工装置や印字装置の制御、物体２の検査や計測等に利用される。

（ハードウェア構成）
図２を参照して、物体認識装置１のハードウェア構成を説明する。物体認識装置１は、概して、カメラ１１と画像処理装置１０から構成される。

カメラ１１は、物体２のデジタル画像を画像処理装置１０に取り込むための撮像デバイスであり、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）カメラやＣＣＤ（Charge-Coupled Device）カメラを好適に用いることができる。解像度、カラー／モノクロ、静止画像／動画、階調、データ形式等の入力画像の形式は任意であり、物体２の種類やセンシングの目的に合わせて適宜選択することができる。Ｘ線画像やサーモ画像等、可視光像以外の特殊な画像を物体認識や検査に利用する場合には、その画像に合わせたカメラを用いてもよい。

画像処理装置１０は、ハードウェアプロセッサに相当するＣＰＵ１１０と、ワークメモリとして用いられるメインメモリ１１２と、固定記憶部であるハードディスク１１４と、カメラインターフェイス１１６と、入力インターフェイス１１８と、表示コントローラ１２０と、ＰＬＣインターフェイス１２２と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続されている。

カメラインターフェイス１１６は、ＣＰＵ１１０とカメラ１１との間のデータ伝送を仲介する部分であり、カメラ１１からの画像データを一時的に蓄積するための画像バッファ１１６ａを有している。入力インターフェイス１１８は、ＣＰＵ１１０と入力部との間のデータ伝送を仲介する。入力部には、マウス１３、キーボード、タッチパネル、ジョグコントローラ等が含まれる。表示コントローラ１２０は、液晶モニタ等のディスプレイ１２に接続され、当該ディスプレイでの表示を制御する。ＰＬＣインターフェイス１２２は、ＣＰＵ１１０とＰＬＣ４との間のデータ伝送を仲介する。通信インターフェイス１２４は、ＣＰＵ１１０とコンソール、あるいはパーソナルコンピュータやサーバ装置等との間のデータ伝送を仲介する。データリーダ／ライタ１２６は、ＣＰＵ１１０と記録媒体であるメモリカード１４との間のデータ伝送を仲介する。各インターフェイスは、ハードウェア構成としては、例えばＵＳＢ等のインターフェイスを介してＣＰＵ１１０へと接続される。

画像処理装置１０は、汎用的なアーキテクチャを有するコンピュータで構成可能であり、ＣＰＵ１１０が、ハードディスク１１４又はメモリカード１４に格納されたプログラムを読み込み、実行することで、各種処理を実行する。このようなプログラムは、メモリカード１４や光ディスク等のコンピュータ読取可能な記録媒体に格納された状態か、あるいはインターネット等を通じて提供される。なお、本実施形態に係るプログラムは単体のアプリケーションプログラムとして提供されてもよいし、他のプログラムの一部に組み込まれるモジュールとして提供されてもよい。また、その処理の一部又は全部がＡＳＩＣ等の専用回路で代替されてもよい。

（ソフトウェア構成）
図３に、画像処理装置１０のソフトウェア構成を示す。画像処理装置１０は、テンプレート作成装置２０としての処理部と、物体認識処理装置３０としての処理部と、記憶装置４０とを備え、ＣＰＵ１１０が、ハードディスク１１４又はメモリカード１４に格納されたプログラムを読み込み、実行することで、テンプレート作成装置２０、物体認識装置３０として動作する。また、記憶装置４０はハードディスク１１４で構成される。

テンプレート作成装置２０は、物体認識処理で利用するテンプレートを作成する処理を行う。テンプレート作成装置２０によって作成されたテンプレートは、記憶装置４０のテンプレートデータベース（ＤＢ）４０１に登録される。物体認識処理装置３０は、カメラ１１から取り込まれた画像に対しテンプレートＤＢ４０１に登録されたテンプレートを用いてテンプレートマッチングを実行することで、画像中の物体を認識する処理を行う。

ここで、本明細書に記載のテンプレートは、認識対象の物体２の画像特徴を表すデータである。テンプレートには任意の形式を用いることができ、例えば、画像中の複数の特徴点の特徴量を記述した配列形式を用いることができる。なお、特徴点とは、画像の中の物体の境界、物体の輪郭線の屈折部および屈曲部等、予め定められた特徴を示す画像座標上の位置である。

テンプレート作成装置２０は、３次元データ取得部２０１、距離画像作成部２０２、法線ベクトル算出部２０３、法線ベクトル量子化部２０４、テンプレート作成部２０５及びテンプレート情報出力部２０６を備えている。前述したように、ＣＰＵ１１０が、ハードディスク１１４又はメモリカード１４に格納されたプログラムを読み込み、実行することで、各部の処理が実現される。

３次元データ取得部２０１は、認識対象の物体２の３次元形状を表す３次元データを取得する。３次元データ取得部２０１は、認識対象の物体２を立体図形として認識可能な任意の３次元データを取得することができ、本実施形態では、３次元ＣＡＤデータを取得するものとする。３次元データ取得部２０１は、外部の３次元ＣＡＤサーバ等から３次元ＣＡＤデータを取得することもできるし、記憶装置４０から３次元ＣＡＤデータを取得することもできる。

距離画像作成部２０２は、３次元データ取得部２０１が取得した３次元データを用いて、物体２に対して設定された所定の視点から見た物体２の距離画像を作成する。３次元での物体認識では、同一の物体であっても視点によって見え方が異なる場合があり、距離画像作成部２０２は、認識対象の物体２の特性に応じて、任意の数の視点から見た物体２の距離画像を作成する。

法線ベクトル算出部２０３は、３次元データ取得部２０１が取得した３次元データ又は距離画像作成部２０２が作成した各視点の距離画像に基づいて、物体２に対して設定された所定の視点から見た物体２の特徴点の法線ベクトルを算出する。法線ベクトル算出部２０３は、特徴点の３次元データと、特徴点の周辺の点の３次元データとにより平面を定義し、定義した平面の法線ベクトルを算出する。なお、特徴点の検出及び法線ベクトルの算出については公知の任意の手法を利用できるため、本明細書では詳しい説明を省略する。

法線ベクトル量子化部２０４は、法線ベクトル算出部２０３が算出した法線ベクトルを量子化する。本実施形態では、法線ベクトル量子化部２０４は、単位球上の法線ベクトルを、図４（ｂ）に示すようなｘｙ軸からなる２次元空間上の基準領域にマッピングすることで、法線ベクトルの方向を量子化して、量子化法線方向特徴量を取得する。ここで、図４（ａ）の角度Φは、法線ベクトルＡとｚ軸との角度である。

図４（ｂ）の基準領域１〜８は、図４（ａ）の単位球の中心を通るＸＹ平面を８等分して得た８つのセグメントに対応する。さらに、本実施形態では、法線ベクトルＡとｚ軸との角度Φに基づいて、カメラ光軸近傍に中心基準領域９を設ける。すなわち、基準領域は、中心基準領域９と、ｚ軸を中心として放射状に等間隔で延びる線分により形成される、周囲の基準領域１〜８とを含む。本実施形態では、角度Φを１０度とした場合に求められる、ｓｉｎΦを半径ｒとする円を中心基準領域９として設定する。図４（ｂ）に示されるように、各基準領域には、基準領域を識別する識別番号が振られており、法線ベクトル量子化部２０４は、基準領域１〜９に対応する９ビットのうち、法線ベクトルが属する基準領域に対応するビットが立っている特徴量を取得する。

なお、本実施形態では、角度Φを１０度として中心基準領域９を設定するが、角度Φは、例えば５度や１５度等、ノイズや計測誤差に応じて、許容し得る任意の値を設定することができる。また、本実施形態では、単位球の中心を通るＸＹ平面を８等分しているが、単位球の中心を通るＸＹ平面を１２等分して得た基準領域に、さらに角度Φに基づく中心基準領域１３を設ける等、任意の数の基準領域を設けることができる。このように、単位球の中心を通るＸＹ平面を１２等分して得た基準領域に、さらに中心基準領域を設けた１３ビットの特徴量を使用することで、同様に２バイトのメモリを要する、９ビットの特徴量を使用する場合と比較して、量子化により失われる情報量を少なくすることができる。

図４（ｂ）に示されるように、法線ベクトル量子化部２０４は、特徴点１の法線ベクトル１を量子化して、量子化法線方向特徴量（０１０００００００）を取得する。同様に、法線ベクトル量子化部２０４は、特徴点２の法線ベクトル２を量子化して、量子化法線方向特徴量（００００００１００）を取得する。同様に、法線ベクトル量子化部２０４は、特徴点３の法線ベクトル３を量子化して、量子化法線方向特徴量（００００００００１）を取得する。

法線ベクトル量子化部２０４は、一実施形態では、量子化対象の法線ベクトルが属する基準領域の周辺の基準領域も許容するように、法線ベクトルを量子化することができる。例えば、法線ベクトル量子化部２０４は、法線ベクトルが属する基準領域だけでなく、他の基準領域と比較して最も近い他の１つの基準領域も許容するように量子化することができる。

許容する基準領域を広くするほど特徴量のロバスト化が図れる一方、許容する基準領域を広くしすぎると、誤認識による認識精度の低下につながる。したがって、特徴量のロバスト化及び誤認識のトレードオフを考慮して、許容する基準領域を設定することが望ましい。

テンプレート作成部２０５は、法線ベクトル量子化部２０４が取得した量子化法線方向特徴量に基づいて、視点毎にテンプレートを作成する。なお、テンプレートには、量子化法線方向特徴量以外の他の任意の数の特徴量を含めることができる。

テンプレート情報出力部２０６は、テンプレート作成部２０５が作成したテンプレートを記憶装置のテンプレートＤＢ４０１に登録する。

物体認識処理装置３０は、画像取得部３０１、法線ベクトル算出部３０２、法線ベクトル量子化部３０３、テンプレートマッチング部３０４及び認識結果出力部３０５を備えている。前述したように、ＣＰＵ１１０が、ハードディスク１１４又はメモリカード１４に格納されたプログラムを読み込み、実行することで、各部の処理が実現される。

画像取得部３０１は、カメラ１１から入力画像を取得する。入力画像は、距離画像等、法線ベクトルを算出し得る任意のデータとすることができる。

法線ベクトル算出部３０２は、画像取得部３０１が取得した入力画像において、特徴点の法線ベクトルを算出する。

法線ベクトル量子化部３０３は、法線ベクトル算出部３０２が算出した法線ベクトルを量子化する。法線ベクトル量子化部３０３は、テンプレート作成時に法線ベクトル量子化部２０４が用いた基準領域を利用して、法線ベクトルを量子化して量子化法線方向特徴量を取得する。本実施形態では、単位球の中心を通るＸＹ平面を８等分して得た基準領域に、さらに法線ベクトルとｚ軸との角度Φに基づく中心基準領域９を設けた、９つの基準領域が利用される。

法線ベクトル量子化部３０３は、法線ベクトル量子化部２０４と同様に、一実施形態では、量子化対象の法線ベクトルが属する基準領域の周辺の基準領域も許容するように、法線ベクトルを量子化することができる。周辺の基準領域を許容するように法線ベクトルを量子化する特徴量のロバスト化は、テンプレート作成時、又は物体認識時のいずれか任意のタイミングで実装することができる。

テンプレートマッチング部３０４は、テンプレートＤＢ４０１に登録されているテンプレートと、法線ベクトル量子化部３０３が取得した量子化法線方向特徴量とに基づいて、入力画像において物体２の位置を探索して、１又は複数の照合結果を得る。すなわち、テンプレートマッチング部３０４は、テンプレートＤＢ４０１に登録されているテンプレートの数分だけ、探索処理を行う。本実施形態では、テンプレートＤＢにおいて登録されている全てのテンプレートについて、入力画像中に認識された物体２の座標、及び当該座標ごとに入力画像とテンプレートとの間の画像特徴の一致度を示す照合スコアを照合結果として得る。

認識結果出力部３０５は、テンプレートマッチング部３０４が得た１又は複数の照合結果に基づいて、最終的な認識結果を出力する。複数の照合結果が得られる場合、本実施形態では、認識結果出力部３０５は、同一の座標に対する異なる照合結果について、最も高い照合スコアを有するテンプレートが当該座標上に認識されたと決定して、認識結果を出力する。

記憶装置４０は、テンプレートＤＢ４０１を備えている。テンプレートＤＢ４０１には、各視点のテンプレートが格納されている。

（テンプレート登録処理）
次に、図５のフローチャートに沿って、テンプレート作成装置２０によって実行されるテンプレート登録処理について説明する。なお、図５に示すテンプレート登録処理は、画像処理装置１０を新たに設置した際や、認識対象の物体２が変更になった際に実行される。

ステップＳ５０１において、テンプレート作成装置２０の３次元データ取得部２０１は、認識対象の物体２の３次元データを取得する。例えば、本実施形態では、３次元データ取得部２０１は、外部の３次元ＣＡＤサーバから３次元ＣＡＤデータを取得する。

次に、ステップＳ５０２において、テンプレート作成装置２０の距離画像作成部２０２は、３次元データ取得部２０１が取得した３次元データを用いて、物体に対して設定された所定の視点から見た物体の距離画像を作成する。本実施形態では、距離画像作成部２０２は、物体２を中心とする仮想的な１２８０面体における６４２個の頂点に視点を配置し、各視点から見た物体の距離画像を作成したものとする。

続いて、Ｓ５０３において、テンプレート作成装置２０の法線ベクトル算出部２０３は、距離画像作成部２０２が作成した各視点の距離画像に基づいて、物体に対して設定された所定の視点から見た物体２の特徴点の法線ベクトルを算出する。本実施形態では、法線ベクトル算出部２０３は、距離画像作成部２０２が作成した６４２個の視点の各距離画像に基づいて、特定の視点から見た物体２の特徴点の法線ベクトルを算出する。前述したように、代替の実施形態では、３次元データ取得部２０１が取得した３次元データに基づいて、特定の視点から見た物体２の特徴点の法線ベクトルを算出してもよい。

Ｓ５０４において、法線ベクトル量子化部２０４は、法線ベクトル算出部２０３が算出した法線ベクトルを量子化する。本実施形態では、法線ベクトル量子化部２０４は、単位球上の法線ベクトルを、図４（ｂ）に示すようなｘｙ軸からなる２次元空間上の基準領域にマッピングすることで、法線ベクトルの方向を量子化して、量子化法線方向特徴量を取得する。ここで、図４（ａ）の角度Φは、法線ベクトルＡとｚ軸との角度である。本実施形態では、単位球の中心を通るＸＹ平面を８等分して得た基準領域に、さらに角度Φを１０度とした場合のｓｉｎΦを半径ｒとする中心基準領域９を設けた、９つの基準領域が利用される。すなわち、基準領域は、中心基準領域９と、ｚ軸を中心として放射状に等間隔で延びる線分により形成される、周囲の基準領域１〜８とを含む。

その後、Ｓ５０５において、テンプレート作成装置２０のテンプレート作成部２０５は、法線ベクトル量子化部２０４が取得した量子化法線方向特徴量に基づいて、視点毎にテンプレートを作成する。本実施形態では、距離画像を作成した６４２個の視点のうちの視点毎に、テンプレート作成部２０５はテンプレートを作成する。

最後に、Ｓ５０７において、テンプレート作成装置２０のテンプレート情報出力部２０６は、テンプレート作成部２０５が作成したテンプレートを記憶装置のテンプレートＤＢ４０１に登録する。本実施形態では、テンプレート作成部２０５は、視点毎に、Ｓ５０４で取得した複数の特徴点の量子化法線方向特徴量を記述した配列形式のデータを、テンプレートＤＢ４０１に登録する。

（物体認識処理）
次に、図６のフローチャートに沿って、物体認識処理装置３０によって実行される物体認識処理について説明する。

ステップＳ６０１において、物体認識処理装置３０の画像取得部３０１は、カメラ１１から入力画像を取得する。次に、ステップＳ６０２において、物体認識処理装置３０の法線ベクトル算出部３０２は、画像取得部３０１が取得した入力画像において、特徴点の法線ベクトルを算出する。

続いて、Ｓ６０３において、物体認識処理装置３０の法線ベクトル量子化部３０３は、法線ベクトル算出部３０２が算出した法線ベクトルを量子化する。法線ベクトル量子化部３０３は、テンプレート作成時にＳ５０４で法線ベクトル量子化部２０４が用いた基準領域を利用して、法線ベクトルを量子化して量子化法線方向特徴量を取得する。本実施形態では、法線ベクトル量子化部３０３は、単位球の中心を通るＸＹ平面を８等分して得た基準領域に、さらに法線ベクトルとｚ軸との角度Φに基づく中心基準領域９を設けた、９つの基準領域を利用する。

その後、ステップＳ６０４において、物体認識処理装置３０のテンプレートマッチング部３０４は、テンプレートＤＢ４０１に登録されているテンプレートと、法線ベクトル量子化部３０３が取得した量子化法線方向特徴量とに基づいて、入力画像において物体２の位置を探索して、１又は複数の照合結果を得る。すなわち、テンプレートマッチング部３０４は、テンプレートＤＢ４０１に登録されているテンプレートの数分だけ、探索処理を行う。本実施形態では、テンプレートＤＢにおいて登録されている６４２個のテンプレートについて、入力画像中に認識された物体２の座標、及び当該座標ごとに入力画像とテンプレートとの間の画像特徴の一致度を示す照合スコアを照合結果として得る。

最後に、ステップＳ６０５において、物体認識処理装置３０の認識結果出力部３０５は、テンプレートマッチング部３０４が得た１又は複数の照合結果を統合して、最終的な認識結果を出力する。本実施形態では、６４２個のテンプレートから得た６４２個の照合結果について、同一の座標に異なる照合結果が出力される場合、認識結果出力部３０５は、最も高い照合スコアを有するテンプレートが当該座標上に認識されたと決定して、認識結果を出力する。

（追加の実施形態）
追加の実施形態では、テンプレート作成装置２０の法線ベクトル量子化部２０４は、Ｓ５０４において、量子化対象の法線ベクトルが属する基準領域の周辺の基準領域も許容するように、法線ベクトルを量子化する。例えば、法線ベクトル量子化部２０４は、図４（ｂ）の法線ベクトル１に対して、法線ベクトル１が属する基準領域２だけでなく、他の基準領域と比較して、法線ベクトル１の終点から基準領域までの最短距離が最も短い基準領域３も許容するように量子化して、量子化法線方向特徴量（０１１００００００）を取得することができる。同様に、法線ベクトル量子化部２０４は、法線ベクトル２を量子化して、量子化法線方向特徴量（０００００１１００）を取得し、法線ベクトル３を量子化して、量子化法線方向特徴量（１０００００００１）を取得することができる。

このようにすることで、ノイズや計測誤差によって、物体認識時のＳ６０３で、入力画像中の特徴点１の法線ベクトル１に対応する特徴量として（００１００００００）が取得される場合であっても、Ｓ６０４において、テンプレートマッチング部３０４は、法線ベクトル１が一致すると判定して、照合スコアを算出することができる。

本実施形態では、法線ベクトル量子化部２０４が、法線ベクトルが属する基準領域だけでなく、他の基準領域と比較して最も近い他の１つの基準領域も許容するように量子化する例について説明したが、代替の実施形態では、他の基準領域と比較して最も近い上位２つの他の基準領域も許容するように量子化してもよい。また、法線ベクトル量子化部２０４は、すべての法線ベクトルに対して一律に他の基準領域を許容するように量子化するのではなく、法線ベクトルの終点から他の基準領域までの最短距離が所定の閾値以下となる場合等、所定の条件を満たした場合にのみ、他の基準領域を許容するように量子化してもよい。

さらに、本実施形態では、テンプレート作成装置２０の法線ベクトル量子化部２０４が特徴量のロバスト化を実装する例について説明したが、代替の実施形態では、テンプレート作成装置２０の法線ベクトル量子化部２０４に代えて、物体認識処理装置３０の法線ベクトル量子化部３０３が特徴量のロバスト化を実装してもよい。特徴量のロバスト化をテンプレート作成装置側で実装することで、物体認識時の処理負荷を増大させることなく、許容される周辺の基準領域を設定することができる。一方、特徴量のロバスト化を物体認識処理装置側で実装することで、物体認識処理装置毎に固有の条件に基づいて、許容される周辺の基準領域を設定することができる。なお、テンプレート作成時、又は物体認識時のいずれか任意のタイミングで実装することにより、特徴量のロバスト化を達成することができるが、本発明は、テンプレート作成時、及び物体認識時の両方で特徴量のロバスト化を実装することを妨げるものではない。

本明細書において説明した各処理を実施するプログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、画像処理装置１０に、上記プログラムをインストールすることができる。ここで、上記プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体は特に限定されないが、例えば、ＣＤ−ＲＯＭ等の記録媒体であっても良い。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）
少なくとも１つのメモリと、前記メモリと接続された少なくとも１つのハードウェアプロセッサとを備え、
前記ハードウェアプロセッサが、
認識対象の物体の３次元形状を表す３次元データを取得し、
前記３次元データに基づいて、前記物体に対して設定された所定の視点から見た前記物体の特徴点における法線ベクトルを算出し、
前記算出した法線ベクトルを、前記視点を通る軸に直交する平面上の基準領域にマッピングすることによって量子化して、量子化法線方向特徴量を取得し、前記基準領域は、前記軸近傍に対応する中心基準領域と、前記中心基準領域の周囲の基準領域とを含み、
前記取得した量子化法線方向特徴量に基づいて、テンプレートマッチングによる物体認識で用いられるテンプレートを視点毎に作成し、
前記作成したテンプレートを出力する、
テンプレート作成装置。

（付記２）
少なくとも１つ以上のハードウェアプロセッサによって、認識対象の物体の３次元形状を表す３次元データを取得し、
前記ハードウェアプロセッサによって、前記３次元データに基づいて、前記物体に対して設定された所定の視点から見た前記物体の特徴点における法線ベクトルを算出し、
前記ハードウェアプロセッサによって、前記算出した法線ベクトルを、前記視点を通る軸に直交する平面上の基準領域にマッピングすることによって量子化して、量子化法線方向特徴量を取得し、前記基準領域は、前記軸近傍に対応する中心基準領域と、前記中心基準領域の周囲の基準領域とを含み、
前記ハードウェアプロセッサによって、前記取得した量子化法線方向特徴量に基づいて、テンプレートマッチングによる物体認識で用いられるテンプレートを視点毎に作成し、
前記ハードウェアプロセッサによって、前記作成したテンプレートを出力する、
テンプレート作成方法。

１…物体認識装置、２…物体、３…トレイ、４…ＰＬＣ、１０…画像処理装置、１１…カメラ、１２…ディスプレイ、１３…マウス、１４…メモリカード、１１２…メインメモリ、１１４…ハードディスク、１１６…カメラインターフェイス、１１６ａ…画像バッファ、１１８…入力インターフェイス、１２０…表示コントローラ、１２２…インターフェイス、１２４…通信インターフェイス、１２６…ライタ、１２８…バス、２０…テンプレート作成装置、２０１…３次元データ取得部、２０２…距離画像作成部、２０３…法線ベクトル算出部、２０４…法線ベクトル量子化部、２０５…テンプレート作成部、２０６…テンプレート情報出力部、３０…物体認識処理装置、３０１…画像取得部、３０２…法線ベクトル算出部、３０３…法線ベクトル量子化部、３０４…テンプレートマッチング部、３０５…認識結果出力部、４０…記憶装置、４０１…テンプレートＤＢ

Claims (12)

1. 認識対象の物体の３次元形状を表す３次元データを取得する３次元データ取得部と、
   前記３次元データに基づいて、前記物体に対して設定された所定の視点から見た前記物体の特徴点における法線ベクトルを算出する法線ベクトル算出部と、
   前記算出した法線ベクトルを、前記視点を通る軸に直交する平面上の基準領域にマッピングすることによって量子化して、量子化法線方向特徴量を取得する法線ベクトル量子化部であって、前記基準領域は、前記軸近傍に対応する中心基準領域と、前記中心基準領域の周囲の基準領域とを含む、法線ベクトル量子化部と、
   前記取得した量子化法線方向特徴量に基づいて、テンプレートマッチングによる物体認識で用いられるテンプレートを視点毎に作成するテンプレート作成部と、
   前記作成したテンプレートを出力するテンプレート情報出力部と
   を備えたテンプレート作成装置。
2. 前記周囲の基準領域は、３次元の単位球を均等に分割して得た複数のセグメントに対応する複数の基準領域を含む、請求項１に記載のテンプレート作成装置。
3. 前記中心基準領域は、法線ベクトルと前記軸との角度Φに基づいて設定される、請求項１に記載のテンプレート作成装置。
4. 前記中心基準領域は、前記角度Φを所定の角度とした場合に求められる、ｓｉｎΦを半径とする円である、請求項３に記載のテンプレート作成装置。
5. 前記法線ベクトル量子化部は、量子化対象の法線ベクトルが属する基準領域の周辺の基準領域も許容するように前記法線ベクトルを量子化する、請求項１に記載のテンプレート作成装置。
6. テンプレートを用いて物体の認識を行う物体認識処理装置であって、
   入力画像を取得する画像取得部と、
   前記入力画像において、特徴点の法線ベクトルを算出する法線ベクトル算出部と、
   前記算出した法線ベクトルを、前記入力画像を取得したカメラの光軸に直交する平面上の基準領域にマッピングすることによって量子化して、量子化法線方向特徴量を取得する法線ベクトル量子化部であって、前記基準領域は、前記光軸近傍に対応する中心基準領域と、前記中心基準領域の周囲の基準領域とを含む、法線ベクトル量子化部と、
   前記テンプレートと、前記法線ベクトル量子化部が取得した量子化法線方向特徴量とに基づいて、前記入力画像における前記物体の位置を探索して、照合結果を得るテンプレートマッチング部と、
   前記照合結果に基づく認識結果を出力する認識結果出力部と
   を備えた物体認識処理装置。
7. 前記周囲の基準領域は、前記周囲の基準領域は、３次元の単位球を均等に分割して得た複数のセグメントに対応する複数の基準領域を含む、請求項６に記載の物体認識処理装置。
8. 前記中心基準領域は、法線ベクトルと前記光軸との角度Φに基づいて設定される、請求項６に記載の物体認識処理装置。
9. 前記中心基準領域は、前記角度Φを所定の角度とした場合に求められる、ｓｉｎΦを半径とする円である、請求項８に記載の物体認識処理装置。
10. 前記法線ベクトル量子化部は、量子化対象の法線ベクトルが属する基準領域の周辺の基準領域も許容するように前記法線ベクトルを量子化する、請求項６に記載の物体認識処理装置。
11. コンピュータが実行するテンプレート作成方法であって、
    認識対象の物体の３次元形状を表す３次元データを取得するステップと、
    前記３次元データに基づいて、前記物体に対して設定された所定の視点から見た前記物体の特徴点における法線ベクトルを算出するステップと、
    前記算出した法線ベクトルを、前記視点を通る軸に直交する平面上の基準領域にマッピングすることによって量子化して、量子化法線方向特徴量を取得するステップであって、前記基準領域は、前記軸近傍に対応する中心基準領域と、前記中心基準領域の周囲の基準領域とを含む、ステップと、
    前記取得した量子化法線方向特徴量に基づいて、テンプレートマッチングによる物体認識で用いられるテンプレートを視点毎に作成するステップと、
    前記作成したテンプレートを出力するステップと
    を含むテンプレート作成方法。
12. コンピュータに、
    認識対象の物体の３次元形状を表す３次元データを取得するステップと、
    前記３次元データに基づいて、前記物体に対して設定された所定の視点から見た前記物体の特徴点における法線ベクトルを算出するステップと、
    前記算出した法線ベクトルを、前記視点を通る軸に直交する平面上の基準領域にマッピングすることによって量子化して、量子化法線方向特徴量を取得するステップであって、前記基準領域は、前記軸近傍に対応する中心基準領域と、前記中心基準領域の周囲の基準領域とを含む、ステップと、
    前記取得した量子化法線方向特徴量に基づいて、テンプレートマッチングによる物体認識で用いられるテンプレートを視点毎に作成するステップと、
    前記作成したテンプレートを出力するステップと
    を実行させるプログラム。

Images