JP2010287085A - 物体認識装置、物体認識方法及びプログラム - Google Patents
物体認識装置、物体認識方法及びプログラム Download PDFInfo
- Publication number
- JP2010287085A JP2010287085A JP2009140902A JP2009140902A JP2010287085A JP 2010287085 A JP2010287085 A JP 2010287085A JP 2009140902 A JP2009140902 A JP 2009140902A JP 2009140902 A JP2009140902 A JP 2009140902A JP 2010287085 A JP2010287085 A JP 2010287085A
- Authority
- JP
- Japan
- Prior art keywords
- thinning
- point
- feature point
- unit
- registered image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】相関法の演算に用いるデータ量を低減し、登録画像に対応する認識対象物体の検出処理を高速に行う画像認識装置を提供する。
【解決手段】本発明の物体認識装置は、登録画像より抽出した複数の第1の特徴点と、基準点から第1特徴点への変位ベクトルとが記憶される特徴点データ記憶部と、第1特徴点を間引きし、間引きモデルを生成する第１特徴点間引部と、認識対象物体より第2特徴点を抽出する特徴点抽出部と、第2特徴点ごとに、当該第２特徴点の座標と、間引きモデルの第1特徴点に対応する変位ベクトルから、認識対象物体の基準点の候補である候補座標点を算出する候補座標点算出部と、間引きモデルにおける全ての第1特徴点毎に、対応する候補座標に対して点投票を行い、投票数を積算する候補座標点投票部と、積算値が最大値を有する候補座標点を、登録画像に一致する認識対象物体の基準点とする認識対象物体判定部とを有する。
【選択図】図１
【解決手段】本発明の物体認識装置は、登録画像より抽出した複数の第1の特徴点と、基準点から第1特徴点への変位ベクトルとが記憶される特徴点データ記憶部と、第1特徴点を間引きし、間引きモデルを生成する第１特徴点間引部と、認識対象物体より第2特徴点を抽出する特徴点抽出部と、第2特徴点ごとに、当該第２特徴点の座標と、間引きモデルの第1特徴点に対応する変位ベクトルから、認識対象物体の基準点の候補である候補座標点を算出する候補座標点算出部と、間引きモデルにおける全ての第1特徴点毎に、対応する候補座標に対して点投票を行い、投票数を積算する候補座標点投票部と、積算値が最大値を有する候補座標点を、登録画像に一致する認識対象物体の基準点とする認識対象物体判定部とを有する。
【選択図】図１
Description
本発明は、入力される画像において、予め登録された参照物体の位置、姿勢（回転角）及びスケーリングファクターを検出する物体認識装置に関するものである。
撮像装置などから入力される入力画像から、予め登録された参照物体の位置（２次元座標系における位置座標（ｘ，ｙ））、回転角θ及びスケーリングファクターＳなどを検出する検出方法として、相関法、フーリエ記述子法、モーメント法、ハフ変換法などがよく知られている。
上述したいずれの検出方法も、登録されている参照物体の特徴点は予め抽出されて登録されている。
そして、入力画像内から抽出された認識対象物体の特徴点と、登録されている特徴点とを用いて、入力画像内における登録画像に対応した物体の位置、登録画像に対する姿勢、及びスケーリングファクターを求める。
上述したいずれの検出方法も、登録されている参照物体の特徴点は予め抽出されて登録されている。
そして、入力画像内から抽出された認識対象物体の特徴点と、登録されている特徴点とを用いて、入力画像内における登録画像に対応した物体の位置、登録画像に対する姿勢、及びスケーリングファクターを求める。
上述した特徴点を用いた検出方法において、ハフ変換法は投票と呼ばれる単純な多数決の原理に基づくものである。
そのため、入力画像内における認識対象物体同士の１部の接触、あるいは重なりなどによる部分的な遮蔽、また画像ノイズなどに対し、認識対象物体の認識処理において頑健な性能を有している。
このハフ変換法において、任意形状を有する認識対象物体の検出を高速に行う方法として一般化ハフ変換法がある（例えば、非特許文献１参照）。
そのため、入力画像内における認識対象物体同士の１部の接触、あるいは重なりなどによる部分的な遮蔽、また画像ノイズなどに対し、認識対象物体の認識処理において頑健な性能を有している。
このハフ変換法において、任意形状を有する認識対象物体の検出を高速に行う方法として一般化ハフ変換法がある（例えば、非特許文献１参照）。
上記一般化ハフ変換法は、参照物体より抽出した特徴点（ピクセル単位）において、その特徴点における接線と、あるいは法線の角度と、またその特徴点及び物体の基準となる基準点の位置関係とを参照テーブルとして準備する。この基準点は、参照物体の２次元座標への配置位置を示す配置基準点である。
すなわち、モデルとなる登録画像の上記参照テーブルを生成する図１３のフローチャートに示すように、登録画像の画像を入力し（ステップＳ１）、図１４に示すように、参照物体の特徴点（Ｐ）を２次微分（ラプラシアン）法あるいはモラベック（Moravec）の方法等により抽出する（ステップＳ２）。つまり、周辺画素との値（画素値）の差が大きな点である輪郭線上の点や、表面状態が大きく変わる点などが特徴点となる。
すなわち、モデルとなる登録画像の上記参照テーブルを生成する図１３のフローチャートに示すように、登録画像の画像を入力し（ステップＳ１）、図１４に示すように、参照物体の特徴点（Ｐ）を２次微分（ラプラシアン）法あるいはモラベック（Moravec）の方法等により抽出する（ステップＳ２）。つまり、周辺画素との値（画素値）の差が大きな点である輪郭線上の点や、表面状態が大きく変わる点などが特徴点となる。
そして、登録画像における特徴点の２値化処理を予め設定した閾値を用いて行い、２値化データを出力する（ステップＳ３）。ここで行う２値化手法としては、あらかじめ設定してある閾値による単純２値化法をはじめとして、ある閾値でヒストグラムを２クラスに分割した場合のクラス間分散が最大になるときの閾値を２値化閾値とする大津法（「判別および最小２乗規準に基づく自動しきい値選定法」（大津）、電子通信学会論文誌、Ｖｏｌ．Ｊ６３−Ｄ，Ｎｏ．４．ｐｐ．３４９−３５６，１９８０）、あるいは、階調を持つ画像に対して、局所的濃度に応じて閾値を設定する２値化法等が用いられる。
次に、登録画像の各特徴点のデータを記憶する参照テーブルの記憶領域の初期化を行い（ステップＳ４）、参照物体の基準点を任意の位置、例えば参照物体の重心位置として求める（ステップＳ５）。
上記特徴点（始点）から基準点（終点）への変位ベクトルと、特徴点における単位法線ベクトルとからなる特徴点データを求める処理を、全ての２値化データに対して行ったか否かの判定を行い（ステップＳ６）、全ての２値化データにおける特徴点データの取得処理が終了すると処理を終了し、特徴点データを取得する処理を行っていない２値化データがある場合に処理をステップＳ７へ進める。
上記特徴点（始点）から基準点（終点）への変位ベクトルと、特徴点における単位法線ベクトルとからなる特徴点データを求める処理を、全ての２値化データに対して行ったか否かの判定を行い（ステップＳ６）、全ての２値化データにおける特徴点データの取得処理が終了すると処理を終了し、特徴点データを取得する処理を行っていない２値化データがある場合に処理をステップＳ７へ進める。
未処理の２値化データを読み出し（ステップＳ７）、この２値化データが特徴点であるか否かの判定を上記閾値により行い（ステップＳ８）、特徴点でない場合に処理をステップＳ６へ進め、特徴点である場合に処理をステップＳ９へ進める。
そして、特徴点（図においては単に点とする）における接線あるいは単位法線ベクトルを求め、処理をステップＳ６へ進める（ステップＳ９）。
例えば、ステップＳ９において、点Ｐ１における法線ベクトルＮ１を求め、点Ｐ２における法線ベクトルを求め、他の点においても同様に法線ベクトルを求める。これらの法線ベクトルの長さが同一となるように単位法線ベクトルとして規格化し、図１５に示すように、特徴点の番号に対応させて、この特徴点における単位法線ベクトルを構成するｘ成分ＮＸｎ（１≦ｎ≦Ｍの整数、Ｍは特徴点の数）及びｙ成分ＮＹｎと、この特徴点における変位ベクトルＤｎを構成するｘ成分ＤＸｎ及びｙ成分ＤＹｎとの参照テーブルを生成する。
そして、特徴点（図においては単に点とする）における接線あるいは単位法線ベクトルを求め、処理をステップＳ６へ進める（ステップＳ９）。
例えば、ステップＳ９において、点Ｐ１における法線ベクトルＮ１を求め、点Ｐ２における法線ベクトルを求め、他の点においても同様に法線ベクトルを求める。これらの法線ベクトルの長さが同一となるように単位法線ベクトルとして規格化し、図１５に示すように、特徴点の番号に対応させて、この特徴点における単位法線ベクトルを構成するｘ成分ＮＸｎ（１≦ｎ≦Ｍの整数、Ｍは特徴点の数）及びｙ成分ＮＹｎと、この特徴点における変位ベクトルＤｎを構成するｘ成分ＤＸｎ及びｙ成分ＤＹｎとの参照テーブルを生成する。
上記参照テーブルを用いた非特許文献１による画像認識処理は、図１６に示すフローチャートの動作により行われる。
撮像装置等から入力画像を入力し（ステップＳ１１）、図１７に示すように、入力画像内の認識対象物体の特徴点を参照画像と同様の方法にて抽出する（ステップＳ１２）。この図１７は、認識対象物体の特徴点（Ｑ）に対し、登録画像の特徴点を重ね合わせ、その登録画像の特徴点における法線ベクトルの角度を合わせ、登録画像の変位ベクトルの指し示す基準点の位置の投票を行うことを示す概念図である。
そして、入力画像における特徴点の２値化処理を、登録画像の処理と同様に、予め設定した閾値を用いて行い、２値化データを出力する（ステップＳ１３）。
撮像装置等から入力画像を入力し（ステップＳ１１）、図１７に示すように、入力画像内の認識対象物体の特徴点を参照画像と同様の方法にて抽出する（ステップＳ１２）。この図１７は、認識対象物体の特徴点（Ｑ）に対し、登録画像の特徴点を重ね合わせ、その登録画像の特徴点における法線ベクトルの角度を合わせ、登録画像の変位ベクトルの指し示す基準点の位置の投票を行うことを示す概念図である。
そして、入力画像における特徴点の２値化処理を、登録画像の処理と同様に、予め設定した閾値を用いて行い、２値化データを出力する（ステップＳ１３）。
次に、基準点の候補に対して投票を行う投票空間（図１８の投票空間の概念図にある回転角度毎の基準点の座標を示す２次元平面）の記憶領域の初期化を行う（ステップＳ１４）。
上記基準点から特徴点への変位ベクトルと、特徴点における単位法線ベクトルとからなる特徴点データを求める処理を、全ての２値化データに対して行ったか否かの判定を行い（ステップＳ１５）、全ての２値化データに対する特徴点データの取得処理が終了した場合に処理を終了し、特徴点データを取得する処理を行っていない２値化データがある場合に処理をステップＳ１６へ進める。
上記基準点から特徴点への変位ベクトルと、特徴点における単位法線ベクトルとからなる特徴点データを求める処理を、全ての２値化データに対して行ったか否かの判定を行い（ステップＳ１５）、全ての２値化データに対する特徴点データの取得処理が終了した場合に処理を終了し、特徴点データを取得する処理を行っていない２値化データがある場合に処理をステップＳ１６へ進める。
未処理の２値化データを読み出し（ステップＳ１６）、この２値化データが特徴点であるか否かの判定を上記閾値により行い（ステップＳ１７）、特徴点でない場合、つまり閾値よりも小さい場合に処理をステップＳ１５へ進め、特徴点である場合、つまり閾値以上の場合に処理をステップＳ１８へ進める。
そして、特徴点の単位法線ベクトルを求め、処理をステップ１９へ進める（ステップＳ１８）。
登録画像の全ての特徴点を用いて、認識対象物体の選択された特徴点に対応した基準点の候補への投票処理を行ったか否かの判定を行い（ステップＳ１９）、認識対象物体の選択された特徴点に対して、登録画像の全ての特徴点を用いた投票処理が終了した場合、処理をステップＳ１５へ進め、一方、投票処理に用いられていない登録画像の特徴点が存在する場合、処理をステップＳ２０へ進める。
そして、特徴点の単位法線ベクトルを求め、処理をステップ１９へ進める（ステップＳ１８）。
登録画像の全ての特徴点を用いて、認識対象物体の選択された特徴点に対応した基準点の候補への投票処理を行ったか否かの判定を行い（ステップＳ１９）、認識対象物体の選択された特徴点に対して、登録画像の全ての特徴点を用いた投票処理が終了した場合、処理をステップＳ１５へ進め、一方、投票処理に用いられていない登録画像の特徴点が存在する場合、処理をステップＳ２０へ進める。
認識対象物体の特徴点に対し、登録画像の特徴点を重ね合わせ、認識対象物体の特徴点における単位法線ベクトルと、登録画像の特徴点における単位法線ベクトルとの角度差（回転角θ）を求める（ステップＳ２０）。
次に、登録画像の特徴点の変位ベクトルを、特徴点を中心として回転角θ分、以下の式により回転させる（ステップＳ２１）。
認識対象物体の特徴点における単位法線ベクトルと、登録画像の特徴点における単位法線ベクトルとから、ＣＯＳ値とＳＩＮ値とを求める。たとえば、図１４における点Ｐ１が図１７における点Ｑ２であると仮定した場合、以下の（１）式により求めることができる。
ＣＯＳ ＝ Ｎｘ１×ｎｘ２ ＋ Ｎｙ１×ｎｙ２
ＳＩＮ ＝ Ｎｘ１×ｎｙ２ − Ｎｙ１×ｎｘ２ …（１）
ここで、登録画像の単位法線ベクトルを（Ｎｘ１，Ｎｙ１）とし、認識対象物体の単位法線ベクトルを（ｎｘ２，ｎｙ２）とする。
ここで、変位ベクトルも同様に、特徴点に対して回転角θにより回転するため、回転させた変位ベクトルの成分ｄｘ及びｄｙは、以下の（２）式により求めることができる。
ｄｘ ＝ ＣＯＳ×ＤＸ − ＳＩＮ×ＤＹ
ｄｙ ＝ ＳＩＮ×ＤＸ ＋ ＣＯＳ×ＤＹ …（２）
ここで、登録画像の変位ベクトルを（ＤＸ，ＤＹ）としている。
認識対象物体の特徴点における単位法線ベクトルと、登録画像の特徴点における単位法線ベクトルとから、ＣＯＳ値とＳＩＮ値とを求める。たとえば、図１４における点Ｐ１が図１７における点Ｑ２であると仮定した場合、以下の（１）式により求めることができる。
ＣＯＳ ＝ Ｎｘ１×ｎｘ２ ＋ Ｎｙ１×ｎｙ２
ＳＩＮ ＝ Ｎｘ１×ｎｙ２ − Ｎｙ１×ｎｘ２ …（１）
ここで、登録画像の単位法線ベクトルを（Ｎｘ１，Ｎｙ１）とし、認識対象物体の単位法線ベクトルを（ｎｘ２，ｎｙ２）とする。
ここで、変位ベクトルも同様に、特徴点に対して回転角θにより回転するため、回転させた変位ベクトルの成分ｄｘ及びｄｙは、以下の（２）式により求めることができる。
ｄｘ ＝ ＣＯＳ×ＤＸ − ＳＩＮ×ＤＹ
ｄｙ ＝ ＳＩＮ×ＤＸ ＋ ＣＯＳ×ＤＹ …（２）
ここで、登録画像の変位ベクトルを（ＤＸ，ＤＹ）としている。
入力画像の認識対象物体の特徴点の位置対して、上記回転させた変位ベクトルを、以下の式のように加えて、基準点の候補位置を求める（ステップＳ２２）。
上述した式により、点Ｑ２の座標を（Ｑｘ，Ｑｙ）とすると、認識対象物体の基準点の候補は以下の（３）式により求められる。
Ｒｘ ＝ Ｑｘ ＋ ｄｘ
Ｒｙ ＝ Ｑｙ ＋ ｄｙ …（３）
上述した式により、点Ｑ２の座標を（Ｑｘ，Ｑｙ）とすると、認識対象物体の基準点の候補は以下の（３）式により求められる。
Ｒｘ ＝ Ｑｘ ＋ ｄｘ
Ｒｙ ＝ Ｑｙ ＋ ｄｙ …（３）
そして、回転角θに対応する２次元平面の座標に対し、上記基準点の候補の位置（Ｒｘ，Ｒｙ）に「１」を加算、すなわち投票を行う（ステップＳ２３）。
上述したように、非特許文献１の方法においては、各特徴点における登録画像と認識対象物体とのそれぞれの法線の角度を合わせて（この際の回転角が姿勢となる）変位ベクトルの示す基準点の位置の投票を行う。
この結果、重ね合わせた特徴点が登録画像と認識対象物体とで対応している場合、法線ベクトルの角度を合わせると、登録画像の変位ベクトルが同一の点の方向を向き、その指し示す先の基準点が重なり合うため、投票数がピークとなる位置を、認識対象物体の基準点の位置として検出するとともに、その際の回転角を登録画像に対する姿勢として得ることができる。この処理により、登録画像と入力画像における認識対象物体との認識処理を非常に効率良く行う。
上述したように、非特許文献１の方法においては、各特徴点における登録画像と認識対象物体とのそれぞれの法線の角度を合わせて（この際の回転角が姿勢となる）変位ベクトルの示す基準点の位置の投票を行う。
この結果、重ね合わせた特徴点が登録画像と認識対象物体とで対応している場合、法線ベクトルの角度を合わせると、登録画像の変位ベクトルが同一の点の方向を向き、その指し示す先の基準点が重なり合うため、投票数がピークとなる位置を、認識対象物体の基準点の位置として検出するとともに、その際の回転角を登録画像に対する姿勢として得ることができる。この処理により、登録画像と入力画像における認識対象物体との認識処理を非常に効率良く行う。
しかしながら、非特許文献１に示す物体認識方法にあっては、登録画像画像に対する入力画像における認識対象物体の回転角を元にして、変位ベクトルを回転させ、基準点の候補点を算出するため、登録画像から抽出した特徴点と、その特徴点における法線（または接線）のベクトル情報を必要としている。
このため、登録画像の特徴点毎に法線（または接線）のベクトル情報を得るための処理が必要となる。
また、登録画像と、入力画像とを撮像した際の、認識対象物体に対する照明方向や照明光の違いにより、計算から得られる法線ベクトルや接線の数値に系統的な誤差が発生することが考えられる。
この場合、登録画像の特徴点における法線ベクトルと、入力画像の特徴点における法線ベクトルとを用いて、基準点の候補座標における投票処理を行った結果にも誤差が発生することになる。
上述した非特許文献１の物体認識方法と異なり、法線ベクトルを用いずに任意形状を有する認識対象物体の検出を行うための方法としては、相関法または畳込みが用いられている（例えば、非特許文献２参照）。
このため、登録画像の特徴点毎に法線（または接線）のベクトル情報を得るための処理が必要となる。
また、登録画像と、入力画像とを撮像した際の、認識対象物体に対する照明方向や照明光の違いにより、計算から得られる法線ベクトルや接線の数値に系統的な誤差が発生することが考えられる。
この場合、登録画像の特徴点における法線ベクトルと、入力画像の特徴点における法線ベクトルとを用いて、基準点の候補座標における投票処理を行った結果にも誤差が発生することになる。
上述した非特許文献１の物体認識方法と異なり、法線ベクトルを用いずに任意形状を有する認識対象物体の検出を行うための方法としては、相関法または畳込みが用いられている（例えば、非特許文献２参照）。
D.H.Ballard，"Generalizing The Hough Transform To Detect Arbitrary Shapes"，Pattern Recongition，Vol.13,no.2,pp.111-122,1981
"新編画像解析ハンドブック"、２００４、東京大学出版会、第２部第４章「マッチング」
上述したように、非特許文献２に示す物体認識方法にあっては、相関法を用いているため、特徴点における法線ベクトルや接線を必要とせず、非特許文献１における問題が発生することはない。
しかしながら、相関法においては、登録画像の全ての回転角θ毎に設けられた、基準点の２次元の候補座標に対して投票を行って行くためメモリー容量を多く必要とし、かつ閾値の計算において大量の演算処理を行う必要がある。
このため、演算量を低減するため、非特許文献２においては、登録画像及び入力画像を縮小して、それぞれの縮尺において順次処理を行い、探索領域を限定していく階層化探索などを行い、画像データ量を減少させて演算量を低減している。
しかしながら、縮小画像を生成する必要があり、縮小画像を生成する際に、画像の特徴部分のデータが欠落し、登録画像に一致している認識対象物体が、一致していると判定されない欠点がある。
しかしながら、相関法においては、登録画像の全ての回転角θ毎に設けられた、基準点の２次元の候補座標に対して投票を行って行くためメモリー容量を多く必要とし、かつ閾値の計算において大量の演算処理を行う必要がある。
このため、演算量を低減するため、非特許文献２においては、登録画像及び入力画像を縮小して、それぞれの縮尺において順次処理を行い、探索領域を限定していく階層化探索などを行い、画像データ量を減少させて演算量を低減している。
しかしながら、縮小画像を生成する必要があり、縮小画像を生成する際に、画像の特徴部分のデータが欠落し、登録画像に一致している認識対象物体が、一致していると判定されない欠点がある。
本発明は、このような事情に鑑みてなされたもので、その目的は、相関法において演算に用いるデータ量を低減し、登録画像に対応する認識対象物体の検出処理を高速に行うことが可能な画像認識装置を提供することにある。
この発明は上述した課題を解決するためになされたもので、本発明の物体認識装置は、登録画像より抽出した複数の第１の特徴点と、当該第１の特徴点から前記登録画像を配置する基準点への変位ベクトルとが記憶される特徴点データ記憶部と、前記第１の特徴点を間引きし、間引きモデルを生成する第１の特徴点間引部と、入力画像における認識対象物体より第２の特徴点を抽出する特徴点抽出部と、前記第２の特徴点ごとに、当該第２の特徴点の座標と、前記間引きモデルの前記第１の特徴点に対応する前記変位ベクトルとから、前記認識対象物体の基準点の候補である候補座標点を算出する候補座標点算出部と、前記間引きモデルにおける全ての前記第１の特徴点毎に、対応する前記候補座標に対して点投票を行い、投票数を積算する候補座標点投票部と、前記積算の積算値が最大値を有する前記候補座標点を、前記登録画像に一致する前記認識対象物体の前記基準点とする認識対象物体判定部とを有することを特徴とする。
本発明の物体認識方法は、登録画像データ生成部が、登録画像より抽出した複数の第１の特徴点と、当該第１の特徴点から前記登録画像を配置する基準点への変位ベクトルとを、特徴点データ記憶部に記憶する過程と、第１の特徴点間引部が、前記第１の特徴点を間引きし、間引きモデルを生成する過程と、特徴点抽出部が、入力画像における認識対象物体より第２の特徴点を抽出する過程と、候補座標点算出部が、前記第２の特徴点ごとに、当該第２の特徴点の座標と、前記間引きモデルの前記第１の特徴点に対応する前記変位ベクトルとから、前記認識対象物体の基準点の候補である候補座標点を算出する過程と、候補座標点投票部が、前記間引きモデルにおける全ての前記第１の特徴点毎に、対応する前記候補座標に対して点投票を行い、投票数を積算する過程と、認識対象物体判定部が、前記積算の積算値が最大値を有する前記候補座標点を、前記登録画像に一致する前記認識対象物体の前記基準点とする過程とを有することを特徴とする。
本発明のプログラムは、登録画像データ生成部が、登録画像より抽出した複数の第１の特徴点と、当該第１の特徴点から前記登録画像を配置する基準点への変位ベクトルとを、特徴点データ記憶部に記憶する処理と、第１の特徴点間引部が、前記第１の特徴点を間引きし、間引きモデルを生成する処理と、特徴点抽出部が、入力画像における認識対象物体より第２の特徴点を抽出する処理と、候補座標点算出部が、前記第２の特徴点ごとに、当該第２の特徴点の座標と、前記間引きモデルの前記第１の特徴点に対応する前記変位ベクトルとから、前記認識対象物体の基準点の候補である候補座標点を算出する処理と、候補座標点投票部が、前記間引きモデルにおける全ての前記第１の特徴点毎に、対応する前記候補座標に対して点投票を行い、投票数を積算する処理と、認識対象物体判定部が、前記積算の積算値が最大値を有する前記候補座標点を、前記登録画像に一致する前記認識対象物体の前記基準点とする処理とを有する物体認識装置としてコンピューターを機能させるためのプログラムである。
本発明によれば、認識対象物体の検出に、第１の特徴点を間引いた間引きモデルを用いて検出処理を行うため、非特許文献２のように縮小画像を用いた場合に比較し、初期の登録画像の特徴を失わせずに、相関法における演算量を低減することが可能なため、検出精度を低下させずに検出処理を高速化することができる。
また、本発明によれば、相関法を用いているため、非特許文献１に比較し、複数の形状が異なる認識対象物体の一部が重なっていたとしても、登録画像に対応した認識対象物体の検出を行うことができる。
また、本発明によれば、登録画像と入力画像との取得の際の照明方向や照明光の違いにより、計算から得られる系統的な誤差を有する法線ベクトル等を用いる必要がないため、登録画像と入力画像との取得の環境の違いによる影響を抑制することができる。
本発明の物体認識方法は、登録画像データ生成部が、登録画像より抽出した複数の第１の特徴点と、当該第１の特徴点から前記登録画像を配置する基準点への変位ベクトルとを、特徴点データ記憶部に記憶する過程と、第１の特徴点間引部が、前記第１の特徴点を間引きし、間引きモデルを生成する過程と、特徴点抽出部が、入力画像における認識対象物体より第２の特徴点を抽出する過程と、候補座標点算出部が、前記第２の特徴点ごとに、当該第２の特徴点の座標と、前記間引きモデルの前記第１の特徴点に対応する前記変位ベクトルとから、前記認識対象物体の基準点の候補である候補座標点を算出する過程と、候補座標点投票部が、前記間引きモデルにおける全ての前記第１の特徴点毎に、対応する前記候補座標に対して点投票を行い、投票数を積算する過程と、認識対象物体判定部が、前記積算の積算値が最大値を有する前記候補座標点を、前記登録画像に一致する前記認識対象物体の前記基準点とする過程とを有することを特徴とする。
本発明のプログラムは、登録画像データ生成部が、登録画像より抽出した複数の第１の特徴点と、当該第１の特徴点から前記登録画像を配置する基準点への変位ベクトルとを、特徴点データ記憶部に記憶する処理と、第１の特徴点間引部が、前記第１の特徴点を間引きし、間引きモデルを生成する処理と、特徴点抽出部が、入力画像における認識対象物体より第２の特徴点を抽出する処理と、候補座標点算出部が、前記第２の特徴点ごとに、当該第２の特徴点の座標と、前記間引きモデルの前記第１の特徴点に対応する前記変位ベクトルとから、前記認識対象物体の基準点の候補である候補座標点を算出する処理と、候補座標点投票部が、前記間引きモデルにおける全ての前記第１の特徴点毎に、対応する前記候補座標に対して点投票を行い、投票数を積算する処理と、認識対象物体判定部が、前記積算の積算値が最大値を有する前記候補座標点を、前記登録画像に一致する前記認識対象物体の前記基準点とする処理とを有する物体認識装置としてコンピューターを機能させるためのプログラムである。
本発明によれば、認識対象物体の検出に、第１の特徴点を間引いた間引きモデルを用いて検出処理を行うため、非特許文献２のように縮小画像を用いた場合に比較し、初期の登録画像の特徴を失わせずに、相関法における演算量を低減することが可能なため、検出精度を低下させずに検出処理を高速化することができる。
また、本発明によれば、相関法を用いているため、非特許文献１に比較し、複数の形状が異なる認識対象物体の一部が重なっていたとしても、登録画像に対応した認識対象物体の検出を行うことができる。
また、本発明によれば、登録画像と入力画像との取得の際の照明方向や照明光の違いにより、計算から得られる系統的な誤差を有する法線ベクトル等を用いる必要がないため、登録画像と入力画像との取得の環境の違いによる影響を抑制することができる。
本発明の物体認識装置は、前記第１の特徴点間引部が、乱数を発生し、前記第１の特徴点それぞれに付与する乱数付与部と、前記第１の特徴点に付与された前記乱数があらかじめ設定した間引き閾値未満の場合、当該第１の特徴点を残し、前記間引きモデルの第１の特徴点とし、一方、前記第１の特徴点に付与された前記乱数が前記間引き閾値以上の場合、当該第１の特徴点を間び引く間引部とを有していることを特徴とする。
本発明によれば、認識対象物体の検出に用いる間引きモデルの生成での間引き処理を行う際、乱数を発生してその乱数が間引き閾値以上か否かにより、間引く第１の特徴点を選択するため、間引き閾値を替えることにより、間引き率を調整することが可能であり、容易に間引き率の異なる間引きモデルを生成することができる。
本発明によれば、認識対象物体の検出に用いる間引きモデルの生成での間引き処理を行う際、乱数を発生してその乱数が間引き閾値以上か否かにより、間引く第１の特徴点を選択するため、間引き閾値を替えることにより、間引き率を調整することが可能であり、容易に間引き率の異なる間引きモデルを生成することができる。
本発明の物体認識装置は、前記第１の特徴点間引部が、前記間引きモデルを用い、前記登録画像及び当該登録画像と異なる画像を含んだ試験画像において前記登録画像の認識処理を行うモデル評価部をさらに有し、前記モデル評価部が、前記候補座標点投票部と同様な投票処理を、前記登録画像に対して行い、当該登録画像の基準点を検出できない場合、前記間引部が前記間引き閾値の数値を増加させ、間引きモデルを再度生成することを特徴とする。
本発明によれば、認識対象物体の検出に、登録画像から検出精度を確保した比率にて第１の特徴点を間引いた間引きモデルを用いて検出処理を行うため、初期の登録画像の特徴を失わせずに、相関法における演算量を低減することが可能なため、検出精度を低下させずに検出処理を高速化することができる。
本発明によれば、認識対象物体の検出に、登録画像から検出精度を確保した比率にて第１の特徴点を間引いた間引きモデルを用いて検出処理を行うため、初期の登録画像の特徴を失わせずに、相関法における演算量を低減することが可能なため、検出精度を低下させずに検出処理を高速化することができる。
本発明の物体認識装置は、前記乱数付与部が、前記第１の特徴点に対する乱数の付与を複数回行い、複数の間引き対象の登録画像を生成し、前記間引部が、前記間引き対象の登録画像毎に、前記間引き閾値を用いた間引き処理を行い、複数の間引きモデルを生成することを特徴とする請求項２に記載の物体認識装置。
本発明によれば、認識対象物体の検出に用いる間引きモデルの生成での間引き処理を行う際、異なる乱数を発生させて、その乱数が間引き閾値以上か否かにより、間引く第１の特徴点を選択するため、乱数の発生条件を変更することにより、間引かれる第１の特徴点を異ならせることが可能であり、容易に第１の特徴点の間引き条件の異なる間引きモデルを生成することができる。
本発明によれば、認識対象物体の検出に用いる間引きモデルの生成での間引き処理を行う際、異なる乱数を発生させて、その乱数が間引き閾値以上か否かにより、間引く第１の特徴点を選択するため、乱数の発生条件を変更することにより、間引かれる第１の特徴点を異ならせることが可能であり、容易に第１の特徴点の間引き条件の異なる間引きモデルを生成することができる。
本発明の物体認識装置は、前記第１の特徴点間引部が、前記間引きモデルを用い、前記登録画像及び当該登録画像と異なる画像を含んだ試験画像において当該登録画像に対する投票処理を行うモデル評価部をさらに有し、前記モデル評価部が、前記候補座標点投票部と同様な投票処理を、前記登録画像に対して行い、当該登録画像の基準点を検出できた間引きモデルを、前記認識対象物体の認識処理に用いる間引きモデルとすることを特徴とする。
本発明によれば、認識対象物体の検出に、登録画像から検出精度を確保した比率にて第１の特徴点を間引いた間引きモデルを用いて検出処理を行うため、初期の登録画像の特徴を失わせずに、相関法における演算量を低減することが可能なため、検出精度を低下させずに検出処理を高速化することができる。
本発明によれば、認識対象物体の検出に、登録画像から検出精度を確保した比率にて第１の特徴点を間引いた間引きモデルを用いて検出処理を行うため、初期の登録画像の特徴を失わせずに、相関法における演算量を低減することが可能なため、検出精度を低下させずに検出処理を高速化することができる。
本発明の物体認識装置は、前記認識対象物体の第２の特徴点を間引く第２の特徴点間引部をさらに有していることを特徴とする。
本発明によれば、より相関の演算処理を削減すること可能となり、入力画像における認識対象物体の検出処理をより高速に行うことができる。
本発明によれば、より相関の演算処理を削減すること可能となり、入力画像における認識対象物体の検出処理をより高速に行うことができる。
本発明は、入力画像における認識対象物体から、登録画像に一致する認識対象物体を相関法により検出する際、登録画像より抽出した第１の特徴点を間引くことで、相関における演算量を低減するものである。
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による物体認識装置の構成例を示す概略ブロック図である。
この図において、本実施形態による物体認識装置は、登録画像データ生成部１、特徴点データ記憶部２、第１の特徴点間引部３、間引きモデル記憶部４及び物体認識部５とを有している。
登録画像データ生成部１は、登録画像の第１の特徴点の配列として抽出し、登録画像の基準点を設定し、第１特徴点から基準点への変位ベクトルを求め、第１の特徴点の座標、変位ベクトルを第１の特徴点データとして、各登録画像の第１の特徴点の識別情報である特徴点番号に対応させ、第１の特徴点毎に特徴点データ記憶部２へ書き込んで記憶させる。上記基準点は、登録画像が配置された２次元座標上の任意の点で良く、例えば、登録画像の重心を基準点としても良い。
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による物体認識装置の構成例を示す概略ブロック図である。
この図において、本実施形態による物体認識装置は、登録画像データ生成部１、特徴点データ記憶部２、第１の特徴点間引部３、間引きモデル記憶部４及び物体認識部５とを有している。
登録画像データ生成部１は、登録画像の第１の特徴点の配列として抽出し、登録画像の基準点を設定し、第１特徴点から基準点への変位ベクトルを求め、第１の特徴点の座標、変位ベクトルを第１の特徴点データとして、各登録画像の第１の特徴点の識別情報である特徴点番号に対応させ、第１の特徴点毎に特徴点データ記憶部２へ書き込んで記憶させる。上記基準点は、登録画像が配置された２次元座標上の任意の点で良く、例えば、登録画像の重心を基準点としても良い。
特徴点データ記憶部２は、図１１に示すテーブル構成により、登録画像の第１の特徴点の特徴点番号に対応して、各登録画像の特徴点データが記憶されている。
第１の特徴点間引部３は、登録画像より抽出した第１の特徴点を間引いて、第１の特徴点データ数を削減し、当該登録画像に対応する間引きモデルを生成する。
物体認識部５は、入力画像における認識対象物体より第２の特徴点を抽出して配列として求め、上記間引きモデルにおける第１の特徴点の変位ベクトルから認識対象物体の基準点の候補である候補座標点を求め、この候補座標点に対する投票結果により、認識対象物体と登録画像との相関を判定していく。
第１の特徴点間引部３は、登録画像より抽出した第１の特徴点を間引いて、第１の特徴点データ数を削減し、当該登録画像に対応する間引きモデルを生成する。
物体認識部５は、入力画像における認識対象物体より第２の特徴点を抽出して配列として求め、上記間引きモデルにおける第１の特徴点の変位ベクトルから認識対象物体の基準点の候補である候補座標点を求め、この候補座標点に対する投票結果により、認識対象物体と登録画像との相関を判定していく。
上記登録画像データ生成部１は、登録画像取得部１１、特徴点抽出部１２、特徴点２値化部１３及び変位ベクトル抽出部１４を有している。この登録画像データ生成部１の動作は、特許文献１にて説明した図１３のフローチャートの動作と同様である。
登録画像取得部１１は、撮像装置あるいはＣＡＤシステムから、後に認識対象物体を認識するために用いる登録画像の画像データを入力する。
特徴点抽出部１２は、上記登録画像より抽出した第１の特徴点（ピクセル単位）を、非特許文献１における特徴抽出にて説明した２次微分（ラプラシアン）法あるいはモラベックの方法などを用いて抽出する。
登録画像取得部１１は、撮像装置あるいはＣＡＤシステムから、後に認識対象物体を認識するために用いる登録画像の画像データを入力する。
特徴点抽出部１２は、上記登録画像より抽出した第１の特徴点（ピクセル単位）を、非特許文献１における特徴抽出にて説明した２次微分（ラプラシアン）法あるいはモラベックの方法などを用いて抽出する。
特徴点２値化部１３は、登録画像の第１の特徴点のピクセルと、第１の特徴点以外のピクセルとの階調度による２値化を行う。例えば、特徴点２値化部１３は、予め設定した階調度の閾値により、第１の特徴点のピクセルの階調度を「１」、第１の特徴点以外のピクセルの階調度を「０」とする。ここで、予め設定した閾値は、一般化ハフ変換法にて説明した２値化処理を行う閾値を用いる。
変位ベクトル抽出部１４は、第１の特徴点毎に、第１の特徴点から基準点への変位ベクトルを求める。また、法線ベクトル抽出部１４は、第１の特徴点の座標、変位ベクトルを第１の特徴点データとして、図１４の構成（法線ベクトルの情報を除く）にて特徴点データ記憶部２へ書き込んで記憶させる。
変位ベクトル抽出部１４は、第１の特徴点毎に、第１の特徴点から基準点への変位ベクトルを求める。また、法線ベクトル抽出部１４は、第１の特徴点の座標、変位ベクトルを第１の特徴点データとして、図１４の構成（法線ベクトルの情報を除く）にて特徴点データ記憶部２へ書き込んで記憶させる。
次に、第１の特徴点間引部３は、乱数付与部３１、間引部３２及びモデル評価部３３を有している。
乱数付与部３１は、間引部３２が特徴点データ記憶部２から第１の特徴点を読み出すタイミングに同期して、上記第１の特徴点に対して付与する乱数を順次生成し、間引部３２へ出力する。
間引部３２は、第１の特徴点を読み込み、当該第１の特徴点に付与された乱数が入力されると、予め設定した間引き閾値との比較を行い、付与された乱数が間引き閾値以上の第１の特徴点を間引き、一方、付与された乱数が間引き閾値未満の第１の特徴点を残し、この間引かれなかった第１の特徴点から構成される間引きモデルを生成する。
モデル評価部３３は、上記間引きモデルの元データである登録画像と、当該登録画像と異なる登録画像とからなる評価用入力画像を用い、上記間引きモデルが、元データである登録画像との適合度とを求める。
また、モデル評価部３３は、他の登録画像に対して予め設定した差分が得られるか否かの判定を行い、認識対象物体の検出に用いる間引きモデルの生成を行い、得られた間引きモデルを間引きモデル記憶部４に書き込んで記憶させる。
乱数付与部３１は、間引部３２が特徴点データ記憶部２から第１の特徴点を読み出すタイミングに同期して、上記第１の特徴点に対して付与する乱数を順次生成し、間引部３２へ出力する。
間引部３２は、第１の特徴点を読み込み、当該第１の特徴点に付与された乱数が入力されると、予め設定した間引き閾値との比較を行い、付与された乱数が間引き閾値以上の第１の特徴点を間引き、一方、付与された乱数が間引き閾値未満の第１の特徴点を残し、この間引かれなかった第１の特徴点から構成される間引きモデルを生成する。
モデル評価部３３は、上記間引きモデルの元データである登録画像と、当該登録画像と異なる登録画像とからなる評価用入力画像を用い、上記間引きモデルが、元データである登録画像との適合度とを求める。
また、モデル評価部３３は、他の登録画像に対して予め設定した差分が得られるか否かの判定を行い、認識対象物体の検出に用いる間引きモデルの生成を行い、得られた間引きモデルを間引きモデル記憶部４に書き込んで記憶させる。
次に、物体認識部５は、入力画像取得部５１、特徴点抽出部５２、特徴点２値化部５３、候補座標点演算部５４、候補座標点投票部５５及び認識対象物体判定部５６を有している。
入力画像取得部５１は、カメラなどの撮像装置から、認識対象物体を含んだ入力画像の画像データを入力する。
特徴点抽出部５２は、上記入力画像における認識対象物体より、第２の特徴点（ピクセル単位）の座標値を、上記特徴点抽出部１２と同様の手法を用いて抽出する。
入力画像取得部５１は、カメラなどの撮像装置から、認識対象物体を含んだ入力画像の画像データを入力する。
特徴点抽出部５２は、上記入力画像における認識対象物体より、第２の特徴点（ピクセル単位）の座標値を、上記特徴点抽出部１２と同様の手法を用いて抽出する。
特徴点２値化部５３は、認識対象物体の第２の特徴点のピクセルと、第２の特徴点以外のピクセルとの階調度による２値化を行う。例えば、特徴点２値化部５３は、予め設定した階調度の閾値により、第２の特徴点のピクセルの階調度を「１」、第２の特徴点以外のピクセルの階調度を「０」とする。ここで、予め設定した閾値は、特徴点２値化部１３と同様の数値を用いる。
候補座標点演算部５４は、第２の特徴点の座標値と、第１の特徴点の変位ベクトルとから、基準点の候補座標Ｒ（Ｒｘ，Ｒｙ）を求める。
候補座標点投票部５５は、候補点座標Ｒに対し、「１」を投票、すなわち候補点座標Ｒに対応する積算記憶部に「１」を積算する。
認識対象物体判定部４０は、上記候補点座標Ｒの積算記憶部の２次元配列において、予め設定したピーク値を超える積算値を有する積算記憶部を抽出し、この候補点座標を認識対象物体の配置された基準点として検出する。
候補座標点投票部５５は、候補点座標Ｒに対し、「１」を投票、すなわち候補点座標Ｒに対応する積算記憶部に「１」を積算する。
認識対象物体判定部４０は、上記候補点座標Ｒの積算記憶部の２次元配列において、予め設定したピーク値を超える積算値を有する積算記憶部を抽出し、この候補点座標を認識対象物体の配置された基準点として検出する。
また、認識対象物体の登録画像に対する回転角θを算出する場合、上記候補座標点演算部５４は、間引きモデルを基準点を中心に、単位角度毎に回転させ、この回転角毎に候補座標点の算出を行う。
そして、候補座標点投票部５５は、回転角に対応した候補座標点に投票を行う。
認識対象物体判定部５６は、各回転角の２次元座標において予め設定されたピーク値を超える積算値を有する積算記憶部を抽出し、この積算記憶部に対応する候補点座標を、認識対象物体の基準点とし、この候補点座標の２次元座標を含む回転角を、認識対象物体の登録画像に対する回転角とする。
そして、候補座標点投票部５５は、回転角に対応した候補座標点に投票を行う。
認識対象物体判定部５６は、各回転角の２次元座標において予め設定されたピーク値を超える積算値を有する積算記憶部を抽出し、この積算記憶部に対応する候補点座標を、認識対象物体の基準点とし、この候補点座標の２次元座標を含む回転角を、認識対象物体の登録画像に対する回転角とする。
また、物体認識部５に接続されている詳細検出部６は、認識対象物体の位置を詳細に知る必要がある場合、上記認識対象物体判定部５６が抽出した基準点及び回転角θを元に、より認識対象物体の配置された位置を詳細に抽出する処理を行う。そのため、詳細な認識対象物体の配置位置の抽出の必要がなければ、詳細検出部３７を設ける必要はない。
次に、本実施形態における登録画像から間引きモデルを生成する処理を図２を用いて説明する。図２は、登録画像から間引きモデルを生成する処理の動作例を説明するフローチャートである。
ステップＳ３１からステップＳ３９までは、図１３の特徴点の抽出処理におけるステップＳ１からステップＳ９各々と同様であり、ステップＳ３６において登録画像の第１の特徴点の抽出が終了すると、この第１の特徴点の間引き処理がステップＳ４０に行われる。
この第１の特徴点の間引き処理を図３を用いて説明する。図３は第１の特徴点の間引き処理の動作例を説明するフローチャートである。
モデル評価部３３は、第１の特徴点に付与される乱数との比較に用いる間引き閾値の初期値を、間引部３２に対して設定する（ステップＳ４１）。
次に、モデル評価部３３は、間引きモデル記憶部４における間引きモデルのデータを消去して、この間引きモデル記憶部４を初期化する（ステップＳ４２）。
ステップＳ３１からステップＳ３９までは、図１３の特徴点の抽出処理におけるステップＳ１からステップＳ９各々と同様であり、ステップＳ３６において登録画像の第１の特徴点の抽出が終了すると、この第１の特徴点の間引き処理がステップＳ４０に行われる。
この第１の特徴点の間引き処理を図３を用いて説明する。図３は第１の特徴点の間引き処理の動作例を説明するフローチャートである。
モデル評価部３３は、第１の特徴点に付与される乱数との比較に用いる間引き閾値の初期値を、間引部３２に対して設定する（ステップＳ４１）。
次に、モデル評価部３３は、間引きモデル記憶部４における間引きモデルのデータを消去して、この間引きモデル記憶部４を初期化する（ステップＳ４２）。
この初期化の後、間引部３２は、登録画像データにおける全ての第１の特徴点を処理したか否かの判定を行い（ステップＳ４３）、全ての第１の特徴点が処理されていない場合に処理をステップＳ４４へ進め、一方、全ての第１の特徴点が処理されている場合に処理をステップＳ４８へ進める。ここで、間引部３２は、図１４のテーブルに記憶されている特徴点番号の順に第１の特徴点を、特徴点データ記憶部２から読み込むため、対応する登録画像の特徴点番号が無くなったことを検出すると、全ての特徴点の処理が終了したことを検出する。
全ての第１の特徴点の処理が終了していない場合、間引部３２は、次の特徴点番号の第の特徴点を読みだし（ステップＳ４４）、この第１の特徴点に付与する乱数を乱数付与部３１から入力する（ステップＳ４５）。
全ての第１の特徴点の処理が終了していない場合、間引部３２は、次の特徴点番号の第の特徴点を読みだし（ステップＳ４４）、この第１の特徴点に付与する乱数を乱数付与部３１から入力する（ステップＳ４５）。
そして、間引部３２は、入力される乱数が設定されている間引き閾値未満であるか否かの判定を行い（ステップＳ４６）、この乱数が間引き閾値以上である場合に処理をステップＳ４３へ進め、一方、乱数が間引き閾値未満である場合、処理をステップＳ４７へ進める。これにより、間引部３２は、付与された乱数が間引き閾値以上である第１の特徴点を削除して間引いている。
一方、乱数が間引き閾値未満の場合、間引部３２は、この第１の特徴点の特徴点データとして、間引きモデル記憶部４へ書き込み、特徴点データのコピー処理を行い、処理をステップＳ４３へ進める（ステップＳ４７）。
一方、乱数が間引き閾値未満の場合、間引部３２は、この第１の特徴点の特徴点データとして、間引きモデル記憶部４へ書き込み、特徴点データのコピー処理を行い、処理をステップＳ４３へ進める（ステップＳ４７）。
ステップＳ４３において、登録画像の全ての第１の特徴点を処理されたと判定された場合、モデル評価部３３は、特徴点データ記憶部２から登録画像の特徴点データを読み出し、この第１の特徴点の座標と、間引きモデル記憶部４から読み出した間引きモデルの第１の特徴点に対応する変位ベクトルとから、登録画像の基準点の候補座標点を算出し、この候補座標点に対する投票を行う。
そして、モデル評価部３３は、登録画像の第１の特徴点毎に、全ての間引きモデルの第１の特徴点の変位ベクトルから候補座標点を算出し、この座標候補点全て投票を行い、最も高い積算値を自身適応度とする。
また、モデル評価部３３は、図４に示すように、特徴点データ記憶部２から、間引きモデルの元の登録画像と異なる他の登録画像の特徴点データを読みだし、上述した登録画像と同様に他画像適応度の算出を行う。この他の登録画像の他画像適応度の算出は、複数の他の登録画像を用いて、複数個を算出する（ステップＳ４８）。図４は、モデル評価部３３が自身適応度及び他画像適応度を用いて、間引きモデルを生成することを示す概念図である。
そして、モデル評価部３３は、登録画像の第１の特徴点毎に、全ての間引きモデルの第１の特徴点の変位ベクトルから候補座標点を算出し、この座標候補点全て投票を行い、最も高い積算値を自身適応度とする。
また、モデル評価部３３は、図４に示すように、特徴点データ記憶部２から、間引きモデルの元の登録画像と異なる他の登録画像の特徴点データを読みだし、上述した登録画像と同様に他画像適応度の算出を行う。この他の登録画像の他画像適応度の算出は、複数の他の登録画像を用いて、複数個を算出する（ステップＳ４８）。図４は、モデル評価部３３が自身適応度及び他画像適応度を用いて、間引きモデルを生成することを示す概念図である。
次に、モデル評価部３３は、現在の間引き閾値において、上記自身適応度と、他画像適応度の最も高い値との差分である排除率評価値を求め（ステップＳ４９）、この排除率評価値が予め設定している範囲以内か否かの判定を行う（ステップＳ５０）。
ここで、モデル評価部３３は、排除率評価値が予め設定している範囲以内の場合、そのまま現在の間引きモデルを、認識対象物体の検出に用いる間引きモデルとし、一方、排除率評価値が予め設定している範囲外の場合、処理をステップＳ５２へ進める。
そして、モデル評価部３３は、図５に示すように、排除率評価値が設定した範囲に対し、範囲の下限を下回っている場合に間引き閾値を、予め設定された単位数分増加させる変更を行い（検出できないため間引き率を下げる）、一方、範囲の上限を上回っている場合に間引き閾値を、予め設定された単位数分減少させる変更を行い（検出の余裕があるため間引き率を上げる）、変更後の間引き閾値を間引部３２に設定し（ステップＳ５２）、処理をステップＳ４２へ進める。図５は、乱数に対する間引き閾値と、排除率評価値との関係を示すグラフであり、横軸が間引き閾値であり、縦軸が投票の積算値である適応度を示している。
ここで、モデル評価部３３は、排除率評価値が予め設定している範囲以内の場合、そのまま現在の間引きモデルを、認識対象物体の検出に用いる間引きモデルとし、一方、排除率評価値が予め設定している範囲外の場合、処理をステップＳ５２へ進める。
そして、モデル評価部３３は、図５に示すように、排除率評価値が設定した範囲に対し、範囲の下限を下回っている場合に間引き閾値を、予め設定された単位数分増加させる変更を行い（検出できないため間引き率を下げる）、一方、範囲の上限を上回っている場合に間引き閾値を、予め設定された単位数分減少させる変更を行い（検出の余裕があるため間引き率を上げる）、変更後の間引き閾値を間引部３２に設定し（ステップＳ５２）、処理をステップＳ４２へ進める。図５は、乱数に対する間引き閾値と、排除率評価値との関係を示すグラフであり、横軸が間引き閾値であり、縦軸が投票の積算値である適応度を示している。
上述したように、第１の特徴点間引部３は、認識対象物体の検出に持ちいる間引きモデルを、第１の特徴点の適切な間引き率によって生成する。
また、モデル評価部３３は、図６に示すように、間引きモデルの元の登録画像に対し、この登録画像以外の複数の登録画像をノイズとして重ね合わせた評価用入力画像を用いて、間引きモデルの元の登録画像が、この間引きモデルから検出できるか否かを判定し、できない場合には間引き閾値を低下させ、再度間引きモデルを生成するように構成しても良い。
ここで、モデル評価部３３は、適応度が予め設定した設定値を超えるか否かにより、検出の可否を判定、すなわち超えれば検出ができたと判定し、以下であれば検出ができないと判定する。
また、モデル評価部３３は、図６に示すように、間引きモデルの元の登録画像に対し、この登録画像以外の複数の登録画像をノイズとして重ね合わせた評価用入力画像を用いて、間引きモデルの元の登録画像が、この間引きモデルから検出できるか否かを判定し、できない場合には間引き閾値を低下させ、再度間引きモデルを生成するように構成しても良い。
ここで、モデル評価部３３は、適応度が予め設定した設定値を超えるか否かにより、検出の可否を判定、すなわち超えれば検出ができたと判定し、以下であれば検出ができないと判定する。
次に、本実施形態における認識対象物体と登録画像との認識処理を図７を用いて説明する。図７は、上記認識処理の動作例を説明するフローチャートである。
入力画像取得部５１は、図示しない撮像装置から入力画像を入力し、例えばピクセルで表現された画像データとして特徴点抽出部５２へ出力する（ステップＳ６１）。
入力画像が入力されると、特徴点抽出部５２は、入力画像における認識対象物体より第２の特徴点を抽出し、抽出した入力画像を特徴点２値化部５３へ出力する（ステップＳ６２）。
次に、特徴点２値化部５３は、入力される入力画像の各ピクセルに対し、第２の特徴点のピクセルと、それ以外のピクセルとの階調度の２値化を行い、内部の記憶部に記憶する（ステップＳ６３）。ここで、第２の特徴点の２値化の処理については、登録画像と同様のしょりである。
入力画像取得部５１は、図示しない撮像装置から入力画像を入力し、例えばピクセルで表現された画像データとして特徴点抽出部５２へ出力する（ステップＳ６１）。
入力画像が入力されると、特徴点抽出部５２は、入力画像における認識対象物体より第２の特徴点を抽出し、抽出した入力画像を特徴点２値化部５３へ出力する（ステップＳ６２）。
次に、特徴点２値化部５３は、入力される入力画像の各ピクセルに対し、第２の特徴点のピクセルと、それ以外のピクセルとの階調度の２値化を行い、内部の記憶部に記憶する（ステップＳ６３）。ここで、第２の特徴点の２値化の処理については、登録画像と同様のしょりである。
そして、候補座標点投票部５５は、２次元座標（回転角毎に）におけるすべての積算記憶部の積算値を初期化、すなわち積算値を「０」とする（ステップＳ６４）。
次に、候補座標点演算部５４は、入力画像の全てのピクセルの２値化データに対して、特徴点における評価値としての投票処理を行ったか否かの判定を行い（ステップＳ６５）、全てのピクセルの２値化データに対し、特徴点における投票を行った場合に認識処理を終了し、一方、特徴点における投票を行なっていないピクセルが存在する場合、処理をステップＳ６６へ進める。
ここで、特徴点における評価値の算出を行っていないピクセルの検出は、たとえば、ｙ軸の軸座標を固定してｘ軸の軸座標に対応したピクセルを順番に処理し、固定したｙ軸の軸座標に対応するｘ軸の軸座標における処理が終了すると、ｙ軸の軸座標を変化させて、ｘ軸の軸座標に対応したピクセルを順番に処理するようにする。これにより、ｘ軸及びｙ軸におけるピクセルの数により、上述したｘ軸の軸座標とｙ軸の軸座標との組合せのループを組むことにより、終了時点を検出することができる。
次に、候補座標点演算部５４は、入力画像の全てのピクセルの２値化データに対して、特徴点における評価値としての投票処理を行ったか否かの判定を行い（ステップＳ６５）、全てのピクセルの２値化データに対し、特徴点における投票を行った場合に認識処理を終了し、一方、特徴点における投票を行なっていないピクセルが存在する場合、処理をステップＳ６６へ進める。
ここで、特徴点における評価値の算出を行っていないピクセルの検出は、たとえば、ｙ軸の軸座標を固定してｘ軸の軸座標に対応したピクセルを順番に処理し、固定したｙ軸の軸座標に対応するｘ軸の軸座標における処理が終了すると、ｙ軸の軸座標を変化させて、ｘ軸の軸座標に対応したピクセルを順番に処理するようにする。これにより、ｘ軸及びｙ軸におけるピクセルの数により、上述したｘ軸の軸座標とｙ軸の軸座標との組合せのループを組むことにより、終了時点を検出することができる。
次に、候補座標点演算部５４は、特徴点２値化部５３から未処理のピクセルの２値化データを読みだし（ステップＳ６６）、読みだした２値化データが予め設定した閾値を超え、このピクセルが第２の特徴点であるか否かの判定を行う（ステップＳ６７）。
このとき、候補座標点演算部５４は、読みだしたピクセルが第２の特徴点である場合、処理をステップＳ６８へ進め、このピクセルが第２の特徴点でない場合、処理をステップＳ６５へ進める。
ピクセルが第２の特徴点である場合、候補座標点演算部５４は、第２の特徴点座標おいて、登録画像の全ての第１の特徴点の処理を行ったか否かの判定を行い（ステップＳ６８）、処理が行われていない第１の特徴点が残っていない場合、処理をステップＳ６５へ進め、処理が行われていない第１の特徴点が残っている場合、残っている座標点に対応した変位ベクトルを特徴点データ記憶部２から読み出し、回転角θを「０」に初期化して処理をステップＳ６９へ進める。
このとき、候補座標点演算部５４は、読みだしたピクセルが第２の特徴点である場合、処理をステップＳ６８へ進め、このピクセルが第２の特徴点でない場合、処理をステップＳ６５へ進める。
ピクセルが第２の特徴点である場合、候補座標点演算部５４は、第２の特徴点座標おいて、登録画像の全ての第１の特徴点の処理を行ったか否かの判定を行い（ステップＳ６８）、処理が行われていない第１の特徴点が残っていない場合、処理をステップＳ６５へ進め、処理が行われていない第１の特徴点が残っている場合、残っている座標点に対応した変位ベクトルを特徴点データ記憶部２から読み出し、回転角θを「０」に初期化して処理をステップＳ６９へ進める。
次に、候補座標点演算部５４は、上記変位ベクトルの全ての回転角において、この回転させた変位ベクトルと、第２の特徴点の座標とから、候補座標点を生成したか否かの判定を行い（ステップＳ６９）、全ての回転角に対し、その第１の特徴点における変位ベクトルを回転させた場合、処理をステップＳ６８へ進め、一方、回転させていない回転角が存在する場合、変位ベクトルの回転角を単位角度分だけ回転させ、処理をステップＳ７０へ進める。
候補座標点演算部５４は、変位ベクトル（Ｄｘ，Ｄｙ）と第２の特徴点の座標（Ｘ，Ｙ）とを用い、下記式により、候補座標点Ｒ（Ｒｘ，Ｒｙ）を求める。
Ｒｘ＝Ｘ＋Ｄｘ・ｃｏｓ（θ）−Ｄｙ・ｓｉｎ（θ）
Ｒｙ＝Ｙ＋Ｄｘ・ｓｉｎ（θ）＋Ｄｙ・ｃｏｓ（θ）
そして、候補座標点投票部５５は、現在の回転角θの配列及び候補点座標Ｒに対応した、積算記憶部に「１」を投票して積算処理を行う（ステップＳ７０）。
Ｒｘ＝Ｘ＋Ｄｘ・ｃｏｓ（θ）−Ｄｙ・ｓｉｎ（θ）
Ｒｙ＝Ｙ＋Ｄｘ・ｓｉｎ（θ）＋Ｄｙ・ｃｏｓ（θ）
そして、候補座標点投票部５５は、現在の回転角θの配列及び候補点座標Ｒに対応した、積算記憶部に「１」を投票して積算処理を行う（ステップＳ７０）。
次に、認識対象物体判定部５６は、図７のフローチャートの投票処理が終了した後、各回転角における２次元座標の積算記憶部の３次元配列から、ピーク値を超える積算値を有する積算記憶部を抽出する。
そして、認識対象物体判定部５６は、抽出された２次元座標の積算記憶部に対応する候補座標点を、登録画像に一致する認識対象物体の基準点として検出する。
また、認識対象物体判定部５６は、回転角毎の積算記憶部の２次元配列において、ピーク値を超える積算値を有する積算記憶部の存在する２次元配列に対応する回転角を抽出する。
そして、認識対象物体判定部５６は、上記基準点とともに、上記回転角を、登録画像に対する認識対象物体の回転角として出力する。
そして、認識対象物体判定部５６は、抽出された２次元座標の積算記憶部に対応する候補座標点を、登録画像に一致する認識対象物体の基準点として検出する。
また、認識対象物体判定部５６は、回転角毎の積算記憶部の２次元配列において、ピーク値を超える積算値を有する積算記憶部の存在する２次元配列に対応する回転角を抽出する。
そして、認識対象物体判定部５６は、上記基準点とともに、上記回転角を、登録画像に対する認識対象物体の回転角として出力する。
上述したように、本実施形態においては、認識対象物体の検出に、登録画像から検出精度を確保した確率にて第１の特徴点を間引いた間引きモデルを用いているため、初期の登録画像の特徴を失わせずに、相関法における演算量を低減できるため、検出精度を低下させずに検出処理を高速化することができる。
また、認識対象物体の検出において相関法を用いているため、特許文献１と異なり、一部が他の認識対象物体と重なっていたとしても、登録画像と一致した認識対象物体の検出を行うことが可能である。
また、登録画像と入力画像との取得の際の照明方向や照明光の違いにより、計算から得られる系統的な誤差を有する法線ベクトル等を用いる必要がないため、登録画像と入力画像との取得の環境の違いによる影響を抑制することが可能である。
また、認識対象物体の検出において相関法を用いているため、特許文献１と異なり、一部が他の認識対象物体と重なっていたとしても、登録画像と一致した認識対象物体の検出を行うことが可能である。
また、登録画像と入力画像との取得の際の照明方向や照明光の違いにより、計算から得られる系統的な誤差を有する法線ベクトル等を用いる必要がないため、登録画像と入力画像との取得の環境の違いによる影響を抑制することが可能である。
＜第２の実施形態＞
次に、本発明の第２の実施形態による物体認識装置を図８を用いて説明する。図８は第２の実施形態による物体認識装置の構成例を示すブロック図である。第２の実施形態の構成おいて、第１の実施形態と同様の構成には同一の符号を付して説明を省略する。以下、異なる構成及び処理の点のみを説明する。
異なる点は、第１の特徴点間引部３Ａの構成であり、他は第１の実施形態と同様である。
第１の特徴点間引部３Ａは、乱数付与部３１、間引部３２、モデル評価部３３及び候補記憶部３４を有している。
次に、本発明の第２の実施形態による物体認識装置を図８を用いて説明する。図８は第２の実施形態による物体認識装置の構成例を示すブロック図である。第２の実施形態の構成おいて、第１の実施形態と同様の構成には同一の符号を付して説明を省略する。以下、異なる構成及び処理の点のみを説明する。
異なる点は、第１の特徴点間引部３Ａの構成であり、他は第１の実施形態と同様である。
第１の特徴点間引部３Ａは、乱数付与部３１、間引部３２、モデル評価部３３及び候補記憶部３４を有している。
間引部３２は、特徴点記憶部２から特徴点番号に対応して第１の特徴点の特徴点データを読みだし、乱数付与部３１から入力される、第１の特徴点に付与される乱数が予め設定された間引き閾値以上であるか否かの判定を行い、間引き閾値以上であれば対応する特徴点データを間引き、間引き閾値未満であれば、この第１の特徴点の特徴点データを候補記憶部３４に書き込んで、特徴点データのコピーを行い、第１の実施形態と同様に登録画像から間引きモデルを生成する。
第２の実施形態においては、間引部３２は、複数回、上述した間引きモデルの抽出を行い、得られた複数の間引きモデルはモデル識別情報に対応して、候補記憶部３４に書き込んで記憶させる。また、間引部３２は、それぞれの異なる間引きモデル生成において、異なる乱数が発生されるように、それぞれの生成時の乱数付与部３１における乱数生成条件を異ならせる。
第２の実施形態においては、間引部３２は、複数回、上述した間引きモデルの抽出を行い、得られた複数の間引きモデルはモデル識別情報に対応して、候補記憶部３４に書き込んで記憶させる。また、間引部３２は、それぞれの異なる間引きモデル生成において、異なる乱数が発生されるように、それぞれの生成時の乱数付与部３１における乱数生成条件を異ならせる。
ここで、間引き閾値を変更しなくても、複数回の間引きモデルの生成処理において、各第１の特徴点データにお付与される乱数が異なるため、異なった第１の特徴点が間引かれ、さらに間引き率も変化し、全く異なった間引きモデルを得ることができる。
モデル評価部３３は、それぞれの間引きモデルと、元の登録画像及び他の登録画像各々との適合度を求め、最も他の登録画像との差分である排除率評価値が大きい間引きモデルを、認識対象物体の検出に用いる間引きモデルとして出力する。
候補記憶部３４には、モデル評価部３３が算出した排除率評価値と、直前の間引きモデルにて算出した排除率評価値とを比較した結果の、より大きい排除率評価値を有する間引きモデルが記憶されている。
モデル評価部３３は、それぞれの間引きモデルと、元の登録画像及び他の登録画像各々との適合度を求め、最も他の登録画像との差分である排除率評価値が大きい間引きモデルを、認識対象物体の検出に用いる間引きモデルとして出力する。
候補記憶部３４には、モデル評価部３３が算出した排除率評価値と、直前の間引きモデルにて算出した排除率評価値とを比較した結果の、より大きい排除率評価値を有する間引きモデルが記憶されている。
次に、本実施形態における登録画像から間引きモデルを生成する処理を図９を用いて説明する。図９は、登録画像から間引きモデルを生成する処理の動作例を説明するフローチャートである。
モデル評価部３３は、第１の特徴点に付与される乱数との比較に用いる間引き閾値の初期値を、間引部３２に対して設定する（ステップＳ７１）。
次に、モデル評価部３３は、間引きモデル記憶部４における間引きモデルのデータを消去して、この間引きモデル記憶部４を初期化する（ステップＳ７２）。
また、モデル評価部３３は、内部記憶部の間引きモデルの排除率評価値を最低値（例えば、「０」）に初期化する（ステップＳ７３）。この内部記憶部は、候補として生成される間引きモデルの数に対応し、間引きモデルの元の登録画像に対する自身適合度と、他の登録画像に対する他画像適応度とを記憶する。
モデル評価部３３は、第１の特徴点に付与される乱数との比較に用いる間引き閾値の初期値を、間引部３２に対して設定する（ステップＳ７１）。
次に、モデル評価部３３は、間引きモデル記憶部４における間引きモデルのデータを消去して、この間引きモデル記憶部４を初期化する（ステップＳ７２）。
また、モデル評価部３３は、内部記憶部の間引きモデルの排除率評価値を最低値（例えば、「０」）に初期化する（ステップＳ７３）。この内部記憶部は、候補として生成される間引きモデルの数に対応し、間引きモデルの元の登録画像に対する自身適合度と、他の登録画像に対する他画像適応度とを記憶する。
そして、間引部３２は、図１０に示すように、予め設定された数の間引きモデルを作成したか否かの判定を行い（ステップＳ７４）、終了した場合、処理をステップＳ７５へ進め、終了していない場合、処理をステップＳ７６へ進める。上記図１０は、モデル評価部３３が自身適応度及び他画像適応度を用いて、間引きモデルの候補（候補１、候補２、候補３）を生成することを示す概念図である。
間引部３２は、内部記憶部の間引きモデルのデータを初期化、すなわち除去する（ステップＳ７６）。
また、間引部３２は、乱数付与部３１における乱数生成条件を変更する（ステップＳ７７）。
間引部３２は、内部記憶部の間引きモデルのデータを初期化、すなわち除去する（ステップＳ７６）。
また、間引部３２は、乱数付与部３１における乱数生成条件を変更する（ステップＳ７７）。
次に、間引部３２は、登録画像データにおける全ての第１の特徴点を処理したか否かの判定を行い（ステップＳ７８）、全ての第１の特徴点が処理されていない場合に処理をステップＳ７９へ進め、一方、全ての第１の特徴点が処理されている場合に処理をステップＳ８３へ進める。ここで、間引部３２は、図１４のテーブルに記憶されている特徴点番号の順に第１の特徴点を、特徴点データ記憶部２から読み込むため、対応する登録画像の特徴点番号が無くなったことを検出すると、全ての特徴点の処理が終了したことを検出する。
全ての第１の特徴点の処理が終了していない場合、間引部３２は、次の特徴点番号の第１の特徴点を読みだし（ステップＳ７９）、この第１の特徴点に付与する乱数を乱数付与部３１から入力する（ステップＳ８０）。
全ての第１の特徴点の処理が終了していない場合、間引部３２は、次の特徴点番号の第１の特徴点を読みだし（ステップＳ７９）、この第１の特徴点に付与する乱数を乱数付与部３１から入力する（ステップＳ８０）。
そして、間引部３２は、入力される乱数が設定されている間引き閾値未満であるか否かの判定を行い（ステップＳ８１）、この乱数が間引き閾値以上である場合に処理をステップＳ７８へ進め、一方、乱数が間引き閾値未満である場合、処理をステップＳ８２へ進める。これにより、間引部３２は、付与された乱数が間引き閾値以上である第１の特徴点を削除して間引いている。
乱数が間引き閾値未満の場合、間引部３２は、この第１の特徴点の特徴点データとして、特徴点番号に対応させて内部記憶部へ書き込み、特徴点データのコピー処理を行い、処理をステップＳ７８へ進める（ステップＳ８２）。
乱数が間引き閾値未満の場合、間引部３２は、この第１の特徴点の特徴点データとして、特徴点番号に対応させて内部記憶部へ書き込み、特徴点データのコピー処理を行い、処理をステップＳ７８へ進める（ステップＳ８２）。
ステップＳ７８において、登録画像における全ての第１の特徴点が処理されたと判定された場合、モデル評価部３３は、特徴点データ記憶部２から登録画像の第１の特徴点データを読み出し、この第１の特徴点の座標と、内部記憶部の間引きモデルの第１の特徴点に対応する変位ベクトルとから、登録画像の基準点の候補座標点を算出し、この候補座標点に対する投票を行う。
そして、モデル評価部３３は、登録画像の第１の特徴点毎に、全ての間引きモデルの第１の特徴点の変位ベクトルから候補座標点を算出し、この座標候補点全ての投票を行い、最も高い積算値を自身適応度とする。
また、モデル評価部３３は、図１０に示すように、特徴点データ記憶部２から、間引きモデルの元の登録画像と異なる他の登録画像の特徴点データを読みだし、上述した登録画像と同様に他画像適応度の算出を行う。この他の登録画像の他画像適応度の算出は、複数の他の登録画像を用いて、複数個を算出する（ステップＳ８３）。
そして、モデル評価部３３は、登録画像の第１の特徴点毎に、全ての間引きモデルの第１の特徴点の変位ベクトルから候補座標点を算出し、この座標候補点全ての投票を行い、最も高い積算値を自身適応度とする。
また、モデル評価部３３は、図１０に示すように、特徴点データ記憶部２から、間引きモデルの元の登録画像と異なる他の登録画像の特徴点データを読みだし、上述した登録画像と同様に他画像適応度の算出を行う。この他の登録画像の他画像適応度の算出は、複数の他の登録画像を用いて、複数個を算出する（ステップＳ８３）。
次に、モデル評価部３３は、現在の間引き閾値において、図１１に示すように、上記自身適応度と、他画像適応度の最も高い値との差分である排除率評価値を求め（ステップＳ８４）、この排除率評価値が、直前に処理した排除率評価値を超えるか否かの判定を行う（ステップＳ８５）。ここで、図１１は、間引きモデルに対する元の登録画像との自身適応度と、他の登録画像との他画像適応度との算出を説明する概念図であり、横軸がモデルの番号（１が元の登録画像、２から４が他の登録画像）を示し、縦軸が適応度（自身及び他画像適応度）を示している。
このとき、モデル評価部３３は、今回算出した間引きモデルの排除率評価値が、前回の間引きモデルの排除率評価値を超えた場合、処理をステップＳ８６へ進め、一方、今回算出した間引きモデルの排除率評価値が、前回の間引きモデルの排除率評価値以下の場合、処理をステップＳ７４へ進める。
今回算出した間引きモデルの排除率評価値が、前回の間引きモデルの排除率評価値を超えた場合、間引部３２は、候補記憶部３４の最適な間引きモデルを、内部記憶部の間引きモデルに書き換え（ステップＳ８６）、処理をステップＳ７４へ進める。
このとき、モデル評価部３３は、今回算出した間引きモデルの排除率評価値が、前回の間引きモデルの排除率評価値を超えた場合、処理をステップＳ８６へ進め、一方、今回算出した間引きモデルの排除率評価値が、前回の間引きモデルの排除率評価値以下の場合、処理をステップＳ７４へ進める。
今回算出した間引きモデルの排除率評価値が、前回の間引きモデルの排除率評価値を超えた場合、間引部３２は、候補記憶部３４の最適な間引きモデルを、内部記憶部の間引きモデルに書き換え（ステップＳ８６）、処理をステップＳ７４へ進める。
そして、モデル評価部３３は、間引部３２が所定数の間引きモデルを生成した場合、その時点において候補記憶部３４に記憶されている間引きモデルを、認識対象物体の検出に用いる最適な間引きモデル（第１の特徴点毎の特徴点番号、座標値、その変位ベクトル）として、間引きモデル記憶部４に書き込んで記憶させる（ステップＳ７５）。
この後、第１の実施形態と同様に、上記最適な間引きモデルを用い、入力画像における認識対象物体の検出処理が行われる。
また、モデル評価部３３は、図１２に示すように、間引きモデルの元の登録画像に対し、この登録画像以外の複数の登録画像をノイズとして重ね合わせた評価用入力画像を用いて、適応度の算出を行い、候補の中で最もＳ／Ｎ比（自身適応度と、ノイズの適応度との比）の高い候補を、認識対象物体の検出する間引きモデルとして出力するように構成しても良い。
この後、第１の実施形態と同様に、上記最適な間引きモデルを用い、入力画像における認識対象物体の検出処理が行われる。
また、モデル評価部３３は、図１２に示すように、間引きモデルの元の登録画像に対し、この登録画像以外の複数の登録画像をノイズとして重ね合わせた評価用入力画像を用いて、適応度の算出を行い、候補の中で最もＳ／Ｎ比（自身適応度と、ノイズの適応度との比）の高い候補を、認識対象物体の検出する間引きモデルとして出力するように構成しても良い。
上述したように、本実施形態においては、第１の実施形態の効果に加え、乱数の発生条件を異ならせて、複数の間引きモデルの候補を生成し、この間引きモデルを用いて、間引きモデルの元の登録画像と、他の登録画像との適応度の算出を行い、最も他の登録画像との差分が大きい間引きモデルを、認識対象物体の検出用の間引きモデルとするため、より検出精度の高い間引きモデルを生成することができる。
この結果、本実施形態によれば、従来に比較して相関の演算を短縮し、高い精度にて入力画像における認識対象物体の検出処理を行うことができる。
この結果、本実施形態によれば、従来に比較して相関の演算を短縮し、高い精度にて入力画像における認識対象物体の検出処理を行うことができる。
また、第１の実施形態及び第２の実施形態において、入力画像における認識対象物体の第２の特徴点を所定の割合にて間引くことにより、より認識対象物体の検出処理を高速に行うことができる。
例えば、間引きモデルの第１の特徴点を１／１０に間引き、認識対象物体の第２の特徴点を１／４までに間引いて、検出処理を行うことにより、１／４０の演算量を実現することができる。非特許文献２における削減量の１／２５６に比較して劣るように見えるが、非特許文献においてはこの段階にて１／４の精度しか得られないのに比較し、本発明の実施形態においては、１／１の精度で検出処理が終了している。
例えば、間引きモデルの第１の特徴点を１／１０に間引き、認識対象物体の第２の特徴点を１／４までに間引いて、検出処理を行うことにより、１／４０の演算量を実現することができる。非特許文献２における削減量の１／２５６に比較して劣るように見えるが、非特許文献においてはこの段階にて１／４の精度しか得られないのに比較し、本発明の実施形態においては、１／１の精度で検出処理が終了している。
また、図１及び図８における物体認識装置の機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することにより物体認識の処理を行ってもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピューターシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１…登録画像データ生成部
２…特徴点データ記憶部
３，３Ａ…第１の特徴点間引部
４…間引きモデル記憶部
５…物体認識部
６…詳細検出部
１１…登録画像取得部
１２，５２…特徴点抽出部
１３，５３…特徴点２値化部
１４…変位ベクトル抽出部
３１…乱数付与部
３２…間引部
３３…モデル評価部
３４…候補記憶部
５１…入力画像取得部
５４…候補座標点演算部
５５…候補座標点投票部
５６…認識対象物体判定部
２…特徴点データ記憶部
３，３Ａ…第１の特徴点間引部
４…間引きモデル記憶部
５…物体認識部
６…詳細検出部
１１…登録画像取得部
１２，５２…特徴点抽出部
１３，５３…特徴点２値化部
１４…変位ベクトル抽出部
３１…乱数付与部
３２…間引部
３３…モデル評価部
３４…候補記憶部
５１…入力画像取得部
５４…候補座標点演算部
５５…候補座標点投票部
５６…認識対象物体判定部
Claims (8)
- 登録画像より抽出した複数の第１の特徴点と、当該第１の特徴点から前記登録画像を配置する基準点への変位ベクトルとが記憶される特徴点データ記憶部と、
前記第１の特徴点を間引きし、間引きモデルを生成する第１の特徴点間引部と、
入力画像における認識対象物体より第２の特徴点を抽出する特徴点抽出部と、
前記第２の特徴点ごとに、当該第２の特徴点の座標と、前記間引きモデルの前記第１の特徴点に対応する前記変位ベクトルとから、前記認識対象物体の基準点の候補である候補座標点を算出する候補座標点算出部と、
前記間引きモデルにおける全ての前記第１の特徴点毎に、対応する前記候補座標に対して点投票を行い、投票数を積算する候補座標点投票部と、
前記積算の積算値が最大値を有する前記候補座標点を、前記登録画像に一致する前記認識対象物体の前記基準点とする認識対象物体判定部と
を有することを特徴とする物体認識装置。 - 前記第１の特徴点間引部が、
乱数を発生し、前記第１の特徴点それぞれに付与する乱数付与部と、
前記第１の特徴点に付与された前記乱数があらかじめ設定した間引き閾値未満の場合、当該第１の特徴点を残し、前記間引きモデルの第１の特徴点とし、一方、前記第１の特徴点に付与された前記乱数が前記間引き閾値以上の場合、当該第１の特徴点を間び引く間引部と
を有していることを特徴とする請求項１に記載の物体認識装置。 - 前記第１の特徴点間引部が、
前記間引きモデルを用い、前記登録画像及び当該登録画像と異なる画像を含んだ試験画像において前記登録画像の認識処理を行うモデル評価部をさらに有し、
前記モデル評価部が、前記候補座標点投票部と同様な投票処理を、前記登録画像に対して行い、当該登録画像の基準点を検出できない場合、
前記間引部が前記間引き閾値の数値を増加させ、間引きモデルを再度生成することを特徴とする請求項２に記載の物体認識装置。 - 前記乱数付与部が、前記第１の特徴点に対する乱数の付与を複数回行い、複数の間引き対象の登録画像を生成し、
前記間引部が、前記間引き対象の登録画像毎に、前記間引き閾値を用いた間引き処理を行い、複数の間引きモデルを生成することを特徴とする請求項２に記載の物体認識装置。 - 前記第１の特徴点間引部が、
前記間引きモデルを用い、前記登録画像及び当該登録画像と異なる画像を含んだ試験画像において当該登録画像に対する投票処理を行うモデル評価部をさらに有し、
前記モデル評価部が、前記候補座標点投票部と同様な投票処理を、前記登録画像に対して行い、当該登録画像の基準点を検出できた間引きモデルを、前記認識対象物体の認識処理に用いる間引きモデルとすることを特徴とする請求項４に記載の物体認識装置。 - 前記認識対象物体の第２の特徴点を間引く第２の特徴点間引部をさらに有していることを特徴とする請求項１から請求項５のいずれかに記載の物体認識装置。
- 登録画像データ生成部が、登録画像より抽出した複数の第１の特徴点と、当該第１の特徴点から前記登録画像を配置する基準点への変位ベクトルとを、特徴点データ記憶部に記憶する過程と、
第１の特徴点間引部が、前記第１の特徴点を間引きし、間引きモデルを生成する過程と、
特徴点抽出部が、入力画像における認識対象物体より第２の特徴点を抽出する過程と、
候補座標点算出部が、前記第２の特徴点ごとに、当該第２の特徴点の座標と、前記間引きモデルの前記第１の特徴点に対応する前記変位ベクトルとから、前記認識対象物体の基準点の候補である候補座標点を算出する過程と、
候補座標点投票部が、前記間引きモデルにおける全ての前記第１の特徴点毎に、対応する前記候補座標に対して点投票を行い、投票数を積算する過程と、
認識対象物体判定部が、前記積算の積算値が最大値を有する前記候補座標点を、前記登録画像に一致する前記認識対象物体の前記基準点とする過程と
を有することを特徴とする物体認識方法。 - 登録画像データ生成部が、登録画像より抽出した複数の第１の特徴点と、当該第１の特徴点から前記登録画像を配置する基準点への変位ベクトルとを、特徴点データ記憶部に記憶する処理と、
第１の特徴点間引部が、前記第１の特徴点を間引きし、間引きモデルを生成する処理と、
特徴点抽出部が、入力画像における認識対象物体より第２の特徴点を抽出する処理と、
候補座標点算出部が、前記第２の特徴点ごとに、当該第２の特徴点の座標と、前記間引きモデルの前記第１の特徴点に対応する前記変位ベクトルとから、前記認識対象物体の基準点の候補である候補座標点を算出する処理と、
候補座標点投票部が、前記間引きモデルにおける全ての前記第１の特徴点毎に、対応する前記候補座標に対して点投票を行い、投票数を積算する処理と、
認識対象物体判定部が、前記積算の積算値が最大値を有する前記候補座標点を、前記登録画像に一致する前記認識対象物体の前記基準点とする処理と
を有する物体認識装置としてコンピューターを機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009140902A JP2010287085A (ja) | 2009-06-12 | 2009-06-12 | 物体認識装置、物体認識方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009140902A JP2010287085A (ja) | 2009-06-12 | 2009-06-12 | 物体認識装置、物体認識方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010287085A true JP2010287085A (ja) | 2010-12-24 |
Family
ID=43542732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009140902A Withdrawn JP2010287085A (ja) | 2009-06-12 | 2009-06-12 | 物体認識装置、物体認識方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010287085A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538537A (zh) * | 2021-07-22 | 2021-10-22 | 北京世纪好未来教育科技有限公司 | 图像配准、模型训练方法、装置、设备、服务器及介质 |
-
2009
- 2009-06-12 JP JP2009140902A patent/JP2010287085A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538537A (zh) * | 2021-07-22 | 2021-10-22 | 北京世纪好未来教育科技有限公司 | 图像配准、模型训练方法、装置、设备、服务器及介质 |
| CN113538537B (zh) * | 2021-07-22 | 2023-12-12 | 北京世纪好未来教育科技有限公司 | 图像配准、模型训练方法、装置、设备、服务器及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101457313B1 (ko) | 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품 | |
| JP4604439B2 (ja) | 画像処理装置及び画像処理方法、並びに記録媒体 | |
| CN105981046A (zh) | 使用拼接和裁剪的指纹认证 | |
| WO2020051114A9 (en) | Information detection method, apparatus and device | |
| CN104487915A (zh) | 维持扩增的连续性 | |
| CN111524168B (zh) | 点云数据的配准方法、系统、装置及计算机存储介质 | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| JP6055435B2 (ja) | 被写体認識装置、被写体認識方法及び被写体認識プログラム | |
| CN111507239B (zh) | 一种基于图像金字塔的局部特征人脸识别方法 | |
| US20190279022A1 (en) | Object recognition method and device thereof | |
| US11244181B2 (en) | Method and apparatus for detecting liveness based on phase difference | |
| Li et al. | 4FP-structure: A robust local region feature descriptor | |
| JP2009129237A (ja) | 画像処理装置及びその方法 | |
| JP2017151797A (ja) | 幾何検証装置、プログラム及び方法 | |
| CN117474918B (zh) | 异常检测方法和装置、电子设备以及存储介质 | |
| CN112815936B (zh) | 一种对噪点鲁棒的快速全天域星图识别方法及系统 | |
| CN111354038A (zh) | 锚定物检测方法及装置、电子设备及存储介质 | |
| JP2022519398A (ja) | 画像処理方法、装置及び電子機器 | |
| JP2010287085A (ja) | 物体認識装置、物体認識方法及びプログラム | |
| JP6393495B2 (ja) | 画像処理装置および物体認識方法 | |
| US11663849B1 (en) | Transform pyramiding for fingerprint matching system and method | |
| WO2017179728A1 (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
| Phogat et al. | Different image registration methods—an overview | |
| CN115439534A (zh) | 图像的特征点匹配方法、设备、介质及程序产品 | |
| CN114677439A (zh) | 相机的位姿确定方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120904 |