JP2018200175A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】位置姿勢の正誤判定に用いるのに適した特定領域を決定することを目的とする。【解決手段】位置姿勢推定の対象物体が撮影された撮影画像における対象物体の位置姿勢候補を決定する候補決定手段と、対象物体の三次元形状を表すモデル情報に基づいて、対象物体の特定領域を決定する領域決定手段と、モデル情報の特定領域の特徴量と、撮影画像の特定領域の特徴量と、に基づいて、位置姿勢候補が位置姿勢として正しいか否かを判定する判定手段とを有する。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、工場などにおいて生産自動化の一環として、マシンビジョンを用いて山積みされた物体の中から一個体の位置姿勢を推定し、ロボットにより把持を行う技術が開発されている。特許文献１には、正しい位置姿勢と誤った位置姿勢とで形状の差異が出やすいような特定領域を事前にユーザに設定させておき、特定領域のみで位置姿勢の正誤判定を行うことで誤った位置姿勢の抑制を行う技術が開示されている。

特開２０１５−１９４４７８号公報

しかしながら、従来技術においては、適切に特定領域を設定するのが難しいという問題があった。

本発明はこのような問題点に鑑みなされたもので、位置姿勢の正誤判定に用いるのに適した特定領域を決定することを目的とする。

そこで、本発明は、情報処理装置であって、位置姿勢推定の対象物体が撮影された撮影画像における前記対象物体の位置姿勢候補を決定する候補決定手段と、前記対象物体の三次元形状を表すモデル情報に基づいて、前記対象物体の特定領域を決定する領域決定手段と、前記モデル情報の特定領域の特徴量と、前記撮影画像の前記特定領域の特徴量と、に基づいて、前記位置姿勢候補が位置姿勢として正しいか否かを判定する判定手段とを有することを特徴とする。

本発明によれば、位置姿勢の正誤判定に用いるのに適した特定領域を決定することができる。

情報処理システムのハードウェア構成を示す図である。 情報処理装置の機能構成を示す図である。 位置姿勢推定処理を示すフローチャートである。 第２の実施形態に係る情報処理装置の機能構成を示す図である。 第２の実施形態に係る位置姿勢推定処理を示すフローチャートである。 特定領域決定処理の説明図である。 第３の実施形態に係る位置姿勢推定処理を示すフローチャートである。 第４の実施形態に係る位置姿勢推定処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
第１の実施形態に係る情報処理システムは、物体の位置姿勢の推定を行う。具体的には、情報処理システムは、位置姿勢の推定対象の物体が撮影された撮影画像に基づいて、物体の位置姿勢を推定する。以下、位置姿勢の推定対象の物体を対象物体、対象物体の撮影画像を対象画像と称する。

図１は、第１の実施形態にかかる情報処理システムのハードウェア構成を示す図である。情報処理システムは、情報処理装置１００と、撮像装置１１０とを有している。情報処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、入力部１０６と、通信部１０７と、を有している。ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、各種データや各種プログラム等を記憶する。表示部１０５は、各種情報を表示する。入力部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。

通信部１０７は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット（登録商標）が挙げられる。また、他の例としては、通信部１０７は、無線により外部装置との通信を行ってもよい。撮像装置１１０は、画像を撮像する。情報処理装置１００は、例えばネットワークを介してモデル情報保持部２００から画像を受信する。

なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、ＣＰＵ１０１は、ＲＯＭ１０２等に替えて、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。また、他の例としては、情報処理装置１００の機能や処理の少なくとも一部は、例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させることにより実現してもよい。また、他の例としては、情報処理装置１００の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。

図２は、情報処理装置１００の機能構成を示す図である。情報処理装置１００は、モデル情報保持部２００と、テンプレート作成部２０１と、テスト画像作成部２０２と、特定領域決定部２０３と、画像取得部２０４と、候補決定部２０５と、正誤判定部２０６と、を有している。モデル情報保持部２００は、対象物体のモデル情報を保持する。ここで、モデル情報とは、対象物体の表面上の点と対象物体のエッジ上の点を特徴として持つ三次元モデルである。

テンプレート作成部２０１は、予め設定された複数の視点から三次元モデルを観察した画像を作成し、視点毎に画像中で検出されるエッジに基づいた２次元特徴量を抽出することでテンプレートを作成する。テンプレート作成部２０１は、さらにテンプレートとテンプレート作成時の三次元モデルの位置姿勢とを対応付けて保持する。ここで、２次元特徴量としては、Ｌｉｎｅ２Ｄ特徴量が挙げられる。Ｌｉｎｅ２Ｄ特徴量については、以下の文献を参照することができる。

Ｓ．Ｈｉｎｔｅｒｓｔｏｉｓｓｅｒ， Ｃ．Ｃａｇｎｉａｒｔ， Ｓ．Ｉｌｉｃ， Ｐ．Ｓｔｕｒｍ， Ｎ．Ｎａｖａｂ， Ｐ．Ｆｕａ， ａｎｄ Ｖ．Ｌｅｐｅｔｉｔ，"Ｇｒａｄｉｅｎｔ ｒｅｓｐｏｎｓｅ ｍａｐｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｄｅｔｅｃｔｉｏｎ ｏｆ ｔｅｘｔｕｒｅｌｅｓｓ ｏｂｊｅｃｔｓ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，３４（５），ｐｐ．８７６−８８８，２０１２．

テスト画像作成部２０２は、三次元モデルに基づいて、三次元モデルをある視点から観察した画像をテスト画像として作成する。ここで、テスト画像は、特定領域を決定するために利用される画像である。特定領域決定部２０３は、テンプレート作成部２０１により作成されたテンプレート画像と、テスト画像作成部２０２により作成されたテスト画像と、に基づいて、特定領域を決定する。ここで、特定領域とは、テンプレートマッチングにより特定された対象画像における対象物体の位置姿勢候補の正誤判定において参照される領域である。画像取得部２０４は、撮像装置１１０から対象画像を取得する。候補決定部２０５は、テンプレート作成部２０１により作成されたテンプレートとのテンプレートマッチングにより、画像取得部２０４が取得した対象画像の位置姿勢候補を決定する。ここで、位置姿勢候補は、対象画像の位置姿勢の候補であり、位置姿勢は、撮像装置１１０を基準とした世界座標系において表現される。正誤判定部２０６は、特定領域決定部２０３により決定された特定領域に基づいて、候補決定部２０５により決定された位置姿勢候補の正誤の判定を行う。

図３は、情報処理装置１００による位置姿勢推定処理を示すフローチャートである。Ｓ３００において、テンプレート作成部２０１は、画像取得部２０４のモデル情報に基づいて、テンプレートを作成する。次に、Ｓ３０１において、テスト画像作成部２０２は、画像取得部２０４のモデル情報に基づいて、ある視点のテスト画像を作成する。次に、Ｓ３０２において、特定領域決定部２０３は、モデル情報保持部２００が保持するモデル情報と、Ｓ３００において作成されたテンプレートと、Ｓ３０２において作成されたテスト画像と、に基づいて、特定領域としてのスコアを算出する。ここで、スコアは、特定領域を決定するための評価値である。以下、スコアを算出する処理について詳述する。

特定領域決定部２０３は、まずテスト画像に描画された対象物体のエッジを検出し、エッジ上の点ごとにＬｉｎｅ２Ｄ特徴量を抽出する。次に、特定領域決定部２０３は、テスト画像に対して、テンプレートマッチングを行い、テスト画像の各位置における各テンプレートの類似度を算出する。類似度は上記のＨｉｎｔｅｒｓｔｏｉｓｓｅｒらの手法によって算出する。類似度が高いほどテンプレートとテスト画像が類似していることを表す。類似度が高いにも関わらず、推定した位置姿勢と実際の位置姿勢が異なる場合は、実シーンでも誤った位置姿勢として判別され難く、区別するのが困難である。このような誤った位置姿勢を区別するためには、推定した位置姿勢の三次元モデルと、実際の位置姿勢の対象部品との形状に差異がある部位で位置姿勢の正誤判定を行えばよい。

そこで、本実施形態においては、特定領域決定部２０３は、類似度の高い位置姿勢のモデル情報（三次元モデル）と、テスト画像との形状に差異のある部位を特定領域として決定するものとする。具体的には、特定領域決定部２０３は、類似度が閾値以上の位置姿勢Ｐ_jを選択し、三次元モデルのエッジ上の点Ａ_iをＰ_jに基づいてテスト画像上に投影する。ただし、三次元モデルをＰ_jで変換したとき、観察できないエッジ上の点（裏側の点や自己遮蔽された点など）は投影しない。次に、特定領域決定部２０３は、投影した点ａ_iと、テスト画像のエッジ上の点のうち、ａ_iの最近傍の点ａ_i'との画像上における距離ｄ_iを、特定領域のスコアとして求める。ここでスコアは、三次元モデルのエッジ上の点ごとに設定される値であり、スコアが高いほど正しい位置姿勢と誤った位置姿勢とでより形状の差異が出やすいことを表す。特定領域決定部２０３は、類似度が閾値以上の全ての位置姿勢についてスコアを算出する。なお、スコアの初期値は０とし、事前準備処理（図３に示すＳ３００〜Ｓ３０４の処理）が終了するまでは、特定領域決定部２０３は、スコアの初期化は行わない。なお、１枚のテスト画像に対して比較を行う位置姿勢の数（テンプレートの数）は、予め設定された１以上の数とする。エッジ上の点の位置は、特徴量の一例であり、本処理は、特徴量特定処理の一例である。

次に、Ｓ３０３において、特定領域決定部２０３すべての視点のテスト画像についてスコアの算出処理が終了したか否かを判定する。なお、作成されるテスト画像の数は、予め設定された１以上の数とする。特定領域決定部２０３は、すべての視点のテスト画像について処理が完了している場合には（Ｓ３０３でＹｅｓ）、処理をＳ３０４へ進める。特定領域決定部２０３は、未処理のテスト画像が残っている場合には（Ｓ３０３でＮｏ）、処理をＳ３０１へ進める。この場合、Ｓ３０１において、テスト画像作成部２０２は、既に作成済みのテスト画像と異なる視点のテスト画像を作成する。そして、Ｓ３０２において、特定領域決定部２０３は、既に作成済みのテスト画像と、今回作成したテスト画像から特定領域スコアを算出する。さらに、特定領域決定部２０３は、既に作成済みのテスト画像に対する特定領域スコアが算出されている場合には、これらを加算した値を、三次元モデルの各位置における特定領域スコアとする。

例えば、三次元モデルのエッジ上の点Ａ₁について、１枚目のテスト画像での特定領域スコアが４であったとする。また、２枚目のテスト画像で類似度が閾値以上の位置姿勢がＰ₁、Ｐ₂の２つ存在し、位置姿勢Ｐ₁におけるスコアが２、位置姿勢Ｐ₂におけるスコアが３であったとする。この場合には、２枚目のテスト画像の処理終了時でのＡ₁のスコアＳ₁は、（式１）より９となる。


Ｓ₁＝４＋２＋３＝９ …（式１）

Ｓ３０４において、特定領域決定部２０３は、スコアに基づいて、特定領域を決定する。具体的には、特定領域決定部２０３は、三次元モデルのエッジ上の全点のスコアを高い順に並べ、上位Ｎ％となるスコアを閾値として定める。そして、特定領域決定部２０３は、スコアが閾値以上のエッジ上の点の集合を特定領域として決定する。以上で、対象画像における対象物体の位置姿勢判定の事前準備が終了する。このように、スコアが閾値以上のエッジ上の点が特定領域として決定されるため、１つの領域のみが特定領域として決定されるとは限らず、複数の分離した複数の領域が特定領域として決定される場合もある。また、１点のみの領域も特定領域として決定され得る。すなわち、特定領域は、点や線も含み得る。

次に、Ｓ３０５において、画像取得部２０４は、撮像装置１１０により撮影された対象画像を受信する。次に、Ｓ３０６において、候補決定部２０５は、対象画像の位置姿勢候補を決定する。具体的には、候補決定部２０５は、Ｓ３００において作成されたテンプレートに基づくテンプレートマッチングにおいて、各位置姿勢の類似度を算出する。そして、候補決定部２０５は、類似度が閾値以上となったテンプレートに対応付けられている位置姿勢を対象物体の位置姿勢と決定する。これにより、１又は２以上の位置姿勢候補が決定される。

次に、Ｓ３０７において、候補決定部２０５は、三次元モデルと、Ｓ３０５において取得した対象画像と、Ｓ３０６において決定された位置姿勢候補と、Ｓ３０４において決定された特定領域と、に基づいて、位置姿勢候補の正誤判定を行う。具体的には、候補決定部２０５は、三次元モデルの特定領域の点Ｂ_iを位置姿勢候補Ｐ_j'に基づいて対象画像に投影する。ただし、三次元モデルをＰ_j'で変換したとき、観察できない特定領域は投影しない。次に、候補決定部２０５は、投影した点ｂ_iと、対象画像のエッジ上の点のうち、ｂ_iの最近傍の点ｂ_i'との画像上における距離ｄ_i'を算出する。候補決定部２０５は、ｄ_i'を全ての特定領域の点で算出し、その平均値をＤ_iとする。Ｄ_iを全ての位置姿勢候補で算出し、最もＤ_iの小さい位置姿勢候補を正しい位置姿勢と判定する。次に、Ｓ３０８において、候補決定部２０５は、正しいと判定した位置姿勢を出力するよう制御する。以上で、位置姿勢判定処理が終了する。

以上のように、第１の実施形態に係る情報処理システムにおいては、情報処理装置は、三次元モデルに基づいて、自動的に特定領域を決定し、この特定領域に基づいて、位置姿勢を推定する。これにより、正しい位置姿勢との区別が難しい、誤った位置姿勢が位置姿勢候補として推定された場合においても、特定領域におけるマッチングを行うことにより、最終的に高精度に位置姿勢を推定することができる。このように、位置姿勢の正誤判定に用いるのに適した特定領域を自動的に決定することができる。これにより、ユーザ操作を不要とすることができる。

第１の実施形態の変形例について説明する。本実施形態においては、特定領域を決定する処理は、三次元モデルとテスト画像との２次元画像上でのエッジの比較に基づいた処理とした。ただし、本処理は、予め設定された条件に基づいて、対象物体のモデルどうしを比較し、形状に差異のある部位を判定する処理であればよく、そのための具体的な処理は、実施形態に限定されるものではない。すなわち、情報処理装置１００は、三次元モデルとテスト画像それぞれの特徴量の差分に基づいて特定領域を特定すればよく、特徴量は、エッジの位置の差に限定されるものではない。

例えば、情報処理装置１００は、推定した位置姿勢の三次元モデル上の点Ｈと、テスト画像を作成したときの位置姿勢の三次元モデル上の点のうち、Ｈの最近傍の点Ｈ'との三次元空間における距離から算出したスコアに基づいて特定領域を決定してもよい。また、モデル情報にテクスチャ情報が含まれるものとし、三次元モデル上の点の輝度値を取得できるとする。この場合には、情報処理装置１００は、輝度値を特徴量として利用してもよい。すなわち、情報処理装置１００は、推定した位置姿勢で三次元モデル上の点Ｉをテスト画像上に投影し、Ｉの輝度値と、投影した座標におけるテスト画像の輝度値の差から算出したスコアに基づいて特定領域を決定してもよい。

（第２の実施形態）
次に、第２の実施形態に係る情報処理システムについて、第１の実施形態に係る情報処理システムと異なる点を説明する。第２の実施形態に係る情報処理装置１００は、三次元モデルの形状に基づいて、特定領域を決定する。図４は、第２の実施形態に係る情報処理装置１００の機能構成を示す図である。第２の実施形態に係る情報処理装置１００の機能構成は、図２を参照しつつ説明した第１の実施形態に係る情報処理装置１００の機能構成とほぼ同様であるが、テスト画像作成部２０２は有さない。また、特定領域決定部４００は、モデル情報に基づいて特定領域を決定し、その処理は第１の実施形態における特定領域の決定の処理と異なる。

図５は、第２の実施形態に係る位置姿勢推定処理を示すフローチャートである。なお、図５に示す位置姿勢推定処理の各処理のうち、図３を参照しつつ説明した第１の実施形態に係る位置姿勢推定処理の各処理と同一の処理には、同一の番号を付している。Ｓ５００において、特定領域決定部４００は、モデル情報保持部２００が保持する三次元モデルの特徴の位置に基づいて対象物体の特定領域を決定する。図６は、特定領域決定処理の説明図である。本実施形態においては、特定領域決定部４００は、図６に示す三次元モデル６００に対し、領域６１０のように、細長い物体に対して短手領域（短手方向を長軸とする領域）を特定領域として決定する。

長手方向に少しずれた位置姿勢においては、短手領域において三次元モデルと対象画像とで差異が生じる。ただし、短手領域が小領域のため全体としては形状の差異が小さく、誤った位置姿勢として判定され難い。そのような位置姿勢を誤った位置姿勢として判定できるように、本実施形態においては、短手領域を特定領域として決定する。以下、具体的な処理について説明する。特定領域決定部４００は、まず、三次元モデルのエッジ上の点群の分布に対し主成分分析を行い、図６に示すような第１主成分軸６２０を算出する。次に、特定領域決定部４００は、三次元モデルのエッジ上の点群を第１主成分軸上に投影する。ここで、投影した全点の第１主成分軸上の座標のうち、最大値をｃ_max、最小値をｃ_min、特定領域と判定する第１主成分軸上の座標の閾値をｃ_thとする。そして、特定領域決定部４００は、三次元モデルのエッジ上の点Ａ_iを投影した点の座標ｃ_iがｃ_min≦ｃｉ≦ｃ_min＋ｃ_th又はｃ_max−ｃ_th≦ｃ_i≦ｃ_maxであれば、Ａ_iを特定領域として決定する。

ＣＰＵ１０１は、Ｓ５００の処理の後、処理をＳ３０５へ進める。なお、第２の実施形態に係る情報処理システムのこれ以外の構成及び処理は、第１の実施形態に係る情報処理システムの構成及び処理と同様である。

以上のように、第２の実施形態に係る情報処理システムにおいては、三次元モデルの形状に基づいて、位置姿勢の正誤判定に用いるのに適した特定領域を自動的に決定することができる。これにより、ユーザ操作を不要とすることができる。

第２の実施形態の変形例としては、特定領域決定処理は、正しい位置姿勢と誤った位置姿勢とで形状の差異がある小領域を抽出し、この小領域を特定領域と判定するものであればよく、主成分分析に基づく方法に限定されるものではない。例えば、情報処理装置１００は、Ｓｃｈｎａｂｅｌらの手法等を用いて三次元モデルの特徴の位置に基づいて、対象物体にプリミティブ形状（直方体や円柱等の単純な形状）をあてはめ、プリミティブ形状の範囲外の領域を特定領域として決定してもよい。また、情報処理装置１００は、主成分分析に基づいて判定した特定領域と、プリミティブ形状のあてはめに基づいて判定した特定領域の両方に共通の部位又は少なくとも一方が特定領域と判定した部位を特定領域として決定してもよい。Ｓｃｈｎａｂｅｌらの手法については、以下の文献を参照することができる。

Ｒ．Ｓｃｈｎａｂｅｌ， Ｒ．Ｗａｈｌ， ａｎｄ Ｒ．Ｋｌｅｉｎ，"Ｅｆｆｉｃｉｅｎｔ ＲＡＮＳＡＣ ｆｏｒ ｐｏｉｎｔ‐ｃｌｏｕｄ ｓｈａｐｅ ｄｅｔｅｃｔｉｏｎ，" Ｉｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ｆｏｒｕｍ，Ｖｏｌ．２６，Ｎｏ．２，ｐｐ．２１４−２２６，２００７，Ｂｌａｃｋｗｅｌｌ Ｐｕｂｌｉｓｈｉｎｇ Ｌｔｄ．

（第３の実施形態）
次に、第３の実施形態に係る情報処理システムについて説明する。第３の実施形態に係る情報処理システムは、対象画像に対する位置姿勢推定を行いながら特定領域を決定する。第３の実施形態に係る情報処理装置１００の機能構成は、第２の実施形態に係る情報処理装置１００の機能構成とほぼ同様であり、テスト画像作成部を有さない。

図７は、第３の実施形態に係る情報処理装置１００による位置姿勢推定処理を示すフローチャートである。Ｓ３００の処理の後、Ｓ７００において、画像取得部２０４は、対象画像を取得する。次に、Ｓ７０１において、候補決定部２０５は、対象画像の位置姿勢候補を決定する。次に、Ｓ７０２において、候補決定部２０５は、三次元モデルと、Ｓ３００で生成したテンプレートと、Ｓ７００において取得した対象画像と、Ｓ７０１で決定した位置姿勢候補と、に基づいて、対象物体の特定領域を決定する。基本的には、第１の実施形態において説明した特定部位決定処理と同様の処理である。

第１の実施形態における特定処理と異なる点は、三次元モデルに基づいて作成したテスト画像の替わりに対象画像を使う点と、テンプレートマッチングによって推定した位置姿勢の替わりに位置姿勢候補を使う点である。候補決定部２０５は、三次元モデルのエッジ上の点を位置姿勢候補で対象画像上に投影し、対象画像のエッジ上の点のうち、投影した点の最近傍の点との画像上における距離が閾値以上であれば特定領域としてのスコアを上げる。Ｓ７０２の処理の後、ＣＰＵ１０１は、処理をＳ３０７へ進める。なお、第３の実施形態に係る情報処理システムのこれ以外の構成及び処理は、他の実施形態に係る情報処理システムの構成及び処理と同様である。

以上のように、第３の実施形態に係る情報処理システムは、対象画像に対する位置姿勢推定を行いながら特定領域を決定する。これにより、実際のシーンに即した特定領域で位置姿勢候補の正誤を判定することができ、高精度に位置姿勢を推定できるようになる。

第３の実施形態の変形例としては、特定領域決定処理は、対象物体の三次元モデルと対象画像を比較し、形状に差異のある部位を判定する方法であればよく、三次元モデルと対象画像との二次元画像上でのエッジの比較による方法に限定されるものではない。例えば、撮像装置１１０としてステレオカメラやＴｉｍｅ−ｏｆ−Ｆｌｉｇｈｔカメラ等の三次元点群を取得可能なデバイスを使用する。そして、情報処理装置１００は、位置姿勢候補の三次元モデル上の点Ｈと、撮像装置１１０で取得した三次元点群のうち、Ｈの最近傍の点Ｈ'との三次元空間における距離から算出したスコアに基づいて特定領域を決定してもよい。

また、モデル情報にテクスチャ情報を含み、三次元モデル上の点の輝度値を取得できるとする。この場合には、情報処理装置１００は、位置姿勢候補で三次元モデル上の点Ｉを対象画像上に投影し、Ｉの輝度値と投影した座標における対象画像の輝度値とを比較し、輝度値の差から算出した域スコアに基づいて特定領域を判定決定してもよい。

また、特定領域決定処理において用いられる画像は、実際に対象物体の位置姿勢を推定する必要のある対象画像に限定されるものではなく、対象物体の画像であればよい。例えば、情報処理装置１００は、撮像装置１１０により撮像された画像を第１の実施形態において説明したテスト画像として用いて、第１の実施形態において説明した事前処理において特定領域を決定してもよい。

（第４の実施形態）
次に、第４の実施形態に係る情報処理システムについて説明する。第４の実施形態に係る情報処理システムは、特定領域内の各箇所に対する、正誤判定に与える影響の大きさを調整する。具体的には、特定領域内の点毎に影響の大きさに対応した重みを付与する。第４の実施形態に係る情報処理装置１００の機能構成は、第１の実施形態に係る情報処理装置１００の機能構成とほぼ同様である。

図８は、第４の実施形態に係る情報処理装置１００による位置姿勢推定処理を示すフローチャートである。Ｓ３００の処理の後、Ｓ８００において、情報処理装置１００は、第１の特定領域決定処理を行う。第１の特定領域決定処理は、図３を参照しつつ説明したＳ３０１〜Ｓ３０４の処理と同様である。次に、Ｓ８０１において、情報処理装置１００は、第２の特定領域決定処理を行う。第２の特定領域決定処理は、図５を参照しつつ説明したＳ５００の処理と同様である。次に、Ｓ８０２において、特定領域決定部２０３は、Ｓ８００において決定した特定領域を第１の特定領域として設定し、Ｓ８０１において決定した特定領域を第２の特定領域として設定する。そして、特定領域決定部２０３は、両特定領域に共通する領域に対して重み１を付与し、これ以外の領域に対して重み０を付与する。テンプレート作成部２０１は、その後処理をＳ３０５へ進め、続くＳ３０６の処理の後、処理をＳ８０３へ進める。

Ｓ８０３において、正誤判定部２０６は、三次元モデル、対象画像、位置姿勢候補及びＳ８０２において得られた重み付き特定領域に基づいて、位置姿勢候補の正誤判定を行う。具体的には、正誤判定部２０６は、まず、重みが０より大きい特定領域の点Ｂ_iを位置姿勢候補Ｐ_j'に基づいて対象画像に投影する。ただし、三次元モデルをＰ_j'で変換したとき、観察できない特定領域は投影しない。次に、正誤判定部２０６は、投影した点ｂ_iと、テスト画像のエッジ上の点のうち、ｂ_iの最近傍の点ｂ_i'との画像上における距離ｄ_i'を算出する。そして、正誤判定部２０６は、（式２）により重み付き距離ｄｗ_i'を求める。ここで、ｗ_iは、Ｂ_iの重みである。

ｄｗ_i'＝ｗ_i・ｄ_i' …（式２）

正誤判定部２０６は、ｄｗ_i'を全ての特定領域の点で算出し、その平均値Ｄ_iを算出する。正誤判定部２０６は、Ｄｉを全ての位置姿勢候補で算出し、最もＤｉの小さい位置姿勢候補を正しい位置姿勢と判定する。テンプレート作成部２０１は、その後、処理をＳ３０８へ進める。なお、第４の実施形態に係る情報処理システムのこれ以外の構成及び処理は、他の実施形態に係る情報処理システムの構成及び処理と同様である。

以上のように、第４の実施形態に係る情報処理システムは、異なる複数の処理により決定した特定領域に基づいて、特定領域内の各点の重みを調整し、重みに応じた正誤判定を行う。これにより、特定領域の中でも、正しい位置姿勢と誤った位置姿勢とでより形状の差異が出やすい部位を重視して位置姿勢候補の正誤を判定することができ、高精度に位置姿勢を推定できるようになる。

第４の実施形態の変形例としては、情報処理装置１００は、正しい位置姿勢と誤った位置姿勢とで形状の差異が出やすい部位ほど重みを与えればよく、特定領域の重み調整の具体的な処理は実施形態に限定されるものではない。例えば、情報処理装置１００は、第１の特定領域と第２の特定領域の共通領域に重み１を付与し、片方のみ特定領域と判定された領域は重み０．５を付与し、どちらも特定領域と判定されなかった領域は重みを０にしてもよい。また、情報処理装置１００は、複数の特定領域をユーザに提示し、ユーザに特定領域を選択させ、選択した特定領域の重みを１に、それ以外の領域の重みを０にしてもよい。

以下、上記実施形態の変形例について説明する。撮像装置１１０は上述した１台のカラーカメラに限るものではなく、位置姿勢候補が決定できるものであればよい。例えば、濃淡画像を撮像するカメラやステレオカメラやカメラとプロジェクタで構成された装置でもよい。

また、モデル情報は、上述した対象物体の面、対象物体表面上の点、対象物体のエッジ上の点によって構成される三次元モデルに限るものではなく、対象物体の三次元形状を表すものであればよい。例えば、複数視点から対象物体を撮像し、撮像時の対象物体の位置姿勢が紐づいた実画像群でもよい。この場合、第１の実施形態の情報処理装置１００は、各実画像をテンプレートとし、ある実画像に対してテンプレートマッチングを行って特定領域を判定する。特定領域スコアは実画像ごとに保持しておき、実画像ごとに特定領域を決定する。位置姿勢正誤判定では、位置姿勢候補に最も近い位置姿勢が紐づいた実画像の特定領域に基づいて判定を行う。第２の実施形態の情報処理装置１００は、実画像ごとに主成分分析やプリミティブ形状のあてはめを行い、特定領域を決定する。

特定領域は、対象物体のモデルのある部位など領域を指定するものでもよく、モデルの一部の点を指定するものでもよい。例えば、モデルの一部の線でもよい。また、モデルの一部を含む領域でもよい。ここで領域とは、２次元画像上では長方形の内部など、３次元空間では直方体の内部などのように、特定の範囲を表すものである。また、情報処理装置１００は、モデルの各箇所に位置姿勢正誤判定時に与える影響の大きさである重みを設定し、重みが閾値より大きい又は小さい箇所を特定領域としてもよい。

位置姿勢候補の決定は上述したテンプレートマッチングに基づくものに限るものではなく、対象物体の位置姿勢が推定できるものであればよい。例えば、Ｄｒｏｓｔらの手法のように三次元特徴を用いた投票に基づいて位置姿勢を推定するものでもよい。Ｄｒｏｓｔらの手法については、以下の文献を参照することができる。

Ｂ．Ｄｒｏｓｔ，Ｍ．Ｕｌｒｉｃｈ，Ｎ．Ｎａｖａｂ ａｎｄ Ｓ．Ｉｌｉｃ，"Ｍｏｄｅｌ ｇｌｏｂａｌｌｙ， ｍａｔｃｈ ｌｏｃａｌｌｙ： Ｅｆｆｉｃｉｅｎｔ ａｎｄ ｒｏｂｕｓｔ ３Ｄ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ"， ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．９９８−１００５，２０１０．

また、位置姿勢候補は上述した複数に限るものではなく、１つでもよい。その場合、情報処理装置１００は、位置姿勢正誤判定では、特定領域を対象画像に投影した点ｂ_iと対象画像のエッジ上のｂ_iの最近傍点ｂ_i'との距離の平均値Ｄ_iを算出し、Ｄ_iが閾値未満であれば正しい位置姿勢と判定する。

位置姿勢の出力は位置姿勢正誤判定の直後に限るものではなく、処理終了の前に位置姿勢を出力するのであればいつでも良い。例えば、位置姿勢正誤判定の後に正しいと判定された位置姿勢を初期値として、入力画像に対して対象物体の三次元モデルをあてはめる（モデルフィッティング）などの方法により、より正確な位置姿勢を算出してから位置姿勢を出力してもよい。

位置姿勢正誤判定のための処理は、実施形態に限定されない。情報処理装置１００は、例えば、二次元画像上での特定領域の特徴の位置と入力画像の特徴の位置との距離に基づいて位置姿勢候補の正誤を判定してもよい。また、情報処理装置１００は、また、二次元画像上での特定領域の輝度値と入力画像の輝度値の差に基づいて位置姿勢候補の正誤を判定してもよい。また、情報処理装置１００は、三次元空間での特定領域の特徴の位置と撮像部で取得した三次元点群との距離に基づいて位置姿勢候補の正誤を判定してもよい。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処理装置
２０３ 特定領域決定部
２０５ 候補決定部
２０６ 正誤判定部

Claims (10)

1. 位置姿勢推定の対象物体が撮影された撮影画像における前記対象物体の位置姿勢候補を決定する候補決定手段と、
   前記対象物体の三次元形状を表すモデル情報に基づいて、前記対象物体の特定領域を決定する領域決定手段と、
   前記モデル情報の特定領域の特徴量と、前記撮影画像の前記特定領域の特徴量と、に基づいて、前記位置姿勢候補が位置姿勢として正しいか否かを判定する判定手段と
   を有することを特徴とする情報処理装置。
2. 前記モデル情報に基づいて、第１の位置姿勢の対象物体のテスト画像を生成する生成手段と、
   前記テスト画像の特徴量と、前記第１の位置姿勢と異なる第２の位置姿勢における前記対象物体の特徴量と、を特定する特徴量特定手段と
   をさらに有し、
   前記領域決定手段は、前記テスト画像の特徴量と、前記第２の位置姿勢の対象物体の特徴量と、に基づいて、前記特定領域を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記領域決定手段は、前記モデル情報に基づいて、予め設定された条件を満たす領域を前記特定領域として決定することを特徴する請求項１に記載の情報処理装置。
4. 前記領域決定手段は、前記モデル情報の特徴の位置の主成分分析により判定した前記対象物体の短手領域を前記特定領域として決定することを特徴とする請求項３に記載の情報処理装置。
5. 前記領域決定手段は、前記モデル情報の特徴の位置に基づいて、前記対象物体にプリミティブ形状をあてはめ、前記プリミティブ形状の範囲外に存在する領域を前記特定領域として決定することを特徴とする請求項３に記載の情報処理装置。
6. 前記領域決定手段は、前記候補決定手段により決定された位置姿勢候補の前記モデル情報の特徴量と、前記対象物体を含む撮影画像の特徴量と、に基づいて、前記特定領域を決定することを特徴とする請求項３に記載の情報処理装置。
7. 前記領域決定手段は、前記モデル情報に基づいて、第１の条件を満たす第１の特定領域と、前記第１の条件と異なる第２の条件を満たす第２の特定領域と、を特定領域として決定し、
   前記第１の特定領域と、前記第２の特定領域と、に基づいて、特定領域内の各点の重みを決定する重み決定手段をさらに有し、
   前記判定手段は、さらに重みに基づいて、前記位置姿勢候補が正しいか否かを判定することを特徴とする請求項３に記載の情報処理装置。
8. 前記判定手段は、前記モデル情報の前記特定領域を、前記位置姿勢候補に基づいて前記撮影画像に投影した場合の特徴量と、前記撮影画像における前記特定領域の特徴量と、の差分に基づいて、前記位置姿勢候補が正しいか否かを判定することを特徴とする請求項１に記載の情報処理装置。
9. 情報処理装置が実行する情報処理方法であって、
   位置姿勢推定の対象物体が撮影された撮影画像における前記対象物体の位置姿勢候補を決定する候補決定ステップと、
   前記対象物体の三次元形状を表すモデル情報に基づいて、前記対象物体の特定領域を決定する領域決定ステップと、
   前記モデル情報の特定領域の特徴量と、前記撮影画像の前記特定領域の特徴量と、に基づいて、前記位置姿勢候補が位置姿勢として正しいか否かを判定する判定ステップと
   を含むことを特徴とする情報処理方法。
10. コンピュータを、請求項１乃至８の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images