JP2017010327A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】対象物体の計測に係る時間と労力とを削減することを目的とする。
【解決手段】計測装置から対象物体の計測データを取得する取得手段と、取得手段により取得された１つ以上の計測データに基づいて、対象物体の位置姿勢推定に用いる幾何特徴を含む対象物体の部分領域を抽出する抽出手段と、抽出手段により抽出された部分領域を計測する計測装置の位置姿勢を決定する決定手段と、対象物体と計測装置との相対位置姿勢を決定手段で決定された位置姿勢を出力する出力手段と、を有することによって課題を解決する。
【選択図】図３

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

対象物体の３次元の形状情報（位置合わせモデル）を利用して、対象を観察した距離画像や濃淡画像から対象物体の位置姿勢を推定するモデルフィッティング技術がある。特許文献１では、位置合わせモデルとして部品のＣＡＤモデルから抽出した幾何特徴を、対象物体を撮影した距離画像及び濃淡画像から検出した幾何特徴と対応付け、対応付けた幾何特徴間の距離を評価値として位置姿勢のパラメータを推定する技術が開示されている。この対象物体の位置姿勢を推定する技術により、ロボットによる部品のピッキングのためのハンド位置を計算することができる。
位置合わせモデルを生成するのに利用する対象物体の３次元形状モデルを複数の位置姿勢から計測した距離画像から生成するリバースエンジニアリング技術がある。リバースエンジニアリングによる形状再構成は、一般的には、以下の作業により行われる。即ち、多数回、位置姿勢を変えた距離計測装置による距離画像の撮影、それら膨大な距離画像の距離点群から専用のソフトウェアによるノイズ除去や各距離画像（３次元点群）の位置合わせ、曲面当てはめ等の作業である。また２次元画像を撮影するカメラを用いて、多数回、位置姿勢を変えて対象物体を撮影した画像群から、対象物体の３次元形状を再構成する多視点画像からの３次元復元技術もある。

特開２０１１−２７６２３号公報

対象物体のモデルを作成するために、多数回、位置姿勢を変えて対象物体を計測するには計測装置又は対象物体の移動と計測を多数回繰り返さなければならない。そのため計測に多くの時間と労力とを必要とする。更に、多数の計測を完了した後にモデルの生成を行った時点で、未計測領域があったり、計測していてもノイズが多くて３次元形状が精度良く復元できていなかったりと計測が不十分であることが発覚する場合が多々ある。その場合は追加の計測を行わなければならず、より多くの時間と労力とがかかってしまう。
本発明は、対象物体の計測に係る時間と労力とを削減することを目的とする。

そこで、本発明は、計測装置から対象物体の計測データを取得する取得手段と、前記取得手段により取得された１つ以上の計測データに基づいて、前記対象物体の位置姿勢推定に用いる幾何特徴を含む対象物体の部分領域を抽出する抽出手段と、前記抽出手段により抽出された前記部分領域を計測する前記計測装置の位置姿勢を決定する決定手段と、前記対象物体と前記計測装置との相対位置姿勢を前記決定手段で決定された位置姿勢を出力する出力手段と、を有する。

本発明によれば、対象物体の計測に係る時間と労力とを削減することができる。

計測装置を用いた対象物体の計測の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 情報処理装置のソフトウェア構成等の一例を示す図（その１）である。 情報処理装置の情報処理の一例を示すフローチャート（その１）である。 情報処理装置のソフトウェア構成等の一例を示す図（その２）である。 情報処理装置の情報処理の一例を示すフローチャート（その２）である。 情報処理装置のソフトウェア構成等の一例を示す図（その３）である。 情報処理装置の情報処理の一例を示すフローチャート（その３）である。 情報処理装置のソフトウェア構成等の一例を示す図（その４）である。 情報処理装置の情報処理の一例を示すフローチャート（その４）である。

以下、本発明の実施形態について図面に基づいて説明する。
以下の実施形態の説明で用いる言葉について説明する。まず、位置合わせモデルとは、対象物体の位置姿勢をモデルフィッティングによって算出する際に用いる対象物体の３次元の形状情報であり、３次元形状を表す幾何特徴の集合からなるものである。また、幾何特徴とは、距離画像又は濃淡画像や３次元形状モデルに含まれる計測の対象物体の撮影領域に含まれる図形的な特徴である。エッジ、コーナー等の特徴や、曲率や法線の分布等の３次元的な特徴も幾何特徴に含まれる。また、距離画像とは、特定の視点から観測された計測の対象物体の表面までの距離値を保持した画像であり、格子状の画像形状になっている場合や、リスト形状になっている場合がある。また、濃淡画像とは、特定の視点から観測された計測の対象物体表面による反射像である。各画素に輝度を格納した輝度画像だけでなく、Ｒ（赤）、Ｇ（緑）、Ｂ（青）等の可視光や赤外光のように波長ごとの輝度を各画素に格納した画像も含まれる。また、３次元形状モデルとは、対象物体の３次元形状を表すモデルである。解析曲面の集合である３次元ＣＡＤモデルや、３次元点群とその連結情報とからなる局所平面の集合であるメッシュモデル、３次元点の集合や、３次元点とその法線情報との集合等、対象物体の３次元形状を表す情報のことをいう。また、位置姿勢において、位置はユークリッド空間の３次元の表現として（Ｘ，Ｙ，Ｚ）で表現でき、姿勢は各軸まわりの回転量の６自由度のパラメータとして表現できる。また、計測位置姿勢とは、対象物体に対する計測装置の相対位置姿勢である。また、位置合わせとは、計測データ間の相対位置姿勢を求め、一つの座標系に変換する位置姿勢パラメータを求めることをいう。また、位置決め機構とは、駆動することができるアクチュエータを含み、指令値により所定の位置に移動する制御機構を含むシステムをいう。一般的な産業用ロボットでは、複数の関節軸を有し、各軸のモータを、回転角度を検出するエンコーダの値を用いてフィードバック制御することにより、所定の位置・角度の姿勢を再現することができる。

＜実施形態１＞
本実施形態では対象物体の計測データから対象物体の位置姿勢推定のための位置合わせモデルを作成する情報処理について説明する。
本実施形態のイメージ図を図１に示す。対象物体１０を周囲から計測装置２０を用いて多数回計測し、複数の計測データを統合して対象物体の位置姿勢推定に用いる位置合わせモデルを作成する。計測装置２０はロボットアーム等の位置決め機構により任意の位置姿勢に移動し計測することができ、最初に設定した計測パス３０上を移動する。そして対象物体の位置姿勢推定に用いる位置合わせモデルに登録する幾何特徴を含む注目領域４０を密に、それ以外の領域は疎に計測することによって、前記位置合わせモデルを生成するのに必要十分な計測を行う。これにより均一な間隔で計測するよりも計測回数を減らすことができ、計測にかかる時間と手間とを軽減することができる。
モデルフィッティングによる対象物体の位置姿勢推定では、情報処理装置は、計測データから検出した幾何特徴と、位置合わせモデルに登録されている３次元幾何特徴とを対応付け、対応する幾何特徴間の距離を最小化する。このことによって、情報処理装置は、位置姿勢のパラメータを算出する。よって、計測データから検出される幾何特徴に対応する３次元幾何特徴が位置合わせモデルに登録されている必要がある。そこで本実施形態では、計測データから幾何特徴が多く検出される領域を注目領域とし、その注目領域を密に計測する方法について述べる。
本実施形態における位置合わせモデルは、対象物体の３次元形状モデルから、法線情報を持つ表面上の３次元点からなる幾何特徴と、方向情報を持つ輪郭上の３次元点からなる幾何特徴と、をサンプリングしたもので構成される。表面上の３次元点と法線情報とは距離画像に当てはめる際に、輪郭上の３次元点と方向情報とは濃淡画像に当てはめる際に用いられる。

図２は、情報処理装置１のハードウェア構成の一例を示す図である。情報処理装置１は、ハードウェア構成として、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、通信Ｉ／Ｆ１４と、表示装置１５と、入力装置１６と、ＨＤＤ１７と、を含む。ＣＰＵ１１は、システムバスに接続された情報処理装置１の各種デバイスの制御を行う。ＲＯＭ１２は、ＢＩＯＳのプログラムやブートプログラムを記憶する。ＲＡＭ１３は、ＣＰＵ１１の主記憶装置として使用される。通信Ｉ／Ｆ１４は、情報処理装置１をネットワークに接続し、ネットワークを介した情報通信を制御する。ネットワークには有線を介して接続されていても良いし、無線を介して接続されていても良いし、有線及び無線を介して接続されていても良い。表示装置１５は、ＣＰＵ１１等における処理結果を表示する。入力装置１６は、操作者による入力等を受け付ける。入力装置１６としては、例えば、マウスやキーボード等であっても良いし、後述するリモコン等であっても良い。ＨＤＤ１７は、ＯＳのプログラムやＯＳ上で動作する各種アプリケーションのプログラム等が格納される。
上記構成において、情報処理装置１の電源がＯＮになると、ＣＰＵ１１は、ＲＯＭ１２に格納されたブートプログラムに従って、ＨＤＤ１７からＯＳのプログラム等をＲＡＭ１３に読み込み、処理を実行することによって、情報処理装置１の機能を実現する。つまり、情報処理装置１のＣＰＵ１１がプログラムに基づき処理を実行することによって、情報処理装置１のソフトウェア構成及び後述するフローチャートの処理が実現される。
図２のハードウェア構成は一例であって、情報処理装置１は例えば、ＣＰＵやＨＤＤ、通信Ｉ／Ｆ等を複数有していても良い。

情報処理装置１のソフトウェア構成を図３に示す。
計測データ取得部１１０は、投影装置と撮像装置とで構成された計測装置１０２を介して、計測の対象物体１０１を含む距離画像と濃淡画像とを取得する。距離画像の取得方法としては、例えば、投影装置から構造的なパターンを投影する。そして、計測データ取得部１１０は、対象面に反射した像を撮像装置で撮影した画像からパターンを復号することにより投影装置の投影位置を特定し、撮像と投影との画像位置関係から三角測量による距離を計算する。計測データ取得部１１０は、投影装置からパターン無しの光を投影させるか、又は投影を行わずに撮像装置で撮像することで濃淡画像を取得できる。撮像装置は、ＣＣＤやＣＭＯＳ等の撮像素子によるカメラを用いることができる。

注目領域抽出部１２０は、計測データから対象物体の計測すべき領域として注目領域を抽出する。注目領域とは計測データから検出する対象物体の位置姿勢推定に用いられる幾何特徴を他の領域より多く含む領域である。本実施形態では、注目領域抽出部１２０は、対象物体の位置姿勢推定に用いられる幾何特徴と相関のある特徴量を計測データから算出し、その特徴量が設定された値等より大きい計測データの部分領域を注目領域として抽出する。情報処理装置１は、対象物体の位置姿勢推定では濃淡画像から特徴的な幾何特徴を検出し、位置合わせモデルと対応づける。そこで本実施形態では、注目領域抽出部１２０が計測データとして１フレーム前に計測した濃淡画像を用い、対象物体の注目領域を抽出する方法について述べる。注目領域抽出部１２０は、濃淡画像に写る対象物体の領域を任意の大きさで分割し、局所領域ごとに対象物体の位置姿勢推定に用いる計測データの幾何特徴と相関のある特徴量を算出し、その値が閾値以上である領域を注目領域として選択する。
位置姿勢推定に輪郭情報を用いる場合、情報処理装置１は、濃淡画像から検出したエッジと位置合わせモデルに登録している輪郭の３次元点とその向きからなる３次元エッジとを対応付けて、その対応間距離を最小化して位置姿勢を算出する。そのため検出したエッジに対応する３次元エッジが位置合わせモデルに登録される必要がある。濃淡画像からエッジが多数検出されるような、空間的に高周波な形状部分は距離計測がしにくいため、計測データに欠損が発生しやすい。よってそのような領域は複数の視点から多数回計測し欠損を補って形状を取得する必要がある。
濃淡画像からエッジが検出される画像領域の画像周波数は高い傾向がある。そこで、注目領域抽出部１２０は、濃淡画像の局所領域ごとにＦＦＴ等により周波数変換を行い、エッジ検出オペレータに応じた周波数フィルタを適用する。ここでは、注目領域抽出部１２０は、暗電流ノイズ等の画素ノイズに反応する高周波成分と、距離計測しやすくエッジが検出されない低周波成分と、を除くバンドパスフィルタを適用する。そして、注目領域抽出部１２０は、バンドパスフィルタの出力の総和を特徴量とする。この特徴量が大きい領域は対象物体の位置姿勢推定に用いる計測データの幾何特徴であるエッジが検出されやすい。したがって、注目領域抽出部１２０は、対象物体の距離計測しにくい領域を抽出できる。注目領域抽出部１２０は、バンドパスフィルタの設計値を、使用する撮像装置の暗電流ノイズや撮影環境の光源条件、計測装置２０の最小計測面積等から決めることができる。前記特徴量は、画像特徴に関する特徴量の一例である。

計測位置姿勢決定部１３０は、注目領域抽出部１２０で抽出された領域に基づいて、次に対象物体を計測するときの計測装置２０の位置姿勢を決定する。本実施形態では計測装置を動かすパス（軌跡）は事前に与えられているとし、パス上での計測装置２０の位置姿勢を決定する。ここではパスは対象物体を中心に捕らえた計測位置姿勢を滑らかに補間したものとし、図１のように対象物体を全周から観測するようなパスが設定されているとする。計測位置姿勢決定部１３０は、スプライン補間やラグランジュ補間等を利用すれば位置の補間を算出でき、四元数を用いたＬｅｒｐやＳｌｅｒｐ演算を利用すれば姿勢の補間を算出できる。注目領域抽出部１２０で１フレーム前の計測データから注目領域が検出された場合、計測位置姿勢決定部１３０は、近傍の視点からも注目領域が計測できると仮定して、以下の処理を行う。即ち、計測位置姿勢決定部１３０は、現在の計測装置の位置姿勢から事前に指定した最小刻み幅だけパス上を進んだ位置姿勢を次の計測位置姿勢として決定する。注目領域が検出されなかった場合、計測位置姿勢決定部１３０は、事前に指定した最大刻み幅だけパス上を進んだ位置姿勢を次の計測位置姿勢として決定する。
計測位置姿勢変更部１４０は、対象物体と計測データ取得部１１０で用いる計測装置との相対位置姿勢を変更する。対象物体１０１は、ワークスペースに静止状態で設置される。計測装置１０２の位置決め機構としてアームの先端に計測装置１０２を設置したロボットアーム１０３を用い、事前に設定したパス上の位置姿勢から対象物体の計測を可能にする。計測位置姿勢変更部１４０は、ロボットコントローラー１０４に計測位置姿勢決定部１３０で決定した位置姿勢に計測装置１０２を移動するように指示を出力する。ロボットコントローラー１０４は、この指示に基づき、計測装置１０２を計測位置姿勢決定部１３０で決定された位置姿勢に移動させる。

位置合わせ部１５０は、計測データ取得部１１０で計測された距離画像同士の位置合わせを行い、一つの座標系に統合した３次元メッシュモデルを出力する。距離画像を格子状に配置された対象までの距離値とすれば、位置合わせ部１５０は、隣接する格子点を頂点とするメッシュを生成することができる。位置合わせ部１５０は、距離画像のメッシュモデル同士の相対的な位置姿勢をＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔｓ）アルゴリズム等を用いて算出し統合する。ＩＣＰアルゴリズムには位置姿勢の初期値が必要である。しかし、本実施形態ではロボットアームにより計測装置の位置姿勢を制御しているため、位置合わせ部１５０は、その制御値から位置姿勢の初期値を設定する。またロボットアームの制御が高精度に可能であれば、位置合わせ部１５０は、ＩＣＰアルゴリズムを適用せずに制御値の位置姿勢を用いて計測データ間の位置合わせを行っても良い。位置合わせ部１５０は、距離画像をメッシュモデルに変換せず３次元点群のままでもＩＣＰアルゴリズムにより距離画像同士の相対位置姿勢は算出可能である。また、位置合わせ部１５０は、メッシュをボクセルとして表現して、その領域に対してメッシュを生成する方法や、点群に対してドロネー三角形によりメッシュを生成する方法等を用いることもできる。実際の位置姿勢推定で利用する距離画像で復元できない細部の形状は、それよりも細かすぎる分解能の形状はサンプリング定理から検出することが困難であるため、対象の３次元形状として必要以上に詳細な形状を復元しなくても良い。
モデル生成部１６０は、位置合わせ部１５０で位置合わせされた計測データの３次元メッシュモデルから、部品位置姿勢推定に用いる位置合わせモデルを生成する。モデル生成部１６０は、メッシュモデルから指定した密度で表面点の３次元点とその法線及び輪郭の３次元点とその向きとをサンプリングし、位置合わせモデルに登録する。このときモデル生成部１６０が各幾何特徴を観測可能な視点毎に登録を行うことにより、対象物体の位置姿勢を推定する際に幾何特徴の可視判定の処理を省略することができる。

図４に実施形態１の情報処理装置における情報処理のフローチャートを示す。事前に計測装置やロボットアーム等の校正や計測位置姿勢のパスの設定は済んでいるとする。
まずＳ１０１０で、計測データ取得部１１０は、対象物体の計測データを取得する。即ち、計測データ取得部１１０は、対象物体を含む距離画像及び濃淡画像を取得する。
次にＳ１０２０で、注目領域抽出部１２０は、計測データに基づいて、対象物体の計測すべき部分領域（注目領域）を抽出する。即ち注目領域抽出部１２０は、部品位置姿勢計測に用いるような幾何特徴を含む局所領域を濃淡画像から抽出する。
そしてＳ１０３０で、計測位置姿勢決定部１３０は、次に対象物体を計測する位置姿勢を決定する。即ち、計測位置姿勢決定部１３０は、前記注目領域が検出されていれば最小刻み幅先のパス上の位置姿勢を、前記注目領域が検出されなければ最大刻み幅先のパス上の位置姿勢を次の計測位置姿勢として決定する。
次にＳ１０４０で、計測位置姿勢変更部１４０は、対象物体と計測装置との相対位置姿勢をＳ１０３０で決定された位置姿勢に変更する。
次にＳ１０５０で、計測データ取得部１１０は、再び計測データを取得する。即ち計測データ取得部１１０は、対象物体を含む距離画像及び濃淡画像を取得する。

次にＳ１０６０で、例えば、計測位置姿勢変更部１４０は、計測データ取得の終了判定を行う。ここで終了条件は事前に設定したパスを全て通過すれば終了であるとする。但し終了判定の方法は前記の方法に限らず、位置合わせモデルを生成するのに十分な計測データが集まったと判断できれば良い。例えば、計測位置姿勢変更部１４０は、計測データの数やデータ量で判定しても良いし、計測データである３次元点群をボクセル空間にマッピングし、各ボクセルの密度が閾値以上になったときに終了しても良い。まだ計測が不十分で判断した場合、例えば、計測位置姿勢変更部１４０は、処理をＳ１０２０に戻す。計測が十分であると判断した場合、例えば、計測位置姿勢変更部１４０は、処理をＳ１０７０に進める。Ｓ１０６０の処理は、他の部が行うようにしても良い。
Ｓ１０７０で、位置合わせ部１５０は、今まで取得した全計測データ同士の位置合わせを行う。即ち、位置合わせ部１５０は、距離画像同士の座標系を統一し、そのメッシュモデルを出力する。
最後にＳ１０８０で、モデル生成部１６０は、計測データから生成したメッシュモデルから部品位置姿勢計測に用いる幾何特徴を抽出する。即ち、モデル生成部１６０は、メッシュモデルから表面点の３次元点とその法線、輪郭の３次元点とその向きをサンプリングし、位置合わせモデルとして出力する。この処理により均一な間隔で計測するよりも計測回数を減らすことができ、計測にかかる時間と手間とを軽減することができる。

本実施形態の対象物体の位置姿勢推定方法と位置合わせモデルとは上記の方法に限らない。位置姿勢推定方法はモデルフィッティングに基づく方法であれば良く、計測データとして距離画像のみ、濃淡画像のみを用いても良い。位置合わせモデルも位置姿勢推定手法に合わせてモデルフィッティングに必要な幾何特徴を保持していれば良い。位置姿勢推定手法に距離画像のみ用いるのであれば表面上の３次元点とその法線のみ、濃淡画像のみを用いるのであれば輪郭上の３次元点とその方向のみであっても良い。また距離画像に当てはめる幾何特徴も上述したものに限るものではない。対象物体の表面を表すものであれば良い。表面上の３次元点のみであっても良いし、表面を表す３各パッチ等の局所面情報であっても良いし、表面を表す数式であっても良い。他にも注目領域の周辺の法線ベクトルを円柱に投影したときのヒストグラムによる識別や、２点間の奥行きの差を用いる方法や、局所領域の曲率を計算する方法等の幾何特徴を検出・識別することができる方法を利用することができる。更に濃淡画像に当てはめる幾何特徴も前記に限るものではなく、濃淡画像から検出でき、３次元形状モデルと対応が計算できる幾何特徴であれば良い。コーナー点を検出するＨａｒｒｉｓ オペレータ、エッジを検出するＳｏｂｅｌやＣａｎｎｙオペレータ、テクスチャの密度や方向を検出する方法、色のヒストグラムや、局所的な領域の勾配ヒストグラムを用いる方法等、様々な幾何特徴を検出・識別することができる方法を利用することができる。

本実施形態で述べた計測装置は投影装置と撮像装置との組み合わせであるが、距離画像撮影用の撮像装置の他に、濃淡画像撮影用の撮像装置を別途用いても良い。また、投影装置はプロジェクターであっても良いし、光源の前にマスクパターンを配置した装置であっても良く、構造的なパターンが投影できればいかなる装置であっても良い。濃淡画像は、３色のカラーフィルターを利用したカラー画像であっても良い。また、可視光以外にも赤外や紫外の波長を利用しても良いし、蛍光等を観察しても良い。なお、投影装置と撮像装置とのレンズ歪み等のカメラパラメータは事前に校正されているものとする。また、距離画像及び濃淡画像のフォーマットや画像サイズはシステムに応じて設定されていれば良い。また、距離画像の取得方法は上記の方法に限らない。２台以上のカメラの相対位置姿勢を事前に校正して利用するステレオカメラであっても良い。また、ランダムドットを照射して、画像の局所相関係数を計算して、相関の強さから対応付けを行い、ステレオのパラメータから三角測量により距離を算出方法でも良い。また、光を発光してから反射して戻ってくるまでの時間を測定するＴｉｍｅ ｏｆ Ｆｌｉｇｈｔ（ＴＯＦ）式の距離画像取得方法も利用できる。ラインレーザーを利用して、対象を直線運動させたときのレーザーの反射位置を計測して三次元の位置に変換した距離画像を用いても良い。ここでは、距離画像の取得方法に関してはいかなる方法であっても良い。更に計測装置は距離計測装置のみであっても良いし、濃淡画像を計測するカメラのみであっても良い。

本実施形態で述べた注目領域抽出部１２０における注目領域の抽出に用いる特徴量は上記の方法に限るものではなく、対象物体の位置姿勢計測に用いる幾何特徴と相関のある特徴量であれば良い。濃淡画像からエッジ検出や特徴点検出を行い局所領域内に含まれるエッジや特徴点の数を数えて評価値としても良い。また、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎｓ）フィルタ等のフィルタを適用し、その強度の総和や２乗和、総数を評価値としても良い。また計測データは濃淡画像でなくても距離画像であっても良い。距離画像の各画素に格納されている距離値を輝度とみなして、濃淡画像と同様の処理を行っても良いし、距離画像の各画素の近傍画素から法線を算出し、法線のｘ，ｙ，ｚをＲ，Ｇ，Ｂの色に変換した法線マップ画像に対して同様の処理を行っても良い。また、距離画像の局所領域毎の３次元点のばらつき（分散）や、面当てはめ誤差であっても良い。

本実施形態で述べた計測位置姿勢決定部１３０は、上記の方法に限らず、注目領域に基づいて、次に対象物体を計測するときの計測装置２０の位置姿勢を決定できれば良い。計測位置姿勢決定部１３０は、注目領域の個数や面積が閾値以上の場合に最小刻み幅だけ進んだ位置姿勢を次の計測位置姿勢としても良く、注目領域の個数や面積等が大きいほど刻み幅を小さくする等のように刻み幅を変更しても良い。
評価値は位置合わせに用いる特徴が多いと大きくなる。上記のように見えの変化の影響を受けやすい位置合わせ特徴の場合は、特徴を多く含む、即ち、評価値が大きい注目領域を密に計測した方が良い。逆に見えの変化の影響が少ない位置合わせ特徴の場合は、特徴が少ない部分、即ち、評価値の小さい注目領域を密に計測しても良い。それにより、少ない位置合わせ特徴を多く計測でき、安定した位置合わせを可能にする位置合わせモデルの計測にかかる時間と手間とを軽減できる。

本実施形態で述べた計測位置姿勢変更部１４０は、上記処理に限らず、計測装置２０と計測の対象物体との相対位置姿勢を任意に変更できれば良い。計測装置２０の位置を固定として、計測位置姿勢変更部１４０は、ロボットコントローラー１０４を制御し、ロボットアームが対象物体を把持し、対象物体の位置姿勢を変更させるようにしても良い。また、計測装置２０と対象物体とをそれぞれ別のロボットアームの先端に設置するようにし、計測位置姿勢変更部１４０は、それぞれのロボットコントローラー１０４を制御し、互いの位置姿勢を変化させても良い。但し、この場合はそれぞれのロボットアームを校正し、座標系を統一しておく。更に、位置決め機構として回転ステージやターンテーブルを使っても良い。計測データ取得部１１０を固定し、回転ステージの上に設置した対象物体を計測しても良いし、回転ステージと平行移動ステージとを組み合わせ、設置した対象物体を任意の位置姿勢に移動させても良い。互いの位置姿勢を校正したロボットアームと回転／移動ステージを組み合わせても良い。

本実施形態で述べた位置合わせ部１５０は、モデル生成部１６０の処理によってはメッシュモデルを出力するのではなく、位置合わせだけ行った距離画像の集合、つまり統合した３次元点群を出力するようにしても良い。また、位置合わせ部１５０は、位置合わせだけ行った距離画像のメッシュモデルの集合を出力するようにしても良い。また計測装置１０２がカメラのみの場合、位置合わせ部１５０は、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ等により画像から検出する特徴点の３次元位置を求めると共に、カメラ間の相対位置姿勢を算出する。ここでは、位置合わせ部１５０は、計測データ取得部１１０で計測された計測データを１つの座標系に統合した計測データを出力すれば良い。
本実施形態で述べたモデル生成部１６０は、１つの座標系に統合した計測データから対象物体の位置姿勢推定に用いる幾何特徴を抽出し、その幾何特徴を登録した位置合わせモデルを生成できれば良い。メッシュモデルからではなく３次元点群から直接サンプリングしても良いし、濃淡画像から検出した特徴点を他の濃淡画像から検出した特徴点と対応づけて三角測量により特徴点の３次元位置を算出し登録しても良い。
本実施形態では、位置合わせモデルを生成するまでの処理について述べたが、Ｓ１０６０の計測終了判定で計測が終了したと判定したところで処理を終わらせ、計測データをＨＤＤ１７等の記憶装置に保存して終了しても良い。その場合は後で計測データを記憶装置から読みだして、Ｓ１０７０の位置合わせ処理とＳ１０８０のモデル生成処理とを行えば良い。

実施形態１の情報処理によれば、均一な間隔で計測するよりも計測回数を減らすことができ、計測にかかる時間と手間とを軽減することができる。

＜実施形態２＞
実施形態１では情報処理装置は１フレーム前に計測した計測データに基づいて次の計測位置姿勢を決定していた。本実施形態では情報処理装置が計測済みの複数の計測データから注目領域と計測位置姿勢とを決定する方法について述べる。これにより、十分計測した領域を何度も計測しなくて済むようになり、計測にかかる時間が少なくなる。
本実施形態における情報処理装置２のハードウェア構成は、実施形態１の情報処理装置１のハードウェ空構成と同様である。情報処理装置２のソフトウェア構成を図５に示す。情報処理装置２は、ソフトウェア構成として、計測データ取得部２１０、注目領域抽出部２２０、計測位置姿勢決定部２３０、計測位置姿勢変更部２４０、位置合わせ部２５０、モデル生成部２６０を含む。各構成は、それぞれ実施形態１の計測データ取得部１１０、注目領域抽出部１２０、計測位置姿勢決定部１３０、計測位置姿勢変更部１４０、位置合わせ部１５０、モデル生成部１６０とほぼ同様である。但し、注目領域抽出部２２０、計測位置姿勢決定部２３０が、位置合わせ部２５０からの位置合わせ済みの計測データ又はメッシュモデルに基づいて処理を行うところが異なる。ロボットアーム２０３等も実施形態１と同様である。

図６に実施形態２の情報処理装置における情報処理のフローチャートを示す。事前に計測装置２０２やロボットアーム２０３等の校正や計測位置姿勢のパスの設定は済んでいるとする。Ｓ２０１０はＳ１０１０、Ｓ２０３０からＳ２０５０まではＳ１０３０からＳ１０５０まで、Ｓ２０６０はＳ１０７０、Ｓ２０７０はＳ１０６０、Ｓ２０８０はＳ１０８０と同様の処理であるので、Ｓ２０２０について説明する。
Ｓ２０２０では、注目領域抽出部２２０は、１つ以上の計測データを位置合わせして統合したメッシュモデルと撮影位置姿勢が既知の濃淡画像とから、対象物体の注目領域、即ち計測すべき領域を決定する。より具体的に説明すると、注目領域抽出部２２０は、Ｓ１０２０で述べた方法で濃淡画像から注目領域を抽出し、注目領域が計測されているかを統合したメッシュモデルから判定する。計測した濃淡画像の撮影位置姿勢（カメラ位置姿勢）は位置合わせ部２５０の処理により算出されている。そのため、位置合わせ部２５０で計測済みのデータから作成したメッシュモデルをカメラ座標系に変換し、濃淡画像に投影させることができる。注目領域抽出部２２０は、注目領域に投影されたメッシュモデルに欠損がどれだけあるかを示す未計測度を算出し、判定する。注目領域抽出部２２０は、背景領域を除き、注目領域の画素に表面以外、即ち裏面や穴が投影されていれば、その個所の３次元計測ができていないと判定できる。より具体的に説明すると、濃淡画像にメッシュモデルを投影して描画し、注目領域の各画素に投影されたメッシュの法線とその画素へのカメラ原点からの視線ベクトルとのなす角度が９０度以上であれば裏面が投影されている。したがって、注目領域抽出部２２０は、その画素は未計測であると判断する。加えて、注目領域抽出部２２０は、その画素にメッシュが投影されていなくても未計測だと判断する。注目領域抽出部２２０は、未計測と判断した画素の数をその注目領域の未計測度とする。注目領域抽出部２２０は、もし未計測度が０である、即ち未計測画素がなければ、その領域は注目領域から除外し、未計測度が０より大きい領域を注目領域とする。但し判定方法は上記に限られない。注目領域抽出部２２０は、未計測度が閾値以下である領域を注目領域から除外しても良い。また、未計測度は未計測画素の数でなくても面積や密度であっても良い。

また、計測データは座標系が統一された１つ以上の計測データに基づくデータであれば良く、法線付きの３次元点やメッシュモデルの集合であっても、１つのメッシュモデルに統合したものであっても良い。注目領域抽出部２２０は、注目領域に投影される３次元点の密度やメッシュの連続面の面積や、計測した３次元点をボクセル空間に区切ったときの注目領域に対応する表面ボクセル内の３次元点の密度を計測度としても良い。そして、注目領域抽出部２２０は、計測度が閾値以下の場合に未計測と判定しても良い。これにより既に十分計測した領域を何度も計測しなくて済むようになり、計測にかかる時間と手間とを軽減することができる。
また、ボクセル内の点群のばらつき（分散）や面当てはめ誤差が大きい場合は計測が困難でノイズが多く発生している領域であると考えられる。そこでその領域を多数回計測して中心極限定理によりノイズを軽減するために、注目領域抽出部２２０は、ばらつきや面当てはめ残差が大きく、かつ点群の密度も低い場合を未計測であると判定しても良い。また、注目領域抽出部２２０は、ボクセル内の点群のばらつきや面当てはめ誤差を直接注目領域かどうかの判定基準に用いても良い。バラツキや面当てはめ誤差が閾値以上であれば注目領域として選択するようにすれば、注目領域が３次元の領域として抽出できるため、以下に示す実施形態３で述べる計測可能性の判定の確度が高くなる。なお、計測データには全ての計測データを用いても良いし、現在の計測装置２０２の位置姿勢に空間的に（又は時間的に）近い位置姿勢で計測された計測データの部分集合を用いても良い。ここで、空間的に近い位置姿勢とは、例えば、空間的に設定された範囲内にある位置姿勢である。また、時間的に近い位置姿勢とは、例えば、時間的に設定された範囲内にある位置姿勢である。これらの設定に係る値は、例えば、ＨＤＤ１７等に記憶されている。例えば、ＣＰＵ１１は、入力装置１６等を介したユーザ操作に応じて、前記値を変更することができる。

実施形態２の情報処理によれば、既に十分計測した領域を何度も計測しなくて済むようになり、計測にかかる時間と手間とを軽減することができる。

＜実施形態３＞
上述した実施形態１では計測位置姿勢決定部１３０で、計測データに応じて次の計測位置姿勢のパス上の刻み幅を決めていた。本実施形態では情報処理装置は、計測位置姿勢のパス上に複数の計測位置姿勢候補を考え、１つ以上の取得済みの計測データを用いて、その計測位置姿勢から対象物体がどう見えるかを予測し、計測位置姿勢を決定する。これにより、注目領域が計測可能かどうかをより高い確度で判定できるため、計測にかかる時間が少なくなる。

本実施形態の装置のハードウェア構成は実施形態１と同様であり、ソフトウェア構成は実施形態２と同様である。また情報処理のフローチャート（図６）も実施形態２と同様である。本実施形態では実施形態２との差分であるＳ２０３０の処理について述べる。
Ｓ２０３０では、計測位置姿勢決定部２３０は、現在の計測装置の位置姿勢からパスの進行方向上の計測位置姿勢を決定する。より具体的に説明すると、計測位置姿勢決定部２３０は、パス上でランダムに１つ以上の計測位置姿勢候補を生成する。但し現在の位置姿勢から離れ過ぎても計測データ間の位置合わせが難しくなるため、現在の位置姿勢からどれだけ離れても良いかの上限は設定されているものとする。そして、計測位置姿勢決定部２３０は、各計測位置姿勢候補から注目領域が計測可能かどうかを判定する。計測位置姿勢決定部２３０は、対象物体が設置されてある平面（ワークスペース）に注目領域を投影させて判定を行う。計測位置姿勢決定部２３０は、ワークスペースに投影された注目領域が各位置姿勢候補から計測可能かどうかを、ワークスペースの位置姿勢を事前に求めておくことで容易に判定することができる。つまり、計測位置姿勢決定部２３０は、ワークスペースに投影された注目領域を更にカメラ座標系に変換し、カメラの画像座標に投影させることでカメラの画角内に注目領域が収まっているかどうかを判定する。これは対象物体の厚さを０と仮定して、対象物体の可視判定を行うことと等価である。計測位置姿勢決定部２３０は、注目領域の全体、又は閾値で指定された割合や面積以上の領域が、カメラの画角内に収まっていない、又は収まっていても注目領域の面積が閾値よりも小さければ計測不可能な位置姿勢であると判定する。そして、計測位置姿勢決定部２３０は、その計測位置姿勢を候補から除外する。計測位置姿勢決定部２３０は、残った位置姿勢候補のうち、現在の計測位置姿勢から最も近い候補を選択し次の計測位置姿勢とする。これにより、注目領域が計測可能かをより高い確度で判定できるため、計測にかかる時間と手間とを軽減することができる。

但し計測位置姿勢の決定方法は上記に限らない。計測位置姿勢決定部２３０は、１つ以上の計測位置姿勢の候補から注目領域を計測できる計測装置の位置姿勢を決定できれば良い。計測位置姿勢決定部２３０は、計測位置姿勢候補を一定間隔で生成しても良いし、残った候補からランダムに選択しても良い。計測位置姿勢決定部２３０は、計測位置姿勢候補を現在の計測位置姿勢に近いものから順に判定しても良い。また、計測位置姿勢決定部２３０は、注目領域を位置合わせ済みの各メッシュデータや統合したメッシュデータに貼りつけて、カメラの画像座標系に投影させ、注目領域の計測可能性を判定しても良い。また、計測位置姿勢決定部２３０は、計測済みの計測データの３次元点を画像座標系に投影させ、注目領域内の平均奥行き値や最大奥行き値等に基づいて算出した平面や面当てはめを行った面に注目領域を投影させて判定しても良い。注目領域が３次元の領域として抽出されている場合、計測位置姿勢決定部２３０は、その領域を画像座標に投影させ、その領域の全体又は一部が画像内に収まっていれば計測可能と判定できる。

実施形態３の情報処理によれば、注目領域が計測可能か否かをより高い確度で判定できるため、計測にかかる時間と手間とを軽減することができる。

＜実施形態４＞
実施形態３では情報処理装置は対象物体の位置姿勢推定に重要な幾何特徴を含む領域及び、まだ十分に計測していない領域の少なくとも一方を計測可能な位置姿勢を計測位置姿勢として決定していた。本実施形態では情報処理装置が他の計測データと十分な精度で位置合わせできるかを考慮して、次の計測位置姿勢を決定する方法について述べる。これにより、他の計測データと位置合わせできないためにモデル生成に使われない無駄な計測を減らせるため、計測にかかる時間を減らすことができる。ここでは、位置合わせ部１５０が、距離画像から生成したメッシュモデル同士の位置合わせを、対応する点と面との距離を最小化するＩＣＰアルゴリズムを用いて行うものとする。また、本実施形態の情報処理装置のハードウェア構成は実施形態１と同様である。また、本実施形態の情報処理装置のソフトウェア構成は実施形態２と同様であり、情報処理を示すフローチャートも図６に示すものである。

本実施形態では計測位置姿勢決定部２３０は、実施形態３におけるＳ２０３０の各計測位置姿勢候補に評価値（推奨度）を付け、推奨度の最も高い候補を次の計測位置姿勢として選択する。推奨度は他の計測データと十分な精度で位置合わせできるか、位置合わせがしやすいかを表す位置合わせ可能度Ｓｆからなる。
計測位置姿勢決定部２３０は、位置合わせ部２５０が出力したメッシュモデルから抽出した幾何特徴のヤコビ行列から求めた位置合わせの曖昧性に基づいて位置合わせ可能度Ｓｆを算出する。ここでは計測位置姿勢決定部２３０は、幾何特徴としてメッシュモデルからサンプリングした表面点の３次元位置と法線を用いる。幾何特徴のヤコビ行列とは、位置合わせを行う際に着目する幾何特徴の対応間距離が変化したときに、位置姿勢６自由度のパラメータが変化する度合いを表す値である。より具体的に説明すると、３次元空間中での点と平面との距離を位置及び姿勢の関数としたときの、位置及び姿勢の各要素に関する一次の偏微分係数を要素とする行列である。幾何特徴のヤコビ行列をみることで、その幾何特徴が位置姿勢６自由度のどのパラメータに影響を与え易いかがわかる。ヤコビ行列の特定のパラメータが小さい場合、そのパラメータへの影響が小さい、即ちそのパラメータが決まらず位置合わせに失敗する、又は十分な精度で位置合わせができないことを表す。以下では幾何特徴のヤコビ行列の導出方法と位置合わせ可能度Ｓｆの導出方法を示す。
計測データの偶然誤差及びデータ量・空間分布とモデルフィッティングの偶然誤差との関係は、Ｈｏｆｆらにより、各計測データの偶然誤差による位置姿勢推定結果の偶然誤差への伝播としてモデル化する手法が提案されている。以下では、この誤差伝播の枠組みを利用して、計測データの偶然誤差（σ_range）、観測できる計測データ（メッシュモデル）の幾何特徴の数、観測できる計測データ（メッシュモデル）の幾何特徴の空間分布（観測できるメッシュモデルの表面点の位置）から、位置姿勢の偶然誤差を位置合わせ可能度Ｓｆとして算出する枠組みについて述べる。

計測データである距離画像はメッシュモデルに変換することで各３次元点に法線情報が付加されている。ここで、位置合わせする計測データの一方を参照データ、もう一方を移動データと呼ぶとする。計測データ間の位置合わせは移動データの局所平面（３次元点と法線）と参照データの３次元点との距離とを最小化するＩＣＰアルゴリズムで行う。移動データの幾何特徴（表面点の３次元位置と法線）の参照データ座標系における３次元座標を（ｘ，ｙ，ｚ）^T、法線方向を（ｎ_x，ｎ_y，ｎ_z）^T（単位ベクトル）、参照データの幾何特徴である３次元点の座標を（ｘ'，ｙ'，ｚ'）^Tとすると、計測位置姿勢決定部２３０は、３次元空間での符号付距離ｅｒｒを以下の式より算出することができる。

そして、計測位置姿勢決定部２３０は、移動データから参照データへの位置姿勢変換パラメータｓ＝（ｓ１，ｓ２，ｓ３，ｓ４，ｓ５，ｓ６）^Tで、対応間距離ｅｒｒを偏微分することによって、幾何特徴のヤコビ行列Ｊ_3Dを以下のように算出できる。

ここで、

で、

は移動データから参照データへの姿勢変換行列、（ｘ_m，ｙ_m，ｚ_m）^Tは移動データの移動データ座標系での３次元座標を表す。

この１×６のヤコビ行列Ｊ_3Dを各幾何特徴の数Ｍだけ連結したＮ×６行列のヤコビ行列Ｊを用いると、位置姿勢と観測データとの間の微小変化は以下の（式４）で示すように、位置姿勢（の微小変化Δ）の一次近似による誤差の関数として表すことができる。これは、位置姿勢の微小変化による、観測データ位置の微小変化を表す関係式である。

計測位置姿勢決定部２３０は、この式に基づき、計測データの共分散行列Ｃｏｖ（ｅ）から誤差逆伝播の枠組みに基づき位置姿勢の共分散行列Ｃｏｖ（Δ）を算出する。計測データの共分散行列Ｃｏｖ（ｅ）は、距離計測偶然誤差をσ_{range j}とすると、以下の（式５）で表される。

計測位置姿勢決定部２３０が、計測データの共分散行列Ｃｏｖ（ｅ）、及び、各計測データに対応するヤコビ行列Ｊから、位置姿勢の共分散行列Ｃｏｖ（Δ）を計算すると、以下になる。

計測位置姿勢決定部２３０は、この式に基づき、計測位置姿勢候補と位置合わせ部２５０において統合したメッシュモデルとから、推定する位置姿勢パラメータの偶然誤差Ｃｏｖ（Δ）を算出することが可能である。より具体的に説明すると、計測位置姿勢決定部２３０は、計測位置姿勢候補の位置姿勢から観測可能、かつ、位置合わせに用いるメッシュモデルの表面点の数と、計測データの偶然誤差、即ち距離画像の偶然誤差とを（式６）に入力することで、算出できる。そして、計測位置姿勢決定部２３０は、位置姿勢の微小変化に対する計測モデル上３次元点の微小変化のヤコビアンＪｐに基づき、位置姿勢の共分散行列から、メッシュモデル上の３次元点座標の共分散行列を算出する。

計測位置姿勢決定部２３０は、メッシュモデル上３次元点全てに対し、上記３次元点座標の共分散行列を算出し、その最大固有値の二乗根（もっともばらつきが大きい方向の標準偏差）を、各点位置の偶然誤差として計算する。そして、計測位置姿勢決定部２３０は、各偶然誤差の最大値を、位置姿勢の偶然誤差として算出し、これを位置合わせ可能度Ｓｆとする。
位置合わせ可能度Ｓｆを推奨度として、推奨度の最も高い計測位置姿勢候補を次の計測位置姿勢とすることで、計測しても他の計測データと位置合わせができないためにモデル生成に使われない計測データを減らすことができる。その結果、計測にかかる時間と手間とを軽減することができる。

但し、推奨度は位置合わせ可能度Ｓｆのみに基づかなくても良い。計測位置姿勢決定部２３０は、上述の実施形態で述べた注目領域や未計測度も考慮しても良い。例えば、計測位置姿勢決定部２３０は、対象物体の位置姿勢推定に重要な幾何特徴をどれだけ含むかを示す注目度Ｓｐとして、計測位置姿勢候補から計測可能な注目領域の画像上での面積を用いる。更に、計測位置姿勢決定部２３０は、実施形態２で述べた未計測度、即ち局所領域内に投影させたメッシュモデルの未計測画素数Ｓｕも用いる。そして、計測位置姿勢決定部２３０は、推奨度として注目度Ｓｐと未計測度Ｓｕ、位置合わせ可能度Ｓｆの全て又は何れかの重み付き和から算出しても良い。また、推奨度は注目度Ｓｐと未計測度Ｓｕ、位置合わせ可能度Ｓｆの全て又は何れかの積であっても良い。注目度Ｓｐは座標系を統一した計測データの３次元点をボクセル空間に区切ったときの、計測位置姿勢候補の位置姿勢から観測可能な、ボクセル内の点群のバラツキや面当てはめ誤差であっても良いし、濃淡画像の幾何特徴の検出数であっても良い。未計測度Ｓｕは計測位置姿勢候補からみた画像上における未計測領域の面積や密度であっても良いし、計測位置姿勢候補の位置姿勢から観測可能な３次元点の密度やメッシュの連続面の面積であっても良い。位置合わせ可能度Ｓｆは計測位置姿勢候補の位置姿勢から観測可能な法線の異なる連続面の数であっても良いし、法線のばらつきであっても良い。対象物体の位置姿勢推定に重要な幾何特徴を計測範囲に多く含むほど、又は計測が不十分である領域を計測範囲に多く含むほど、推奨度が高くなるような評価値であれば良い。又は、その位置姿勢で計測した場合に取得する計測データが他の計測データと位置合わせがしやすいほど、推奨度が高くなるような評価値であっても良い。

実施形態４の情報処理によれば、計測しても他の計測データと位置合わせができないためにモデル生成に使われない計測データを減らすことができ、計測にかかる時間と手間とを軽減することができる。

＜実施形態５＞
上述した実施形態では情報処理装置は事前に計測位置のパスを設定していた。本実施形態では情報処理装置が計測位置のパスは設定せずに、又は設定してあっても逐次パスを変更する方法について述べる。
本実施形態の情報処理装置のハードウェア構成は実施形態１と同様である。また、本実施形態の情報処理装置のソフトウェア構成は実施形態２と同様であり、情報処理を示すフローチャートも図６に示すものである。
実施形態３や４ではＳ２０３０の計測位置姿勢決定の処理で、計測パス上で位置姿勢の候補をランダムに生成してその中から最適なものを選択していた。本実施形態では計測位置姿勢決定部２３０は、現在の位置姿勢の近傍からランダムに計測位置姿勢の候補を生成し、その中から実施形態４で述べた推奨度が最も高いものを選択する。本実施形態の情報処理装置はこの処理をＳ２０７０の計測終了判定処理で、未計測領域がなくなる、又は未計測領域の面積が閾値以下になるまで繰り返す。近傍の計測位置姿勢とは、例えば、現在の位置姿勢から所定範囲内の計測位置姿勢のことである。
これにより、計測のパスを事前に設定する手間を軽減でき、また対象物体の形状に合わせたパスで計測が可能となるため、計測にかかる手間と時間とを軽減できる。

また、計測位置姿勢候補の生成方法は上記の方法に限らず、対象物体を計測できる位置姿勢候補が生成できれば良い。位置姿勢の全てのパラメータを全てランダムに生成すると結果的にロボットアームをランダムに動かすことになってしまう。ロボットアームをランダムに動かすのは機構的にも電力的にも負荷が高いため、これを避けるためにランダム性に制約をつけても良い。計測パスが設定されているならば、計測位置姿勢決定部２３０は、そのパスを中心とした円錐状の範囲からランダムに位置をサンプリングすれば良い。また、パスが設定されていなくても、計測位置姿勢決定部２３０は、今までの計測位置を結んだスプライン曲線を中心とした円錐状の範囲からランダムに位置をサンプリングすれば良い。但し、計測位置姿勢決定部２３０は、姿勢を、ワークスペースの中心、又はその近傍の方向を向くようにする。また、計測位置姿勢決定部２３０は、計測装置にズーム機能があれば拡大率等もランダムに変更しても良い。
また、計測位置姿勢決定部２３０は、対象物体を中心としたジオデシックドームの頂点を計測位置候補としても良い。その場合、計測位置姿勢決定部２３０は、ドームの中心を向くように姿勢を設定する。更に、例えば、計測位置姿勢変更部２４０は、計測の終了判定処理（Ｓ２０７０）において、以下のように処理しても良い。即ち、計測位置姿勢変更部２４０は、ジオデシックドームのどの頂点から計測したとしても未計測領域が検出されない、又は未計測領域の面積が閾値以下になった場合に計測を終了し、Ｓ２０８０の処理に移行するようにしても良い。また、計測位置姿勢変更部２４０は、注目領域内の３次元点の密度等閾値以上であれば計測を終了し、Ｓ２０８０の処理に移行するようにしても良い。

実施形態５の情報処理によれば、計測のパスを事前に設定する手間を軽減でき、また対象物体の形状に合わせたパスで計測が可能となるため、計測にかかる手間と時間とを軽減できる。

＜実施形態６＞
上述した実施形態では情報処理装置は計測データや計測データを統合したメッシュモデルから対象物体の位置姿勢計測に重要な幾何特徴と相関のある特徴量を算出し、その特徴量を多く含む領域を注目領域として次の計測位置姿勢を算出していた。そして情報処理装置は注目領域を計測密度や計測回数等に基づいて十分計測したかどうかを判断していた。本実施形態では、情報処理装置が逐次位置合わせモデルを生成し、計測データから検出した対象物体の位置姿勢計測に用いる幾何特徴が位置合わせモデルに登録してあるかどうかを確認する。そして、情報処理装置が登録していなければ検出した幾何特徴を含む領域を注目領域とする方法について述べる。これにより、確実に計測漏れを減らすことができるため、再計測にかかる手間と時間とを軽減できる。
本実施形態の情報処理装置３のハードウェア構成は実施形態１と同様である。情報処理装置３のソフトウェア構成を図７に示す。情報処理装置３は、ソフトウェア構成として、計測データ取得部３１０、注目領域抽出部３２０、計測位置姿勢決定部３３０、計測位置姿勢変更部３４０、位置合わせ部３５０、モデル生成部３６０を含む。各構成は、それぞれ実施形態１の計測データ取得部１１０、注目領域抽出部１２０、計測位置姿勢決定部１３０、計測位置姿勢変更部１４０、位置合わせ部１５０、モデル生成部１６０とほぼ同様である。但し、注目領域抽出部３２０、計測位置姿勢決定部３３０が、モデル生成部３６０からの位置合わせモデルに基づいて処理を行うところが異なる。ロボットアーム３０３等も実施形態１と同様である。

図８に実施形態６の情報処理装置における情報処理のフローチャートを示す。事前に計測装置３０２やロボットアーム３０３等の校正や計測位置姿勢のパスの設定は済んでいるとする。Ｓ３０１０はＳ２０１０、Ｓ３０３０からＳ３０６０まではＳ２０３０からＳ２０６０まで、Ｓ３０７０はＳ２０８０と同様の処理であるので、Ｓ３０２０、Ｓ３０８０について説明する。
Ｓ３０２０では、注目領域抽出部３２０は、Ｓ３０７０で生成された位置合わせモデルに、対象物体の位置姿勢計測に用いる計測データから検出した幾何特徴が登録されているかをチェックする。より具体的に説明すると注目領域抽出部３２０は、以下のように処理を行う。対象物体の位置姿勢推定に用いる幾何特徴として濃淡画像の輪郭情報と距離画像の３次元点とを用いる場合を説明する。計測データはＳ３０６０で位置合わせ済みである。そのため、注目領域抽出部３２０は、濃淡画像のカメラ位置姿勢は既知である。よって、注目領域抽出部３２０は、位置合わせモデルに登録してある輪郭情報を濃淡画像に投影させる。並行して、注目領域抽出部３２０は、濃淡画像からエッジ検出を行う。濃淡画像から検出したエッジと投影させた輪郭情報とが重なる場合、つまり両者の対応間距離が閾値以下になる場合、その幾何特徴は位置合わせモデルに登録されているということである。それに対して検出したエッジに対応する幾何特徴が見つからなかった場合、その幾何特徴は位置合わせモデルにその幾何特徴は登録されていないということである（背景領域は除く）。そこで、注目領域抽出部３２０は、対応が見つからなかったエッジを含む領域を注目領域として設定する。距離画像の３次元点の場合も同様に、注目領域抽出部３２０は、計測データの距離画像と位置合わせモデルとを対応付け、対象物体領域の内で対応がとれなかった３次元点を含む領域を注目領域とする。Ｓ３０７０の終了判定では、計測位置姿勢変更部３４０は、全ての計測済みのデータに対して注目領域があるかどうかをチェックし、注目領域がなければ検出される幾何特徴が全て位置合わせモデルに登録されているので処理を終了する。なお、ループの最初で位置合わせモデルをまだ生成していない場合、情報処理装置３は、Ｓ３０２０の処理をスキップする。
これにより、位置合わせモデルに幾何特徴が登録されているかどうかを確認することで、計測漏れを減らすことができ、再計測の手間と時間とを軽減できる。

但し注目領域の算出方法は上記に限らず、注目領域抽出部３２０は、対象物体の位置姿勢推定に用いる計測データから検出した幾何特徴が位置合わせモデルに登録されているかに基づいて注目領域を決定すれば良い。対象物体の位置姿勢推定に用いる計測データが画像の局所特徴であれば、チェックする幾何特徴も画像の局所特徴である。また、注目領域抽出部３２０は、局所領域毎に位置合わせモデルに登録されていない幾何特徴の数が閾値以上である場合にその局所領域を注目領域として抽出しても良い。チェックする計測データも最も新しい計測データであっても良いし、全て、又は一部の計測データであっても良い。
また、Ｓ３０３０の計測位置姿勢決定処理において、実施形態４で述べたように計測位置姿勢候補の推奨度を算出する場合、計測位置姿勢決定部３３０は、以下のような評価値を算出しても良い。未計測度Ｓｕとして上述の注目領域の数や、位置合わせモデルに登録されていない幾何特徴の数や密度であっても良い。また、計測位置姿勢決定部２３０は、未計測度Ｓｕと位置合わせ可能度Ｓｆとのみの重み付き和や積を評価値としても良い。また、Ｓ３０７０の終了判定も、計測位置姿勢変更部３４０は、注目領域の数が閾値以下になった場合に終了するようにしても良いし、全ての計測済みデータではなく、一部の計測済みデータから判定しても良い。更に、情報処理装置３は、位置合わせ処理Ｓ３０６０やモデル生成処理Ｓ３０７０では計算速度の速い簡易的な計算を行い、終了判定後に時間をかけて高精度に計算し直しても良い。

実施形態６の情報処理によれば、計測漏れを減らすことができ、再計測の手間と時間とを軽減できる。

＜実施形態７＞
上述の実施形態ではロボットアーム等の位置決め機構により計測装置と対象物体との相対位置姿勢を変更していた。本実施形態ではユーザが計測装置又は対象物体を把持し、それらの相対位置姿勢を変更する場合を想定し、計測装置はほぼ一定間隔で計測データを取得するとする。このとき注目領域を密に取得するために、本実施形態の情報処理装置は、ユーザに位置姿勢変更をゆっくり行うように注意を促す。これにより、計測漏れや計測しても他の計測データと位置合わせができないためにモデル生成に使われない計測データを取得することを減らすことができ、計測にかかる時間と手間とを軽減することができる。
本実施形態の情報処理装置４のハードウェア構成は実施形態１と同様である。情報処理装置４のソフトウェア構成を図９に示す。情報処理装置４は、ソフトウェア構成として、計測データ取得部４１０、注目領域抽出部４２０、位置合わせ部４４０、モデル生成部４５０を含む。各部の処理は、上述した実施形態に示した対応する部の処理と同様である。また、情報処理装置４は、ソフトウェア構成として、更に、指示部４３０を含む。本実施形態では、ワークスペース４０４上に静止状態で設置した対象物体４０１を、ユーザ４０３が把持した計測装置４０２で、その位置姿勢を変更しながら多数回計測する。また計測装置４０２には表示装置４０５及び音声出力装置４０６が付加されており、指示部４３０は、ユーザ４０３に計測装置４０２をゆっくり動かすように注意を促す表示及び音声の双方又は何れか一方を出力する。ここでは表示装置４０５としてＬＥＤ、音声出力装置４０６としてスピーカーが付加されているとする。指示部４３０は、計測データに基づいて、密に計測したい場合にはユーザ４０３にゆっくり計測装置４０２を動かすようにＬＥＤを点灯又は点滅させ、スピーカーから警告音を発声させるように指示する。

図１０に実施形態７の情報処理装置における情報処理のフローチャートを示す。Ｓ４０１０、Ｓ４０２０は実施形態６のＳ３０１０、Ｓ３０２０と、Ｓ４０５０からＳ４０８０まではＳ３０５０からＳ３０８０までと同様である。
実施形態６と同様にＳ４０２０では、注目領域抽出部４２０は、生成された位置合わせモデルに、対象物体の位置姿勢計測に用いる計測データから検出した幾何特徴が登録されているかをチェックし、登録されていない領域を注目領域として抽出する。
Ｓ４０３０では、注目領域抽出部４２０は、注目領域の面積の総和を注目度Ｓｐとし、実施形態４で述べた未計測度Ｓｕと位置合わせ可能度Ｓｆとの重み付き和を推奨度として算出する。
そしてＳ４０４０で推奨度が閾値以上であればユーザ４０３にゆっくり計測装置４０２を動かすように注意を促すため、指示部４３０は、表示装置４０５を点灯させ、音声出力装置４０６から警告音を発生させる。ユーザ４０３はそれに従い、注目領域や未計測領域、位置合わせの精度が低くなりそうな領域を密に計測するようにゆっくり計測装置４０２を動かす。これにより、計測漏れや計測しても他の計測データと位置合わせができないためにモデル生成に使われない計測データを軽減でき、計測の手間と時間とを軽減できる。

本実施形態ではユーザ４０３が計測装置４０２を把持して計測した。しかし、ユーザ４０３は対象物体４０１を把持しても良いし、その両方を把持しても良い。また表示装置４０５と音声出力装置４０６とは計測装置４０２に付加していたが、何れか一方のみでも良いし、別途独立した表示装置や音声出力装置を用いても良い。例えば情報処理装置４に表示装置としてディスプレイ、音声出力装置としてスピーカーを接続して利用しても良い。表示装置に表示するものは文字でも画像でも光であっても良くユーザ４０３の注意を促せれば良い。音声出力装置から出力するのも、警告音であっても音楽であっても良く、ユーザ４０３の注意を促せれば良い。例えば、通常は一定間隔で音を発声させておき、注意を促す際にはその発声間隔を短くしたり長くしたりしても良い。
また推奨度は注目度Ｓｐ、未計測度Ｓｕ、位置合わせ可能度Ｓｆの何れかであっても良いし、それらの組み合わせの積や重み付き和であっても良い。注目度Ｓｐも位置合わせモデルから算出しなくとも、１フレーム前の計測データや位置合わせ済みの計測データ、メッシュモデルから算出しても良い。情報処理装置４は、注目領域と推奨度との算出方法に応じて、位置合わせ処理Ｓ４０６０とモデル生成処理Ｓ４０７０とは計測終了判定Ｓ４０８０の後で行っても良いし、これらの処理は行わずに計測データをＨＤＤ１７等の記憶装置に保存しても良い。

実施形態７の情報処理によれば、計測漏れや計測しても他の計測データと位置合わせができないためにモデル生成に使われない計測データを減らすことができ、計測の手間と時間とを軽減できる。

＜実施形態８＞
実施形態７では情報処理装置は表示装置や音声出力装置でユーザに指示を与えていた。本実施形態では情報処理装置は対象物体に注目領域の範囲を投影させることで、注目領域を密に計測することを促す。これにより計測漏れを減らすことができ、計測にかかる時間と手間とを軽減することができる。
本実施形態の情報処理装置のハードウェア構成は実施形態１と同様である。情報処理装置のソフトウェア構成は実施形態７と同様であり、情報処理のフローチャートも実施形態７と同様である。本実施形態の計測装置４０２は実施形態１で述べたように投影装置と撮像装置とで構成されている。そこで本実施形態では投影装置から注目領域の範囲を投影する。注目領域の算出方法等は実施形態７と同様である。
Ｓ４０４０において推奨度が閾値以上で合った場合、指示部４３０は、Ｓ４０２０で求めた注目領域の範囲を投影装置から投影させるよう指示を行う。注目領域は撮像装置で撮像された２次元画像上の領域であるが、投影装置と撮像装置とは距離計測のために校正済みで内部パラメータ（焦点距離や歪みパラメータ等）、外部パラメータ（投影装置と撮像装置の相対位置姿勢）は算出されている。そのため、指示部４３０は、撮像装置の画像上の範囲を投影装置の画像上の範囲に変換できる。注目領域が対象物体に投影されれば、ユーザはそれを見て注目領域周辺を、計測装置をゆっくり動かして密に計測する。
これにより、計測漏れを減らすことができ、計測にかかる時間と手間とを軽減することができる。
本実施形態の情報処理装置は、実施形態７で述べた表示装置や音声出力装置からの指示と併用しても良いし、しなくても良い。しない場合は表示装置４０５や音声出力装置４０６はシステム構成として不要である。また投影装置は計測装置を構成するものを使わなくても、別途計測装置に投影装置を取り付けても良いし、投影装置は計測装置でなくワークスペースに設置しても良い。

実施形態８の情報処理によれば、計測漏れを減らすことができ、再計測の手間と時間とを軽減できる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した情報処理装置のソフトウェア構成の一部又は全てをハードウェアとして情報処理装置に実装しても良い。また、上述したハードウェア構成は一例であって、情報処理装置は、複数のＣＰＵや通信Ｉ／Ｆ、表示装置、入力装置等を有していても良い。また、情報処理装置にロボットコントローラーの機能を含めるようにしても良い。
また、上述した実施形態を任意に組み合わせて実施しても良い。

以上、上述した各実施形態の処理によれば、対象物体の計測に係る時間と労力とを削減することができる。
また、計測の対象物体の位置姿勢を算出するための形状情報を生成することができる。これによりＣＡＤモデルが利用できない物体であっても位置姿勢計測が可能となるため、ロボットアームによるピッキング等の作業教示の負担が軽減される。

１ 情報処理装置
１０ 対象物体
１１ ＣＰＵ
１７ ＨＤＤ
２０ 計測装置

Claims (18)

1. 計測装置から対象物体の計測データを取得する取得手段と、
   前記取得手段により取得された１つ以上の計測データに基づいて、前記対象物体の位置姿勢推定に用いる幾何特徴を含む対象物体の部分領域を抽出する抽出手段と、
   前記抽出手段により抽出された前記部分領域を計測する前記計測装置の位置姿勢を決定する決定手段と、
   前記対象物体と前記計測装置との相対位置姿勢を前記決定手段で決定された位置姿勢を出力する出力手段と、
   を有する情報処理装置。
2. 前記対象物体と前記計測装置との相対位置姿勢を、前記出力手段によって出力される位置姿勢に変更する変更手段を更に有する請求項１記載の情報処理装置。
3. 前記取得手段により取得された２つ以上の計測データの位置合わせを行う位置合わせ手段と、
   前記位置合わせ手段により位置合わせされた計測データから前記対象物体の位置姿勢推定に用いる形状モデルを生成する生成手段と、
   を更に有する請求項１又は２記載の情報処理装置。
4. 前記抽出手段は、前記対象物体の位置姿勢推定に用いる幾何特徴と相関のある特徴量が、設定された値より大きい計測データの部分領域を抽出する請求項１乃至３何れか１項記載の情報処理装置。
5. 前記抽出手段は、前記計測データから検出する画像特徴に関する特徴量が、設定された値より大きい計測データの部分領域を抽出する請求項４記載の情報処理装置。
6. 前記抽出手段は、前記計測データの３次元点群のばらつきに関する特徴量が、設定された値より大きい計測データの部分領域を抽出する請求項４記載の情報処理装置。
7. 前記抽出手段は、幾何特徴を、１つ以上の計測データから作成した前記対象物体の位置姿勢推定に用いる形状モデルと対応付け、対応が見つからなかった幾何特徴を含む領域を抽出する請求項１乃至３何れか１項記載の情報処理装置。
8. 前記決定手段は、前記計測装置の複数の位置姿勢候補を生成し、前記取得手段により取得された１つ以上の計測データに応じて評価値を求め、評価値に応じて、前記複数の位置姿勢候補の中から前記計測装置の次に計測する位置姿勢を決定する請求項１乃至７何れか１項記載の情報処理装置。
9. 前記決定手段は、前記計測装置の複数の位置姿勢候補を生成し、前記抽出手段により抽出された部分領域に応じて評価値を求め、評価値に応じて、前記複数の位置姿勢候補の中から前記計測装置の次に計測する位置姿勢を決定する請求項１乃至７何れか１項記載の情報処理装置。
10. 前記決定手段は、前記取得手段により取得された１つ以上の計測データ、又は前記取得手段により取得された２つ以上の計測データから作成された前記対象物体の位置姿勢推定に用いる形状モデルに基づいて、観測可能な計測データと、計測済みデータと、の位置合わせのしやすさを表わす評価値を求め、評価値に応じて、前記複数の位置姿勢候補の中から前記計測装置の次に計測する位置姿勢を決定する請求項８記載の情報処理装置。
11. 計測装置から対象物体の計測データを取得する取得手段と、
    前記取得手段により取得された１つ以上の計測データに基づいて、前記対象物体の位置姿勢推定に用いる幾何特徴を含む対象物体の部分領域を抽出する抽出手段と、
    前記取得手段により取得された１つ以上の計測データに基づいて、表示装置及び音声出力装置の双方又は何れか一方に対して前記計測装置の位置姿勢の変更に係る指示を出力する指示手段と、
    を有する情報処理装置。
12. 前記取得手段により取得された２つ以上の計測データの位置合わせを行う位置合わせ手段と、
    前記位置合わせ手段により位置合わせされた計測データから前記対象物体の位置姿勢推定に用いる形状モデルを生成する生成手段と、
    を更に有する請求項１１記載の情報処理装置。
13. 前記指示手段は、前記表示装置及び前記音声出力装置の双方又は何れか一方に対して前記抽出手段により抽出された前記部分領域を計測するよう前記計測装置の位置姿勢の変更に係る指示を出力する請求項１１又は１２記載の情報処理装置。
14. 前記取得手段は、前記計測装置から対象物体の計測データとして距離画像を取得する請求項１乃至１３何れか１項記載の情報処理装置。
15. 前記取得手段は、前記計測装置から対象物体の計測データとして濃淡画像を取得する請求項１乃至１３何れか１項記載の情報処理装置。
16. 情報処理装置が実行する情報処理方法であって、
    計測装置から対象物体の計測データを取得する取得ステップと、
    前記取得ステップにより取得された１つ以上の計測データに基づいて、前記対象物体の位置姿勢推定に用いる幾何特徴を含む対象物体の部分領域を抽出する抽出ステップと、
    前記抽出ステップにより抽出された前記部分領域を計測する前記計測装置の位置姿勢を決定する決定ステップと、
    前記対象物体と前記計測装置との相対位置姿勢を前記決定ステップで決定された位置姿勢を出力する出力ステップと、
    を含む情報処理方法。
17. 情報処理装置が実行する情報処理方法であって、
    計測装置から対象物体の計測データを取得する取得ステップと、
    前記取得ステップにより取得された１つ以上の計測データに基づいて、前記対象物体の位置姿勢推定に用いる幾何特徴を含む対象物体の部分領域を抽出する抽出ステップと、
    前記取得ステップにより取得された１つ以上の計測データに基づいて、表示装置及び音声出力装置の双方又は何れか一方に対して前記計測装置の位置姿勢の変更に係る指示を出力する指示ステップと、
    を含む情報処理方法。
18. コンピュータを、請求項１乃至１５何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。

Images