JP2018194544A - 情報処理装置、情報処理方法、コンピュータプログラム - Google Patents

Abstract

【課題】 物体の三次元形状の計測をより高精度に行うための技術を提供すること。【解決手段】 三次元形状計測用のパターン光が投影されている物体の第１の画像の輝度ムラを補正するか否かを、第１の画像もしくはパターン光が投影されていない物体の第２の画像に基づいて判断する。補正する場合は第２の画像に基づいて第１の画像の輝度ムラを補正した補正画像を用いて、補正しないと場合には第１の画像を用いて、物体の三次元形状の計測を行う。【選択図】 図１

Description

本発明は、物体の三次元形状を計測するための技術に関するものである。

近年のロボット技術の発展とともに、形状が小さい工業部品の組立のように、これまで人間が行っていた複雑なタスクをロボットが代わりに行うようになりつつある。ロボットがこれらの部品を把持するためには、把持の対象となる部品の三次元形状を高精度に計測する必要がある。

計測対象とする物体の三次元形状を計測する手法の代表例として、撮像装置と投影装置とを組み合わせて用いるアクティブ型計測手法がある。アクティブ型計測手法では、投影装置から計測対象物に向けてパターン光を投光し、この計測対象物により反射された投影パターンの反射光を撮像装置の位置検出素子により受光する。そして、この位置検出素子で受光した撮像パターンの位置情報と撮像装置と投影装置の相対位置姿勢に基づいて、三角測量の原理で計測対象物までの距離を測定することができる。

従来、この種の三次元形状測定装置においては、計測対象物表面の反射率分布のばらつきや光源の照度分布の偏り等によってパターン画像の輝度にムラが生じてしまい、計測精度が低下してしまう、といった問題があった。この問題に対して特許文献１では、計測対象物表面の全面にパターン光の光源と同一照度分布の光を照射する全照射部により光を全照射して撮像して得られる全照射時の部品の濃淡画像を用いてパターン画像の輝度ムラを補正し、三次元計測精度向上を図っている。

特開平３−２８９５０５号公報

しかし、部品表面の輝度ムラが小さい場合や部品の表面反射率が低くパターンの反射輝度が低くなってしまう場合は、輝度ムラ補正方法によって補正すると却って計測精度が低下してしまう。本発明はこのような問題に鑑みてなされたものであり、物体の三次元形状の計測をより高精度に行うための技術を提供する。

本発明の一様態は、三次元形状計測用のパターン光が投影されている物体の第１の画像の輝度ムラを補正するか否かを、前記第１の画像もしくは前記パターン光が投影されていない前記物体の第２の画像に基づいて判断する判断手段と、前記判断手段により補正すると判断した場合には前記第２の画像に基づいて前記第１の画像の輝度ムラを補正した補正画像を用いて、前記判断手段により補正しないと判断した場合には前記第１の画像を用いて、前記物体の三次元形状の計測を行う計測手段とを備えることを特徴とする。

本発明の構成によれば、物体の三次元形状の計測をより高精度に行うことができる。

三次元形状計測システムの機能構成例を示すブロック図。 計測用パターン光に係る説明図。 三次元形状計測の全体処理に係るフローチャート。 ステップＳ１３００における処理の詳細を示すフローチャート。 三次元形状計測システムの機能構成例を示すブロック図。 三次元形状計測の全体処理に係るフローチャート。 ステップＳ２５００における処理の詳細を示すフローチャート。 ステップＳ２５００における処理の詳細を示すフローチャート。 ステップＳ２５００における処理の詳細を示すフローチャート。 ＧＵＩの構成例を示す図。 コンピュータ装置のハードウェア構成例を示すブロック図。 三次元形状計測システムの機能構成例を示すブロック図。 三次元形状計測の全体処理に係るフローチャート。 ステップＳ５３００における処理の詳細を示すフローチャート。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、単一の計測対象物に三次元形状計測用のパターン光と補正用画像取得用の均一な照明光とを投影し、該パターン光が投影された計測対象物の撮像画像内の輝度のばらつきに基づき輝度ムラ補正モードのＯＮ／ＯＦＦを切り替える構成を説明する。パターン光が投影された計測対象物の撮像画像の輝度ムラの大きさを示す指標として、本実施形態では該撮像画像における輝度のばらつきを評価し、輝度のばらつきが不均一な状態のときにのみ輝度ムラ補正モードをＯＮにする。具体的には、輝度のばらつきが大きい場合は輝度ムラ補正モードをＯＮにし、逆に輝度のばらつきが小さい場合は輝度ムラ補正モードをＯＦＦにする。このようにすることで、パターン光が投影された計測対象物の撮像画像における輝度ムラが小さい場合には、該撮像画像に対する補正をしないようになるため、高精度に三次元計測ができるようになる。

先ず、本実施形態に係る三次元形状計測システムの機能構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係る三次元形状計測システムは、撮像装置３０、投影装置２０、情報処理装置１、を有する。

先ず、投影装置２０について説明する。投影装置２０は、本実施形態においては、第１波長の光からなる計測用パターン光と、第１波長とは異なる第２波長の光からなる均一の照明光と、を計測対象物１０に対して投影するものである。計測用パターン光は、計測対象物１０の三次元形状を計測するために該計測対象物１０に投影するパターン光であり、上記の「三次元形状計測用のパターン光」に対応する。また、均一な照明光は、計測用パターン光が投影された計測対象物１０の撮像画像を補正するために用いる該計測対象物１０の撮像画像を得るために該計測対象物１０に照射する光で、上記の「補正用画像取得用の均一な照明光」に対応する。

第１光源２１ａ及び第２光源２１ｂはそれぞれ異なる波長の光を射出する。本実施形態では、第１光源２１ａは第１波長の光を射出し、第２光源２１ｂは第２波長の光を射出する。照明光学系２２ａは、第１光源２１ａからの第１波長の光でパターンマスク２３を均一に照明する光学系であり、照明光学系２２ｂは、第２光源２１ｂからの第２波長の光で均一に照明する光学系である。照明光学系２２ａ及び照明光学系２２ｂは、例えば、ケーラー照明となるように構成されている。パターンマスク２３は、例えば、ガラス基板をクロムメッキすることによって、計測対象物１０に投影する計測用パターン光に対応する透過部が形成されている。ダイクロイックプリズム２４は、照明光学系２２ａからのパターンマスク２３の透過光と照明光学系２２ｂからの均一の照明光とを合成する光学素子である。投影光学系２５は、ダイクロイックプリズム２４で合成した光を計測対象物１０に結像する光学系であって、パターンマスク２３を透過した第１波長の計測用パターン光と第２の波長の均一の照明光とを計測対象物１０に投影する。このような構成により、ほぼ同一の位置から計測対象物１０に対して計測用パターン光と均一の照明光とを同時に投影することが可能となる。均一な照明光は、計測対象物１０の全面に均一の照度分布の光として投影される。

投影装置２０が投影する計測用パターン光が表すパターン（計測用パターン）は、例えば図２（ａ）に示す如くマルチラインパターンであり、各ラインの方向は投影装置２０と撮像装置３０との間の基線方向に対して概垂直方向である。

次に、撮像装置３０について説明する。撮像装置３０は、計測対象物１０に投影された計測用パターン光と均一の照明光とを波長により分離して同時刻に撮像し、それぞれ同一視点のパターン画像４０および補正用画像５０として取得する。パターン画像４０は、計測用パターン光が投影された計測対象物１０の撮像画像（均一な照明光は含まない）であり、補正用画像５０は、均一な照明光が投影された計測対象物１０の撮像画像（計測用パターン光は含まない）である。

撮像光学系３１は、計測対象物１０に投影された計測用パターン光を第１画像センサ３３ａに結像し、計測対象物１０に投影された均一な照明光を第２画像センサ３３ｂに結像するための光学系である。ダイクロイックプリズム３２は、計測対象物１０に投影された計測用パターン光と均一の照明光とを分離する光学素子である。第１画像センサ３３ａは、ダイクロイックプリズム３２によって分離された計測用パターン光を撮像してパターン画像４０を生成する撮像素子である。第２画像センサ３３ｂは、ダイクロイックプリズム３２によって分離された均一な照明光を撮像して補正用画像５０を生成する撮像素子である。第１画像センサ３３ａ及び第２画像センサ３３ｂは、例えば、ＣＭＯＳセンサやＣＣＤセンサなどで構成されている。生成する画像の方式は、グレイスケールやカラーなど、反射光の像が得られるものであれば如何なる方式であっても構わない。そして第１画像センサ３３ａ及び第２画像センサ３３ｂはそれぞれ、生成したパターン画像４０及び補正用画像５０を情報処理装置１に対して送出する。

なお、予め投影装置２０および撮像装置３０の焦点距離や主点位置、レンズ歪みパラメータなどの内部パラメータおよび装置間の相対位置姿勢は、例えば、以下に示す文献に記載の方法によって事前にキャリブレーションしておく。

Ｒ． Ｙ． Ｔｓａｉ， "Ａ ｖｅｒｓａｔｉｌｅ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｈｉｇｈ−ａｃｃｕｒａｃｙ ３Ｄ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ ｍｅｔｒｏｌｏｇｙ ｕｓｉｎｇ ｏｆｆ−ｔｈｅ−ｓｈｅｌｆ ＴＶ ｃａｍｅｒａｓ ａｎｄ ｌｅｎｓｅｓ， " ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， ｖｏｌ．ＲＡ−３， ｎｏ．４， １９８７．
ここでいうところの投影装置２０と撮像装置３０との間の相対位置姿勢は、オイラー角で示された回転成分（α、β、γ）と並進成分（ｘ、ｙ、ｚ）で表される６自由度のパラメータである。

次に、情報処理装置１について説明する。画像取得部１００は、第１画像センサ３３ａから送出されたパターン画像４０を取得する。画像取得部１１０は、第２画像センサ３３ｂから送出された補正用画像５０を取得する。図２（ｂ）に示す如く、パターン画像４０中の計測対象物１０上に計測用パターン光の反射光が観測される。設定部１２０は、パターン画像４０における輝度のぱらつきに基づいて、輝度ムラ補正モードをＯＮ若しくはＯＦＦに切り替える。ここで、「パターン画像４０における輝度のぱらつき」は、パターン画像４０におけるピーク輝度の分散値で評価する。具体的には、まず輝度ムラ補正モードのＯＮ／ＯＦＦを切り替える基準の「輝度のばらつき」を予め情報処理装置１に登録しておく。そして、計測対象物１０の三次元形状計測時では、パターン画像４０から計測用パターン光を抽出し、該抽出した計測用パターン光のピーク輝度の分散値を算出する。そして、該算出したピーク輝度の分散値が上記の登録済みの基準以上の場合は、輝度ムラ補正モードをＯＮにし、小さい場合は、輝度ムラ補正モードをＯＦＦにする。

補正部１３０は、輝度ムラ補正モードがＯＮの場合には、画像取得部１００が取得したパターン画像４０の輝度ムラを画像取得部１１０が取得した補正用画像５０を用いて補正し、該補正後のパターン画像４０を距離計算用画像６０として出力する。一方、輝度ムラ補正モードがＯＦＦの場合、補正部１３０は、画像取得部１００が取得したパターン画像４０の輝度ムラは補正せずに、該パターン画像４０を距離計算用画像６０として出力する。

距離算出部１４０は、補正部１３０から出力された距離計算用画像６０を用いて光切断法によって計測対象物１０の三次元形状を求める。計測用パターン光が投影された物体の撮像画像を用いて光切断法により該物体の三次元形状を計測する技術については周知であるため、これに係る説明は省略する。

次に、情報処理装置１が計測対象物１０の三次元形状計測を行うために行う全体処理について、図３のフローチャートに従って説明する。ステップＳ１０００では、設定部１２０は、輝度ムラ補正モードを切り替える基準となる輝度のばらつきとして、基準分散値を情報処理装置１に登録する。

ステップＳ１１００では、画像取得部１００は、第１画像センサ３３ａから送出されたパターン画像４０を取得する。ステップＳ１２００では、画像取得部１１０は、第２画像センサ３３ｂから送出された補正用画像５０を取得する。

ステップＳ１３００では、設定部１２０は、ステップＳ１１００で取得したパターン画像４０におけるピーク輝度の分散値と、ステップＳ１０００において情報処理装置１に登録した基準分散値と、の大小比較を行う。そして設定部１２０は、該大小比較の結果に応じて、輝度ムラ補正モードをＯＮ若しくはＯＦＦに切り替える（選択する）。ステップＳ１３００における処理の詳細については、図４を用いて後述する。

ステップＳ１４００では、補正部１３０は、輝度ムラ補正モードがＯＮの場合には、以下の式１に従ってパターン画像４０の輝度ムラを補正用画像５０を用いて補正し、該補正後のパターン画像４０（補正画像）を距離計算用画像６０として出力する。

ここで（u, v）は画像中の画素位置を表している。また、Ipat（u, v）、Igray（u, v）、Idiv（u, v）はそれぞれ、画素位置（u, v）におけるパターン画像４０の輝度値、補正用画像５０の輝度値、輝度ムラ補正後のパターン画像４０の輝度値を表している。式１では、分母が０になるケースを回避するため、Igray（u, v）に１を加算している。

一方、輝度ムラ補正モードがＯＦＦの場合、補正部１３０は、ステップＳ１１００で取得したパターン画像４０の輝度ムラは補正せずに、該パターン画像４０を距離計算用画像６０として出力する。

ステップＳ１５００では、距離算出部１４０は、ステップＳ１４００において補正部１３０から出力された距離計算用画像６０を用いて光切断法によって計測対象物１０の三次元形状を求める。

次に、上記のステップＳ１３００における処理に詳細について、図４のフローチャートに従って説明する。ステップＳ１３０１では、設定部１２０は、パターン画像４０内に含まれる計測用パターン（パターン群）のピーク座標を求める。計測用パターンのピーク座標を算出する方法として、本実施形態では、パターン画像４０において計測対象物１０に投影された計測用パターンのうち輝度が極値となる画像座標をピーク座標として検出する方法を採用する。この画像座標を検出する方法としては、例えば、以下の文献に記載のＢＲ２ Ｄｅｔｅｃｔｏｒを用いる。

Ｄ．Ｋ．Ｎａｉｄｕ，Ｒ．Ｂ．Ｆｉｓｈｅｒ，“Ａ Ｃｏｍｐａｒａｔｉｖｅ Ａｎａｌｙｓｉｓ ｏｆ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ ｔｈｅ Ｐｅａｋ Ｐｏｓｉｔｉｏｎ ｏｆ ａ Ｓｔｒｉｐｅ ｔｏ Ｓｕｂ−ｐｉｘｅｌ Ａｃｃｕｒａｃｙ”， Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆ １９９１，ｐｐ．２１７−２２５，１９９１
ステップＳ１３０２では、設定部１２０は、ステップＳ１３０１で求めたピーク座標における輝度のばらつきとして、該輝度の分散値Ｖを求める。ステップＳ１３０３では、設定部１２０は、ステップＳ１３０２で求めた分散値Ｖと、ステップＳ１０００において情報処理装置１に登録した基準分散値との大小比較を行う。この大小比較の結果、分散値Ｖ≧基準分散値（規定の分散以上）の場合には、設定部１２０は、輝度ムラ補正モードをＯＮに設定し、分散値Ｖ＜基準分散値の場合には、設定部１２０は、輝度ムラ補正モードをＯＦＦに設定する。

このように、本実施形態によれば、パターン画像４０の輝度ムラが小さい場合にはパターン画像４０を補正しないようにすることができるため、高精度に三次元計測ができるようになる。

なお、本実施形態における投影装置２０は、波長の異なる計測用パターン光と均一な照明光とを同時に投影し、撮像装置３０で同時にかつ同一視点のパターン画像４０と補正用画像５０とを取得するものであった。しかし、パターン画像４０及び補正用画像５０の取得方法は、このような取得方法に限らない。例えば液晶プロジェクタなど照明パターンを切り替える投影装置を用いることで、同一の波長の計測用パターン光を投影したときと均一な照明光を投影したときとそれぞれ１回ずつ撮像し、同一視点のパターン画像４０および補正用画像５０を取得してもよい。また補正用画像５０は必ずしも投影装置２０を用いて計測対象物１０に均一な照明光を投影したときの撮像画像である必要はない。例えば、計測用パターン光を投影せず、撮影時の周囲の環境光で照明されたときの計測対象物１０の撮像画像を補正用画像５０としてもよい。

また、計測用パターンとして本実施形態ではラインパターンを挙げたが、計測用パターンはラインパターンに限るものではない。例えば、上記の実施形態を、空間コード化法や位相シフト法、ランダムドットパターンなど、明暗の光パターンを投影して計測対象物の三次元形状を計測する手法に適応しても構わない。

また、本実施形態では、パターン画像４０からパターンピーク輝度のばらつきを算出し、該ばらつきに応じて輝度ムラ補正モードのＯＮ／ＯＦＦを切り替えていた。しかし、パターン画像４０におけるパターンピーク輝度のばらつきの代わりに補正用画像５０における輝度のばらつきを用いて輝度ムラ補正モードをＯＮにするのかＯＦＦにするのかを判断しても良い。

また、本実施形態では、上記の式１に従って、パターン画像４０を補正用画像５０を用いて補正していたが、パターン画像４０の補正方法は上記の式１に従った方法に限らない。例えば、投影装置２０によって、補正用画像として計測用パターン光と同一の波長の均一な照明光を当てた時の全照射画像と照明を当てないときに撮影して得られる無照射画像を取得し、特許文献１に記載の方法により輝度ムラを補正してもよい。

また、パターン画像４０は、三次元計測用のパターンが計測対象物に投影された対象像が得られる画像であれば、どのような形式の画像であっても良く、例えば、グレー画像であっても良いし、カラー画像であっても良い。また、パターン画像４０及び補正用画像５０は、撮像装置３０からリアルタイムで取得することに限らず、予め撮像して記憶装置に保存しておいた画像であっても良い。

＜第１の実施形態の変形例１＞
第１の実施形態では、パターン画像４０における輝度のばらつきに基づいて輝度ムラ補正モードのＯＮ／ＯＦＦを切り替えていた。しかし、計測時の背景輝度によって輝度ムラは大きく変化する。例えば、計測時の環境光の明るさによっては画像中の背景輝度が高くなってしまい、輝度のばらつきでは正しく評価されず精度が低下してしまう場合がある。そこで本変形例では、パターン画像４０から計測用パターン光の輝度コントラストを算出し、該算出した輝度コントラストに基づいて輝度ムラ補正モードのＯＮ／ＯＦＦを切り替える。本変形例を含め、以下に説明する変形例や実施形態では、第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。

本変形例では、設定部１２０は、パターン画像４０における計測用パターン光の輝度コントラストのばらつきに基づいて、輝度ムラ補正モードのＯＮ／ＯＦＦを切り替える。本変形例では、輝度コントラストとして、計測用パターン光の輝度勾配を用いる。まず、設定部１２０は、輝度ムラ補正モードのＯＮ／ＯＦＦを切り替える基準となる輝度勾配のばらつきを予め、基準分散値として情報処理装置１に登録しておく。そして計測時には設定部１２０は、パターン画像４０におけるピーク座標（パターン画像４０において計測対象物１０に投影された計測用パターンのうち輝度が極値となる画像座標）における輝度の傾斜値すなわち輝度勾配をラインごとに抽出する。そして設定部１２０は、ラインごとの輝度勾配の分散値Ｖを算出する。そして設定部１２０は、分散値Ｖと、情報処理装置１に登録した基準分散値（輝度勾配のばらつき）と、の大小比較を行う。この大小比較の結果、分散値Ｖ≧基準分散値の場合には、設定部１２０は、輝度ムラ補正モードをＯＮに設定し、分散値Ｖ＜基準分散値の場合には、設定部１２０は、輝度ムラ補正モードをＯＦＦに設定する。

なお、輝度コントラストの算出方法は上記の方法に限らない。例えば、計測用パターンの極小の輝度値Ｃ１と極大の輝度値Ｃ２をパターンの垂直方向に走査して特定し、（Ｃ２−Ｃ１）を輝度コントラストとして算出してもよい。あるいは事前にパターンを投影しないときの背景画像を撮影しておき、パターンピーク位置におけるパターン輝度と背景輝度との差を輝度コントラストとして用いてもよい。いずれにしても、背景輝度とパターンピーク位置におけるパターン輝度との差を表すものであれば如何なる指標を輝度コントラストとして用いてもよい。このような変形例によれば、計測時の環境光の明るさによらずに輝度ムラを正しく評価することができるため、高精度な三次元計測が可能となる。

＜第１の実施形態の変形例２＞
第１の実施形態及びその変形例１では、パターン画像４０全体の輝度や輝度コントラストのばらつきを一様に評価して輝度ムラ補正モードを設定する方法について説明した。しかし、ロボットによるピッキングにおいては、バラ積み・山積み状態で置かれている計測対象物を撮像・計測する場合がある。この場合、計測対象物は異なる姿勢で設置されている。そのため、第１の実施形態及びその変形例１のように画像全体の輝度又は輝度コントラストのばらつきに応じて輝度ムラ補正モードのＯＮ／ＯＦＦを決定してしまうと、計測対象物によっては計測精度が低下してしまう。そこで第１の実施形態の変形例２では、パターン画像４０内の計測対象物１０の領域毎にパターン反射光の輝度のばらつきに基づいて輝度ムラ補正モードのＯＮ／ＯＦＦを切り替えることで、領域ごとに輝度ムラ補正を行う／行わないを切り替える方法を説明する。

設定部１２０は、パターン画像４０における計測対象物１０の領域におけるピーク輝度の分散値Ｖを第１の実施形態と同様にして求め、該求めた分散値Ｖと、ステップＳ１０００において情報処理装置１に登録した基準分散値との大小比較を行う。この大小比較の結果、分散値Ｖ≧基準分散値の場合、設定部１２０は、パターン画像４０における計測対象物１０の領域に含まれる画像座標に対しては輝度ムラ補正モード＝ＯＮを設定する。一方、分散値Ｖ＜基準分散値の場合、設定部１２０は、パターン画像４０における計測対象物１０の領域に含まれる画像座標に対しては輝度ムラ補正モード＝ＯＦＦを設定する。なお、パターン画像４０において計測対象物１０の領域外の画像座標に対しては輝度ムラ補正モード＝ＯＦＦを設定する。そして設定部１２０は、各画像座標について設定した輝度ムラ補正モードを登録したテーブルを作成する。

なお、パターン画像４０における計測対象物１０の領域の取得方法は、特定の取得方法に限らない。例えば、設定部１２０が補正用画像５０から計測対象物１０を認識することで補正用画像５０における計測対象物１０の領域を取得する。補正用画像５０における計測対象物１０の領域の取得については、例えば以下の文献に記載の方法でもって実施することができる。

Ｃ． Ｒｏｔｈｅｒ， Ｖ． Ｋｏｌｍｏｇｏｒｏｖ， Ａ． Ｂｌａｋｅ，““ＧｒａｂＣｕｔ” − Ｉｎｔｅｒａｃｔｉｖｅ Ｆｏｒｅｇｒｏｕｎｄ Ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ Ｉｔｅｒａｔｅｄ Ｇｒａｐｈ Ｃｕｔｓ”，ＡＣＭ Ｔｒａｎｓ. Ｇｒａｐｈ．，２３，３，ｐｐ．３０９−３１４（２００４）
また、補正用画像５０における計測対象物１０の領域は、補正用画像５０を情報処理装置１の表示画面上に表示し、ユーザが補正用画像５０上で指定した領域を、補正用画像５０における計測対象物１０の領域として取得するようにしても良い。補正用画像５０における計測対象物１０の領域の位置はパターン画像４０における計測対象物１０の領域の位置と同位置であるため、これらの処理により、パターン画像４０における計測対象物１０の領域の位置を特定することができる。

なお、設定部１２０は、パターン画像４０に複数の計測対象物１０が含まれている場合には、それぞれの計測対象物１０の領域について輝度ムラ補正モードを上記のようにして設定する。

そして補正部１３０は、上記のテーブルを参照して、パターン画像４０における画素ごとに、該画素に対する輝度ムラ補正モードがＯＮであるのかＯＦＦであるのかを特定する。そして補正部１３０は、輝度ムラ補正モード＝ＯＮの画素については、上記の式１に従って輝度ムラ補正し、輝度ムラ補正モード＝ＯＦＦの画素については何も処理を施さない。

以上説明した本変形例によれば、例えば、バラ積み・山積み状態の部品を含むパターン画像４０であっても画像領域ごとに適切に輝度ムラ補正を行う／行わないを切り替えることができるため、部品の姿勢によらず安定的に三次元計測ができるようになる。

［第２の実施形態］
計測対象物が多数の面を有する場合、それぞれの面の方向に応じてパターンの反射輝度が異なる。計測対象物を撮像するカメラの撮像面（センサ面）に対して面が傾いている場合は反射輝度が低下するため、このような面に対して輝度ムラ補正を行うとカメラノイズが強調されてしまい、かえって計測精度が低下してしまう。そこで本実施形態では、計測対象物の表面の法線方向を取得し、パターン画像４０において該表面に対する輝度ムラ補正モードのＯＮ／ＯＦＦを該法線方向に基づいて切り替える方法について説明する。本実施形態では、計測対象物の表面の法線方向を、該計測対象物の形状を模した三次元形状モデルから取得する。

本実施形態に係る三次元形状計測システムの機能構成例について、図５のブロック図を用いて説明する。本実施形態に係る三次元形状計測システムは、図１の三次元形状計測システムにおける情報処理装置１の代わりに情報処理装置２を用いたものとなっている。情報処理装置２は、情報処理装置１に入力部２５０及び設定部２６０を加えたものである。

入力部２５０は、計測対象物１０の形状を模したモデルである三次元形状モデルを入力する。三次元形状モデルは、三次元形状モデルを構成する各面の該三次元形状モデル上における局所的な情報である局所面特徴と、三次元形状モデルを構成する各辺の該三次元形状モデル上における局所的な情報である局所線特徴と、を含む。

局所面特徴とは、三次元形状モデルを構成する面の法線ベクトルの（三次元形状モデルのローカル座標系における）始点の三次元位置と三次元方向成分とを有する三次元平面情報であり、三次元形状モデルの面ごとに存在する。ここで、三次元形状モデルのローカル座標系とは、例えば三次元形状モデルにおける１点を原点とし、該原点で直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系である。局所線特徴とは、三次元形状モデルを構成する辺の三次元位置（辺の一端若しくは両端の三次元位置）と三次元方向成分とを有する三次元線情報であり、三次元形状モデルの辺ごとに存在する。なお、以下の説明において、単に幾何特徴と称した場合は、局所面特徴と局所線特徴の両方を指すものとする。

設定部２６０は、パターン画像４０中に写っている計測対象物１０の位置姿勢を設定する。設定する位置姿勢はオイラー角で示された回転成分（α、β、γ）と並進成分（ｘ、ｙ、ｚ）とで表せられる６自由度のパラメータである。設定部２６０は、例えば、ユーザがキーボードやマウスなどの操作部を用いてユーザインタフェースを操作することで入力した位置姿勢を、パターン画像４０中に写っている計測対象物１０の位置姿勢として設定しても良い。例えば、情報処理装置２の表示画面上にパターン画像４０に重ねて三次元形状モデルを表示する。ユーザは操作部を用いてＧＵＩ（グラフィカルユーザインターフェース）を操作することで、表示画面上における計測対象物１０の位置姿勢と一致するように三次元形状モデルを移動させたり回転させたりする。そしてユーザが、表示画面上で三次元形状モデルの位置姿勢が計測対象物１０の位置姿勢と一致したと判断したことに応じて、操作部を操作して決定指示を入力する。該入力に応じて設定部２６０は、この時点における三次元形状モデルの位置姿勢を、パターン画像４０中に写っている計測対象物１０の位置姿勢として設定する。

そして設定部１２０は、上記設定した位置姿勢で配置した三次元形状モデルをパターン画像４０上に投影する。そして設定部１２０は、パターン画像４０上に投影した三次元形状モデルの面のうち輝度ムラ補正モード＝ＯＮ／ＯＦＦとする面を、該面の法線方向及び撮像装置３０のセンサ面の方向（例えば撮像装置３０の撮像方向ベクトル）に基づいて決定する。

そして設定部１２０はパターン画像４０において輝度ムラ補正モード＝ＯＮとする面に属する画素に対しては輝度ムラ補正モード＝ＯＮ、輝度ムラ補正モード＝ＯＮとする面に属さない画素であれば輝度ムラ補正モード＝ＯＦＦ、を登録したテーブルを作成する。

そして補正部１３０は、設定部１２０が作成したテーブルを参照して、パターン画像４０における画素ごとに、該画素に対する輝度ムラ補正モードがＯＮであるのかＯＦＦであるのかを特定する。そして補正部１３０は、パターン画像４０において輝度ムラ補正モード＝ＯＮの画素については、上記の式１に従って輝度ムラ補正し、輝度ムラ補正モード＝ＯＦＦの画素については何も処理を施さないようにすることで距離計算用画像６０を生成する。

次に、情報処理装置２が計測対象物１０の三次元形状計測を行うために行う全体処理について、図６のフローチャートに従って説明する。ステップＳ２０００では、設定部１２０は、テーブルを初期化（全ての画素に対する輝度ムラ補正モードをＯＦＦにする）すると共に、輝度ムラ補正モードを切り替える基準となる「法線の一致度」を情報処理装置２に登録する。「法線の一致度」については後述する。

ステップＳ２１００では、画像取得部１００は、第１画像センサ３３ａから送出されたパターン画像４０を取得する。ステップＳ２２００では、画像取得部１１０は、第２画像センサ３３ｂから送出された補正用画像５０を取得する。ステップＳ２３００では、入力部２５０は、計測対象物１０の形状を模したモデルである三次元形状モデルを入力する。

ステップＳ２４００では、設定部２６０は、パターン画像４０中に写っている計測対象物１０の位置姿勢を設定する。ステップＳ２５００では、設定部１２０は、ステップＳ２４００で設定した位置姿勢で配置した三次元形状モデルをパターン画像４０上に投影する。そして設定部１２０は、パターン画像４０上に投影した三次元形状モデルの面の法線ベクトルと、撮像装置３０のセンサ面の方向ベクトルと、の一致度と、ステップＳ２０００で登録した「法線の一致度」と、の大小関係に応じて、上記のテーブルを作成する。ステップＳ２５００における処理の詳細については、図７を用いて後述する。

ステップＳ２６００で補正部１３０は、設定部１２０が作成したテーブルを参照し、パターン画像４０において輝度ムラ補正モード＝ＯＮの画素については上記の式１に従って輝度ムラ補正し、輝度ムラ補正モード＝ＯＦＦの画素については何も処理を施さない。ステップＳ２７００では、距離算出部１４０は、上記のステップＳ１５００と同様にして、計測対象物１０の三次元形状を求める。

次に、上記のステップＳ２５００における処理の詳細について、図７のフローチャートを用いて説明する。ステップＳ２５０１では、設定部１２０は、三次元形状モデルの各面の局所面特徴のうち未選択の局所面特徴を１つ、選択局所面特徴として選択する。

ステップＳ２５０２で設定部１２０は、ステップＳ２５０１で選択した選択局所面特徴が含む三次元位置（Ｘｍ，Ｙｍ，Ｚｍ）及び三次元方向成分（Ｎｘｍ，Ｎｙｍ，Ｎｚｍ）を、設定部２６０で設定した位置（Ｔｃｍ）及び姿勢（Ｒｃｍ）に基づいて変換する。この変換は、以下の式に従って行われる。

ここでＴｃｍは３×１の列ベクトルで表し、Ｒｃｍは３×３の回転行列で表される。また（Ｘ′ｍ，Ｙ′ｍ，Ｚ′ｍ）及び（Ｎ′ｘｍ，Ｎ′ｙｍ，Ｎ′ｚｍ）はそれぞれ、変換後の三次元位置および三次元方向成分を表す。法線ベクトルのノルムは１で正規化する。このような変換により、選択局所面特徴に対応する面の法線ベクトルの位置及び姿勢を取得することができる。

ステップＳ２５０３で設定部１２０は、選択局所面特徴に対応する面（対応する局所線特徴によって規定される辺で囲まれた面）を、予めキャリブレーションされた撮像装置３０の位置姿勢に基づいて変換することで、パターン画像４０上に投影する。

ステップＳ２５０４では、設定部１２０は、ステップＳ２５０２における変換で取得した法線ベクトルと、撮像装置３０のセンサ面の方向ベクトル（０，０，１）と、の一致度を示すＮ′ｚｍを求める。２つのベクトルの一致度を求める方法は特定の方法に限らない。例えば、２つのベクトルの差分を一致度としても良いし、２つのベクトルが成す角度を一致度としても良い。そして設定部１２０は、一致度がステップＳ２０００で登録した「法線の一致度」よりも大きい場合には、輝度ムラ補正モードをＯＮにする。一方、設定部１２０は、一致度がステップＳ２０００で登録した「法線の一致度」以下の場合には、輝度ムラ補正モードをＯＦＦにする。

ステップＳ２５０５で設定部１２０は、ステップＳ２５０３でパターン画像４０上に投影した面に属する画素についてステップＳ２５０４で決定した輝度ムラ補正モードをテーブルに登録する。

ステップＳ２５０６では、設定部１２０は、三次元形状モデルの全ての面の局所面特徴を選択局所面特徴として選択したか否かを判断する。この判断の結果、三次元形状モデルの全ての面の局所面特徴を選択局所面特徴として選択した場合には、処理はステップＳ２６００に進む。一方、三次元形状モデルの各面の局所面特徴のうち未選択の局所面特徴が残っている場合には、処理はステップＳ２５０１に戻る。

なお、本実施形態では、入力部２５０は、ユーザがＧＵＩを操作することで入力した三次元形状モデルの位置姿勢を取得していたが、三次元形状モデルの位置姿勢は他の方法でもって取得するようにしても良い。例えば、以下の文献に記載の方法により、補正用画像５０上のエッジ、パターン画像４０を直接距離算出部１４０に入力することにより得られる距離点群データ、三次元形状モデルの局所線特徴及び局所面特徴を用いて、計測対象物１０の位置姿勢を求めてもよい。

立野，小竹，内山，“実部品のビンピッキングのための距離・濃淡画像を最尤に統合する高精度高安定なモデルフィッティング手法”，画像の認識・理解シンポジウム−ＭＩＲＵ２０１０，ＯＳ５−１（２０１０）．７
また濃淡画像上のエッジと距離点群データどちらか一方でのみで照合して位置姿勢を算出してもよい。また別の部品認識装置や慣性センサなどにより、計測対象物１０の位置姿勢を示すパラメータを入力してもよい。入力方式としては、６自由度の位置姿勢のパラメータを与えることができれば良い。

また、三次元形状モデルの各面の法線ベクトルの方向成分は、計測対象物１０の各面の法線ベクトルの方向成分の一例であり、計測対象物１０の各面の法線ベクトルの方向成分を表すデータであれば、他の方法でもって取得したデータであっても良い。例えば、パターン画像４０を補正せずに距離算出部１４０に入力することで得られる計測対象物１０の三次元点群データからメッシュを推定し、その垂線を法線として取得してもよい。また撮像装置３０から取得した画像からではなく、別の三次元計測装置を用いて計測対象物１０の法線を推定した結果を用いてもよい。また三次元点群データからではなく、照度差ステレオ法などによって計測対象物１０の法線を推定する方法を用いてもよい。いずれにしても計測対象物１０表面の法線方向を推定する方法であれば何でもよい。

また、本実施形態では、パターン画像４０における画素ごとに輝度ムラ補正モードを設定していたが、輝度ムラ補正モードを設定する単位は画素単位に限らない。例えば、計測対象物１０を構成する面の数が少ない場合は、計測対象物１０全体に対して１つの輝度ムラ補正モードを設定してもよい。例えば三次元形状モデルの各面の法線ベクトルから代表的な法線ベクトルである代表法線ベクトルを特定し、該代表法線ベクトルの向きと撮像装置３０のセンサ面の向きとの一致度に対応する輝度ムラ補正モードを設定しても良い。代表法線ベクトルは、例えば、三次元形状モデルの各面の法線ベクトルから成分ごとの中央値若しくは平均値を特定し、該特定した中央値若しくは平均値を代表法線ベクトルの該成分として決定しても良い。いずれにしても、三次元形状モデルの面の向きとセンサ面の向きとの一致度に基づいて輝度ムラ補正モードが設定できれば何でもよい。このように、第２の実施形態によれば、計測対象物の計測面が撮像の向きに対して傾いてパターンの反射輝度が低下する場合は補正しないようにするため、高精度に三次元計測が可能となる。

＜第２の実施形態の変形例１＞
第２の実施形態では、計測対象物の面の法線の向きに基づいて輝度ムラ補正モードのＯＮ／ＯＦＦを決定していた。しかし、実際には面の材質によって反射の配光特性が異なるため、これを考慮して輝度ムラ補正モードを決定する必要がある。そこで本実施形態では、第２の実施形態で述べた面の法線の向きに加えて面の反射率を考慮して反射輝度を推定し、輝度ムラ補正モードをＯＮ／ＯＦＦを切り替える方法について説明する。以下では、第２の実施形態との差分について説明する。

本実施形態では、三次元形状モデルは、三次元形状モデルの各面の反射率特性を示す情報を含む。具体的には、本変形例における反射強度はＴｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗの反射モデルを用いて推定されるため、拡散反射成分の色、鏡面反射成分の色、面の表面粗さ、をパラメータとして予め情報処理装置２に登録しておく。

設定部１２０は、設定部２６０が設定した位置姿勢で配置した三次元形状モデルをパターン画像４０上に投影する。そして設定部１２０は、パターン画像４０上に投影した三次元形状モデルの面の法線の向き、該面の反射率、投影装置２０から投影されるパターン光の光源の向き、撮像装置３０におけるセンサ面の向き、に基づいて、該面におけるパターン光の輝度を決定する。そして設定部１２０は、該面の輝度ムラ補正モードを、該決定した輝度に基づいて設定する。

本変形例では、ステップＳ２０００及びステップＳ２５００における処理が第２の実施形態と異なる。ステップＳ２０００では設定部１２０は次のような処理を行う。即ち、設定部１２０は、テーブルを初期化（全ての画素に対する輝度ムラ補正モードをＯＦＦにする）すると共に、輝度ムラ補正モードを切り替える基準となる「反射強度の範囲」を情報処理装置２に登録する。「反射強度の範囲」については後述する。

ステップＳ２５００では、設定部１２０は、図８のフローチャートに従った処理を行う。ステップＳ２５１１では、設定部１２０は、三次元形状モデルの各面の局所面特徴のうち未選択の局所面特徴を１つ、選択局所面特徴として選択する。

ステップＳ２５１２では設定部１２０は、ステップＳ２５１１で選択した選択局所面特徴が含む三次元位置（Ｘｍ，Ｙｍ，Ｚｍ）及び三次元方向成分（Ｎｘｍ，Ｎｙｍ，Ｎｚｍ）を、上記のステップＳ２５０２と同様にして変換する。

ステップＳ２５１３で設定部１２０は、選択局所面特徴に対応する面（対応する局所線特徴によって規定される辺で囲まれた面）を、予めキャリブレーションされた撮像装置３０の位置姿勢に基づいて変換することで、パターン画像４０上に投影する。

ステップＳ２５１４では、設定部１２０は、選択局所面特徴に対応する面について以下の式４に従った計算を行うことで、該面からの反射光強度（反射光の色信号の強度を表すＲＧＢ値）Ｉを求める。

本変形例においてはＴｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗの反射モデルを用いて推定する。θｉは、パターン光の光源の向きとステップＳ２５１２で求めた法線ベクトルの向きとがなす角である。θｒは、撮像装置３０のセンサ面の向きとステップＳ２５１２で求めた法線ベクトルの向きとがなす角、αはパターン光の光源の向きと撮像装置３０のセンサ面の向きとの２分線とステップＳ２５１２で求めた法線ベクトルの向きとがなす角である。Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗの２色性反射モデルでは、選択局所面特徴に対応する面からの反射光強度は、上記の式４で表される。

上記の式４の右辺第１項が拡散反射成分、第２項が鏡面反射成分を表している。式４においてＫｄ＝（Ｋｄｒ，Ｋｄｇ，Ｋｄｂ）は拡散反射成分のＲＧＢの強度、Ｋｓ＝（Ｋｓｒ，Ｋｓｇ，Ｋｓｂ）は鏡面反射成分のＲＧＢの強度を表しており、σは計測対象物１０の表面上の粗さ（微小面の傾きの標準偏差）を表している。

そして設定部１２０は、式４に基づいて求めた反射光強度ＩがステップＳ２０００で登録した「反射強度の範囲」内であれば、選択局所面特徴に対する輝度ムラ補正モードをＯＮにする。一方、設定部１２０は、式４に基づいて求めた反射光強度ＩがステップＳ２０００で登録した「反射強度の範囲」外であれば、選択局所面特徴に対する輝度ムラ補正モードをＯＦＦにする。

ステップＳ２５１５で設定部１２０は、ステップＳ２５１３でパターン画像４０上に投影した面に属する画素についてステップＳ２５１４で決定した輝度ムラ補正モードをテーブルに登録する。

ステップＳ２５１６では、設定部１２０は、三次元形状モデルの全ての面の局所面特徴を選択局所面特徴として選択したか否かを判断する。この判断の結果、三次元形状モデルの全ての面の局所面特徴を選択局所面特徴として選択した場合には、処理はステップＳ２６００に進む。一方、三次元形状モデルの各面の局所面特徴のうち未選択の局所面特徴が残っている場合には、処理はステップＳ２５１１に戻る。

なお、本変形例では、反射強度をＴｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗの反射モデルを用いて推定していたが、反射強度の推定方法は特定の推定方法に限らない。例えば、Ｐｈｏｎｇの反射モデルやＬａｍｂｅｒｔの拡散反射モデルなど他の反射モデルを用いて反射輝度を推定してもよい。いずれにしても局所面特徴に対応する面における反射強度を推定できる方法であれば何でもよい。

また、本変形例では、パターン画像４０における画素ごとに輝度ムラ補正モードを設定していたが、輝度ムラ補正モードを設定する単位は画素単位に限らない。例えば、計測対象物１０を構成する面の数が少ない場合は、第１の実施形態において述べたように、計測対象物１０全体に対して１つの輝度ムラ補正モードを設定してもよい。例えば三次元形状モデルの各面の反射輝度から代表的な反射輝度である代表反射輝度を特定し、該代表反射輝度がステップＳ２０００で登録した範囲内であるか否かに応じて輝度ムラ補正モードを設定しても良い。代表反射輝度は、例えば、三次元形状モデルの各面の反射輝度の中央値若しくは平均値を用いる。いずれにしても局所面特徴に対応する面における反射強度を推定できる方法であれば何でもよい。このように、本変形例によれば、計測対象物の面の反射輝度が小さい場合は補正しないようにするため、高精度に三次元計測が可能となる。

＜第２の実施形態の変形例２＞
以下では、第２の実施形態との差分について説明する。第２の実施形態及びその変形例１では、計測対象物の三次元形状モデルを用いて、面の法線の向きに加えて反射強度をも参酌して輝度ムラ補正モードのＯＮ／ＯＦＦを切り替える方法について説明した。しかし輝度ムラは、計測対象物の同一面内で素材の色や反射率が異なるために反射輝度が不均一になることが原因で発生する。輝度ムラ補正モードのＯＮ／ＯＦＦの切り替えは単に反射輝度の大きさではだけではなく、反射輝度の不均一性も考慮して決める方が好ましい。そこで本変形例では、計測対象物の素材パラメータ分布を更に参酌して輝度ムラ補正モードのＯＮ／ＯＦＦを決定する方法について説明する。

本変形例では三次元形状モデルの各面の局所面特徴は、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗの反射モデルに関わる拡散反射成分の色（３成分）、鏡面反射成分の色（３成分）、面の表面粗さ（１成分）、計７つの値（成分）を保持する素材パラメータを複数含む。

本変形例では、ステップＳ２０００及びステップＳ２５００における処理が第２の実施形態と異なる。ステップＳ２０００では設定部１２０は次のような処理を行う。即ち、設定部１２０は、テーブルを初期化（全ての画素に対する輝度ムラ補正モードをＯＦＦにする）すると共に、輝度ムラ補正モードを切り替える基準となる「各成分のばらつきの大きさ」を情報処理装置２に登録する。「各成分のばらつきの大きさ」については後述する。

ステップＳ２５００では、設定部１２０は、図９のフローチャートに従った処理を行う。ステップＳ２５２１では、設定部１２０は、三次元形状モデルの各面の局所面特徴のうち未選択の局所面特徴を１つ、選択局所面特徴として選択する。

ステップＳ２５２２では設定部１２０は、ステップＳ２５２１で選択した選択局所面特徴が含む三次元位置（Ｘｍ，Ｙｍ，Ｚｍ）及び三次元方向成分（Ｎｘｍ，Ｎｙｍ，Ｎｚｍ）を、上記のステップＳ２５０２と同様にして変換する。

ステップＳ２５２３で設定部１２０は、選択局所面特徴に対応する面（対応する局所線特徴によって規定される辺で囲まれた面）を、予めキャリブレーションされた撮像装置３０の位置姿勢に基づいて変換することで、パターン画像４０上に投影する。

ステップＳ２５２４では、設定部１２０は、選択局所面特徴に含まれているそれぞれの素材パラメータにおいて同種の成分ごとに、該成分のばらつきが該成分に対応する上記基準を超えているか否かを判断する。そして設定部１２０は、ばらつきが上記の基準を超えている成分が１つ以上存在する場合には、選択局所面特徴に対する輝度ムラ補正モードをＯＮにする。一方、設定部１２０は、ばらつきが上記の基準を超えている成分が１つもない場合には、選択局所面特徴に対する輝度ムラ補正モードをＯＦＦにする。

ステップＳ２５２５で設定部１２０は、ステップＳ２５２３でパターン画像４０上に投影した面に属する画素についてステップＳ２５２４で決定した輝度ムラ補正モードをテーブルに登録する。

ステップＳ２５２６では、設定部１２０は、三次元形状モデルの全ての面の局所面特徴を選択局所面特徴として選択したか否かを判断する。この判断の結果、三次元形状モデルの全ての面の局所面特徴を選択局所面特徴として選択した場合には、処理はステップＳ２６００に進む。一方、三次元形状モデルの各面の局所面特徴のうち未選択の局所面特徴が残っている場合には、処理はステップＳ２５２１に戻る。

なお本変形例では、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗの反射モデルに関わるパラメータを素材パラメータとして扱っていたが、これに限るものではない。例えばＰｈｏｎｇの反射モデルに関わる光沢度合いを表すパラメータを用いるなど、反射強度に関わるパラメータであれば何でもよい。また第２の実施形態の変形例１のように反射強度まで算出してそのばらつきをもって決定してもよい。また全ての成分を用いなくても、少なくとも１つの成分のばらつきに基づいて輝度ムラ補正モードのＯＮ／ＯＦＦを決定してもよい。いずれにしても面内で反射率の異なる複数種の素材が組み合わさっている場合に、該面における反射率に係る複数の特性のそれぞれのばらつきに基づいて該面に対する輝度ムラ補正モードのＯＮ／ＯＦＦを決定することができればよい。

また、本変形例では、素材パラメータは局所面特徴が含むものとしたが、これに限らない。例えば、同一視点から撮像したカラー画像を用いて、局所面特徴に対応する面をカラー画像に投影した先の座標から色情報を取得してもよい。またユーザが視認しながら素材パラメータを与えてもよい。いずれにしても計測対象物１０表面の素材情報を与えさえすれば何でもよい。本変形例によれば、計測対象物の素材が均一であるときは輝度ムラ補正をしないようにできるため、高精度に三次元計測が可能となる。

［第３の実施形態］
本実施形態では、上記の実施形態や変形例において使用した様々な基準を設定するためのＧＵＩ（グラフィカルユーザインターフェース）について説明する。基準設定用のＧＵＩの一例について、図１０を用いて説明する。図１０のＧＵＩは、情報処理装置１（２）が有する不図示の表示画面に表示しても良いし、情報処理装置１（２）とは別個の装置の表示画面に表示しても良い。

ユーザがキーボードやマウス等の操作部を操作して画像入力ボタン１００６を指示すると、表示画面にはパターン画像４０の候補が一覧表示される。そして、ユーザが操作部を操作してこの一覧から１つを指定すると、該指定した画像が領域１００１内に表示される。

領域１００４内には「輝度のばらつき」について、領域１００１内でユーザが指定した範囲１００３内の「輝度のばらつき」が「９」（左側）であること、「輝度のばらつき」の基準（閾値）として「８」（右側）が設定されていることが表示されている。また、領域１００４内には、「表面荒さ」について、領域１００１内でユーザが指定した範囲１００３内の「表面荒さ」が「１６」（左側）であること、「表面荒さ」の基準（閾値）として「１０」（右側）が設定されていること、が表示されている。これらの閾値は、ユーザが操作部を操作することで適宜変更することができる。閾値の変更方法については特定の変更方法に限らない。例えば、それぞれの閾値に対してスライダバーを設け、ユーザが操作部を操作して該スライダバーを左右に操作することで対応する閾値を増減させて設定しても良い。また、各閾値に対してテキストボックスを設け、ユーザが操作部を操作して該テキストボックスに直接数値を入力することで対応する閾値を設定しても良い。

ユーザが操作部を操作して開始ボタン１００７を指示すると、領域１００４内で設定した基準の値に基づいて上記の実施形態や変形例の何れかの方法でもって、領域１００１内に表示されているパターン画像４０から距離計算用画像６０が生成される。生成された距離計算用画像６０は領域１００２内に補正後画像として表示される。ユーザは、領域１００１内に表示されている画像と領域１００２内に表示されている画像とを見比べながら、領域１００４内で設定した基準の値を調整することができる。

なお、領域１００１内に表示された画像において輝度ムラ補正を行う範囲を、ユーザが操作部を用いて領域１００１内で指定した範囲１００３内としても良い。この場合、開始ボタン１００７が指示されると、領域１００１内に表示された画像のうち範囲１００３内の部分画像のみが上記の実施形態や変形例における処理の対象となる。そして、領域１００１内の画像のうち範囲１００３の外側の部分画像についてはそのまま領域１００２内に表示され、範囲１００３内の部分画像については上記の実施形態や変形例を適用した結果が領域１００２内に表示される。なお、何れの装置において基準設定を行っても、設定した基準は情報処理装置１（２）に登録されることになる。

［第４の実施形態］
図１，５に示した情報処理装置１，２の各機能部はハードウェアで実装しても良いが、ソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このコンピュータプログラムを実行可能なコンピュータ装置は、情報処理装置１，２に適用することができる。情報処理装置１，２に適用可能なコンピュータ装置のハードウェア構成例について、図１１のブロック図を用いて説明する。

ＣＰＵ１１０１は、ＲＡＭ１１０２やＲＯＭ１１０３に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ１１０１は、コンピュータ装置全体の動作制御を行うと共に、情報処理装置１，２が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ１１０２は、ＲＯＭ１１０３や外部記憶装置１１０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１１０７を介して外部から受信したデータ、を格納するためのエリアを有する。更にＲＡＭ１１０２は、ＣＰＵ１１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１１０２は、各種のエリアを適宜提供することができる。ＲＯＭ１１０３には、書換不要の本コンピュータ装置の設定データやコンピュータプログラムが格納されている。

操作部１１０４は、キーボードやマウスなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ１１０１に対して入力することができる。

表示部１１０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１１０１による処理結果を画像や文字などでもって表示することができる。例えば、表示部１１０５には、図１０に例示した上記のＧＵＩを表示することができる。また、操作部１１０４と表示部１１０５とを一体化させてタッチパネル画面を構成しても良い。

外部記憶装置１１０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１１０６には、ＯＳ（オペレーティングシステム）や、情報処理装置１，２が行うものとして上述した各処理をＣＰＵ１１０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。該コンピュータプログラムには、上記の画像取得部１００，１１０、設定部１２０、補正部１３０、距離算出部１４０、設定部２６０、入力部２５０の機能をＣＰＵ１１０１に実現させる為のコンピュータプログラムが含まれている。また、外部記憶装置１１０６に保存されているデータには、上記の基準など、上記の説明において既知の情報として取り扱ったものが含まれている。外部記憶装置１１０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１１０１による制御に従って適宜ＲＡＭ１１０２にロードされ、ＣＰＵ１１０１による処理対象となる。

Ｉ／Ｆ１１０７は、本コンピュータ装置が外部の装置とのデータ通信を行うためのインターフェースとして機能するものであり、例えば、本コンピュータ装置は、Ｉ／Ｆ１１０７を介して撮像装置３０からのパターン画像４０及び補正用画像５０を取得する。ＣＰＵ１１０１、ＲＡＭ１１０２、ＲＯＭ１１０３、操作部１１０４、表示部１１０５、外部記憶装置１１０６、Ｉ／Ｆ１１０７は何れもバス１１０８に接続されている。

［第５の実施形態］
本実施形態では、単一の計測対象物に三次元形状計測用のパターン光と補正用画像取得用の均一な照明光とを投影し、該パターン光が投影された計測対象物の撮像画像内の輝度のばらつきに基づき輝度ムラ補正の度合いを変化させる構成を説明する。パターン光が投影された計測対象物の撮像画像の輝度ムラの大きさを示す指標として、本実施形態では該撮像画像における輝度のばらつきを評価し、輝度のばらつきが大きいほど輝度ムラ補正の度合いを大きくする。具体的には、輝度のばらつきが大きい場合は輝度ムラ補正の度合いを大きくし、逆に輝度のばらつきが小さい場合は輝度ムラ補正の度合いを小さくする。このようにすることで、パターン光が投影された計測対象物の撮像画像における輝度ムラが小さい場合には、該撮像画像に対する補正度合いが小さくなるようにするため、高精度に三次元計測ができるようになる。

本実施形態に係る三次元形状計測システムの機能構成例について、図１２のブロック図を用いて説明する。本実施形態に係る三次元形状計測システムは、図１の三次元形状計測システムにおける情報処理装置１の代わりに情報処理装置５を用いたものとなっている。情報処理装置５は、情報処理装置１の設定部１２０を設定部５２０に、補正部１３０を補正部５３０に変えたものである。なお、本実施形態において第１の実施形態で使用した参照番号と同じ参照番号を付した構成の機能は第１の実施形態で説明した機能と同じ機能を有するものとして説明を省略する。

設定部５２０は、パターン画像４０における輝度のばらつきに基づいて、輝度ムラ補正の度合いＷを設定する。ここで、「パターン画像４０における輝度のばらつき」は、パターン画像４０におけるピーク輝度の分散値で評価する。具体的には、計測対象物１０の三次元形状計測時では、パターン画像４０から計測用パターン光を抽出し、該抽出した計測用パターン光のピーク輝度の分散値を算出する。そして、該算出したピーク輝度の分散値に応じて輝度ムラ補正の度合いＷを設定する。輝度ムラ補正の度合いＷを設定するための分散値の最大値と最小値はあらかじめ情報処理装置５に登録しておく。

補正部５３０は、設定部５２０で設定した輝度ムラ補正の度合いＷに応じて、画像取得部１００が取得したパターン画像４０の輝度ムラを画像取得部１１０が取得した補正用画像５０を用いて補正し、該補正後のパターン画像４０を距離計算用画像として出力する。

次に、情報処理装置５が計測対象物１０の三次元形状計測を行うために行う全体処理について、図１３のフローチャートに従って説明する。なお、本実施形態において第１の実施形態で使用した参照番号と同じ参照番号を付したステップでは第１の実施形態で説明した処理と同じ処理を行うものとして説明を省略する。

ステップＳ５０００では、設定部５２０は、輝度ムラ補正の度合いＷを決めるための分散値の最大値と最小値を情報処理装置５に登録する。

ステップＳ５３００では、設定部５２０は、ステップＳ１１００で取得したパターン画像４０におけるピーク輝度の分散値に基づき輝度ムラ補正の度合いＷを設定する。ステップＳ５３００における処理の詳細については、図１４を用いて説明する。

ステップＳ５３０３では、設定部５２０は、ステップＳ１３０２で求めた分散値Ｖと、ステップＳ５０００において予め情報処理装置５に登録した分散値の最大値と最小値とから輝度ムラ補正の度合いＷを、以下の式５に従って設定する。

ここでＷは輝度ムラ補正の度合いであり、小さいほど輝度ムラ補正の度合いが小さく、大きいほど輝度ムラ補正の度合いは大きくなる。ＶはステップＳ１３０２で求める分散値であり、小さいほど輝度ムラが小さく、大きいほど輝度ムラが大きい。Ｖｍａｘ、ＶｍｉｎはステップＳ５０００において情報処理装置５に登録した分散値の最大値と最小値である。Ｖｍａｘ、Ｖｍｉｎは、予めユーザが設定しても良い。あるいは、Ｖｍａｘ、Ｖｍｉｎは、計測対象物１０（あるいは計測対象物１０と同じ素材の基準物体）と投影装置２０と撮像装置３０とを用いて、予め物体に投影したパターン光を撮像した画像から求めておいても良い。またＷは、計測対象物１０（あるいは計測対象物１０と同じ素材の基準物体）と投影装置２０と撮像装置３０とを用いて、予め物体に投影したパターン光を撮像した画像からテーブル化して設定しておいても良い。いずれにしても、分散値すなわち輝度ムラが小さい場合は輝度ムラ補正の度合いＷが小さくなるようにして、分散値すなわち輝度ムラが大きい場合は輝度ムラ補正の度合いＷが大きくなるようにする。

ステップＳ５４００では、補正部５３０は、輝度ムラの補正度合いＷに応じて、以下の式６に従ってパターン画像４０の輝度ムラを補正用画像５０を用いて補正し、該補正後のパターン画像４０（補正画像）を距離計算用画像として出力する。

ここで（u, v）は画像中の画素位置を表している。また、Ipat（u, v）、Idiv（u, v）、Irev（u, v）はそれぞれ、画素位置（u, v）におけるパターン画像４０の輝度値、第１の実施形態で輝度ムラ補正ＯＮの場合の補正後のパターン画像４０の輝度値（式１）、本実施形態での輝度ムラ補正後のパターン画像４０の輝度値、を表している。

また、本実施形態では、パターン画像４０からパターンピーク輝度のばらつきを算出し、該ばらつきに応じて輝度ムラの補正度合いを変化させて設定していた。しかし、パターン画像４０におけるパターンピーク輝度のばらつきの代わりに補正用画像５０における輝度のばらつきを用いて輝度ムラの補正度合いを設定しても良い。

また、本実施形態では、Ｗが十分に０に近い（予め定めた閾値より小さい）、あるいは十分に１に近い（予め定めた閾値より大きい）場合は、それぞれＷを０あるいは１としても良い。

また、本実施形態では、分散値すなわち輝度ムラが小さい場合はＷが小さくなるようにして、分散値すなわち輝度ムラが大きい場合はＷが大きくなるようにしていた。しかし、分散値すなわち輝度ムラが小さい場合は輝度ムラ補正の度合いが小さくなるようにして、分散値すなわち輝度ムラが大きい場合は輝度ムラ補正の度合いが大きくなるようにするのであれば、Ｗの変化が逆になっても良いことは言うまでもない。

このようにすることで、パターン光が投影された計測対象物の撮像画像における輝度ムラが小さい場合には、該撮像画像に対する補正度合いが小さくなるようにするため、高精度に三次元計測ができるようになる。

なお、図１２に示した情報処理装置５の各機能部はハードウェアで実装しても良いが、ソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このコンピュータプログラムを実行可能なコンピュータ装置は、情報処理装置５に適用することができる。第４の実施形態では、図１１のコンピュータ装置が情報処理装置１，２に適用可能であることを説明したが、情報処理装置５にも同様に適用可能である。

また、以上説明した実施形態や変形例は、その一部若しくは全部を適宜組み合わせて使用しても構わないし、選択的に使用しても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：画像取得部 １１０：画像取得部 １２０：設定部 １３０：補正部 １４０：距離算出部

Claims (12)

1. 三次元形状計測用のパターン光が投影されている物体の第１の画像の輝度ムラを補正するか否かを、前記第１の画像もしくは前記パターン光が投影されていない前記物体の第２の画像に基づいて判断する判断手段と、
   前記判断手段により補正すると判断した場合には前記第２の画像に基づいて前記第１の画像の輝度ムラを補正した補正画像を用いて、前記判断手段により補正しないと判断した場合には前記第１の画像を用いて、前記物体の三次元形状の計測を行う計測手段と
   を備えることを特徴とする情報処理装置。
2. 前記判断手段は、前記第１の画像もしくは前記第２の画像において極値となる輝度の分散が規定の分散以上の場合には、前記第１の画像の輝度ムラを補正すると判断することを特徴とする請求項１に記載の情報処理装置。
3. 前記判断手段は、前記第１の画像における輝度のコントラストの分散が規定の分散よりも大きい場合には、前記第１の画像の輝度ムラを補正すると判断することを特徴とする請求項１に記載の情報処理装置。
4. 前記判断手段は、前記第１の画像中の前記物体の領域において極値となる輝度の分散が規定の分散以上の場合には、該領域の輝度ムラを補正すると判断し、
   前記計測手段は、前記判断手段により補正すると判断した場合には、前記第２の画像に基づいて前記領域の輝度ムラを補正する
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記判断手段は、前記第１の画像内における前記物体の面の向きに応じて前記第１の画像における該面の輝度ムラを補正するか否かを判断し、
   前記計測手段は、前記判断手段により補正すると判断した場合には、前記第２の画像に基づいて前記面の輝度ムラを補正する
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記判断手段は、前記第１の画像内における前記物体の面の向きと該面の反射強度とに応じて該面の輝度ムラを補正するか否かを判断し、
   前記計測手段は、前記判断手段により補正すると判断した場合には、前記第２の画像に基づいて前記面の輝度ムラを補正する
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記判断手段は、前記第１の画像内における前記物体の面の特性に応じて該面の輝度ムラを補正するか否かを判断し、
   前記計測手段は、前記判断手段により補正すると判断した場合には、前記第２の画像に基づいて前記面の輝度ムラを補正する
   ことを特徴とする請求項１に記載の情報処理装置。
8. 前記第２の画像は、均一な照明光が照射された前記物体の画像であることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記第２の画像は、環境光で照明された前記物体の画像であることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
10. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の判断手段が、三次元形状計測用のパターン光が投影されている物体の第１の画像の輝度ムラを補正するか否かを、前記第１の画像もしくは前記パターン光が投影されていない前記物体の第２の画像に基づいて判断する判断工程と、
    前記情報処理装置の計測手段が、前記判断工程で補正すると判断した場合には前記第２の画像に基づいて前記第１の画像の輝度ムラを補正した補正画像を用いて、前記判断工程で補正しないと判断した場合には前記第１の画像を用いて、前記物体の三次元形状の計測を行う計測工程と
    を備えることを特徴とする情報処理方法。
11. コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
12. 三次元形状計測用のパターン光が投影されている物体の第１の画像の輝度ムラを補正する度合いを、前記第１の画像もしくは前記パターン光が投影されていない前記物体の第２の画像に基づいて設定する設定手段と、
    前記設定手段により設定した、輝度ムラを補正する度合いと、前記第２の画像と、に基づいて前記第１の画像の輝度ムラを補正した補正画像を用いて、前記物体の三次元形状の計測を行う計測手段と
    を備えることを特徴とする情報処理装置。