JP2022070696A - 三次元形状計測方法および三次元形状計測装置 - Google Patents

Abstract

【課題】対象物に模様や汚れ等がある場合でも、対象物の三次元形状を高い計測精度で計測可能な三次元形状計測方法および三次元形状計測装置を提供すること。【解決手段】第１偏光による格子パターン、および、前記第１偏光に対して偏光面が直交している第２偏光による全面パターンを、対象物に投影するステップと、前記対象物に投影されている前記格子パターンおよび前記全面パターンを、カメラで撮像し、前記第１偏光による第１撮像画像および前記第２偏光による第２撮像画像を得るステップと、前記第２撮像画像に基づいて、前記第１撮像画像の輝度値を補正するステップと、補正後の前記第１撮像画像について、前記格子パターンの位相解析を行い、前記対象物の高さ情報を算出するステップと、を有することを特徴とする三次元形状計測方法。【選択図】図６

Description

本発明は、三次元形状計測方法および三次元形状計測装置に関するものである。

物体の三次元表面形状を計測する方法として、光学的手法を用いた格子投影法が知られている。

特許文献１には、物体面の格子像をカメラにより撮影して得られた撮影像により、物体面の位置を計測する計測方法が開示されている。この計測方法は、格子像の格子の１周期がＮ画素に合わせられた状態で、カメラにより撮影した撮影像を入力する工程と、入力した撮影像の連続する複数画素を抽出する工程と、抽出した複数画素の画像からＮ画素を１周期とする周波数成分の位相を求める工程と、位相により物体面の位置を求める工程と、を有している。なお、Ｎは、２より大きい整数である。

この計測方法では、格子像１周期分の画像データから格子像の位相を解析することによって、物体面の三次元表面形状を計測する。格子像１周期分の画像データから位相を解析する方法を、特に「１ピッチ位相解析法（ＯＰＰＡ法）」という。１ピッチ位相解析法によれば、１枚の撮影像から位相分布を高速に解析することができる。

国際公開第２０１６／００１９８５号明細書

特許文献１に記載の計測方法では、前述したように、格子像１周期分の画像データから位相を解析するため、各画素における輝度値の信頼性が計測結果に影響を及ぼす。しかしながら、計測対象の物体面に模様や汚れ等がある場合、光の反射率が変化し、撮像画像における輝度値も変化する。そうすると、輝度値から求められる位相も変化し、計測結果の精度が低下するという課題が生じる。

本発明の適用例に係る三次元形状計測方法は、
第１偏光による格子パターン、および、前記第１偏光に対して偏光面が直交している第２偏光による全面パターンを、対象物に投影するステップと、
前記対象物に投影されている前記格子パターンおよび前記全面パターンを、カメラで撮像し、前記第１偏光による第１撮像画像および前記第２偏光による第２撮像画像を得るステップと、
前記第２撮像画像に基づいて、前記第１撮像画像の輝度値を補正するステップと、
補正後の前記第１撮像画像について、前記格子パターンの位相解析を行い、前記対象物の高さ情報を算出するステップと、
を有することを特徴とする。

本発明の適用例に係る三次元形状計測装置は、
第１偏光による格子パターンを射出する第１発光部と、前記第１偏光に対して偏光面が直交している第２偏光による全面パターンを射出する第２発光部と、を備え、前記格子パターンおよび前記全面パターンを対象物に投影するプロジェクターと、
前記第１偏光と前記第２偏光とを分離する偏光分離部を備え、前記偏光分離部を介して、前記対象物に投影されている前記格子パターンおよび前記全面パターンを撮像し、前記第１偏光による第１撮像画像および前記第２偏光による第２撮像画像を得るカメラと、
前記第２撮像画像に基づいて、前記第１撮像画像の輝度値を補正する補正処理部と、
補正後の前記第１撮像画像について、前記格子パターンの位相解析を行う位相解析処理部と、
前記位相解析の解析結果に基づいて、前記対象物の高さ情報を算出する高さ情報算出部と、
を有することを特徴とする。

第１実施形態に係る三次元形状計測装置の概略図である。 図１のプロジェクターの内部構造に示す概略図である。 図１のカメラの内部構造を示す概略図である。 図１の三次元形状計測装置の光学系を模式的に示す側面図である。 図１の三次元形状計測装置の光学系を模式的に示す側面図である。 第１実施形態に係る三次元形状計測方法を説明するためのフローチャートである。 プロジェクターで投影された格子パターンおよび全面パターンをカメラで撮像し、第１偏光の成分を分離して得られた撮像画像である。 プロジェクターで投影された格子パターンおよび全面パターンをカメラで撮像し、第２偏光の成分を分離して得られた撮像画像である。 図６に示す撮像ステップで取得した第１撮像画像の一例である。 図６に示す撮像ステップで取得した第２撮像画像の一例である。 図６に示す補正ステップで補正処理を施した後の第１撮像画像の一例である。 第２実施形態に係る三次元形状計測装置が備えるプロジェクターの内部構造を示す概略図である。 第３実施形態に係る三次元形状計測方法を説明するためのフローチャートである。

以下、本発明の三次元形状計測方法および三次元形状計測装置を添付図面に示す実施形態に基づいて詳細に説明する。

１．第１実施形態
まず、第１実施形態に係る三次元形状計測方法および三次元形状計測装置について説明する。

１．１．装置構成
図１は、第１実施形態に係る三次元形状計測装置の概略図である。図２は、図１のプロジェクターの内部構造に示す概略図である。図３は、図１のカメラの内部構造を示す概略図である。なお、図１では、互いに直交する３つの軸として、ｘ軸、ｙ軸およびｚ軸を設定している。各軸は矢印で表され、先端側を「プラス側」、基端側を「マイナス側」とする。なお、以下の説明では、ｚ軸のマイナス側を特に「上」とし、ｚ軸のプラス側を「下」としている。また、ｚ軸に沿った位置を「高さ」といい、ｘ－ｙ面内における位置を単に「位置」という。

図１に示す三次元形状計測装置１は、基準面９１上に設けられた物体９（対象物）の表面、すなわち物体面９２の位置および高さを算出し、三次元形状を計測する装置である。三次元形状の計測には、格子投影法を用いる。格子投影法では、格子パターンを物体９に投影し、その状態を撮像して得られた撮像画像に対して位相解析を行う。位相解析を行うことで、各画素での格子パターンの位相を求めることができる。そして、撮像画像から位置情報を算出するとともに、位相から高さ情報を算出することにより、物体面９２の三次元形状が求められる。

図１に示す三次元形状計測装置１は、プロジェクター２と、カメラ３と、制御装置４と、を備えている。また、図１には、上面が基準面９１である載置台９０と、基準面９１上に載置された物体９と、を図示している。

図１に示すプロジェクター２は、任意の波長の光で形成された投影パターンを物体９に向けて投影する機能を有する。このようなプロジェクター２は、図２に示すように、第１発光部２１と、第２発光部２２と、合成プリズム２３と、投影レンズ２４と、を備えている。なお、図２に示すプロジェクター２は、プロジェクター２を構成する要素のうち、一部が省略されて図示されている。

第１発光部２１は、光源２１２と、第１偏光板２１４と、格子マスク２１６と、を備え、格子パターンである投影パターンを作成する。

光源２１２は、任意の波長の光、例えば、赤色（Ｒ）の光、緑色（Ｇ）の光、青色（Ｂ）の光、白色（Ｗ）の光等を出射する。

第１偏光板２１４は、光源２１２から出射した光を直線偏光である第１偏光Ｌ１にする光学素子である。

格子マスク２１６は、第１偏光板２１４から出射した第１偏光Ｌ１を空間変調する。これにより、第１偏光Ｌ１により、所望の投影パターン、例えば後述する縞模様等のパターンが作成される。格子マスク２１６としては、例えば、フォトマスク、メタルマスク、ステンシルマスク等の光学用マスクの他、液晶素子等が挙げられる。

第２発光部２２は、光源２２２と、第２偏光板２２４と、を備え、全面パターンである投影パターンを作成する。

光源２２２は、任意の波長の光、例えば、赤色（Ｒ）の光、緑色（Ｇ）の光、青色（Ｂ）の光、白色（Ｗ）の光等を出射する。

第２偏光板２２４は、光源２２２から出射した光を直線偏光である第２偏光Ｌ２にする光学素子である。第２偏光Ｌ２の偏光面は、第１偏光Ｌ１の偏光面と直交している。つまり、このような偏光面の関係が成り立つように、第１偏光板２１４および第２偏光板２２４の配置を調整する。なお、第１偏光Ｌ１の偏光面と第２偏光Ｌ２の偏光面とが直交しているとは、両者のなす角度が９０°±５°の範囲内にある状態をいう。

合成プリズム２３は、第１偏光Ｌ１および第２偏光Ｌ２を合成し、合成光Ｌ３として出力する。合成プリズム２３としては、例えば、第１偏光Ｌ１を透過させ、第２偏光Ｌ２を反射する面を備えた偏光ビームスプリッター等が挙げられる。
投影レンズ２４は、合成光Ｌ３の投影倍率を調整し、物体９に向けて投影する。

また、プロジェクター２は、制御装置４と電気的に接続されている。これにより、制御装置４は、投影パターンの投影を制御することができる。また、格子マスク２１６として液晶素子を用いた場合には、格子パターンの色や方向、ピッチ等を制御装置４で制御することができる。

図１に示すカメラ３は、物体９に向けてプロジェクター２から投影された投影パターンを撮像し、輝度値を検出する機能を有する。このようなカメラ３は、図３に示すように、第１撮像素子３１と、第２撮像素子３２と、分離プリズム３３と、撮像レンズ３４と、を備えている。なお、図３に示すカメラ３は、カメラ３を構成する要素のうち、一部が省略されて図示されている。

第１撮像素子３１および第２撮像素子３２は、それぞれ、例えば行列状に配列した複数の画素を有し、各画素で輝度値を検出する。第１撮像素子３１および第２撮像素子３２としては、例えば、ＣＭＯＳ素子、ＣＣＤ素子等が挙げられる。ＣＭＯＳは、Complementary Metal Oxide Semiconductor（相補性金属酸化膜半導体）を指す。また、ＣＣＤは、Charge Coupled Device（電荷結合素子）を指す。

分離プリズム３３は、プリズム本体３３０と、第１クリーンアップ偏光板３３１と、第２クリーンアップ偏光板３３２と、を備えている。

プリズム本体３３０は、物体９や基準面９１から反射した合成光Ｌ３を、偏光の違いに基づいて、第１偏光Ｌ１および第２偏光Ｌ２に分離する。プリズム本体３３０としては、例えば、第１偏光Ｌ１を透過させ、第２偏光Ｌ２を反射する面を備えた偏光ビームスプリッター等が挙げられる。

第１クリーンアップ偏光板３３１は、プリズム本体３３０と第１撮像素子３１との間に設けられ、第１偏光Ｌ１を選択的に透過させる機能を有する。このような第１クリーンアップ偏光板３３１を用いることにより、プリズム本体３３０の偏光分離特性が十分ではない場合や物体９や基準面９１における反射で第１偏光Ｌ１の偏光状態が乱れた場合でも、目的とする偏光状態の第１偏光Ｌ１を精度よく選択して取り出すことができる。

第２クリーンアップ偏光板３３２は、プリズム本体３３０と第２撮像素子３２との間に設けられ、第２偏光Ｌ２を選択的に透過させる機能を有する。このような第２クリーンアップ偏光板３３２を用いることにより、プリズム本体３３０の偏光分離特性が十分ではない場合や物体９や基準面９１における反射で第２偏光Ｌ２の偏光状態が乱れた場合でも、目的とする偏光状態の第２偏光Ｌ２を精度よく選択して取り出すことができる。

なお、第１クリーンアップ偏光板３３１および第２クリーンアップ偏光板３３２は、必要に応じて設けられればよく、例えばプリズム本体３３０が十分な偏光分離特性を有している場合には省略可能である。

撮像レンズ３４は、撮像倍率を調整し、プロジェクター２から投影される投影パターンの撮像画像上でのサイズを調整する。

また、カメラ３は、制御装置４と電気的に接続されている。カメラ３で撮像した撮像画像は、制御装置４に送信され、位相解析処理や補正処理に供される。なお、以下の説明では、第１撮像素子３１の画素を「カメラ画素」ともいう。

制御装置４は、制御部４１と、演算部４２と、記憶部４３と、表示部４４と、を備えている。

制御部４１は、プロジェクター２による投影パターンの投影や、カメラ３による投影パターンの画像の撮像といった作動を、互いに協調させつつ制御する。

演算部４２は、撮像画像に対して補正処理を行う補正処理部４２２と、補正処理が施された撮像画像に対して位相解析処理を行う位相解析処理部４２４と、高さ情報を算出する高さ情報算出部４２６と、を有する。このような演算部４２は、補正された撮像画像から各カメラ画素での格子パターンの位相を求め、物体面９２の高さ情報を算出する。

記憶部４３は、カメラ３で撮像した撮像画像、演算部４２による演算結果等を記憶する。

表示部４４は、必要に応じて設けられ、カメラ３による撮像画像、演算部４２による演算結果等を表示する。

制御部４１、演算部４２および記憶部４３の一部または全部は、情報を処理するプロセッサーと、プログラムやデータを記憶するメモリーと、外部インターフェースと、を有するハードウェアで構成される。プロセッサーは、メモリーに記憶された各種プログラムやデータを読み込んで実行することにより、各機能を実現する。

プロセッサーとしては、例えば、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等が挙げられる。メモリーとしては、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリー、ＲＯＭ（Read Only Memory）等の不揮発性メモリー、着脱式の外部記憶装置等が挙げられる。外部インターフェースとしては、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ等が挙げられる。

また、制御部４１および演算部４２の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現されてもよい。

以上のような三次元形状計測装置１では、後に詳述するが、互いに偏光面が直交している第１偏光Ｌ１および第２偏光Ｌ２を用いて、格子パターンおよび全面パターンを物体９に同時に投影する。次いで、物体９に投影された格子パターンおよび全面パターンを撮像し、全面パターンの撮像画像に基づいて格子パターンの撮像画像に補正処理を行う。次いで、補正後の格子パターンの撮像画像（格子像）に対して位相解析を行う。そして、位相分布から物体面９２の高さ情報を算出し、三次元形状を求める。

格子パターンの撮像画像に対する位相解析方法としては、例えば、撮像画像に対して位相解析処理を行い、位相分布を求められる方法であれば、いかなる方法も用いることができる。このような方法としては、例えば、サンプリングモアレ法、位相シフト法、１ピッチ位相解析法等が挙げられる。

本実施形態では、１ピッチ位相解析法を用いる。１ピッチ位相解析法の原理については、国際公開第２０１６／００１９８５号明細書に記載されている。

１ピッチ位相解析法では、プロジェクター２の光学系（格子マスク２１６）およびカメラ３の光学系（第１撮像素子３１）が、基準面９１に対してそれぞれ平行になっている。このような光学系をモアレトポグラフィー光学系ともいう。かかる光学系によれば、物体９に投影された格子パターンをカメラ３で撮像して得られる撮像画像上では、物体面９２の高さに関係なく、格子パターンの周期が一定になる。一方、物体面９２の高さによって、カメラ画素での格子パターンの位相が変わることになる。したがって、１ピッチ位相解析法により、カメラ画素での格子パターンの位相を解析し、解析結果をカメラ画素の座標に関連付けることで、物体面９２の高さ情報を求めることができる。

また、１ピッチ位相解析法のような位相解析方法では、１枚の撮像画像に映っている格子パターンの少なくとも１周期分の輝度値から位相解析を行うことができる。このため、物体９が動いている場合でも、位相分布を求めることができる点で特に有用である。

図４および図５は、図１の三次元形状計測装置１の光学系を模式的に示す側面図である。なお、図４および図５は、装置構成の物理的な配置を厳密に表したものではない。

図４に示すように、三次元形状計測装置１では、プロジェクター２の光源２１２の中心から広がるように格子パターンを投影する。ここでは、光源２１２の中心をプロジェクター２の主点Ｏ２とする。また、カメラ３の撮像範囲は、撮像レンズ３４の中心から広がるような範囲となる。ここでは、撮像レンズ３４の中心をカメラ３の主点Ｏ１とする。

図４では、プロジェクター２から基準面９１に向かう多数の直線によって、プロジェクター２で投影される格子パターンを模式的に表現している。格子パターンを表す直線のうち、実線は、格子パターンの輝度が高い領域を投影している光の光路を示し、破線は、格子パターンの輝度が低い領域を投影している光の光路を示している。

また、図４では、基準面９１からカメラ３に向かう実線を図示している。この実線は、格子パターンの輝度が高い領域から出射した光が第１撮像素子３１に至るまでの光路を示している。

この図４から分かるように、三次元形状計測装置１の光学系では、基準面９１や物体面９２がどの高さにあっても、カメラ３の撮像画像には、格子パターンの１周期が同じ大きさで映る。つまり、撮像画像における格子パターンの１周期の大きさは、プロジェクター２やカメラ３の内部のパラメーターによって定まり、基準面９１や物体面９２までの距離には影響されない。したがって、この光学系によれば、基準面９１や物体面９２までの距離によらず、撮像画像に基づいて物体９の三次元形状計測を行うことができる。

また、図５に示すように、三次元形状計測装置１では、プロジェクター２の光源２２２の中心から広がるように全面パターンを投影する。図５では、プロジェクター２から基準面９１に向かう一点鎖線によって、プロジェクター２で投影される全面パターンを模式的に表現している。

一方、図５でも、基準面９１からカメラ３に向かう実線を図示している。この実線は、全面パターンが投影された領域から出射した光が第２撮像素子３２に至るまでの光路を示している。

１．２．計測方法
次に、第１実施形態に係る三次元形状計測方法について説明する。
図６は、第１実施形態に係る三次元形状計測方法を説明するためのフローチャートである。

図６に示す三次元形状計測方法は、投影ステップＳ１０２と、撮像ステップＳ１０４と、補正ステップＳ１０６と、形状算出ステップＳ１０８と、を有する。

１．２．１．投影ステップ
投影ステップＳ１０２では、まず、プロジェクター２から物体９に向けて格子パターンおよび全面パターンを投影する。

図７は、プロジェクター２で投影された格子パターン５１および全面パターン５３をカメラ３で撮像し、第１偏光Ｌ１の成分を分離して得られた撮像画像である。図８は、プロジェクター２で投影された格子パターン５１および全面パターン５３をカメラ３で撮像し、第２偏光Ｌ２の成分を分離して得られた撮像画像である。図７および図８には、格子パターン５１の方向を定義するｘ軸およびｙ軸を表す矢印と、カメラ３の画素間を表す破線と、を併せて図示している。破線で囲まれた四角形が、カメラ画素３０に対応している。

図７および図８では、カメラ画素３０の座標を（ｉ，ｊ）で表す。第１撮像素子３１のｉ軸と格子パターン５１の方向を規定しているｘ軸とが重なり、第１撮像素子３１のｊ軸と格子パターン５１の方向を規定しているｙ軸とが重なるように、プロジェクター２およびカメラ３の光学系が設定されている。

格子パターン５１は、ｙ軸に沿って延在する一次元格子である。具体的には、格子パターン５１は、第１偏光Ｌ１が相対的に低い輝度で照射されているか、または、照射されてない帯状の領域５１１を複数有している。この帯状の領域５１１は、ｙ軸と平行に延在し、かつ、ｘ軸に沿って一定の間隔で並んでいる。また、格子パターン５１は、領域５１１同士の間に位置し、第１偏光Ｌ１が相対的に高い輝度で照射されている帯状の領域５１２を複数有している。領域５１１の幅および領域５１２の幅は、互いに同じである。

続いて、後述する１ピッチ位相解析法による位相解析において、解析対象となる格子パターン５１の１周期分の範囲について説明する。

本実施形態では、カメラ画素３０において連続したＮ画素に、格子パターン５１の１周期が映るように、プロジェクター２およびカメラ３で構成される光学系が設定されている。Ｎは３以上の整数である。

図７の例では、格子パターン５１が、ｘ軸に沿って連続したカメラ画素３０の８つ分の長さの周期を有している。したがって、図７の例では、カメラ画素３０の８つ分と、格子パターン５１の１周期と、が一致するように光学系が設定されている。つまり、三次元形状計測装置１では、プロジェクター２で投影される格子パターン５１の１周期が、カメラ画素３０の整数倍分の長さになるように、光学系が設定されている。

一方、図８に示す全面パターン５３は、少なくとも物体９を覆う範囲のカメラ画素３０の全部に入射するように、第２偏光Ｌ２を照射して生成される。この全面パターン５３は、各カメラ画素３０での輝度が均一になるように、第２偏光Ｌ２を照射して生成されるのが好ましいが、各カメラ画素３０での輝度は互いに異なっていてもよい。

第１偏光Ｌ１および第２偏光Ｌ２は、前述したように、偏光面が互いに直交している直線偏光である。投影ステップＳ１０２では、これらを同時に照射することで、格子パターン５１および全面パターン５３を同時に投影する。

カメラ３は、分離プリズム３３を備えているため、第１偏光Ｌ１および第２偏光Ｌ２を重ねて照射しても分離して撮像することができる。このため、第１偏光Ｌ１および第２偏光Ｌ２を同時に照射し、第１偏光Ｌ１と第２偏光Ｌ２とを分離しつつ撮像することにより、高速での計測が可能になる。

このような理由から、プロジェクター２は、第１偏光Ｌ１による格子パターン５１および第２偏光Ｌ２による全面パターン５３を同時に投影する機能を有する。

なお、格子マスク２１６は、透過型液晶素子のような透過型の空間光変調素子、ＤＭＤや反射型液晶素子のような反射型の空間光変調素子で代替することもできる。ＤＭＤは、Digital Micromirror Deviceを指す。

１．２．２．撮像ステップ
撮像ステップＳ１０４では、物体９に投影されている格子パターン５１および全面パターン５３を、カメラ３で撮像する。撮像によって得られた第１撮像画像および第２撮像画像は、カメラ３から演算部４２に伝送する。なお、第１撮像画像および第２撮像画像を、一旦、記憶部４３に記憶させた後、演算部４２から読み出すようにしてもよい。

カメラ３は、前述したように、第１撮像画像および第２撮像画像を個別かつ同時に取得する機能を有する。これにより、後述するステップでは、少ないタイムラグで補正処理および位相解析処理を開始することができる。

なお、本実施形態に係るカメラ３では、前述したように、分離プリズム３３を用いることにより、第１撮像素子３１の全てのカメラ画素で第１偏光Ｌ１の輝度値を取得し、第２撮像素子３２の全てのカメラ画素で第２偏光Ｌ２の輝度値を取得することができる。ただし、複数のカメラ画素からなる画素群を１つのカメラ画素とみなすことができる場合には、分離プリズム３３を省略するとともに撮像素子を１つにすることができる。この場合、画素群ごとに、微小な偏光子を並べた偏光板を用いるようにすればよい。

一方、本実施形態では、前述した投影ステップＳ１０２より以前に、物体９を配置していない基準面９１に対して、投影ステップＳ１０２および撮像ステップＳ１０４と同様の工程を行っておく。そして、基準面９１についての第１撮像画像および第２撮像画像を演算部４２に送るとともに、演算部４２による演算結果を記憶部４３に記憶させておく。

１．２．３．補正ステップ
補正ステップＳ１０６では、補正処理部４２２が、第２撮像画像に基づいて第１撮像画像の輝度値を補正する。

図９は、図６に示す撮像ステップＳ１０４で取得した第１撮像画像の一例である。図１０は、図６に示す撮像ステップＳ１０４で取得した第２撮像画像の一例である。

図９に示す第１撮像画像には、図７と同様の格子パターン５１が映っている。また、図９には、それに加えて、物体面９２にある模様５５が映っている。模様５５は、物体面９２の他の領域に比べて、反射率が低い領域である。このため、図９では、模様５５が、格子パターン５１の帯状の領域５１２に比べてやや暗く映っている。なお、帯状の領域５１２は、前述したように、帯状の領域５１１に比べて輝度が高い領域である。

第１撮像画像にこのような模様５５が映り込むと、第１撮像画像を後述する位相解析処理に供したとき、模様５５が格子パターン５１の位相に影響を及ぼすおそれがある。すなわち、模様５５が、第１撮像画像に映る格子パターン５１の位相を変化させてしまうおそれがある。位相が変化すると、最終的に算出される高さ情報の精度も低下する。

一方、模様５５は、第２撮像画像にも映り込む。図１０に示す第２撮像画像は、前述したように全面パターン５３が映っている。このため、明暗を伴う格子パターン５１とは異なり、全体がほぼ同じ輝度で照明されることになる。その結果、第２撮像画像において、模様５５と他の領域との間に生じる輝度値の差は、模様５５と他の領域との間における反射率の差を忠実に反映したものとなる。

そこで、本実施形態では、この第２撮像画像を用いて、第１撮像画像の輝度値を補正する。具体的には、補正ステップＳ１０６では、カメラ画素３０ごとに、第１撮像画像の輝度値を第２撮像画像の輝度値で除する補正処理を行う。これにより、第１撮像画像に映り込んだ模様５５によって一部のカメラ画素３０の輝度値が低下した場合でも、その低下した輝度値を補正することができる。その結果、補正後の第１撮像画像は、格子パターン５１による輝度分布をより精度よく反映したものとなる。

図１１は、図６に示す補正ステップＳ１０６で補正処理を施した後の第１撮像画像の一例である。図１１に示す補正後の第１撮像画像では、破線５５０で示した領域と他の領域との間に生じていた輝度値の差がなくなっている。つまり、模様５５による輝度値の低下が補正されている。その結果、図１１では、格子パターン５１による輝度分布が精度よく映っている。このような補正後の第１撮像画像を用いて、後述する位相解析処理を行うことにより、格子パターン５１の位相をより精度よく算出することができる。

特に、１ピッチ位相解析法では、格子パターン５１の１周期分の輝度値が高精度に取得される必要がある。その観点からすると、模様５５とその他の領域との境界では、特に高さ情報の精度が低下しやすい。このような場合に、第１撮像画像に補正処理を施すと、境界部の位相情報に混入するノイズを減らすことができる。これにより、高さ情報の精度が低下するのを抑制することができる。

なお、補正ステップＳ１０６における補正処理の方法は、上記の方法に限定されず、第２撮像画像を用いた補正処理であれば、いかなる方法であってもよい。

１．２．４．形状算出ステップ
形状算出ステップＳ１０８は、さらに、位相解析ステップＳ１１０と、高さ情報算出ステップＳ１１２と、を有する。

１．２．４．１．位相解析ステップ
位相解析ステップＳ１１０では、位相解析処理部４２４が、補正後の第１撮像画像に対して位相解析を行う。本実施形態では、一例として、１ピッチ位相解析（ＯＰＰＡ：One-Pitch Phase Analysis）法により、位相解析を行う。

具体的には、まず、補正後の第１撮像画像から、格子パターン５１の１周期分の輝度値を抽出する。

図７では、一例として、ｘ軸、ｙ軸の原点を含み、ｘ軸に沿って連続する８画素について注目している。この８画素を「１ピッチ格子ＯＰ１」という。この１ピッチ格子ＯＰ１が、格子パターン５１の１周期分に相当する。

１ピッチ位相解析法では、１ピッチ格子ＯＰ１の各カメラ画素３０で得られた輝度値データのセットを、１カメラ画素ずつ、ｘ軸に沿ってシフトさせながら、順次、位相解析を行う。ｘ軸に沿ったシフトが全て終わったら、続いて、１ピッチ格子ＯＰ１の各カメラ画素３０で得られた輝度値データのセットを、１カメラ画素ずつ、ｙ軸に沿ってシフトさせながら、順次、位相解析を行う。

なお、これらの工程の順序は、上記に限定されず、変更してもよい。このようにして、全てのカメラ画素３０で位相情報を取得することができる。

１ピッチ格子ＯＰ１の位相解析で得られた位相情報は、１ピッチ格子ＯＰ１中の１つの代表カメラ画素の座標に対応させた状態で、制御装置４の記憶部４３に記憶させる。

１．２．４．２．高さ情報算出ステップ
高さ情報算出ステップＳ１１２では、高さ情報算出部４２６が、記憶部４３に記憶させておいた、物体面９２についての位相情報と、基準面９１についての位相情報と、を読み出す。そして、高さ情報算出部４２６は、これらの位相情報を比較して位相差を求める。また、高さ情報算出部４２６は、この位相差から、基準面９１から物体面９２までの高さ情報を算出する。これにより、物体面９２の三次元形状が得られる。

以上のように、本実施形態に係る三次元形状計測方法は、前述したように、投影ステップＳ１０２と、撮像ステップＳ１０４と、補正ステップＳ１０６と、形状算出ステップＳ１０８と、を有する。投影ステップＳ１０２では、第１偏光Ｌ１による格子パターン５１、および、第１偏光Ｌ１に対して偏光面が直交している第２偏光Ｌ２による全面パターン５３を、物体９（対象物）に投影する。撮像ステップＳ１０４では、物体９に投影されている格子パターン５１および全面パターン５３を、カメラ３で撮像し、第１偏光Ｌ１による第１撮像画像および第２偏光Ｌ２による第２撮像画像を得る。補正ステップＳ１０６では、第２撮像画像に基づいて、第１撮像画像の輝度値を補正する。形状算出ステップＳ１０８では、補正後の第１撮像画像について、格子パターン５１の位相解析を行い、物体９の高さ情報を算出する。

このような構成によれば、物体９の物体面９２に模様５５や汚れ等がある場合でも、第１撮像画像の輝度値を補正することができ、格子パターン５１の位相解析を精度よく行うことができる。これにより、物体９の高さ情報をより正確に取得することができるため、物体９の三次元形状を高精度に計測することができる。

また、格子パターン５１および全面パターン５３を同時に照射しても、偏光の違いにより、第１偏光Ｌ１による第１撮像画像と第２偏光Ｌ２による第２撮像画像とを同時に取得することができる。このため、短時間で第１撮像画像の輝度値を補正することができ、物体９の三次元形状を高速に計測することができる。

また、本実施形態では、第２撮像画像に基づいて、第１撮像画像の画素ごとに輝度値を補正する。具体的には、例えば、カメラ画素３０ごとに、第１撮像画像の輝度値を第２撮像画像の輝度値で除する補正処理を行う。

これにより、カメラ画素３０ごとに、補正した輝度値を求めることができる。その結果、分解能を落とすことなく、補正処理を行うことができ、最終的に精度の高い三次元形状を算出することができる。

また、本実施形態では、プロジェクター２が合成プリズム２３を備えている。合成プリズム２３は、第１偏光Ｌ１および第２偏光Ｌ２を合成し、合成光Ｌ３として出力する。このため、投影ステップＳ１０２では、プロジェクター２が、互いに重なっている光軸で格子パターン５１および全面パターン５３を物体９（対象物）に投影する。

このように、格子パターン５１および全面パターン５３を互いに同軸で投影することにより、両者の配光特性の差を小さくすることができる。つまり、格子パターン５１の出射点と物体９との位置関係、および、全面パターン５３の出射点と物体９との位置関係、の間の差を小さくすることができる。これにより、例えば、模様５５等の反射率に入射角依存性がある場合でも、第１撮像画像に映る模様５５と第２撮像画像に映る模様５５とで、輝度差の差を小さくすることができる。その結果、補正処理の精度を高めることができ、最終的により精度の高い三次元形状を算出することができる。

また、第１偏光Ｌ１および第２偏光Ｌ２は、互いに同じ波長域を含むことが好ましい。例えば、第１偏光Ｌ１が赤色の光である場合、第２偏光Ｌ２も赤色の光であることが好ましい。また、第１偏光Ｌ１が白色の光である場合、第２偏光Ｌ２も白色の光であることが好ましい。

このように互いに同じ波長域を含むことにより、第１偏光Ｌ１と第２偏光Ｌ２とで、模様５５やそれ以外の領域における反射率の差を小さくすることができる。つまり、多くの物体９では、通常、反射率に波長依存性が存在する。このため、第１偏光Ｌ１および第２偏光Ｌ２が異なる波長域の光である場合、第１撮像画像と第２撮像画像の同一画素であっても、輝度値が大きく異なってしまう可能性がある。

これに対し、第１偏光Ｌ１および第２偏光Ｌ２が、互いに同じ波長域を含むことで、物体９の反射率に波長依存性があっても、輝度値の差を小さくすることができる。その結果、補正処理の精度を高めることができ、最終的により精度の高い三次元形状を算出することができる。

なお、同じ波長域を含むとは、第１偏光Ｌ１のピーク波長と、第２偏光Ｌ２のピーク波長と、の差が５０ｎｍ以下である状態のことをいう。このような状態であれば、同じ波長域を含むといえる。

また、第１偏光Ｌ１の波長域および第２偏光Ｌ２の波長域は、特に限定されないが、これらの偏光はそれぞれ白色光であることが好ましい。これにより、物体９の色（物体色）によらず、物体面９２は、いずれかの波長域において、十分な反射率を有する。このため、ＲＧＢの各波長域を含む白色光を用いることにより、物体色がどのような色であっても、十分な輝度の第１撮像画像および第２撮像画像を取得することができる。その結果、物体色によらず、高い精度の補正処理を実現することができる。

なお、白色光とは、例えば、白色発光ダイオードやその他の白色光源から出力された光のことをいう。このうち、白色発光ダイオードの白色化方式としては、例えば、三原色ＢＧＲ方式、補色方式、蛍光励起方式等が挙げられるが、いずれであってもよい。

また、本実施形態に係る三次元形状計測装置１は、プロジェクター２と、カメラ３と、補正処理部４２２と、位相解析処理部４２４と、高さ情報算出部４２６と、を有する。プロジェクター２は、第１偏光Ｌ１による格子パターン５１を射出する第１発光部２１と、第１偏光Ｌ１に対して偏光面が直交している第２偏光Ｌ２による全面パターン５３を射出する第２発光部２２と、を備え、格子パターン５１および全面パターン５３を物体９（対象物）に投影する。カメラ３は、第１偏光Ｌ１と第２偏光Ｌ２とを分離する分離プリズム３３（偏光分離部）を備え、分離プリズム３３を介して、物体９に投影されている格子パターン５１および全面パターン５３を撮像し、第１偏光Ｌ１による第１撮像画像および第２偏光Ｌ２による第２撮像画像を得る。補正処理部４２２は、第２撮像画像に基づいて、第１撮像画像の輝度値を補正する。位相解析処理部４２４は、補正後の第１撮像画像について、格子パターン５１の位相解析を行う。高さ情報算出部４２６は、位相解析の解析結果に基づいて、物体９の高さ情報を算出する。

このような構成によれば、物体９の物体面９２に模様５５や汚れ等がある場合でも、第１撮像画像の輝度値を補正することができ、格子パターン５１の位相解析を精度よく行い得る三次元形状計測装置１を実現することができる。このような三次元形状計測装置１は、物体９の高さ情報をより正確に取得することができるため、物体９の三次元形状を高精度に計測することができる。

また、本実施形態では、プロジェクター２が、格子パターン５１および全面パターン５３を合成して射出する合成プリズム２３（偏光合成部）を備える。

このような構成によれば、合成プリズム２３が、第１偏光Ｌ１および第２偏光Ｌ２を合成し、合成光Ｌ３として出力する。このため、プロジェクター２は、互いに重なっている光軸で格子パターン５１および全面パターン５３を物体９（対象物）に投影する。このように、格子パターン５１および全面パターン５３を互いに同軸で投影することにより、両者の配光特性の差を小さくすることができる。その結果、補正処理の精度を高めることができ、最終的により精度の高い三次元形状を算出することができる。

また、本実施形態では、分離プリズム３３（偏光分離部）が、プリズム本体３３０と、第１クリーンアップ偏光板３３１と、第２クリーンアップ偏光板３３２と、を備える。プリズム本体３３０は、第１偏光Ｌ１と第２偏光Ｌ２とを分離する。第１クリーンアップ偏光板３３１は、プリズム本体３３０に設けられ、第１偏光Ｌ１を選択的に透過させる。第２クリーンアップ偏光板３３２は、プリズム本体３３０に設けられ、第２偏光Ｌ２を選択的に透過させる。

このような構成によれば、プリズム本体３３０の偏光分離特性が十分ではない場合や、物体９や基準面９１における反射で第１偏光Ｌ１の偏光状態が乱れた場合でも、分離プリズム３３において、目的とする偏光を精度よく選択して取り出すことができる。これにより、第１撮像画像および第２撮像画像においてノイズ成分の混入を抑制することができる。その結果、補正処理の精度を高めることができ、最終的により精度の高い三次元形状を算出することができる。

２．第２実施形態
次に、第２実施形態に係る三次元形状計測装置について説明する。
図１２は、第２実施形態に係る三次元形状計測装置が備えるプロジェクターの内部構造を示す概略図である。

以下、第２実施形態について説明するが、以下の説明では、第１実施形態との相違点を中心に説明し、同様の事項についてはその説明を省略する。なお、図１２において、第１実施形態と同様の構成については、同一の符号を付している。

第２実施形態に係る三次元形状計測装置は、合成プリズム２３が省略されていること以外、第１実施形態に係る三次元形状計測装置１と同様である。

図１２に示すプロジェクター２では、第１実施形態とは異なり、第１発光部２１および第２発光部２２が、互いに異なる光軸で第１偏光Ｌ１および第２偏光Ｌ２を射出する。

図１２に示す第１発光部２１は、光源２１２と、第１偏光板２１４と、格子マスク２１６と、投影レンズ２４１と、を備えている。投影レンズ２４１は、第１偏光板２１４から射出され、格子マスク２１６で空間変調された第１偏光Ｌ１の投影倍率を調整し、物体９に向けて投影する。

第２発光部２２は、第１発光部２１と隣り合う位置に設けられている。図１２に示す第２発光部２２は、光源２２２と、第２偏光板２２４と、投影レンズ２４２と、を備えている。投影レンズ２４２は、第２偏光板２２４から射出された第２偏光Ｌ２の投影倍率を調整し、物体９に向けて投影する。

このような第２実施形態では、第１偏光Ｌ１と第２偏光Ｌ２とで光軸が異なるが、第１発光部２１と第２発光部２２とを隣り合わせて配置することにより、第１実施形態と同様の効果が得られる。

３．第３実施形態
次に、第３実施形態に係る三次元形状計測方法について説明する。
図１３は、第３実施形態に係る三次元形状計測方法を説明するためのフローチャートである。

以下、第３実施形態について説明するが、以下の説明では、第１実施形態との相違点を中心に説明し、同様の事項についてはその説明を省略する。なお、図１３において、第１実施形態と同様の構成については、同一の符号を付している。

図１３に示す形状算出ステップＳ１０８は、第１実施形態が有する位相解析ステップＳ１１０および高さ情報算出ステップＳ１１２に加え、第２撮像画像解析ステップＳ１１１を有する。

３．１．第２撮像画像解析ステップ
第２撮像画像解析ステップＳ１１１では、演算部４２が、第２撮像画像に対して物体抽出処理を行う。この物体抽出処理としては、例えば、第２撮像画像に映る物体９の内側と外側との間で生じる輝度値の差を検出し、物体９の輪郭を抽出する処理等が挙げられる。このような解析を行うことにより、第２撮像画像中における物体９の位置情報を取得することができる。この位置情報は、第１撮像素子３１の座標系における物体９の座標を示す情報である。

本実施形態では、少なくとも物体９を覆う範囲のカメラ画素３０の全部に第２偏光Ｌ２が入射するように、全面パターン５３を投影しているので、輝度値データが欠落したカメラ画素３０がなく、物体９の輪郭を高精度に抽出することができる。

一方、第２撮像画像中に、例えば物体９に遮られて第２偏光Ｌ２が当たらない領域（影領域）が含まれていた場合には、極端に低い輝度値として観測される。影領域では、輝度値が正しい値にならない場合がある。したがって、極端に低い輝度値を検出した場合には、それに基づいて、演算部４２は、影領域に対応するカメラ画素を特定するのが好ましい。

また、第２撮像画像中に、例えば照射された第２偏光Ｌ２をカメラ３に向けて反射する領域（反射領域）が含まれていた場合には、極端に高い輝度値として観測される。このような輝度値は、物体面９２中に光沢等を有する領域が含まれている場合等に観測されやすい。そして、反射が発生すると、輝度値が飽和してしまい、正しい輝度値が得られないおそれがある。したがって、極端に高い輝度値を検出した場合には、それに基づいて、演算部４２は、反射領域に対応するカメラ画素を特定するのが好ましい。

そこで、第２撮像画像解析ステップＳ１１１では、第２撮像画素の輝度値が所定の範囲に入っているか否かを判定する。そして、輝度値が所定の範囲より低い場合、または、所定の範囲より高い場合には、高さ情報算出ステップＳ１１２において、そのカメラ画素についての高さ情報を出力しないように、出力要否の情報を記憶部４３に記憶する。これにより、極端に高い輝度値や極端に低い輝度値に起因する誤差の大きい高さ情報が出力されてしまうのを避けることができる。なお、誤差が大きい高さ情報が含まれているよりは、あらかじめ除外されていた方が、三次元形状データの利用しやすさが向上するため、有用である。

また、１ピッチ位相解析法では、格子パターン５１の１周期分で信頼性の高い輝度値を有していることが求められる。その観点からすると、影領域や反射領域に対応するカメラ画素の周辺では、位相解析の精度が低下する可能性がある。そこで、第２撮像画像解析ステップＳ１１１では、影領域や反射領域に対応するカメラ画素に加え、その周辺の少なくとも格子パターン１周期分の範囲のカメラ画素でも、最終的な高さ情報が出力されないように、出力要否の情報を記憶部４３に記憶しておくようにしてもよい。これにより、影領域や反射領域の影響を間接的に受ける周辺のカメラ画素でも、高さ情報が出力されるのを防止することができる。

なお、物体抽出処理に先立って、第２撮像画像に画像処理を行うようにしてもよい。画像処理としては、例えば、二値化処理、フィルター処理、ノイズ除去処理等が挙げられる。

また、第２撮像画像解析ステップＳ１１１の位置は、図１３に示す位置に限定されない。第２撮像画像解析ステップＳ１１１の位置は、例えば、補正ステップＳ１０６の前であっても、補正ステップＳ１０６と位相解析ステップＳ１１０との間であってもよい。
以上のような第３実施形態においても、第１実施形態と同様の効果が得られる。

以上、本発明の三次元形状計測方法および三次元形状計測装置を図示の実施形態に基づいて説明したが、本発明の三次元形状計測方法は、前記実施形態に限定されるものではなく、例えば、前記実施形態に任意の目的の工程が追加されたものであってもよい。また、本発明の三次元形状計測装置は、前記実施形態に限定されるものではなく、例えば、前記実施形態の各部が同様の機能を有する任意の構成のものに置換されたものであってもよく、前記実施形態に任意の構成物が付加されたものであってもよい。

１…三次元形状計測装置、２…プロジェクター、３…カメラ、４…制御装置、９…物体、２１…第１発光部、２２…第２発光部、２３…合成プリズム、２４…投影レンズ、３０…カメラ画素、３１…第１撮像素子、３２…第２撮像素子、３３…分離プリズム、３４…撮像レンズ、４１…制御部、４２…演算部、４３…記憶部、４４…表示部、５１…格子パターン、５３…全面パターン、５５…模様、９０…載置台、９１…基準面、９２…物体面、２１２…光源、２１４…第１偏光板、２１６…格子マスク、２２２…光源、２２４…第２偏光板、２４１…投影レンズ、２４２…投影レンズ、３３０…プリズム本体、３３１…第１クリーンアップ偏光板、３３２…第２クリーンアップ偏光板、４２２…補正処理部、４２４…位相解析処理部、４２６…高さ情報算出部、５１１…領域、５１２…領域、５５０…破線、Ｌ１…第１偏光、Ｌ２…第２偏光、Ｌ３…合成光、Ｏ１…主点、Ｏ２…主点、ＯＰ１…１ピッチ格子、Ｓ１０２…投影ステップ、Ｓ１０４…撮像ステップ、Ｓ１０６…補正ステップ、Ｓ１０８…形状算出ステップ、Ｓ１１０…位相解析ステップ、Ｓ１１１…第２撮像画像解析ステップ、Ｓ１１２…高さ情報算出ステップ

Claims (8)

1. 第１偏光による格子パターン、および、前記第１偏光に対して偏光面が直交している第２偏光による全面パターンを、対象物に投影するステップと、
   前記対象物に投影されている前記格子パターンおよび前記全面パターンを、カメラで撮像し、前記第１偏光による第１撮像画像および前記第２偏光による第２撮像画像を得るステップと、
   前記第２撮像画像に基づいて、前記第１撮像画像の輝度値を補正するステップと、
   補正後の前記第１撮像画像について、前記格子パターンの位相解析を行い、前記対象物の高さ情報を算出するステップと、
   を有することを特徴とする三次元形状計測方法。
2. 前記第２撮像画像に基づいて、前記第１撮像画像の画素ごとに前記輝度値を補正する請求項１に記載の三次元形状計測方法。
3. 互いに重なっている光軸で前記格子パターンおよび前記全面パターンを前記対象物に投影する請求項１または２に記載の三次元形状計測方法。
4. 前記第１偏光および前記第２偏光は、互いに同じ波長域を含む請求項１ないし３のいずれか１項に記載の三次元形状計測方法。
5. 前記第１偏光および前記第２偏光は、白色光である請求項１ないし４のいずれか１項に記載の三次元形状計測方法。
6. 第１偏光による格子パターンを射出する第１発光部と、前記第１偏光に対して偏光面が直交している第２偏光による全面パターンを射出する第２発光部と、を備え、前記格子パターンおよび前記全面パターンを対象物に投影するプロジェクターと、
   前記第１偏光と前記第２偏光とを分離する偏光分離部を備え、前記偏光分離部を介して、前記対象物に投影されている前記格子パターンおよび前記全面パターンを撮像し、前記第１偏光による第１撮像画像および前記第２偏光による第２撮像画像を得るカメラと、
   前記第２撮像画像に基づいて、前記第１撮像画像の輝度値を補正する補正処理部と、
   補正後の前記第１撮像画像について、前記格子パターンの位相解析を行う位相解析処理部と、
   前記位相解析の解析結果に基づいて、前記対象物の高さ情報を算出する高さ情報算出部と、
   を有することを特徴とする三次元形状計測装置。
7. 前記プロジェクターは、前記格子パターンおよび前記全面パターンを合成して射出する偏光合成部を備える請求項６に記載の三次元形状計測装置。
8. 前記偏光分離部は、
   前記第１偏光と前記第２偏光とを分離するプリズム本体と、
   前記プリズム本体に設けられ、前記第１偏光を選択的に透過させる第１クリーンアップ偏光板と、
   前記プリズム本体に設けられ、前記第２偏光を選択的に透過させる第２クリーンアップ偏光板と、
   を備える請求項６または７に記載の三次元形状計測装置。

Images