JP2022138862A

JP2022138862A - 三次元形状計測方法および三次元形状計測装置

Info

Publication number: JP2022138862A
Application number: JP2021038975A
Authority: JP
Inventors: 宏貞堀口; Hirosada Horiguchi; 修司成松; Shuji Narimatsu
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2021-03-11
Filing date: 2021-03-11
Publication date: 2022-09-26

Abstract

【課題】対象物の形状によらず、対象物の三次元形状を高い計測精度で計測可能な三次元形状計測方法および三次元形状計測装置を提供すること。【解決手段】第１の光により、第１格子パターンを対象物に投影するステップと、前記対象物に投影されている前記第１格子パターンをカメラで撮像し、第１撮像画像を得るステップと、第２の光により、前記第１格子パターンと交差する第２格子パターンを前記対象物に投影するステップと、前記対象物に投影されている前記第２格子パターンを前記カメラで撮像し、第２撮像画像を得るステップと、前記第１撮像画像および前記第２撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出するステップと、を含むことを特徴とする三次元形状計測方法。【選択図】図５

Description

本発明は、三次元形状計測方法および三次元形状計測装置に関するものである。

物体の三次元表面形状を計測する方法として、光学的手法を用いた格子投影法が知られている。
特許文献１には、物体面に投影された格子像をカメラで撮影し、得られた撮影像から物体面の位置を計測する計測方法が開示されている。この計測方法は、格子像の格子の１周期にＮ個のカメラ画素を合わせた状態で、カメラにより撮影した撮影像を入力する工程と、入力した撮影像の連続する複数画素を抽出する工程と、抽出した複数画素の画像からＮ画素を１周期とする周波数成分の位相を求める工程と、位相により物体面の位置、つまり基準面からの物体面の高さを求める工程と、を有している。なお、Ｎは、２より大きい整数である。

この計測方法では、格子像１周期分の画像データから格子像の位相を解析することによって、物体面の三次元表面形状を計測する。格子像１周期分の画像データから位相を解析する方法によれば、１枚の撮影像から位相分布を解析することができるので、物体の三次元表面形状を高速に計測することができる。

国際公開第２０１６／００１９８５号明細書

特許文献１に記載の計測方法では、計測分解能に異方性がある。具体的には、格子の方向と平行な方向では、計測分解能がカメラの１画素相当であるのに対し、格子像の方向と直交する方向では、計測分解能が格子像１周期相当にまで低下する。したがって、物体の形状によっては、十分な計測精度が得られないという課題がある。

本発明の適用例に係る三次元形状計測方法は、
第１の光により、第１格子パターンを対象物に投影するステップと、
前記対象物に投影されている前記第１格子パターンをカメラで撮像し、第１撮像画像を得るステップと、
第２の光により、前記第１格子パターンと交差する第２格子パターンを前記対象物に投影するステップと、
前記対象物に投影されている前記第２格子パターンを前記カメラで撮像し、第２撮像画像を得るステップと、
前記第１撮像画像および前記第２撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出するステップと、
を含むことを特徴とする。

本発明の適用例に係る三次元形状計測方法は、
第１の光により、第１格子パターンを対象物に投影するステップと、
前記対象物に投影されている前記第１格子パターンをカメラで撮像し、第１撮像画像を得るステップと、
第２の光により、前記第１格子パターンと交差する第２格子パターンを前記対象物に投影するステップと、
前記対象物に投影されている前記第２格子パターンを前記カメラで撮像し、第２撮像画像を得るステップと、
前記第１の光により、第１全面パターンを前記対象物に投影するステップと、
前記対象物に投影されている前記第１全面パターンを前記カメラで撮像し、第３撮像画像を得るステップと、
前記第３撮像画像に基づいて、前記第１撮像画像の輝度値および前記第２撮像画像の輝度値を補正するステップと、
補正後の前記第１撮像画像および補正後の前記第２撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出するステップと、
を含むことを特徴とする。

本発明の適用例に係る三次元形状計測方法は、
第１の光により、第１格子パターンを対象物に投影するステップと、
前記対象物に投影されている前記第１格子パターンをカメラで撮像し、第１撮像画像を得るステップと、
第２の光により、前記第１格子パターンと交差する第２格子パターンを前記対象物に投影するステップと、
前記対象物に投影されている前記第２格子パターンを前記カメラで撮像し、第２撮像画像を得るステップと、
前記第１の光により、第１全面パターンを前記対象物に投影するステップと、
前記対象物に投影されている前記第１全面パターンを前記カメラで撮像し、第３撮像画像を得るステップと、
前記第２の光により、第２全面パターンを前記対象物に投影するステップと、
前記対象物に投影されている前記第２全面パターンを前記カメラで撮像し、第４撮像画像を得るステップと、
前記第３撮像画像に基づいて、前記第１撮像画像の輝度値を補正し、前記第４撮像画像に基づいて、前記第２撮像画像の輝度値を補正するステップと、
補正後の前記第１撮像画像および補正後の前記第２撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出するステップと、
を含むことを特徴とする。

本発明の適用例に係る三次元形状計測装置は、
第１の光による第１格子パターンおよび第２の光による第２格子パターンを互いに交差させて対象物に順次投影するプロジェクターと、
前記対象物に投影されている前記第１格子パターンおよび前記第２格子パターンを撮像し、第１撮像画像および第２撮像画像を得るカメラと、
前記第１撮像画像および前記第２撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出する演算部と、
を備えることを特徴とする。

第１実施形態に係る三次元形状計測装置の概略図である。図１の三次元形状計測装置の光学系を模式的に示す側面図である。図１の三次元形状計測装置の光学系を模式的に示す側面図である。図１の三次元形状計測装置の光学系を模式的に示す上面図である。第１実施形態に係る三次元形状計測方法を説明するためのフローチャートである。プロジェクターで投影された第１格子パターンをカメラで撮像して得られた第１撮像画像である。プロジェクターで投影された第２格子パターンをカメラで撮像して得られた第２撮像画像である。平面上に置いた４つの棒状体に、一方向のみの格子パターンを投影したときの撮像画像の例である。平面上に置いた４つの棒状体に、一方向のみの格子パターンを投影したときの撮像画像の例である。図８に示す撮像画像から求めた高さ情報の分布を、一部で切り出して作成したグラフである。図９に示す撮像画像から求めた高さ情報の分布を、一部で切り出して作成したグラフである。１ピッチ格子の輝度値分布を表す輝度値データセットＤＳと、位相をずらしながら生成した複数の正弦波（第２参照波）と、の相関性（第２相関性）を求める手順を説明するための図である。図１２の表から算出した、輝度値データセットＤＳと比較対象Ｃとの間の相関係数の絶対値と、その中の最大値と、を示す表である。第２実施形態に係る三次元計測装置の概略図である。第２実施形態に係る三次元形状計測方法を説明するためのフローチャートである。プロジェクターで投影された第１全面パターンをカメラで撮像して得られた第３撮像画像である。第２撮像ステップで取得した第２撮像画像の一部を拡大した拡大図の一例である。第３撮像ステップで取得した第３撮像画像の一部を拡大した拡大図の一例である。補正ステップで補正処理を施した後の第２撮像画像の一部を拡大した拡大図の一例である。第３実施形態に係る三次元形状計測方法を説明するためのフローチャートである。

以下、本発明の三次元形状計測方法および三次元形状計測装置を添付図面に示す実施形態に基づいて詳細に説明する。

１．第１実施形態
まず、第１実施形態に係る三次元形状計測方法および三次元形状計測装置について説明する。

１．１．装置構成
図１は、第１実施形態に係る三次元形状計測装置の概略図である。本願の各図では、互いに直交する３つの軸として、ｘ軸、ｙ軸およびｚ軸を設定している。各軸は矢印で表され、先端側を「プラス側」、基端側を「マイナス側」とする。なお、以下の説明では、ｚ軸のマイナス側を特に「上」とし、ｚ軸のプラス側を「下」としている。また、ｚ軸に沿った位置を「高さ」といい、ｘ－ｙ面内における位置を単に「位置」という。さらに、本明細書における「平行」には、一方の面または線と、他方の面または線と、のなす角度が０°±５°の範囲内でずれている状態も含む。同様に、本明細書における「垂直」および「直交」には、一方の線と、他方の線と、のなす角度が９０°±５°の範囲内でずれている状態も含む。

図１に示す三次元形状計測装置１は、ｚ軸に直交する基準面９１上に設けられた対象物である物体９の表面、すなわち物体面９２の位置および高さを算出し、三次元形状を計測する装置である。三次元形状の計測には、格子像の位相解析を伴う格子投影法を用いる。この方法では、格子パターンを物体９に投影し、その状態を撮像して得られた撮像画像に対して格子像の位相解析を行う。格子像の位相解析を行うことで、各画素での格子像の位相を求めることができる。そして、この位相から高さ情報を算出することにより、物体面９２の三次元形状が得られる。

図１に示す三次元形状計測装置１は、プロジェクター２と、カメラ３と、制御装置４と、を備えている。また、図１には、上面が基準面９１である載置台９０と、基準面９１上に載置された物体９と、を図示している。

プロジェクター２は、任意の波長の光を射出し、所望のパターンを投影する機能を有する。任意の波長の光とは、例えば可視光であれば、特に限定されないが、例えば、光の三原色である赤色（Ｒ）の光、緑色（Ｇ）の光および青色（Ｂ）の光の他、白色（Ｗ）の光等である。なお、以下の説明では、光の三原色を「ＲＧＢ」ということがある。

図１に示すプロジェクター２は、光源２１と、液晶素子やマスクのような光変調素子２２と、レンズ２３と、を備えている。なお、図１に示すプロジェクター２は、実際の構造を簡素化したものであり、例えば実際の光変調素子２２は、複数に分かれていたり、レンズ２３との位置が異なったりするという点で図１と相違していてもよい。

プロジェクター２では、光源２１から出射した光を、光変調素子２２によって空間光変調することにより、格子パターンを形成する。この格子パターンを、レンズ２３を介して物体９に投影する。プロジェクター２は、制御装置４と電気的に接続されている。これにより、光変調素子２２として液晶素子を用いた場合には、プロジェクター２から投影される格子パターンの色や方向、ピッチ等を制御装置４で制御することができる。なお、以下の説明では、光変調素子２２の画素を「プロジェクター画素」ともいう。

プロジェクター２は、第１格子パターンおよび第２格子パターンを互いに直交させて基準面９１および物体面９２に投影する。
なお、プロジェクター２は、カメラ３による撮像画像またはユーザーによる指定に基づいて、物体９の色に適した波長の光を選択し、射出する機能を有していてもよい。
また、光変調素子２２としては、例えば、透過型液晶素子のような透過型の空間光変調素子、ＤＭＤや反射型液晶素子のような反射型の空間光変調素子等が挙げられる。なお、ＤＭＤは、Digital Micromirror Deviceを指す。このうち、液晶素子やＤＭＤのように、電気信号に基づいて光変調を制御可能な素子であれば、投影パターンの切り替えを速やかに行うことができる。また、異なる光変調素子を設ける必要がないため、同軸の光学系で各投影パターンを投影することができる。

カメラ３は、物体９に投影された格子パターンを撮像し、各画素で輝度値を検出する機能を有する。

図１に示すカメラ３は、撮像素子３１と、レンズ３２と、を備えている。なお、図１に示すカメラ３は、実際の構造を簡素化したものであり、例えば実際の撮像素子３１は、複数に分かれているという点で図１と相違していてもよい。

カメラ３では、物体９に投影されている格子パターンを、レンズ３２を介して撮像素子３１で撮像する。撮像素子３１は、行列状に配列した複数の画素を有する素子であり、例えば、ＣＭＯＳ素子、ＣＣＤ素子等である。ＣＭＯＳは、Complementary Metal Oxide Semiconductor（相補性金属酸化膜半導体）を指す。また、ＣＣＤは、Charge Coupled Device（電荷結合素子）を指す。

レンズ３２は、撮像倍率を調整し、プロジェクター２から投影される格子パターンの撮像画像上でのサイズを調整する。
カメラ３は、制御装置４と電気的に接続されている。カメラ３で撮像した撮像画像は、制御装置４に送信され、格子像の位相解析に供される。なお、以下の説明では、撮像素子３１の画素を「カメラ画素」ともいう。

カメラ３は、基準面９１および物体面９２に投影されている第１格子パターンおよび第２格子パターンを順次撮像し、第１格子パターンの格子像を含む第１撮像画像、および、第２格子パターンの格子像を含む第２撮像画像を得る。

カメラ３は、ＲＧＢの波長ごとに輝度値を検出するカラーカメラであってもよいが、波長によらず輝度値のみを検出するモノクロカメラであるのが好ましい。モノクロカメラでは、カラーフィルターを省略することができるので、解像度や感度、ダイナミックレンジ等がカラーカメラよりも良好であることが多い。したがって、カメラ３としてモノクロカメラを用いることにより、物体面９２の三次元形状の計測を、高分解能でかつ高精度に行うことができる。

制御装置４は、制御部４１と、演算部４２と、記憶部４３と、表示部４４と、を有する。
制御部４１は、プロジェクター２による格子パターンの投影、カメラ３による格子像の撮像、といった動作を、互いに協調させつつ制御する。
演算部４２は、カメラ３の撮像画像に含まれた輝度値の分布が持つ信頼性を評価する信頼性評価部４２２と、撮像画像に含まれた格子像に対して位相解析を行う位相解析処理部４２４と、高さ情報を算出する高さ情報算出部４２６と、を有する。
記憶部４３は、プロジェクター２に投影する格子パターンの投影データ、カメラ３で撮像した撮像画像、演算部４２による演算結果等を記憶する。
表示部４４は、必要に応じて設けられ、カメラ３の撮像画像、演算部４２による演算結果等を表示する。

制御部４１、演算部４２および記憶部４３の一部または全部は、情報を処理するプロセッサーと、プログラムやデータを記憶するメモリーと、外部インターフェースと、を有するハードウェアで構成される。プロセッサーは、メモリーに記憶された各種プログラムやデータを読み込んで実行することにより、各機能を実現する。

プロセッサーとしては、例えば、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等が挙げられる。メモリーとしては、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリー、ＲＯＭ（Read Only Memory）等の不揮発性メモリー、着脱式の外部記憶装置等が挙げられる。外部インターフェースとしては、例えば、ＵＳＢ（Universal Serial Bus）、ＲＳ－２３２Ｃ、イーサネット（登録商標）、無線ＬＡＮ（Local Area Network）等が挙げられる。

また、制御部４１および演算部４２の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現されていてもよい。

以上のような三次元形状計測装置１では、互いに交差する２つの格子パターンを物体９に順次投影する。そして、格子パターンを投影するたびに、物体９に投影された格子パターンを撮像する。次に、２つの格子パターンを撮像した撮像画像について、格子像の位相解析を行う。そして、少なくとも一方の撮像画像から得られた解析結果に基づいて、基準面９１から物体面９２までの高さをカメラ画素ごとに算出し、物体面９２の三次元形状を求める。

格子像の位相解析方法としては、撮像画像に含まれる格子像に対して位相解析を行い、位相分布を求められる方法であれば、特に限定されず、例えば、サンプリングモアレ法、１ピッチ位相解析法等が挙げられる。
本実施形態では、１ピッチ位相解析法を用いる。１ピッチ位相解析法の原理については、国際公開第２０１６／００１９８５号明細書に記載されている。

１ピッチ位相解析法では、プロジェクター２の光学系およびカメラ３の光学系が、基準面９１に対してそれぞれ平行になっている。このような光学系をモアレトポグラフィー光学系ともいう。かかる光学系によれば、物体９に投影された格子パターンをカメラ３で撮像して得られる撮像画像上では、物体面９２の高さに関係なく、格子パターンの周期は一定になる。一方、物体面９２の高さによって、カメラ画素での格子パターンの位相が変わることになる。したがって、１ピッチ位相解析法により、各カメラ画素での格子パターンの位相分布を解析することで、物体面９２の三次元形状を求めることができる。

また、１ピッチ位相解析法のような位相解析方法では、１枚の撮像画像における１つの格子ピッチの輝度分布から位相解析を行うことができる。

図２および図３は、それぞれ、図１の三次元形状計測装置１の光学系を模式的に示す側面図である。なお、図２および図３は、装置構成の物理的な配置を厳密に表したものではない。
三次元形状計測装置１では、図２および図３に示すように、プロジェクター２およびカメラ３が、ｘ軸方向とｙ軸方向の双方で互いに離間している。

プロジェクター２で投影される第１格子パターン５１および第２格子パターン５２は、図２および図３に示すように、レンズ２３の中心から基準面９１に向かって広がる範囲に投影される。ここでは、レンズ２３の中心をプロジェクター２の主点Ｏ２とする。また、カメラ３の撮像範囲も、レンズ３２の中心から基準面９１に向かって広がる範囲となる。ここでは、レンズ３２の中心をカメラ３の主点Ｏ１とする。

図２および図３では、プロジェクター２から基準面９１に向かう多数の直線によって、プロジェクター２で投影される第１格子パターン５１および第２格子パターン５２を模式的に表現している。第１格子パターン５１および第２格子パターン５２を表す直線のうち、実線は、第１格子パターン５１および第２格子パターン５２の輝度が高い領域を投影している光の光路を示し、破線は、第１格子パターン５１および第２格子パターン５２の輝度が低い領域を投影している光の光路を示している。

基準面９１に投影された第１格子パターン５１および第２格子パターン５２は、後述するように、延在方向が互いに直交するように投影される。
また、図２および図３では、基準面９１からカメラ３に向かう多数の直線によって、基準面９１に投影されている第１格子パターン５１および第２格子パターン５２の輝度が高い領域から出射した光が、撮像素子３１のカメラ画素に至る光路を示している。

これらの図２および図３から分かるように、理想的なモアレトポグラフィー光学系では、基準面９１から物体面９２までの高さによらず、カメラ３の撮像画像に、格子像の１周期が同じ大きさで映る。つまり、撮像画像における格子像の１周期の長さは、プロジェクター２やカメラ３の内部のパラメーターによって定まり、基準面９１や物体面９２までの距離には原理上影響されない。一方、物体面９２の高さによって格子像の位相が変化する。したがって、この光学系では、格子像の位相を解析することにより、物体面９２の三次元形状計測を行うことができる。

図４は、図１の三次元形状計測装置１の光学系を模式的に示す上面図である。
図４に示すように、三次元形状計測装置１では、上方から見たとき、プロジェクター２の主点Ｏ２およびカメラ３の主点Ｏ１が、ｘ軸に沿った主点間距離ｖｘおよびｙ軸に沿った主点間距離ｖｙを隔てて配置されている。

主点間距離ｖｘおよび主点間距離ｖｙは、互いに等しいことが好ましい。そして、主点Ｏ２および主点Ｏ１は、それぞれｘ－ｙ平面上で、ｘ軸およびｙ軸の双方と４５°の角度で交差する基線ＢＬ上に位置しているのが好ましい。

このような位置関係を満たすように、プロジェクター２およびカメラ３を配置することで、ｘ軸方向およびｙ軸方向の双方で、図２および図３に示すモアレトポグラフィー光学系を構成することができる。これにより、２つの格子パターンの格子像を解析することにより、２つの格子像から独立に解析結果を得ることができる。これにより、三次元形状計測を精度よく行うことができる。

１．２．計測方法
次に、第１実施形態に係る三次元形状計測方法について説明する。
図５は、第１実施形態に係る三次元形状計測方法を説明するためのフローチャートである。

図５に示す三次元形状計測方法は、第１投影ステップＳ１０２と、第１撮像ステップＳ１０４と、第２投影ステップＳ１０６と、第２撮像ステップＳ１０８と、演算ステップＳ１１０と、を含む。

１．２．１．第１投影ステップ
第１投影ステップＳ１０２では、まず、図４に示す基線ＢＬ上に主点Ｏ１、Ｏ２が位置するように、プロジェクター２およびカメラ３を配置する。この基線ＢＬは、第１格子パターン５１および第２格子パターン５２の双方に対して４５°の角度で交差する直線である。本明細書において、「基線ＢＬは、第１格子パターン５１および第２格子パターン５２の双方に対して４５°の角度で交差する」とは、基線ＢＬを基準面９１に投影したとき、投影された基線ＢＬが、互いに直交する関係を有する第１格子パターン５１の延在方向および第２格子パターン５２の延在方向の双方に対して４５°±５°の範囲で交差している状態を指す。なお、プロジェクター２およびカメラ３の配置は、これに限定されない。

次に、基準面９１上に載置された物体９に向けてプロジェクター２から第１の光を射出し、第１格子パターン５１を投影する。

図６は、プロジェクター２で投影された第１格子パターン５１をカメラ３で撮像して得られた第１撮像画像である。図６には、第１格子パターン５１の延在方向を定義するｘ軸およびｙ軸を表す矢印と、カメラ３の画素間を表す破線と、を併せて図示している。破線で囲まれた四角形が、カメラ画素３０に対応している。

図６では、カメラ画素３０の座標を（ｉ，ｊ）で表す。撮像素子３１のｉ軸と、第１格子パターン５１を構成する縞模様が並ぶ方向を規定しているｘ軸と、が重なり、撮像素子３１のｊ軸と、第１格子パターン５１を構成する縞模様の延在方向を規定しているｙ軸と、が重なるように、プロジェクター２およびカメラ３の光学系が設定されている。

第１格子パターン５１は、ｙ軸に沿って延在する一次元格子である。具体的には、第１格子パターン５１は、相対的に低い輝度で第１の光が照射されている、または、照射されていない帯状の領域５１１を複数有している。この帯状の領域５１１は、ｙ軸と平行に延在し、かつ、ｘ軸に沿って一定の間隔で並んでいる。また、第１格子パターン５１は、相対的に高い輝度で第１の光が照射されている帯状の領域５１２を複数有している。この帯状の領域５１２は、領域５１１同士の間に位置している。領域５１１の幅および領域５１２の幅は、互いに同じである。

第１格子パターン５１の１周期に対応するプロジェクター画素の画素数は、特に限定されない。つまり、領域５１１、５１２の幅に対応するプロジェクター画素の画素数は、１であっても、２以上であってもよい。

また、プロジェクター２のプロジェクター画素は、通常、ｘ軸およびｙ軸に沿って行列状に配列しているが、プロジェクター画素の配列方向は、ｘ軸およびｙ軸に対して傾いていてもよい。

１．２．２．第１撮像ステップ
第１撮像ステップＳ１０４では、物体９に投影されている第１格子パターン５１を、カメラ３で撮像する。撮像によって得られた第１撮像画像は、カメラ３から演算部４２に伝送される。なお、第１撮像画像を、一旦、記憶部４３に格納した後、演算部４２から読み出すようにしてもよい。

なお、本実施形態では、ｊ軸に沿って連続したＮ個のカメラ画素３０に第１格子パターン５１の１周期が映るように、プロジェクター２およびカメラ３で構成される光学系が設定されている。Ｎは３以上の整数である。

具体的には、図６に示す第１格子パターン５１では、ｊ軸に沿って連続した８つのカメラ画素３０の長さが１周期である。したがって、図６の例では、８つのカメラ画素３０の長さと、第１格子パターン５１の１周期と、が一致するように光学系が設定されている。これにより、８つの画素で１周期となる格子像を含む第１撮像画像が得られる。

１．２．３．第２投影ステップ
第２投影ステップＳ１０６では、第１格子パターン５１に代えて、基準面９１上に載置された物体９に向けてプロジェクター２から第２の光を射出し、第２格子パターン５２を投影する。なお、第２格子パターン５２は、第１格子パターン５１と同軸の光学系で投影されるのが好ましい。これにより、第１格子パターン５１と第２格子パターン５２とで投影条件を揃えることができる。その結果、物体９の三次元形状の計測精度をより高めることができる。

図７は、プロジェクター２で投影された第２格子パターン５２をカメラ３で撮像して得られた第２撮像画像である。図７には、第２格子パターン５２の延在方向を定義するｘ軸およびｙ軸を表す矢印と、カメラ３の画素間を表す破線と、を併せて図示している。破線で囲まれた四角形が、カメラ画素３０に対応している。

図７では、カメラ画素３０の座標を（ｉ，ｊ）で表す。撮像素子３１のｉ軸と、第２格子パターン５２を構成する縞模様の延在方向を規定しているｘ軸と、が重なり、撮像素子３１のｊ軸と、第２格子パターン５２を構成する縞模様が並ぶ方向を規定しているｙ軸と、が重なるように、プロジェクター２およびカメラ３の光学系が設定されている。

第２格子パターン５２は、ｘ軸に沿って延在する一次元格子である。具体的には、第２格子パターン５２は、相対的に低い輝度で第２の光が照射されている、または、照射されていない帯状の領域５２１を複数有している。この帯状の領域５２１は、ｘ軸と平行に延在し、かつ、ｙ軸に沿って一定の間隔で並んでいる。また、第２格子パターン５２は、相対的に高い輝度で第２の光が照射されている帯状の領域５２２を複数有している。この帯状の領域５２２は、領域５２１同士の間に位置している。領域５２１の幅および領域５２２の幅は、互いに同じである。

第１格子パターン５１の延在方向および第２格子パターン５２の延在方向は、互いに交差している。これにより、物体９の形状によらず、計測分解能を高められる。なお、交差角度は、特に限定されないが、本実施形態では、直角になっている。直角とは、双方の延在方向のなす角度が９０°±５°の範囲にある状態をいう。

第１格子パターン５１の格子ピッチ、および、第２格子パターン５２の格子ピッチは、互いに異なっていてもよいが、互いに同じであるのが好ましい。これにより、双方のパターンによる計測レンジが同じになるため、計測を行いやすく、計測結果も取り扱いやすいものとなる。

第２格子パターン５２の１周期に対応するプロジェクター画素の画素数は、特に限定されない。つまり、領域５２１、５２２の幅に対応するプロジェクター画素の画素数は、１であっても、２以上であってもよい。

第１の光および第２の光は、互いに同じ色の光であってもよいし、互いに異なる色の光であってもよい。
第１の光および第２の光が互いに同じ色の光である場合、第１の光と第２の光とで物体９における反射率の差を小さくすることができる。つまり、物体９の反射率には波長依存性があるため、第１の光と第２の光とで色を同じにすれば、反射率の差を実質的になくすことができる。これにより、第１撮像画像と第２撮像画像とで、輝度値の分布が大きく異なってしまうのを防止することができる。具体的には、第１の光と第２の光とで色が異なっている場合、物体９の反射率の波長依存性によっては、第１撮像画像と第２撮像画像とで輝度値の分布が大きく異なってしまうおそれがある。これに対し、第１の光および第２の光が互いに同じ色の光である場合、輝度値の分布が異なる可能性は低くなる。その結果、物体面９２の三次元形状の計測精度をより高めることができる。

なお、同じ色の光とは、例えば、単色光の場合には、ピーク波長の差が５０ｎｍ以下である光をいう。
また、単色光ではない場合には、第１の光を投影して撮像された第１撮像画像と、第２の光を投影して撮像された第２撮像画像とで、階調の順序に逆転が生じないように、波長分布が十分に近い光を指して「同じ色の光」という。

さらに、同じ色の光は、特に、白色光であることが好ましい。これにより、物体９の色によらず、物体面９２は、いずれかの波長域において、十分な反射率を有する。このため、白色光を用いることにより、物体９の色がどのような色であっても、十分な輝度の第１撮像画像および第２撮像画像を取得することができる。

なお、白色光とは、例えば、白色発光ダイオードやその他の白色光源から出力された光のことをいう。このうち、白色発光ダイオードの白色化方式としては、例えば、三原色ＲＧＢ方式、補色方式、蛍光励起方式等が挙げられるが、いずれであってもよい。

１．２．４．第２撮像ステップ
第２撮像ステップＳ１０８では、物体９に投影されている第２格子パターン５２を、カメラ３で撮像する。撮像によって得られた第２撮像画像は、カメラ３から演算部４２に伝送される。なお、第２撮像画像を、一旦、記憶部４３に格納した後、演算部４２から読み出すようにしてもよい。

なお、本実施形態では、ｉ軸に沿って連続したＮ個のカメラ画素３０に第２格子パターン５２の１周期が映るように、プロジェクター２およびカメラ３で構成される光学系が設定されている。Ｎは３以上の整数である。

具体的には、図７に示す第２格子パターン５２では、ｉ軸に沿って連続した８つのカメラ画素３０の長さが１周期である。したがって、図７の例では、８つのカメラ画素３０の長さと、第２格子パターン５２の１周期と、が一致するように光学系が設定されている。これにより、８つの画素で１周期となる格子像を含む第２撮像画像が得られる。

なお、第１撮像ステップＳ１０４と第２撮像ステップＳ１０８との時間間隔は、特に限定されないが、１／２００秒以上１秒以下程度であるのが好ましく、１／１００秒以上１／１０秒以下程度であるのがより好ましい。時間間隔を前記範囲内に設定することにより、第１格子パターン５１から第２格子パターン５２への切り替えに必要な時間を確保しつつ、第１撮像画像と第２撮像画像との撮像時間差を少なく抑えることができる。また、良好な第１撮像画像および第２撮像画像の取得に必要な露光時間を確保することができる。これにより、例えば物体９が移動している場合であっても、物体９の三次元形状を精度よく計測することができる。

１．２．５．演算ステップ
演算ステップＳ１１０は、位相解析ステップＳ１１２と、信頼性評価ステップＳ１１４と、信頼性比較ステップＳ１１６と、形状算出ステップＳ１１８と、を有している。

１．２．５．１．位相解析ステップ
位相解析ステップＳ１１２では、まず、演算部４２の位相解析処理部４２４が、撮像画像に含まれる格子像に対して位相解析を行う。本実施形態では、一例として、既知の１ピッチ位相解析法により、位相解析を行う。具体的には、第１格子パターン５１を撮像した第１撮像画像、および、第２格子パターン５２を撮像した第２撮像画像から、それぞれ、格子像１周期分の輝度値を抽出する。

図６では、一例として、ｘ軸、ｙ軸の原点を含み、ｘ軸に沿って連続する８つのカメラ画素３０について注目している。この８つのカメラ画素３０を「１ピッチ格子ＯＰ１」という。１ピッチ格子ＯＰ１のｘ軸に沿う長さが、第１格子パターン５１の１周期に相当する。

図７では、一例として、ｘ軸、ｙ軸の原点を含み、ｙ軸に沿って連続する８つのカメラ画素３０について注目している。この８つのカメラ画素３０を「１ピッチ格子ＯＰ２」という。１ピッチ格子ＯＰ２のｙ軸に沿う長さが、第２格子パターン５２の１周期に相当する。

１ピッチ位相解析法では、１ピッチ格子ＯＰ１を、１カメラ画素ずつ、ｘ軸に沿ってシフトさせながら、１ピッチ格子ＯＰ１の輝度値のデータセットについて、順次、位相解析を行う。ｘ軸に沿ったシフトが全て終わったら、続いて、１ピッチ格子ＯＰ１を、１カメラ画素ずつ、ｙ軸に沿ってシフトさせながら、順次、同様に位相解析を行う。

また、これと同様に、１ピッチ格子ＯＰ２を、１カメラ画素ずつ、ｙ軸に沿ってシフトさせながら、１ピッチ格子ＯＰ２の輝度値のデータセットについて、順次、位相解析を行う。ｙ軸に沿ったシフトが全て終わったら、続いて、１ピッチ格子ＯＰ２を、１カメラ画素ずつ、ｘ軸に沿ってシフトさせながら、順次、同様に位相解析を行う。

１ピッチ格子ＯＰ１の位相解析で得られた第１位相情報は、１ピッチ格子ＯＰ１中の１つの代表カメラ画素の座標に対応させた状態で、制御装置４の記憶部４３に格納される。同様に、１ピッチ格子ＯＰ２の位相解析で得られた第２位相情報は、１ピッチ格子ＯＰ２中の１つの代表カメラ画素の座標に対応させた状態で、制御装置４の記憶部４３に格納される。

これらの工程の順序は、上記に限定されず、変更してもよい。このようにして、全てのカメラ画素３０で第１位相情報および第２位相情報を取得することができる。

１．２．５．２．信頼性評価ステップ
本実施形態では、第１格子パターン５１およびそれに交差する第２格子パターン５２の双方を用いて、最終的に物体面９２の三次元形状を算出している。以下、その意義について説明する。

図８および図９は、それぞれ、平面上に置いた４つの棒状体に、一方向のみの格子パターンを投影したときの撮像画像の例である。なお、図８と図９とで、棒状体の向きがほぼ９０°異なっている。このため、図８では、格子パターンの延在方向と、棒状体の長手方向と、がほぼ平行になっている。これに対し、図９では、格子パターンの延在方向と、棒状体の長手方向と、がほぼ垂直になっている。なお、図８および図９に示すように、４つの棒状体は、幅が１ｍｍ、２ｍｍ、３ｍｍ、４ｍｍのものである。また、格子パターンの格子ピッチは１．７ｍｍである。

図１０および図１１は、図８および図９に示す撮像画像から求めた高さ情報の分布を、一部で切り出して作成したグラフである。
図１０と図１１を比較すると、図１０では、高さ情報の変化を示す段差の形状が鈍っており、棒状体の面内における位置の計測分解能が低いことがわかる。図１０では、理論的には、格子パターンの１周期分の長さが計測分解能になる。

これに対し、図１１では、高さ情報の変化を示す段差の形状が明瞭であり、棒状体の面内における位置の計測分解能が十分に高いことがわかる。図１１では、理論的には、カメラ画素のピッチが計測分解能になる。

これらを踏まえると、物体９の輪郭形状と、格子パターンの延在方向と、の関係によって、計測分解能が左右されることがわかる。

そこで、本実施形態では、延在方向が互いに異なっている第１格子パターン５１および第２格子パターン５２を撮像した第１撮像画像および第２撮像画像を取得する。そして、信頼性評価ステップＳ１１４では、第１位相情報および第２位相情報のうち、どちらの信頼性が高いのかを評価する。そして、後述するステップにおいて、信頼性が高い方の位相情報を用いて高さ情報を算出する。これにより、物体９の形状によらず、精度の高い三次元形状を計測することができる。

具体的には、信頼性評価ステップＳ１１４では、信頼性評価部４２２が、第１撮像画像が含む輝度値の分布が持つ信頼性、および、第２撮像画像が含む輝度値の分布が持つ信頼性、を評価する。信頼性とは、位相解析の原理に基づいて推定される、輝度値の分布が持つ位相情報の精度のことをいい、信頼性が高ければ、真値に近い位相情報を得られる確率は高くなる。

本実施形態では、第１撮像画像が含む輝度値の分布の信頼性として、輝度値の分布と、第１格子パターン５１の格子像を模した第１参照波と、の間の相関性（第１相関性）を採用している。同様に、本実施形態では、第２撮像画像が含む輝度値の分布の信頼性として、輝度値の分布と、第２格子パターン５２の格子像を模した第２参照波と、の間の相関性（第２相関性）を採用している。

図１２は、１ピッチ格子の輝度値分布を表す輝度値データセットＤＳと、位相をずらしながら生成した複数の正弦波（第２参照波）と、の相関性（第２相関性）を求める手順を説明するための図である。

信頼性評価部４２２は、１ピッチ格子ＯＰ２の各カメラ画素で得られた図１２に示す輝度値データセットＤＳと、第２格子パターン５２の周期で位相をずらしながら計算によって生成した正弦波（第２参照波）と、の相関性（第２相関性）を求める。この相関性は、輝度値データセットＤＳが、正弦波に対してどの程度近い分布を有しているかを示すものである。

信頼性評価ステップＳ１１４では、まず、第１撮像画像における１ピッチ格子ＯＰ１の輝度値データセットＤＳについての相関性（第１相関性）、および、第２撮像画像における１ピッチ格子ＯＰ２の輝度値データセットＤＳについての相関性（第２相関性）、をそれぞれ求める。後述するステップでは、第１相関性と第２相関性とを比較し、比較結果に基づいて、データ選別用マップを作成する。

以下、１ピッチ格子ＯＰ２の輝度値データセットＤＳについての相関性を求める方法について説明する。なお、１ピッチ格子ＯＰ１の輝度値データセットについての相関性を求める方法は、以下で説明する方法と同様であるため、説明を省略する。

図１２には、一例として、ｙ軸方向に連続する３５カメラ画素分の輝度値を示している。このうち、ｙ＝０からｙ＝９までの１０カメラ画素が１ピッチ格子ＯＰ２に相当する。つまり、図１２の例では、１０カメラ画素分の長さが、第２格子パターン５２の１周期に相当する。そして、１ピッチ格子ＯＰ２分の輝度値を輝度値データセットＤＳとする。

また、図１２では、１０カメラ画素分の長さを１周期とする正弦波を計算により生成し、カメラ画素ごとの振幅値を求め、記載している。この正弦波は、図１２に示すように、Ｓ（ｙ）＝ｓｉｎ｛２π／１０（ｙ＋φ）｝で表される。このとき、Ｓ（ｙ）が振幅値、φが正弦波の位相である。この位相を、例えば０．５カメラ画素分ずつ振ることにより、位相の異なる複数の正弦波を生成することができる。図１２には、一例として、φ＝０からφ＝９．５まで、０．５カメラ画素ずつ位相を振った複数の正弦波の振幅値Ｓ（ｙ）を示している。なお、位相の振り幅は、特に限定されず、１カメラ画素分またはそれ未満であってもよいし、０．５カメラ画素分未満であってもよい。

次に、輝度値データセットＤＳと、複数の正弦波と、の間で相関性を求め、比較する。図１２では、複数の正弦波のうち、輝度値データセットＤＳと比較する範囲を「比較対象Ｃ」とする。相関性を求めるにあたっては、輝度値データセットＤＳと、比較対象Ｃ中の各正弦波と、の相関係数を算出する。なお、本実施形態では、相関係数を算出するときの第１参照波および第２参照波として正弦波を用いているが、周期が同じであれば、正弦波に代えて、その他の波を用いるようにしてもよい。

図１３は、図１２の表から算出した、輝度値データセットＤＳと比較対象Ｃとの間の相関係数の絶対値と、その中の最大値と、を示す表である。

前述した手順で算出した輝度値データセットＤＳと比較対象Ｃとの間の相関係数の絶対値およびその最大値は、図１３に示す表のうち、ｙ＝０の行に示している。
ｙ＝０に数値を入れたら、続いて、図１２に示す輝度値データセットＤＳおよび比較対象Ｃをそれぞれｙ軸プラス側に１つシフトさせる。そして、再び、相関係数の絶対値およびその最大値を算出し、算出結果を図１３に示す表のｙ＝１の行に示す。

この作業を、図１３に示すｙ＝２５の行まで繰り返すことにより、図１３に示す表が作成される。なお、図１２に示すφ＝５．０～９．５の正弦波は、φ＝０～４．５の正弦波を反転させたものであるため、図１３では、輝度値データセットＤＳとφ＝５．０～９．５の正弦波との相関関数については省略している。以下の説明では、相関係数の絶対値を、単に相関係数という。

このようにして算出した最大値を、各カメラ画素における相関係数として採用する。
上記と同様にして、１ピッチ格子ＯＰ１についても、相関係数およびその最大値を算出する。
以上のような手順を経て、１ピッチ格子ＯＰ１から算出した相関係数の最大値、および、１ピッチ格子ＯＰ２から算出した相関係数の最大値を、カメラ画素ごとに算出する。

１．２．５．３．信頼性比較ステップ
信頼性比較ステップＳ１１６では、信頼性評価部４２２が、カメラ画素ごとに、１ピッチ格子ＯＰ１から算出した相関係数の最大値（第１相関性）と、１ピッチ格子ＯＰ２から算出した相関係数の最大値（第２相関性）と、を比較する。そして、高い方を記憶部４３に記憶する。これにより、記憶部４３には、前述した第１位相情報と第２位相情報のどちらを用いるべきかという「選択情報」が、各カメラ画素の座標と関連付けた状態で格納される。後述する形状算出ステップＳ１１８では、この選択情報に基づいて、いずれか一方の位相情報を用い、高さ情報を算出する。

なお、あらかじめしきい値（基準値）を設けておき、１ピッチ格子ＯＰ１から算出した相関係数の最大値と１ピッチ格子ＯＰ２から算出した相関係数の最大値の双方がしきい値よりも低い場合には、そのカメラ画素について、最終的な高さ情報を出力しないようにしてもよい。この場合、記憶部４３には、第１位相情報と第２位相情報のいずれも指定しないという選択情報が格納される。そうなると、そのカメラ画素では、高さ情報が存在しないことになるが、誤差の大きい高さ情報が出力されるより、あらかじめ除外されていた方が、三次元形状データとしての利用しやすさが向上するため、有用である。

例えば、図１３では、相関係数の最大値のしきい値を０．９５に設定している。相関係数の最大値が０．９５未満になっている欄には、図示の便宜のため、ドットを付している。また、特に、相関係数の最大値が０．９０未満になっている欄には、相対的に密なドットを付している。図１３の例では、これらの欄に該当するカメラ画素について、高さ情報を出力しないという選択情報を設定すればよい。

一方、信頼性評価部４２２は、１ピッチ格子ＯＰ１から算出した相関係数と１ピッチ格子ＯＰ２から算出した相関係数の双方がしきい値以上になった場合、第１位相情報と第２位相情報の双方を指定するという選択情報を記憶部４３に格納するようにしてもよい。

以上のようにして、信頼性評価部４２２は、各カメラ画素の座標と、選択情報と、を関連付けた「データ選別用マップ」を作成し、記憶部４３に格納する。

なお、前述した第１投影ステップＳ１０２の以前に、物体９を配置していない基準面９１に対して、第１投影ステップＳ１０２、第１撮像ステップＳ１０４、第２投影ステップＳ１０６および第２撮像ステップＳ１０８と同様の工程を行っておいてもよい。これにより、基準面９１についての第１撮像画像および第２撮像画像を取得し、第１撮像画像および第２撮像画像についての演算結果が記憶部４３に格納される。

なお、信頼性評価部４２２は、物体面９２についてのデータ選別用マップだけでなく、基準面９１についてのデータ選別用マップを作成するようにしてもよい。

１．２．５．４．形状算出ステップ
形状算出ステップＳ１１８では、演算部４２の高さ情報算出部４２６が、記憶部４３に格納しておいた、物体面９２についての第１位相情報および第２位相情報の少なくとも一方と、基準面９１についての第１位相情報および第２位相情報の少なくとも一方と、を読み出す。

基準面９１についての第１位相情報および第２位相情報は、前述した第１投影ステップＳ１０２の以前に、あらかじめ取得し、記憶部４３に格納しておけばよい。

次いで、高さ情報算出部４２６は、データ選別用マップに基づいて位相情報の選択を行うとともに、物体面９２についての位相情報と、基準面９１についての位相情報と、を用いて位相差を求める。そして、高さ情報算出部４２６は、この位相差から、基準面９１から物体面９２までの高さ情報を算出する。また、高さ情報の分布から物体面９２の位置を算出する。このようにして、物体面９２の三次元形状が求められる。すなわち、形状算出ステップＳ１１８において、演算部４２は、第１撮像画像および第２撮像画像の少なくとも一方について、格子像の位相解析を行い、物体面９２の高さ情報を算出する。

なお、信頼性評価ステップＳ１１４および信頼性比較ステップＳ１１６の位置は、上記の位置に限定されず、例えば、位相解析ステップＳ１１２の前であってもよいし、形状算出ステップＳ１１８の後であってもよい。前者の場合、位相解析ステップＳ１１２では、データ選別用マップで選択された撮像画像についてのみ位相解析処理を行えばよいので、演算量を減らすことができる。後者の場合、形状算出ステップＳ１１８では、第１位相情報から算出した高さ情報または第２位相情報から算出した高さ情報をデータ選別用マップに基づいて選択し、物体面９２の三次元形状を算出する。

以上のように、本実施形態に係る三次元形状計測方法は、第１投影ステップＳ１０２と、第１撮像ステップＳ１０４と、第２投影ステップＳ１０６と、第２撮像ステップＳ１０８と、演算ステップＳ１１０と、を含む。第１投影ステップＳ１０２では、第１の光により、第１格子パターン５１を物体９（対象物）に投影する。第１撮像ステップＳ１０４では、物体９に投影されている第１格子パターン５１をカメラ３で撮像し、第１撮像画像を得る。第２投影ステップＳ１０６では、第２の光により、第１格子パターン５１と交差する第２格子パターン５２を物体９に投影する。第２撮像ステップＳ１０８では、物体９に投影されている第２格子パターン５２をカメラ３で撮像し、第２撮像画像を得る。演算ステップＳ１１０では、第１撮像画像および第２撮像画像の少なくとも一方について、格子像の位相解析を行い、物体９の高さ情報を算出する。

このような構成によれば、互いに交差する第１格子パターン５１および第２格子パターン５２を用い、それぞれの格子像の位相解析を行うため、物体９の形状によらず、物体９の三次元形状を精度よく計測することができる。また、第１撮像画像と第２撮像画像の少なくとも２枚の画像から三次元形状を求めることができるので、多数枚の画像が必要な方法に比べて、短時間での計測が可能である。

また、物体９（対象物）の高さ情報を算出する演算ステップＳ１１０では、同一画素について、第１撮像画像における輝度値の分布と第１格子パターン５１の格子像を模した第１参照波との間の第１相関性、および、第２撮像画像における輝度値の分布と第２格子パターン５２の格子像を模した第２参照波との間の第２相関性、を算出し、第１相関性および第２相関性を比較する。そして、第１相関性が第２相関性よりも高い場合には、第１撮像画像に基づいて物体９の高さ情報を算出する。また、第２相関性が第１相関性よりも高い場合には、第２撮像画像に基づいて物体９の高さ情報を算出する。

このような構成によれば、相関性に基づいて、撮像画像の輝度値の分布が持つ位相情報の信頼性を的確かつ容易に評価することができる。このため、計測分解能が相対的に高い方の撮像画像を選択して解析に供することができるので、より高い精度で三次元形状を求めることができる。

また、本実施形態に係る三次元形状計測装置１は、プロジェクター２と、カメラ３と、演算部４２を有する制御装置４と、を備える。プロジェクター２は、第１の光による第１格子パターン５１および第２の光による第２格子パターン５２を互いに交差させて物体９（対象物）に順次投影する。カメラ３は、物体９に投影されている第１格子パターン５１および第２格子パターン５２を撮像し、第１撮像画像および第２撮像画像を得る。演算部４２は、第１撮像画像および第２撮像画像の少なくとも一方について、格子像の位相解析を行い、物体９の高さ情報を算出する。

このような構成によれば、互いに交差する第１格子パターン５１および第２格子パターン５２を用い、それぞれの格子像の位相解析を行うため、物体９の形状によらず、物体９の三次元形状を精度よく計測し得る三次元形状計測装置１を実現することができる。また、第１撮像画像と第２撮像画像の少なくとも２枚の画像から三次元形状を求めることができるので、多数枚の画像が必要な方法に比べて、短時間での計測が可能である。

また、第１撮像画像および第２撮像画像は、カラー画像であってもよいが、モノクロ画像であるのが好ましい。モノクロ画像は、色相の情報を含まないため、カラー画像に比べて、分解能を高めやすい。したがって、第１撮像画像および第２撮像画像をモノクロ画像とすることにより、より高い精度で三次元形状を求めることができる。

２．第２実施形態
次に、第２実施形態に係る三次元形状計測方法および三次元形状計測装置について説明する。
図１４は、第２実施形態に係る三次元計測装置の概略図である。図１５は、第２実施形態に係る三次元形状計測方法を説明するためのフローチャートである。図１６は、プロジェクター２で投影された第１全面パターン５３をカメラ３で撮像して得られた第３撮像画像である。

以下、第２実施形態について説明するが、以下の説明では、第１実施形態との相違点を中心に説明し、同様の事項についてはその説明を省略する。なお、図１４ないし図１６において、第１実施形態と同様の構成については、同一の符号を付している。

２．１．装置構成
第２実施形態に係る三次元形状計測装置１Ａは、制御装置４の構成が異なる以外、第１実施形態に係る三次元形状計測装置１と同様である。

図１４に示す制御装置４の演算部４２は、前述した信頼性評価部４２２、位相解析処理部４２４および高さ情報算出部４２６に加え、補正処理部４２８を有している。補正処理部４２８は、第３撮像画像に基づいて、第１撮像画像の輝度値および第２撮像画像の輝度値を補正する。

２．２．計測方法
第２実施形態に係る三次元形状計測方法は、第１全面パターン５３を投影し、その撮像画像に基づいて、第１撮像画像の輝度値または第２撮像画像の輝度値を補正すること以外、第１実施形態と同様である。

図１５に示す三次元形状計測方法は、第１投影ステップＳ１０２と、第１撮像ステップＳ１０４と、第２投影ステップＳ１０６と、第２撮像ステップＳ１０８と、第３投影ステップＳ１２２と、第３撮像ステップＳ１２４と、補正ステップＳ１４０と、演算ステップＳ１１０と、を有する。

２．２．１．第１投影ステップ
第１投影ステップＳ１０２では、第１実施形態と同様にして、物体９に向けてプロジェクター２から第１の光を射出し、第１格子パターン５１を投影する。

２．２．２．第１撮像ステップ
第１撮像ステップＳ１０４では、第１実施形態と同様にして、物体９に投影されている第１格子パターン５１を、カメラ３で撮像する。これにより、第１撮像画像を得る。

２．２．３．第２投影ステップ
第２投影ステップＳ１０６では、第１実施形態と同様にして、物体９に向けてプロジェクター２から第２の光を射出し、第２格子パターン５２を投影する。

２．２．４．第２撮像ステップ
第２撮像ステップＳ１０８では、第１実施形態と同様にして、物体９に投影されている第２格子パターン５２を、カメラ３で撮像する。これにより、第２撮像画像を得る。

２．２．５．第３投影ステップ
第３投影ステップＳ１２２では、物体９に向けてプロジェクター２から第１の光を射出し、第１全面パターン５３を投影する。図１６に示す第１全面パターン５３は、少なくとも物体９を覆う範囲に投影される。この第１全面パターン５３は、基準面９１に投影され、それをカメラ３で撮像したとき、各カメラ画素３０での輝度値が均一になるように生成される。したがって、プロジェクター画素間における輝度の指示値は、互いに等しくてもよいが、プロジェクター２やカメラ３の光学収差、基準面９１の反射率等に応じて、互いに異ならせてもよい。

なお、第１全面パターン５３は、第１格子パターン５１と同軸の光学系で投影されるのが好ましい。これにより、第１格子パターン５１と第１全面パターン５３とで投影条件を揃えることができる。その結果、物体９の三次元形状の計測精度をより高めることができる。

２．２．６．第３撮像ステップ
第３撮像ステップＳ１２４では、物体９に投影されている第１全面パターン５３を、カメラ３で撮像する。これにより、第３撮像画像を得る。

なお、第２撮像ステップＳ１０８と第３撮像ステップＳ１２４との時間間隔は、特に限定されないが、１／２００秒以上１秒以下程度であるのが好ましく、１／１００秒以上１／１０秒以下程度であるのがより好ましい。時間間隔を前記範囲内に設定することにより、第２格子パターン５２から第１全面パターン５３への切り替えに必要な時間を確保しつつ、第２撮像画像と第３撮像画像との撮像時間差を少なく抑えることができる。また、良好な第２撮像画像および第３撮像画像の取得に必要な露光時間を確保することができる。これにより、例えば物体９が移動している場合であっても、物体９の三次元形状を精度よく計測することができる。

２．２．７．補正ステップ
補正ステップＳ１４０では、補正処理部４２８が、第３撮像画像に基づいて第１撮像画像の輝度値および第２撮像画像の輝度値を補正する。以下の説明では、第２撮像画像の輝度値を補正する例について説明する。

図１７は、第２撮像ステップＳ１０８で取得した第２撮像画像の一部を拡大した拡大図の一例である。図１８は、第３撮像ステップＳ１２４で取得した第３撮像画像の一部を拡大した拡大図の一例である。

図１７に示す第２撮像画像には、図７と同様の第２格子パターン５２が映っている。また、図１７は、第２格子パターン５２に加えて、物体面９２にある模様５５が映っている例である。模様５５は、物体面９２の他の領域に比べて、反射率が低い領域である。このため、図１７では、模様５５が、第２格子パターン５２の帯状の領域５２２に比べてやや暗く映っている。なお、帯状の領域５２２は、前述したように、帯状の領域５２１に比べて輝度が高い領域である。

第２撮像画像にこのような模様５５が映り込むと、第２撮像画像を後述する位相解析処理に供したとき、模様５５が第２格子パターン５２の格子像の位相に影響を及ぼすおそれがある。位相が意図せず変化すると、最終的に算出される高さ情報の精度も低下する。

一方、模様５５は、第３撮像画像にも映り込む。図１８に示す第３撮像画像は、前述したように第１全面パターン５３が映っている。このため、明暗を伴う第２格子パターン５２とは異なり、基準面９１上では、全体がほぼ同じ輝度で照明されることになる。その結果、第３撮像画像において、模様５５と他の領域との間に生じる輝度値の差は、模様５５と他の領域との間における反射率の差を反映したものとなる。

そこで、本実施形態では、この第３撮像画像を用いて、第２撮像画像の輝度値を補正する。具体的には、補正ステップＳ１４０では、カメラ画素３０ごとに、第２撮像画像の輝度値を第３撮像画像の輝度値で除する補正処理を行う。これにより、第２撮像画像に映り込んだ模様５５によって一部のカメラ画素３０の輝度値が低下した場合でも、その低下を補正することができる。その結果、補正後の第２撮像画像は、第２格子パターン５２による輝度分布をより精度よく反映したものとなる。

図１９は、補正ステップＳ１４０で補正処理を施した後の第２撮像画像の一部を拡大した拡大図の一例である。図１９に示す補正後の第２撮像画像では、破線５５０で示した領域と他の領域との間に生じていた輝度値の差がなくなっている。つまり、模様５５による輝度値の低下が補正されている。その結果、図１９では、第２格子パターン５２の格子像が本来の輝度分布を伴っている。このような補正後の第２撮像画像を用いて、後述する位相解析処理を行うことにより、第２格子パターン５２の位相をより精度よく算出することができる。

なお、補正ステップＳ１４０における補正処理の方法は、上記の方法に限定されず、第３撮像画像を用いた補正処理であれば、いかなる処理であってもよい。

例えば、物体面９２中に、例えば物体９自身に遮られて第１の光が当たらない領域（影領域）が含まれていた場合には、極端に低い輝度値として観測される。したがって、第３撮像画像において極端に低い輝度値を検出することができれば、それに基づいて、影領域に対応するカメラ画素を特定することができる。

また、物体面９２中に、例えば照射された第１の光をカメラ３に向けて極めて高い反射率で反射する領域（反射領域）が含まれていた場合には、極端に高い輝度値として観測される。このような輝度値は、物体面９２中に光沢等を有する領域が含まれている場合等に観測されやすい。そして、反射が発生すると、輝度値が飽和してしまい、正しい輝度値が得られないおそれがある。したがって、第３撮像画像において極端に高い輝度値を検出することができれば、それに基づいて、反射領域に対応するカメラ画素を特定することができる。

そこで、補正ステップＳ１４０では、第３撮像画素の輝度値が所定の範囲に入っているか否かを判定する処理を行ってもよい。この処理の結果、輝度値が所定の範囲より低い場合、または、所定の範囲より高い場合には、後述する演算ステップＳ１１０において、そのカメラ画素では高さ情報を出力しないように、出力要否の情報を記憶部４３に格納する。これにより、極端に高い輝度値や極端に低い輝度値に起因する誤差の大きい高さ情報が出力されてしまうのを避けることができる。なお、誤差が大きい高さ情報が含まれているよりは、あらかじめ除外されていた方が、三次元形状データの利用しやすさが向上するため、有用である。

また、１ピッチ位相解析法では、格子パターンの１周期分で信頼性の高い輝度値を有していることが求められる。その観点からすると、影領域や反射領域に対応するカメラ画素の周辺では、位相解析の精度が低下する可能性がある。そこで、補正ステップＳ１４０では、影領域や反射領域に対応するカメラ画素に加え、その周辺の、少なくとも格子パターンの１周期分の範囲のカメラ画素でも、高さ情報が出力されないように、出力要否の情報を記憶部４３に格納しておいてもよい。これにより、影領域や反射領域の影響を間接的に受ける周辺のカメラ画素でも、高さ情報が出力されるのを防止することができる。

なお、上述した補正処理では、任意の画像処理を行うようにしてもよい。画像処理としては、例えば、二値化処理、フィルター処理、ノイズ除去処理等が挙げられる。

以上、第２撮像画像の輝度値に対する補正処理について説明したが、第１撮像画像の輝度値に対する補正処理についても、上記と同様に行うことができる。特に、本実施形態では、第１の光および第２の光を互いに同じ色の光とすることで、第３撮像画像を用いた補正処理を、第１撮像画像と第２撮像画像の双方に適用することができる。これにより、補正処理における演算負荷を軽減することができる。

２．２．８．演算ステップ
演算ステップＳ１１０では、輝度値を補正した第１撮像画像および輝度値を補正した第２撮像画像を用い、第１実施形態と同様にして、物体面９２の三次元形状を算出する。

以上のように、本実施形態に係る三次元形状計測方法は、第１投影ステップＳ１０２と、第１撮像ステップＳ１０４と、第２投影ステップＳ１０６と、第２撮像ステップＳ１０８と、第３投影ステップＳ１２２と、第３撮像ステップＳ１２４と、補正ステップＳ１４０と、演算ステップＳ１１０と、を含む。第１投影ステップＳ１０２では、第１の光により、第１格子パターン５１を物体９（対象物）に投影する。第１撮像ステップＳ１０４では、物体９に投影されている第１格子パターン５１をカメラ３で撮像し、第１撮像画像を得る。第２投影ステップＳ１０６では、第２の光により、第１格子パターン５１と交差する第２格子パターン５２を物体９に投影する。第２撮像ステップＳ１０８では、物体９に投影されている第２格子パターン５２をカメラ３で撮像し、第２撮像画像を得る。第３投影ステップＳ１２２では、第１の光により、第１全面パターン５３を物体９に投影する。第３撮像ステップＳ１２４では、物体９に投影されている第１全面パターン５３をカメラ３で撮像し、第３撮像画像を得る。補正ステップＳ１４０では、第３撮像画像に基づいて、第１撮像画像の輝度値および第２撮像画像の輝度値を補正する。そして、演算ステップＳ１１０では、補正後の第１撮像画像および補正後の第２撮像画像の少なくとも一方について、格子像の位相解析を行い、物体９の高さ情報を算出する。

このような構成によれば、物体面９２に模様５５や汚れ等がある場合でも、第１撮像画像の輝度値および第２撮像画像の輝度値を補正することにより、模様５５や汚れ等の影響を低減することができるので、格子像の位相解析を精度よく行うことができる。これにより、物体９の高さ情報をより正確に取得することができるため、物体９の三次元形状を高精度に計測することができる。

３．第３実施形態
次に、第３実施形態に係る三次元形状計測方法について説明する。
図２０は、第３実施形態に係る三次元形状計測方法を説明するためのフローチャートである。

以下、第３実施形態について説明するが、以下の説明では、第２実施形態との相違点を中心に説明し、同様の事項についてはその説明を省略する。なお、図２０において、第２実施形態と同様の構成については、同一の符号を付している。

３．１．装置構成
第３実施形態に係る三次元形状計測方法は、前述した第２実施形態に係る三次元形状計測装置１Ａを用いて行うことができる。

３．２．計測方法
第３実施形態に係る三次元形状計測方法は、第１の光による第１全面パターン５３に加え、第２の光による第２全面パターン５４を投影し、それらの撮像画像に基づいて、第１撮像画像の輝度値または第２撮像画像の輝度値を補正すること以外、第２実施形態と同様である。

図２０に示す三次元形状計測方法は、第１投影ステップＳ１０２と、第１撮像ステップＳ１０４と、第２投影ステップＳ１０６と、第２撮像ステップＳ１０８と、第３投影ステップＳ１２２と、第３撮像ステップＳ１２４と、第４投影ステップＳ１３２と、第４撮像ステップＳ１３４と、補正ステップＳ１４０と、演算ステップＳ１１０と、を有する。

３．２．１．第１投影ステップ～第２撮像ステップ
第１投影ステップＳ１０２から第２撮像ステップＳ１０８までは、第２実施形態と同様にして行う。

なお、本実施形態では、第１の光および第２の光は、互いに異なる色の光であってもよい。例えば、物体面９２の輪郭のうち、ｘ軸に平行な輪郭とｙ軸に平行な輪郭とで、色が異なるといった物体９の三次元形状を計測する場合でも、そのような物体９の色に合わせて、第１の光と第２の光の色を異ならせる。これにより、第１撮像画像および第２撮像画像の双方で十分な輝度が得られる。すなわち、本実施形態では、第１の光と第２の光とを同じ色にしてもよいし、異ならせてもよいので、物体９の色に応じて最適な色を選択することができる。なお、互いに異なる色の光とは、前述した同じ色の光ではない光のことをいう。

３．２．２．第３投影ステップ
第３投影ステップＳ１２２では、物体９に向けてプロジェクター２から第１の光を射出し、第１全面パターン５３を投影する。

３．２．３．第３撮像ステップ
第３撮像ステップＳ１２４では、物体９に投影されている第１全面パターン５３を、カメラ３で撮像する。これにより、第３撮像画像を得る。

３．２．４．第４投影ステップ
第４投影ステップＳ１３２では、物体９に向けてプロジェクター２から第２の光を射出し、第２全面パターン５４を投影する。第２全面パターン５４も、第１全面パターン５３と同様、少なくとも物体９を覆う範囲に投影される。また、第２全面パターン５４も、第１全面パターン５３と同様、基準面９１に投影され、それをカメラ３で撮像したとき、各カメラ画素３０での輝度値が均一になるように生成される。したがって、プロジェクター画素間における輝度の指示値は、互いに等しくてもよいが、プロジェクター２やカメラ３の光学収差、基準面９１の反射率等に応じて、互いに異ならせてもよい。

なお、第２全面パターン５４は、第２格子パターン５２と同軸の光学系で投影されるのが好ましい。これにより、第２格子パターン５２と第２全面パターン５４とで投影条件を揃えることができる。その結果、物体９の三次元形状の計測精度をより高めることができる。

３．２．５．第４撮像ステップ
第４撮像ステップＳ１３４では、物体９に投影されている第２全面パターン５４を、カメラ３で撮像する。これにより、第４撮像画像を得る。

なお、第３撮像ステップＳ１２４と第４撮像ステップＳ１３４との時間間隔は、特に限定されないが、１／２００秒以上１秒以下程度であるのが好ましく、１／１００秒以上１／１０秒以下程度であるのがより好ましい。

３．２．６．補正ステップ
補正ステップＳ１４０では、補正処理部４２８が、第３撮像画像に基づいて第１撮像画像の輝度値を補正し、第４撮像画像に基づいて第２撮像画像の輝度値を補正する。これらの補正処理は、第２実施形態と同様である。

本実施形態では、第１の光による第３撮像画像で第１撮像画像の輝度値を補正し、第２の光による第４撮像画像で第２撮像画像の輝度値を補正するため、第１の光と第２の光が異なる色の光であっても、適切な補正処理が可能になる。

３．２．７．演算ステップ
演算ステップＳ１１０では、輝度値を補正した第１撮像画像および輝度値を補正した第２撮像画像を用い、第１実施形態と同様にして、物体面９２の三次元形状を算出する。

以上のように、本実施形態に係る三次元形状計測方法は、第１投影ステップＳ１０２と、第１撮像ステップＳ１０４と、第２投影ステップＳ１０６と、第２撮像ステップＳ１０８と、第３投影ステップＳ１２２と、第３撮像ステップＳ１２４と、第４投影ステップＳ１３２と、第４撮像ステップＳ１３４と、補正ステップＳ１４０と、演算ステップＳ１１０と、を含む。第１投影ステップＳ１０２では、第１の光により、第１格子パターン５１を物体９（対象物）に投影する。第１撮像ステップＳ１０４では、物体９に投影されている第１格子パターン５１をカメラ３で撮像し、第１撮像画像を得る。第２投影ステップＳ１０６では、第２の光により、第１格子パターン５１と交差する第２格子パターン５２を物体９に投影する。第２撮像ステップＳ１０８では、物体９に投影されている第２格子パターン５２をカメラ３で撮像し、第２撮像画像を得る。第３投影ステップＳ１２２では、第１の光により、第１全面パターン５３を物体９に投影する。第３撮像ステップＳ１２４では、物体９に投影されている第１全面パターン５３をカメラ３で撮像し、第３撮像画像を得る。第４投影ステップＳ１３２では、第２の光により、第２全面パターン５４を物体９に投影する。第４撮像ステップＳ１３４では、物体９に投影されている第２全面パターン５４をカメラ３で撮像し、第４撮像画像を得る。補正ステップＳ１４０では、第３撮像画像に基づいて、第１撮像画像の輝度値を補正し、第４撮像画像に基づいて、第２撮像画像の輝度値を補正する。そして、演算ステップＳ１１０では、補正後の第１撮像画像および補正後の第２撮像画像の少なくとも一方について、格子像の位相解析を行い、物体９の高さ情報を算出する。

また、第１の光および第２の光が互いに異なる色の光である場合でも、上述した補正処理を行うことができる。これにより、物体９の色に応じて、第１の光および第２の光を最適化することができ、第１撮像画像および第２撮像画像の双方で十分な輝度が得られる。

以上、本発明の三次元形状計測方法および三次元形状計測装置を図示の実施形態に基づいて説明したが、本発明の三次元形状計測方法は、前記実施形態に限定されるものではなく、例えば、前記実施形態に任意の目的の工程が追加されたものであってもよい。また、本発明の三次元形状計測装置は、前記実施形態に限定されるものではなく、例えば、前記実施形態の各部が同様の機能を有する任意の構成のものに置換されたものであってもよく、前記実施形態に任意の構成物が付加されたものであってもよい。

１…三次元形状計測装置、１Ａ…三次元形状計測装置、２…プロジェクター、３…カメラ、４…制御装置、９…物体、２１…光源、２２…光変調素子、２３…レンズ、３０…カメラ画素、３１…撮像素子、３２…レンズ、４１…制御部、４２…演算部、４３…記憶部、４４…表示部、５１…第１格子パターン、５２…第２格子パターン、５３…第１全面パターン、５４…第２全面パターン、５５…模様、９０…載置台、９１…基準面、９２…物体面、４２２…信頼性評価部、４２４…位相解析処理部、４２６…高さ情報算出部、４２８…補正処理部、５１１…領域、５１２…領域、５２１…領域、５２２…領域、５５０…破線、ＢＬ…基線、Ｃ…比較対象、ＤＳ…輝度値データセット、Ｏ１…主点、Ｏ２…主点、ＯＰ１…１ピッチ格子、ＯＰ２…１ピッチ格子、Ｓ１０２…第１投影ステップ、Ｓ１０４…第１撮像ステップ、Ｓ１０６…第２投影ステップ、Ｓ１０８…第２撮像ステップ、Ｓ１１０…演算ステップ、Ｓ１１２…位相解析ステップ、Ｓ１１４…信頼性評価ステップ、Ｓ１１６…信頼性比較ステップ、Ｓ１１８…形状算出ステップ、Ｓ１２２…第３投影ステップ、Ｓ１２４…第３撮像ステップ、Ｓ１３２…第４投影ステップ、Ｓ１３４…第４撮像ステップ、Ｓ１４０…補正ステップ、ｖｘ…主点間距離、ｖｙ…主点間距離

Claims

第１の光により、第１格子パターンを対象物に投影するステップと、
前記対象物に投影されている前記第１格子パターンをカメラで撮像し、第１撮像画像を得るステップと、
第２の光により、前記第１格子パターンと交差する第２格子パターンを前記対象物に投影するステップと、
前記対象物に投影されている前記第２格子パターンを前記カメラで撮像し、第２撮像画像を得るステップと、
前記第１撮像画像および前記第２撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出するステップと、
を含むことを特徴とする三次元形状計測方法。
前記第１の光および前記第２の光は、互いに同じ色の光である請求項１に記載の三次元形状計測方法。
前記同じ色の光は、白色光である請求項２に記載の三次元形状計測方法。
前記第１の光および前記第２の光は、互いに異なる色の光である請求項１に記載の三次元形状計測方法。
第１の光により、第１格子パターンを対象物に投影するステップと、
前記対象物に投影されている前記第１格子パターンをカメラで撮像し、第１撮像画像を得るステップと、
第２の光により、前記第１格子パターンと交差する第２格子パターンを前記対象物に投影するステップと、
前記対象物に投影されている前記第２格子パターンを前記カメラで撮像し、第２撮像画像を得るステップと、
前記第１の光により、第１全面パターンを前記対象物に投影するステップと、
前記対象物に投影されている前記第１全面パターンを前記カメラで撮像し、第３撮像画像を得るステップと、
前記第３撮像画像に基づいて、前記第１撮像画像の輝度値および前記第２撮像画像の輝度値を補正するステップと、
補正後の前記第１撮像画像および補正後の前記第２撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出するステップと、
を含むことを特徴とする三次元形状計測方法。
第１の光により、第１格子パターンを対象物に投影するステップと、
前記対象物に投影されている前記第１格子パターンをカメラで撮像し、第１撮像画像を得るステップと、
第２の光により、前記第１格子パターンと交差する第２格子パターンを前記対象物に投影するステップと、
前記対象物に投影されている前記第２格子パターンを前記カメラで撮像し、第２撮像画像を得るステップと、
前記第１の光により、第１全面パターンを前記対象物に投影するステップと、
前記対象物に投影されている前記第１全面パターンを前記カメラで撮像し、第３撮像画像を得るステップと、
前記第２の光により、第２全面パターンを前記対象物に投影するステップと、
前記対象物に投影されている前記第２全面パターンを前記カメラで撮像し、第４撮像画像を得るステップと、
前記第３撮像画像に基づいて、前記第１撮像画像の輝度値を補正し、前記第４撮像画像に基づいて、前記第２撮像画像の輝度値を補正するステップと、
補正後の前記第１撮像画像および補正後の前記第２撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出するステップと、
を含むことを特徴とする三次元形状計測方法。
前記第１撮像画像および前記第２撮像画像は、モノクロ画像である請求項１ないし６のいずれか１項に記載の三次元形状計測方法。
前記対象物の高さ情報を算出するステップは、
同一画素について、前記第１撮像画像における輝度値の分布と前記第１格子パターンの格子像を模した第１参照波との間の第１相関性、および、前記第２撮像画像における輝度値の分布と前記第２格子パターンの格子像を模した第２参照波との間の第２相関性、を算出し、
前記第１相関性および前記第２相関性を比較し、
前記第１相関性が前記第２相関性よりも高い場合には、前記第１撮像画像に基づいて高さ情報を算出し、前記第２相関性が前記第１相関性よりも高い場合には、前記第２撮像画像に基づいて高さ情報を算出する請求項１ないし７のいずれか１項に記載の三次元形状計測方法。
第１の光による第１格子パターンおよび第２の光による第２格子パターンを互いに交差させて対象物に順次投影するプロジェクターと、
前記対象物に投影されている前記第１格子パターンおよび前記第２格子パターンを撮像し、第１撮像画像および第２撮像画像を得るカメラと、
前記第１撮像画像および前記第２撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出する演算部と、
を備えることを特徴とする三次元形状計測装置。
前記カメラは、モノクロカメラである請求項９に記載の三次元形状計測装置。