JP2017003469A - 三次元計測装置、三次元計測装置の制御方法及びプログラム - Google Patents

Abstract

【課題】被検物の三次元形状を高速且つ高精度に計測する。
【解決手段】パターンが投影された被検物を撮影して得られた画像に基づいて被検物の三次元形状を計測する三次元計測装置であって、第１の撮影条件及び第２の撮影条件でそれぞれ取得された前被検物の第１の画像及び第２の画像を、パターンを投影するための光源による単位時間当たりの露光量及び当該露光量に対応する輝度値の大小関係が、第１の画像及び第２の画像の間で保持されるように合成する合成部と、合成部により合成された画像に基づいて被検物の三次元形状を計測する計測部とを備える。
【選択図】 図２

Description

本発明は、三次元計測装置、三次元計測装置の制御方法及びプログラムに関する。

三角測量の原理を用いて画像情報から被検物の形状を計測する方法として空間符号化パターン投影法が知られている。プロジェクタ等の投影装置により被検物に複数の格子のパターンを投影し、複数の格子パターンを撮像装置で撮像し、格子パターンの明暗の位置と、撮像装置と投影装置の幾何関係とから被検物の形状を計測する。空間符号化パターン投影法においては、投影パターンの明暗の位置により対応付けされた符号が被検物の各点における基準面からの高さとして解析され、被検物の三次元形状が計測される。しかし、このような空間符号化パターン投影法を用いた三次元形状計測では、被検物の表面に低反射領域や高反射領域など様々な反射特性を持つ領域が広く分布している場合に問題が生じることがある。例えば、パターンを投影するための光源の光量を調整したとしても、或いは、撮像装置の露出を調整したとしても、広範囲の反射分布をカバーできないことがある。

これに対して、特許文献１では、スリット光を用いた光切断法によって生成された光切断線を撮像して階調のある濃淡画像データを得る撮像部を用いる方法が開示されている。複数の撮影条件で撮影したライン光画像から、飽和している画素の輝度を飽和輝度以下で最も明るい輝度値に置き換えて合成した画像を作成し、その画像から被検物の三次元形状を計測することにより、広範囲な反射特性を持つ被検物の形状計測を可能にしている。

また、特許文献２では、空間符号化パターン投影法を用いて、複数の撮影条件で撮影したパターン強度画像から空間符号の対応付けを行い、画像の平均輝度が最も高い条件での空間符号を統合することにより、被検物の形状計測を行っている。

特開昭６２−２１０１１号公報 特開２００７−２７１５３０号公報

しかしながら、特許文献１に記載の技術の場合、画像の輝度を、飽和していない最も高い輝度値に置き換えるだけである。そのため、空間符号化パターン投影法においてはパターンの明暗位置による符号の対応付けに際に誤って対応付けを行ってしまうことがあり、高精度な三次元形状計測を行うことが難しいという課題がある。

また、特許文献２に記載の技術では、複数の撮影条件で撮影したパターン強度画像から、空間符号の対応付けを行って統合する必要があるため、演算量が多くなり、計算機のメモリを多く消費してしまう。そのため、高速に三次元形状計測を行うことが難しいという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、被検物の三次元形状を高速且つ高精度に計測する技術を提供することを目的とする。

上記の目的を達成するために、本発明の一態様による三次元計測装置は以下の構成を備える。即ち、
パターンが投影された被検物を撮影して得られた画像に基づいて前記被検物の三次元形状を計測する三次元計測装置であって、
第１の撮影条件及び第２の撮影条件でそれぞれ取得された前記被検物の第１の画像及び第２の画像を、前記パターンを投影するための光源による単位時間当たりの露光量及び当該露光量に対応する輝度値の大小関係が、前記第１の画像及び前記第２の画像の間で保持されるように合成する合成手段と、
前記合成手段により合成された画像に基づいて前記被検物の三次元形状を計測する計測手段と、
を備えることを特徴とする。

本発明によれば、被検物の三次元形状を高速且つ高精度に計測することが可能となる。

本発明の一実施形態に係る三次元計測装置を示した図である。 本発明の実施形態１に係る三次元計測装置が実施する処理の手順を示すフローチャートである。 本発明の一実施形態に係る投影パターンの一例を示した図である。 本発明の実施形態１に係る複数の撮影条件におけるパターン強度画像の輝度の一例を示す図である。 本発明の実施形態１に係る画像合成前後の露光量と輝度値の関係を示す図である。 本発明の実施形態１に係るオフセットを加えた画像輝度の一例を示す図である。 本発明の実施形態１に係るオフセットを加えて合成した画像輝度の一例を示した図である。 本発明の一実施形態に係る空間符号の一例を示す図である。 本発明の優位性を説明するための図である。 画像合成における画像合成前後の露光量と輝度値の関係を示す図である。 画像の値域圧縮における露光量と輝度値の関係を示す図である。 本発明の実施形態２に係る三次元計測装置が実施する処理の手順を示すフローチャートである。 本発明の実施形態２に係る画像合成前後の露光量と輝度値の関係を示す図である。 本発明の実施形態２に係る複数の撮影条件が３つの場合の画像合成前後の露光量と輝度値の関係を示す図である。 本発明の実施形態３に係る複数の撮影条件におけるパターン強度画像の輝度の一例を示す図である。 本発明の実施形態３に係る画像合成前後の露光量と輝度値の関係を示す図である。 実施形態３に係るオフセットを加えた画像輝度の一例を示す図である。 本発明の実施形態３に係るオフセットを加えて合成した画像輝度の一例を示す図である。

以下、添付の図面を参照して、本発明の実施の形態について詳述する。

（実施形態１）
図１は、本発明の一実施形態に係る三次元計測装置を示した図である。三次元計測装置は、光源１と、パターン生成部２と、投影レンズ３ａ、３ｂと、集光レンズ５ａ、５ｂと、撮像素子６と、制御・解析部７とを備えている。例えば、パターン生成部２と、投影レンズ３ａ、３ｂとで投影部を構成し、集光レンズ５ａ、５ｂと、撮像素子６とで撮影部を構成してもよい。

光源１は、光束を射出する。パターン生成部２は、被検物４に投影する格子のパターンを生成し、パターンを変調する。投影レンズ３ａ、３ｂは、被検物４にパターンを照射する。集光レンズ５ａ、５ｂは、被検物４で反射されたパターンを集光する。撮像素子６は、被検物４から拡散・反射された光束の強度を取得する。制御・解析部７は、光源１の発光やパターン生成部２での投影パターン、撮像素子６の露光時間やゲインを制御し、撮像素子６から得られた光束の強度情報から被検物４の形状を算出する。

制御・解析部７は、光源制御部７ａと、投影パターン制御部７ｂと、撮像素子制御部７ｃと、記憶部７ｄと、画像合成部７ｅと、距離算出部７ｆとを備えている。光源制御部７ａは、光源１の発光強度や発光時間等を制御する。投影パターン制御部７ｂは、パターン生成部２で生成される投影パターンの変更等を制御する。撮像素子制御部７ｃは、撮像素子６の露光時間等の変更や画像撮影を行う。記憶部７ｄは、撮影した画像や距離演算中の結果を記憶する。画像合成部７ｅは、記憶した画像を合成する。距離算出部７ｆは、合成した画像から被検物４の三次元形状を算出する。

光源１にはＬＥＤ等が使用される。光源１は、光束を射出し、明部と暗部とが周期的に並ぶ格子のパターンを生成するパターン生成部２を照明する。例えば、パターン生成部２としては、遮光部と非遮光部とが規則的に並んだマスクパターンを用いてもよい。また、液晶素子、デジタルミラーデバイス（ＤＭＤ）などを用いることにより、モノクロパターン、正弦波状パターンなど任意のパターンを生成可能に構成してもよい。

パターン生成部２を透過した格子パターンを有する光束は、投影レンズ３ａ、３ｂへ入射される。投影レンズ３ｂから射出された光束は、被検物４に照射され、パターン生成部２により生成されたパターンが投影される。被検物４で反射及び拡散されたパターンは、結像レンズ５ａ、５ｂに入射し、被検物４に照射されたパターンの像が撮像素子６上に結像される。結像されたパターンの像の光強度をＣＣＤやＣＭＯＳセンサなどの撮像素子６によって検出する。そして、ＣＰＵ、メモリ、ディスプレイ、ハードディスクなどの記憶装置、入出力用の各種インタフェース等を具備する汎用のコンピュータ等により構成される制御・解析部７で処理される。

光源制御部７ａにより設定された発光強度と、投影パターン制御部７ｂにより指定された被検物４に投影されるパターンとを変更しながら、撮像素子制御部７ｃにより設定された露光時間とゲインで、投影されたパターンの強度を撮像素子６で複数回撮影する。そして、撮影結果を記憶部７ｄに記憶する。

そして、画像合成部７ｅにより、予め設定した撮影条件（露光時間、光源の発光強度、撮像素子のゲインの組み合わせ等）で撮影を行ったかを判定する。全ての撮影条件で撮影を行っていない場合は、光源制御部７ａにより光源１の発光強度を変更し、撮像素子制御部７ｃにより撮像素子６の露光時間とゲインを変更し、再度被検物４にパターンを投影し、パターン強度の撮影を行う。全ての撮影条件での撮影が完了した後、画像合成部７ｅは、撮影したパターン強度画像を合成して記憶部７ｄに記憶する。

その後、距離算出部７ｆが、合成されたパターン強度画像から強度情報に基づいて、被検物４の各領域に空間符号を付与し、パターン生成部２と撮像素子６との幾何関係から、被検物４の三次元形状を計測する。

以上の原理の下、複数の撮影条件で撮影したパターン強度画像から、複数の撮影条件におけるパターン強度と輝度値の関係が連続的につながるように画像合成を行って感度領域を拡大し、感度領域が拡大した画像から被検物の三次元形状を計測する例を説明する。

特に、本実施形態では、異なる２つの撮影条件（露光時間、光源の発光強度、撮像素子のゲインの組み合わせ等）で撮影したパターン強度画像を、単位時間当たりの露光量と輝度値の関係が連続的につながるように合成する。これにより、各撮影条件における単位時間当たりの露光量の多寡と画像輝度値の大小関係が逆転することなく、精度よく被検物の三次元形状を計測する例を説明する。

図２は、本発明の実施形態１に係る三次元計測装置が実施する処理の手順を示すフローチャートである。

Ｓ１０１において、制御・解析部７は、予め設定された２つの撮影条件のうちの一方の撮影条件を光源１、撮像素子６に設定する。ここで、予め設定された撮影条件のうちの一つ（以下、第１の撮影条件とする）としては、パターン強度画像において、影の領域を除いて飽和する画素が存在しても、暗い領域が明るく撮影されるような露光時間、光源の発光強度、撮像素子のゲインを設定する。また、もう一方の撮影条件（以下、第２の撮影条件とする）としては、第１の撮影条件で取得したパターン強度画像において飽和している画素が飽和しないような露光時間、光源１の発光強度、撮像素子６のゲインを設定する。この時、第１の撮影条件と第２の撮影条件とで、露光時間、光源１の発光強度、撮像素子６のゲイン全てを異なる設定にしてもよいし、いずれか一つ、または二つのみ異なる設定にしてもよい。

Ｓ１０２において、撮像素子６は、Ｓ１０１で設定された撮影条件でパターン強度画像を撮影する。この時、図３の３０１〜３１０に示すようなパターンを順に投影する。この例では、４ビットの空間符号化パターン投影法のグレイコードパターンであるため、プロジェクタからの出射光を２^４（＝１６）分割することができる。ビット数を増加させると投影枚数は増加するが、出射光の分割数を増加させることができる。例えば１０ビットの場合には、２^１０（＝１０２４）分割することが可能となり、被検物４の領域をより細かく分割でき、詳細な形状を計測することができる。

Ｓ１０３において、制御・解析部７は、予め設定した全ての撮影条件でパターン強度画像の撮影を行ったか否かを判定する。全ての撮影条件で撮影を行っていない場合は、Ｓ１０１に戻り、制御・解析部７が、まだ撮影を行っていない撮影条件を光源１及び撮像素子６に設定する。そして、Ｓ１０２へ進み、再びパターン強度画像の撮影を行う。一方、予め設定した全ての撮影条件でパターン強度画像の撮影が完了している場合は、Ｓ１０４に進む。Ｓ１０４において、制御・解析部７は、各撮影条件における単位時間当たりの露光量の多寡と輝度値の大小関係が保持されるようにパターン強度画像を合成し、感度領域を拡大した画像を生成する。

ここで、図４（ａ）及び図４（ｂ）を参照して、本実施形態に係るパターン強度画像の合成について説明する。まず図４（ａ）は、暗い領域を明るく撮影できるように、すなわち黒つぶれがなくなるように設定した第１の撮影条件で撮影されたパターン強度画像の輝度値を示している。画素Ｘ１−１〜Ｘ７−１のうち画素Ｘ３−１及びＸ７−１の画素が飽和している。一方、図４（ｂ）は、画素が飽和しないように、すなわち飽和画素がなくなるように設定した撮影条件で撮影されたパターン強度画像の輝度値を示している。画素Ｘ１−２〜Ｘ７−２の全ての画素が飽和していない。

本実施形態では、第１の撮影条件で撮影されたパターン強度画像における飽和した画素の輝度値を他の輝度値へ置き換える。具体的には、第２の撮影条件で撮影されたパターン強度画像の画素の輝度値に、各撮影条件における単位時間当たりの露光量と輝度値が連続的につながるように設定されたオフセットΔを加えたものへと置き換えることにより、パターン強度画像の合成を行う。

つまり、図４（ａ）における画素Ｘ３−１とＸ７−１の輝度値を、図４（ｂ）の画素Ｘ３−２とＸ７−２の輝度値にオフセットΔを加えたものへ置き換える。続いて、図５を参照して、オフセットΔについて説明する。図５（ａ）は、第１の撮影条件における撮像素子６の画素に対する、単位時間当たりの露光量と画像の輝度値との関係である。第１の撮影条件では第２の撮影条件と比較して露光時間が長く、また光源１の発光強度と撮像素子６のゲインが高いため、単位時間当たりの露光量ρ１で飽和してしまう。これに対して、図５（ｂ）に示すように、第２の撮影条件では第１の撮影条件と比較して露光時間が短く、また、光源１の発光強度と撮像素子６のゲインが低いため、ρ１よりも大きい単位時間当たりの露光量ρ２まで飽和せずに輝度値を取得できる。複数の撮影条件における単位時間当たりの露光量と輝度値との関係が連続的につながるためには、図５（ｃ）に示すように、第２の撮影条件のρ１における輝度値が第１の撮影条件における飽和輝度値になる必要がある。このため、第１の撮影条件における露光時間Ｔ_１、光源１の発光強度Ｗ_１、撮像素子６のゲインＧ_１、第２の撮影条件における露光時間Ｔ_２、光源１の発光強度Ｗ_２、撮像素子６のゲインＧ_２、画像の階調幅をαとすると、オフセットΔは以下の式（１）で表すことができる。

ここで、Ｒｏｕｎｄｕｐ（）は括弧内の数値を整数に切り上げる関数である。αは画像の階調幅であり、画像の階調が１２ｂｉｔの場合、画像の輝度値の範囲は２^１２＝４０９６となる。異なる２つの撮影条件から算出されたオフセットΔを第２の撮影条件で撮影したパターン強度画像の輝度値に加える。オフセットΔを加えたパターン強度画像輝度を図６に示す。図６の点線は、第２の撮影条件で撮影したパターン強度画像の輝度値を示しており、実線はオフセットΔを加えた輝度値を示している。オフセットΔを加えることにより、複数の撮影条件におけるパターン強度と輝度値の関係が連続的につながることとなる。

次に、第１の撮影条件で撮影したパターン強度画像と、第２の撮影条件で撮影したパターン強度画像にオフセットΔを加えた画像とを合成する。画像の合成では、第１の撮影条件で撮影したパターン強度画像において飽和している画素の輝度を、第２の撮影条件で撮影した飽和していない画素の輝度値にオフセットΔを加えたものに置き換える。

ここで、図７に、合成したパターン強度画像の概要を示す。図４（ａ）に示した第１の撮影条件で撮影したパターン強度画像において飽和している画素Ｘ３−１とＸ７−１の輝度値を、図６に示した第２の撮影条件で撮影したパターン強度画像にオフセットΔを加えた画像の画素Ｘ３−２'とＸ７−２'の輝度値にそれぞれ置き換え、パターン強度画像を合成する。

次に、Ｓ１０５において、制御・解析部７は、Ｓ１０４で合成されたパターン強度画像に基づいて被検物４の三次元形状を計測し、処理を終了する。本実施形態では空間符号化パターン投影法を用いる。空間符号化パターン投影法では、各ｂｉｔのパターン強度画像の輝度情報から明暗判定を行い、撮影範囲の領域毎に空間符号を付与する。例えば、１ｂｉｔ目の画像において明暗判定を行い、空間符号を付与する際、図３の３０２のポジティブパターン画像と、図３の３０７のネガティブパターン画像との同一画素について、ポジティブパターンの輝度とネガティブパターンの輝度との平均値を閾値とする。そして、当該閾値よりも明るい画素を１、暗い画素を０と判定し、空間符号を付与する。これを各ｂｉｔのパターン強度画像に対して行い、４ｂｉｔまで当該処理を行うと、図８に示すような空間符号が付与される。この時、Ｓ１０４で第２の撮影条件のパターン強度画像の輝度値にオフセットΔを加えたことにより、明暗判定を間違えることなく、正しく空間符号の付与を行うことができる。そして、付与した空間符号と、パターン生成部２と撮像素子６との幾何関係とから被検物４の三次元形状を算出する。

ここで、オフセットを加えた場合と加えなかった場合との各合成結果の例を図９に示す。図９の９０１は、第１の撮影条件のポジティブパターンの輝度値が飽和し、第２の撮影条件のポジティブパターンの輝度値が第１の撮影条件のネガティブパターンの輝度値より小さくなる場合を示している。９０１のような場合において、オフセットΔの加算無しで合成した画像では、図９の９０２に示すように、ポジティブパターンの輝度値とネガティブパターンの輝度値との大小関係が逆転してしまう。そのため、明暗判定を間違ってしまい、正しく空間符号を付与することができず、被検物４の三次元形状を精度よく計測することができない。

これに対して、オフセットΔを加えて合成した画像においては、図９の９０３に示すように、ポジティブパターンの輝度値とネガティブパターンの輝度値との大小関係が保持されることから、正しく明暗判定を行うことができる。したがって、正しく空間符号を付与することができ、被検物４の三次元形状を精度よく計測することが可能となる。

また、ポジティブパターンの輝度値とネガティブパターンの輝度値との大小関係が反転しないような画像合成方法として、図１０（ａ）−図１０（ｃ）に示すように、各撮影条件における単位時間当たりの露光量と輝度の関係が一致するように画像輝度に対して演算を行い、画像を合成する方法が広く知られている。しかし、第１の撮影条件と第２の撮影条件とにおける単位時間当たりの露光量が同じ輝度値の比を、第２の撮影条件の画像輝度値に乗算することにより当該方法が実施されることが多い。そのため、第１の撮影条件と第２の撮影条件の輝度値の比が大きくなるほど、合成後の飽和輝度値が大きくなる。従って、合成後の画像を記憶するために、記憶部７ｄにより多くのメモリを必要とする。

一方、合成後の画像においても、２つの撮影条件の場合、輝度値の比が２倍を超える場合でも画像の階調数としては、合成する前の画像の階調数の２倍未満にしかならない。しかし、飽和輝度値は２倍より大きくなり、記憶部７ｄに必要なメモリ量が２倍より多くなるが、情報量としては２倍以上にならず、メモリ使用効率が高くない。例えば、合成前の画像の階調が１２ｂｉｔの場合、１３ｂｉｔ以上の階調値（８１９２以上）が必要になるが、階調数としては８１９２より多くならないので、メモリ空間内のデータ配置は疎な状態となり、メモリ使用効率が高くない。

また、写真等において人が観賞することを目的としており、ダイナミックレンジ拡大のために複数の撮影条件から画像を合成する場合においては、メモリ使用量の増加を低減するために、合成後の画像を、図１１（ｂ）に示すように対数関数を用いて圧縮し、メモリ使用量の増加を低減することがある。あるいは、図１１（ｃ）に示すように線形に階調幅を圧縮（低ｂｉｔ化）してメモリ使用量の増加を低減することがある。しかし、このような圧縮を行った場合、図１１（ａ）における単位時間の露光量がρ1からρ２の範囲においては、階調数は変わらないものの、階調幅が２倍上に引き延ばされておりデータ密度が低いため、問題にはなりにくい。その一方、データ密度が高いρ１までの領域については多くの階調情報が失われてしまう可能性がある。

これに対して、本実施形態に係る画像合成によると、輝度値の比が２倍以上になったとしても、合成後の飽和輝度は２倍未満にしかならない。そのため、例えば合成前の画像の階調が１２ｂｉｔであった場合、１３ｂｉｔの階調値以下（８１９２以下）で表現することができ、メモリ使用効率が高く、最小限のメモリ量の増加で合成後の画像を記憶することが可能である。

加えて、合成後の画像輝度を合成前の階調幅に圧縮したとしても、データの密度が単位時間当たりの露光量の範囲によらず一定なので、特定の領域で多くの情報が失われることがない。そのため、圧縮後の階調情報量は従来の方法と比較して多く残りやすい。また、特許文献２に開示されているような各撮影条件のパターン強度画像から被検物の形状を算出して統合する方法と比較して、本実施形態に係る画像合成方法は演算量が少なくて済み、より高速に被検物の三次元形状を計測することが可能である。

このように、本実施形態によれば、低反射領域や高反射領域など、様々な反射特性を持つ領域が広く分布しており、一つの撮影条件での撮影では十分な形状計測が困難な被検物に対しても、最小限のメモリ増加で、より高速に精度よく三次元形状の計測が可能となる。

（実施形態２）
本実施形態では、画像合成の際に加えるオフセットを複数の撮影条件から算出することなく固定値とする例について説明を行う。本実施形態を実現するために必要な三次元計測装置の構成は、図１と同様である。また各部の機能も図１と同様である。

図１２は、本発明の実施形態２に係る三次元計測装置が実施する処理の手順を示すフローチャートである。

Ｓ２０１において、制御・解析部７は、Ｓ１０１と同様に、予め設定された２つの撮影条件のうちの一方の撮影条件を光源１、撮像素子６に設定する。Ｓ２０２において、撮像素子６は、Ｓ１０２と同様に、Ｓ２０１で設定された撮影条件でパターン強度画像を撮影する。Ｓ２０３において、制御・解析部７は、Ｓ１０３と同様に、予め設定した全ての撮影条件でパターン強度画像の撮影を行ったか否かを判定する。

次に、Ｓ２０４において、制御・解析部７は、固定値のオフセットを用いてパターン強度画像を合成し、感度領域を拡大した画像を生成する。

ここで、本実施形態に係るパターン強度画像の合成について説明する。本実施形態でも、第１の撮影条件で撮影されたパターン強度画像における飽和した画素の輝度値を、第２の撮影条件で撮影されたパターン強度画像の画素の輝度値にオフセットを加えたものへと置き換えることにより、パターン強度画像の合成を行う。なお、第１の撮影条件、第２の撮影条件については実施形態１と同様である。

実施形態１では、複数の撮影条件における単位時間当たりの露光量と輝度値が連続的につながるようにオフセットΔを算出する例を説明した。これに対して、本実施形態では、複数の撮影条件によらず固定値のオフセットΔ_{ｃｏｎｓｔ}を用いてパターン強度画像の合成を行う。オフセットΔ_{ｃｏｎｓｔ}は、第１の撮影条件と第２の撮影条件とで単位時間当たりの露光量の多寡と輝度値の大小関係が逆転しないような値に設定する。

例えば、オフセットΔ_{ｃｏｎｓｔ}を合成前のパターン強度画像の飽和輝度値に所定値（例えば、１）を加えた値とする。例えば、合成前の画像の階調幅が１２ｂｉｔであった場合、オフセットΔ_{ｃｏｎｓｔ}を４０９６（＝２^１２＋１）とすることで、第１の撮影条件と第２の撮影条件の単位時間当たりの露光量と輝度値の大小関係が逆転することなくパターン強度画像を合成することができる。

ここで、図１３（ｃ）は、固定値のオフセットΔ_{ｃｏｎｓｔ}を、合成前のパターン強度画像の飽和輝度値に１を加えた値とした場合の、単位時間当たりの露光量と輝度値との関係を示す。図１３（ａ）は、第１の撮影条件における単位時間当たりの露光量と画像の輝度値との関係である。図１３（ｂ）は、第２の撮影条件における単位時間当たりの露光量と画像の輝度値との関係である。合成する画像の飽和輝度値より大きな固定値のオフセットで合成を行うことにより、実施形態１と比較すると、メモリの使用効率等はやや低下するものの、オフセットを算出する処理が必要なくなるため、より高速にパターン強度画像を合成することが可能となる。

また、本実施形態では２つの撮影条件の場合を説明したが、３つ以上の撮影条件でもパターン強度画像を合成する度にオフセットΔ_{ｃｏｎｓｔ}を加算していくことにより、単位時間当たりの露光量の多寡と輝度値の大小関係が逆転しないようにパターン強度画像を合成することができる。

図１４は、３つの撮影条件の画像を合成した場合の単位時間当たりの露光量と輝度値の関係を示す。第１の撮影条件、第２の撮影条件に加えて、単位時間当たりの露光量がρ３の場合に飽和する第３の撮影条件を追加した場合、第３の撮影条件のパターン強度画像を合成する際に、２×Δ_{ｃｏｎｓｔ}をオフセットして加算すればよい。

また、撮影条件がＮ個（Ｎは自然数）になった場合でも、第Ｎの撮影条件の画像に対して（Ｎ−１）×Δ_{ｃｏｎｓｔ}をオフセットして加算すれば、単位時間当たりの露光量の多寡と輝度値の大小関係が逆転することなくパターン強度画像を合成することができる。

Ｓ２０５において、制御・解析部７は、Ｓ１０５と同様に、Ｓ２０４で合成したパターン強度画像から被検物４の三次元形状を計測して、処理を終了する。本実施形態では空間符号化パターン投影法を用いる。

以上説明したように、本実施形態によれば、実施形態１と比較して、より少ない演算処理でパターン強度画像を合成することができ、より高速に精度よく三次元形状の計測が可能となる。

（実施形態３）
本実施形態では、撮影条件が３つの場合に、画像合成の際に加えるオフセットとしてそれぞれ異なるオフセットを適用する例について説明を行う。本実施形態を実現するために必要な三次元計測装置の構成は、図１と同様である。また各部の機能も図１と同様である。

本実施形態では、実施形態１と同様の原理で処理を行う。３つの撮影条件で撮影したパターン強度画像を用いて、単位時間当たりの露光量と輝度値の関係が連続的につながるように画像合成を行う。これにより、感度領域を拡大し、感度領域を拡大した画像から被検物４の三次元形状を計測する。

以下、図２を参照しながら、本実施形態に係る処理の手順を説明する。

Ｓ１０１において、制御・解析部７は、予め設定された３つの撮影条件のうちの一つの撮影条件を光源１、撮像素子６に設定する。

パターン強度画像の平均輝度をＢ_１〜Ｂ_３とすると、平均輝度が以下の式（２）を満たすように３つの撮影条件を設定する。

第１の撮影条件としては、パターン強度画像において、影の領域を除いて飽和する画素が存在しても、暗い領域が明るく撮影されるような露光時間、光源の発光強度、撮像素子のゲインを設定する。また、第２の撮影条件としては、第１の撮影条件で取得したパターン強度画像において飽和している画素が飽和しない範囲で、できるだけパターン強度画像の平均輝度Ｂ_２が高くなるように、露光時間、光源の発光強度、撮像素子のゲインを設定する。

第３の撮影条件としては、第２の撮影条件で取得したパターン強度画像において飽和している画素が飽和しない範囲で、できるだけパターン強度画像の平均輝度Ｂ_３が高くなるように、露光時間、光源の発光強度、撮像素子のゲインを設定する。

また、合成後のパターン強度画像において、飽和する画素がなく且つ平均輝度が高くなるように３つの撮影条件を設定してもよい。この時、第１の撮影条件、第２の撮影条件、第３の撮影条件において、露光時間、光源の発光強度、撮像素子のゲインの全てを異なる設定にしてもよいし、いずれか一つ、または二つのみ異なる設定にしてもよい。Ｓ１０２、Ｓ１０３の処理は実施形態１と同様であるため、説明を省略する。

続いて、Ｓ１０４において、制御・解析部７は、各撮影条件における単位時間当たりの露光量と輝度値の大小関係が保持されるようにパターン強度画像を合成し、感度領域を拡大した画像を生成する。

ここで、図１５（ａ）―図１５（ｃ）を参照して、本実施形態に係るパターン強度画像の合成について説明する。図１５（ａ）は、第１の撮影条件で撮影したパターン強度画像の輝度値を示し、画素Ｘ１−１〜Ｘ７−１のうち画素Ｘ３−１とＸ７−１が飽和している。図１５（ｂ）は、第２の撮影条件で撮影したパターン強度画像の輝度値を示し、画素Ｘ１−２〜 Ｘ７−２のうちＸ７−２の画素が飽和している。図１５（ｃ）は、第３の撮影条件で撮影したパターン強度画像の輝度値を示し、画素Ｘ１−３〜 Ｘ７−３の全ての画素が飽和していない。

本実施形態では、パターン強度画像の合成の際に、第１の撮影条件で撮影された画像の飽和している画素を、第１の撮影条件と第２の撮影条件に基づいて算出されたオフセットΔ１を第２の撮影条件で撮影された画像の輝度値に加えたものへ置き換える。これにより、第一段階の画像の合成を行う。次に、合成した画像において飽和している画素を、オフセットΔ１に加えて更に、第２の撮影条件と第３の撮影条件とに基づいて算出されたオフセットΔ２を第３の撮影条件で撮影された画像の輝度値に加えたものへと置き換える。これにより、第二段階の合成を行い、全ての撮影条件の画像の合成を行う。

具体的には、まず図１５（ａ）における画素Ｘ３−１とＸ７−１の輝度値を、図１５（ｂ）の画素Ｘ３−２とＸ７−２の輝度値にオフセットΔ１を加えたものに置き換える。この時、オフセットΔ１は、第１の撮影条件と第２の撮影条件における単位時間当たりの露光量と輝度値の関係が連続的につながるように設定される。

次に、図１５（ｂ）の画素Ｘ７−２の輝度値を、図１５（ｃ）の画素Ｘ７−３の輝度値にオフセットΔ１とオフセットΔ２とを加えたものに置き換える。この時、オフセットΔ２は、第２の撮影条件と第３の撮影条件における単位時間当たりの露光量と輝度値の関係が連続的につながるように設定される。

図１６（ａ）−図１６（ｄ）を参照して、オフセットΔ１とオフセットΔ２の加算について説明する。図１６（ａ）は、第１の撮影条件における単位時間当たりの露光量と画像の輝度値の関係である。第１の撮影条件では、第２の撮影条件、第３の撮影条件と比較して露光時間が長く、また光源１の発光強度と撮像素子６のゲインが高いため、単位時間当たりの画素への入射光量ρ１'で飽和してしまう。

図１６（ｂ）は、第２の撮影条件における単位時間当たりの露光量と画像の輝度値の関係である。第２の撮影条件では、図１６（ｂ）に示すように、第１の撮影条件と比較して露光時間が短く、また光源１の発光強度と撮像素子６のゲインが低いため、ρ１'よりも大きい単位時間当たりの露光量ρ２'まで飽和せずに輝度値を取得できる。

図１６（ｃ）は、第３の撮影条件における単位時間当たりの露光量と画像の輝度値の関係である。第３の撮影条件では、図１６（ｃ）に示すように、第２の撮影条件と比較して露光時間が短く、また光源１の発光強度と撮像素子６のゲインがさらに低いため、ρ１'、ρ２'よりも大きい単位時間当たりの露光量ρ３'まで飽和せずに輝度値を取得できる。

そして、複数の撮影条件における単位時間当たりの露光量と輝度値の関係が連続的につながるためには、図１６（ｄ）に示すように、第２の撮影条件でのρ１'における輝度値が第１の撮影条件における飽和輝度値になる必要がある。また、第３の撮影条件でのρ２'における輝度値が第２の撮影条件の飽和輝度値になる必要がある。

ここで、第１の撮影条件における露光時間Ｔ_１、光源１の発光強度をＷ_１、撮像素子６のゲインをＧ_１とする。第２の撮影条件における露光時間をＴ_２、光源１の発光強度をＷ_２、撮像素子６のゲインをＧ_２とする。さらに、第３の撮影条件における露光時間をＴ_３、光源１の発光強度をＷ_３、撮像素子６のゲインをＧ_３、画像の階調幅をαとする。これらを用いると、オフセットΔ１とオフセットΔ２は以下の式（３）、式（４）で表すことができる。

ここで、Ｒｏｕｎｄｕｐ（）は括弧内の数値を整数に切り上げる関数である。αは画像の階調幅であり、画像の階調が１２ｂｉｔの場合、画像の輝度値の範囲は２^１２＝４０９６となる。オフセットΔ１を第２の撮影条件で撮影したパターン強度画像の輝度値に加える。また、オフセットΔ１とオフセットΔ２とを、第３の撮影条件で撮影したパターン強度画像の輝度値に加える。

オフセットΔ１を加えたパターン強度画像輝度を図１７（ａ）に示す。図１７（ａ）の点線は、第２の撮影条件で撮影したパターン強度画像の輝度値を示し、実線はオフセットΔ１を加えた輝度値を示す。

また、オフセットΔ１、オフセットΔ２を加えたパターン強度画像輝度を図１７（ｂ）に示す。図１７（ｂ）の点線は第３の撮影条件で撮影したパターン強度画像の輝度を示し、一点鎖線はオフセットΔ１を加えた輝度値を示し、実線はオフセットΔ１とオフセットΔ２を加えた輝度値を示す。オフセットΔ１、オフセットΔ２を加えることにより、複数の撮影条件における単位時間当たりの露光量と輝度値の関係を連続的につなげることができる。

次に、第１の撮影条件で撮影したパターン強度画像と、第２の撮影条件、第３の撮影条件で撮影したパターン強度画像にオフセットΔ１、Δ２を加えた画像とを合成する。

画像の合成では、第１の撮影条件で撮影したパターン強度画像において飽和している画素の輝度を、第２の撮影条件で撮影した飽和していない画素の輝度値にオフセットΔ１を加えたものへ置き換える。次に、合成したパターン強度画像において、飽和している画素の輝度を第３の撮影条件で撮影した飽和していない画素の輝度値にオフセットΔ１とオフセットΔ２を加えたものへ置き換える。

図１８の１８０１は、合成後のパターン強度画像の輝度の一例である。１８０２に示したような第１の撮影条件で撮影したパターン強度画像において飽和している画素Ｘ３−１とＸ７−１の輝度値を、１８０３に示すような第２の撮影条件で撮影したパターン強度画像にオフセットΔ１を加えた画像の画素Ｘ３−２'とＸ７−２'の輝度値へ、それぞれ置き換える。次に、画素Ｘ３−１とＸ７−１の輝度値を画素Ｘ３−２'とＸ７−２'に輝度値の置き換えた画像において、画素Ｘ７−２'の輝度値を、１８０４に示すような画素Ｘ７−３'の輝度値に置き換えて、１８０１に示すようなパターン強度画像を合成する。これにより、各撮影条件における単位時間当たりの露光量の多寡と輝度値の大小関係が逆転することなく、パターン強度画像を合成することができる。

次に、Ｓ１０５において、制御・解析部７は、実施形態１と同様に、Ｓ１０４で合成されたパターン強度画像に基づいて被検物４の三次元形状を計測し、処理を終了する。本実施形態では空間符号化パターン投影法を用いる。以上説明したように、本実施形態では、３つの撮影条件に関して、単位時間当たりの露光量が同じとなる条件の輝度値の比が３倍以上になったとしても、合成後の飽和輝度は３倍未満にしかならない。そのため、１４ｂｉｔの階調で表現することができ、メモリ使用効率が高く、最小限のメモリ量の増加で合成後の画像を記憶することが可能である。

また、本発明は、撮影条件が３つより増え、Ｎ個の撮影条件（Ｎは自然数）になったとしても適用できる。その場合、第Ｎ−１の撮影条件と第Ｎの撮影条件とに基づいてオフセットΔＮ−１を算出する。そして、第Ｎ−１の撮影条件で撮影したパターン強度画像において飽和している画素の輝度値を、第Ｎの撮影条件で撮影したパターン強度画像の輝度値にオフセットΔ１からΔＮ−１までを加えたものへ置き換える。これにより、各撮影条件における単位時間当たりの露光量の多寡と輝度値の大小関係が逆転することなく、空間符号化パターン投影法において正しく明暗判定を行うことができるパターン強度画像を合成することができる。

このように、本実施形態によれば、低反射領域や高反射領域など、様々な反射特性を持つ領域が広く分布しており、一つの撮影条件での撮影では十分な形状計測が困難な被検物に対しても、最小限のメモリ増加で、より高速に精度よく三次元形状の計測が可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：光源、２：パターン生成部、３ａ，３ｂ：投影レンズ、４：被検物、５ａ，５ｂ：集光レンズ、６：撮像素子、７：制御・解析部、７ａ：光源制御部、７ｂ：投影パターン制御部、７ｃ：撮像素子制御部、７ｄ：記憶部、７ｅ：画像合成部、７ｆ：距離算出部

Claims (13)

1. パターンが投影された被検物を撮影して得られた画像に基づいて前記被検物の三次元形状を計測する三次元計測装置であって、
   第１の撮影条件及び第２の撮影条件でそれぞれ取得された前記被検物の第１の画像及び第２の画像を、前記パターンを投影するための光源による単位時間当たりの露光量及び当該露光量に対応する輝度値の大小関係が、前記第１の画像及び前記第２の画像の間で保持されるように合成する合成手段と、
   前記合成手段により合成された画像に基づいて前記被検物の三次元形状を計測する計測手段と、
   を備えることを特徴とする三次元計測装置。
2. 前記合成手段は、前記第１の撮影条件及び前記第２の撮影条件での単位時間当たりの露光量及び当該露光量に対応する輝度値の関係が連続的につながるように合成を行うことを特徴とする請求項１に記載の三次元計測装置。
3. 前記合成手段は、前記第１の撮影条件及び前記第２の撮影条件に基づいてオフセットを算出し、当該オフセットを用いて合成を行うことを特徴とする請求項２に記載の三次元計測装置。
4. 前記合成手段は、前記第１の撮影条件及び前記第２の撮影条件のそれぞれの光源の露光時間、発光強度、撮像素子のゲイン、及び画像の階調幅に基づいて前記オフセットを算出することを特徴とする請求項３に記載の三次元計測装置。
5. 前記合成手段は、固定値のオフセットを用いて合成を行うことを特徴とする請求項１に記載の三次元計測装置。
6. 前記固定値のオフセットは、画像の飽和輝度値に所定値を加えた値であることを特徴とする請求項５に記載の三次元計測装置。
7. 前記第１の撮影条件で撮影された画像における飽和した画素の輝度値を、前記第２の撮影条件で撮影された画像の画素の輝度値に前記オフセットを加えたものへと置き換えることにより合成を行うことを特徴とする請求項４乃至６の何れか１項に記載の三次元計測装置。
8. 前記第１の撮影条件と前記第２の撮影条件とでは、前記光源による露光時間及び発光強度、撮像素子のゲインのうち少なくとも１つが異なることを特徴とする請求項１乃至７の何れか１項に記載の三次元計測装置。
9. 前記合成手段は、前記第１の撮影条件、前記第２の撮影条件、及び第３の撮影条件でそれぞれ取得された前記被検物の第１の画像、第２の画像、及び第３の画像を、前記パターンを投影するための光源による単位時間当たりの露光量に対応する輝度値の大小関係が、前記第１の画像、前記第２の画像、及び前記第３の画像の間で保持されるように合成することを特徴とする請求項１に記載の三次元計測装置。
10. 前記合成手段は、
    前記第１の撮影条件及び前記第２の撮影条件のそれぞれの光源の露光時間、発光強度、撮像素子のゲイン、及び画像の階調幅に基づいて第１のオフセットを算出し、
    前記第２の撮影条件及び前記第３の撮影条件のそれぞれの光源の露光時間、発光強度、撮像素子のゲイン、及び画像の階調幅に基づいて第２のオフセットを算出し、
    前記第１のオフセット及び前記第２のオフセットを用いて合成を行うことを特徴とする請求項９に記載の三次元計測装置。
11. 前記パターンを前記被検物に投影する投影部と、
    前記パターンが投影された前記被検物を撮影する撮影部と
    をさらに備えることを特徴とする請求項１乃至１０の何れか１項に記載の三次元計測装置。
12. パターンが投影された被検物を撮影して得られた画像に基づいて前記被検物の三次元形状を計測する三次元計測装置の制御方法であって、
    合成手段が、第１の撮影条件及び第２の撮影条件でそれぞれ取得された前記被検物の第１の画像及び第２の画像を、前記パターンを投影するための光源による単位時間当たりの露光量に対応する輝度値の大小関係が、前記第１の画像及び前記第２の画像の間で保持されるように合成する合成工程と、
    計測手段が、前記合成工程により合成された画像に基づいて前記被検物の三次元形状を計測する計測工程と、
    を有することを特徴とする三次元計測装置の制御方法。
13. 請求項１２に記載の三次元計測装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images