JP2007040841A - 三次元形状測定装置、及び三次元形状測定方法 - Google Patents

Abstract

【課題】 学カメラを用いて三次元形状を計測する三次元形状測定装置、及び三次元形状測定方法を提供する。
【解決手段】 従来の三次元形状測定装置において測定が困難であった強反射領域、スリット欠落領域、及びスリット不連続領域を、強反射領域抽出処理部５０２ａ、スリット欠落領域抽出処理部５０２ｂ、及びスリット不連続領域抽出処理部５０２ｃにより抽出し、再配置位置算出部５０６が抽出された各領域の３次元形状が測定可能な位置を算出する。そして、算出された各測定位置において三次元形状の測定を繰り返し、三次元計測処理部５０１によって各測定位置における三次元形状を統合して被写体の三次元形状のデータを生成することにより、被写体のあらゆる箇所の三次元形状を正確に測定することができる。
【選択図】 図１

Description

本発明は、三次元形状測定装置、及び三次元形状測定方法に関し、特に、光学カメラを用いて三次元形状を計測する三次元形状測定装置、及び三次元形状測定方法に関する。

三次元形状を計測する方式は、パッシブ方式とアクティブ方式の２つに大別される。パッシブ方式は、エネルギーを対象物体に放射せずに形状を計測する方式であり、アクティブ方式は、何らかのエネルギーを対象物体に放射しその反射位置を測定することによって形状を計測する方法である。パッシブ方式の代表的なものとしては、対象物体までの複数点の距離を計測するステレオ法がある。ステレオ法は、２台のカメラをある２つの位置におき、得られた２つの画像の視差から三角測量により対象物体までの距離を計測する。

特許文献１では、コイル形状・位置を計測するにあたって、ノイズとなる測定対象コイルから強い正反射光があったとしても、強い正反射光があることを検出し、ノイズとなる強い正反射光データを除去することにより、測定対象であるコイルの表面性状の制限をなくし、正確なコイルの径方向中心位置とコイル径及びコイルの幅方向中心位置とコイル幅を求めることができるコイル位置検出装置が提案されている。

特許文献２では、実物体を照明する照明手段と、この照明手段により照明された実物体を撮像し、実物体の三次元画像に適用される表面属性に関するデータを生成させるための画像データを出力する撮像手段とを有し、装置外部から制御信号に応じて、照明手段の実物体および撮像手段に対する位置若しくは方向を制御することにより、実物体の表面上の各位置に対して適切に照明光を当てながら実物体の方面属性を正確に測定することができる画像入力装置、三次元測定装置、及び三次元画像処理システムが提案されている。

特許文献３では、受光部を平面内で、しかもコンベアの載置面に垂直に向けて設置したＩＴＶカメラと、平面に対して垂直方向に物体を載置する載置面を設置して、載置面上に物体を載置して搬送するコンベアと、その幅方向が平面内に置かれたスリット状の光束を，コンベアの載置面の斜め上方から照射する光源装置と、物体から反射された光束に関する反射光を、それぞれに受光部に向けて導くとともに、平面に対して面対称に設置された反射鏡構成体と、ＩＴＶカメラで出力された画像信号を入力して、画像信号に従って物体の高さの算出等の演算を行う処理手段を備える三次元形状計測装置が提案されている。
特開２０００−３２９５１９号公報 特開２００３−２０２２９６号公報 特許第３４２８１２２号公報

しかし、上記の発明は以下の問題を有している。

ステレオ方式は、画像として取り組むことさえできれば遠方までの距離を計測することができるという特長はあるが、模様のない滑らかな面をもった表面全体の三次元形状を計測できないという問題点が存在する。また、２台のカメラの光軸を一致させることが原理的にできないため、距離を測定できない領域（以下、オクルージョンとする）が発生するという欠点があった。そのため、カメラから物体までの距離が短い場合にはアクティブ方式が用いられるが、アクティブ方式により三次元形状を計測する場合、以下の問題が生じる。まず、物体の鏡面反射の影響によるスリット投光点の抽出に含まれる誤差が大きい。また、物体の反射率の低い部分の反射量が少なく、投光位置を特定することが難しい。さらに、オクルージョン部分が抽出できない。

上述の問題を解決するため、特許文献１では、投光位置を変える方法、又は撮影位置を変えることにより計測精度を落とさずに三次元形状の計測を変える方法が提案されている。しかし、投光位置を変える方法は、撮影位置が変わらないことから、最初の撮影時にオクルージョンが生じた場合、オクルージョンを取り除くことができない。そのため、複数回撮影したにも関わらず測定範囲が著しく向上することはない。

また、投光に点光源を使用した場合、スリットの移動誤差の定数倍（例えば、数１００倍）の計測誤差が生じることになるので、スリットの位置を非常に高精度に移動しなければならない。

また、反射率の低い部分の投光位置を特定するため、一回あたりのスリット投光量を増やして反射光を抽出する方法があるが、スリット投光量が既に最大の場合には物体の反射率の低い部分の三次元形状を計測することができない。

さらに、オクルージョン部分を抽出する方法として、撮像位置を変化させる方法があるが、撮像の移動を高精度に行わなければならず、装置にかかる費用も高額になる。

また、特許文献２では、図１２に示すように、例えば円筒状の物体の三次元形状を計測する場合にスリット方向に対して垂直移動させているが、スリット方向に対して垂直移動させただけでは、円筒状の物体における強反射の生じる領域は変わらないので、スリット方向に対して平行に移動する必要がある。

そこで、本発明は、三次元形状が計測できない箇所を撮影画像から求め、算出した結果から計測できない箇所の三次元形状が計測できる位置に物体を動かし、再度三次元形状を計測することを繰り返し、計測された各三次元形状を統合して三次元データを算出する三次元形状測定装置、及び三次元形状測定方法を提案することを目的としている。

請求項１記載の発明は、スリットパターンを投影した被写体を撮影する撮影手段を有し、前記撮影手段によって撮影された画像から前記被写体の三次元形状を算出する三次元形状測定装置において、前記撮影された画像から前記被写体の三次元形状を算出できない領域を抽出する抽出手段と、前記抽出手段によって抽出された前記三次元形状を算出できない各領域について前記スリットパターンを投影する位置を算出する算出手段と、前記算出手段によって算出された位置に基づいて前記被写体を移動させる移動手段と、前記各位置において撮影された画像を合成して前記被写体の三次元形状に関するデータを生成する生成手段とを有し、前記撮影手段は、前記移動手段によって移動した前記各位置において前記被写体を撮影することを特徴とする。

請求項２記載の発明は、請求項１記載の三次元形状測定装置において、前記抽出手段は、前記被写体が有する反射率が高い領域を抽出する強反射領域抽出手段を有し、前記算出手段は、前記強反射領域抽出手段によって抽出された各領域について前記スリットパターンを投影する位置を算出することを特徴とする。

請求項３記載の発明は、請求項１記載の三次元形状測定装置において、前記抽出手段は、前記被写体に投影された前記スリットパターンが欠落した領域を抽出するスリット欠落領域抽出手段を有し、前記算出手段は、前記スリット欠落領域抽出手段によって抽出された各領域について前記スリットパターンを投影する位置を算出することを特徴とする。

請求項４記載の発明は、請求項１記載の三次元形状測定装置において、前記抽出手段は、前記被写体に投影された前記スリットパターンが不連続な領域を抽出するスリット不連続領域抽出手段を有し、前記算出手段は、前記スリット不連続領域抽出手段によって抽出された各領域について前記スリットパターンを投影する位置を算出することを特徴とする。

請求項５記載の発明は、請求項１記載の三次元形状測定装置において、前記抽出手段は、前記被写体が有する反射率が高い領域を抽出する強反射領域抽出手段と、前記被写体に投影された前記スリットパターンが欠落した領域を抽出するスリット欠落領域抽出手段と、前記被写体に投影された前記スリットパターンが不連続な領域を抽出するスリット不連続領域抽出手段とを有し、前記算出手段は、前記強反射領域抽出手段、前記スリット欠落領域抽出手段、及び前記スリット不連続領域抽出手段によって抽出された各領域について前記スリットパターンを投影する位置を算出することを特徴とする。

請求項６記載の発明は、請求項１から５のいずれか１項記載の三次元形状測定装置において、前記生成手段によって生成された前記三次元形状に関するデータから前記被写体の三次元画像を形成することを特徴とする。

請求項７記載の発明は、請求項１から６のいずれか１項記載の三次元形状測定装置において、前記生成手段によって生成された前記三次元形状に関するデータを記憶する記憶手段を有することを特徴とする。

請求項８記載の発明は、スリットパターンを投影した被写体を撮影する撮影手段を有し、前記撮影手段によって撮影された画像から前記被写体の三次元形状を算出する三次元形状測定装置の三次元形状測定方法において、前記撮影された画像から前記被写体の三次元形状を算出できない領域を抽出する抽出工程と、前記抽出工程によって抽出された前記三次元形状を算出できない各領域について前記スリットパターンを投影する位置を算出する算出工程と、前記算出工程によって算出された位置に基づいて前記被写体を移動させる移動工程と、前記各位置において撮影された画像を合成して前記被写体の三次元形状に関するデータを生成する生成工程と、前記撮影手段は、前記移動手段によって移動した前記各位置において前記被写体を撮影する工程とを有することを特徴とする。

請求項９記載の発明は、請求項８記載の三次元形状測定方法において、前記抽出工程は、前記被写体が有する反射率が高い領域を抽出する強反射領域抽出工程と、前記算出工程は、前記強反射領域抽出工程によって抽出された各領域について前記スリットパターンを投影する位置を算出する工程を有することを特徴とする。

請求項１０記載の発明は、請求項８記載の三次元形状測定方法において、前記抽出工程は、前記被写体に投影された前記スリットパターンが欠落した領域を抽出するスリット欠落領域抽出工程と、前記算出工程は、前記スリット欠落領域抽出工程によって抽出された各領域について前記スリットパターンを投影する位置を算出する工程とを有することを特徴とする。

請求項１１記載の発明は、請求項８記載の三次元形状測定方法において、前記抽出工程は、前記被写体に投影された前記スリットパターンが不連続な領域を抽出するスリット不連続領域抽出工程と、前記算出工程は、前記スリット不連続領域抽出工程によって抽出された各領域について前記スリットパターンを投影する位置を算出する工程とを有することを特徴とする。

請求項１２記載の発明は、請求項８記載の三次元形状測定方法において、前記抽出工程は、前記被写体が有する反射率が高い領域を抽出する強反射領域抽出工程と、前記被写体に投影された前記スリットパターンが欠落した領域を抽出するスリット欠落領域抽出工程と、前記被写体に投影された前記スリットパターンが不連続な領域を抽出するスリット不連続領域抽出工程とを有し、前記算出工程は、前記強反射領域抽出工程、前記スリット欠落領域抽出工程、及び前記スリット不連続領域抽出工程によって抽出された各領域について前記スリットパターンを投影する位置を算出する工程を有することを特徴とする。

請求項１３記載の発明は、請求項８から１２のいずれか１項記載の三次元形状測定装置において、前記生成工程によって生成された前記三次元形状に関するデータから前記被写体の三次元画像を形成する工程を有することを特徴とする。

請求項１４記載の発明は、請求項８から１３のいずれか１項記載の三次元形状測定装置において、前記三次元形状測定装置は、前記生成工程によって生成された前記三次元形状に関するデータを記憶する記憶手段を有することを特徴とする。

本発明は、三次元形状が計測できない箇所を撮影画像から求め、算出した結果から計測できない箇所の三次元形状が計測できる位置に物体を動かし、再度三次元形状を計測することを繰り返し、計測された各三次元形状を統合して三次元データを算出することにより、オクルージョン部分の三次元形状の測定、及び高精度な三次元形状のデータの取得を実現することができる。

以下に、本発明の一実施形態に係わる三次元形状測定装置の構成及び動作について説明する。

形状が単純、かつ反射率の低い材質でできている物体は、スリット光投影法により容易に三次元形状を計測できる。しかし、形状が複雑又は反射率の高い材質でできている物体は、三次元形状が計測できない個所が生じる。これは撮像部、投光部と物体の位置関係に大きく起因する。そのため、本実施形態においては、物体のうち三次元形状の計測に失敗した個所を画像から探索し、計測可能な位置に物体を再配置することで全ての個所の三次元形状を計測する。

まず、第一の実施形態に係わる三次元形状測定装置の構成について図１を用いて説明する。

本実施形態に係わる三次元形状測定装置は、撮影部１０１、投光部１０２、支持部１０３、撮影スイッチ１０４、被写体１０５、支持台移動部１０６、支持台固定部１０７、及びスリット１０８を有して構成される。なお、投光部１０２の前面にはガラスで生成されたスリット１０８があり、スリット１０８を通過した光はさらにレンズ（図示しない）を通過して被写体１０５に投影される。ここで、レンズは、支持台移動部１０６に投影されるスリット１０８の像のピントを合わせる。

支持台移動部１０６の表面は平面であり、撮像部１０１の持つ撮像領域と平行な面である。支持台移動部１０６の表面は、滑りにくい材質で作られていることが望ましい。撮像部１０１はモニタ（図示しない）を保持しており、使用者に撮像前の撮像の様子など、各種情報を提供することができる。スリット１０８に描かれているスリットパターンは、投光面上において撮像部１０１の光学中心と投光部１０２の投影中心を結ぶ直線を投影した直線と垂直な方向の直線からなる。スリット１０８には、スリット１０８から支持台移動部１０６に投光されるスリットパターンを、画像からスリットパターンを正確に抽出するために、色符号化の技術（阿部亨、木村正行、「色符号化スリット光を用いた顔の3次元形状計測」信学論D-II、Vol.J72-D-II,No.12,pp2061-2069,1989など）など、次数判別が可能なスリットを用いた。なお、スリット一本ごとの間隔は、すべて等間隔となるように作製されている（図１に示す）。

上記構成により支持台移動部１０６に投影されるスリット１０８の像は、レンズによっては多少の歪みを含むが、ほぼスリット１０８を拡大した像となる。

その他の構成としては、撮像部１０１及び投光部１０２を支持する支持部１０３、撮影スイッチ１０４、被写体１０５、支持台移動部１０６、支持台固定部１０７がある。支持台固定部１０７は、支持台移動部１０６と連結しており、支持台移動部１０６の平面内の移動を行う機構を備えている。なお、その際、支持台固定部１０７は移動しない。

また、撮影スイッチ１０４が押下されると、投光部１０２から光が発光される。発せられた光は、スリット１０８を透過し、支持台移動部１０６の上に存在する被写体１０５にスリットパターンを投影する。撮像部１０１と投光部１０２とは同期しており、被写体１０５にスリットパターンが投影されている様子を撮像部１０１により撮像できる。被写体１０５は、支持台移動部１０６に対して充分小さく、支持台移動部１０６の中央付近に配置される。

次に、上述の構成からなる三次元形状測定装置のシステム構成について図５を用いて説明する。

本実施形態に係わる三次元形状測定装置のシステム構成は、三次元計測処理部５０１、画像解析部５０２、強反射領域記憶部５０３、スリット欠落領域記憶部５０４、スリット不連続領域記憶部５０５、及び再配置位置算出部５０６を有して構成される。

また、画像解析部５０２は、強反射領域抽出処理部５０２ａ、スリット欠落領域抽出処理部５０２ｂ、スリット不連続領域抽出処理部５０２ｃ、及び領域分割・矩形化処理部５０２ｄを有して構成される。強反射領域抽出処理部５０２ａは、スリット画像から強反射が生じている領域を抽出する。スリット欠落領域抽出処理部５０２ｂは、オクルージョン又は物体の反射率が低いために、スリットの投光位置を決定できない領域を抽出する。スリット不連続領域抽出部５０２ｃは、投光されるスリットが線分であるため画像上で一本の軌跡（曲線）を描くが、物体に大きな段差が存在した場合、線がスリットと垂直方向に不連続となる領域が存在するため、該領域を抽出する。領域分割・矩形化処理部５０２ｄは、強反射領域抽出処理部５０２ａ、スリット欠落領域抽出処理部５０２ｂ、スリット不連続領域抽出部５０２ｃの各抽出部によって得られた領域を、分割・矩形化する。

強反射領域記憶部５０３は、強反射領域抽出処理部５０２ａにより得られた強反射領域の２値画像を、領域分割・矩形化処理部５０２ｄで処理した結果を記憶するメモリである。スリット欠落領域記憶部５０４は、スリット欠落領域抽出処理部５０２ｂにより得られたスリット欠落領域の２値画像１０１１を、領域分割・矩形化処理部５０２ｄで処理した結果を記憶するメモリである。スリット不連続領域記憶部５０５は、スリット不連続領域抽出処理部５０２ｃにより得られたスリット不連続領域の２値画像を領域分割・矩形化処理部５０２ｄで処理した結果を記憶するメモリである。

強反射領域抽出部５０２ａは、図３に示すスリット画像を所定の大きさの走査窓により走査し、走査窓の内部に閾値個以上の飽和した画素が存在した場合には、その走査窓の領域を強反射領域とし、それ以外を非強反射領域として、強反射領域の２値画像（図６（ａ）に示す）を作成する。

図３及び４では、投光されたスリットパターンを表現するために様々な線の太さや種類を使用しているが、撮像されたスリットパターンの次数の対応付けが正確に行われていることのみを表すものであり、線の太さや種類は意味を持たない。また、図３の上部に描かれている１から１４の数字は、スリットの次数を分かりやすくするために割り振ったスリット番号である。このような処理を行う理由は下記のような理由からである。

図３に示すスリット画像からスリット投光位置を抽出するためには、スリット光のプロファイルを抽出し、それに基づいてスリット光の投光位置を一箇所探し出す必要がある。これは投光スリットが幅を持つことに起因する。しかし、プロファイルから投光位置を一箇所に絞る際に、画素値が飽和している箇所がある場合、正確なプロファイルを取ることができず、スリットの投光位置に誤差を含むことになるからである。

領域分割・矩形化処理部５０２ｄは、強反射領域抽出処理部５０２ａによって作成された強反射領域の２値画像から強反射領域を抜き出し、抜き出した強反射領域を強反射領域記憶部５０３に保存する。また、領域分割・矩形化処理部５０２ｄは、スリット欠落領域抽出処理部５０２ｂによって作成されたスリット欠落領域の２値画像からスリット欠落領域を抜き出し、抜き出したスリット欠落領域をスリット欠落領域記憶部５０４に保存する。さらに、領域分割・矩形化処理部５０２ｄは、スリット不連続領域抽出処理部５０２ｃによって作成されたスリット不連続領域の２値画像からスリット不連続領域を抜き出し、抜き出したスリット不連続領域をスリット不連続領域記憶部５０５に保存する。

ここで、領域分割・矩形化処理部５０２ｄにおいて、強反射領域抽出処理部５０２ａによって作成された強反射領域の２値画像から強反射領域を抜き出す処理について図６を用いて説明する。なお、図６において、斜線で表される領域が強反射領域であり、それ以外の領域が非強反射領域である。

まず、領域分割・矩形化処理部５０２ｄは、強反射領域の連続性を調べ、強反射領域の分割を行う。連続性を調べるには、ある大きさの走査窓を用意し、走査窓内に属する強反射領域の画素数により連続性を調べると良い。図６（ａ）においては、左右２個の強反射領域に領域分割されている。次に、左側の強反射領域に対して、画像のＸ軸、Ｙ軸に平行な直線から作られる大きさ最小の矩形により強反射領域を囲み、その矩形を強反射領域７０１と定義する（図６（ｂ）に示す）。同様に、右側を強反射領域７０２とする。この操作により、強反射領域は複数にグループ分けされた矩形となり、算出された２つの強反射領域は強反射領域記憶部５０３に保存される。

次に、三次元計測処理部５０１の具体的な処理について説明する。

三次元計測処理部５０１は、スリット画像（図３に示す）の強反射領域記憶部５０３に記憶されている強反射領域中の画素の輝度値を０とする。なお、この作業により強反射領域からスリット投光位置を抽出することはできない。次に、スリット画像に対し細線化処理を行い、スリット投光位置を抽出する（図４に示す）。図４に示すスリット画像のスリット投光位置と非投光位置とを区別する２値画像をスリット投光２値画像１０１３とする。また、スリット投光位置の次数は「色符号化の技術」（前述）を使っていることより判別でき、本実施形態に係わる三次元形状測定装置はスリット投光２値画像１０１３を用いて三角測量を行い、三次元形状を計測する。

スリット欠落領域抽出処理部５０２ｂは、スリット投光２値画像１０１３上をＸ方向に走査し、スリット投光位置の保持するスリット番号が不連続となる領域を検出することによりスリット欠落領域を抽出する。

図１１は、スリット欠落領域抽出処理部５０２ｂにおける処理の一例である。まず、スリット欠落領域抽出処理部５０２ｂは、図１１（ａ）に示すスリット投光２値画像１０１３上を、図１１（ｂ）に示すようにＸ方向に走査し、検出されたスリット投光位置が持つスリット番号Ａを記憶する。そして、次に検出された投光位置のスリット番号Ｂが、Ａ＋１＝Ｂを満たさないとき、スリット番号Ａとスリット番号Ｂの間にあるスリットが欠落していると判断し、スリット番号Ａを検出した位置からスリット番号Ｂを検出した位置までの画素をスリット欠落領域とする。この処理をＸ方向の終端まで走査し、続いてＹ方向に１画素ずらし、同じくＸ方向の終端まで走査を繰り返す。このとき、強反射領域記憶部５０３に記憶されている領域とスリット欠落領域が重複した場合には、重複するスリット欠落領域を非スリット欠落領域とする。さらに、スリット欠落領域抽出処理部５０２ｂは、上述の処理をＹ座標に関しても行い、スリット欠落画像、すなわちスリット欠落領域とそれ以外の画素の位置を区別するスリット欠落２値画像１０１１（図１１（ｃ）に示す）を生成する。

次に、スリット不連続領域抽出処理部５０２ｃにおけるスリット不連続領域の算出方法について図９及び表１を用いて説明する。

図９は、スリット投光２値画像１０１３からあるスリット番号を持つスリット投光位置のみを表示し、それ以外のスリット番号を持つスリット投光位置を非表示にしたスリット投光２値画像である。また、画像サイズは１２×１０である。表１は、図９に示すスリット投光２値画像から、スリット投光座標位置をＹ軸の昇順に書き出し、更にその投光位置のデータを解析した表である。

表１のＸ、Ｙは、図９に示すスリット投光２値画像におけるスリット投光位置の画像座標を表しており、「平均」はＹ座標に関して隣り合うスリット抽出位置のＸ座標の平均を算出したもの、「平均との差」はＹ座標が１大きいスリット抽出位置の平均との差を算出したものである。

スリット不連続領域を求める場合、図９に示すようにある１本のスリットに着目し、スリット投光位置の座標を抽出し、Ｙ座標に関して隣接するスリット投光位置との平均、平均との差を算出する。そして、平均との差が閾値以上である場合、スリット不連続領域とする。閾値を０．５に設定した場合、表２の例では、斜線で記された「平均との差」を持つ座標がスリット不連続領域となり、「平均との差」が閾値以上となる連続している不連続領域ごとに分ける。表２の例では、「平均との差」が０．６７の領域を第１スリット不連続群、「平均との差」が１．６７の領域を第２スリット不連続群とする。

スリット不連続群ごとに、スリット不連続幅に関係する座標（Ｘ座標の最小値、Ｙ座標の最小値、Ｘ座標の最小値、Ｙ座標の最大値）の４点からなる長方形のスリット不連続領域を生成する。図１０の斜線の長方形が図９から生成された第１スリット不連続領域、格子の長方形が第２スリット不連続領域である。この操作をすべてのスリット番号に対して行うことにより、すべてのスリットに関するスリット不連続領域を抽出する。このとき、強反射領域記憶部５０３に記憶されている領域とスリット不連続領域が重複した場合には、重複するスリット不連続領域を、非スリット不連続領域とする。最後に、スリット不連続領域と非スリット不連続領域でない領域からなるスリット不連続２値画像１０１２を生成する。

次に、支持台再配置位置算出部５０６における再配置位置の算出処理について説明する。支持台再配置位置算出部５０６は、強反射領域記憶部５０３、スリット欠落領域記憶部５０４、及びスリット不連続領域記憶部５０５に記憶されている領域から、再配置位置を算出する。

まず、強反射領域記憶部５０３に記憶されている強反射領域から再配置位置を求める方法を述べる。強反射領域記憶部５０３に、Ｍ個の強反射領域が記憶されているとする。Ｍ＝２の例を図７に示す。図７は、強反射領域の２値画像に、強反射領域記憶部５０３に記憶された強反射領域を重畳表示したものである。

まず、強反射領域記憶部５０３に記憶されている領域のうち、１個の強反射領域８０１を選択する。次に、強反射領域８０１の縦横の画像サイズを求め（本実施形態においては、縦サイズが３、横サイズが２とする）、縦横サイズのうち、小さい値のほうを移動量とする。すなわち、再配置位置を（０、２）とする。なお、“再配置位置を（ａ、ｂ）とする”とは、支持台上に被写体１０５が存在しない状態で撮影を行ったときに、画像座標（ａ、ｂ）に撮像される三次元座標が、カメラの中心つまり画像座標（０、０）に撮像される位置に支持台を移動することであり、再配置位置（ａ、ｂ）とは、画像座標（ａ、ｂ）が画像座標（０、０）に写る位置（移動位置８０３）のことである。

カメラが透視投影系であることを考慮し、再配置位置を（０、２）とする代わりに、定数αを用いて再配置位置を（０＋α、２＋α）（α＞０）とする方法もある。強反射領域８０２に関しても同様の処理を行う。

次に、スリット欠落領域記憶部５０４に記憶されているスリット欠落領域から再配置位置を求める方法を述べる。

スリット欠落領域記憶部５０４に、Ｍ個のスリット欠落領域が記憶されているとする。図８は、スリット投光２値画像１０１３に、スリット欠落領域記憶部５０４に記憶されているスリット欠落領域２値画像１０１１を重畳したものである。図７と同様、Ｍ＝２とする。スリット欠落領域９０１を形成している４頂点のうち、画像中心から最も遠い頂点を抽出し、（本実施形態では（―４、−３））、その座標と画像中心に対し点対称となる（４、３）を再配置位置とする。スリット欠落領域９０２に対しても同様に、画像中心から最も遠い頂点の座標を求め、その座標と画像中心に対し、点対称となる座標を、再配置位置とする。

スリット不連続領域記憶部５０５に記憶されるスリット不連続領域から再配置位置を求める方法は、スリット欠落記憶部５０４に記憶されるスリット欠落領域から再配置位置を求める方法と同じであるため、ここでは説明を省略する。

次に、上述の処理により算出された再配置位置へ支持台移動部１０６を移動させ、被写体１０５を撮影する動作について説明する。なお、本実施形態においては、上述の処理によりＮ箇所の再配置位置が算出されたものとする。

支持台再配置位置算出部５０６により、すべての再配置位置の算出が終了された後、再配置位置の情報を支持台固定部１０７へ送ることにより支持台移動部１０６を再配置位置に順に移動する。再配置位置への移動後は、撮影スイッチ１０４を押すことなく投光部１０２から光が発せられ、スリット１０８を透過し、支持台移動部１０６の上に存在する被写体１０５にスリットパターンが投影される。また、撮像部１０１と投光部１０２とで同期を取ることにより、被写体１０５にスリットパターンが投影されている様子を撮像部１０１により撮像する。そして、撮像したスリット画像から強反射領域抽出処理部５０２ａにより強反射領域を抽出し、強反射領域記憶部５０３に記憶する。そして、強反射領域を考慮して三次元形状計測部５０１により三次元形状を計測する。この操作をＮ回繰り返す。本実施形態では、一回目の撮影時以外は再配置位置の算出は行っていないが、1回目以外の撮影時に再配置位置を算出しても問題はない。

三次元計測処理部５０１は、再配置位置で計測したＮ個の三次元形状を、再配置位置を考慮した基準位置での座標に変換する。そして、基準位置で計測した三次元形状と、座標変換を行ったＮ個の三次元形状とをマージングして三次元形状とする。

次に、上述の構成からなる三次元形状測定装置による三次元形状を計測する処理の全体の流れについて図２を用いて説明する。

まず、投光部１０２とスリット１０８との組み合わせにより被写体１０５にスリットパターンを投影し（ステップＳ２００）、その投影された状態を撮像部１０１で撮像する（ステップＳ２０１）。次に、強反射領域抽出部５０２ａによりスリット画像から強反射領域を抽出し、スリット投光２値画像１０１３を生成する（ステップＳ２０２）。強反射領域抽出部５０２ａにおいて生成されたスリット投光２値画像１０１３は、領域分割・矩形化処理部５０２ｄにより強反射領域が分割・矩形化され、強反射領域記憶部５０３に保存される。そして、再配置位置算出部５０６が強反射領域記憶部５０３に記憶された強反射領域から、再配置位置をａ個獲得する（ステップＳ２０３）。

三次元計測処理部５０１は、撮影したスリット画像と強反射領域記憶部５０３に記憶された強反射領域とから三次元データ及びスリット投光２値画像１０１３を生成する（ステップＳ２０４）。

次に、スリット欠落領域抽出部５０２ｂがスリット投光２値画像１０１３からスリット欠落領域を抽出し、スリット欠落領域２値画像１０１１を生成する（ステップＳ２０５）。スリット欠落領域抽出部５０２ｂで生成されたスリット欠落領域２値画像１０１１は、領域分割・矩形化処理部５０２ｄによりスリット欠落領域が分割・矩形化され、分割・矩形化されたスリット欠落領域はスリット欠落領域記憶部５０４に保存される。さらに、再配置位置算出部５０６は、スリット欠落領域記憶部５０４に保存されたスリット欠落領域から再配置位置をｂ個生成する（ステップＳ２０６）。

次に、スリット不連続領域抽出部５０２ｃがスリット投光２値画像１０１３からスリット不連続領域を抽出し、スリット不連続領域２値画像１０１２を生成する（ステップＳ２０７）。領域分割・矩形化処理部５０２ｄは、スリット不連続領域抽出部５０２ｃによって生成されたスリット不連続領域２値画像１０１２からスリット不連続領域を分割・矩形化し、スリット不連続領域をスリット不連続領域記憶部５０５に保存する。そして、再配置位置算出部５０６は、スリット不連続領域記憶部５０５に記憶されたスリット不連続領域から、再配置位置をｃ個生成する（ステップＳ２０８）。

続いて、上記算出された再配置位置の数（ａ＋ｂ＋ｃ）回だけ再配置位置への移動及び該再配置位置での撮影を繰り返す（ステップＳ２０９からステップＳ２１１）。具体的には、まず、支持台移動装置１０６をｋ番目の再配置位置に移動する。再配置位置への移動は、移動終了後撮影スイッチ１０４を押すことなく行われる。支持台移動装置１０６が再配置位置へ移動すると、投光部１０２から光が発せられ、スリット１０８を透過し、支持台移動部１０６の上に存在する被写体１０５にスリットパターンが投影される。また、撮像部１０１と投光部１０２とで同期を取ることで、被写体１０５にスリットパターンが投影された様子を撮像部１０１により撮像する（ステップＳ２１０）。そして、強反射領域抽出処理部５０２ａは、撮像したスリット画像から強反射領域を抽出し、抽出した強反射領域を強反射領域記憶部５０３に保存する。そして、三次元計測処理部５０１は、強反射領域記憶部５０３に記憶された強反射領域に基づいて三次元形状を計測する（ステップＳ２１１）。最後に、三次元計測処理部５０１は、再配置位置を考慮して計測された（ａ＋ｂ＋ｃ＋１）個の三次元形状を統合する（ステップＳ２１２）。

上述の構成によれば、従来の三次元形状測定装置において測定が困難であった強反射領域、スリット欠落領域、及びスリット不連続領域をスリット画像から個別に抽出し、領域ごとに三次元形状の測定が可能な位置を算出し、算出された測定位置における三次元形状の測定を繰り返し、測定結果を統合して被写体の三次元形状のデータを生成することにより、被写体のあらゆる箇所の三次元形状を正確に測定することができる。

本実施形態に係わる三次元形状測定装置の概略を示す斜視図である。 本実施形態に係わる三次元形状測定装置による三次元形状測定処理の流れを示すフローチャートである。 被写体に投影されたスリットパターンである。 被写体に投影されたスリットパターンからスリットパターンを抽出した図である。 本実施形態に係わる三次元形状測定装置のシステム構成を示すブロック図である。 （ａ）は強反射領域が抽出されたスリット投光２値画像である。（ｂ）は強反射領域が分割・矩形化されたスリット投光２値画像である。 スリット投光２値画像に分割・矩形化されたスリット投光２値画像を重畳した図である。 スリット投光２値画像に分割・矩形化されたスリット投光２値画像を重畳した図である。 スリット投光２値画像から所定のスリット番号を持つスリット投光位置のみを表示したスリット投光２値画像の図である。 スリット投光２値画像に含まれるスリット不連続領域を抽出した図である。 （ａ）はスリット投光２値画像の図である。（ｂ）はスリット投光２値画像を走査している様子を示す図である。（ｃ）はスリット欠落領域を抽出した図である。 従来の三次元形状測定装置によって円筒状の物体の三次元形状を計測した場合の概略図である。

符号の説明

１０１ 撮像部
１０２ 投光部
１０３ 支持部
１０４ 撮影スイッチ
１０５ 被写体
１０６ 支持台移動部
１０７ 支持台固定部
１０８ スリット

Claims (14)

1. スリットパターンを投影した被写体を撮影する撮影手段を有し、前記撮影手段によって撮影された画像から前記被写体の三次元形状を算出する三次元形状測定装置において、
   前記撮影された画像から前記被写体の三次元形状を算出できない領域を抽出する抽出手段と、
   前記抽出手段によって抽出された前記三次元形状を算出できない各領域について前記スリットパターンを投影する位置を算出する算出手段と、
   前記算出手段によって算出された位置に基づいて前記被写体を移動させる移動手段と、
   前記各位置において撮影された画像を合成して前記被写体の三次元形状に関するデータを生成する生成手段とを有し、
   前記撮影手段は、前記移動手段によって移動した前記各位置において前記被写体を撮影することを特徴とする三次元形状測定装置。
2. 前記抽出手段は、前記被写体が有する反射率が高い領域を抽出する強反射領域抽出手段を有し、
   前記算出手段は、前記強反射領域抽出手段によって抽出された各領域について前記スリットパターンを投影する位置を算出することを特徴とする請求項１記載の三次元形状測定装置。
3. 前記抽出手段は、前記被写体に投影された前記スリットパターンが欠落した領域を抽出するスリット欠落領域抽出手段を有し、
   前記算出手段は、前記スリット欠落領域抽出手段によって抽出された各領域について前記スリットパターンを投影する位置を算出することを特徴とする請求項１記載の三次元形状測定装置。
4. 前記抽出手段は、前記被写体に投影された前記スリットパターンが不連続な領域を抽出するスリット不連続領域抽出手段を有し、
   前記算出手段は、前記スリット不連続領域抽出手段によって抽出された各領域について前記スリットパターンを投影する位置を算出することを特徴とする請求項１記載の三次元形状測定装置。
5. 前記抽出手段は、
   前記被写体が有する反射率が高い領域を抽出する強反射領域抽出手段と、
   前記被写体に投影された前記スリットパターンが欠落した領域を抽出するスリット欠落領域抽出手段と、
   前記被写体に投影された前記スリットパターンが不連続な領域を抽出するスリット不連続領域抽出手段とを有し、
   前記算出手段は、前記強反射領域抽出手段、前記スリット欠落領域抽出手段、及び前記スリット不連続領域抽出手段によって抽出された各領域について前記スリットパターンを投影する位置を算出することを特徴とする請求項１記載の三次元形状測定装置。
6. 前記生成手段によって生成された前記三次元形状に関するデータから前記被写体の三次元画像を形成することを特徴とする請求項１から５のいずれか１項記載の三次元形状測定装置。
7. 前記生成手段によって生成された前記三次元形状に関するデータを記憶する記憶手段を有することを特徴とする請求項１から６のいずれか１項記載の三次元形状測定装置。
8. スリットパターンを投影した被写体を撮影する撮影手段を有し、前記撮影手段によって撮影された画像から前記被写体の三次元形状を算出する三次元形状測定装置の三次元形状測定方法において、
   前記撮影された画像から前記被写体の三次元形状を算出できない領域を抽出する抽出工程と、
   前記抽出工程によって抽出された前記三次元形状を算出できない各領域について前記スリットパターンを投影する位置を算出する算出工程と、
   前記算出工程によって算出された位置に基づいて前記被写体を移動させる移動工程と、
   前記各位置において撮影された画像を合成して前記被写体の三次元形状に関するデータを生成する生成工程と、
   前記撮影手段は、前記移動手段によって移動した前記各位置において前記被写体を撮影する工程とを有することを特徴とする三次元形状測定方法。
9. 前記抽出工程は、前記被写体が有する反射率が高い領域を抽出する強反射領域抽出工程と、
   前記算出工程は、前記強反射領域抽出工程によって抽出された各領域について前記スリットパターンを投影する位置を算出する工程を有することを特徴とする請求項８記載の三次元形状測定方法。
10. 前記抽出工程は、前記被写体に投影された前記スリットパターンが欠落した領域を抽出するスリット欠落領域抽出工程と、
    前記算出工程は、前記スリット欠落領域抽出工程によって抽出された各領域について前記スリットパターンを投影する位置を算出する工程とを有することを特徴とする請求項８記載の三次元形状測定方法。
11. 前記抽出工程は、前記被写体に投影された前記スリットパターンが不連続な領域を抽出するスリット不連続領域抽出工程と、
    前記算出工程は、前記スリット不連続領域抽出工程によって抽出された各領域について前記スリットパターンを投影する位置を算出する工程とを有することを特徴とする請求項８記載の三次元形状測定方法。
12. 前記抽出工程は、
    前記被写体が有する反射率が高い領域を抽出する強反射領域抽出工程と、
    前記被写体に投影された前記スリットパターンが欠落した領域を抽出するスリット欠落領域抽出工程と、
    前記被写体に投影された前記スリットパターンが不連続な領域を抽出するスリット不連続領域抽出工程とを有し、
    前記算出工程は、前記強反射領域抽出工程、前記スリット欠落領域抽出工程、及び前記スリット不連続領域抽出工程によって抽出された各領域について前記スリットパターンを投影する位置を算出する工程を有することを特徴とする請求項８記載の三次元形状測定方法。
13. 前記生成工程によって生成された前記三次元形状に関するデータから前記被写体の三次元画像を形成する工程を有することを特徴とする請求項８から１２のいずれか１項記載の三次元形状測定方法。
14. 前記三次元形状測定装置は、前記生成工程によって生成された前記三次元形状に関するデータを記憶する記憶手段を有することを特徴とする請求項８から１３のいずれか１項記載の三次元形状測定方法。

Images