JP2015102460A - ３次元計測装置および３次元計測方法 - Google Patents

Abstract

【課題】簡単な構成で、奥行きが不連続に変化する境界付近の３次元情報を精度よく計測する。
【解決手段】計測対象物(６)を撮像する複数の撮像部(１,２)と、上記複数の撮像部(１,２)によって撮像された複数の画像に基づいて、上記計測対象物(６)の３次元距離を算出する３次元距離計算部(４)と、上記計測対象物(６)上に設定された計測点に隣接する隣接箇所に関する上記３次元距離計算部(４)で算出された３次元距離と、上記計測対象物(６)の設計データとに基づいて、上記計測対象物(６)上の上記計測点の３次元距離を演算する計測点３次元距離演算部(５)とを備えている。
【選択図】図１

Description

この発明は、複数のカメラを用いて距離・形状等の計測を行うための３次元計測装置および３次元計測方法に関する。

非接触方式による３次元計測手法として様々な手法が提案されており、大きく分けて受動的手法と能動的手法との二つの手法に分類することができる。そして、上記受動的手法の代表的なものとしてステレオ法がある。

上記ステレオ法においては、複数のカメラを用いて複数の異なる視点から撮影した画像に基づいて、対象物までの距離情報を計算する方法である。すなわち、得られた左右画像から対応する画素の対、即ち対応点を探索する。そして、左右画像の対応点同士が左右方向にどれだけ離れているかを表す「視差」を求め、この視差から三角測量の原理を用いて対象物までの距離を算出する方法である。

上記ステレオ法において、対応点探索の方法として、「ステレオマッチング法」や「セミグローバルステレオマッチング法」が提案されている。しかしながら、何れの方法においても、奥行きが不連続に変化する境界付近では、複数のカメラの視点の違いによって、一方のカメラには映るが他方のカメラには映らないというオクルージョン領域ができてしまうことから、対応点を精度よく求めるのが困難である。

ところが、奥行きが不連続に変化する境界付近の３次元情報を計測したい状況は多く存在する。例えば、検査装置や組立装置の自動化において、ワークとワークとの溶接する箇所の３次元座標を算出する場合や、正しい位置で張り合わせが行われているかを検査したい場合に、奥行き変化の境界付近の３次元計測が必要である。

上記オクルージョンの問題を解決する方法として、特開２０００‐１４９０１７号公報(特許文献１)に開示された「画像処理装置」がある。この画像処理装置においては、異なる視点位置に固定された１台の基準カメラと４台の検出カメラとを用い、４個のマッチング計算部で、上記基準カメラからの基準画像と４台の検出カメラからの検出画像の夫々との組み合わせに基づいて対象物までの距離の評価値を算出する。その際に、夫々の評価値のうち、上記オクルージョンのない検出カメラ夫々からの検出画像を用いる上記マッチング計算部が出力する評価値を用いて、上記対象物上の点までの距離を推定するようにしている。

また、上記オクルージョンの問題を解決する他の方法として、特開平１０‐１９１３９６号公報(特許文献２)に開示された「視差推定方法」がある。この視差推定方法においては、信頼性評価部で、「左右の画像を基準とした初期視差の差」である評価値を各画素について計算し、この評価値が閾値以上の領域をオクルージョン領域とする。そして、視差補完部で、上記信頼性評価部でオクルージョンであると判定された画素の視差を、周囲の対応が正しく取られている画素の視差を参照して補完するようにしている。

しかしながら、上記特許文献１に開示された「画像処理装置」および特許文献２に開示された「視差推定方法」には、以下のような問題がある。

すなわち、上記特許文献１に開示された「画像処理装置」においては、広範囲に渡って上記オクルージョン領域が生じないようにカメラを配置するためには、数十台のカメラを配置する必要があり、複数の画像を格納するバッファや複数の画像対の中から最も正しい視差を判定する手段が必要となる。そのために装置が大型化し、且つ高額になるという問題がある。

また、上記特許文献２に開示された「視差推定方法」においては、上記オクルージョン領域が広範囲に及ぶ場合に、補完される視差の情報の精度が落ちるという問題がある。特に、ワークが３次元計測装置の基準面に対して傾いている場合には、推定される視差の精度が大きく低下してしまう。

特開２０００‐１４９０１７号公報 特開平１０‐１９１３９６号公報

そこで、この発明の課題は、簡単な構成で、奥行きが不連続に変化する境界付近の３次元情報を精度よく計測することが可能な３次元計測装置および３次元計測方法を提供することにある。

上記課題を解決するため、この発明の３次元計測装置は、
計測対象物を撮像する複数の撮像部と、
上記複数の撮像部によって撮像された複数の画像に基づいて、上記計測対象物の３次元距離を算出する３次元距離計算部と、
上記計測対象物上に設定された計測点に隣接する隣接箇所に関する上記３次元距離計算部で算出された３次元距離と、上記計測対象物の設計データとに基づいて、上記計測対象物上の上記計測点の３次元距離を演算する計測点３次元距離演算部と
を備えたことを特徴としている。

また、一実施の形態の３次元計測装置では、
上記複数の撮像部のうちの基準となる基準撮像部で撮像された画像に基づいて、上記画像における基準となる基準位置を探索する基準位置探索部を備えて、
上記３次元距離計算部は、
上記基準撮像部を含む複数の撮像部によって撮像された複数の画像に対して上記計測対象物上の隣接箇所に関する対応点探索を行って、得られた対応点の視差に基づいて上記隣接箇所の３次元距離を算出するようになっており、
上記基準撮像部で撮像された画像における上記計測対象物上の隣接箇所に対応する位置を、上記基準位置探索部で探索された上記基準位置に基づいて判定する。

また、この発明の３次元計測方法は、
３次元距離計算部によって、複数の撮像部で撮像された複数の画像に基づいて、計測対象物の３次元距離を算出する３次元距離算出ステップと、
計測点３次元距離演算部によって、上記計測対象物上に設定された計測点に隣接する隣接箇所に関する上記３次元距離計算部で算出された３次元距離と、上記計測対象物の設計データとに基づいて、上記計測対象物上の上記計測点の３次元距離を演算する計測点３次元距離演算ステップと
を備えたことを特徴としている。

また、一実施の形態の３次元計測方法では、
上記計測対象物上に設定された計測点に隣接する隣接箇所は、１または複数の隣接点である。

また、一実施の形態の３次元計測方法では、
上記計測対象物上に設定された計測点に隣接する隣接箇所は、１または複数の隣接点を中心とする隣接エリアである。

また、一実施の形態の３次元計測方法では、
上記隣接エリアの位置およびエリアサイズを、上記計測対象物の設計データに基づいて設定する。

以上より明らかなように、この発明の３次元計測装置および３次元計測方法は、３次元距離計算部によって、計測対象物の３次元距離を計算し、計測点３次元距離演算部によって、上記計測対象物上に設定された計測点に隣接する隣接箇所の３次元距離と上記計測対象物の設計データとに基づいて、上記計測対象物上の計測点の３次元座標を演算するようにしている。したがって、上記計測点を、奥行きが不連続に変化する上記計測対象物における奥行きが変化する境界付近のオクルージョン領域内に設定した場合であっても、上記隣接箇所をオクルージョン領域外に設定することによって、オクルージョン領域内に設定された上記計測点の３次元座標を精度よく算出することができる。

すなわち、この発明によれば、奥行きが不連続に変化する計測対象物における奥行き変化の境界付近の３次元情報を、精度よく計測することができるのである。

その場合、上記オクルージョン領域が広範囲に及ぶ場合であっても、上記計測点をオクルージョン領域内で順次移動させることによって、精度よく、奥行きが変化する境界付近の３次元座標を計測することができる。

さらに、上述のように、オクルージョン領域が広範囲に及ぶ場合でも、オクルージョン領域内に設定された上記計測点の３次元座標を精度よく計測することができるので、上記撮像部は、少なくとも、画角に上記計測対象物が収まるように輻輳角が設定された２台の撮像部があればよい。したがって、簡単な構成で、３次元情報を精度よく計測することができる。

この発明の３次元計測装置における概略構成を示すブロック図である。 ３次元計測処理動作のフローチャートである。 計測点とオクルージョン領域と隣接点とを示す図である。 図３とは異なる計測点とオクルージョン領域と隣接点とを示す図である。 計測点とオクルージョン領域と隣接エリアとを示す図である。 図５における隣接エリアの正面図である。

以下、この発明を図示の実施の形態により詳細に説明する。

・第１実施の形態
図１は、本実施の形態の３次元計測装置における概略構成を示すブロック図である。本３次元計測装置は、図１に示すように、上記撮像部の一例としての第１カメラ１および第２カメラ２と、基準位置探索部３と、３次元距離計算部４と、計測点３次元距離演算部５とを備え、上記計測対象物の一例としてのワーク６の３次元距離の計測を行なう。

上記第１カメラ１および第２カメラ２は、例えば、撮像素子,レンズおよびレンズ駆動素子(何れも図示せず)等で構成されている。上記撮像素子として、例えばＣＭＯＳ(相補型金属酸化膜半導体)センサあるいはＣＣＤ(電荷結合素子)センサを用いる。上記ＣＭＯＳセンサを用いる場合には、制御用ＤＳＰ(Digital Signal Processor：デジタル信号処理装置)が一体となったＣＭＯＳセンサを用いることによって、撮像画像サイズ,焦点距離,露出およびホワイトバランス等のカメラパラメータを簡素な構成で電気的に制御することができる。

また、上記レンズとして、ガラスレンズとプラスチックレンズとが複数枚組み合わされたレンズ群を用いることにより、精度の高い計測が可能である。また、上記レンズ駆動素子として、ボイスコイルモータあるいはステッピングモータを用いる。これらのモータを用いることによって、近距離から遠距離までフォーカスを調整することが可能となり、計測距離を広くすることができる。

また、上記第１カメラ１および第２カメラ２の画素サイズや設置位置は、ワーク６のサイズや必要な計測精度によって選択・設置する。ここで、上記計測精度は、理論上、カメラの画素ピッチを小さく、焦点距離を長く、２つのカメラ間の距離である基線長を長く、ワーク６までの距離を短くすることによって向上する。本実施の形態においては、計測範囲が５０ｍｍで奥行き方向の分解能が０.１５ｍｍ程度で計測を行う場合、画素ピッチ１.４μｍ、焦点距離３ｍｍ、基線長１２０ｍｍ、計測距離２００ｍｍに設定している。尚、第１カメラ１の視方向と第２カメラ２の視方向とが成す角である「輻輳角」は、第１カメラ１および第２カメラ２の両方の画角に計測対象物が収まる角度であればよく、本実施の形態において、略２０度に調整している。

上記第１カメラ１は基準カメラであり、３次元距離の計算を行なう場合には、第１カメラ１で撮影された画像の画素毎に３次元距離が計算される。

上記基準位置探索部３は、上記第１カメラ１(基準カメラ)によって撮影された画像を取得する。この画像には多数の画素がマトリクス状に配列されており、基準位置探索部３は画像上で基準となる画素位置(以下、基準位置と言う)を探索する。基準位置は、計測点でもよいが、オクルージョン等の影響によって計測点が基準カメラ１に写らない場合には、確実に写る箇所の画素位置とすればよい。

基準位置探索方法には、例えばテンプレートマッチングと呼ばれる手法を用いる。この手法は、予め用意された基準となる位置を含む画像(テンプレート画像)が、第１カメラ１で撮影された画像上の何れの位置に対応するかを探索する方法である。具体的には、テンプレート画像をラスタスキャンしながら、テンプレート画像と撮影画像との間の相関度合いを示す評価量を各画素毎に計算する。この相関度合いを示す評価量としては、例えば、ＳＡＤ(Sum of Absolute Difference：差分絶対値和)による画素値演算で算出される算出量が用いられる。そして、この評価量が最も高くなる画素位置を、上記基準位置とするのである。

尚、上記ワーク６と第１カメラ１および第２カメラ２との相対的位置関係がメカニズム的に固定される場合、例えば、ワーク６を固定するための冶具が用意されており、精度よくワーク６の位置決めが行なわれている場合には、第１カメラ１で撮影された画像中の決まった画素位置の３次元距離を計測すればよいため、基準位置探索部３を省略することができる。

上記３次元距離計算部４は、上記第１カメラ１(基準カメラ)で撮影された画像と第２カメラ２で撮影された画像とを取得する。そして、第１カメラ１で撮影された画像を基準として、この第１カメラ１で撮影された画像の各画素に対応する、第２カメラ２で撮影された画像における対応する画素(対応点)を探索する対応点探索を行う。そして、探索された対応点から視差を算出する。

ここで、上記対応点探索について説明する。先ず、第１カメラ１と第２カメラ２とによって同時に撮影された画像を取得し、輝度差や画像の局所的な輝度レベルの変動等を吸収するために、プレフィルタによってエッジ強調処理を施す。尚、プレフィルタとしては、例えば、ソベルフィルタおよびラプラシアンフィルタを用いる。

次に、エッジ強調処理が施された第１カメラ１で撮影された画像のキャプチャ画像(以下、単に第１キャプチャ画像と言う)と、第２カメラ２で撮影された画像のキャプチャ画像(以下、単に第２キャプチャ画像と言う)とに、対応点探索処理を施して、対応点を求める。具体的には、先ず、上記第１キャプチャ画像の注目画素を中心として、縦方向および横方向夫々にｐ画素(Ｐ：０を除く自然数)でなる正方形の「相関窓」と呼ばれる領域(基準領域)を設定する。次に、上記第２キャプチャ画像において、上記注目画素と同一列上に、上記基準領域と同じ大きさの相関窓(比較領域)を設定する。そして、この相関窓(比較領域)を左右方向にスライドさせながら、両キャプチャ画像の相関窓に含まれる画素間の相関度合いを示す評価量を計算して行く。この相関度合いを示す評価量としては、例えば、上記ＳＡＤによる画素値演算で算出される算出量が用いられる。そして、予め設定された相関探索範囲を探索し終えた際に、この評価量が最も高くなる位置における上記比較領域の中心画素を、上記基準領域の注目画素に対応する対応点とする。

尚、上記第２キャプチャ画像における相関探索範囲の端から端まで探索しても相関度合い(評価値)が予め設定された基準値以上にならない場合には、対応点は存在しないと見なされる。このような現象は、第１カメラ１からは見えるが第２カメラ２からは見えない部分(オクルージョン領域)を計測する場合や、計測対象物のコントラストが低い場合等に起こり得る。

そして、このようにして得られた対応点に対して視差算出処理を施して、上記視差を算出する。尚、上記視差とは、第１キャプチャ画像の注目画素と第２キャプチャ画像の対応点との間の水平方向の距離であり、この距離を画素数で表したものである。

上記対応点検索は、上記第１キャプチャ画像における注目画素を順次変更して行われ、算出された視差の値を視差情報として取得する。得られた視差の値は、三角測量の原理によって３次元座標に変換される。ここで、上記３次元計測は第１カメラ１で撮影された画像の総てのエリアに対して計算可能であるが、計算速度短縮のために、基準位置探索部３で得られた上記基準位置に基づいて、必要な部分だけの計測を行なえばよい。

上記計測点３次元距離演算部５は、ワーク６において特に設定された計測点の上記３次元座標上の座標値でなる３次元距離の演算を行なう。計測点３次元距離演算部５は、演算に使用されるワーク６の設計データを記憶しておく設計データ記憶部５aを内部に備えており、計測点周辺の３次元距離情報とワーク６の設計データとに基づいて、上記計測点の３次元距離を演算する。３次元距離情報を使用する計測点周辺のポイント(画素)は、特に決まりはないが、第１カメラ１および第２カメラ２のオクルージョン領域とはならない箇所であることが絶対条件である。

上記ワーク６は、計測対象となる物体であり、材質や大きさや形状に特に制限はない。ここで、計測を行ないたいワーク６上の位置が、何れかのカメラに写らないオクルージョン領域である場合に、本３次元計測装置は有効である。しかしながら、本発明はそのような「計測位置がオクルージョン領域であるという」条件に制限されるものではない。

次に、本実施の形態における３次元計測装置による３次元計測方法について、図２および図３に従って説明する。ここで、図２は、本３次元計測装置によって行われる３次元計測方法のフローチャートであり、図３は、ワーク６上に設定された計測点と、オクルージョン領域と、計測点に隣接する隣接点とを示す図である。

以下、図２に従って、上記基準位置探索部３,３次元距離計算部４および計測点３次元距離演算部５によって実行される３次元計測処理動作について、詳細に説明する。

先ず、ステップＳ1で、上記第１カメラ１と第２カメラ２とによって同時にワーク６の撮影が行われる。そして、第１カメラ１で撮影された画像が基準位置探索部３によって取得される。また、第１カメラ１で撮影された画像と第２カメラ２で撮影された画像とが３次元距離計算部４によって取得される。

ステップＳ2で、上記基準位置探索部３によって基準位置探索が行なわれる。上記基準位置探索には、上述したようにテンプレートマッチングの手法が用いられる。簡単に説明すると、テンプレート画像をラスタスキャンしながら上記テンプレート画像と第１カメラ１の撮影画像との間の相関度合いの評価量を画素毎に計算し、この評価量が最も高くなる上記撮影画像上の画素位置を上記基準位置とするのである。

ステップＳ3で、上記３次元距離計算部４によって、第１カメラの画像および第２カメラの画像に基づいて上記対応点探索が行なわれ、得られた対応点の視差が算出される。そして、得られた上記視差から、三角測量の原理によって各画素毎に３次元距離が計算される。その際に、必要な情報は、図３における計測点Ａに隣接する隣接点Ｃの３次元距離だけである。したがって、計算時間短縮のために上記隣接点Ｃのみ３次元距離を計算すればよい。隣接点Ｃが第１カメラ１の撮影画像の何処に対応するかは、上記ステップＳ2において探索された第１カメラ１の撮影画像上の基準位置と、ワーク６の設計データとに基づいて、判断される。

ステップＳ4で、上記計測点３次元距離演算部５によって、計測点Ａの３次元座標が、上記ステップＳ3において算出された隣接点Ｃの３次元距離情報とワーク６の設計データを用いて算出される。ここで、隣接点Ｃの３次元距離を(Ｘ,Ｙ,Ｚ)とし、ワーク６の設計データから算出される計測点Ａと隣接点Ｃとの３次元距離の差を(ΔＸ,ΔＹ,ΔＺ)とすると、計測点Ａの３次元座標は(Ｘ−ΔＸ,Ｙ−ΔＹ,Ｚ−ΔＺ)となる。

そうした後、上記３次元計測処理動作が終了される。

上記ワーク６上に設定された各設定点を示す図３において、斜線で示したエリアＢは、第１カメラ１には映るが第２カメラ２には映らないオクルージョン領域である。計測点Ａはオクルージョン領域Ｂに含まれるため、直接的に３次元距離情報を得ることができない箇所である。本３次元計測装置による上記３次元計測処理動作によれば、３次元距離算出ステップによる計測点Ａ周辺の隣接点Ｃの３次元距離情報と、ワーク６の設計データに基づく計測点Ａと隣接点Ｃの３次元距離の差を用いることによって、計測点Ａの３次元距離を精度よく計測することが可能である。

以上のごとく、本実施の形態においては、上記基準位置探索部３で、例えば上記テンプレートマッチングによって、第１カメラ１の撮影画像上の上記基準位置を得る。そうすると、３次元距離計算部４は、第１カメラの画像および第２カメラの画像に基づいて、ワーク６上における計測点Ａの隣接点Ｃに関する上記対応点探索を行い、得られた対応点の視差から上記隣接点Ｃの３次元距離を計算する。その際に、隣接点Ｃが第１カメラ１の撮影画像の何れの画素に対応するかは、基準位置探索部３によって得られた第１カメラ１の撮影画像上の基準位置とワークの設計データとに基づいて判定する。

そして、上記計測点３次元距離演算部５によって、ワーク６上における計測点Ａの３次元座標を、３次元距離計算部４によって算出された隣接点Ｃの３次元距離情報とワーク６の設計データとを用いて算出する。

したがって、本実施の形態によれば、図３に示すように、上記計測点Ａを、奥行きが不連続に変化するワーク６における奥行きが変化する境界付近のオクルージョン領域Ｂ内に設定された場合であっても、計測点Ａの隣接点Ｃをオクルージョン領域Ｂ外に設定することによって、オクルージョン領域Ｂ内に設定された計測点Ａの３次元座標を精度よく算出することができる。すなわち、奥行きが不連続に変化するワーク６の３次元情報を精度よく計測することができるのである。

その場合、上記オクルージョン領域Ｂが広範囲に及ぶ場合でも、計測点Ａをオクルージョン領域Ｂ内で順次移動させることによって、精度よく、上記奥行きが変化する境界付近の３次元座標を計測することができる。

さらに、上述のように、オクルージョン領域Ｂが広範囲に及ぶ場合でも、オクルージョン領域Ｂ内に設定された計測点Ａの３次元座標を精度よく計測することができるので、カメラは、少なくとも、画角にワーク６が収まるように輻輳角が設定された基準カメラ１と第２カメラ２との２台があればよい。したがって、簡単なカメラ構成で、３次元情報を精度よく計測することができる。

尚、本実施の形態においては、上記隣接点Ｃを、ワーク６における奥行きが変化する境界に対してＸ軸方向一方の側に設けているが、他方の側のオクルージョン領域Ｂ外に設けても一向に差し支えない。

・第２実施の形態
本実施の形態は、上記ワークにおける奥行きが変化する境界に対して両側に上記隣接点を設ける場合に関する。

本実施の形態における３次元計測装置の構成は、図１に示す上記第１実施の形態の場合と同様であるので、詳細な説明は省略する。

本実施の形態の３次元計測装置による３次元計測方法について、図２および図４に従って説明する。ここで、図２は、本３次元計測装置によって行われる３次元計測方法のフローチャートであり、図４は、ワーク６上に設定された計測点Ａと、オクルージョン領域Ｂと、計測点Ａに隣接する隣接点Ｃ,Ｄとを示す図である。

以下、図２に従って、上記基準位置探索部３,３次元距離計算部４および計測点３次元距離演算部５によって実行される本実施の形態における３次元計測処理動作について、詳細に説明する。但し、３次元計測処理動作の基本動作は上記第１実施の形態の場合と同様であるから、ステップ番号のみをＳ11〜Ｓ14に変更し、主に上記第１実施の形態の場合とは異なる動作について述べる。

ステップＳ11およびステップＳ12で、夫々上記第１実施の形態におけるステップＳ1およびステップＳ2と同様の処理が実行される。

ステップＳ13で、上記３次元距離計算部４によって、第１カメラ１の画像と第２カメラ２の画像とに基づいて上記対応点探索が行なわれ、得られた対応点の視差が算出される。そして、得られた上記視差から、三角測量の原理によって各画素毎に３次元距離が計算される。その際に、必要な情報は、図４における計測点Ａに隣接する隣接点Ｃ,Ｄの３次元距離だけである。したがって、計算時間短縮のために上記隣接点Ｃ,Ｄのみ３次元距離を計算すればよい。隣接点Ｃ,Ｄが第１カメラ１の撮影画像の何れの画素に対応するかは、上記ステップＳ12において探索された第１カメラ１の撮影画像上の基準位置と、ワーク６の設計データとに基づいて、判断される。

ステップＳ14で、上記計測点３次元距離演算部５によって、計測点Ａの３次元座標が、上記ステップＳ13において算出された隣接点Ｃ,Ｄの３次元距離情報とワーク６の設計データとを用いて演算される。以下、計測点Ａの３次元座標の演算方法の一例を述べるが、この発明は本演算方法に限定されるものではない。

本実施の形態においては、図４において、計測点ＡからＸ軸方向互いに反対側に等しい距離だけ離れて位置する一方、Ｙ軸方向には同じ座標に位置している２つの隣接点Ｃおよび隣接点Ｄを設定した場合について説明する。また、計測点Ａと隣接点ＤとはＺ軸方向には同じ座標に位置する(奥行きが同じ)ものとする。

図４において、上記隣接点Ｃおよび隣接点Ｄの３次元座標を、隣接点Ｃ(Ｘc,Ｙc,Ｚc)および隣接点Ｄ(Ｘd,Ｙd,Ｚd)とし、ワーク６の設計データから算出される隣接点Ｃと隣接点Ｄとの３次元距離の差を(ΔＸ,ΔＹ,ΔＺ)とすると、計測点Ａの３次元座標は単純に((Ｘc＋Ｘd)/２,(Ｙc＋Ｙd)/２,(Ｚc＋Ｚd)/２−ΔＺ/２)となる。

上記計測点Ａの３次元座標の演算式は、ワーク６と本３次元計測装置の間に傾き(倒れ)がない場合での演算式である。しかしながら、傾き(倒れ)がある場合には、隣接点Ｃと隣接点Ｄとの３次元座標から上記傾きを求めることによって、傾き(倒れ)を考慮した演算を行うことができる。

そうした後、上記３次元計測処理動作が終了される。

以上のごとく、本実施の形態においては、上記計測点Ａを、奥行きが不連続に変化するワーク６における奥行きが変化する境界付近のオクルージョン領域Ｂ内に設定した場合であっても、計測点Ａの隣接点Ｃを奥行きが変化する境界の一方の側におけるオクルージョン領域Ｂ外に設定すると共に、計測点Ａの隣接点Ｄを奥行きが変化する境界の他方の側におけるオクルージョン領域Ｂ外に設定することによって、オクルージョン領域Ｂ内に設定された計測点Ａの３次元座標を、上記第１実施の形態の場合よりも精度よく算出することができる。

さらに、計測点３次元距離演算部５によって、得られた隣接点Ｃと隣接点Ｄとの３次元座標からワーク６と本３次元計測装置との間の傾き(倒れ)を求めることによって、上記傾き(倒れ)を考慮した演算を行うことができる。

・第３実施の形態
本実施の形態は、上記第２実施の形態における隣接点に代えて隣接エリアを用いる場合に関する。

本実施の形態における３次元計測装置の構成は、図１に示す上記第１実施の形態の場合と同様であるので、詳細な説明は省略する。

本実施の形態の３次元計測装置による３次元計測方法について、図２,図５および図６に従って説明する。ここで、図２は、本３次元計測装置によって行われる３次元計測方法のフローチャートであり、図５は、ワーク６上に設定された計測点Ａと、オクルージョン領域Ｂと、計測点Ａに隣接する隣接エリアＥ,Ｆとを示す図である。また、図６は、隣接エリアＥ,Ｆの正面図である。

以下、図２に従って、上記基準位置探索部３,３次元距離計算部４および計測点３次元距離演算部５によって実行される本実施の形態における３次元計測処理動作について、詳細に説明する。但し、３次元計測処理動作の基本動作は上記第１実施の形態の場合と同様であるから、ステップ番号のみをＳ21〜Ｓ24に変更し、主に上記第１実施の形態の場合とは異なる動作について述べる。

ステップＳ21およびステップＳ22で、夫々上記第１実施の形態におけるステップＳ1およびステップＳ2と同様の処理が実行される。

ステップＳ23で、上記３次元距離計算部４によって、第１カメラの画像および第２カメラの画像に基づいて上記対応点探索が行なわれ、得られた対応点の視差が算出される。そして、得られた上記視差から、三角測量の原理によって各画素毎に３次元距離が計算される。その際に、必要な情報は、図５における計測点Ａに隣接する隣接エリアＥ,Ｆの３次元距離だけである。したがって、計算時間短縮のために上記隣接エリアＥ,Ｆのみの３次元距離を計算すればよい。隣接エリアＥ,Ｆが第１カメラ１の撮影画像の何れの画素に対応するかは、上記ステップＳ22において探索された第１カメラ１の撮影画像上の基準位置と、ワーク６の設計データとに基づいて、判断される。

ステップＳ24で、上記計測点３次元距離演算部５によって、計測点Ａの３次元座標が、上記ステップＳ23において算出された隣接エリアＥ,Ｆの３次元距離情報とワーク６の設計データとを用いて演算される。以下、計測点Ａの３次元座標の演算方法の一例を述べるが、この発明は本演算方法に限定されるものではない。

本実施の形態においては、図５において、２つの隣接エリアＥおよび隣接エリアＦの中心位置が、計測点ＡからＸ軸方向互いに反対側に等しい距離だけ離れて位置する一方、Ｙ軸方向には同じ座標に位置するように設定された場合について説明する。また、計測点Ａと隣接エリアＦとはＺ軸方向には同じ座標に位置する(奥行きが同じ)ものとする。

先ず、上記隣接エリアＥおよび隣接エリアＦの３次元座標から、夫々の中心座標を計算する。例えば、隣接エリアＥおよび隣接エリアＦの夫々について、３次元座標の平均値を求める方法がある。但し、計測結果に計測不良による外れ値が多く含まれている場合は、中心座標が誤差を含んだ値となるため、スミルノフ・グラブス検定等の統計手法を用いて上記外れ値を除去した平均値を中心座標とすればよい。

図５および図６において、上記隣接エリアＥおよび隣接エリアＦにおける中心の３次元座標を、隣接エリアＥ(Ｘe,Ｙe,Ｚe)および隣接エリアＦ(Ｘf,Ｙf,Ｚf)とする。また、ワーク６の設計データから算出される隣接エリアＥの中心座標と隣接エリアＦの中心座標との差を(ΔＸef,ΔＹef,ΔＺef)とする。そうすると、計測点Ａの３次元座標は、((Ｘe＋Ｘf)/２,(Ｙe＋Ｙf)/２,(Ｚe＋Ｚf)/２−ΔＺef/２)となる。

上記計測点Ａの３次元座標の演算式は、ワーク６と本３次元計測装置の間に傾き(倒れ)がない場合での演算式である。しかしながら、傾き(倒れ)がある場合には、隣接エリアＥと隣接エリアＦとの３次元座標から上記傾きを求めることによって、傾き(倒れ)を考慮した演算をより精度よく行うことができる。

そうした後、上記３次元計測処理動作が終了される。

ここで、上記隣接エリアＥおよび隣接エリアＦの位置とエリアサイズとして、撮影された画像から、計測結果に比較的ノイズが入り難い位置とエリアサイズとを選択することができる。

例えば、上記第１カメラ１で撮影された画像上に、比較的ノイズが少ない位置とエリアサイズとを探索して、大きさの異なる２種類のエリアサイズを有する隣接エリア候補領域を設定する。そして、最初に、大きい方の隣接エリア候補領域に、計測点Ａに隣接した領域を任意に設定する。続いて、設定領域内の輝度値の分散値を求め、輝度値の分散値が予め定められた閾値よりも小さい場合には、その設定領域を隣接エリアＥと定める一方、上記閾値よりも大きい場合には、その設定領域にはノイズが多いと判断して上記設定領域の位置を任意量ずらし、同様にして隣接エリアＥとなり得るか否かの判定を行う。

こうして、上記大きい方の隣接エリア候補領域にノイズの少ない隣接エリアＥとなり得る位置が見つからない場合には、小さい方の隣接エリア候補領域において同様にして隣接エリアＥとなり得るエリアの探索を続ける。

そして、上記隣接エリアＥが定まった場合には、引き続き計測点Ａに対して隣接エリアＥとはＸ軸方向反対側に隣接エリア候補領域を新たに設定し、この新たな隣接エリア候補領域に対して隣接エリアＦとなり得るエリアの探索を行って、隣接エリアＦを定めるのである。

以上のごとく、本実施の形態においては、上記第２実施の形態において上記オクルージョン領域Ｂ外に設定する隣接点Ｃおよび隣接点Ｄを、計測ノイズが少ないエリアで成る隣接エリアＥおよび隣接エリアＦに代えている。したがって、３次元計測結果に計測ミスによって生ずる外れ値が多く含まれる場合であっても、精度よく計測点Ａの３次元距離情報を得ることが可能になるのである。

・第４実施の形態
本実施の形態における３次元計測装置の構成は、図１に示す上記第１実施の形態の場合と同様であるので、詳細な説明は省略する。また、本３次元計測装置によって実行される３次元計測処理動作は、上記第３実施の形態の場合と同様である。

但し、本実施の形態においては、上記隣接エリアＥおよび隣接エリアＦの位置およびエリアサイズを、第１カメラ１で撮影された画像からでは無く、設計データに基づいて設定する。

その場合には、上記隣接エリアＥ,Ｆの位置として、３次元計測結果に計測ミスによるノイズ含まれ難い比較的平坦な場所を、設計データから選択することが可能になる。したがって、上記隣接エリアのエリアサイズを、ワークのサイズに合わせて精度が得られ易いサイズに設定することが可能になる。

すなわち、本実施の形態によれば、３次元計測結果に計測ミスによって生ずる外れ値が多く含まれる場合であっても、安定に且つ高速に精度よく計測点Ａの３次元距離情報を得ることが可能になるのである。

尚、上記各実施の形態においては、上記設計データ記憶部５aを、計測点３次元距離演算部５内に設けているが、計測点３次元距離演算部５外に設けても一向に差し支えない。

上記のごとく、この発明の３次元計測装置は、
計測対象物６を撮像する複数の撮像部１,２と、
上記複数の撮像部１,２によって撮像された複数の画像に基づいて、上記計測対象物６の３次元距離を算出する３次元距離計算部４と、
上記計測対象物６上に設定された計測点Ａに隣接する隣接箇所に関する上記３次元距離計算部４で算出された３次元距離と、上記計測対象物６の設計データとに基づいて、上記計測対象物６上の上記計測点Ａの３次元距離を演算する計測点３次元距離演算部５と
を備えたことを特徴としている。

上記構成によれば、上記３次元距離計算部４によって、上記計測対象物６の３次元距離を計算し、上記計測点３次元距離演算部５によって、上記計測対象物６上に設定された計測点Ａに隣接する隣接箇所の３次元距離と上記計測対象物６の設計データとに基づいて、上記計測対象物６上に設定された計測点Ａの３次元座標を演算するようにしている。したがって、上記計測点Ａを、奥行きが不連続に変化する上記計測対象物６における奥行きが変化する境界付近のオクルージョン領域Ｂ内に設定した場合であっても、上記隣接箇所をオクルージョン領域Ｂ外の確実に３次元距離を算出可能な位置に設定することによって、オクルージョン領域Ｂ内に設定された上記計測点Ａの３次元座標を精度よく算出することができる。

すなわち、この発明によれば、奥行きが不連続に変化する計測対象物６における奥行き変化の境界付近の３次元情報を、精度よく計測することができるのである。

その場合、上記オクルージョン領域Ｂが広範囲に及ぶ場合であっても、上記計測点Ａをオクルージョン領域Ｂ内で順次移動させることによって、精度よく、奥行きが変化する境界付近の３次元座標を計測することができる。

さらに、上述したように、オクルージョン領域Ｂが広範囲に及ぶ場合でも、オクルージョン領域Ｂ内に設定された上記計測点Ａの３次元座標を精度よく計測することができるので、上記撮像部１,２は、少なくとも、画角に上記計測対象物６が収まるように輻輳角が設定された２台の撮像部があればよい。したがって、簡単な構成で、３次元情報を精度よく計測することができる。

また、一実施の形態の３次元計測装置では、
上記複数の撮像部１,２のうち基準となる基準撮像部１で撮像された画像に基づいて、上記画像における基準となる基準位置を探索する基準位置探索部３を備えて、
上記３次元距離計算部４は、
上記基準撮像部１を含む複数の撮像部１,２によって撮像された複数の画像に対して上記計測対象物６上の隣接箇所に関する対応点探索を行って、得られた対応点の視差に基づいて上記隣接箇所の３次元距離を算出するようになっており、
上記基準撮像部１で撮像された画像における上記計測対象物６上の隣接箇所に対応する位置を、上記基準位置探索部３で探索された上記基準位置に基づいて判定する。

この実施の形態によれば、上記３次元距離計算部４は、上記複数の画像に対して上記計測対象物６上の隣接箇所に関する対応点探索を行う際に、上記基準撮像部１で撮像された画像における上記計測対象物６上の隣接箇所に対応する位置を、上記基準位置探索部３で探索された上記基準位置に基づいて判定するようにしている。

したがって、上記複数の撮像部１,２と上記計測対象物６との相対的な位置関係が変動する場合等であっても、上記基準撮像部１で撮像された画像上における上記計測対象物６上の隣接箇所に対応する位置を常に正しく判定することができる。その結果、上記相対的位置関係が変動する上記計測対象物６上の上記計測点Ａの３次元座標を、精度よく算出することができる。

また、一実施の形態の３次元計測装置では、
上記計測対象物６の設計データを記憶する設計データ記憶部５aを備えている。

この実施の形態によれば、上記計測対象物６の設計データを記憶する設計データ記憶部５aを備えているので、上記計測点３次元距離演算部５による上記計測対象物６上における上記計測点Ａの３次元距離の演算を、迅速且つ正確に行うことが可能になる。

また、この発明の３次元計測方法は、
３次元距離計算部４によって、複数の撮像部１,２により撮像された複数の画像に基づいて、計測対象物６の３次元距離を算出する３次元距離算出ステップと、
計測点３次元距離演算部５によって、上記計測対象物６上に設定された計測点Ａに隣接する隣接箇所に関する上記３次元距離計算部４で算出された３次元距離と、上記計測対象物６の設計データとに基づいて、上記計測対象物６上の上記計測点Ａの３次元距離を演算する計測点３次元距離演算ステップと
を備えたことを特徴としている。

上記構成によれば、上記３次元距離算出ステップによって、上記計測対象物６の３次元距離を算出し、上記計測点３次元距離演算ステップによって、上記計測対象物６上に設定された計測点Ａに隣接する隣接箇所の３次元距離と上記計測対象物６の設計データとに基づいて、上記計測対象物６上における計測点Ａの３次元座標を演算するようにしている。

したがって、上記この発明の３次元計測装置の場合と同様に、上記計測対象物６における奥行きが変化する境界付近のオクルージョン領域Ｂ内に上記計測点Ａが設定された場合であっても、また、上記オクルージョン領域Ｂが広範囲に及ぶ場合であっても、上記計測点Ａの３次元座標を精度よく算出することができる。さらに、上記撮像部１,２は、少なくとも、画角に上記計測対象物６が収まるように輻輳角が設定された２台の撮像部があればよく、簡単な構成で３次元情報を精度よく計測することができる。

また、一実施の形態の３次元計測方法では、
上記計測対象物６上に設定された計測点Ａに隣接する隣接箇所は、１または複数の隣接点Ｃ,Ｄである。

この実施の形態によれば、上記隣接箇所を、１または複数の隣接点Ｃ,Ｄとしているので、上記３次元距離算出ステップにおいて３次元距離が算出される上記計測対象物６の範囲を画素単位に狭めることができ、上記３次元距離の算出時間を短縮することができる。

さらに、上記隣接箇所を複数の隣接点Ｃ,Ｄとすることによって、得られた複数の隣接点Ｃ,Ｄの３次元座標から上記計測対象物６と３次元計測装置との間の傾きを求めることによって、上記傾きを考慮した上記３次元距離の演算を行うことができる。

また、一実施の形態の３次元計測方法では、
上記計測対象物６上に設定された計測点Ａに隣接する隣接箇所は、１または複数の隣接点を中心とする隣接エリアＥ,Ｆである。

この実施の形態によれば、上記計測対象物６上に設定される上記隣接箇所を、１または複数の隣接エリアＥ,Ｆとしている。したがって、３次元計測結果に計測ミスによって生ずる外れ値が多く含まれる場合であっても、精度よく計測点Ａの３次元距離情報を得ることが可能になる。

また、一実施の形態の３次元計測方法では、
上記隣接エリアＥ,Ｆの位置およびエリアサイズを、上記計測対象物６の設計データに基づいて設定する。

この実施の形態によれば、上記計測対象物６の設計データに基づいて上記隣接エリアＥ,Ｆの位置およびエリアサイズを設定するので、上記隣接エリアＥ,Ｆの位置として、３次元計測結果に計測ミスによるノイズ含まれ難い比較的平坦な場所を選択することが可能になる。したがって、上記隣接エリアＥ,Ｆのエリアサイズを、上記計測対象物６のサイズに合わせて精度が得られ易いサイズに設定することが可能になる。

本発明の３次元計測装置は、複数のカメラを用いて距離・形状などの計測する装置として有用であり、産業用,民生用その他用途に用いる他に、携帯情報端末等の一部に組み込んで利用することができる。

１…第１カメラ、
２…第２カメラ、
３…基準位置探索部、
４…３次元距離計算部、
５…計測点３次元距離演算部、
５a…設計データ記憶部、
６…ワーク、
Ａ…計測点、
Ｂ…オクルージョン領域、
Ｃ,Ｄ…隣接点、
Ｅ,Ｆ…隣接エリア。

Claims (6)

1. 計測対象物を撮像する複数の撮像部と、
   上記複数の撮像部によって撮像された複数の画像に基づいて、上記計測対象物の３次元距離を算出する３次元距離計算部と、
   上記計測対象物上に設定された計測点に隣接する隣接箇所に関する上記３次元距離計算部で算出された３次元距離と、上記計測対象物の設計データとに基づいて、上記計測対象物上の上記計測点の３次元距離を演算する計測点３次元距離演算部と
   を備えたことを特徴とする３次元計測装置。
2. 請求項１に記載の３次元計測装置において、
   上記複数の撮像部のうちの基準となる基準撮像部で撮像された画像に基づいて、上記画像における基準となる基準位置を探索する基準位置探索部を備えて、
   上記３次元距離計算部は、
   上記基準撮像部を含む複数の撮像部によって撮像された複数の画像に対して上記計測対象物上の隣接箇所に関する対応点探索を行って、得られた対応点の視差に基づいて上記隣接箇所の３次元距離を算出するようになっており、
   上記基準撮像部で撮像された画像における上記計測対象物上の隣接箇所に対応する位置を、上記基準位置探索部で探索された上記基準位置に基づいて判定する
   ことを特徴とする３次元計測装置。
3. ３次元距離計算部によって、複数の撮像部で撮像された複数の画像に基づいて、計測対象物の３次元距離を算出する３次元距離算出ステップと、
   計測点３次元距離演算部によって、上記計測対象物上に設定された計測点に隣接する隣接箇所に関する上記３次元距離計算部で算出された３次元距離と、上記計測対象物の設計データとに基づいて、上記計測対象物上の上記計測点の３次元距離を演算する計測点３次元距離演算ステップと
   を備えたことを特徴とする３次元計測方法。
4. 請求項３に記載の３次元計測方法において、
   上記計測対象物上に設定された計測点に隣接する隣接箇所は、１または複数の隣接点である
   ことを特徴とする３次元計測方法。
5. 請求項３に記載の３次元計測方法において、
   上記計測対象物上に設定された計測点に隣接する隣接箇所は、１または複数の隣接点を中心とする隣接エリアである
   ことを特徴とする３次元計測方法。
6. 請求項５に記載の３次元計測方法において、
   上記隣接エリアの位置およびエリアサイズを、上記計測対象物の設計データに基づいて設定する
   ことを特徴とする３次元計測方法。

Images