JP2013210254A - 三次元計測装置、三次元計測方法及び三次元計測プログラム - Google Patents

Abstract

【課題】色による輝線の識別とは別の方法にて、画像上の輝線と光切断面との対応付けが可能な三次元計測装置及び三次元計測方法を提供する。
【解決手段】三次元計測装置１は、ワーク２に投光器７にスリット光を照射し、このスリット光が照射されたワークをステレオカメラ５により撮像する。三次元計測装置１の制御装置１０は、この撮像したステレオ画像の内、第１画像に写る輝線４ｊを光切断面６Ｐｊと仮に対応付け、この光切断面６Ｐｊに投影する。そして、この光切断面６Ｐｊに投影した輝線を第２画像上に投影する。制御装置１０は、第２画像上に投影された輝線４ｊＸと第２画像上の輝線の一致度を演算し、この対応関係の正否を判断する。
【選択図】図１

Description

本発明は、投光器によりスリット光を測定対象に照射し、このスリット光が照射された測定対象を撮像した画像を用いた三次元計測に関する。

カメラにより撮像された画像から測定対象（以下、単にワークという）を三次元計測するには、三角測量の原理を利用したステレオ法が良く知られている。このステレオ法は、一般的には、校正済みのステレオカメラによってワークを撮像し、左右のカメラの視差を利用してワークの三次元計測を行う。

一方、例えば黒色のワークの凹凸部分などワークのコントラストが低い場合には、上記ステレオ法の一種である光切断法を用いると好適であることが知られている。光切断法は、投光器によりスリット光をワークに照射し、そのスリット光が照射されたワークを撮像した画像からワークの三次元計測を行うものである。より具体的には、光切断法は、予め照射するスリット光の光切断面の三次元平面式を求めておき、このスリット光を照射したワーク上の輝線をカメラによって撮像する。そして、この得られた画像上の輝線の位置と、事前に求めた光切断面の三次元平面式とから三角測量の原理に基づいて三次元計測を行う。

ところで、上記光切断法において、投光器から照射されるスリット光が一本である場合、ワークの全体形状を計測するには、ワークもしくはスリット光を移動させて複数回の撮像を行なわなければならない。そのため、従来、少ない撮像回数でワークの三次元計測が行えるように、投光器から一度に複数のスリット光を照射する三次元計測装置が案出されている（特許文献１参照）。

ここで、複数のスリット光をワークに照射する場合、三次元計測を行うには撮像した画像上の複数の輝線それぞれと複数の光切断面とを対応付ける必要がある。そのため、上記特許文献１記載の三次元計測装置は、投光器にカラー光源を用いて隣接する輝線同士（スリット光）が異なる色になるように輝線の色を順番に変更している。そして、この色分けされた輝線をカラーカメラによって撮像することにより、輝線の色に基づいて複数の輝線と光切断面との対応付けを行なっている。

特開２００３−４２７３５号公報

しかしながら、上記特許文献１のように輝線の色によって画像上の輝線と光切断面の対応付けを行う三次元計測方法では、カラー光源及びカラーカメラが必ず必要となる。そのため、モノクロカメラを使用する三次元計測装置に対しては、この方法を適用することができないという問題があった。また、スリット光の色数を多くする程、各色の微妙な違いを画像から判別する必要があるため、ワークの表面色に測定精度が影響されやすくなるという問題もあった。

そこで、本発明は、色による輝線の識別とは別の方法にて、画像上の輝線と光切断面との対応付けが可能な三次元計測装置及び三次元計測方法を提供することを目的とする。

本発明に係る三次元計測装置は、ワークにスリット光を照射する投光器と、前記スリット光が照射されたワークを撮像する第１カメラと、前記第１カメラとは異なる視線から前記スリット光が照射されたワークを撮像する第２カメラと、前記スリット光の光切断面の三次元平面式を記憶していると共に、前記スリット光の照射により前記第１カメラによって撮像された第１画像上に生じた輝線、前記スリット光の照射により前記第２カメラによって撮像された第２画像上に生じた輝線及び前記光切断面の対応付けを行い、これら第１画像上の輝線、第２画像上の輝線及び光切断面のいずれかの対応関係を利用して三角測量の原理によりワークの三次元計測を行う制御装置と、を備え、前記制御装置は、前記第１画像上の輝線と前記光切断面とを仮に対応付け、この第１画像上の輝線を三次元仮想空間上にて前記光切断面に一旦投影した後に該光切断面を介して前記第２カメラにより撮像された第２画像上に投影し、この第２画像上に投影された前記第１画像上の輝線と前記第２画像上の輝線との一致度に基づいて前記光切断面と前記第１及び第２カメラの画像上の輝線との対応付けを行う、ことを特徴とする。

また、本発明は、投光器から複数のスリット光をワークに照射すると共に、これら複数のスリット光が照射された状態のワークを撮像した画像及び、これら複数のスリット光の光切断面の三次元平面式を用いてワークの三次元計測を行う三次元計測方法において、演算装置が、前記複数のスリット光が照射されたワークを異なる視線から撮像した第１及び第２画像を取得する画像取得工程と、前記演算装置が、前記第１画像上の各輝線を前記複数のスリット光の光切断面の一つと仮に対応付け、この第１画像上の輝線を三次元仮想空間上にて前記対応付けられた光切断面に一旦投影した後に該光切断面を介して前記第２画像上に投影し、この第２画像上に投影された前記第１画像上の輝線と前記第２画像上の輝線との一致度に基づいて前記光切断面と前記第１及び第２画像上の輝線との対応付けの正否を判断して、前記第１及び第２画像上の各輝線と前記光切断面との対応付けを決定する輝線対応付け工程と、前記演算装置が、前記第１画像上の輝線、前記第２画像上の輝線及び前記光切断面のいずれかの対応関係を用いて三角測量の原理によりワークの三次元計測を行う計測工程と、を備えた、ことを特徴とする。

本発明によると、第１画像上の輝線を仮に選択した光切断面を介して第２画像上に投影し、この投影された輝線と第２画像上の輝線との一致度に基づいて、光切断面と画像上の輝線との対応付けを行うことができる。

本発明の実施の形態に係る三次元計測装置を示す模式図。 図１の平面図。 本発明の実施の形態に係る制御装置を示すブロック図。 本発明の実施の形態に係る三次元計測方法を示すフローチャート図。 光切断面校正工程における三次元計測装置を示す模式図。 （ａ）光切断面校正工程において第１カメラが撮像した画像を示す図、（ｂ）光切断面校正工程において第２カメラが撮像した画像を示す図。 光切断面校正工程を示すフローチャート図。 三次元計測工程を示すフローチャート図。 輝線対応付け工程を示すフローチャート図。 輝線の一致度の算出方法を説明する模式図。 輝線の分割方法を説明する模式図であって、（ａ）は輝線の対応付けがなされた状態を示す図、（ｂ）は輝線の分割がなされた状態を示す図、（ｃ）は分割された新たな輝線が対応付けられた状態を示す図。 一致度を演算する光切断面を判断する方法を示す模式図。 輝線と対応付けを行う光切断面を選択する方法を示す模式図。 （ａ）光切断面検索画像を示す図、（ｂ）光切断面検索画像と第１画像の対応関係を示す図。

以下、本発明の実施の形態に係る三次元計測装置１について図面に沿って説明をする。

［三次元計測装置の構成］
図１、２に示すようにワーク２の三次元計測を行う三次元計測装置１は、ワーク２を撮像するステレオカメラ５と、ワーク２にマルチスリット光６を照射するパターン投光器７とを備えている。また、これらステレオカメラ５及びパターン投光器７が接続される制御装置１０を備えている。

上記ステレオカメラ５は、モノクロカメラからなる第１及び第２カメラ５Ｌ，５Ｒによって構成されていると共に、パターン投光器７は、単色の複数のスリット光６をワーク２に照射して、ワーク上に単純な縞状パターンを形成するように構成されている。また、これらステレオカメラ５及びパターン投光器７は、第１及び第２カメラ５Ｌ，５Ｒの視野とパターン投光器７の投光範囲とが重なるように配設されており、カメラ５の視野及び投光範囲が重なる位置にワーク２が設置される。詳しくは、パターン投光器７を挟んで第１カメラ５Ｌの反対側に第２カメラ５Ｒが配設されており、該第２カメラ５Ｒの視線と第１カメラ５Ｌの視線とが異なるように配設されている。更に、パターン投光器７は、マルチスリット光６がステレオカメラ５のエピポーラ拘束に対して垂直になるように配向されている。

また、図３に示すように、上記制御装置１０は、演算装置１０２及び記憶装置１０３を有するコンピュータ本体に、上記ステレオカメラ５及びパターン投光器７が接続されて構成されている。また、コンピュータ本体には、作業者が入力作業を行うための入力装置１０６やティーチングペンダント１３及び表示装置１０７なども接続されている。

上記記憶装置１０３には、ステレオカメラ５のカメラパラメータ１１３や、上記複数のスリット光６のそれぞれの光切断面６Ｐｊの三次元平面式のデータ１１４や、詳しくは後述する光切断面６Ｐｊの対応付けデータ１１５などが記憶されている。また、その他にも、ステレオカメラ５などの制御ドライバや、ワーク２の三次元計測をコンピュータに実行させる三次元計測プログラム１１２などの各種プログラムが格納されている。なお、カメラパラメータ１１３とは、レンズの焦点距離や歪み、カメラ間の位置関係を表すパラメータである。

より詳しくは、コンピュータ本体は、ＣＰＵ１０２ａを主体として、画像処理装置１０２ｂ、音声処理装置１０２ｃを有して上記演算装置１０２を構成している。このＣＰＵ１０２ａには、上記画像処理装置１０２ｂ、音声処理装置１０２ｃの他に、ＲＯＭ１０３ａ及びＲＡＭ１０３ｂがバス１１１を介して接続されている。ＲＯＭ１０３ａには、コンピュータの基本制御に必要なプログラムが格納されていると共に、上述した三次元計測プログラム１１２などの各種プログラムやデータが格納されている。ＲＡＭ１０３ｂには、ＣＰＵ１０２ａに対する作業領域が確保される。画像処理装置１０２ｂはＣＰＵ１０２ａからの描画指示に応じて表示装置１０７としての液晶ディスプレイを制御して、その画面上の所定の画像を表示させる。音声処理装置１０２ｃはＣＰＵ１０２ａからの発音指示に応じた音声信号生成してスピーカ１０９に出力する。

ＣＰＵ１０２ａにはバス１１１に接続された入力インターフェース１０６ｃを介して、入力装置１０６としてのキーボード１０６ａ及びマウス１０６ｂが接続されており、ワーク２の三次元計測に必要な指定情報、或いはその他の指示の入力を可能としている。

また、バス１１１には、ステレオカメラ５及びパターン投光器７が接続されていると共に、記録メディア読取装置１１７が接続されている。そのため、該記録メディア読取装置１１７によって三次元計測プログラム１１２などを記録した記録媒体１１０を読み込み、例えばＲＯＭ１０３ａに格納できるようになっている。なお、上述した記憶装置１０３は、主記憶装置であるＲＯＭ１０３ａ及びＲＡＭ１０３ｂの他に、その他の外部記憶装置を備えて構成されている。

更に、バス１１１には、通信装置１１６が接続されており、上述したような記録媒体１１０を使用せずに、通信装置１１６を介してインターネット等から配信される三次元計測プログラム１１２をダウンロード可能に構成されている。

また、本実施の形態では、制御装置１０をステレオカメラ５が接続されたコンピュータによって構成している。しかしながら、ステレオカメラ５に内蔵された演算装置と共同して制御装置１０を構成しても良く、またステレオカメラ５の演算装置のみでこの制御装置を構成しても良い。

［三次元計測の動作］
ついで、上記三次元計測プログラム１１２に基づくワーク２の三次元計測について説明をする。図４に示すように、ワーク２の三次元計測は、カメラ校正工程（図４のＳ１）及び光切断面校正工程（図４のＳ２）からなる事前準備段階と、実際の三次元計測工程（図４のＳ３）とから構成されている。以下の説明では、カメラ校正工程Ｓ１及び光切断面校正工程Ｓ２の事前準備段階について説明した後に、三次元計測工程Ｓ３について説明を行う。

ワーク２の三次元計測を行うにあたり、三次元計測装置１は、まず、ステレオカメラ５の校正を行う（カメラ校正工程）。具体的には、複数のマーカを有するカメラ校正ボードをステレオカメラ５によって撮像する。上記校正ボードのマーカの位置関係は予め計測されているため、三次元計測装置１の制御装置１０は、この撮像されたステレオ画像上のマーカと記憶されているマーカの位置関係を比較して、ステレオカメラ５のカメラパラメータ１１３を校正し、記憶する。

即ち、制御装置１０は、ステレオカメラ５のカメラパラメータ１１３を校正するカメラパラメータ校正部として機能する。なお、上記カメラ校正には、既存の手法（Zhengyou Zhang. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, pp. 1330-1334, 2000.など）が用いられる。

上記カメラパラメータ１１３の校正が終わると、次に三次元計測装置１は、図５乃至図７に示すように、複数あるスリット光６それぞれについて光切断面６Ｐｊの校正を行う（光切断面校正工程）。具体的には、図５に示すように、まず、黒色等による単色無地の平面である光切断面校正用の校正プレート１５をワーク２の代わりに載置する（図７のＳ２０）。そして、この校正プレート１５にパターン投光器７からマルチスリット光６を照射してステレオカメラ５で撮影する（図７のＳ２１）。

次に、ステレオカメラ５によって撮像された画像を制御装置１０に通信し、該制御装置１０によりカメラパラメータ１１３を用いて歪み補正及びステレオ平行化処理を行う（図７のＳ２２）。即ち、制御装置１０は、歪み補正・ステレオ平行化処理部として機能し、カメラパラメータ１１３を用いてステレオカメラ５の撮影画像４０，５０を、レンズ歪みが無く、左右のカメラが平行に配置されたステレオカメラ５で撮影したかのように補正する。これにより、第１及び第２カメラの画像４０，５０のうち、一方の画像上の点に対応する他方の画像上の点を含む直線（エピポーラ線）が同じＹ座標上のＸ軸に平行な直線になるため、対応点が探索しやすくなる。

上記撮像画像の補正処理がなされると制御装置１０は輝線検出部として機能し、この歪み補正及びステレオ平行化処理が施された画像４０，５０からマルチスリット光６が校正プレート１５に照射されてできた輝線４ｎ，５ｎを検出する（図７のＳ２３）。

なお、パターン投光器７はステレオカメラ５のエピポーラ拘束に対して垂直になるよう設置されているため、輝線４ｎ，５ｎもエピポーラ線に対して垂直に近い角度を持っている。そのため、歪み補正・ステレオ平行化処理部により補正された画像ならばエピポーラ線、すなわちＸ軸に沿って各画素の輝度からピークを検出すれば、輝線４ｎ，５ｎを構成する点を検出できる。または、二値化等の手段を用いて輝線構成点を検出しても良い。このようにして輝線構成点を検出後、隣接する輝線構成点をグループ化することで、輝線４ｎ，５ｎを検出することができる。また、ここで検出された各輝線４ｎ，５ｎをその長さでフィルタリングし、あまりに短い輝線はノイズとして除去しても良い。

撮像されたステレオ画像４０，５０から輝線４ｎ，５ｎを検出すると、制御装置１０は、図６に示すように、ステレオカメラ５の視野が一枚の平面であると仮定する。そして、ステレオカメラ５の撮影画像上の輝線４ｎ，５ｎについて、カメラ間の対応付けを行う（図７のＳ２４）。具体的には、マルチスリット光６のスリット数及び校正プレート１５が平面であることを利用して、画像端から順番にステレオカメラ５の第１及び第２画像４０，５０の輝線４ｎ，５ｎについて対応付けを行う。

上記対応付けがなされると、制御装置１０は三次元復元部として機能し、マルチスリット光６が校正プレート１５上に照射されて出来た輝線の三次元位置を求める（図７のＳ２５）。即ち、制御装置１０は、カメラパラメータ１１３を利用して、第１画像上の輝線４ｎと第２画像上の輝線５ｎの対応関係からステレオ法により輝線の三次元位置を求める。

上記輝線の三次元位置が求まると、制御装置１０は、この輝線の三次元位置計測の回数が予め設定された所定の計測回数ｉ以上であるかを判断する（図７のＳ２６）。そして、計測回数がこの所定回数ｉに達していない場合（図７のＳ２６のＮＯ）、制御装置１０は、校正プレート１５の位置をステレオカメラ５の奥行き方向に移動させ（図７のＳ２７）、上記Ｓ２０〜Ｓ２５の工程を繰り返して再度、輝線の三次元位置を計測する。

一方、計測回数が所定回数ｉに達している場合（図７のＳ２６のＹＥＳ）、制御装置１０は、上記輝線の三次元位置の計測結果から各スリット光６Ｘの光切断面６Ｐｊの三次元平面式を演算して、記憶する（図７のＳ２８）。即ち、マルチスリット光６により校正プレート上に照射された輝線は、マルチスリット光６による光切断面上に存在する。そのため、校正プレート１５を移動させながら計測した輝線の三次元位置は、スリット毎に同一平面上に存在し、制御装置１０は、これら複数回計測した輝線の三次元位置をスリット毎に集計して近似平面を演算することによって上記三次元平面式を求める。

上述したカメラ校正工程Ｓ１、光切断面校正工程Ｓ２が終了すると三次元計測装置１の計測の事前準備が終了し、三次元計測が可能となる。なお、この事前準備は、カメラパラメータ１１３に変更が無く、かつステレオカメラ５とパターン投光器７の位置関係やパターン投光器７のパターン自体に変更が無い限り、計測の毎に行う必要はなく、記憶装置１０３に記憶したデータを読み出せば良い。

ついで、実際のワーク２の計測を行う三次元計測工程Ｓ３について図８〜図１４に基づいて説明をする。ワーク２の三次元計測を行うに際し、三次元計測装置１は、まず、投光器７からワーク２に向かって複数のスリット光６を照射し、これら複数のスリット光６が照射された状態のワーク２を第１及び第２カメラ５Ｌ，５Ｒによって撮像する。そして、制御装置（演算装置）１０は、これら異なる視線から複数のスリット光６が照射されたワーク２を撮像した第１及び第２画像４０，５０を取得する（図８のＳ３０、画像取得工程）。なお、この撮影は一回の計測につき一回行えば良い。

上記第１及び第２画像４０，５０を取得すると、制御装置１０は、光断面の校正時と同様に、これら第１及び第２画像４０，５０に対して歪み補正及びステレオ平行化処理を行う（図８のＳ３１、補正工程）。そして、補正した第１及び第２画像４０，５０を用いて、マルチスリット光６の照射により第１画像上に生じた輝線、マルチスリット光６の照射により第２画像上に生じた輝線を検出する（図８のＳ３２、輝線検出工程）。

上記第１及び第２画像上の輝線を検出すると、制御装置１０は、第１画像上の複数の輝線から一本の輝線を選択する（図８のＳ３３，Ｓ３４、輝線選択工程）。そして、この選択された第１画像上の輝線に対応する第２画像上の輝線及び光切断面を求める（図８のＳ３５、輝線対応付け工程）。即ち、制御装置１０は、輝線対応検出部として機能し、ワーク２を撮影したステレオカメラ５の撮影画像から検出した輝線について、カメラパラメータ１１３及び光切断面の三次元平面式を利用して第１及び第２画像間の輝線の対応付けを行う。

上記第１画像上の輝線、第２画像上の輝線及び光切断面の１つの対応関係が求まると、制御装置１０は、同様の方法を用いて第１画像上のすべての輝線について、上記対応関係を求める（図８のＳ３４〜Ｓ３７）。

そして、すべての輝線についての対応関係が求まると（図８のＳ３７のＹＥＳ）、制御装置１０は、これら第１画像上の輝線、第２画像上の輝線及び光切断面のいずれかの対応関係を利用して三角測量の原理によりワーク２の三次元位置を求める。そして、この三次元位置を求めることによってワーク２の三次元形状データを得る（図８のＳ３８）。

［輝線対応付け工程］
ついで、上記輝線対応付け工程Ｓ３５について図１，図９〜図１３に基づいて詳しく説明をする。なお、以下の説明において、スリット光６の照射により第１カメラ５Ｌによって撮像された第１画像上に生じた複数の輝線の任意の一つを参照符号４ｊで表す。また、スリット光６の照射により第２カメラ５Ｒによって撮像された第２画像上に生じた複数の輝線の任意の一つを参照符号５ｊで表す。更に、複数あるスリット光６の光切断面の内、任意の一つを参照符号６Ｐｊとして表すこととする。

輝線選択工程（図８のＳ３３，Ｓ３４）にて複数ある第１画像上の輝線から一つの輝線４ｊが選択されると、制御装置１０は、この選択された第１画像上の輝線４ｊと、複数ある光切断面の一つとを仮に対応付ける（図９のＳ３５０，Ｓ３５１、仮対応付け工程）。即ち、対応付けを行いたい第１カメラ５Ｌのセンサ面上（第１画像上）の輝線４ｊは、記憶装置１０３に記憶されたマルチスリット光６の光切断面６の内、ｊ番目（ｊは任意の整数）の光切断面６Ｐｊによって発生したと仮定する。

上記第１画像上の輝線４ｊと光切断面６Ｐｊとの対応付けがなされると、制御装置１０は、図１に示すように三次元仮想空間上にてこの選択された第１画像上の輝線を上記仮に対応付けられた光切断面６Ｐｊに一旦投影する（図９のＳ３５２、光切断面投影工程）。そして、制御装置１０は、上記光切断面６Ｐｊに輝線４ｊを投影すると、この光切断面６Ｐｊを介して第１画像上の輝線４ｊを第２画像上に投影する（図９のＳ３５３、第２画像投影工程）。即ち、制御装置１０は、光切断面の三次元方程式及びカメラパラメータを用い、三次元仮想空間上にて、仮定した光切断面６Ｐｊに第１画像上の輝線４ｊを投影し、さらに投影した輝線４ｊＰを第２画像（第２カメラのセンサ面）５０へ投影する演算処理を行う。

次に、制御装置１０は、第２画像上に投影された第１画像上の輝線４ｊＸに最も近い第２画像上の輝線５ｊを探索し、これら第２画像上に投影された第１画像上の輝線４ｊＸと第２画像上の輝線５ｊとの一致度Ｍを算出する（図９のＳ３５４、一致度算出工程）。

より具体的には、上記一致度Ｍは、例えば図１０に示すように、エピポーラ拘束方向Ｙの距離６０の平均値６０Ａや、エピポーラ拘束に垂直な方向Ｘの重なりの長さ６１、端点間の距離６２ａ，６２ｂのいずれか、またはこれら組み合わせの一致度により評価される。なお、上記エピポーラ拘束方向Ｙは、歪み補正・ステレオ平行化処の補正された画像においては画像横方向となる。また、上記一致度Ｍは、輝線周辺の画像特徴（平均輝度やコントラスト等）の近似度を用いて評価しても良い。

仮に対応付けられた第１画像上の輝線４ｊと光切断面６Ｐｊとの一つの組み合わせにおける一致度Ｍの算出がなされると、制御装置１０は、第１画像上の輝線４ｊと対応付けを行う光切断面６Ｐｊを変更する。そして、上記借り対応付け工程Ｓ３５１から一致度算出工程Ｓ３５６を繰り返し、新たに対応付けられた光切断面６Ｐｊとの組み合わせについても一致度Ｍを算出する。

制御装置１０は、上記工程を繰り返し、すべての光切断面との組み合わせについて上記一致度Ｍが求まると、この算出した一致度Ｍに基づいて、各第１画像上の輝線４ｊと光切断面６Ｐｊとの対応付けの正否を判断する。そしてこれにより、正しい輝線４ｊと光切断面６Ｐｊの組み合わせを決定する（Ｓ３５７、判断工程）。また、この時、第２画像上の輝線５ｊと、上記第１画像上の輝線４ｊ及び光切断面６Ｐｊとの正しい組み合わせも決定される。そして、制御装置１０は、複数ある第１画像上の輝線４ｊのすべてについて、上述した方法で光切断面６Ｐｊ、第２画像上の輝線５ｊとの対応関係を求める。

このように、制御装置１０は、第１画像上の輝線４ｊを光切断面６Ｐｊを介して第２画像上に仮想的に投影し、この第２画像上に投影した第１画像上の輝線４ｊＸを求める。そして、この演算された輝線４ｊＸと実際に撮像した第２画像上の輝線５ｊとの一致度Ｍを指標として、第１画像上の輝線４ｊ、光切断面６Ｐｊ及び第２画像上の輝線５ｊの対応関係の正否を判断することができる。

より詳しくは、第１及び第２カメラ５Ｌ，５Ｒの光学中心Ｏ_５Ｌ，Ｏ_５Ｒとセンサ面４０，５０上の輝線４ｊ，５ｊとを結んだ直線とスリット光の光切断面６Ｐｊは一つの線で交わる。そして、これら第１画像上の輝線４ｊ、光切断面６Ｐｊ及び第２画像上の輝線５ｊの対応関係が全て正しい場合、これらはワーク２にスリット光が照射されて出来た輝線Ｌの位置となる。

制御装置１０は、上記関係を利用して第１画像上の輝線４ｊ、第２画像上の輝線５ｊ及び光切断面６Ｐｊの正しい対応関係を求めている。即ち、片方のカメラ画像上の輝線４ｊについて、光切断面６Ｐｊに投影した後、投影された輝線４ｊＰをさらに反対側のカメラ画像に投影すると、反対側のカメラの撮影画像上に位置が一致する輝線５ｊが存在するはずである。そのため、仮に対応付けた光切断面６Ｐｊについて、上記の投影を行い一致する輝線が存在するか否かを判断することにより、光切断面６Ｐｊの仮定が正しいか否かを判断することができる。

上記方法によると、色による輝線の識別とは別の方法にて、画像上の輝線４ｊ，５ｊと光切断面６Ｐｊとの対応付けが可能となるため、単色のスリット光パターンで、かつ一回の撮影で複数のスリット光が投影されたワークの三次元計測を行うことが出来る。

また、単色のパターン光源を用いることができるので、パターン光源を安価にすることができると共に、カラーフィルタによる光源の輝度劣化がないため、光源の輝度を必要以上に高くする必要もない。更に、各色の輝線が重ならないように高いパターン精度も要求されない。

また、ステレオカメラ５にモノクロカメラを使用できるため、カラーカメラが必要な場合に比べ、高感度、高解像度になる。加えて、一回の撮影で三次元計測を行えるため、短時間で計測を行え、生産ライン上の移動物体などの計測も可能になる。

［輝線の対応付けの他の可能性］
なお、上記ワーク２の三次元計測において、ワーク２の形状の凹凸や撮影画像のノイズ等により、同じスリット光により生成された画像上の輝線が分割されたり、違うスリット光から出来た輝線が撮影画像上では繋がった輝線となってしまったりすることもある。そのため、一致度Ｍを検出する際に、上記分割された輝線や、異なる輝線が連続した輝線を一つの輝線として認識すると、正確に一致度Ｍを検出することができない場合がある。

そこで、制御装置１０は、一致度Ｍを演算するにあたり、第２画像上に投影された第１画像上の輝線４ｊＸと第２画像上の輝線５ｊとの対応付けをすると、これら両輝線４ｊＸ，５ｊをエピポーラ拘束に垂直な方向に分割するようにしても良い（輝線分割工程）。

即ち、画像上の輝線は、例えば図１１（ａ）の輝線５ｊのように一部が分割して写っていたり、輝線４ｊＸのように一部が画像上に上手く投影されなかったりすることがある。そのため、制御装置１０は、図１１（ｂ）に示すように、輝線４ｊＸ，５ｊの対応付けが行なわれた後、これら両輝線についてエピポーラ拘束に垂直な方向で重なる部分４ｊＸ_１，５ｊ_１以外を分割し、この分割部分を新たな輝線４ｊＸ_２，５ｊ_２として定義する。そして、この新たに定義された輝線４ｊＸ_２，５ｊ_２についても対応付けを行い、一致度を算出することによって、正確に一致度Ｍを検出することができる。

例えば、図１１の場合では、本来選択された輝線の重なり部分４ｊＸ_１，５ｊ_１の対応付けを行って一致度Ｍ_１を演算する。また、分割された輝線４ｊＸ_２と、別輝線として第２画像上に写っていた輝線５ｊ_３との対応付けを行って一致度Ｍ_２を演算する。そして、制御装置１０は、これら演算された一致度Ｍ_１，Ｍ_２の平均を求める一致度Ｍとしても良い。なお、輝線５ｊ_２については、対応付けを行う輝線が存在しないため、対応付けを行わない。

また、上記実施の形態では、第１の画像上の輝線４ｊと総ての光切断面６Ｐｊとの対応関係について上記一致度Ｍを演算し、演算された複数の一致度Ｍから最も一度の高いものを正しい対応関係としていた。しかしながら、図１２に示すように、一致度Ｍを演算するにあたり、三次元仮想空間上にて仮に対応付けられた光切断面６Ｐｊの一つに第１画像の輝線４ｊを投影するとその時点で三次元位置が求まる。また、上述したようにワーク２の存在範囲は、予め設定されている。そのため、制御装置１０は、この仮に対応付けられた光切断面６Ｐｊの一つに第１画像上の輝線４ｊを投影した際の三次元位置が、上記ワーク２の三次元上の存在範囲外の場合、一致度Ｍの演算をせずに対応付けを行う光切断面６Ｐｊを変更しても良い。つまり、一致度Ｍの演算を行うか否かを判断する一致度演算判断工程を有していても良い。

具体的には、図１２の場合、制御装置１０は、第１画像上の輝線４ｊと光切断面６Ｐｊとの交点（三次元位置）Ｐがワークの存在範囲７０内となる第３及び第４光切断面（交点Ｐ３，Ｐ４）についてのみ一致度Ｍを演算する。また、それ以外の光切断面については、一致度Ｍは演算せずに光切断面投影工程（図９のＳ３５２）にて終了する。このようにすると、対応候補となり得ない光切断面について一致度Ｍを演算する必要がないため、演算量が少なくなり、輝線の対応付けが速くなる。そのため、測定タクトを短くすることができる。

更に、輝線の対応付けを行う際の処理をより高速に行うために、画像を分割した領域ごとや、各画素ごとに、対応する可能性のある光切断面候補を予め記憶しておく。そして、輝線の対応付けを行う際に、検出した輝線の画像上の位置に対応する光切断面候補のみを輝線との仮の対応付けを行う対象とするようにしても良い（光切断面選択工程）。

具体的には、上述したように第１カメラ５Ｌ、第２カメラ５Ｒ及び投光器７の位置関係は予め校正されていると共に、ワークの存在範囲７０も予め設定されている。そのため、図１３に示すように、第１画像４０は、その画像上の範囲８０が仮想三次元空間上にてどの範囲でワークの存在範囲７０と重なるか予め規定しておくことができる。言い換えると、第１画像上の所定範囲８０は、三次元仮想区間上の上記ワークの存在範囲７０との重なり部分９０を撮像しているといえる。

また、各スリット光の光切断面６Ｐｊの三次元平面式も既知である。そのため、図１３の第１画像上の範囲８０内に輝線４ｊが存在している場合、この輝線４ｊは、上記重なり部分９０を通過する光切断面６Ｐｊ_３〜６Ｐｊ_５のいずれかにより生じた輝線といえる。

そこで、制御装置１０は、図１４（ａ）に示すように、第１画像４０の輝線検出時に画像上の輝線の存在する画素に光切断面の番号を記録した光切断面検索画像（対応付けデータ１１５）を作成している。そして、図１４（ｂ）に示すように、第１画像４０から輝線４ｊを検出した段階で、光切断面検索画像１１５を用いて仮に対応付けを行う光切断面６Ｐｊを決定しても良い。なお、上記光切断面検索画像１１５は、第２画像用に作成し、第１画像上の輝線４ｊを第２画像上に投影した際に、対応付けを行う光切断面６Ｐｊを決定するようにしても良い。

即ち、制御装置１０は、複数の光切断面の内、予め設定されたワークの三次元上の存在範囲７０と輝線が存在する第１画像上の範囲に対応する三次元上の範囲８０とが重なる範囲を通過する光切断面についてのみ、第１画像上の輝線との仮の対応付けを行う。そして、この対応付けられた光切断面との組み合わせについてのみ、上記一致度Ｍを演算するようにしても良い。

なお、上記実施の形態において、ステレオカメラ５にモノクロカメラを用いたが、カラーカメラを用いても良い。また、投光器７にカラー光源を用いても良い。そして、カラーカメラ及び光源を用いた場合、色による輝線の対応付けと本発明の輝線の対応付けを組み合わせて使用しても良い。

更に、投光器７のスリットの間隔は、一定間隔でも不定間隔でも良い。また、第１画像上の輝線４ｊ、第２画像上の輝線５ｊ及び光切断面６Ｐｊの対応付けがなされれば、三次元計測は、ステレオ法であっても、光切断法であっても三角測量の原理を用いるものであればどのような方法でも良い。

更に、上記三次元計測装置１は、物体の形状・姿勢を計測する三次元計測装置として単体で使用されてもよいが、例えば、ロボットアームの先端に取り付けられたりして自動組立ロボットなどの装置の一部として取り込まれても良い。

また、例えば、上述した輝線分割工程、一致度演算判断工程、光切断面選択工程など、本実施の形態に記載された発明は、どのように組み合わされても良いことは当然である。

１：三次元計測装置、２：ワーク、４ｊ：１画像上に生じた輝線、５Ｌ：第１カメラ、５Ｒ：第２カメラ、５ｊ：第２画像上に生じた輝線、６Ｘ：スリット光、６Ｐｊ：光切断面、７：投光器、１０：制御装置

Claims (5)

1. ワークにスリット光を照射する投光器と、
   前記スリット光が照射されたワークを撮像する第１カメラと、
   前記第１カメラとは異なる視線から前記スリット光が照射されたワークを撮像する第２カメラと、
   前記スリット光の光切断面の三次元平面式を記憶していると共に、前記スリット光の照射により前記第１カメラによって撮像された第１画像上に生じた輝線、前記スリット光の照射により前記第２カメラによって撮像された第２画像上に生じた輝線及び前記光切断面の対応付けを行い、これら第１画像上の輝線、第２画像上の輝線及び光切断面のいずれかの対応関係を利用して三角測量の原理によりワークの三次元計測を行う制御装置と、を備え、
   前記制御装置は、前記第１画像上の輝線と前記光切断面とを仮に対応付け、この第１画像上の輝線を三次元仮想空間上にて前記光切断面に一旦投影した後に該光切断面を介して前記第２カメラにより撮像された第２画像上に投影し、この第２画像上に投影された前記第１画像上の輝線と前記第２画像上の輝線との一致度に基づいて前記光切断面と前記第１及び第２カメラの画像上の輝線との対応付けを行う、
   ことを特徴とする三次元計測装置。
2. 前記投光器は、複数の前記スリット光をワークに照射し、
   前記制御装置は、複数の前記光切断面の内、予め設定されたワークの三次元上の存在範囲と前記輝線が存在する第１画像上の範囲に対応する三次元上の範囲とが重なる範囲を通過する前記光切断面についてのみ、前記第１画像上の輝線との仮の対応付けを行って前記一致度を演算する、
   請求項１記載の三次元計測装置。
3. 前記制御装置は、三次元仮想空間上にて仮に対応付けられた前記光切断面の一つに前記第１画像上の輝線を投影した際の三次元位置が、予め設定されたワークの三次元上の存在範囲外の場合、前記一致度の演算をせずに対応付けを行う光切断面を変更する、
   請求項１又は２に記載の三次元計測装置。
4. 投光器から複数のスリット光をワークに照射すると共に、これら複数のスリット光が照射された状態のワークを撮像した画像及び、これら複数のスリット光の光切断面の三次元平面式を用いてワークの三次元計測を行う三次元計測方法において、
   演算装置が、前記複数のスリット光が照射されたワークを異なる視線から撮像した第１及び第２画像を取得する画像取得工程と、
   前記演算装置が、前記第１画像上の各輝線を前記複数のスリット光の光切断面の一つと仮に対応付け、この第１画像上の輝線を三次元仮想空間上にて前記対応付けられた光切断面に一旦投影した後に該光切断面を介して前記第２画像上に投影し、この第２画像上に投影された前記第１画像上の輝線と前記第２画像上の輝線との一致度に基づいて前記光切断面と前記第１及び第２画像上の輝線との対応付けの正否を判断して、前記第１及び第２画像上の各輝線と前記光切断面との対応付けを決定する輝線対応付け工程と、
   前記演算装置が、前記第１画像上の輝線、前記第２画像上の輝線及び前記光切断面のいずれかの対応関係を用いて三角測量の原理によりワークの三次元計測を行う計測工程と、を備えた、
   ことを特徴とする三次元計測方法。
5. 請求項４記載の三次元計測方法の各工程を、コンピュータに実行させる三次元計測プログラム。

Images