JP2012215394A - 三次元計測装置および三次元計測方法 - Google Patents

Abstract

【課題】 最適パターン光投影のような強度変調パターン光投影手法による静止物体の三次元画像計測を行う。
【解決手段】 ワークＷにパターン光を投影するパターン投影機２１と全面照明機２２と、パターン光が投影されたワークＷを撮像して画像を撮像するカメラ２３、２４により撮像した画像のデータを処理するデータ処理装置４２とから構成され、パターン投影機２１によりパターン光を投影して画像を撮影する第１撮像モードと、全面照明機２２による全照明反射画像を撮像する第２撮像モードがワークＷの種類の特定によって判定される。その撮像結果によって三次元情報が算出されるので、精度の高い三次元情報を得ることができる。
【選択図】図１

Description

本発明は、物体に所定のパターン光を投影し、三次元情報を計測する三次元計測装置および三次元計測方法に関する。

近年、品質管理、安全防犯やセキュリティ管理などの様々な分野において、生産ラインや生産現場などで生産物の形状計測や所在空間位置の計測などを行ったり、部品などの三次元形状データの取得を行ったりすることが要求されており、これらの物体の非接触かつ高速な三次元計測装置の開発が期待されている。

従来から、対象物体の形状を測定する三次元計測では、三角測量の原理が幅広く応用されている。また、三次元計測の手法としては、計測する対象物体に計測の補助となる特定の光や電波などを照射することなく計測を行う受動型のものと、光、音波や電波などを対象物体に照射し、その情報を利用して計測を行う能動型のものとがあり、受動式三次元画像計測の代表的な方法はステレオ視方法である。

一方、能動型のものとして、対象物体に基準となる光のパターンを投影してこの基準となるパターン光が投影された方向とは異なる方向からＣＣＤカメラなどで撮影を行うパターン投影法と呼ばれる手法がある。この手法では、撮影されたパターンは物体の形状によって変形を受けたものとなる。この撮影された変形パターンと投影パターンとの対応づけを行うことで、物体の３次元計測を行うことができる。パターン投影法では計測精度は高いが、変形パターンと投影したパターンとの対応付けをいかに誤対応を少なく、かつ簡便に行うかが課題となっている。そこで様々なパターン投影法が従来提案されている。

例えば特許文献１に開示される手法においては、コード化されたパターンを投影する投光器と、投光器の光軸方向から投影パターンを撮影する第１のカメラと、投光器の光軸方向と異なる方向から投影パターンを撮影する第２のカメラとを準備し、投影パターンに対する第１のカメラによる撮影パターンの変化量が所定値以上の領域について新たなコードを割り付け、割り付けコードを用いて第２のカメラによる撮影パターンから第１の距離情報を生成し、第１の距離情報および第１のカメラより得られた輝度情報に基づいて３次元画像を得るように３次元画像撮影装置を構成する。

また、特許文献２は、計測対象物にパターン光を投影する投影手段としてのパターン投影機と、パターン光が投影された計測対象物を撮像して画像を撮像する撮像手段としてのカメラと、このカメラにより撮像した画像のデータを処理するコンピュータとから構成される。コンピュータにより、撮像された画像から検出された投影パターン光の強度値から投影パターン光を形成している個別パターン光の方向角が算出されるとともに強度分布が分割され、分割されたパターンの各計測点における位相値から奥行き距離が算出される。

一方、パターン投影法では、カメラに観測されている対象物体の全ての部分にパターン光を投影すれば、全視野計測を行うことが可能である。これはパターン投影法の一番優れている特長である。しかし、従来のスポットパターン光投影法、スリットパターン光投影法や空間コード化パターン光投影法などの手法では、計測に複数回のパターン光投影と撮影が必要であり、計測に時間がかかる。

即ち、上記のような複数レベルのパターンを投影する場合、複数レベルのパターンのストライプが１セットとなり、これの繰り返しパターンを投影することになる。このように繰り返しの周期が小さいと、コードの探索処理の際誤ってマッチングする確立が増大するという問題が生じる。この問題を回避するためにパターンのレベル数を増やすことなる。

しかしこのようにパターンのレベル数を増やしていくと、表面色が暗い物体を測定する場合には、反射率が小さくなるのでカメラに取り込む画像上ではパターンのダイナミックレンジが小さくなり、ストライプごとの階調段差が縮小してコード処理で誤った値を算出するなどの問題もある。

そこで正確なパターン検出を可能にすることを目的として、特許文献３では、２つのストライプパターンがメモリに記憶され、パターン切替部によりストライプパターンが切り替えられ、２つのストライプパターンを連続して投射し、それぞれのストライプパターンの投影像を撮像して２つの撮像画像を得る。それぞれの撮像画像にエッジ抽出処理とコード付与処理を行い、２組のコード化エッジ画像を獲得する。得られた２組のコード化エッジ画像を重畳して、エッジ密度が高く、コード分布の良好なひとつの統合コード化エッジ画像を獲得する。求められた統合コード化エッジ画像に対して距離計測の計算を実施することで、距離算出時のアルゴリズムに起因するエラーの発生を少なくすることができる。

特開２０００−６５５４２号公報 特開２００６−１４５４０５号公報 特開２００６−１０４１６号公報

上述のように、パターン投影法による形状計測方式において獲得される形状データ点は、投影されるパターンによってマーキングされる箇所に限定され、実際上はストライプ間のエッジ位置に対応した点のみとなる。すなわち、測定密度（エッジ密度）を増加させ、また、複数のストライプパターン間でエッジの区別ができるようにしなければならない。しかしながら、パターンの密度を増加しても対象物体の形状が任意であると、エッジの誤検出が避けられない。

特に、対象物体がエッジの多い部位と少ない部位が混在しているような形状の場合、同一のストライプパターンを投影すると、特にエッジの多い部位で複数の画像において階調段差が得られない問題が発生する。例えば、ストライプパターンの輝度が大きくエッジの輝度の方が小さい組み合わせが発生して階調段差が得られなかった。

そこで、本発明においては、上記誤検出の問題を解決したパターン光投影法による物体の三次元計測装置および三次元計測方法を提供することを目的とする。

本発明の三次元計測装置は、計測対象物体に投影手段によりパターン光を投影することにより前記パターン光が投影された計測対象物を撮像する第１撮像モードと、前記計測対象物体をステレオカメラで撮像する第２撮像モードとを有する撮像部と、前記撮像部による計測対象物体の撮像に先立って計測対象物体の種類の特定を行い撮像モードを判定する第１認識手段と、前記第１認識手段による判定に応じて撮像部による撮像モードを変更しつつ、計測対象物を第１撮像モードまたは第２撮像モードで撮像させる撮像制御手段と、前記撮像制御手段による第１と第２撮像モードでの撮像結果に基づいて、前記計測対象物体の三次元情報を算出する三次元情報算出手段と、を備えるものである。

ここで、前記第１認識手段は、計測対象物体のエッジ領域の大きさによって種類が特定されるものである。

本発明の三次元計測方法は、撮像部による計測対象物体の撮像に先立って計測対象物体の種類の特定を行い撮像モードを判定する撮像モード判定工程と、計測対象物体に投影手段によりパターン光を投影することにより前記パターン光が投影された計測対象物を撮像する第１撮像モードと、前記計測対象物体をステレオカメラで撮像する第２撮像モードとを有する撮像部を有し、前記撮像モード判定工程による判定に応じて撮像部による撮像モードを変更しつつ、計測対象物を第１撮像モードまたは第２撮像モードで撮像させる撮像工程と、撮像工程による第１と第２撮像モードでの撮像結果に基づいて、計測対象物体の三次元情報を算出する三次元情報算出工程と、を備えるものである。

本発明では、パターン光が計測対象物体に投影される第１撮像モードと、計測対象物体をステレオカメラで撮像する第２撮像モードとを有し、計測対象物体の種類の特定によって撮像モードが判定される。そのため、最適な撮像モードで撮像することができる。つまり、撮像結果に基づいて計測対象物体の三次元情報を算出するにあたって、三次元情報を良好に算出可能な撮像結果を撮像モードの判定によって変更可能となる。

ここで、第１認識手段による計測対象物体の種類の特定は、計測対象物体のエッジ領域の大きさによって行われることが望ましい。計測対象物体のエッジ領域が大きくなるとパターン光の投光による撮像結果からエッジ領域の誤検出が起こり易い。一方、エッジ領域が少ないと、パターン光の投影によってエッジ領域の検出精度を向上させることができ、三次元画像計測の精度をさらに向上させることができる。

本発明の三次元計測方法によれば、上記本発明の三次元計測装置と同様の作用効果を得ることができる。

パターン光を計測対象物体に投影する撮像モードと、投影しない撮像モードを計測対象物体によって判定し変更することで、精度良く物体の三次元画像計測を行うことが可能となる。

三次元計測装置を適用したピッキングロボットシステムの例を示す図 三次元計測装置の詳細な構成を示すブロック図 パターンデータの水平方向の輝度プロファイルを示す模式図 ストライプパターンを示す図 ワークＷを示す図であり、（ａ）は平面図、（ｂ）は一部断面側面図 モデル点群を説明する模式図 三次元計測の流れを示す処理フロー図 二次元画像データＦＤ１１、ＦＤ１２を示す図である ワークＷ１０を示す図であり、（ａ）は平面図、（ｂ）は一部断面側面図 モデル点群を説明する模式図 ワークモデル点群８３とカウント値Ｃ３を説明するイメージ図 パターン光を投影して撮影された反射パターン画像を示す図である。 ワークＷ１０の撮像画像を示すイメージ図 ワークＷ１０の種類の特定を行う処理を説明する図であり、（ａ）は判別領域のイメージ図、（ｂ）は判定を説明するイメージ図である。 ワーク判定を含む三次元計測の流れを示す処理フロー図

以下、本発明の実施の形態における三次元計測装置について、図面を用いて説明する。図１は、三次元計測装置を適用したピッキングロボットシステムの例を示す。このピッキングロボットシステム１は、工場内で作業台９上に配置されたワークＷを１つずつ取り出して所定の位置に搬送する作業を行うためのもので、実際の作業を行う多関節ロボット３や、このロボット３の動作を制御するロボット制御装置５が含まれる。さらに、このピッキングロボットシステム１には、計測対象物体であるワークＷの位置および姿勢を認識するために、ステレオカメラを含む撮像部２および物体認識装置４が設けられる。

図１に示すように、本実施形態の三次元計測装置は、照明装置を有する撮像部２と処理装置である物体認識装置４からなる。撮像部２は照明装置としてワークＷにパターン光を投影する投影手段としてのパターン投影機２１と、ワークＷの全体に照明光を投影する全面照明機２２とを有し、また、パターン光または照明光が投影されたワークＷを撮像する撮像手段としてのカメラ２３、２４とより構成される。

また、物体認識装置４は、カメラ２３、２４やパターン投影機２１と全面照明機２２の操作を制御する撮像制御手段４１と、カメラ２３、２４により撮像した画像のデータを処理するデータ処理装置４２とから構成される。パターン投影機２１と物体認識装置４、全面照明機２２と物体認識装置４、カメラ２２、２４と物体認識装置４は、各データを伝送することができる伝送ケーブル４３１、４３２、４３３、４３４によって接続されている。

次に、ピッキングロボットシステム１の三次元計測装置に関して図２を参照して詳細に説明する。図２は図１の三次元計測装置の詳細な構成を示すブロック図である。本発明では、２台のカメラで同時に例えば床面に置かれた立体形状のワークＷを撮像し、１対のステレオ視対を用意し、そのステレオ視対で距離を計算する。まず対象のワークＷがパターン投影法を必要とする領域を有する形状かを判別し、ついでステレオ視対において３次元形状画像データを生成する。

撮像部２は、２台のカメラ２３、２４を一体的に備える。これらのカメラ２３、２４は、光学系を介して結像するワークＷの２次元画像を撮像（撮影）するＣＣＤやＣＭＯＳなどを有する公知のデジタルカメラである。２つのカメラ２３、２４は、床面に置かれたワークＷに対して互いに視点が異なるように配置され、互いに視差のある二次元画像データＦＤ１、ＦＤ２を取得する。なお、カメラはデジタル式カメラであれば８ビット、１０ビット、１２ビット、１６ビットのものや、３ＣＣＤ、１ＣＣＤ、ＣＭＯＳ等や、静止画カメラ、動画カメラ、ビデオカメラ等のどのようなものでもよい。

パターン投影機２１は、撮像制御手段４１により形成されたパターンデータをパターン光に変換し、ワークＷに投影する装置、もしくは、データ処理装置４２の命令を受け、所定のパターン光をワークＷに投影する装置である。例えば、液晶プロジェクタ、レーザ光プロジェクタ、ＬＥＤ（半導体）プロジェクタやフィルムプロジェクタなど市販の簡単な装置を用いることができる。

パターン光は、縞の強度変化があるもしくは色の異なるストライプ状パターンや、振幅の変化がある正弦波状強度分布パターンあるいは余弦波状強度分布パターンなどの強度変調パターンを形成する。このパターン光をパターン投影機２１は投影し、カメラ２３、２４で撮像していく。この実施例では、後述するようにストライプパターンは１つ用いるが、これに限定されず、２つ以上としても良い。図３に、液晶プロジェクタへ入力するパターンデータの水平方向の輝度プロファイルを模式的に示す。投影パターン（パターンデータ）は２５６階調を８段階に分けた９種類の輝度ストライプＰ１からＰ９を組み合わせたものとしている。このストライプパターンＰ１からＰ９では、隣り合うストライプ同士が１段階のレベル差にならないように配置している。投影パターンは、模式的には、図３の輝度プロファイルより図４に示すような濃淡のあるストライプパターンＰ１からＰ９が生成される。これを用い、ワークＷにパターンを投影する。スライドプロジェクタを用いる場合、投影パターンはスライドフィルム上へ形成するか、ガラスパターンに金属膜などを蒸着し膜厚や網膜点パターンなどによって透過率をコントロールする。

全面照明機２２は、ワークＷに照明光を照射するもので、本実施例において、ワークＷの撮像が室内で行なわれるため、撮像における適正露出が得られる撮像環境を得るために撮像部２による撮像時に光を照射するものである。なお、この全面照明機２２による光量は撮像環境によって変わるもので、ワークＷの撮像が室外で行なわれるときには、天候によって変わるが自然光による光量が多い環境で適正露出を得るのに全面照明機２２による光量は少なくとも良い。

次に、パターン投影機２１と全面照明機２２は、ワークＷに対して互いに異なる角度で照明光を照射する。これら照明装置は、カメラ２３、２４による撮影に際して、それぞれ照明が行なわれる動作と、両方を同時に点灯する動作が可能である。これら、カメラ２３、２４および照明装置の動作は、撮像制御手段４１によって制御される。

撮像制御手段４１は、図２に示すように、パターン投影機２１と全面照明機２２およびカメラ２３、２４と接続するためのインターフェース４４を備え、更に、強度値または色が均一である全面投影用のパターンの光（全面照明光）を全面照明機２２により投影するとともに、この全面照明光投影時の反射光をカメラ２３、２４によって撮影することにより画像（全面照明反射画像）を取得する全面照明光投影撮影手段４６と、強度値または色の異なるパターンの光（強度変調パターン光）をパターン投影機２１により投影するとともに、この強度変調パターン光投影時の反射光をカメラ２３、２４によって撮影することにより画像（反射パターン画像）を取得するパターン光投影撮影手段４７と、を備える。

また、撮像制御手段４１は、カメラ２３、２４の動作を制御する。例えば、カメラ２３、２４のシャッタを制御し、露出タイミング、露出時間などを制御する。そして、各照明装置を制御する。例えば、カメラ２３、２４による撮影に際して、露光時間や照明光量やパターン投影機２１と全面照明機２２を順次オンするように切り換える。

全面照明光投影撮影手段４６は、縞がない光の強度値もしくは色が均一の全面投影用のパターン光を形成し、インターフェース４４を介して全面照明機２２に出力し、この全面投影用のパターンの光（全面照明光）を全面照明機２２によりワークＷに投影するものである。あるいは、全面照明光投影撮影手段４６は、データ処理装置４１からの命令を受け、所定の全面照明光を全面照明機２２によりワークＷに投影するものとすることも可能である。また、全面照明光投影撮影手段４６は、この全面照明光を投影したワークＷからの反射光をカメラ２３、２４によって撮影し、この撮影した画像（全照明反射画像）をインターフェース４４を介して取り込み、記憶手段４５に記憶する。即ち、この全面照明機２２による撮像がワークＷをステレオカメラで撮像する第２撮像モードに該当する。

パターン光投影撮影手段４７は、ストライプパターンをインターフェース４４を介してパターン投影機２１に出力し、図４に示すこの強度変調パターンの光をパターン投影機２１によりワークＷに投影する。あるいは、パターン光投影撮影手段４７は、データ処理装置４１からの命令を受け、所定の時刻で強度変調パターン光をパターン投影機２１によりワークＷに投影するものとすることも可能である。また、パターン光投影撮影手段４７は、これらの強度変調パターンのいずれかの光を投影したワークＷからの反射光をカメラ２３、２４によって撮影し、この撮影した画像（反射パターン画像）を、インターフェース４４を介して取り込み、記憶手段４５に記憶する。即ち、このパターン投影機２１による撮像がパターン光の投影された計測対象物を撮像する第１撮像モードに該当する。

データ処理装置４２は、図２に示すように、図示しない三次元画像計測プログラムの実行により、カメラ２３、２４から伝送された画像のデータや後述する各手段により算出された結果のデータ等を記憶する記憶手段４５と、さらに、パターン光をパターン投影機２１により投影し撮影する第１撮像モードと、全面照明光を全面照明機２２により投影し撮影する第２撮像モードとをワークＷの形状によって切り替える第１認識手段４８と、記憶手段４５から全面照明反射画像および反射パターン画像を取得してそれぞれワークＷを抽出し三次元情報を生成する三次元情報算出手段４９と、を備える。

データ処理装置４２は、その他、三次元計測装置の全体を制御する。カメラ２３、２４の位置関係や光軸の向きなどを表す情報や、認識対象のワークＷの３次元モデルが登録されており、各カメラ２３、２４から入力したステレオ画像を処理して、ワークＷの位置や姿勢を認識する。この認識結果を示す情報は、物体認識装置４からロボット制御装置５に出力され、ロボット制御装置５において、ロボット３のアーム３１の動作を制御する処理に使用される。

記憶手段４５は、撮像部２から出力される複数組みの二次元画像データ、その他のデータおよびプログラムを記憶する。また、三次元情報算出手段４９からの指令によって、記憶した二次元画像データを三次元情報算出手段４９に出力する。

三次元情報算出手段４９は、二次元画像データＦＤ１、ＦＤ２に基づいて、三次元形状画像データＤＴを生成する。三次元情報算出手段４９のこのような機能は、従来から公知である。この三次元形状画像データＤＴを生成する基となる二次元画像データＦＤ１、ＦＤ２の対応点は各々の画像から探索される。

カメラ２３、２４により取得された視差を有する２つの二次元画像データＦＤ１、ＦＤ２に基づいて、三次元情報算出手段４９において、ステレオ相関法によって三次元形状画像データＤＴが生成される。なお、３つ以上のカメラを用い、それらから得られる２つの二次元画像データＦＤに基づいて三次元形状画像データＤＴを生成し、他の１つの二次元画像データＦＤを各点の信頼性データの取得に用いることも可能である。このようにすると、データの欠落部分の評価が容易である。

言い換えると、三次元情報算出手段４９は、ワークＷの全面照明光投影撮影手段４６により得られた全面照明反射画像およびパターン光投影撮影手段４７により得られた反射パターン画像を記憶手段４５から取得して、三次元情報算出手段４９により抽出されたワークＷの形状と位置により、算出された計測点の位置情報からワークＷの三次元情報を算出する。

第１認識手段４８は、ワークＷの種類を特定する手段として機能する。図５に示すワークＷにおいてワークＷの種類の特定を説明する。図５（ａ）はワークの平面図、同図（ｂ）は一部断面側面図である。ワークＷは長方体の本体Ｗ１に１つの円筒孔Ｗ２を形成された形状である。また、この図５に示すワークＷの三次元モデルとしては、ワークＷが工業製品の場合にはそのＣＡＤデータなどを利用可能である。ここで、ワークＷの種類を特定するには例えば、図６に示すように、モデル点群（白丸）の個数で判別する。図６は、モデル点群を説明する模式図で、上段に形状データ７１と判別データ７２、下段にワークモデル点群７３と判別モデル点群７４を示す。

具体的にはＣＡＤデータからワークＷのカメラ２３、２４に正対する面の形状データ７１を抽出し、この形状データ７１のモデル点群としてワークモデル点群７３を生成する。モデル点群７３は、形状データ７１において画像の画素においてエッジに相当する画素を点で表示したものである。このワークモデル点群７３のモデル点の総数をカウントし、このカウント値Ｃ１を設定する。これに対して形状データ７１の外形のみの形状を判別データ７２として予め操作者によって設定する。判別データ７２が設定されると第１認識手段４８は、判別データ７２に対応する判別モデル点群７４を生成する。この判別モデル点群７４のモデル点の総数の倍数を閾カウント値Ｃ２と設定する。即ち、カウント値Ｃ１がこの閾カウント値Ｃ２を超えた場合、カウント値Ｃ１の対象となるワークＷはエッジに対応する対応点が多い、即ち、エッジ領域が多い形状でありエッジ領域が大きいと判断される。一方、閾カウント値Ｃ２よりカウント値Ｃ１が小さい場合、カウント値Ｃ１の対象となるワークＷは対応点が少ない、即ちエッジ領域が少ない形状でありエッジ領域が小さいと判断される。

この閾カウント値Ｃ２の設定は、操作者によって予め判別データ７２の設定に換えて、閾カウント値Ｃ２を数字で入力可能に構成するようにしてもよい。この場合、予め操作者によってエッジが多い複雑な形状のモデル点群をシュミレーションし求めることで実行される。

記憶手段４５は、ワークＷのＣＡＤデータを記憶するとともに、ワークＷの形状データ７１に対応したワークモデル点群７３を記憶するとともに、ワークモデル点群７３の各点の三次元位置情報を記憶する。

次に、第１認識手段４８は、パターン光をパターン投影機２１により投影し撮影する第１撮像モードと、全面照明光を全面照明機２２により投影し撮影する第２撮像モードと切り替えを判定する。エッジ領域が多い形状の場合は、全面照射による第２撮像モードが選択され、エッジ領域が少ない形状の場合は、パターン投影による第１撮像モードが選択される。即ち、エッジ領域が多いワークは、パターン投影によってエッジ領域がパターン光によって誤検出されるので、全面照射による撮像が好ましい。よって、第１認識手段４８によってワークＷの形状によって第２撮像モードを選択するか、精度の高いパターン投影による第１撮像モードを選択するかが判別される。

このような物体認識装置４は、ＣＰＵ、ＲＡＭ、ＲＯＭ、磁気ディスク装置、光磁気ディスク装置、媒体ドライブ装置、入力装置、ディスプレイ装置、および適当なインターフェースなどを用い、ＣＰＵがプログラムを実行することによって実現することができる。パーソナルコンピュータなどを用いて構成することも可能である。そのようなプログラムは、適当な記録媒体によって供給することが可能であり、また、ネットワークを介して他のサーバからダウンロードすることも可能である。

次に、本実施形態の三次元計測装置の計測の流れについて、図７にしたがって説明する。図７は本実施形態における三次元計測装置を用いた三次元計測の流れを示す処理フロー図であり、三次元認識のための撮像から、ワークＷの三次元情報を算出するまでのアルゴリズムを示している。

まず、ワークＷと撮像部２がステレオ視方法に示す幾何関係となるように、パターン投影機２１と全面照明機２２とカメラ２３、２４とを一定の距離だけ離して配置する。三角測量の関係を保つことができれば、パターン投影機２１と全面照明機２２とカメラ２３、２４とをそれぞれ逆に設置することや、他の位置に設置することもできる。

ピッキングロボットシステム１の多関節ロボット３のワーク３１でワークＷをピックアップしたい場合、ロボット制御装置５にワークＷの三次元位置情報を供給する。そのため、三次元計測装置でワークＷの三次元形状画像データＤＴを作成する場合、操作者は三次元計測装置の図示しない動作スイッチをオンする。そのオンに続いて、三次元計測装置は物体認識装置４によって自動的に以下の動作を行なう。

図１において、照明装置の両方を消灯して撮像部２による１回目の撮像を行う。この時、照明による照明光量が無いので、ワークＷを室内において外来光のみで撮像される。

カメラ２３、２４を介して得られた２つの二次元画像データＦＤ１、ＦＤ２を、記憶手段４５の所定のメモリ領域に記憶し、後述する第１認識手段４８による撮像モードの判定が実行される時に利用される（工程Ｓ１０）。

第１認識手段４８は、二次元画像データＦＤ１、ＦＤ２からワークＷの上面の形状を抽出し、記憶手段４５のＣＡＤデータから近似する形状データ７１を選択する。ワークＷの上面の形状を抽出するには、例えば、二次元画像データＦＤ１、ＦＤ２においてデータの一致度から共通となるデータを抽出することで上面形状と判断する。形状データ７１が選択されると判別モデル点群７４の倍数から設定された閾カウント値Ｃ２から、ワークモデル点群７３のカウント値Ｃ１よる撮像モードの判定が実行される。（工程Ｓ２０）。図５に示すワークＷにおいてワークＷの種類の特定では、ワークＷはエッジ領域の少ない形状と特定され、第１撮像モードではなく全面照射による第２撮像モードが選択される。

次に、第２撮像モードでは、全面照明機２２をＯＮ、パターン投影機２１をＯＦＦにしてカメラ２３、２４による２回目の撮像を行う。この時、全面照明機２２による初期露光時間と初期照明光量は、ワークＷを室内においてカメラ２３、２４で撮影する際の通常の撮像条件が設定される。即ち、一般的にカメラは対象物を撮影するのに適正露出となるよう公知の自動露出機能を有している。本発明では、カメラ２３、２４に自動露出により適正露出が設定されることで、初期露光時間と初期照射光量が設定される。続いて、カメラ２３、２４を介して得られた図８に示す２つの二次元画像データＦＤ１１、ＦＤ１２を、記憶手段４５の所定のメモリ領域に記憶される（工程Ｓ３０）。

撮像制御手段４１の全面照明光投影撮影手段４６により強度均一の全照明パターンを形成する。形成された全照明パターンは記憶手段４５に記憶されるとともに伝送ケーブル４３３により全面照明機２２に送られる。全面照明機２２に送られた全照明パターンはワークＷに投影される。

次に、三次元情報算出手段４９は、２次元画像データＦＤ１１、ＦＤ１２に基づいて、三次元形状画像データＤＴを生成する。三次元情報算出手段４９のこのような機能は、従来から公知である。この三次元形状画像データＤＴを生成する基となる２次元画像データＦＤ１１、ＦＤ１２の対応点は、エッジ領域が誤検出無く抽出される画像から探索される。それによって、正確な三次元形状データを生成することが可能となる（工程Ｓ４０）。

そして、多関節ロボット３が、ワークＷをアーム３１で掴む動作を開始する。即ち、撮像モードの判定を行なった上で生成された二次元画像データより三次元情報算出手段４９が、三次元画像データを生成する。三次元形状画像データが形成され、ワークＷ上の対応点の三次元座標値が計算できる。その結果、アーム３１のワークＷまでの動作距離が計算されることで正確にアーム３１がワークＷを掴むことが可能となる（工程Ｓ５０）。一連の工程は、ワークＷが無くなるまで行われるが、ワークＷの種類が変わらないので第１の撮像工程は行われず繰り返される（工程Ｓ６０）。

なお、すべての計測結果は、データ処理装置４１に接続された記録メディアに保存することができる。また、ディスプレイなどの出力手段を用いて画面上に表示したり、プリンタなどの別の出力手段によって、文章ファイルや図面ファイルとして出力したりすることができる。

以上、本発明によれば、ワークＷの形状によってエッジ領域が多い形状かどうかを判定し、その判定結果によって撮像モードを選択し変更するので三次元情報の算出において誤検出の無い二次元画像データを生成することが可能となる。その結果、正確な三次元形状データを得ることが出来る。

次に、本発明に係る第２の実施形態を図９乃至図１２に基づいて説明する。図９は計測対象物体となるワークＷ１０を示す。図９（ａ）はワークの平面図、同図（ｂ）は一部断面側面図である。ワークＷ１０は長方体の本体Ｗ１１に１つの円筒孔Ｗ１２と、二つの大きさの異なる長方形孔Ｗ１３、Ｗ１４を形成される。第２の実施形態では、第１認識手段４８による、ワークＷ１０の種類を特定する方法が異なる。第１の実施形態では、ワークＷ全体に対して撮像モードを切り替えたが、第２の実施形態では、ワークＷ１０の領域によって撮像モードを切り替える。

この図９に示すワークＷの三次元モデルとしては、ワークＷが工業製品の場合にはそのＣＡＤデータなどを利用可能である。ここで、ワークＷの種類を特定するには例えば、図１０に示すように、モデル点群（白丸）を生成しモデル点の個数で判別する。図１０は、モデル点群を説明する模式図である。第１の実施形態と同様にワークＷ１０のカメラ２３、２４に正対する面の形状データをＣＡＤデータから抽出しワークモデル点群８３を生成する。

図１１は、図示しない液晶ディスプレイ装置に表示されたワークモデル点群８３とモデル点のカウント値Ｃ３を説明するイメージ図である。下段のプロット図は生成されたワークモデル点群８３をワークＷ１０の長手方向（図１１中左右の方向）に個数の分布を示したものであり、ワークモデル点群８３においてエッジ領域の多い箇所はカウント値Ｃ３が多くなり、分布線Ｃ４が二点鎖線Ｃ５よりも上方に位置する範囲が多くなる。二点鎖線Ｃ５はワークモデル点群８３の外形形状のエッジのみを示すモデル点群のカウント値の分布を示すものである。具体的には、エッジが理想的に１個のモデル点が直線上に配置されて表されるとした場合、この外形形状による影響を除去するために二点鎖線Ｃ５のカウント値は「３」を示すものとして設定される。ただし、ワークモデル点群８３の左右端部は外形のエッジに相当し、ワークＷ１０の形状の複雑さを示す指標とならないので、二点鎖線Ｃ５に含まれていない。

操作者は、図１１の液晶ディスプレイ装置のプロット図から第１撮像モードの対象領域と第２撮像モードの対象領域を設定する。具体的には、図１１に示す領域Ａ１を第１撮像モード、領域Ａ２を第２撮像モードに設定する。即ち、ワークＷ１０において領域Ａ１に対応する部位にはエッジ領域が少ないことがプロット図から判定できる。そのため、領域Ａ１の撮像においては精度の高いパターン投影による撮像が好ましい。一方、ワークＷ１０において領域Ａ２に対応する部位にはエッジ領域が多いことがプロット図から判定できる。そのため、領域Ａ２の撮像においてはパターン投影によってエッジ領域が誤検出されるので、全面照明光照射による撮像が好ましい。

次に、第２の実施形態の三次元計測装置の計測の流れについて説明する。なお、ワークＷ１０の上面の形状に近似する形状データを選択する工程までは第１の実施形態と同じであるため説明を省略する。操作者によってワークモデル点群８３の分布線Ｃ４よるプロット図を用いて領域Ａ１を第１撮像モード、領域Ａ２を第２撮像モードに設定される。

投影するパターン光は、三次元画像計測の計測速度および精度を左右する重要な役割を有する。本実施形態では、図４に示すような縦縞状の白黒系のパターン光を用いる。このパターン光における個別パターンは強度変化のあるストライプ状の縞である。

図１２は、パターン投影機２１がストライプパターンをワークＷ１０に投影した状態を示す図である。このストライプパターンは記憶手段４５に記憶される。カメラ２３、２４により、ワークＷ１０上の投影パターンの反射光を撮像してそれぞれ記憶手段４５に記憶する。なお、図１２において正確にはワークＷ１０の上面領域をはみ出たストライプパターンと円筒孔Ｗ１２の内側に相当するストライプパターンの部位は、ワークＷ１０の上面と同一面に位置していないため色彩が変化して現れるが、便宜上、図１２においては省略している。

撮像されたパターン光反射画像は、伝送ケーブル４３２、４３４を通じて、データ処理装置４２に送られ、記憶手段４５に記憶される。

データ処理装置４２のパターン光投影撮影手段４７により強度変調パターンを形成する。形成された強度変調パターンは記憶手段４５に記憶されるとともに伝送ケーブル４３３によりパターン投影機２１に送られる。パターン投影機２１に送られた強度変調パターンはワークＷ１０に投影される。なお、強度変調パターンはデータ処理装置４２により生成してパターン投影機２１に送るだけでなく、パターン投影機２１側でデータ処理装置４２からの命令を受けて、自分自身に備える投影機能により、ワークＷ１０に投影することも可能である。

ここで、パターン投影機２１によりワークＷ１０に投影される領域は、ワークＷ１０の領域Ａ１に対して位置設定される。具体的には、図１１の液晶ディスプレイ装置のプロット図から第１撮像モードの対象領域として領域Ａ１が設定されると、データ処理装置４２は、ワークＷ１０のカメラ２３、２４に正対する面のＣＡＤデータから、パターン投影機２１とワークＷ１０の領域Ａ１との位置関係を計算する。その計算結果でもってパターン光投影撮像手段４７はパターン投影機２１の向きを設定する。こうすることで、図１２に示すように、パターン光が領域Ａ１のみに投影される。

次に、パターン投影機２１によってワークＷ１０に投影された強度変調パターンの反射光をカメラ２３、２４により撮像する。撮像された反射パターン画像は、伝送ケーブル４３２、４３４を通じて、データ処理装置４２に送られ、記憶手段４５に記憶される。

次に、第２の実施形態としてパターン光を用いて三次元計測を行った結果について説明する。三次元形状算出手段４９は、反射パターン画像から、ワークＷ１０を抽出する。なお、以下の説明においてワークＷ１０は、領域Ａ２からの反射画像における像を画像Ａ２０とし、領域Ａ１からの反射パターン画像における像を画像Ａ１０とする。

このパターン光を投影して撮影された反射パターン画像は、図１２に示されるように、８本の反射パターンにより構成される縞状パターンであったが、この反射パターン画像は、ワークＷ１０の表面色分布、反射特性の影響やワークＷ１０の形状などの影響によって縞の色強度の変化が生じている。そのため、この反射パターン画像Ａ１０から単純に縞の色分布と投影パターンの色分布の比較によって、パターン光の輝度の変化点を判断することでワークＷ１０のエッジ領域を判別することができる。

そこで、本実施例では、まず記憶手段４５のパターン画像を、パターン投影機２１からの投影パターン（光）が十分に届いている領域（画像Ａ１０）と届いていない領域（画像Ａ２０）に分割する。例えば、隣り合うストライプ間の強度差が閾値以下である領域については、投影パターンが十分に届いていないと判別し、ストライプ間の強度差が閾値以上である領域を投影パターンが十分に届いている領域と判別する。投影パターンが十分に届いている領域に関し、以下に述べるように、境界線となるエッジ画素算出を行い、距離計算を行う。投影パターンが十分に届いていない領域については、別途、視差に基づく距離計算を行う。ここではとくに説明しない。

注目点の縞の色および注目点前後の縞の色強度情報を用い、投影パターンの複数の個別パターンの縞の色分布との比較を行い、分布の規則性を調べ、類似度の一番高い色は注目する個別パターンの縞の色とする。これにより、処理後の８本の縞状の反射パターンの色分布は、反射パターンの色分布を総合的に分析すれば、エッジ領域が判別できる。こうして、エッジ領域が分かれば、上述の方法により三次元情報を求めることができる。

なお、本実施形態では、パターン光を投影する前に全面照明光を投影し、全面照明反射画像を撮影した後にパターン光を投影し、反射パターン画像を撮影する投影撮影方法を用いるが、まず、全面照明光を投影し、全面照明反射画像を撮影した後にパターン光と全面照明光を投影して反射パターン画像と全面照明反射画像が混在した状態を撮影する投影撮影方法を用いることもできる。

本実施形態における三次元計測装置を用いた静止物体の三次元画像計測では、良好な結果を得ることができた。本実施形態における三次元画像計測精度は、カメラの写真撮影速度やパターン光投影の切り替え速度、計測システムのキャリブレーションにも依存するが、本実施例のように、全面照明光と強度変調パターン光の投影撮影を切り替えることで、計測対象物体が全面照明反射画像と反射パターン画像の両方の画像上にきちんと撮影される場合では、エッジ領域の認識率で誤検出が格段に減少する。

次に、本発明に係る第３の実施形態を図１３及び図１４に基づいて説明する。図１３は計測対象物体となるワークＷ１０の撮像画像を示す。図１４はワークＷ１０の種類の特定を行うイメージ図で同図（ａ）は判別領域７５を示し、同図（ｂ）は判定処理を説明するイメージ図である。第３の実施形態では、第１認識手段４８による、ワークＷ１０の種類を特定する方法が異なる。第３の実施形態では、ワークＷ１０の撮像画像からデータ処理によって撮像モードを切り替える。

通常、ワークＷ１０のＣＡＤデータが有る場合、作業台９上の予め設定された所定位置にワークＷ１０が載置される。よって、撮像部２と作業台９との位置関係に関して物体認識装置４にその情報が入力されている。ＣＡＤデータからワークＷ１０の上面形状と位置が判別されると撮像部２はカメラ２３、２４の一方がワークＷ１０の上面に対して正対位置に移動され照射光の投影無しに撮像（第１撮像工程）が行われる。

この第１撮像によって撮像画像として図１３に示す画像データＦＤ２０が得られる。画像データＦＤ２０はカメラ２３、２４の撮像領域とワークＷ１０の上面領域がほぼ一致するように撮像される。そして、第１認識手段４８は、ワークＷ１０の種類を特定する手段として、ここで、ワークＷ１０の種類を特定するのに、例えば、図１４に示すように、画像データＦＤ２０中の判別領域７５を用いる。具体的には、画像データＦＤ２０の一辺７５１、７５２がそれぞれ１２００ｍｍ×１４００ｍｍの大きさの場合、判別領域７５の一辺７５３、７５４はそれぞれ２０ｍｍ×２０ｍｍの大きさで抽出される。

次に、抽出された判別領域７５と画像データＦＤ２０の画像比較を行う。即ち、判別領域７５を画像データＦＤ２０の同一大きさの部位と画素の階調値総計の比較を行う。例えば、判別領域７５の全面にワークＷ１０のエッジ領域が無い場合、判別領域７５は全て白色となりこれは表面輝度値の階調値で判断できる。一方、この領域においてエッジ領域がありエッジによってワークＷ１０上面と同一平面になく表面輝度値が低くなり黒に近い色と成る領域があると、これも表面輝度値の階調値で判断できる。そこで、エッジ領域の割合を設定する。判別領域７５を画像データＦＤ２０のエッジ領域の無い領域から抽出し、この領域の階調値総計を「０（ゼロ）％」と、エッジ領域が多い場合、即ち全体が黒色の階調値総計を「１００％」として階調値総計を「０（ゼロ）％」から「１００％」までの分布として対応させて、この範囲から閾値を選択する。仮に５０％を設定すると、階調値総計で白色（画像データＦＤ２０でエッジ領域が無い領域に相当する）と黒色の中間を示し、判別領域７５の領域にエッジもしくはエッジによってワークＷ１０上面と同一平面になく表面輝度値が低くなり黒に近い色と成る領域があり、約半分の領域にあると判別される。

次に、画像データＦＤ２０を判別領域７５と同じ大きさで分割した領域ごとに判別領域７５と同様にエッジ領域の割合を階調値総計から検出する。図１４（ｂ）に示すように画像データＦＤ２０ではＸ軸に７分割、Ｙ軸に６分割され、Ｘ１Ｙ１領域からＸ７Ｙ６領域までの４７領域に分割される。それぞれの領域にエッジ領域の割合が図１４（ｂ）の値であった場合、この値が５０％以上であればエッジ領域が多く、５０％未満であればエッジ領域が少ないと判定される。この結果、画像データＦＤ２０上の５０％未満の領域の集合を第１撮像モードの対象領域と判別する。この、集合の設定は操作者が入力装置を用いて設定するようにしてもよいし、５０％未満の領域が所定個数隣接している状態を自動的に判断するようにしてもよい。

一方、判別領域７５と画像データＦＤ２０の部位を比較して５０％以上の領域では、画像データＦＤ２０上の対応する領域は第２撮像モードの対象領域と判別する。この画像比較を画像データＦＤ２０内での分割に応じて全ての領域で実施する。こうすることで、画像データＦＤ２０内において閾値との比較が得られ、エッジの少ない部品であれば、閾値との比較は画像データＦＤ２０のどの領域においても低くなり、結果的に画像データＦＤ２０の全体においても第１撮像モードの対象となる。他方、エッジの多い部品であれば、画像データＦＤ２０内で全体的に比較は高くなり、第２撮像モードの対象となる。

このように第３実施形態では、第１撮像工程で撮像されたワークＷ１０の上面画像データを用いて、その一部において階調値総計から領域判別の指標とし、全体との比較を画像比較によって行うことでワークＷ１０の種類の特定が行われる。言い換えると領域の階調値総計が所定値未満であれば第１撮像モードが選択され、階調値総計が所定値以上であれば第２撮像モードが選択される。

即ち、閾値を超えた場合、対象となるワークＷ１０はエッジに対応する対応点が多い、即ち、エッジ領域が多い形状であると判断される。一方、閾値より小さい場合、対象となるワークＷ１０は対応点が少ない、即ちエッジ領域が少ない形状であると判断される。よって、撮像モード判定が完了し、以後、第１実施形態と同様に第２撮像工程が行われる。

この閾値の設定は、操作者によって予め第１認識手段４８に数字で入力可能に構成する。この場合、予め操作者によってエッジが多い複雑な形状をシュミレーションし求めることで実行される。また、判別領域７５の抽出は画像データＦＤ２０の分割にのみに用いて、階調値総計の「０（ゼロ）％」は白色の場合の階調値総計として設定してもよい。そして、単純に画像データＦＤ２０の分割領域の階調値総計を「０（ゼロ）％」から「１００％」に対応させてもよい。

この実施形態においては、ワークＷ１０の形状がいかなるものであってもパターン投影による撮像モードの対象領域であるかを簡単に判定することができる。また、カメラによる画像データＦＤ２０の設定によってワークＷ１０の領域判別を容易に行うことが出来る。例えば、画像データＦＤ２０をワークＷ１０の上面領域の右半分の領域として撮像すると、右半分の領域のみの種類の特定を行うこととなる。その次に、左半分を撮像することで左半分の領域の種類の特定を行える。このように、ワークＷ１０全体での判定と領域による判定を簡単な構成でもって実現できる。

次に、本発明に係る第４の実施形態を図１５に基づいて説明する。図１５は本実施形態における三次元計測装置を用いた三次元計測の流れを示す処理フロー図であり、撮像モードの判定から、ワークＷの三次元情報を算出するまでのアルゴリズムを示している。

通常、ワークＷのＣＡＤデータ有る場合、ＣＡＤデータからワークＷの種類の特定を行う。即ち、第１実施形態の第１撮像工程（工程Ｓ１０）に変えて、ワーク判定（工程Ｓ１０）が行われる。ワーク判定（工程Ｓ１００）は、記憶手段４５に予め第１撮像モードに対応したワークＷの形状特徴が記憶される。例えば、ビス穴があれば第１撮像モードを実行すると設定し、第１認識手段４８がＣＡＤデータからワークＷにビス穴がある情報を得ると、記憶手段４５の対応関係から第１撮像モードが撮像モード判定される（工程Ｓ２００）。

次に、第１撮像モードでカメラ２３、２４を介して得られた２つの二次元画像データＦＤ１１、ＦＤ１２を、記憶手段４５の所定のメモリ領域に記憶される（工程Ｓ３００）。三次元情報算出手段４９は、２次元画像データＦＤ１１、ＦＤ１２に基づいて、三次元形状画像データＤＴを生成する（工程Ｓ４００）。そして、多関節ロボット３が、ワークＷをアーム３１で掴む動作を開始する（工程Ｓ５００）。一連の工程は、ワークＷが無くなるまで行われるが、ワークＷの種類が変わらないのでワーク判定工程は行われず繰り返される（工程Ｓ６００）。

以上、第４実施形態によれば、ワークＷの特徴的な形状によってＣＡＤデータとの比較によってエッジ領域が多い形状かどうかを判定し、その判定結果によって撮像モードを選択し変更するので三次元情報の算出において誤検出の無い二次元画像データを生成することが可能となる。その結果、正確な三次元形状データを得ることが出来る。

なお、本実施形態では、パターン投影機２１と全面照明機２２をそれぞれ１台ずつ用いたが、計測精度をさらに向上させるために、複数台のパターン投影機２１と複数台の全面照明機２２を用いて、ワークを局所ごとに撮像して合成してもよい。こうすることにより、高解像度画像を得ることができ、この画像を用いることにより、より高精度の三次元情報を算出することができる。

また、パターン投影機２１とカメラ２３、２４とのペアをワークの周辺に複数セットを設置してもよい。これにより、より短時間で様々な方向から広範囲の計測を実現することができ、ワークの三次元情報を全周に渡って短時間で高精度に得ることもできる。また、生産ラインにおける生産物の計測の際に、短時間で広範囲もしくはワークの全周計測を行うことが可能である。

また、本実施形態では、白黒系の強度変調パターン光を用いたが、これに限らず、投影パターンにおける各縞を区別することができれば、色の異なる縞状パターンにより構成される色変調パターンを用いてもよい。

また、本実施形態では、投影するパターン光は横縞状のものを用いたが、これに限らず、縦縞状、斜めに形成された縞状のものなど直線状の縞で形成されたパターンや、大きさの異なる同心円状、円形状、楕円状などの模様による円形パターンおよび多角形による角形パターンや、格子状などの複雑な模様によるパターンを用いてもよい。

また、本実施形態では、多関節ロボットと撮像部を別配置のものを用いたが、これに限らず撮像部を産業用ロボットのアーム部に配置して構成してもよい。即ち、アームは、伸縮自在の多間接アームより構成され、その先端に装着されたワークを挟むことが可能な挟持動作をするハンドより構成され、このハンドに撮像部がユニットとして装着される。

この産業用ロボットによれば、ワークをハンドで掴む動作の開始にあたって、三次元形状生成装置が第１の実施形態と同様の種類の判定を行なった上で、二次元画像データを生成する。その二次元画像データに基づいて，三次元形状画像データが形成され、ワーク上の対応点の三次元座標値が計算できる。その結果、アームのワークまでの動作距離が計算されることで正確にハンドがワークを掴むことが可能となる。

工業製品をロボット等の自動機械で取り扱おうとする場合、工業製品の計測や認識を自動的に行う必要がある。従来の二次元あるいは三次元の画像による物体の三次元計測および認識技術では、画像中にエッジ領域の誤検地があると、カメラによる撮像結果が著しく異なるので対応点の探索が困難になる。そのため、生産ラインの自動化は限られていた。

本発明により立体的なワークの位置姿勢を計測できるようになれば、生産ラインにおいて対象を選ばない自動化が可能になる。これは、生産コストの削減と同時に、従来法では自動化が難しかったため労働条件が悪くても人間による作業が必要だった分野においても作業を機械化できることで、労働者を悪条件から解放する効果がある。

また、本実施形態において、照明装置として、キセノン管、その他の発光素子を用いたフラッシュ装置、ランプを用いた照明装置、マスクシャッタを備えた照明装置など、公知の種々のものを用いることができる。

また、本実施形態において、撮影部としてデジタルカメラを用いたが、銀塩式カメラを用いて撮影し、得られた二次元画像データをスキャナーなどを用いてデジタル化してもよい。

本発明は、パターン光投影法を三次元計測に応用する三次元計測装置として有用である。例えば、本発明の三次元画像計測装置を工場に設置し、生産ラインにおける生産物のリアルタイム三次元形状計測と品質管理に使ったり、口腔形状計測を行ってぴったりした入れ歯を作ったりするなどのように、生産現場、交通分野、セキュリティ分野、医療分野、衣服設計、生活環境整備などの分野での利用が可能である。

Ｗ ワーク
２ 撮像部
２１ パターン投影機
２３，２４ カメラ
３ データ処理装置
４ 物体認識装置
４４ インターフェース
４３１，４３２，４３３，４３４ 伝送ケーブル
４５ 記憶手段
４６ 全照明光投影撮影手段
４７ パターン光投影撮影手段
４８ 第１認識手段
４９ 三次元情報算出手段
４１ 撮像制御手段
４２ データ処理手段
５ ロボット制御装置

Claims (3)

1. 計測対象物体に投影手段によりパターン光を投影することにより前記パターン光が投影された計測対象物を撮像する第１撮像モードと、前記計測対象物体をステレオカメラで撮像する第２撮像モードとを有する撮像部と、
   前記撮像部による計測対象物体の撮像に先立って計測対象物体の種類の特定を行い撮像モードを判定する第１認識手段と、
   前記第１認識手段による判定に応じて撮像部による撮像モードを変更しつつ、計測対象物を第１撮像モードまたは第２撮像モードで撮像させる撮像制御手段と、
   前記撮像制御手段による第１と第２撮像モードでの撮像結果に基づいて、前記計測対象物体の三次元情報を算出する三次元情報算出手段と、
   を備える三次元計測装置。
2. 前記第１認識手段は、計測対象物体のエッジ領域の大きさによって種類が特定される請求項１記載の三次元計測装置。
3. 撮像部による計測対象物体の撮像に先立って計測対象物体の種類の特定を行い撮像モードを判定する撮像モード判定工程と、
   計測対象物体に投影手段によりパターン光を投影することにより前記パターン光が投影された計測対象物を撮像する第１撮像モードと、前記計測対象物体をステレオカメラで撮像する第２撮像モードとを有する撮像部を有し、前記撮像モード判定工程による判定に応じて撮像部による撮像モードを変更しつつ、計測対象物を第１撮像モードまたは第２撮像モードで撮像させる撮像工程と、
   前記撮像工程による第１と第２撮像モードでの撮像結果に基づいて、前記計測対象物体の三次元情報を算出する三次元情報算出工程と、
   を備える三次元計測方法。

Images