JP2021025911A - 三次元形状測定装置 - Google Patents

三次元形状測定装置 Download PDF

Info

Publication number
JP2021025911A
JP2021025911A JP2019144964A JP2019144964A JP2021025911A JP 2021025911 A JP2021025911 A JP 2021025911A JP 2019144964 A JP2019144964 A JP 2019144964A JP 2019144964 A JP2019144964 A JP 2019144964A JP 2021025911 A JP2021025911 A JP 2021025911A
Authority
JP
Japan
Prior art keywords
unit
measurement
measurement object
dimensional shape
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019144964A
Other languages
English (en)
Inventor
剛 末永
Go Suenaga
剛 末永
政記 藤原
Masaki Fujiwara
政記 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2019144964A priority Critical patent/JP2021025911A/ja
Publication of JP2021025911A publication Critical patent/JP2021025911A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】長尺の測定対象物であっても安全にステージを移動させて測定できるようにする。【解決手段】三次元形状測定装置500は、載置部140の上方に測定光による測定領域が形成されるよう投光部110及び受光部120を固定的に支持する支持部と、受光部120により出力される受光信号に基づいて、測定対象物の立体形状を表す点群データを生成する点群データ生成部260と、載置部140に載置された測定対象物を撮像することにより観察画像を生成する観察画像生成部124と、観察画像生成部124により生成された観察画像を表示する表示部400と、載置面142の移動により、載置された測定対象物が衝突する事態を回避するための衝突回避情報の入力を受け付ける衝突回避情報入力部269と、衝突回避情報入力部269により入力された衝突回避情報に基づいて、載置部140の移動による衝突の回避を指示する回避動作指示部270とを備える。【選択図】図1

Description

本発明は、三次元の測定対象物に対して高さ情報を含む所定の検査を行うための三次元形状測定装置に関する。
三角測距方式の三次元形状測定装置が知られている(例えば特許文献1)。この三次元形状測定装置では、測定対象物を載置する載置部と、測定対象物に向けて測定光を投光したり、測定対象物からの反射光を受光したりするヘッド部とが固定的に連結されている。つまり、反射光を受光する受光部は、斜め下を見下ろすようにして載置部を撮像する構成になっている。これにより、耐振性など外部環境の変化に対するロバスト性を高め、測定対象物の立体形状を安定的に測定可能となっている。また、この三次元形状測定装置には、測定対象物の立体形状を複数方向から測定するために、測定対象物を回転させる回転ステージが設けられている。
特開2018−4278号公報
このような三次元形状測定装置では、測定対象物を載置する回転ステージの大きさが制限されるところ、回転ステージに収まらないような長尺の測定対象物についても立体形状を測定したいことがある。このような場合に対応するため、回転する回転ステージに加えて、XY平面内を平行移動する並進ステージを搭載することが考えられる。
しかしながら、長尺の測定対象物の載置位置や回転ステージの回転方向によっては、ステージの移動時に測定対象物が三次元形状測定装置に干渉することがある。これを防ぐためには、ステージから飛び出している測定対象物の端部を把握する必要がある。しかしながら、測定対象物の端部を把握できない場合があり、このような場合にステージを移動させると、測定対象物の端部が意図しない部材に衝突する可能性があった。
本発明の目的の一は、長尺の測定対象物であっても安全にステージを移動させて測定できるようにした三次元形状測定装置を提供することにある。
課題を解決するための手段及び発明の効果
上記の目的を達成するために、本発明の第1の側面に係る三次元形状測定装置によれば、測定対象物の三次元形状を測定する三次元形状測定装置であって、測定対象物を載置させる載置面を有し、該載置面を回転移動させるための回転ステージ、及び前記載置面を平行移動させるための並進ステージを有する載置部と、前記載置部の移動動作を制御する移動制御部と、前記載置部に載置された測定対象物に所定のパターンを有する測定光を照射する投光部と、前記投光部により照射され、測定対象物にて反射された測定光を受光して受光量を表す受光信号を出力する受光部と、前記載置部を支持する台座部と、前記台座部に連結されると共に、前記載置部の上方に測定光による測定領域が形成されるよう前記投光部及び前記受光部を固定的に支持する支持部と、前記支持部により支持された前記受光部により出力される受光信号に基づいて、測定対象物の立体形状を表す点群データを生成する点群データ生成部と、前記載置部に載置された測定対象物を撮像することにより観察画像を生成する観察画像生成部と、前記観察画像生成部により生成された観察画像を表示する表示部と、前記載置面の移動により、載置された測定対象物が衝突する事態を回避するための衝突回避情報の入力を受け付ける衝突回避情報入力部と、前記衝突回避情報入力部により入力された衝突回避情報に基づいて、前記載置部の移動による衝突の回避を指示する回避動作指示部とを備えることができる。上記構成により、ユーザにより指定された衝突回避情報に基づいて、測定対象物が周囲に位置する部材や三次元形状測定装置の一部と予期せず衝突する事態の回避を図ることが可能となる。
また、本発明の第2の側面に係る三次元形状測定装置によれば、上記構成に加えて、前記衝突回避情報入力部は、前記衝突回避情報として、前記載置部に載置された測定対象物の外形に関する情報を、前記表示部上で、表示されている観察画像及び該観察画像の周囲で、測定対象物が表示されていないものの該測定対象物が位置すると思われる仮想的な領域を含めた候補領域中から、測定対象物の外形と予想される位置の指定を受け付けるよう構成できる。上記構成により、観察画像に測定対象物の外形がすべて含まれていなくとも、その周囲で測定対象物の外形と思われる位置をユーザが指定可能とすることで、測定対象物の全体を撮像できない場合であっても外形を指定して意図しない衝突の回避を図ることが可能となる。
さらに、本発明の第3の側面に係る三次元形状測定装置によれば、上記何れかの構成に加えて、前記衝突回避情報入力部は、前記衝突回避情報として、前記載置部に載置された測定対象物の端部と、前記支持部との干渉を防止するための情報の入力を受け付けるよう構成できる。上記構成により、ユーザが衝突回避情報を入力して、測定対象物が三次元形状測定装置に干渉する事態の予防を図ることができる。
さらにまた、本発明の第4の側面に係る三次元形状測定装置によれば、上記何れかの構成に加えて、前記衝突回避情報入力部は、前記衝突回避情報として、前記表示部上で表示された測定対象物の端部を構成する複数点の指定を受け付ける、又は測定対象物の外形エッジを構成するエッジラインを受け付けるよう構成できる。
さらにまた、本発明の第5の側面に係る三次元形状測定装置によれば、上記何れかの構成に加えて、前記衝突回避情報入力部は、前記衝突回避情報として、前記表示部上で表示された測定対象物の少なくとも一部を示す画像上で、該測定対象物の四隅の指定を受け付けるよう構成できる。上記構成により、ユーザが四隅を指定することで測定対象物の大まかな外形を把握でき、測定対象物との衝突を図ることが可能となる。
さらにまた、本発明の第6の側面に係る三次元形状測定装置によれば、上記何れかの構成に加えて、前記衝突回避情報入力部は、前記衝突回避情報として、前記表示部上で表示された測定対象物が前記支持部と面する端部を示す情報を受け付けるよう構成できる。上記構成により、ユーザが端部を指定することで測定対象物の内、衝突する可能性が高い部位を把握でき、測定対象物の端部と支持部との衝突の回避を図ることが可能となる。
さらにまた、本発明の第7の側面に係る三次元形状測定装置によれば、上記何れかの構成に加えて、前記表示部上で表示された測定対象物の少なくとも一部を示す画像が、該測定対象物を斜め上方から見た画像であり、前記衝突回避情報入力部は、前記衝突回避情報として指定された位置の高さを、該測定対象物の表面として受け付けるよう構成できる。上記構成により、測定対象物を斜め上方から見た画像上でも四隅を指定でき、測定対象物が支持部と衝突する事態の回避が図られる。
さらにまた、本発明の第8の側面に係る三次元形状測定装置によれば、上記何れかの構成に加えて、前記表示部上で表示された測定対象物の少なくとも一部を示す画像を、該測定対象物を平面視した画像とできる。上記構成により、測定対象物を平面視した画像を用いることで、容易に四隅を把握でき、測定対象物が支持部と衝突する事態の回避が図られる。
さらにまた、本発明の第9の側面に係る三次元形状測定装置によれば、上記何れかの構成に加えて、前記衝突回避情報入力部は、前記衝突回避情報として前記載置部の移動方向の入力を受け付けるよう構成できる。上記構成により、測定対象物を移動させる方向をユーザに指定させることで、移動により測定対象物が干渉する事態の予防を図ることができる。
さらにまた、本発明の第10の側面に係る三次元形状測定装置によれば、上記何れかの構成に加えて、さらに、前記載置部に載置された測定対象物の長手方向における両端部のうち、少なくとも一方の端部を検出する端部検出部を備えており、前記回避動作指示部は、前記端部検出部で測定対象物の端部が検出された場合は、該検出結果に基づいて該測定対象物の端部が衝突する事態を回避するよう回避策を指示し、前記端部検出部で測定対象物の端部が検出されない場合は、前記衝突回避情報入力部により入力された衝突回避情報に基づいて、該測定対象物の端部が衝突する事態を回避するよう回避を指示するよう構成できる。上記構成により、測定対象物の端部を端部検出部で検出する構成において、検出できる場合は、移動制御部が自動で衝突を回避するよう制御でき、検出できない場合には衝突回避情報に基づいて移動を制御することができ、端部検出結果に拘わらず衝突の回避を図ることが可能となる。
さらにまた、本発明の第11の側面に係る三次元形状測定装置によれば、上記何れかの構成に加えて、前記回避動作指示部が、前記移動制御部に対し、前記載置部に載置された測定対象物の端部が衝突する動作を避けるように前記載置部の移動を規制するよう構成できる。
さらにまた、本発明の第12の側面に係る三次元形状測定装置によれば、上記何れかの構成に加えて、前記回避動作指示部が、前記衝突回避情報入力部により入力された衝突回避情報に基づいて、前記載置部を特定の方向に移動させると衝突のおそれがある旨を告知する警告部とできる。
本発明の実施の形態1に係る画像検査装置を示すブロック図である。 図1の測定部の構成を示すブロック図である。 図1のコントローラのCPUの構成を示すブロック図である。 三次元形状測定システムを示すブロック図である。 図4に示す三次元形状測定装置本体の分解斜視図である。 図4に示す三次元形状測定装置本体の側面図である。 倍率の異なる複数の受光部を備える三次元形状測定装置の側面図である。 載置面の駆動方向を示す平面図である。 載置面の駆動方向を示す平面図である。 回転ステージの回転により測定対象物が衝突する様子を示す模式図である。 測定対象物を斜め上方から見た観察画像を示すイメージ図である。 図11において、測定可能範囲を示すイメージ図である。 載置面に水平姿勢で置かれた測定対象物を斜め上方から観察する様子を示す模式側面図である。 載置面に傾斜姿勢で置かれた測定対象物を斜め上方から観察する様子を示す模式側面図である。 観察画像生成部の設置例を示す模式側面図である。 図16Aは広角レンズで発生する幾何歪み、図16Bは図16Aの歪みを補正する例を示す模式図である。 実施形態2に係る三次元形状測定装置を示す模式側面図である。 実施形態3に係る三次元形状測定装置を示す模式側面図である。 実施形態4に係る三次元形状測定装置を示す模式平面である。 図20A及び図20Bは、並進ステージを手前側に移動させて測定対象物が台座部と衝突する様子、図20C及び図20Dは、並進ステージを左右に移動させて測定対象物が台座部と衝突する様子を、それぞれ示す模式平面図である。 測定対象物の広範囲測定を行う際に測定対象物の端部を検出する手順を示すフローチャートである。 図22A〜図22Hは、載置面の移動方向を規制する手順の一例を示す模式平面図である。 図23A〜図23Pは、載置面の移動方向を規制する手順の他の例を示す模式平面図である。 図24A〜図24Cは並進ステージの手前方向への移動可否を判断する様子を示す模式平面図である。 図25A〜図25Cは並進ステージの右方向への移動可否を判断する様子を示す模式平面図である。 図26A〜図26Dは回転ステージの時計回りの回転移動可否を判断する様子を示す模式平面図である。 図27Aは三次元形状測定装置の測定可能範囲を示す模式側面図、図27Bは模式平面図である。 観察画像を含むライブビュー画面を示すイメージ図である。 広域画像として斜め上方から見た斜視図状の画像を表示させた状態を示すイメージ図である。 広域画像として平面視における画像を表示させた状態を示すイメージ図である。 斜め上方から見た斜視図状の画像において指定した点の高さが一定しない様子を説明する模式側面図である。 衝突回避情報入力画面を示すイメージ図である。 図32の画面から観察画像を縮小した状態を示すイメージ図である。 図33の画面から測定対象物の四隅を指定する様子を示すイメージ図である。 図34の画面から仮想測定対象物領域が指定された状態を示すイメージ図である。 測定対象物の手前側の端部を指定する様子を示すイメージ図である。 図36の画面から仮想端部直線が指定された状態を示すイメージ図である。 図30の広域画像に対して、測定対象物の四隅を指定する様子を示すイメージ図である。 図38の画面から仮想測定対象物領域が指定された状態を示すイメージ図である。
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための三次元形状測定装置を例示するものであって、本発明は三次元形状測定装置を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
本明細書において、「テクスチャ画像」とは、光学画像に代表される、テクスチャ情報を有する観察画像である。一方、「高さ画像」とは、距離画像等とも呼ばれるものであり、高さ情報を含む画像の意味で使用する。例えば、高さ情報を輝度や色度等に変換して二次元画像として表示した画像や、高さ情報をZ座標情報として三次元状に表示した画像が挙げられる。またこのような高さ画像にテクスチャ画像をテクスチャ情報として貼り付けた三次元の合成画像も、高さ画像に含む。また、本明細書において高さ画像の表示形態は二次元状に表示されるものに限られず、三次元状に表示されるものも含む。例えば、高さ画像の有する高さ情報を輝度等に変換して二次元画像として表示したものや、高さ情報をZ座標情報として三次元状に表示したものを含む。
さらに本明細書において測定対象物をステージ上に置く「姿勢」とは、測定対象物の回転角度を意味する。なお、測定対象物が円錐のような平面視において点対称の形状の場合は、回転角度に依らず同じ結果が得られるため、姿勢は規定する必要がない。
以下の実施例では、測定対象物の高さ情報を取得するため、所定のパターンの測定光を測定対象物に対して照射して、測定対象物の表面で反射された反射光から得られる信号を用いて、高さ情報を取得している。例えば、所定のパターンの測定光として、構造化照明を用いて、測定対象物に投影し、その反射光から得られる縞投影画像を用いた三角測距を用いた計測方法を用いることができる。ただ、本発明は測定対象物の高さ情報を取得するための原理や構成を、これに限らず、他の方法も適用することができる。
(実施形態1)
三次元形状測定装置は、測定対象画像の三次元の高さ計測を行うことができる。また、三次元計測に加えて、二次元の寸法計測も行うことができる。図1に、本発明の実施例1に係る三次元形状測定装置のブロック図を示す。この図に示す三次元形状測定装置500は、測定部100、台座部600と、コントローラ200、光源部300及び表示部400を備える。この三次元形状測定装置500は、光源部300で構造化照明を行い、縞投影画像を撮像して高さ情報を有する高さ画像を生成し、これに基づいて測定対象物WKの三次元寸法や形状を計測することができる。このような縞投影を用いた測定は、測定対象物WKやレンズ等の光学系をZ方向に移動させることなく高さ測定ができるため、測定時間を短くできるという利点がある。
測定部100は、投光部110と、受光部120と、測定制御部150と、照明光出力部130と、観察画像生成部124を備える。投光部110は、載置部140に載置された測定対象物WKに所定のパターンを有する測定光を照射する。受光部120は、載置面142に対して傾斜姿勢で固定されている。この受光部120は、投光部110により照射され、測定対象物WKにて反射された測定光を受光して、受光量を表す受光信号を出力する。観察画像生成部124は、載置部140に載置された測定対象物WKを撮像することにより測定対象物WKの全体形状を観察するための観察画像を生成する。
台座部600は、載置部140と移動制御部144を備える。この台座部600は、ベースプレート602上に載置部140を支持している。移動制御部144は、載置部140を移動させる部材である。移動制御部144は、台座部600側に設ける他、コントローラ側に配置してもよい。
光源部300は、測定部100と接続される。光源部300は、測定光を生成して測定部100に供給する。コントローラ200は、測定部100の撮像を制御する。表示部400は、コントローラ200と接続され、生成された画像を表示させ、また必要な設定を行うHMIとなる。
(載置部140)
図1に示す台座部600は、載置部140と、移動制御部144を備える。載置部140は、測定対象物WKが載置される載置面142を有する。この載置部140は、載置面142を回転させる回転ステージ143と、載置面142を平行移動させる並進ステージ141を含む。
(移動制御部144)
移動制御部144は、測定領域設定部264により設定された測定領域に基づいて、回転ステージ143の回転移動及び並進ステージ141の平行移動を制御する。また移動制御部144は、後述する測定領域設定部264により設定された測定領域に基づいて、載置移動部による載置部140の移動動作を制御する。
コントローラ200は、CPU(中央演算処理装置)210、ROM(リードオンリメモリ)220、作業用メモリ230、記憶装置240及び操作部250を含む。コントローラ200には、PC(パーソナルコンピュータ)等が利用できる。またCPU210は、点群データを生成する点群データ生成部260と、衝突回避情報を入力する衝突回避情報入力部269と、衝突回避情報に基づいて載置部の移動による衝突の回避を指示する回避動作指示部270、表示部400により表示された観察画像上で測定領域を設定する測定領域設定部264等の機能を実現する(詳細は後述)。
(測定部100のブロック図)
図1の三次元形状測定装置500の測定部100の構成を図2のブロック図に示す。測定部100は、例えば顕微鏡であり、投光部110、受光部120、照明光出力部130、測定制御部150、及びこれらを収納する本体ケース101、並びに載置部140を備える。投光部110は、測定光源111、パターン生成部112及び複数のレンズ113、114、115を含む。受光部120は、カメラ121及び複数のレンズ122、123を含む。載置部140上には、測定対象物WKが載置される。本体ケース101は、樹脂や金属製の筐体とする。
(投光部110)
投光部110は、載置部140の斜め上方に配置される。この測定部100は、複数の投光部110を含んでもよい。図2の例においては、測定部100は2つの投光部110を含む。ここでは、第一の方向から測定対象物WKに対して第一測定光ML1を照射可能な第一測定光投光部110A(図2において右側)と、第一の方向とは異なる第二の方向から測定対象物WKに対して第二測定光ML2を照射可能な第二測定光投光部110B(図2において左側)を、それぞれ配置している。第一測定光投光部110A、第二測定光投光部110Bは受光部120の光軸を挟んで対称に配置される。なお投光部を3以上備えたり、あるいは投光部とステージを相対移動させて、共通の投光部を用いつつも、照明の方向を異ならせて投光させることも可能である。また以上の例では投光部110を複数用意し、共通の受光部120で受光する構成としているが、逆に共通の投光部に対して、複数の受光部を用意して受光するように構成してもよい。さらにこの例では投光部が投光する照明光の、垂直方向に対する照射角度を固定としているが、これを可変とすることもできる。
(測定光源111)
各第一測定光投光部110A、第二測定光投光部110Bは、測定光源111としてそれぞれ第一測定光源、第二測定光源を備える。これら測定光源111は、例えば白色光を出射するハロゲンランプである。測定光源111は、単色光を発光する光源、例えば白色光を出射する白色LED(発光ダイオード)や有機EL等の他の光源であってもよい。測定光源111から出射された光(以下、「測定光」と呼ぶ。)は、レンズ113により適切に集光された後、パターン生成部112に入射される。
(パターン生成部112)
パターン生成部112は、測定光を測定対象物WKに対して投光させるよう、測定光源111から出射された光を反射させる。パターン生成部112に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部112により出射された測定光は、複数のレンズ114、115により受光部120の観察・測定可能な視野よりも大きい径を有する光に変換された後、載置部140上の測定対象物WKに照射される。
パターン生成部112は、測定光を測定対象物WKに投光させる投光状態と、測定光を測定対象物WKに投光させない非投光状態とを切り替え可能な部材である。このようなパターン生成部112には、例えばDMD(デジタルマイクロミラーデバイス)が好適に利用できる。DMDを用いたパターン生成部112は、投光状態として測定光を光路上に反射させる反射状態と、非投光状態として測定光を遮光させる遮光状態とを切り替え可能に、測定制御部150により制御できる。
DMDは多数のマイクロミラー(微小鏡面)MMを平面上に配列した素子である。各マイクロミラーは、測定制御部150により個別にON状態、OFF状態を切り替えることができるので、多数のマイクロミラーのON状態、OFF状態を組み合わせて、所望の投影パターンを構成できる。これによって、三角測距に必要なパターンを生成して、測定対象物WKの測定が可能となる。このようにDMDは、測定時には測定用の周期的な投影パターンを測定対象物WKに投光する投影パターン光学系として機能する。またDMDは応答速度にも優れ、シャッターなどに比べ高速に動作させることができる利点も得られる。
なお以上の例では、パターン生成部112にDMDを用いた例を説明したが、本発明はパターン生成部112をDMDに限定するものでなく、他の部材を用いることもできる。例えば、パターン生成部112として、LCOS(Liquid Crystal on Silicon:反射型液晶素子)を用いてもよい。あるいは反射型の部材に代えて透過型の部材を用いて、測定光の透過量を調整してもよい。この場合は、パターン生成部112を測定光の光路上に配置して、測定光を透過させる投光状態と、測定光を遮光させる遮光状態とを切り替える。このようなパターン生成部112には、例えばLCD(液晶ディスプレイ)が利用できる。あるいは、複数ラインLEDを用いた投影方法、複数光路を用いた投影方法、レーザとガルバノミラー等で構成される光スキャナ方式、ビームスプリッタで分割したビームを重ね合わせることによって発生された干渉縞を用いるAFI(Accordion fringe interferometry)方式、ピエゾステージと高分解能エンコーダ等で構成される実体格子と移動機構を用いた投影方法等でパターン生成部112を構成してもよい。
さらに図2等の例では、測定光投光部を2つ備えた例を説明したが、本発明はこれに限らず、測定光投光部を3以上設けることも可能である。あるいは、測定光投光部を一のみとすることもできる。この場合は、測定光投光部の位置を移動可能とすることで、異なる方向から測定光を測定対象物WKに対して投光できる。
(受光部120)
受光部120は、載置部140の上方に配置される。測定対象物WKにより載置部140の上方に反射された測定光は、受光部120の複数のレンズ122、123により集光、結像された後、カメラ121により受光される。
(カメラ121)
カメラ121は、例えば撮像素子121a及びレンズを含むCCD(電荷結合素子)カメラである。撮像素子121aは、例えばモノクロCCD(電荷結合素子)である。撮像素子121aは、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。カラーの撮像素子は各画素を赤色用、緑色用、青色用の受光に対応させる必要があるため、モノクロの撮像素子と比較すると計測分解能が低く、また各画素にカラーフィルタを設ける必要があるため感度が低下する。そのため、本実施の形態では、撮像素子としてモノクロのCCDを採用し、後述する照明光出力部130をRGBにそれぞれ対応した照明を時分割で照射して撮像することにより、カラー画像を取得している。このような構成にすることにより、計測精度を低下させずに測定物のカラー画像を取得することができる。
ただ、撮像素子121aとして、カラーの撮像素子を用いても良いことは云うまでもない。この場合、計測精度や感度は低下するが、照明光出力部130からRGBにそれぞれ対応した照明を時分割で照射する必要がなくなり、白色光を照射するだけで、カラー画像を取得できるため、照明光学系をシンプルに構成できる。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、「受光信号」と呼ぶ。)が測定制御部150に出力される。
このようにして撮像された測定対象物WKの画像は、レンズの特性によって、測定対象物WKに対して極めて正確な相似形を成している。またレンズの倍率を用いてキャリブレーションをすることで、画像上の寸法と実際の測定対象物WK上の寸法を正確に関連付けることができる。
(測定制御部150)
測定制御部150には、図示しないA/D変換器(アナログ/デジタル変換器)及びFIFO(First In First Out)メモリが実装される。カメラ121から出力される受光信号は、光源部300による制御に基づいて、測定制御部150のA/D変換器により一定のサンプリング周期でサンプリングされると共にデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は画素データとして順次コントローラ200に転送される。
(コントローラ200)
図1に示すように、コントローラ200は、CPU210、ROM220、作業用メモリ230、記憶装置240及び操作部250を含む。この操作部250は、キーボードやポインティングデバイスを含むことができる。ポインティングデバイスとしては、マウス又はジョイスティック等が用いられる。
ROM220には、システムプログラムが記憶される。作業用メモリ230は、RAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。記憶装置240は、ハードディスク等からなる。記憶装置240には、三次元形状測定装置を操作するための三次元形状測定プログラムが記憶される。また、記憶装置240は、測定制御部150から与えられる画素データ等の種々のデータを保存するために用いられる。さらに記憶装置は、測定画像を構成する画素毎に、輝度情報、高さ情報、属性情報を記憶する。
(CPU210)
CPU210は、与えられた信号やデータを処理して各種の演算を行い、演算結果を出力する制御回路や制御素子である。本明細書においてCPUとは、演算を行う素子や回路を意味し、その名称によらず、汎用PC向けのCPUやMPU、GPU、TPU等のプロセッサに限定するものでなく、FPGA、ASIC、LSI等のプロセッサやマイコン、あるいはSoC等のチップセットを含む意味で使用する。
CPU210は、測定制御部150から与えられる画素データに基づいて画像データを生成する。また、CPU210は、生成した画像データに作業用メモリ230を用いて各種処理を行うと共に、画像データに基づく画像を表示部400に表示させる。CPU210のブロック図を図3に示す。このCPUは、点群データ生成部260と、トップビューマップ画像生成部261と、測定領域設定部264と、端部検出部265と、規制判断部266と、高さ画像取得部228と、点群データ合成部211と、衝突回避情報入力部269と、回避動作指示部270と、退避位置特定部268等の機能を実現する。
(端部検出部265)
端部検出部265は、載置部140に載置された測定対象物WKの長手方向における両端部のうち、少なくとも一方の端部を検出する。この端部検出部265は、測定対象物WKの一方の端部が検出され、他方の端部が検出されない場合、検出結果に基づいて回転ステージ143を回転移動させる回転方向を決定するよう構成してもよい。こうすることで、回転ステージ143を回転させると検出された端部が干渉する回転方向を避けるように、回転方向を決定できるので、回転動作の安全性が高められる。
また端部検出部265は、測定対象物WKのいずれの端部も検出されない場合には、回転ステージ143を回転移動させるか否かの選択をユーザに促すか、又は載置台に載置された測定対象物WKの置き直しをユーザに誘導するよう構成してもよい。このようにすることで、測定対象物WKのどちらの端部も検出されない場合であって、回転させてよいかどうか、又は測定対象物WKを置き直すかの選択をユーザに求めることで、より安全性の高い選択肢がユーザに選択されることを期待できる。
また端部検出部265が、並進ステージ141の平行移動の許容又は規制を判断するようにしてもよい。
(規制判断部266)
規制判断部266は、端部検出部265による端部の検出可否又は検出位置に基づいて、この端部が支柱部702に接近する方向への回転ステージ143の回転移動、又は並進ステージ141の平行移動を規制するか否かを判断する。これにより、三次元形状測定装置の大型化を抑制しつつ、測定対象物WKが三次元形状測定装置に干渉する事態を回避するように動作させることができる。
規制判断部266は、検出可否や検出位置に基づいて判断した結果を、様々な形に出力できる。例えば規制判断部266は、端部検出部265による端部検出の結果、測定対象物WKの端部が支柱部702に接近しつつあること、あるいは現状のまま測定を続行すると衝突するおそれがあることなどを、ユーザに対し、ランプの点滅やブザー、警告メッセージなどの音声、あるいはテキストや画像、動画などで告知する。このように、測定対象物WKが三次元形状測定装置に接触する前に、ユーザに警告を与えることで、回避策や予防策などの適切な対策を促すことができる。
規制判断部266は、端部検出部265による端部の検出結果に基づいて、測定対象物WKの端部が支柱部702に接近しないよう、載置部140の移動方向及び/又は移動量を変更するよう、移動制御部144に対し指示することができる。これにより、測定対象物WKの端部が支柱部702に接触しないように載置部140の移動を制限することが可能となる。また規制判断部266は、端部検出部265による端部の検出結果に基づいて、回転ステージ143を回転移動させる回転方向を決定してもよい。
端部検出部265は、点群データ生成部260により生成された点群データに基づいて、端部を検出することができる。この際、点群データ生成部260で生成された点群データから直接端部を検出してもよい。あるいは、点群データに基づいてトップビューマップ画像生成部で生成された、載置部140に載置された測定対象物WKを真上から見下したときの平面図を示すトップビューマップ画像から抽出された測定対象物WKの輪郭に基づいて、端部を検出するようにしてもよい。これにより、測定対象物WKを真上から見たトップビューマップ画像を利用することで、測定対象物WKの平面図の輪郭が取得できるので、端部を把握し易くなり、衝突回避の確度や精度を向上できる利点が得られる。測定対象物の輪郭の抽出には、測定対象物の外形を構成する外形エッジを抽出するエッジ抽出等の既知の方法を使用できる。
(点群データ生成部260)
点群データ生成部260は、受光部120により出力される受光信号に基づいて、測定対象物WKの立体形状を表す三次元位置情報を有する点の集合である点群データを生成する。
(トップビューマップ画像生成部261)
トップビューマップ画像生成部261は、点群データ生成部260により生成された点群データに基づいて、載置部140に載置された測定対象物WKを真上から見下したときの平面図を示すトップビューマップ画像を生成する。このような測定対象物WKを真上から見たトップビューマップ画像を生成することで、測定対象物WKの全体形状を容易に把握し、ひいては測定領域の設定を容易にすることができる。例えばトップビューマップ画像生成部261は、点群データ生成部260により生成された点群データに、受光部120で測定対象物WKを撮像した二次元のテクスチャ画像を、該点群データの三次元位置情報毎に貼り付けてトップビューマップ画像を生成する。あるいは、点群データ生成部260により生成された点群データの各点に、ポリゴンを貼り付けて面状を形成したメッシュ画像を生成してもよい。このメッシュ画像から、トップビューマップ画像を生成する。メッシュ画像は、トップビューマップ画像生成部261により生成してもよいし、あるいはメッシュ画像生成部で生成してもよい。
トップビューマップ画像生成部261は、受光部120で測定対象物WKの複数の異なる領域をそれぞれ取得したトップビューマップ画像を複数枚、合成した合成トップビューマップ画像を生成することもできる。これにより、複数枚のトップビューマップ画像を合成してより広い視野のトップビューマップ画像を取得でき、ユーザに対し測定領域の指定などの作業を行い易い環境を提供できる。
この場合において、トップビューマップ画像生成部261は、トップビューマップ画像表示領域に表示されたトップビューマップ画像に対して、さらにトップビューマップ画像を追加する位置の指定を受け付けることもできる。この指定を受けて、トップビューマップ画像生成部261は、指定された位置でトップビューマップ画像を生成して、合成トップビューマップ画像を更新してトップビューマップ画像表示領域に表示させることができる。このようにして、得られたトップビューマップ画像から、測定対象物WKの不足している部位のトップビューマップ画像を必要に応じてユーザの指示により追加することが可能となり、測定用途や目的に応じた適切なトップビューマップ画像が得られる。
(測定領域設定部264)
測定領域設定部264は、表示部400上に表示された観察画像上で測定領域を設定する。
高さ画像取得部228は、複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得する。また点群データ合成部211は、点群データ生成部260で生成された複数の点群データを合成する。ここで点群は、ポイントクラウド等とも呼ばれ、三次元空間の座標(例えばXYZの直交座標)を有している。このため載置部の異なる位置でそれぞれ生成された測定対象物の点群データを、点群データ生成部211でもって共通の三次元空間の座標上で重ね合わせることで、より詳細で精密な測定対象物の表面形状を表現できる。
(画像検査部216)
画像検査部216は、測定部100で撮像された測定対象物WKの画像に対して、所定の画像検査を実行する。この画像検査部216は、測定対象画像に対して所定の計測を行うための計測部216bを含むことができる。これにより、計測部216bで計測された計測結果に基づいて画像検査を実行できる。例えば、測定対象物WKの所定部位の長さや角度といった計測を行った結果に基づいて、良品や不良などの判定といった検査を行うことが可能となる。計測部216bが行う計測には、テクスチャ画像上で指定したプロファイル線を通り、画面に対して垂直な平面で切断した輪郭線を演算して、プロファイルグラフとして表示部400に表示させたり、プロファイルグラフで示す輪郭線から円や直線などを抽出して、それらの半径や距離を求めることができる。
(退避位置特定部268)
退避位置特定部268は、移動制御部144により回転ステージ143が回転移動される際に、測定対象物WKが支持部700に衝突しない退避位置を特定する。移動制御部144は、退避位置特定部268により特定される退避位置に並進ステージ141を平行移動させた状態で、回転ステージ143を回転移動させる。
(衝突回避情報入力部269)
衝突回避情報入力部269は、載置面142の移動により、載置された測定対象物が衝突する事態を回避するための衝突回避情報を取得する。衝突回避情報は、測定対象物の外形を示す外形情報や、測定対象物の隅部の位置情報、測定面の移動方向を示す方向情報等が挙げられる。
(回避動作指示部270)
回避動作指示部270は、衝突回避情報入力部269により入力された衝突回避情報に基づいて、載置部140の移動による衝突の回避を指示する。この回避動作指示部270は、例えば移動制御部144に対し、載置面142に載置された測定対象物の端部が衝突する動作を避けるように載置部140の移動を規制するよう構成してもよい。
あるいは回避動作指示部270は、衝突回避情報入力部269により入力された衝突回避情報に基づいて、載置部140を特定の方向に移動させると衝突のおそれがある旨を告知する警告部215としてもよい。警告部215は、例えば測定対象物の端部と支持部との衝突を回避するための衝突回避情報を表示部に表示させる。
このように、衝突回避情報入力部269を設けたことで、衝突回避情報に基づいて、測定対象物が周囲に位置する部材や三次元形状測定装置の一部と予期せず衝突する事態の回避を図ることが可能となる。
衝突回避情報入力部269は、衝突回避情報をユーザからの入力を受け付けることで取得することができる。例えば衝突回避情報として、載置部140に載置された測定対象物の外形に関する情報をユーザから入力させる。このようにして、ユーザが衝突回避情報を入力することで、測定対象物が干渉する事態の予防を図ることができる。
また回避動作指示部270は、単独で動作させる他、端部検出部265の検出結果と連動させてもよい。すなわち、載置面142に載置された測定対象物の長手方向における両端部の少なくとも一方の端部を端部検出部265に検出させる。そして、端部が検出された場合は、この検出結果に基づいて回避動作指示部270は、測定対象物の端部が衝突する事態を回避するよう回避策を指示する。一方、端部検出部265で端部が検出されない場合は、衝突回避情報入力部269により入力された衝突回避情報に基づいて、端部が衝突する事態を回避するよう回避策を指示。例えば、移動制御部144に対し、測定対象物の端部が衝突する事態を回避するように載置部140を移動させるよう指示したり、衝突の可能性のある移動に対してはこれを禁止するなどの制限をかける。このような構成により、測定対象物の端部を自動で端部検出部265に検出させて、検出できた場合は、移動制御部144が自動で衝突を回避するよう制御できる。また検出できない場合には、ユーザにより手動で入力された衝突回避情報に基づいて移動を制御することができるので、端部検出に失敗しても衝突の回避を図ることが可能となる。
このようにCPU210は、様々な機能を実現するための異なる手段を兼用している。ただ、一の部材で複数の手段を兼用する構成に限られず、各部や機能を実現する部材を複数、又はそれぞれ別個に設けることも可能であることはいうまでもない。
(表示部400)
表示部400は、測定部100で取得された縞投影画像や、縞投影画像に基づいて高さ画像取得部228で生成した高さ画像、あるいは測定部100で撮像されたテクスチャ画像を表示させるための部材である。表示部400は、例えばLCDパネル又は有機EL(エレクトロルミネッセンス)パネルにより構成される。さらに表示部にタッチパネルを利用することで、操作部と兼用することができる。
また表示部400は、観察画像生成部124により生成された観察画像を表示する。
(載置部140)
図2において、測定対象物WKが載置される載置部140上の平面(「載置面」と呼ぶ。)内で互いに直交する2方向をX方向及びY方向と定義し、それぞれ矢印X、Yで示す。載置部140の載置面142に対して直交する方向をZ方向と定義し、矢印Zで示す。Z方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。
載置部140は、並進ステージ141及び回転ステージ143を含む。並進ステージ141は、X方向移動機構及びY方向移動機構を有する。回転ステージ143は、θ方向回転機構を有する。並進ステージ141、回転ステージ143により、載置部140が構成される。また、載置部140は、載置面142に測定対象物WKを固定する固定部材(クランプ)を含めてもよい。さらに載置部140は、載置面142に平行な軸を中心に回転可能な機構を有するチルトステージを含んでもよい。
ここで図2に示すように、左右の投光部110の中心軸と受光部120の中心軸は、載置部140上の測定対象物WKの配置と投光部110、受光部120の被写界深度が適切となる位置において交差するように、受光部120、投光部110、載置部140の相対的な位置関係が定められている。また、θ方向の回転軸の中心は、受光部120の中心軸と一致しているため、θ方向に載置部140が回転した際に、測定対象物WKが視野から外れることなく、回転軸を中心に視野内で回転するようになっている。なお、本図において測定部100は紙面におけるX方向を中心に回転した配置を有しており、受光部120の光軸と載置部140の天面法線(Z方向)とは必ずしも一致する必要はない。
(光源部300)
光源部300は、制御基板310及び観察用照明光源320を含む。制御基板310には、図示しないCPUが実装される。制御基板310のCPUは、コントローラ200のCPU210からの指令に基づいて、投光部110、受光部120及び測定制御部150を制御する。なお、この構成は一例であり、他の構成としてもよい。例えば測定制御部150で投光部110や受光部120を制御したり、又はコントローラ200で投光部110や受光部120を制御することとして、制御基板を省略してもよい。あるいはこの光源部300に、測定部100を駆動するための電源回路を設けることもできる。
(観察用照明光源320)
観察用照明光源320は、例えば赤色光、緑色光及び青色光を出射する3色のLEDを含む。各LEDから出射される光の輝度を制御することにより、観察用照明光源320から任意の色の光を発生することができる。観察用照明光源320から発生される照明光ILは、導光部材(ライトガイド)を通して測定部100の照明光出力部130から出力される。なお観察用照明光源には、LEDの他、半導体レーザ(LD)やハロゲンライト、HIDなど、他の光源を適宜利用することもできる。特に撮像素子としてカラーで撮像可能な素子を用いた場合は、観察用照明光源に白色光源を利用できる。
照明光出力部130から出力される照明光ILは、赤色光、緑色光及び青色光を時分割で切り替えて測定対象物WKに照射する。これにより、これらのRGB光でそれぞれ撮像されたテクスチャ画像を合成して、カラーのテクスチャ画像を得て、表示部400に表示させることができる。
図2の照明光出力部130は、円環形状を有し、受光部120を取り囲むように載置部140の上方に配置される。これにより、影が発生しないように照明光出力部130から測定対象物WKにリング状に照明光が照射される。
また照明光出力部130は、このようなリング照明に加えて、透過照明や同軸落射照明を加えることもできる。図2の例では、透過照明部を載置部140に設けている。透過照明部は、載置部140の下方から測定対象物WKを照明する。このため載置部140は、透過照明光源と、反射板と、照明用レンズ系を設けている。
なお、リング照明や透過照明は、適宜省略することも可能である。これらを省略する場合は、三次元測定用の照明すなわち投光部を用いて、二次元画像の撮像を行うこともできる。
図1の例では観察用照明光源320を本体ケース101に含めず、測定部100に対して外付けとして、光源部300に観察用照明光源320を配置している。このようにすることで、観察用照明光源320から供給される照明光の品質を向上し易くできる。例えば観察用照明光源320を構成するRGBの各LEDでは配光特性がそれぞれ異なることから、モノクロの撮像素子121aでRGBのテクスチャ画像をそれぞれ撮像した際、そのままでは視野内に照明色むらが発生する。そこで、それぞれのLEDの配光特性に合わせた専用光学系を個別に用意し、組み合わせることで配光特性の違いを吸収し、色むらのない均一な白色照明を作り出した上で測定部100に導入することができる。
また観察用照明光源320の発熱が、測定部100の光学系に影響を与える事態を回避できる。すなわち、光学系の部材の近傍に熱源があると、熱膨張によって寸法が狂い、測定精度の低下が生じることがあるが、発熱源である観察用照明光源を本体ケース101から排除したことで、このような観察用照明光源の発熱に起因する問題を回避できる。また、この結果として発熱量の大きい高出力の光源を観察用照明光源に利用できる利点も得られる。
各投光部110A,110Bの測定光源111は、例えば青色LED(発光ダイオード)である。測定光源111は、ハロゲンランプ等の他の光源であってもよい。測定光源111から出射された光(以下、測定光と呼ぶ)は、レンズ113により適切に集光された後、パターン生成部112に入射する。
パターン生成部112は、例えばDMD(デジタルマイクロミラーデバイス)である。パターン生成部112は、LCD(液晶ディスプレイ)、LCOS(Liquid Crystal on Silicon:反射型液晶素子)又はマスクであってもよい。パターン生成部112に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部112から出射された測定光は、レンズ114により測定対象物WKの寸法よりも大きい径を有する光に変換された後、載置部140上の測定対象物WKに照射される。
投光部110Aの測定光源111、レンズ113及びパターン生成部112は、受光部120の光軸と略平行に並ぶように配置される。同様に、投光部110Bの測定光源111、レンズ113及びパターン生成部112は、受光部120の光軸と略平行に並ぶように配置される。一方、各投光部110A,110Bのレンズ114は、測定光源111、レンズ113及びパターン生成部112に対してオフセットするように配置される。これにより、投光部110A,110Bの光軸が受光部120の光軸に対して傾斜し、受光部120の両側方からそれぞれ測定対象物WKに向けて測定光が出射される。
本実施形態においては、測定光の照射範囲を広くするため、一定の画角を有するように投光部110A,110Bが構成される。投光部110A,110Bの画角は、例えば、パターン生成部112の寸法及びレンズ114の焦点距離により定まる。測定光の照射範囲を広くする必要がない場合には、画角が略0度となるテレセントリック光学系が投光部110A,110Bの各々に用いられてもよい。
測定対象物WKにより載置部140の上方に反射された測定光は、受光部120のレンズ122により集光及び結像され、カメラ121の撮像素子121aにより受光される。
本実施形態においては、受光部120の撮像視野を広くするため、一定の画角を有するように受光部120が構成される。本実施の形態においては、受光部120の撮像視野とは、受光部120により撮像が可能な空間上の領域を意味する。受光部120の画角は、例えば、撮像素子121aの寸法及びレンズ122の焦点距離により定まる。広い視野を必要としない場合には、テレセントリック光学系が受光部120に用いられてもよい。ここで、測定部100に設けられる2つの受光部120のレンズ122の倍率は互いに異なる。それにより、2つの受光部120を選択的に用いることにより、測定対象物WKを互いに異なる2種類の倍率で撮像することができる。2つの受光部120は、2つの受光部120の光軸が互いに平行となるように配置されることが好ましい。
カメラ121は、例えばCCD(電荷結合素子)カメラである。撮像素子121aは、例えばモノクロCCD(電荷結合素子)である。撮像素子121aは、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、受光信号と呼ぶ)が制御基板150に出力される。
モノクロCCDには、カラーCCDとは異なり、赤色波長の光を受光する画素、緑色波長の光を受光する画素及び青色波長の光を受光する画素を設ける必要がない。ここで、測定光に青色波長等の特定波長を採用した場合、カラーCCDは特定波長の光を受光する画素しか計測に利用できないが、モノクロCCDにはそのような制約がない。そのため、モノクロCCDの計測の分解能はカラーCCDの分解能よりも高くなる。また、モノクロCCDには、カラーCCDとは異なり、各画素にカラーフィルタを設ける必要がない。そのため、モノクロCCDの感度はカラーCCDの感度よりも高くなる。したがって、高い精度で後述する点群データを得ることができる。これらの理由により、本実施形態におけるカメラ121にはモノクロCCDが設けられる。
本実施形態においては、照明光出力部130は、測定対象物WKに赤色波長の光、緑色波長の光及び青色波長の光を時分割で出射する。この構成によれば、モノクロCCDを用いた受光部120により測定対象物WKのカラー画像を撮像することができる。
一方、カラーCCDが十分な分解能及び感度を有する場合には、撮像素子121aは、カラーCCDであってもよい。この場合、照明光出力部130は、測定対象物WKに赤色波長の光、緑色波長の光及び青色波長の光を時分割で照射する必要はなく、白色光を測定対象物WKに照射する。そのため、照明光源320の構成を単純にすることができる。
実施形態1に係る三次元形状測定装置500を含む三次元形状測定システム1000を図4に示す。この図に示す三次元形状測定システム1000は、三次元形状測定装置本体500Aと、コントローラ200で構成される三次元形状測定装置500に、制御用のPC1やモニタ2、キーボード3、マウス等の入力デバイス4を接続している。制御用PC1には、三次元形状測定装置500を用いて三次元形状測定を行うための三次元形状測定プログラムがインストールされている。ユーザは三次元形状測定プログラムを用いて、三次元形状測定装置500の設定や、撮像、測定等の実行を指示できる。
なお、図4の例では、コントローラ200を三次元形状測定装置本体500Aと別体に構成しているが、三次元形状測定装置本体側にコントローラを一体化してもよい。あるいは、コントローラの機能を、制御用PCと統合することもできる。
三次元形状測定装置500は、測定部100と、支持部700と、台座部600と、遮光カバー102で構成される。これら測定部100と、支持部700と、台座部600と、遮光カバー102は、図5の分解斜視図に示すように着脱自在なユニット式に構成されている。これにより、各部材のメンテナンス性や可搬性に有利となる。遮光カバー102は、受光部120及び投光部110の前方に延長されて、これらを覆うと共に、載置面142の上方で、載置面142と離間された姿勢に保持され、載置面142上方の測定領域を外光から遮光する。この遮光カバー102は測定対象物に応じて着脱可能とし、測定における基本最小構成は測定部100と台座部600の組合せである。
台座部600は、載置部140を備えている。載置部140は、上述の通り測定対象物が載置される載置面142を回転させる回転ステージ143と、載置面142を平行移動させる並進ステージ141を含む。ここでは、回転ステージ143であるθステージの上面に、並進ステージ141であるXYステージを載せたXYθステージで載置部140を構成している。
台座部600は、支持部700を介して測定部100を垂直姿勢に保持している。また測定部100は、投光部110や受光部120を載置面142に対して光軸が傾斜する姿勢に固定する。このため測定部100は、投光部110や受光部120を固定する固定部125を含んでいる。固定部125は後述する図7に示すように、固定部125は、台座部600から離間した姿勢に支柱部702で支持される。また投光部110及び受光部120を載置面142に対して光軸が傾斜する姿勢に固定している。これにより、載置部140の上方に測定光による測定領域が形成される。また、投光部110や受光部120等の光学系がこの測定領域を斜め下に見下ろす姿勢に保持される。
支持部700は、台座部600と測定部100とを連結する。支持部700を介して、載置部140の上方に測定部100が位置するように保持される。測定部100は、観察光学系として上述の通り投光部110と受光部120を備える。この測定部100は、台座部600に設けられた載置部140の載置面142に対して、垂直上方でなく、斜め方向から見下ろす姿勢に保持される。このような配置によって、測定対象物の上面と側面の形状を、一回の測定で取得し易くなる利点が得られる。特に高さ方向の情報を取得するには、測定対象物の内、高低差のある側面の情報が有益となる。一方で、側面のみでは、測定対象物の全体の形状が把握し難い。そこで、全体の外形を把握し易い上面と、高さ情報を取得しやすい側面の両方を、一度に得ることのできる、斜め上方からの視点で測定対象物を補足できる姿勢となるよう、測定部100を載置面142に対して傾斜させた姿勢に保持することが有益となる。図6の側面図に示す例では、測定部100の投光部110や受光部120の光軸が、XYθステージの載置面142に対して約45°の角度をなすように傾斜姿勢で保持している。このように測定部100は、45°の俯瞰角度を一定に保つ状態に支持部700でもって台座部600と連結されている。これによって、測定部100は常に一定角度、一定位置で載置面142を見込むことが可能となり、載置面142の駆動軸であるXYθの3軸と観察光学系との位置関係が一定に保たれる。
受光部120は、倍率の異なる複数の光学系を備えてもよい。このような例を、図7に示す。この例では、受光部120は、第一倍率を有する第一光学系と、第一倍率よりも高倍率の第二倍率を有する第二光学系を備えている。このように、倍率の異なる光学系を備えたことで、載置面142上に載置した測定対象物WKの大きさに応じて視野を切り替えることができる。この例では、受光素子として、第一光学系と光学的に結合された第一受光素子121bと、第二光学系と光学的に結合された第二受光素子121cを備えている。なお第一光学系と第一受光素子121bをまとめて第一カメラ121B、第二光学系と第二受光素子121cをまとめて第二カメラ121Cと呼ぶことがある。このように複数の受光素子を用意し、光学系毎に個別の受光素子で撮像するよう構成したことで、各光学系で受光した撮像処理を並行して行うことができ、処理の高速化や光学結合の簡素化が実現される。ただ、共通の受光素子で複数の光学系と光学的に連結してもよい。
第一光学系と第二光学系は、光軸が平行になるように配置している。第一光学系の第一光軸LA1と、第二光学系の第二光軸LA2は、それぞれ載置面142に対して約45°に傾斜されている。ここでは、高倍率の第二光学系、すなわち第二カメラ121Cが、第一光学系である第一カメラ121Bの下側となるように、垂直方向に並べて固定部125に配置されている。このような配置により、第一光学系から第二光学系に切り替えた際の視点の移動が、測定対象物WKの手前側となって、ユーザに対し視野の変化を比較的把握し易くできる利点が得られる。より正確には、視野の広い(倍率の低い)第一光学系においては、載置面上に置かれた測定対象物WKが大きい場合でも、一方視野の狭い(倍率の高い)第二光学系においては載置面上に置かれた測定対象物WKが小さい場合でも、いずれも全周回した際の測定対象物WKの全体を視野に収めることが可能となる。
(XYθステージ)
次に、台座部600の構成例を図7〜図9に基づいて説明する。図7の例では、XYθステージは、台座部600上に固定された回転ステージ143であるθステージの上に、並進ステージ141であるXYステージが載置されている。また回転ステージ143の回転軸は、第一光学系及び第二光学系の光軸と、それぞれ45°の角度で交わる形で配置されている。回転ステージ143上に載置された並進ステージ141は、回転ステージ143の回転に伴って図8、図9の平面図に示すように、そのXY駆動軸も共に回転する構成となっている。このように、回転ステージ143の上に並進ステージ141が載置された構成とすることで、測定部100の光軸と回転ステージ143の回転軸とが、機械的に締結された一定関係を保つことが容易となる。また必要に応じて、並進ステージ141の移動方向のキャリブレーションと、ステージ回転軸の回転方向のキャリブレーションを行うことで、測定部100の観察空間中の座標系におけるステージ駆動軸を把握できる。
また、回転ステージ143と並進ステージ141を併存させた構成においては、回転ステージ143を回転させる際には、並進ステージ141を予め定められた基準位置に復帰させた上で回転させることが好ましい。これにより、測定対象物を載せた載置部140の回転半径が大きくなる状態を避け、測定対象物が意図せず他の部材と衝突する事態を避けることができる。基準位置は、例えば並進ステージ141を移動させるXY平面の原点位置とする。あるいは、特定の座標位置を基準位置としてもよい。また、回転ステージ143と並進ステージ141は、同時に移動させず、いずれか一方のステージを移動させる際は他方のステージを停止させた状態とする。これにより、衝突検知や衝突予防を行い易くして安全性を高めることができる。
(トップビューマップ画像)
実施形態に係る三次元形状測定装置は、トップビューマップ画像の生成機能を備えている。トップビューマップ画像とは、載置部140に載置された測定対象物の平面図に当たる、上方から見た画像である。特に図6に示すような、測定対象物を真上からでなく斜め上方から観察する三次元形状測定装置においては、測定対象物の外形などを視覚的に把握が容易でない場合がある。そこで、測定対象物の平面図的な画像をトップビューマップ画像として用意することで、ユーザに対して測定対象物の全体像を示し、現在どの部位を斜め方向から観察しようとしているのか、相対的な位置関係を把握し易くすることができる。
トップビューマップ画像の視点は、載置面142に対して直交する方向を基本とする。ただ、多少傾斜した角度から見た画像としてもよい。例えば載置面142の垂直方向を0°としたとき、±5°程度傾斜した方向から見た画像としてもよい。このように、垂直方向から多少傾いた画像であっても、本明細書においてもトップビューマップ画像と呼ぶ。またトップビューマップ画像は、測定対象物の測定位置の把握など、ナビゲーション的な用途で用いることを企図しているため、撮像素子で撮像した光学画像でなくともよく、測定対象物を擬似的に表した画像で足りる。また、三次元形状測定装置における測定は、別途生成する三次元画像等に対して行い、トップビューマップ画像に対して行うものでないため、トップビューマップ画像自体に高い精度は不要である。
図6に示すような、斜め上方向から俯瞰する非接触式の三次元形状測定装置は、測定対象物の上面だけでなく、外周側面を含めた立体形状を測定する用途を考える。この構成においては、測定対象物の上面と側面を観察視野に含めるように、斜め上方(図6では45°)から測定対象物を見込む配置となっている。このような三次元測定に際して、測定対象物の外形を取得するため、回転ステージ143を回転させて測定対象物の全周を見込むことがある。また、より大きな測定対象物を測定できるように、並進ステージ141を採用することも考えられる。一方で、より大きな測定対象物を測定したいという要求もある。このような場合に、図10に示すように長い測定対象物WK1を載置して載置部140を回転させると、三次元形状測定装置の支柱部702等と衝突する事態が考えられる。この図においては、測定対象物WK1の飛び出し量と支柱部702との距離DT1が、載置面142の最外周と支柱部702との距離DT2よりも大きい場合に衝突が発生する。
(測定対象物の外形検出機能)
そこで本実施形態に係る三次元形状測定装置では、測定対象物の外形を検出する外形検出機能を備えている。測定対象物の外形検出は、測定部100に含まれる撮像光学系を用いて、載置面142上に載置された測定対象物の画像を取得して得られる画像情報に基づいて行う。この測定対象物の外形検出は、例えばCPU210の端部検出部265で行う。外形検出のアルゴリズムは、エッジ検出等、既知の方法が適宜利用できる。なお、上述した通り撮像光学系に、低倍率と高倍率の2つの受光素子を有する構成においては、高倍率の受光素子を選択して観察を行う場合であっても、低倍率の受光素子で得られた画像を用いることで、測定対象物に対してより広域な外形情報が得られる。このように、三次元形状測定装置の測定モードとして、低倍率測定モードと高倍率測定モードを有する場合であっても、測定対象物の外形把握のための撮像は、選択中の測定モードによらず低倍率の受光素子で実施するよう構成することが好ましい。
取得した斜め俯瞰の測定対象物の観察画像OI1を図11に、測定可能範囲MAを重ねた観察画像OI2を図12に、それぞれ示す。一般的に広域の測定を実施する低倍率は、画角を有する広角レンズであることが多く、視野が奥行に伴って変化する構成となっている。載置面142に対して斜めに俯瞰している撮像光学系は、その広角光学系の構成上、取得した画像はパースの掛かった状態であり、輪郭線が必ずしも測定対象物の外形を正確に示さないという問題があった。これは、奥行方向に行くほど倍率が異なり、ピクセル長が異なることに起因する。
また、斜め上方から見た俯瞰画像では、測定対象物の背面側の外形情報が欠落することに加えて、視野内に含まれる測定対象物の前面側の輪郭線が、必ずしも載置面142上に載置された状態での「端部」を正確に表現できないという問題も含んでいる。ここで広角俯瞰による端部検出の問題点を、図13〜図14に示す。図13に示すように、測定対象物WK2の底面が正確に載置面142に触れているような載置状態であれば、測定対象物WK2の輪郭線(図13において黒丸で示す。)は測定対象物WK2の外形と一致する。しかしながら、図14に示すように、測定対象物WK3が傾いた姿勢で載置面142上に載置された場合では、画像上で見える輪郭線(図14において白丸で示す。)は、測定対象物WK3の端部とは一致しない。また、図13の場合であっても、仮に上方側に突出部が存在している場合は、輪郭線と端部は一致しない。
このような状態で、載置面142の移動による測定可能範囲を描画したとしても、ユーザにとっては端部が認識できないため、範囲設定の正確さが認識できないという問題につながる。例えば図12のように測定可能範囲MAを重ねた観察画像OI2においても、奥側が測定可能範囲MAに含まれているかが不確かなだけでなく、測定対象物が傾いているのか、それとも設置位置が奥にずれているのかの判別が困難なことが判る。
そこで本実施形態に係る三次元形状測定装置は、このような測定対象物の外形検出の困難さに対して、視点を変えて、上面から見た平面図的な上方俯瞰画像を生成する。これにより、測定範囲をユーザに判り易く示すことが可能となる。また、測定対象物を載置面142に載置する姿勢がどのようになっているのか、さらに測定対象物の外形を把握することで、載置面142を移動させる際に意図せず他の部位に衝突させないように、衝突予防を考慮した移動制御を行える等の利点が得られる。
(観察画像生成部124を用いた衝突防止)
本実施形態に係る三次元形状測定装置では、載置面の上方からの俯瞰画像を用いて測定領域をユーザが指定したり、自動で測定領域を判定するようにしてもよい。また、載置面の上方からの鳥瞰画像を取得することで、測定対象物の外形を検出し、この外形に基づいて、測定対象物が意図せず他の部材と衝突する事態を回避するように制御することもできる。
図13〜図14で説明した通り、測定対象物の外形は45°からの俯瞰画像では正確に捉えることができない場合がある。そこで、載置面の上方から測定対象物の全体像を捉えた鳥瞰画像を取得することで、測定対象物の全体外形を補足することが可能となる。具体的には、図15の模式側面図に示すように観察画像生成部124を載置面142の上方に設けて、載置部140に載置された測定対象物WK3の全体形状を観察するための観察画像を撮像する。この観察画像を用いて測定対象物WK3の全体形状を把握することにより、測定対象物WK3が三次元形状測定装置に干渉してしまうことを未然に防ぐことが可能となる。この観察画像生成部124は、例えば撮像素子と撮像光学系を備えるカメラが利用できる。このカメラを、メインのカメラ(受光素子及び撮像光学系)に対してサブカメラと呼んだり、鳥瞰画像を撮像するカメラという意味で鳥瞰カメラと呼ぶ。図15の例では、鳥瞰カメラは、載置面142の上方に張り出した遮光カバー102の内側に固定している。ここでは、鳥瞰カメラを、その観察光軸を載置面142に対して直交状となる姿勢で固定している。一方で受光部120は、その受光光軸を載置面142に対して斜めに傾斜させている。このような構成により、斜め方向から測定を行う三次元形状測定装置においても、上面から見た平面視の画像を観察画像生成部124で取得して、測定対象物WK3の外形を把握し易くなり、ユーザが測定領域を設定する際に視覚的に判り易い設定環境を提供できる。
このように観察画像生成部124は、その観察光軸が、受光部120の受光光軸と非平行となる姿勢に固定することが好ましい。これにより、観察画像を受光部120によって得られる画像と異なる角度で観察することができ、受光部120からの観察よりも測定対象物の外形をより見易い角度として測定対象物を把握し易くできる。
この観察画像生成部124で、載置面142の上方から広角に載置面上全体を観察することが可能となる。観察画像生成部124の光学系には、魚眼レンズやこれに近い広角レンズを使うことで、載置面142をはみ出した測定対象物の全体像を捉え易くなる。一般的に、魚眼タイプの広角レンズは、図16Aに示すように、視野の周辺に近付くに従って光学的な歪みを生じる。そこで本実施形態においては、こうした広角画像をそのまま用いるのではなく、歪み補正を行った上で表示部400に表示させる。具体的には、予め観察画像生成部124に対してカメラキャリブレーションを行うことで、カメラの内部パラメータ等の光学パラメータ群を算出しておく。観察画像の撮像時には、この同定されたパラメータを用いた射影変換を行うことで、図16Bに示すように測定対象物を上方から歪み無く捉えた広域画像を提供できる。
(実施形態2)
また、単一の鳥瞰カメラではこのような歪み成分が大きくなる傾向がある。そこで、複数の鳥瞰カメラを用いて撮像することで、歪みを小さくしながら視野を確保することもできる。このような例を実施形態2に係る三次元形状測定装置として、図17の模式側面図に示す。この場合は、鳥瞰カメラであるサブカメラ124a、124b同士の相対的な位置関係は予め判明していることから、カメラキャリブレーションにより外部パラメータを同定することできる。よって、各サブカメラ124a、124bで取得された画像同士を連結して広域画像を得ることが可能となる。
(実施形態3)
以上の例では、観察画像生成部124を遮光カバー102に固定する構成を示した。これにより、観察画像生成部124を固定するための別部材を用意することなく、遮光カバー102を利用して載置部140の上方に観察画像生成部124を離間姿勢に固定することが可能となる。ただ本発明は、観察画像生成部124を固定する部材を遮光カバーに限定せず、観察画像生成部124を載置部140の上方に固定できる任意の部材を利用できる。例えば遮光カバーを有さない三次元形状測定装置においては、専用の治具で観察画像生成部124を載置面142の上方に設置することもできる。このような例を実施形態3に係る三次元形状測定装置として、図18の模式側面図に示す。この三次元形状測定装置は、載置部140の上方で、載置面142と離間された姿勢に観察画像生成部124cを固定するよう、前方に突出されたアーム部104を備えている。このように観察画像生成部124を固定する専用のアーム部104を用意することで、所望の位置に所望の姿勢で観察画像生成部124を保持することが容易となる。
(実施形態4)
さらに、観察画像は載置面の端部から測定対象物が飛び出している量を把握することが目的であるから、必ずしも上方からの俯瞰情報である必要はない。例えば斜め方向から撮像した観察画像でも、測定対象物が載置面から飛び出している様子を把握できる姿勢や角度で設けられておれば、上記の目的は達成できる。また、この際に上述の通り複数のカメラを組み合わせてもよい。このような一例として、実施形態4に係る三次元形状測定装置を図19の模式平面図に示す。この例では、観察画像生成部124として、支持部700の側面にそれぞれ、画角を有するサブカメラ124d、124eを設けている。各サブカメラ124d、124eは平面視において受光部120及び投光部110の側面に設けられる状態となる。各サブカメラ124d、124eで得られた観察画像を合成して合成観察画像を得ることで、測定対象物の載置面142からの飛び出し量を把握でき、衝突回避などに役立てる。
合成画像の生成は、例えば画像検査部216で行わせてもよい。画像検査部216は、取得された測定対象物の画像に対して、所定の画像検査を実行する。ここで、画像検査部216が行う所定の画像検査には、測定対象物の外形を示すエッジ検出や、表示部400に観察画像を表示させて行う加工等が挙げられる。
また、観察画像生成部124で得られた情報を、受光部120で得た情報と組み合わせることもできる。例えば観察画像生成部124をカラーで撮像可能なサブカメラで構成し、測定対象物の色情報を取得する。そして、受光部120(例えば高精度なモノクロカメラ)で計測された形状データ上にマッピングすることで、高精度なカラー画像が得られる。すなわち、測定側には計測精度を向上させつつ、測定対象物の外観の色情報を付加することが可能となる。
さらにまた、観察画像生成部124で測定対象物の観察画像を撮像する際に、載置面142を観察画像生成部124から遠ざけるように移動させることで、画角を有する観察画像生成部124の視野範囲をより拡大させて、測定対象物の全体を含め易いようにしてもよい。
(変形例)
図1等の例では、観察画像生成部124を受光部120と別に設けて、観察画像を撮像するよう構成している。ただ本発明は、この構成に限られず、例えば観察画像生成部を受光部と共通に構成してもよい。この場合において、受光部と共通の観察画像生成部は、載置部を支持部から離間させた位置に固定される。このように、測定対象物がなるべく視野内に入るように受光部を離間させることで、受光部を観察画像生成部として機能させることができる。また、観察画像生成部を受光部と兼用することで簡素化できる。
(衝突自動検知機能)
次に、退避位置特定部268で、測定対象物が支持部700に衝突しない退避位置を特定するため、まず測定対象物が支持部700に衝突する可能性があることを検出する必要がある。このため本実施形態に係る三次元形状測定装置は、測定対象物が支柱部702などに衝突する事態を自動で検知する衝突自動検知機能を備えている。具体的には、載置部140に載置した測定対象物の大きさを、測定開始時や衝突挙動の直前までの間に端部検出部265で検知して、規制判断部266で自律的に載置部140の回転や平行移動を規制するよう構成している。これにより、広範囲測定機能を行っても、三次元形状測定装置と測定対象物との衝突を回避できる。
以下、端部検出部265で、測定対象物の端部が三次元形状測定装置と衝突する事態を事前に検知する手法について説明する。上述した並進ステージ141と回転ステージ143を備えるXYθステージの動作中に衝突が起こり得るパターンとしては、並進ステージ141による直動中の衝突と、回転ステージ143による回転移動中の衝突とが挙げられる。この場合、
(1)撮影や測定等の動作中の並進ステージ141の移動又は回転ステージ143の回転移動中に発生する場合、
(2)載置部140が基準位置に復帰する際の移動中に発生する場合、
が挙げられる。ここでは、(1)〜(2)に関して、それぞれ衝突を事前に自動検知する手順を説明する。なお、(1)に関しては既に並進ステージ141と回転ステージ143の各駆動軸が基準位置への復帰処理を完了しており、現在座標位置を三次元形状測定装置側で検知できている状態を前提としている。つまり(1)においては、細部の外周端と支柱部702との干渉は考慮しない。一方、(2)に関しては、三次元形状測定装置の起動直後の状態を前提としており、載置部140の現在位置や姿勢が不明な状態から基準位置への復帰を想定している。
(動作中の衝突事前検知機能)
三次元形状測定装置の使用中に載置部140を移動させることで、その上面に載置された測定対象物が周囲の物体に干渉する事態は様々考えられる。例えば、周囲に置かれた他の測定機器やスタンド、ユーザ、あるいは載置台の周囲に存在する三次元形状測定装置の部材などが挙げられる。ここでは、図8等に示したように、載置部140を設けた台座部600と測定部100とを連結する支持部700を構成する、支柱部702に着目し、台座部600上でXYθステージが移動することにより、この上に載置した測定対象物が支柱部702と衝突する事態を、自動的に回避するような制御を考える。なお、支柱部702の位置や大きさ、すなわち輪郭情報については、予め三次元形状測定装置側で保持している。
測定対象物の支柱部702への衝突は、図20A〜図20Dに示す幾つかのパターンが想定される。図20A及び図20Bは、並進ステージ141を手前側(図において下方向)に平行移動させて測定対象物WK4が支柱部702と衝突する様子、図20C及び図20Dは、並進ステージ141を左右方向に平行移動させて測定対象物WK5が支柱部702と衝突する様子を、それぞれ示している。いずれの場合も、載置面142からはみ出している測定対象物WK4、WK5が、支柱部702に衝突することにより発生する。そのため本実施形態においては、測定対象物の端部の輪郭を、動作中又は動作前に端部検出部265で検知し、衝突を事前に検知する。例えば、ユーザに指定された測定したい位置の内から、安全な移動が可能である位置から測定を行い、端部検出部265で測定対象物の端部を検出する。そして検出された端部から、さらに安全な移動が可能である範囲を判断し、追加していく。このようにして安全な移動が可能と判断された位置のすべてで、測定を実施する。
ここで、測定対象物の広範囲測定を行うに際して、端部検出部265が測定対象物の端部を検出し、これに基づいて規制判断部266が衝突を回避するように載置部140を規制しながら測定を行う具体的な手順を、図21のフローチャートに基づいて説明する。この例では前提として、測定対象物を載置面に載置した時点で、支柱部と測定対象物が接していることはあっても、めり込むなどの干渉(衝突)は生じていないこと、また測定対象物を測定したい位置(θ角度、XY位置)は、ユーザによって事前に入力されていることとする。
まずステップS2101において、測定対象物をステージに載置する。次にステップS2102において、測定条件を測定する。ここではユーザが明るさ、姿勢、測定範囲などを指定する。そしてステップS2103において、測定実行を指示する。
次にステップS2104において、未測定で、安全に移動可能な測定位置があるか否かを判定する。この判定は三次元形状測定装置側、例えば規制判断部266や移動制御部144が行う。ある場合はステップS2105に進み、その安全に移動可能な測定位置に移動し、ステップS2106で三次元形状測定を実行する。さらにステップS2107で、測定した測定データから、測定対象物の端部を検出し、安全に移動可能な位置を追加する。そしてステップS2104に戻って、上記の処理を繰り返す。
一方、ステップS2104において、安全に移動可能な測定位置がないと判定された場合は、ステップS2108に進み、自動配置された測定データを表示部400にプレビュー表示する。そしてステップS2109において、測定データが正しく取得できたか否かをユーザに判定させる。正しく取得できていない場合は、ステップS2102に戻って上記の処理を繰り返す。一方、正しく取得できたと判断された場合は、ステップS2110に進み、測定データの結合を実行する。この結合は、例えば点群データ合成部211で行う。さらにステップS2111において、解析機能を用いた計測、解析を実行し、ステップS2112で測定を終了する。このようにして、広範囲測定を行いながら、測定対象物の飛び出しを自動で検出して、衝突を避けつつ計測や解析を安全に行える。
次に、動作中に端部検出部265が測定対象物の端部を検出し、この検出結果に基づいて規制判断部266が載置面142の移動方向を規制する手順の詳細例を、図22A〜図22Hに基づいて説明する。ここでは、点群データ合成部211が、基準位置にある載置面142上に縦長に置かれた測定対象物WK6を、手前側の左、右と、奥側の左、右の4つに測定領域を分けて、回転ステージ143を180°ずつ回転させて測定する例を説明する。まず図22Aに示すように、並進ステージ141が基準位置にある状態で得られた観察視野から、端部検出部265は測定対象物WK6の端部を検出する。検出された端部すなわち測定対象物WK6の輪郭を、図22A〜図22Hにおいて太線で示す。そして、得られた輪郭から、規制判断部266が、載置面142の移動方向を判断する。移動方向の判断は、移動可能な方向の特定、移動不可能な方向の特定、移動可能か否かの判断自体が不明な方向の特定、又はすべての方向が判断不能、等となる。図22Aの例では、端部検出部265による端部検出の結果として、測定対象物WK6の左右及び手前側の輪郭が得られ、奥側の輪郭が得られていない。この検出結果から、測定対象物WK6の左右が載置面142内に収まっていること、いいかえると載置面142からはみ出していないことが規制対象部により判断できる。つまり、載置面142の左右方向には測定対象物WK6が伸びていないので、図20Cや図20D等で示したような事態は起こり得ず、XY方向に移動させても測定対象物WK6が衝突することはないこと、すなわち並進ステージ141を左右方向に移動させることが可能であると判断される。よって、規制対象部は並進ステージ141の左右方向の移動を許可し、これに従い移動制御部144が並進ステージ141を横方向に移動させる。ここでは図22Bに示すようにまず左方向に並進ステージ141を移動させ、測定(ここでは単視野測定データの取得)を行う。これにより、測定対象物WK6の手前右側の単視野測定データが得られる。次に図22Cに示すように右方向に並進ステージ141を移動させて、同様に測定を行い、測定対象物WK6の手前左側の単視野測定データが得られる。なお、この例では並進ステージ141を先に左方向に移動させてから右方向に移動させる手順を説明したが、順序を入れ替えて先に右方向に移動させた後、左方向に移動させるようにしてもよいことはいうまでもない。
以上のようにして測定対象物WK6の内、手前側の左右の単視野測定データが得られたので、次に奥側の左右の単視野測定データを取得する。ここで、奥側が観察視野に含まれるように、仮に図22Dに示すように並進ステージ141を手前側(図において下方向)に移動させようとすると、測定対象物WK6の手前が支柱部702に衝突することが判るので、規制判断部266はこのような移動を許可しない。よって、禁止された並進ステージ141の移動をスキップし、代わりに図22Eに示すように回転ステージ143の回転を行う。回転ステージ143を180°回転させることで、裏側すなわち回転された測定対象物WK6の手前側が視野範囲に含まれるので、端部検出部265が端部検出を行うことで、手前側の輪郭(図22Aにおいて上側の輪郭)が検出される。なお図22Eの姿勢において測定対象物WK6の上側は視野範囲から外れているが、すでにこの部分の輪郭情報は図22A等の測定において得られているので、得られた輪郭情報を合成することで、測定対象物WK6の平面視における輪郭がこの時点ですべて得られることになる。この状態で検出結果、すなわち輪郭情報から、規制判断部266は並進ステージ141を図22Eの位置から左右に移動可能であると判断できるので、以下同様に並進ステージ141を図22Fに示すように左方向に移動させて測定対象物WK6の手前右側(図22Aの姿勢では奥左側)の単視野測定データを得、また並進ステージ141を図22Gに示すように右方向に移動させて測定対象物WK6の手前左側(図22Aの姿勢では奥右側)の単視野測定データを得ることができる。なお、図22Eの位置で回転された測定対象物WK6の手前側の輪郭(図22Aにおいて上側の輪郭)が得られたことで、同様に仮に図22Hに示すように並進ステージ141を手前側(図22Hにおいて下方向)に移動させようとすると、測定対象物WK6の手前が支柱部702に衝突することが判るので、規制判断部266はこのような方向への並進ステージ141の移動を許可せず、スキップする。このようにして、縦長の測定対象物WK6の輪郭情報に基づいて、載置面142の移動方向を衝突を回避するように規制しながら、安全に測定を行うことが可能となる。
以上の例では、並進ステージ141を左右に移動させた後、回転ステージ143を180°回転させて同様に並進ステージ141を左右に移動させて、順次単視野測定データを合成する手順を説明した。ただ本発明は、回転ステージ143の回転角度を180°に限定するものでなく、任意の角度に設定することができる。ただ、角度を細かくするほど、得られるデータは詳細になるものの、測定時間が長くなるため、要求される精度や処理時間にしたがって、適切な回転角度に設定される。加えて、上述の通り衝突予防機能によって、回転移動や平行移動を規制しながら、安全性を高めた測定を行う。加えて、測定対象物の形状に応じて、少ない測定回数で効率的に撮像することが望ましい。
次に、別の端部検出の例として、横長の測定対象物を、奥・左・右・手前の4つに測定領域を分けて、回転ステージ143を90°ずつ回転させて測定する例を、図23A〜図23Pに基づいて説明する。ここでは、点群データ合成部211が、基準位置にある載置面142上に横長に置かれた測定対象物WK7を、手前側の左、右と、奥側の左、右の4つに測定領域を分けて、回転ステージ143を90°ずつ回転させて測定する例を説明する。まず図23Aに示すように、基準位置にある並進ステージ141で得られた観察視野から、端部検出部265は測定対象物WK7の手前側の一部(図23Aにおいて太線で示す下側の中央)の輪郭を検出する。この状態では、測定対象物WK7から支柱部702側に伸びている部分が含まれていないので、並進ステージ141を左右に移動させても、支柱部702への衝突はないと規制判断部266で判断される。よって、規制対象部は並進ステージ141の左右方向の移動を許可する。これに従い、並進ステージ141を左右に移動させる。ここでは、まず図23Bに示すように移動制御部144が並進ステージ141を左方向に移動させ、測定対象物WK7の手前右側の単視野測定データを取得する。これにより、測定対象物WK7の手前側から右側面にかけての輪郭情報が得られるので、規制判断部266は、回転ステージ143を時計回りに90°以上回転させることが可能であると判断できる。次に並進ステージ141を右方向に移動させて、測定対象物WK7の手前左側の単視野測定データを取得する。これにより、測定対象物WK7の手前側から左側面にかけての輪郭情報が得られるので、規制判断部266は、回転ステージ143を反時計回りに90°以上回転させることが可能であると判断できる。また、図23Bで得られた輪郭情報と合わせて、測定対象物WK7の下半分の輪郭が判明する。
次に、回転ステージ143を180°回転させる。ここでは、まず図23Dに示すように一旦並進ステージ141を基準位置(例えばXYステージの原点や初期位置)に復帰させた上で、図23Eに示すように回転ステージ143を時計回りに90°回転させる。このように、図23Cの状態から直接回転ステージ143を回転させるのでなく、一旦並進ステージ141を基準位置に復帰させた上で回転させることで、回転半径を小さく抑えることができるので、衝突のリスクを低減できる。そして図23Eの観察視野において、単視野測定データを取得し、測定対象物WK7の内、右側の中間部分の輪郭情報を取得する。この状態では、測定対象物WK7の右上と左下の輪郭は未だ得られていないものの、並進ステージ141を左右に平行移動可能であることが規制判断部266で判断できる。よって、同様に並進ステージ141を左右に移動させるよう移動制御部144に指示する。
さらに、測定対象物WK7の下部の輪郭がすでに得られており、載置面142からの突出量が判明しているので、並進ステージ141を手前側(図23Eにおいて下方向)に移動可能な移動量も規制判断部266で演算できる。具体的には、図23Hに示す位置以上に並進ステージ141を移動できないことが判るため、その限度で並進ステージ141を手前側に移動させ、さらに左方向に移動させる。この結果、図23Fに示すように測定対象物WK7の右上の輪郭が得られる。さらに、図23Gに示すように並進ステージ141を右方向に移動させる。この位置では、輪郭情報の追加は得られない。また上述の通り、図23Hのように並進ステージ141を手前側に移動させることはできないので、この移動はスキップされて、図23Iに示すように回転ステージ143を時計回りに回転させる。
図23Iの姿勢で、測定対象物WK7の左右の輪郭は、左上の一部を除いて概ね判明しているので、並進ステージ141を左右に移動可能であると判断でき、よって左右に移動される。またこの姿勢で、すでに測定対象物WK7の手前側(図23Iにおいて下側)の輪郭は得られているので、図23Lに示すように、並進ステージ141を手前側に移動可能な移動量を演算できる。これに従い並進ステージ141を手前に若干移動させつつ、まず図23Jに示すように左方向に移動させる。この位置では輪郭情報の追加は得られない。次に図23Kに示すように並進ステージ141を右側に移動させ、単視野測定データを取得する。これにより、測定対象物WK7の左上の輪郭が得られ、すべての輪郭が取得されるので、載置面142の移動可能な範囲や方向が確定する。上述の通り、並進ステージ141を図23Lに示すように手前側には移動できないので、この移動をスキップさせて図23Mに示すように、さらに回転ステージ143を時計回りに90°回転させる。上述の通り、一旦並進ステージ141を基準位置に復帰させた状態で、回転ステージ143を回転させ、図23Mの姿勢とする。
この位置で、同様に単視野測定データを測定し、さらに並進ステージ141を左右に移動させて、同様に単視野測定データを測定する。ここでは、図23Nに示すように、並進ステージ141を左に移動させ、次に図23Oに示すように並進ステージ141を右に移動させ、最後に基準位置に戻して処理を終了する。このようにして、90°刻みでより多数の単視野測定データを合成し、詳細な測定が可能となる。
以上のように、並進ステージ141を奥方向に移動させて測定したデータによって取得された、測定対象物の端部により、並進ステージ141の移動が可能か否か、回転ステージ143の回転移動が可能か否かを、規制判断部266で判断できる。ここで並進ステージ141の移動可否の判断について、図24A〜図26Dに基づいて説明する。まず、図24A〜図24Cの模式平面図に示すように、並進ステージ141を手前方向に移動できるか否かについては測定対象物の手前側の端部から判断する。すなわち、図24A〜図24Cにおいて測定対象物の下側の輪郭が、支柱部702に接触しない範囲の移動を許可する。例えば図24Aに示すように、測定対象物WK8の下部が載置面142内に収まっている場合は、並進ステージ141の移動は制限されない。すなわち、並進ステージ141は、載置面142が支柱部702側に最も接近する位置(図24Aにおいて下端)と支柱部702との距離D1又はこれにマージンを考慮した分、あるいはこれよりも短い、並進ステージ141の移動機構の制約を受けた距離だけ、手前側に移動できる。図においては説明のためマージンを考慮せず、測定対象物を載せない状態で並進ステージ141を手前側に移動可能な移動量をD0としている。
一方、図24Bに示すように、部分的に載置面142から突出している場合は、支柱部702に接触しないよう、移動量D0から、この突出部分の内最も支柱部702に接近した部分の突出力D2、及びマージン分を差し引いた分だけ、通常の並進ステージ141よりも手前側への移動量が制限される。さらに、図24Cに示すように測定対象物WK9の端部の突出量が大きく、支柱部702に接触しているか、接触する寸前の場合、あるいは端部を検出できない場合は、並進ステージ141の手前側への移動を禁止する。
また左右方向に移動できるか否かについては、斜め手前側の端部から判定する。ここで、並進ステージ141を一例として右方向に平行移動させることを制限するか否かについて、図25A〜図25Cに基づいて説明する。まず図25Aに示すように、測定対象物WK10の下部が載置面142内に収まっている場合は、並進ステージ141の移動は制限されない。また図25Bに示すように、測定対象物WK11が部分的に載置面142から突出している場合は、載置面142の下端からの突出量D2を調べ、これが載置台の移動量D0の範囲内に収まっている場合は、右方向に移動させても支柱部702に接触しないため、平行移動は制限されない。一方で、図25Cに示すように測定対象物WK12の突出量が大きく、載置台の移動量D0を越えている場合や、端部を検出できない場合は、並進ステージ141を右方向に移動させると、支柱部702に接触するおそれがあるため、移動を制限する。
さらに、回転ステージ143の回転移動の可否判断は、突出量に基づいて行う。ここで、回転ステージ143の時計回りの回転移動を制限するか否かの動作について、図26A〜図26Dに基づいて説明する。まず図26Aに示すように、測定対象物WK13が載置面142内に収まっている場合は、回転ステージ143の移動は制限されない。また図25Bに示すように、部分的に載置面142から突出している場合は、載置面142からの突出している部分が最大となる値、すなわち測定対象物WK13が回転ステージ143によって回転移動する回転半径の最大値D3を測定する。そして、この回転半径の最大値D3と、回転ステージ143の回転中心から支柱部702までの距離DRとを比較し、D3がDRよりも短い場合は、回転ステージ143を回転させても測定対象物WK13は支柱部702に衝突しないと判断され、回転ステージ143の回転を許容する。なお、D3とDRの比較にあたっては、マージンを考慮してもよいことは上述の通りである。さらに図26Cに示すように、突出量の最大値D4が、回転ステージ143の回転中心から支柱部702までの距離DRよりも大きい場合は、回転ステージ143を時計回りに移動させると、支柱部702に接触するおそれがあるため、回転移動を制限する。また図26Dに示すように、測定対象物WK14の突出部分の端部の輪郭を検出できない場合も、同様に回転移動を制限する。
上述した規制判断部266による移動の制限や規制とは、移動そのものを禁止する他、接触する寸前までの移動を許容するようにしてもよい。このように、指定された測定位置への移動が不可能と判断されても、移動可能なぎりぎりの位置まで移動して、測定を行うことで、測定データの欠落を最小限に抑えることができる。
(移動可否承認部)
また、測定対象物の端部が検出できず、安全な移動が不可能と判断された場合であっても、ユーザに移動が可能であるか確認し、ユーザが可能と判断したら、移動して測定を続行するようにしてもよい。この場合は、ユーザに移動可否の承認を求める移動可否承認部を設ける。例えば、表示部400に移動可否承認画面を表示させる。移動可否承認画面では「ワークの端部が確認できません。ステージを回転させてもよいですか」等の説明と共に、「移動を許可する」「移動を禁止する」等の選択肢を表示させて、ユーザに対し確認と選択を促す。
以上の例では、三次元形状測定装置の一部(支柱部702)に、載置面142の移動により測定対象物が干渉する事態を避けるように、端部検出部265や規制判断部266で載置面142の移動を規制する構成について説明した。この場合、並進ステージ141が遠ざかる方向(図20A等において上方向)に移動する場合は、衝突の可能性がないので、規制判断部266は並進ステージ141が支柱部702から遠ざかる方向への移動は規制しない。この場合において、特殊な形状の測定対象物、例えば支柱部の背面に回り込むような湾曲した腕を有するような形状は除外して考える。
なお、図6等に示したように、載置面142に対して斜め上方から測定を行う構成においては、載置面142の真上にカメラを設けて真下に見下ろす構成と比べると、周囲の外光を受光し易い。これを低減するために、載置面142の上方を覆って遮光する遮光カバー102に加えて、遮光カバー102の下側に遮光カーテンを配置する構成としてもよい。この構成においては、載置面142の奥側に遮光カーテンが配置される構成となるが、遮光カーテンを布のような柔軟性のある部材で構成すれば、載置面142の移動によって測定対象物が遮光カーテンと接触しても、遮光カーテンがこれに応じて無理なく変形できるため、干渉を考慮せずとも足りる。
また本発明の衝突自動検知機能は、支柱部702への衝突回避のみに限られず、例えば三次元形状測定装置の周囲に置かれた他の測定機器やスタンド、あるいは三次元形状測定装置を操作するユーザに対しても、測定対象物が干渉しないように制御するよう構成してもよい。例えば、三次元形状測定装置の周囲に存在する物体の形状や位置を三次元形状測定装置側に知らせるよう、対物センサやカメラ等の検出器を用意する。そして検出器で得られた信号や情報を三次元形状測定装置側で収集して、端部検出部265で検出した測定対象物の輪郭などの情報と対比させながら、載置面142の移動方向や移動範囲等を規制判断部266で計算し、移動制御部144による載置面142の移動を規制する。
すなわち、上述の例では、衝突を回避する対象として予め支柱部702の輪郭を予め三次元形状測定装置側で保持しており、測定対象物が支柱部702と接触しないように必要な制御を行っていたところ、衝突を回避する対象として支柱部に加えて、あるいはこれに代えて、他の部材(異物)を指定することで、同様の衝突回避動作を実現することが可能となる。なお、他の部材の指定は、例えば三次元形状測定装置の周囲に置かれた器具が静止している場合は、比較的容易に行える。一方で、可動する器具やユーザのような、常時静止しておらず移動する可能性がある部材については、時々刻々と変化する輪郭の位置を考慮しながら、これとの接触を回避するようにリアルタイムで載置面142の移動を制限する演算を行う必要がある。
(測定可能範囲(黄点線)とデータ取得範囲(赤点線))
載置面142を斜め上方から見下ろす、すなわち俯瞰する形で測定する三次元形状測定装置においては、図27Aの模式側面図に示すように、載置面142の内手前側の測定範囲は比較的広く、測定の精度が高い測定領域に加え、その周囲に精度はともかく、三次元データが取得できる領域が広い傾向にある。本実施形態では、図2で説明したとおり投光部110を左右にそれぞれ設けて、2つの投光部110A、110Bからパターン光を投影している。図27Bにおいて、受光部120による受光範囲を赤領域、投光部110によるパターン投影範囲を薄墨領域として考えると、これらが重なる共通領域がデータ取得可能な範囲(赤点線)となる。さらに、データ取得範囲の内で、測定精度が十分発揮される領域を測定可能範囲(黄点線)として定義できる。
(端部検出位置)
また、ユーザによって指定された測定位置の測定データだけから判断するのではなく、測定の前に、測定対象物をできるだけ広範囲に検出できる所定の端部検出位置に載置面142を移動させた上で測定対象物の端部を検出し、その端部に基づいて衝突を検知するように構成してもよい。これは、ユーザに指定された実際の測定位置からでは、位置によっては測定対象物の端部を検出できない可能性があるためである。したがって、ユーザが指定した載置部140の指定位置から、一旦、測定対象物の端部を取得し易い所定の端部検出位置まで載置面142を移動させた上で、測定対象物の輪郭を取得して、指定位置に復帰させる。ここで所定の端部検出位置とは、例えば載置面142を撮像光学系から遠ざけた位置とする。測定対象物を撮像光学系からできるだけ離間させることで、撮像光学系の画角によってより広い観察視野が確保され、測定対象物の端部が含まれやすくなる。このように、端部検出部265で端部検出動作を実行する際には、並進ステージ141を所定の端部検出位置に平行移動させた状態で行われるように、移動制御部144で並進ステージ141を移動させるように構成してもよい。これによって、端部検出の確度を高めることができる。
なお、測定前の端部検出は、端部の外形や輪郭が検出できれば足り、測定時ほどの精度は求められない。よって、短時間で検出することが好ましく、通常の三次元計測よりも撮像条件を簡素化した簡易的な撮像条件とすることが望ましい。また、端部検出のための撮像を行わず、他の画像を流用することもできる。例えば、上述したトップビューマップ画像を用いて、端部検出を行うようにしてもよい。これにより、端部検出のための作業を大幅に省力化しタクトタイムを短縮できる。
(ユーザへの告知)
端部検出部265や規制判断部266で事前に衝突の可能性を検知した場合の対応として、ユーザに対して明示的には何も通知せず、衝突によって回避された測定位置のデータ、すなわち処理をスキップした部分のデータが欠落する状態としてもよい。あるいは、ユーザに対し明示的に告知することもできる。例えば、測定後に、衝突を回避した測定位置を、結果報告として表示部400に表示させる。あるいは、測定後又は測定中に、随時衝突を事前検知したことを伝える。この際、測定処理を続行するか、そこで中断するかの判断を求めてもよい。あるいはまた、測定前に事前検知を行う場合は、事前検知後や測定開始前に、「事前衝突検知したため、いくつかの測定が回避されます」などのメッセージを表示部400に表示させる。
(衝突マニュアル回避)
以上の例では、端部検出部265で測定対象物の端部を自動で検出することにより、衝突回避を実現している。一方において、測定対象物の形状や得られた観察画像によっては、端部検出部265で測定対象物の端部を撮像できなかったり、観察画像が得られたとしても端部検出に失敗することもある。また、端部検出の工程を省略して観察を行いたいという要求も考えられる。このような場合でも、測定対象物の回転や移動時の意図しない衝突を回避できるよう、本実施形態に係る三次元形状測定装置では、手動による衝突回避機能を実現している。
三次元形状測定装置による測定対象物の大きさ検知が難しい場合として、測定対象物の大きさが大きい場合が考えられる。このような場合は、載置面を移動させると、この上に載置した測定対象物が三次元形状測定装置やその周囲の部材、ユーザ等に干渉することがある。そこで、ユーザに測定対象物の大きさや衝突の危険性を示唆する入力を求める機能を提供する。本実施形態に係る三次元形状測定装置では、ユーザ指定による衝突回避の方法として、図1に示すように、載置面142の移動により測定対象物WKが衝突する事態を回避するための衝突回避情報をユーザに入力させる衝突回避情報入力部269と、この衝突回避情報に基づいて、載置部140の移動による衝突の回避を指示する回避動作指示部270を備えている。これにより、意図しない衝突の回避が図られる。
ここでは、三次元形状測定装置の支持部700が、測定対象物WKの端部と接触する事態を回避する例を考える。この場合、衝突回避情報として、載置部140に載置された測定対象物の端部と、支持部700との干渉を防止するための情報の入力を衝突回避情報入力部269がユーザから受け付ける。載置した測定対象物の外形をユーザに入力させることで、例えば図10の模式平面図に示すような測定対象物WK1の端部と支柱部702の距離DT1を把握することが可能となる。これによって衝突を避けて載置面を動かせる範囲を、三次元形状測定装置側で認識できるようになる。
ユーザによる測定対象物の外形の指示については、図28のライブビュー画面1200に示すような、測定対象物の観察や計測を行う画面において、現在表示されている測定対象物の画像に対して指示する方法、あるいは別途、広域画像を取得して、この広域画像に対して測定対象物の外形を指示する方法等が挙げられる。広域画像としては、例えば図29に示すような、斜め上方から見た広域俯瞰画像WPIや、図30に示すような平面視における広域鳥瞰画像WTI(例えばトップビューマップ画像)が利用できる。トップビューマップ画像は、トップビューマップ画像生成部261で生成される。トップビューマップ画像生成部261は、並進ステージ141を利用して測定対象物の外周を撮影し、画像処理を用いたトップビューマップ画像変換を伴い、載置面142の真上から測定対象物を見下ろしたような画像であるトップビューマップ画像を取得する。
このような画像上で測定対象物の外形をユーザが指定する際に、衝突回避情報入力部269は、表示部400上で表示された測定対象物の端部を構成する複数点の指定を受け付ける。点の指定には、マウス等のポインティングデバイスが利用できる。例えば、測定対象物の四隅を、ユーザがクリックして指定する。回避動作指示部270は、この四隅で囲まれた領域を測定対象物と判断し、この領域が支柱部702と干渉しないように、載置面142の移動範囲を制約したり、衝突する方向への移動がなされる場合に、ユーザに対して警告を発する。特にユーザに四隅を指定させる方式は、比較的簡単に領域を指定できる上、ユーザも感覚的に把握し易い利点が得られる。また、衝突回避情報入力部269は、四隅で指定される矩形状に限られず、例えば3点で示される三角形状や、5点以上で指定される多角形状、あるいは中心と半径で規定される円形状、あるいはまた自由曲線で示される領域等、任意の領域指定方法を採用することができる。さらに衝突回避情報入力部269は、点のよる指定に限定されず、線での指定を受け付けるようにしてもよい。例えば測定対象物の外形エッジを構成するエッジラインを受け付けるにしてもよい。
本実施形態においては、ユーザが指定する領域は、XY平面上における二次元領域として指定する。この場合、図30のような平面視(XY平面)での画像上で指定する場合は、画面上に一意に決定できる。一方、図28や図29のような、斜め上方から見た斜視図状(XYZ空間)で示された画像の場合は、画面上で任意の一点を指定しても、図31に示すように撮像時の視点の方向において、どの高さ(Z方向)で指定されたのかを判別することができない。例えば図28の斜視図状の観察画像で、測定対象物の一点を指定しても、図31において高さ(Z方向)の異なる点P0、P1、P2で示すように、どの高さで指定したのかを特定できない。図31において矢印で示す観察画像生成部124の光軸AX1で示す直線上の点は、この光軸方向から見た観察画像上ではすべて同じ点となってしまうからである。そこで本実施形態においては、衝突回避情報入力部269より観察画像上で指定された点は、測定対象物の表面上で指定されたものとして扱う。すなわち、観察画像が有する測定対象物の面の高さ(図31では高さP0)で指定された位置として扱う。これにより、斜視図から点を指定しても、指定された点の位置を三次元形状測定装置側(例えば回避動作指示部270)で特定できる。
なお、図29等に示す広域俯瞰画像WPIは、並進ステージ141を利用して、より広い視野を有する奥方向(測定部100から載置面142が遠ざかる方向)の位置に測定対象物を移動させることで、測定対象物のより全体を捉えた画像を得ることが可能となる。なお、端部が視野内に入らない場合もあるため、並進ステージ141の移動は奥方向のみならず、横方向に移動させてもよい。この場合は各姿勢で取得した画像をすべて用いることができる。すなわち、測定対象物の外周全域を視野に入れるため、奥だけでなく左右方向にも移動させて画像を撮像し、それらを合成させた測定対象物の全域画像として広域俯瞰画像を得る。
このようにして、図28〜図30等に示す画像上から、ユーザは測定対象物の四隅など、外形を示す点を指定することで、これを衝突回避情報として、回避動作指示部270は衝突回避のための対策を講じることが可能となる。
(ライブビュー及び広域俯瞰画像での端点指定)
大きなサイズの測定対象物の場合は、視野中に測定対象物の全体のすべてを捉えることができないことがある。このような場合でも衝突回避情報を入力できるように、本実施形態に係る三次元形状測定装置では、図32等に示すように測定対象物が映っていない領域を含めて、外形を指定可能としている。このように測定対象物が映っていなくとも、周囲を仮想的な領域として利用し、この領域を含めた任意の位置をユーザがクリックすることで測定対象物の端部を指定可能とできる。このような手順を、図32〜図34に基づいて以下説明する。
図32は、衝突回避情報入力部269の一例として、ユーザによる衝突回避情報の入力を受け付ける衝突回避情報入力画面1201を示している。この衝突回避情報入力画面1201は、画像表示領域1210と、操作領域1220を設けている。画像表示領域1210には、観察画像を表示させる観察画像表示領域1211と、この観察画像表示領域1211を含むように、測定対象物の端点の指定を受け付ける拡張指定領域1212が設けられている。観察画像表示領域1211には、測定対象物を観察画像生成部124で取得した観察画像が表示されている。この例では観察画像は、逐次表示を更新されるライブビュー画像(動画像)として表示されている。ただ本発明はこの構成に限られず、観察画像を静止画像として表示させてもよい。
まず画像表示領域1210に、図32に示すように、載置面142に載置された測定対象物の観察画像を表示させる。この観察画像は、観察画像生成部124で取得した、載置面142の斜め上方から見た画像である。この図のように、測定対象物が大きかったり、斜めに載置されるなどして、観察画像内に全体が収まっていない場合は、端部検出部265で測定対象物の端部を正確に検出することができない。そこで、まず観察画像の全体を縮小して、観察画像の周囲を指定できるようにする。ここでは、観察画像の周囲の画像が表示できたと仮定した場合に、現在の観察画像に映っている測定対象物の一部を手掛かりに、この測定対象物の全体像を含むであろう大きさに縮小する。ここでは観察画像表示領域1211自体を縮小させる。この例では、観察画像表示領域1211の四隅をドラッグすることで、縦横の比率を保ったまま縮小させることができる。縮小には、デジタルズームが利用できる。このようにして、観察画像表示領域1211の周囲に形成された拡張指定領域1212が図32の状態から図33に示すように、より広く確保される。
この状態で、ユーザは図34に示すように、測定対象物の四隅と思われる仮想端点IE1をクリックして指定する。これにより、図35に示すように測定対象物の外形を示す仮想測定対象物領域IA1が、四隅として指定された仮想端点IE1を結んだ台形状に指定される。また必要に応じて、仮想測定対象物領域IA1をユーザが微調整するよう構成してもよい。例えば仮想測定対象物領域IA1を構成する台形状をドラッグして位置を調整したり、台形状を構成する各辺をドラッグして形状を変更したり、隅部をドラッグして拡大、縮小したりといった操作を可能としてもよい。このようにして、ユーザによる仮想測定対象物領域IA1の編集が可能となる。
なお、ユーザによる端点の指定は、厳密に行う必要はない。仮想端点IE1として指定された位置をおおよその端点として扱い、この位置に対してマージンを設定するなどして、測定対象物の領域を回避動作指示部270は扱う。このようにして指定された台形状の仮想測定対象物領域IA1を衝突回避情報として、回避動作指示部270は測定対象物の現時点での位置、すなわち接触の可能性がある端部の位置を仮想的に扱うことが可能となる。
(スライド方式)
また衝突回避情報入力部269は、測定対象物の外形を受け付ける手法として、仮想端点IE1のような点での指定に限らず、例えば測定対象物の端面などを線として規定してもよい。例えば拡張指定領域1212において、測定対象物の外形をすべて指定するのでなく、特定の一部を指定してもよい。またこの際に直線で指定してもよい。一例として、直線で指定するスライド方式を、図36及び図37に基づいて説明する。スライド方式では、衝突回避情報入力部269は衝突回避情報として、表示部400上で表示された測定対象物が支持部700と面する端部を示す情報を受け付ける。回避動作指示部270は、端部を示す情報に基づいて、この測定対象物の端部が支持部700と干渉する方向に載置部140が移動することを制限するよう移動制御部144に指示する。これにより、ユーザが端部を指定することで測定対象物の内、衝突する可能性が高い部位を把握でき、移動制御部144は測定対象物の端部と支持部700との衝突の回避を図ることが可能となる。
例えば図35の衝突回避情報入力画面1201において、観察画像表示領域1211には測定対象物の一部が表示されている。この状態で、観察画像を手掛かりとして、測定対象物の手前側の端部を、観察画像表示領域1211上で指定する。ここでは、測定対象物の手前側の端部の内、最も突出していると思われる仮想点IPを2点、指定する。これにより、図37に示すように、指定された仮想点IPを結ぶ直線が破線で示される。この直線は、測定対象物の端部又は端面を示す仮想端部直線ILとして回避動作指示部270に扱われる。この例では、測定対象物の左右の端部を規定しておらず、直線は無限に延長されているものと捉えられる。このため、載置面142の手前方向への移動が、支柱部702に接触しない範囲となるよう回避動作指示部270により制限される。
なお、指定された測定対象物の端部を示す仮想端部直線ILも上述した仮想測定対象物領域IA1と同様に、位置をユーザが手動で調整可能としてもよい。例えば図37の例において、仮想端部直線ILをユーザがドラッグして、位置を上下に微調整することができる。
また、この構成に限られず、測定対象物の左右の端部を指定できるように構成してもよい。例えば図36において、図34等と同様に観察画像表示領域の周囲に拡張指定領域を設けて、測定対象物の左右の端部の長さを考慮した位置を指示できるようにする。こうすることで、指定された位置同士を結ぶ線分が測定対象物の端部として回避動作指示部に認識されるため、測定対象物の左右方向の長さも有限のものとして把握され、載置面の回転動作の制約などにも利用できるようになる。
(鳥瞰画像での端点指定)
以上の例では、測定対象物の端部をユーザに指定させるための広域画像として、斜め上方から見た斜視画像を用いる例を説明した。ただ本発明はこの構成に限らず、測定対象物の端部を指定させる広域画像として、平面視の鳥瞰画像を用いることもできる。この場合において、平面視画像は、受光部120で取得した測定対象物の三次元形状から演算、合成するなどして生成してもよい。特に、トップビューマップ画像生成部で生成したトップビューマップ画像を用いてもよい。あるいは、図15で示したように、観察画像生成部124として別途鳥瞰カメラを設けて撮像した画像としてもよい。本明細書においては、このような測定対象物を平面視で捉えた画像を平面視画像や鳥瞰画像等と呼ぶ。
上述した図13〜図14で示したとおり、斜め上方から観察した斜視図状の画像上で指定した測定対象領域は、必ずしも実際の測定対象物範囲とは一致しない。例えば測定対象物が斜めに設置されており、載置面142と測定対象物の間に隙間が存在している場合は、斜め上方からの画像では測定対象物の端点を正しく認識し難いことある。そこで、測定対象物の斜め上方からの斜視画像ではなく鳥瞰画像を用いることで、載置面142における測定対象物領域を正確に指定することが可能となる。このような例を変形例として、図38及び図39に示す。図38は、図30に示したような広域画像として広域鳥瞰画像WTIを表示させた状態で、仮想端点IE2として測定対象物の端部をユーザに指定させる様子を、図39はこの指定に従って仮想測定対象物領域IA2が指定された状態を、それぞれ示している。平面視画像上においては、仮想測定対象物領域IA2を正方形や長方形などの矩形状で表現しやすいことから、測定対象物の四隅を指定する他、図38に示すように左上と右下など、対角線上の頂点を2点、仮想端点IE2として指定するように構成してもよい。
鳥瞰画像の生成には、画像処理を用いる方法と、三次元測距を用いる方法とが考えられる。画像処理を用いる方法では、斜め上方に設置された受光部120を構成する撮像素子の内部パラメータを用いることで、載置面142の上方から捉えたような画像へと変換が可能となる。一方、三次元測距を用いる手段では、例えばパターン投影法を用いて測定対象物の外形を事前に測定し、その測定結果に基づいて載置面142の座標上の測定対象物の外形座標値を元に、真上から見た画像すなわち平面視で見た鳥瞰画像を生成する。
以上の例では、衝突回避情報入力部269は、衝突回避情報として測定対象物の外形や端部等をユーザに入力させることで、衝突のおそれがある移動を回避動作指示部270で判定する構成を説明した。ただ衝突回避情報は、測定対象物の外形に関する情報に限られず、衝突を検知するための他の情報、例えば載置部140の移動方向の入力を受け付けるよう構成してもよい。一例として、回転ステージ143の回転方向や回転角度、並進ステージ141のX方向やY方向の移動方向、移動量等が挙げられる。
このようにして、端部検出部265で測定対象物の端部を自動で検出できない場合でも、ユーザが手動で測定対象物の端部や載置面142の移動方向等を入力することで、衝突回避を図ることができる。また本発明は、端部検出部による測定対象物の端部や外形の自動検出を行う構成に限らず、このような自動検出機能を備えない三次元形状測定装置において、手動で測定対象物の端部や外形などの情報を入力することにより衝突回避を図る構成にも利用できる。
本発明の三次元形状測定装置は、測定対象物の高さを三角測距等の原理を利用して測定する三次元形状測定装置やデジタイザ、あるいはこれらの検査結果に基づいて、良品か不良品かを判定する検査装置として好適に利用できる。
1…制御用PC
2…モニタ
3…キーボード
4…入力デバイス
100…測定部
101…本体ケース
102…遮光カバー
110…投光部;110A…第一測定光投光部;110B…第二測定光投光部
111…測定光源
112…パターン生成部
113〜115、122、123…レンズ
120…受光部
121…カメラ
121B…第一カメラ;121C…第二カメラ
121a…撮像素子;121b…第一受光素子;121c…第二受光素子
124、124c…観察画像生成部
124a、124b、124d、124e…サブカメラ
125…固定部
130…照明光出力部
140…載置部
141…並進ステージ
142…載置面
143…回転ステージ
144…移動制御部
150…測定制御部
200…コントローラ
210…CPU
211…点群データ合成部
215…警告部
216…画像検査部;216b…計測部
220…ROM
228…高さ画像取得部
230…作業用メモリ
240…記憶装置
250…操作部
260…点群データ生成部
261…トップビューマップ画像生成部
262…メッシュ画像生成部
264…測定領域設定部
265…端部検出部
266…規制判断部
268…退避位置特定部
269…衝突回避情報入力部
270…回避動作指示部
300…光源部
310…制御基板
320…観察用照明光源
400…表示部
500…三次元形状測定装置
500A…三次元形状測定装置本体
600…台座部
602…ベースプレート
700…支持部
702…支柱部
1000…三次元形状測定システム
1200…ライブビュー画面
1201…衝突回避情報入力画面
1210…画像表示領域
1211…観察画像表示領域
1212…拡張指定領域
1220…操作領域
WPI…広域俯瞰画像
WTI…広域鳥瞰画像
AX1…観察画像生成部の光軸
IE1、IE2…仮想端点
IA1、IA2…仮想測定対象物領域
IP…仮想点
IL…仮想端部直線
WK、WK2〜WK14…測定対象物;WK1…横長の測定対象物
ML…測定光;ML1…第一測定光;ML2…第二測定光
LA1…第一光軸;LA2…第二光軸
IL…照明光
OI1〜OI2…観察画像
MA…測定可能範囲

Claims (12)

  1. 測定対象物の三次元形状を測定する三次元形状測定装置であって、
    測定対象物を載置させる載置面を有し、該載置面を回転移動させるための回転ステージ、及び前記載置面を平行移動させるための並進ステージを有する載置部と、
    前記載置部の移動動作を制御する移動制御部と、
    前記載置部に載置された測定対象物に所定のパターンを有する測定光を照射する投光部と、
    前記投光部により照射され、測定対象物にて反射された測定光を受光して受光量を表す受光信号を出力する受光部と、
    前記載置部を支持する台座部と、
    前記台座部に連結されると共に、前記載置部の上方に測定光による測定領域が形成されるよう前記投光部及び前記受光部を固定的に支持する支持部と、
    前記支持部により支持された前記受光部により出力される受光信号に基づいて、測定対象物の立体形状を表す点群データを生成する点群データ生成部と、
    前記載置部に載置された測定対象物を撮像することにより観察画像を生成する観察画像生成部と、
    前記観察画像生成部により生成された観察画像を表示する表示部と、
    前記載置面の移動により、載置された測定対象物が衝突する事態を回避するための衝突回避情報の入力を受け付ける衝突回避情報入力部と、
    前記衝突回避情報入力部により入力された衝突回避情報に基づいて、前記載置部の移動による衝突の回避を指示する回避動作指示部と、
    を備える三次元形状測定装置。
  2. 請求項1に記載の三次元形状測定装置であって、
    前記衝突回避情報入力部は、前記衝突回避情報として、前記載置部に載置された測定対象物の外形に関する情報を、前記表示部上で、表示されている観察画像及び該観察画像の周囲で、測定対象物が表示されていないものの該測定対象物が位置すると思われる仮想的な領域を含めた候補領域中から、測定対象物の外形と予想される位置の指定を受け付けるよう構成してなる三次元形状測定装置。
  3. 請求項1又は2に記載の三次元形状測定装置であって、
    前記衝突回避情報入力部は、前記衝突回避情報として、前記載置部に載置された測定対象物の端部と、前記支持部との干渉を防止するための情報の入力を受け付けるよう構成してなる三次元形状測定装置。
  4. 請求項1〜3のいずれか一項に記載の三次元形状測定装置であって、
    前記衝突回避情報入力部は、前記衝突回避情報として、前記表示部上で表示された測定対象物の端部を構成する複数点の指定を受け付ける、又は測定対象物の外形エッジを構成するエッジラインを受け付けるよう構成してなる三次元形状測定装置。
  5. 請求項1〜4のいずれか一項に記載の三次元形状測定装置であって、
    前記衝突回避情報入力部は、前記衝突回避情報として、前記表示部上で表示された測定対象物の少なくとも一部を示す画像上で、該測定対象物の四隅の指定を受け付けるよう構成されてなる三次元形状測定装置。
  6. 請求項1〜4のいずれか一項に記載の三次元形状測定装置であって、
    前記衝突回避情報入力部は、前記衝突回避情報として、前記表示部上で表示された測定対象物が前記支持部と面する端部を示す情報を受け付けるよう構成されてなる三次元形状測定装置。
  7. 請求項1〜6のいずれか一項に記載の三次元形状測定装置であって、
    前記表示部上で表示された測定対象物の少なくとも一部を示す画像が、該測定対象物を斜め上方から見た画像であり、
    前記衝突回避情報入力部は、前記衝突回避情報として指定された位置の高さを、該測定対象物の表面として受け付けるよう構成されてなる三次元形状測定装置。
  8. 請求項1〜6のいずれか一項に記載の三次元形状測定装置であって、
    前記表示部上で表示された測定対象物の少なくとも一部を示す画像が、該測定対象物を平面視した画像である三次元形状測定装置。
  9. 請求項1に記載の三次元形状測定装置であって、
    前記衝突回避情報入力部は、前記衝突回避情報として前記載置部の移動方向の入力を受け付けるよう構成されてなる三次元形状測定装置。
  10. 請求項1〜9のいずれか一項に記載の三次元形状測定装置であって、さらに、
    前記載置部に載置された測定対象物の長手方向における両端部のうち、少なくとも一方の端部を検出する端部検出部を備えており、
    前記回避動作指示部は、
    前記端部検出部で測定対象物の端部が検出された場合は、該検出結果に基づいて該測定対象物の端部が衝突する事態を回避するよう回避策を指示し、
    前記端部検出部で測定対象物の端部が検出されない場合は、前記衝突回避情報入力部により入力された衝突回避情報に基づいて、該測定対象物の端部が衝突する事態を回避するよう回避を指示するよう構成されてなる三次元形状測定装置。
  11. 請求項1〜10のいずれか一項に記載の三次元形状測定装置であって、
    前記回避動作指示部が、前記移動制御部に対し、前記載置部に載置された測定対象物の端部が衝突する動作を避けるように前記載置部の移動を規制するよう構成してなる三次元形状測定装置。
  12. 請求項1〜10のいずれか一項に記載の三次元形状測定装置であって、
    前記回避動作指示部が、前記衝突回避情報入力部により入力された衝突回避情報に基づいて、前記載置部を特定の方向に移動させると衝突のおそれがある旨を告知する警告部である三次元形状測定装置。
JP2019144964A 2019-08-06 2019-08-06 三次元形状測定装置 Pending JP2021025911A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019144964A JP2021025911A (ja) 2019-08-06 2019-08-06 三次元形状測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019144964A JP2021025911A (ja) 2019-08-06 2019-08-06 三次元形状測定装置

Publications (1)

Publication Number Publication Date
JP2021025911A true JP2021025911A (ja) 2021-02-22

Family

ID=74662989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019144964A Pending JP2021025911A (ja) 2019-08-06 2019-08-06 三次元形状測定装置

Country Status (1)

Country Link
JP (1) JP2021025911A (ja)

Similar Documents

Publication Publication Date Title
JP6462823B2 (ja) 画像検査装置
JP6230434B2 (ja) 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
JP6848385B2 (ja) 三次元形状計測装置
JP6461609B2 (ja) 干渉対物レンズ、および光干渉測定装置
JP7280774B2 (ja) 三次元形状測定装置、三次元形状測定方法、三次元形状測定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP7280775B2 (ja) 三次元形状測定装置及び三次元形状測定方法
JP5765651B2 (ja) 3次元測定装置
JP2014106094A (ja) 形状測定装置
JP2017037089A (ja) 形状測定装置
KR100663323B1 (ko) 3차원 형상 측정 장치 및 그를 이용한 3차원 형상 측정방법
JP5969867B2 (ja) 光学顕微鏡
JP2021025917A (ja) 三次元形状測定装置
JP6234253B2 (ja) 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
JP7328824B2 (ja) 三次元形状測定装置及び三次元形状測定方法
JP2021025911A (ja) 三次元形状測定装置
JP6694248B2 (ja) 三次元画像検査装置、三次元画像検査方法及び三次元画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
JP2021025919A (ja) 三次元形状測定装置及び三次元形状測定方法
JP7332386B2 (ja) 三次元形状測定装置及び三次元形状測定方法
US11439477B2 (en) Medical observation system
JP7344708B2 (ja) 三次元形状測定装置
JP2021025918A (ja) 三次元形状測定装置及び三次元形状測定方法
JP7308689B2 (ja) 三次元形状測定装置
JP2021025913A (ja) 三次元形状測定装置及び三次元形状測定方法
JP2021025910A (ja) 三次元形状測定装置及び三次元形状測定方法
JP6928803B2 (ja) 撮像装置