JP2009216650A - 三次元形状測定装置 - Google Patents

Abstract

【課題】上述した実情に鑑み、簡単な構成で、空間コード化用パターン光を用いた三次元形状測定の測定分解能を向上させる技術を提供する。
【解決手段】三次元形状測定装置は、空間コード化用パターン光が投影されている測定対象物の撮影画像から空間コード画像を生成する第１パターン画像処理部３３と、濃度が周期的に連続変化する濃淡パターンを有する領域分割用パターン光が所定シフト量でシフトしながら投影されている測定対象物の撮影画像から加重平均演算を通じて加重平均画像を生成する加重平均画像生成部３４ｂと、空間コード画像と加重平均画像とを合成してパターン合成画像を生成するパターン合成画像生成部３５と、パターン合成画像に基づいて測定対象物の三次元形状を求める三次元形状演算部４１とを備えている。
【選択図】図１

Description

本発明は、空間コード化用パターン光を測定対象物に投影する投影部と、前記空間コード化用パターン光が投影されている前記測定対象物の撮影画像を取得する撮像部と、前記撮影画像に基づいて前記測定対象物の三次元形状を求める三次元形状演算部とを備えた三次元形状測定装置に関する。

空間コード化用パターン光を用いた三次元形状測定では、撮像光軸と投影光軸とが交差するように撮像部と投影部とを配置する。投影部から、明暗幅を倍々に変化させた多種類の空間コード化用パターン光と呼ばれるパターン光を順番に測定対象物に投影した上で、その投影状態を撮像部によって撮影する。Ｎ個のパターン光を用意した場合、測定領域はパターン光の投影方向に関して２のＮ乗個に分割される。従って、各パターン光によって照射されるかされないかに応じて一意に与えられたＮビットの空間コード値によってパターン光の投影方向が規定される。このパターン光の投影方向と撮影画像上での画素位置により決まる撮影方向との関係から、三角測量の原理に基づき、全ての画素についての距離情報を求めることができ、その結果、測定対象物三次元形状を求めることができる。

この空間コード化用パターン光を用いた三次元形状測定の測定分解能は、パターン光の明暗幅に依存するので、明暗幅を細くすればするほど測定分解能は向上するが、明暗幅が細くなると測定対象物での乱反射などによって撮像部での明暗識別が困難になる。このため、空間コード化用パターン光を用いた三次元形状測定の測定分解能には実用上の限界がある。

この問題を解決するために、空間コード化法とマルチスリットイメージエンコーダ法とを組み合わせた手法が提案されている（例えば、特許文献１参照）。この手法は、コンピュータに接続されたプロジェクタを用いて、まず測定対象物にマルチスリットパターンを投影してその画像を撮影し、その後に、同じプロジェクタを用いて、ストライプの明暗の組み合わせにより空間の絶対位置の同定が可能なようにコード化された複数のストライプパターンを順次投影する。そして、投影毎に、投影パターンを投影方向とは異なる方向からカメラで撮影して、個々の投影パターンに対応する画像を得る。マルチスリット画像については、画素毎に各画素の明るさの時間変化をチェックし、その画素が最大輝度を示すタイミングにおけるスリットの投光角度をその画素の値とする相対投光角度画像を生成する。ストライプ投影画像については、画素毎に各画素の明るさの時間変化をチェックし、ストライプパターンによるコード化を行う。つまり、この手法では、絶対形状が認識できる空間コード化法で撮影空間をマルチスリットと同じＮ分割し、分割毎にマルチスリットイメージエンコーダ法での高い分解能のデータを合成することで高分解能の三次元形状認識を可能にしている。しかしながら、マルチスリットイメージエンコード法を実現するためには、スリット生成機能、ピーク検出・保持機能、投光角度記憶機能、角度・時間変換機能などの複雑な構成が必要となり、コストの点及び処理負担の点からも問題がある。

さらに別な手法として、２値化投影パターンにより空間に対し絶対的なコード値を生成する空間コード化法を利用するとともに、ここで用いられている２値化投影パターンを任意の移動量でシフトさせるとともにオーバーサンプリング技術を利用することにより高い測定分解能を得るものがある（例えば、特許文献２参照）。しかしながら、この手法では、空間コード化法により分割された領域を、２値化投影パターンをシフトさせて得られた追加画像によってさらに分割するものである。ところが、この追加画像が２値化画像であるため、この２値化画像を処理して行われる領域分割の分割精度は、撮影カメラの解像度に強く依存してしまう。

特開２００５−３４０９号公報（段落番号００２６−００４３、図１） 特開２００７−１９２６０８号公報（段落番号００２３−００３８、図３）

本発明の目的は、上述した実情に鑑み、簡単な構成で、空間コード化用パターン光を用いた三次元形状測定の測定分解能を向上させる技術を提供することである。

上記課題を解決するため、本発明による三次元形状測定装置は、パターン光を測定対象物に投影する投影部と、前記投影部によって空間コード化用パターン光が投影されている前記測定対象物の撮影画像を第１パターン画像として順次取得する撮像部と、前記第１パターン画像から空間コード画像を生成する第１パターン画像処理部と、濃度が周期的に連続変化する濃淡パターンを有する領域分割用パターン光を作り出すための領域分割用パターン光データを格納する領域分割用パターン光データ格納部と、前記投影部によって前記領域分割用パターン光が所定シフト量でシフトしながら投影されている前記測定対象物の撮影画像である第２パターン画像から加重平均演算を通じて前記第１パターン画像の分解能を超える分解能を有する加重平均画像を生成する加重平均画像生成部と、前記空間コード画像と前記加重平均画像とを合成してパターン合成画像を生成するパターン合成画像生成部と、前記パターン合成画像に基づいて前記測定対象物の三次元形状を求める三次元形状演算部とを備えている。

この構成によれば、従来どおりの空間コード化パターン光投影法のやり方で得られた空間コード画像を通じて、測定対象物に対して投影角度に応じて区分けされた区分け領域に属する画素には一義的に決められている空間コードが割り当てられる。さらに、濃淡画像（グレースケール画像）である領域分割用パターン光をシフトさせながら取得した第２パターン画像からその濃度中心の変位を加重平均演算によって求める。各濃度中心位置の画素に特定のコードを付与していくことで各区分け領域をさらに分割するコードをもつ加重平均画像を得ることができる。このコードは相対的な位置を示すコードであるが、この加重平均画像と空間コード画像を合成することで、各区分け領域をさらに分割する新たな空間コードを有するパターン合成画像が得られる。この新たな空間コードを従来の空間コード化パターン光投影法による三次元形状演算アルゴリズムに適用することで、より精度の高い三次元形状データを得ることができる。

本発明による三次元形状測定装置では、シフトされていく領域分割用パターン光に基づく第２パターン画像における面積中心（濃度中心）を求める加重平均演算の精度が重要となる。従って、シフト前の前記第２パターン画像において演算された加重平均濃度位置とシフト後の前記第２パターン画像において演算された加重平均濃度位置との変位量がそのシフト量として算定しやすい濃淡変化形状を前記領域分割用パターン光が有していることが好ましい。これにより、加重平均演算の精度が向上し、結果的により精度の高い三次元形状の測定が可能となる。

本発明に適した具体的な領域分割用パターン光として、その濃淡変化が正規分布濃度パターンを示しているものが挙げられる。正規分布濃度パターンでは、最大濃度値の両側領域で一様に濃度値が低減する。従って、わずかなシフト変化であっても、シフト前とシフト後での加重平均演算による面積中心(濃度中心)の変位量を、高い解像度を有しない撮影画像（第２パターン画像）であっても、良好に算定することができる。同様な理由で、その濃淡変化が正弦波濃度パターンを示している領域分割用パターン光も好適である。

また、本発明に係る三次元形状測定装置は、さらに、前記領域分割用パターン光の周期幅が前記空間コード化用パターン光の最小パターン幅と同じであり、前記所定シフト量が前記領域分割用パターン光の周期幅より小さく設定されている。この特徴によれば、それぞれが撮像部の解像度を有効利用することができる。また、領域分割用パターン光の周期幅内で繰り返されるシフト量に応じて分解能が向上するので、シフト毎の面積中心位置を加重平均演算によって正確に算定できるという条件の下でシフト量を選択すれば、装置の画像処理能力を最大限に生かした分解能を得ることができる。

以下、本発明の実施形態の１つを図面に基づいて説明する。図１は、本発明の三次元形状測定装置の構成を模式的に示すブロック構成図である。この三次元形状測定装置は、基本的には、コントローラ１と、投影部２と、撮影部３とから構成されている。投影部２は、コントローラ１による制御に基づいて空間コード化用パターン光や領域分割用パターン光などのパターン光を測定対象物に投影するもので、ここではデジタルプロジェクタが用いられている。撮影部３は、投影部１によってパターン光が投影されている測定対象物を撮像してその撮影画像を取得するもので、デジタルカメラが用いられている。

コントローラ１は、実質的にはコンピュータであり、投影部２によって投影されるパターン光の制御、撮影部３からの撮影画像に基づく測定対象物の三次元形状の算出などを行う。コントローラ１において作り出される機能は、ハードウエア又はソフトウエア（プログラム）あるいはその両方によるものであるが、本発明に特に関係する機能は、投影制御機能、撮影画像処理機能、三次元形状演算機能である。

投影制御機能に含まれるものとしては、空間コード化用パターン光データ格納部２１、領域分割用パターン光データ格納部２２、パターン光シフト部２３、投影制御部２４が挙げられる。空間コード化用パターン光データ格納部２１は、空間コード化用パターン光を作り出すためのコンピュータデータである空間コード化用パターン光データを格納している。領域分割用パターン光データ格納部２２は、濃度が周期的に連続変化する濃淡パターンを有する領域分割用パターン光を作り出すためのコンピュータデータである領域分割用パターン光データを格納している。パターン光シフト部２３は、測定対象物に投影される領域分割用パターン光を濃淡変化方向に所定シフト量だけシフトさせる。投影制御部２４は、設定されたパターン光データに基づく領域分割用パターン光で測定対象物を照射するように投影部２の動作を制御する。

空間コード化用パターン光は、図２で模式的に示されているように、光が照射される明部と光が遮断されている暗部とからなる。その明部と暗部の幅が倍々に変更されているとともにその明部と暗部の組み合わせが変更されることで多数の一義的なパターン光となる。図２の例では、３つの種類のパターンを用いることで、投影面が８個の投影角度領域で区分けされている。例えば、暗部を「１」、明部を「０」とすると、「０００」という３ビットの空間コードが与えられる領域は最も小さい投影角度によって照射されていると判定される。また、「１１１」という３ビットの空間コードが与えられる領域は最も大きい投影角度によって照射されていると判定される。従って、８ビットの空間コードを用いる場合、投影面を２５６個の投影角度領域で区分けることができる。なお、この実施形態では、８ビットの空間コードが用いられている。このような多数の空間コード化用パターン光を発生させるためのデータが、空間コード化用パターン光データ格納部２１に格納されている。投影制御部２４は、空間コード化用パターン光データ格納部２１から空間コード化用パターン光データを読み出して、投影部２を制御し、順次異なる空間コード化用パターン光を測定対象物に投影させる。撮像部３は、異なる空間コード化用パターン光が測定対象物に投影される毎にその撮影画像を第１パターン画像として取得して、コントローラ１に送り込む。

領域分割用パターン光は、図３の（ａ）に示されているように、濃度が周期的に連続変化する濃淡パターンを有する。この実施形態で用いられる領域分割用パターン光の濃淡変化は、図３の（ｂ）に示されているように、正規分布が連なった状態となっている。この領域分割用パターン光が測定対象物に投影されると、測定対象物の表面上に正弦波状に連続的に変化する濃淡模様が現れる。ここでは、その濃淡模様の周期幅は、空間コード化用パターン光の最小パターン幅（明部又は暗部の最小幅）に等しくなるように設定されている。この領域分割用パターン光を発生させるためのデータが、領域分割用パターン光データ格納部２２に格納されている。

パターン光シフト部２３は、図４で模式的に示すように、基本となる領域分割用パターン光を所定シフト量だけ濃淡変化方向にシフトさせた領域分割用パターン光を投影部２から投射させるものである。撮像部３は、基準となる領域分割用パターン光及びそれから所定シフト量だけシフトされていく領域分割用パターン光が測定対象物に投影される毎にその撮影画像を第２パターン画像として取得して、コントローラ１に送り込む。このシフト量は、空間コード化用パターン光によって投影面が区分けられる区分け幅（最小パターン幅）より小さく設定されている。従って、後で詳しく説明するが、領域分割用パターン光による第２パターン画像によって得られる濃度中心位置(面積中心位置) を加重平均法を用いて求めていく。これにより、空間コード化用パターン光によって区分けられた投影面の各領域をさらに分割することができる。シフト前とシフト後の最大濃度位置の変位量が領域分割用パターン光を用いた領域分割の最小分割長さとなる。

したがって、領域分割用パターン光の好適な濃淡変化形状は、シフト前の前記第２パターン画像において演算された加重平均濃度位置とシフト後の前記第２パターン画像において演算された加重平均濃度位置とのずれ（変位）がそのシフト量として算定されやすい形状である。そのような条件を満足する濃淡変化形状として、上述した正規分布状濃淡変化形状以外に、正弦波状濃淡変化形状又は図５に示すような三角波状濃淡変化形状を採用してもよい。つまり、最大濃度値の両側方向で均等に濃度値が低下して最小濃度値に至る形態が好ましく、特定形態の最適適用性は、シフト量や検査対象物の表面形状などによって左右される。従って、複数の異なる領域分割用パターン光データを領域分割用パターン光データ格納部２２に格納しておき、選択できる構成を採用してもよい。

撮影画像処理機能に含まれるものとしては、画像入力部３１、画像メモリ３２、第１パターン画像処理部３３、第２パターン画像処理部３４、パターン合成画像生成部３５が挙げられる。画像入力部３１は、空間コード化用パターン光が投影されている測定対象物の撮影画像である第１パターン画像や領域分割用パターン光が投影されている測定対象物の撮影画像である第２パターン画像を撮像部３から順次受け取り、画像メモリ３２に展開する。第１パターン画像処理部３３は、画像メモリ３２に展開されている第１パターン画像から、公知の空間コード化パターン光投影アルゴリズムを用いて空間コード画像を生成する。この空間コード画像の各画素には８ビットの値をもつその画素で観測された光ビームのコード（光ビームの投影角度を規定するコード）が割り当てられることになる。その分解能は空間コード化用パターン光の最小パターン幅に依存し、その最小パターン幅に対応する区分け領域に属する全ての画素は同じコードを持つことになる。

第２パターン画像処理部３４は、画像メモリ３２に展開されている第２パターン画像を用いて、上述した区分け領域をさらに分割して、測定分解能を向上させるものである。その目的のために、第２パターン画像処理部３４は、加重平均演算部３４ａと加重平均画像生成部３４ｂを備えている。加重平均演算部３４ａは、シフト位置毎に取得された各第２パターン画像を構成する画素の画素値（濃度値）を用いて濃淡方向での加重平均演算を行い、図４で示されているような面積中心位置を求める。加重平均画像生成部３４ｂは、加重平均演算部３４ａで求められたシフト毎の面積中心位置を用いて、各画素にシフト量に対応するコードを付与することで、図６で示されているような、加重平均画像を生成する。図６は説明のために例示された図であり、図６の上側のパターンは空間コード値（図では濃淡描画）で区分けされた６個の区分け領域からなる空間コード画像を示している。図６の真ん中のパターンは、区分け領域幅の半分のシフト量でシフトされた領域分割用パターン光に基づく加重平均画像を示している。図から明らかなように、加重平均画像の濃淡周期は空間コード画像における１個の区分け領域内に２回現れている。パターン合成画像生成部３５は、この濃淡周期をコード化した加重平均画像と空間コード画像を合成して、パターン合成画像を生成する。パターン合成画像の画素値は、空間コード画像のコードと加重平均画像のコードとの演算値となる。従って、図６の下側のパターンで示すように、６個の領域に区分けられた元の空間コード画像は、結果的に１２個の領域に区分けられることになり、空間分解能は２倍に向上している。領域分割用パターン光に基づく第２パターン画像は濃淡画像（グレースケール）であり、その濃度中心を加重平均演算により求めていることから、シフト量が小さくしても、シフト毎の濃度中心の変位を正確に算定することが可能である。このため、従来通りの解像度をもつ撮像部３を用いたとしても、空間コード画像によって区分けされた領域を容易に数個以上に分割することができる。

三次元形状演算機能に含まれるものは三次元形状演算部４１である。三次元形状演算部４１は、パターン合成画像に基づき、従来の空間コード化パターン光投影法で採用されている三角測量の原理を用いた三次元形状算定アルゴリズムによって測定対象物の三次元形状を求める。

上述したように構成された三次元形状測定装置における測定手順を図７のフローチャートを用いて以下に説明する。
測定対象物が所定の位置に載置されると、最初の空間コード用パターン光データが空間コード化用パターン光データ格納部２１から読み出され投影制御部２４に与えられる（＃０１）。投影制御部２４は与えられた空間コード化用パターン光データに基づいて投影部２を制御して、所定の空間コード化用パターン光を測定対象物上に投影する（＃０２）。この空間コード化用パターン光が照射されている測定対象物を撮影して得られた撮像画像を、第１パターン画像として画像メモリ３２に転送する（＃０３）。空間コード画像を生成するために必要な全ての空間コード化用パターン光が投影されたかどうかがチェックされる（＃０４）。まだ投影されていない空間コード化用パターン光が残っていれば（＃０４No分岐）、ステップ＃０１に戻って、未投影の空間コード化用パターン光のための空間コード化用パターン光データが読み込まれ、ステップ＃０２とステップ＃０３との処理が繰り返される。全ての空間コード化用パターン光の投影が完了すると（＃０４Yes分岐）、第１パターン画像処理部３３が画像メモリ３２に展開されている第１パターン画像を用いて空間コード画像を生成する（＃０５）。

次に、領域分割用パターン光データが領域分割用パターン光データ格納部２２から読み出され、最初はシフトなしで、投影制御部２４に与えられる（＃０６）。投影制御部２４は与えられた領域分割用パターン光データに基づいて投影部２を制御して、領域分割用パターン光を測定対象物上に投影する（＃０７）。この領域分割用パターン光が照射されている測定対象物を撮影してえられた撮像画像を、第２パターン画像として画像メモリ３２に転送する（＃０８）。次に、予め設定されているシフト回数分の領域分割用パターン光のシフトが完了したかどうかがチェックされる（＃０９）。まだ完了していない場合（＃０９No分岐）、基本となる領域分割用パターン光を濃淡変化方向に所定のシフト量だけシフトした領域分割用パターン光を作り出す領域分割用パターン光シフトデータがパターン光シフト部２３で生成され、投影制御部２４に与えられる（＃１０）。その後、ステップ＃０７とステップ＃０８との処理が繰り返され、シフトされた領域分割用パターン光に基づく第２パターン画像が取得され、画像メモリ３２に展開されていく。画像メモリ３２に展開されている第２パターン画像に対して、加重平均演算部３４ａが図４で模式的に示しているように荷重平均演算を用いてその面積中心（濃度中心）を求めていく（＃１１）。さらに、加重平均画像生成部３４ｂが、各第２パターン画像における面積中心位置に基づいて、各画素にコードを割り与え、図６で図解されているような加重平均画像を作成する（＃１２）。

このようにして作成された加重平均画像と空間コード画像とが、パターン合成画像生成部３５によって合成されることで、より高められた分解能を示す空間コードを有する画素からなるパターン合成画像が生成される（＃１３）。三次元形状演算部４１は、このパターン合成画像に基づき、従来の三次元形状算定アルゴリズムを用いて測定対象物の三次元形状データを求める（＃１４）。求められた測定対象物の三次元形状データは適当なフォーマット変換を経て出力され、三次元形状のプリント出力やモニタ出力などに利用される（＃１５）。

上述したように、本発明による三次元計測装置では、空間コード化用パターン光以外に、濃淡画像（グレースケール画像）である領域分割用パターン光をシフトさせていくことによって順次得られる濃度中心位置の情報から空間コード画像による区分け領域をさらに分割した高い分解能を示す空間コードを作り出している。この空間コードを従来の空間コード化パターン光投影法による三次元形状演算アルゴリズムに適用することで、より精度の高い三次元形状測定装置を実現している。

本発明による三次元形状測定装置の構成を模式的に示すブロック構成図 空間コード化用パターン光と空間コードとの関係を説明する説明図 領域分割用パターン光の１つの形態を説明する説明図 領域分割用パターン光のシフトの様子と、シフトによる面積中心の変位を説明する説明図 領域分割用パターン光の他の形態を説明する説明図 空間コード画像と加重平均画像とパターン合成画像の関係を説明する説明図 本発明による三次元形状測定装置における測定手順の一例を示すフローチャート

符号の説明

２：投影部
３：撮像部
２１：空間コード化用パターン光データ格納部
２２：領域分割用パターン光データ格納部
２３：パターン光シフト部
２４：投影制御部
３３：第１パターン画像処理部
３４：第２パターン画像処理部
３４ａ：加重平均演算部
３４ｂ：加重平均画像生成部
３５：パターン合成画像生成部
４１：三次元形状演算部

Claims (4)

1. パターン光を測定対象物に投影する投影部と、
   前記投影部によって空間コード化用パターン光が投影されている前記測定対象物の撮影画像を第１パターン画像として順次取得する撮像部と、
   前記第１パターン画像から空間コード画像を生成する第１パターン画像処理部と、
   濃度が周期的に連続変化する濃淡パターンを有する領域分割用パターン光を作り出すための領域分割用パターン光データを格納する領域分割用パターン光データ格納部と、
   前記投影部によって前記領域分割用パターン光が所定シフト量でシフトしながら投影されている前記測定対象物の撮影画像である第２パターン画像から加重平均演算を通じて前記第１パターン画像の分解能を超える分解能を有する加重平均画像を生成する加重平均画像生成部と、
   前記空間コード画像と前記加重平均画像とを合成してパターン合成画像を生成するパターン合成画像生成部と、
   前記パターン合成画像に基づいて前記測定対象物の三次元形状を求める三次元形状演算部と、
   を備えた三次元形状測定装置。
2. 前記領域分割用パターン光が正規分布濃度パターンを有している請求項１に記載の三次元形状測定装置。
3. 前記領域分割用パターン光が正弦波濃度パターンを有している請求項１に記載の三次元形状測定装置。
4. 前記領域分割用パターン光の周期幅が前記空間コード化用パターン光の最小パターン幅と同じであり、前記所定シフト量が前記領域分割用パターン光の周期幅より小さく設定されている請求項１から３のいずれか一項に記載の三次元形状測定装置。