JP2006071434A - ３次元画像入力装置および方法 - Google Patents

Abstract

【課題】 ストライプパターンのストライプ幅を小さくしなくてもその幅方向の解像度を改善させる。
【解決手段】 ストライプパターンを初期設定にリセットし（Ｓ１０）、プロジェクタ１０から初期設定のストライプパターン（Ａ）を被写体５０に投影し（Ｓ１１）、２台のカメラ２０、３０で撮影する（Ｓ１２）。得られた画像から、ストライプエッジ上のポイントにおける距離情報が算出される（Ｓ１３）。次にストライプパターンを２ピクセルシフトさせつつ同様に距離情報を算出する（Ｓ１４、Ｓ１５）。（Ｂ）〜（Ｄ）と繰り返して撮像を行いそれぞれのポイントにおいて距離情報算出を行う。最後にそれぞれ算出された距離情報（点群データ）を合成して最終的な出力を得る（Ｓ１６）。
【選択図】 図７

Description

本発明は、パターン投影法を用いて対象物体までの距離情報を取得する３次元画像入力技術に関し、特に入力解像度を改善するようにしたものである。

対象物の形状を計測する手法として、対象物に基準となるパターンを投影してこの基準となるパターン光が投影された方向とは異なる方向からＣＣＤカメラなどで撮影を行うパターン投影法と呼ばれる手法がある。撮影されたパターンは物体の形状によって変形を受けたものとなるが、この撮影された変形パターンと投影したパターンとの対応づけを行うことで、物体の３次元計測を行うことができる。パターン投影法では変形パターンと投影したパターンとの対応づけをいかに誤対応を少なく、かつ簡便に行うかが課題となっている。そこで様々なパターン投影法が従来より提案されている。

例えば特許文献１に開示される手法は、コード化されたパターンを投影する投光器と、投光器の光軸方向から投影パターンを撮影する第１のカメラと、投光器の光軸方向と異なる方向から投影パターンを撮影する第２のカメラとを備え、第１のカメラおよび第２のカメラによる撮影画像（後述の図３に示すようなもの）から輝度変化によるエッジ画像（後述の図４に示すようなもの）を求める。第１のカメラのエッジ画像からエッジをはさむ両側の輝度変化量が所定値以上の領域について新たなコードを割り付け、割り付けたコードを用いて第２のカメラによる撮影画像およびエッジ画像から第１の距離情報を生成し、第１の距離情報および第１のカメラより得られた輝度情報に基づいて３次元画像を得るよう構成した３次元画像撮影装置である。投影パターンを同じ光軸に置いた第１のカメラで撮影したパターンを用いて再コード化することにより精度よく３次元計測を行うことができる。
特許第３４８２９９０号公報

このような投影パターンを用いた方式では、ストライプの境界部の座標をカメラと投光器との位置関係から三角測量の原理により求めている。従ってカメラ画像において縦方向（Ｙ軸方向）にはカメラの解像度分（画素）、横方向（Ｘ軸方向）にはストライプ境界数分の座標データが算出されることになる。ストライプの幅はカメラの画素と比較してはるかに大きいので算出されたデータはＹ軸方向には密で、Ｘ方向には疎になる。×方向の計測点を密にするにはストライプ幅（ストライプの繰り返し周期）を小さくすればよいが、ストライプ幅を狭くするとカメラ画像の濃度プロファイルは鈍ったものとなり、コード化が正しく行なえないという問題があった。

また、隣接するストライプの輝度差が小さいストライプ間ではエッジを抽出することができず、エッジがとびとびになったり（後述の図４参照）、縦に１ライン分まったくエッジが抽出できない場合もあった。その場合、そのライン部分の距離情報がまったく取得できないため、精度のよい形状計測ができないという問題があった。

本発明は、以上の事情を考慮してなされたものであり、ストライプパターンのストライプ幅を狭くすることなく横方向（ストライプの繰り返し方向）の解像度を向上させることを目的としている。

本発明の原理的な構成によれば、上述の目的を達成するために、横方向（Ｘ方向）の計測点を密にするために、ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元画像入力方法において、第一のストライプパターンを投影して形状情報を取得し、第一のストライプパターンをストライプの幅以下の画素数だけシフトさせ複数回投影して複数の形状情報を取得し、取得された複数の形状情報を合成して統合された形状情報を取得する。

また、エラーにより計測できない点を集中させないために、ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元画像入力方法において、第一のストライプパターンを投影して形状情報を取得し、第一のストライプパターンをストライプの幅の整数倍の画素数だけシフトさせ、さらにストライプの幅以下の画素数だけシフトさせ複数回投影して複数の形状情報を取得し、取得された複数の形状情報を合成して統合された形状情報を取得する。

さらに本発明を説明する。

本発明の一側面によれば、上述の目的を達成するために、ストライプパターンパターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元画像入力装置に：ストライプパターンを被写体に投影する投影手段と；投影されるストライプパターンの位相を当該ストライプパターンのストライプの繰り返し周期未満の画素数だけシフトさせるストライプ位相シフト手段と；前記被写体の投影されたストライプパターンを撮影する撮影手段と；投影したストライプパターンごとに、撮影手段が撮影したストライプパターンに基づいて前記被写体上の点群データを取得する点群データ取得手段と；投影したストライプパターンごとに前記点群データ取得手段が取得した点群データを合成する点群データ合成手段とを設けるようにしている。

この構成においては前記ストライプパターンのストライプの並び方向すなわち横方向（Ｘ方向）にストライプの位相をわずかにすらして実質的にストライプエッジのＸ方向の密度を増大させ、この結果、Ｘ方向に密な点群データを取得できる。

また、この構成の一例においては、前記ストライプ位相シフト手段は、元のストライプパターンを前記ストライプの繰り返し周期未満の画素数だけシフトする。

また、他の例では、前記ストライプ位相シフト手段は、元のストライプパターンを前記ストライプの繰り返し周期の画素数の整数倍の画素数に前記ストライプの繰り返し周期未満の画素数を加えた画素数だけシフトする。

当該他の例では、ストライプパターン中、検出エッジが欠落しやすい部分を角ストライプパターンの投影に渡って分散させることができ、この結果、点群がまとまって欠落するのを回避することができる。

なお、本発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品も本発明の技術的な範囲に含まれることも当然である。

本発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。

本発明によれば、ストライプパターンを数ピクセルずつずらしたパターンを投影して撮像／計測するので解像度が飛躍的に向上する。また、ストライプパターンを例えば（数ストライプ＋数ピクセル）分ずらすことにより、エッジ検出エラーが分散されるため大きな形状欠陥として現れない。

以下、本発明の実施例について説明する。

本発明の実施例１に係る３次元画像測定装置を説明する。

図１は、本発明の実施例１の３次元画像測定装置の構成図であり、図１において、３次元画像測定装置は、３次元計測用にパターンを投影するパターン投影装置（たとえば液晶プロジェクタ）１０、同光軸でパターンをモニタする撮像装置（たとえばＣＣＤカメラ。第１カメラとも呼ぶ）２０、三角測量用撮像装置（たとえばＣＣＤカメラ。第２カメラとも呼ぶ）３０、制御部６０等で構成される。制御部６０は例えばパーソナルコンピュータや専用の処理装置で構成される。

制御部６０は、機能的に大きく分けると、ストライプパターン設定部６０１、点群データ計算部６０２、３次元画像合成部６０３等を含んで構成される。ストライプパターン設定部６０１は基本的には後述するようにストライプパターンをそのＸ方向（ストライプの並び方向）にわずかにシフトさせるものである。これは、その他、ストライプパターンの種類等を切り替えても良い。ストライプパターンのシフトは例えば液晶プロジェクタの入力データを可変しても良いし、投影フィルムの機械的な位置をずらしても良いし、十分な精度を確保できる範囲でプロジェクタ１０の投影角度をずれしても良い。点群データ計算部６０２は後述するようにエッジ情報に基づいて三角測量により被写体５０上の点群データ（距離データ）を取得するものである。３次元画像合成部６０３は複数組の点群データを合成するものである。これは、補間等の処理を合わせて行なっても良い。

４０はハーフミラーであり、５０は対象物（被写体ともいう）である。この３次元測定装置の基本的な構成は、特許文献１（特許第３４８２９９０号公報）に開示される構成と同様である。パターン投影装置１０は、液晶プロジェクタもしくはＤＬＰ（商標）プロジェクタ、またはスライドプロジェクタを用いる。パターン投影装置１０、たとえば液晶プロジェクタへ入力する投影パターンは、図２に示すような濃淡のあるストライプパターンを用い、例えば、図２の右側に図示されている対象物（物体）にパターン投影する。スライドプロジェクタを用いる場合、投影パターンはスライドフィルム上へ形成するか、ガラスパターンに金属膜などを蒸着し膜厚や網膜点パターンなどによって透過率をコントロールする。

図３にパターン投影の模様を示す。撮像装置（第１カメラ２０）と投影装置（パターン投影装置１０）をハーフミラー４０などで同光軸に配置し、三角計測用に撮像装置を用意し、図２に示すようなストライプパターンを投影する。同光軸の撮像素子（第１カメラ２０）で観測された画像（第１カメラ・イメージ）から再コード化を実施し、測定用撮像素子（第２カメラ３０）で観測された画像（第２カメラ・イメージ）とで３次元距離画像（距離）を算出する。模式的には、図４に示すようなカメラ１の撮影画像およびカメラ２の撮影画像からぞれぞれ図５に示すようなエッジ情報を取得してエッジ上の点から距離データ（点群データ）を取得する。距離計算の詳細は後に説明する。

投影するストライプが縦方向でありその幅が８ピクセルである場合について図６および図７を参照しながら撮像方法について説明する。図６はストライプパターンの変遷を示し、図７は撮像動作例を示す。なお、ここでは（Ａ）〜（Ｄ）は図６を参照している。まずストライプパターンを初期設定にリセットし（Ｓ１０）、プロジェクタ１０から（Ａ）ストライプパターンを被写体５０に投影し（Ｓ１１）、２台のカメラ２０、３０で撮影する（Ｓ１２）。得られた画像から、（Ａ）のストライプエッジ上のポイントにおける距離情報が算出される（Ｓ１３）。次にストライプパターンをシフトさせつつ同様に距離情報を算出する（Ｓ１４、Ｓ１５）。すなわち、次に（Ａ）のストライプパターンを水平方向右に２ピクセルずらした（Ｂ）ストライプパターンを被写体５０に投影し、２台のカメラ２０、３０で撮影する。前記と同様に（Ｂ）のストライプエッジ上のポイントにおける距離情報が算出される。（Ｂ）ストライプパターンをさらに水平方向２ピクセル右にずらした（Ｃ）ストライプパターン、および（Ｃ）ストライプパターンをさらに水平方向２ピクセル右にずらした（Ｄ）ストライプパターンと繰り返して合計４回の撮像を行いそれぞれのポイントにおいて距離情報算出を行う。最後にそれぞれ算出された距離情報（点群データ）を合成して最終的な出力を得る（Ｓ１６）。

これにより単一のストライプパターンを投影する方法と比べて４倍の解像度で距離情報を算出することができるようになる。

この一連の処理のうち距離画像を算出する処理について以下に説明する。

図８は、距離画像を算出する構成例を示しており、この図において、パターン投影装置１０がコード化されたパターンを対象物５０に投影する。このパターンはフレームメモリ１１０に記憶される。モニタ用の第１カメラ２０および三角測量用の第２カメラ３０により、対象物５０上の投影パターンを撮像しそれぞれパターン画像メモリ１２０、１５０に記憶する。

領域分割部１３０はパターン画像メモリ１２０のパターン画像を、パターン投影装置１０からの投影パターン（光）が十分に届いている領域（領域２ともいう）と届いていない領域（領域１ともいう）に分割する。たとえば、隣り合うストライプ間の強度差が閾値以下である領域については、投影パターンが十分に届いてないと判別し、ストライプ間の強度差が閾値以上である領域を投影パターンが十分に届いている領域と判別する。投影パターンが十分に届いている領域に関し、以下に述べるように、境界線となるエッジ画素算出を行い、距離計算を行う。投影パターンが十分に届いてない領域については、別途、視差に基づく距離計算を行う。ここではとくに説明しないが、詳細は特許文献１を参照されたい。

再コード化部１６０は、抽出された領域２についてストライプを抽出し、各ストライプをストライプ幅毎に縦方向に分割し、正方形のセルを生成し、セルの再コード化を行う。これについては後に詳述する。

コード復号部１７０は、パターン画像メモリ１５０に記憶されている、三角測量用の第２カメラ３０からのパターン画像の各セル（エッジ）のコードを再コード化部１６０からのコードを用いて判別する。これにより、パターン画像メモリ１５０のパターン画像における測定点ｐ（エッジ）の画素のｘ座標および光源からの照射方向（スリット角）θが決定され、後述する式（１）により距離Ｚが測定される（図１６参照）。３次元画像メモリ１８０は、この距離と、第１カメラ２０から取得した対象物の輝度値（輝度値メモリ１４０に記憶される）とを三次元画像データとして記憶する。

この構成例における３次元形状の算出の詳細についてさらに説明する。

上述で得られたそれぞれのパターン画像、輝度値を用いて３次元形状を算出する為に以下の操作を行う。

同光軸のモニタ用の第１カメラ２０によって撮影されたパターン画像と投光に用いられたパターン画像を用いて図９に示すフローチャートに従って再コード化を行う。最初に第１カメラ２０で撮影されたパターン画像の領域分割を行う。隣り合うストライプ間の強度差が閾値以下である領域については、パターン投影装置１０からの投影パターンが届いてない領域１として抽出し、ストライプ間の強度差が閾値以上である領域を領域２として抽出し（Ｓ３０）、領域２について境界線となるエッジ画素算出を行う。

抽出された領域２についてストライプを抽出し、各ストライプをストライプ幅毎に縦方向に分割し、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする（Ｓ３１）。画像の中心から順に対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なった場合には新たなコードの生成、割り付けを行う（Ｓ３２〜Ｓ３６）。

図１０は簡単のため単純化した例であるが、図１０の左側のストライプ列がストライプの並びによってコード化された投光パターンであり、それぞれの強度に３（強）、２（中）、１（弱）が割り当てられている。図１０の右側がそれぞれ同軸上の第１カメラ２０で撮影されたストライプをセルの幅でストライプと垂直方向に抽出したものである。図１０の右上の例では、左から３つめのセルで強度が変化して新たなコードが出現したので、新たに０というコードを割り当てる。図１０の右下の例では、左から３つめ上から２つめのセルで、既存のコードが出現しているので、セルの並びから新たなコードとして（２３２、１３１）という具合に（縦の並び，横の並び）によってコードを表現する。この再コード化は、対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。

例として、図１１の対象物に、図１２のパターンを投光した場合に第１カメラ２０、第２カメラ３０で得られる画像を簡単化したものをそれぞれ図１３、図１４に示す。この例では、板の表面には新たなコード化されたパターンとして図１５が得られる。

次に第２カメラ３０で得られたストライプ画像からストライプを抽出し、先ほどと同じようにセルに分割する。各セルについて、再コード化されたコードを用いて各セルのコードを検出し、検出されたコードに基づいて光源からの照射方向θを算出する。各画素の属するセルのθとカメラ２で撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長Ｌを用いて式（１）によって距離Ｚを算出する。なお、測定点ｐと、光源からの照射方向θと、第２カメラ３０で撮影された画像上のｘ座標と、カメラパラメータである焦点距離Ｆと、基線長Ｌとの関係を図１６に示す。

Ｚ＝ＦＬ／（ｘ＋Ｆｔａｎθ） −−−式（１）

この計算は実際にはセルの境界のｘ座標を利用して行うが、このときのｘ座標はカメラの画素解像度よりも細かい単位で計算することで計測精度を向上させている。ｘ座標値は、先に算出したエッジ画素の両側のセルの適当な数画素の輝度平均値ｄ１、ｄ２とエッジ画素の輝度ｄｅから求める。エッジ画素の両隣の画素位置ｐ１とｐ２と輝度平均値ｄ１とｄ２から一次補間した直線から輝度ｄｅに相当する画素位置ｄｅ’（図では便宜上ｘで示す）が求められ、これがｘ座標値となる。（図１７参照）

図１８はｘ座標を求める構成例を示している。図１８においては、エッジ右近傍画素位置入力部２１０、エッジ右セル輝度平均値入力部２２０、エッジ左近傍画素位置入力部２３０、エッジ左セル輝度平均値入力部２４０、エッジ輝度入力部２５０からそれぞれｄ１、ｐ１、ｄ２、ｐ２、ｄｅを補間計算部２００に供給して上述のとおりｘ座標を計算する。

つぎに本発明の実施例２について説明する。

この実施例の動作を図１９に示す。なお、図１９において図７と対応する箇所には対応する符号を付した。実施例２では、実施例１と異なり、２ピクセル分だけでなく、ストライプパターンを５ストライプ＋２ピクセル分だけシフトさせている。

ここで、実施例２の前提について若干補足する。すなわち、投影するストライプ画像は複数の輝度を持ったストライプで構成される。輝度を０〜２５５階調で表現し、５レベルの輝度値を設定したとすると、各ストライプの輝度は暗い方から順に０，６３，１２８，１９１，２５５階調となる。そのパターンの一部を図示したものが図２１である。ストライプを投影した被写体を撮影してストライプ間のエッジを抽出する際、各ストライプ輝度の差が小さい境界は、被写体のテクスチャおよびストライプが投影される角度などの要因によりエラーが発生し、エッジを検出しにくくなる。特に明るい二つのストライプ、即ち２５５階調と１９１階調の境界のエッジは検出しにくい。図２１の下に示す破線は距離情報が算出されるべきポイント、実践はエッジを抽出したポイントである。２５５階調のストライプと１９１階調のストライプ間の境界はエッジが抽出されていない。

ここで実施例１のようにストライプを単純に水平方向右に２ピクセルずつずらして４回撮像／計測したときのエッジ抽出ポイントを図２２に示す。各ストライプ画像の２５５階調と１９１階調の境界部分は隣接しているため、エッジが抽出されない部分が大きく存在することがわかる。この部分は形状計測ができないためモデル形状の欠陥として大きく現れてしまう。

本実施例では、ストライプを単純に水平方向右に２ピクセルずらすのではなく、水平方向右に５ストライプ＋２ピクセルずつずらして図２０に示すような４つのストライプパターンを作成する。この４つのパターンを用いて第１の実施例で示したと同様のやり方で距離情報を算出し合成する。これにより４倍の解像度で距離情報を算出するだけでなく、エッジを検出できないポイントが分散されるため、モデル形状の欠陥として大きくは現れないという長所がある。

以上で実施例の説明を終了する。

なお、本発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、本発明は、可視領域波長のほか、近赤外などの不可視波長の投射光に関しても有効であることはいうまでもない。

また、上述実施例では、ハーフミラー４０を用いて投影装置１０とモニタ用の撮像装置２０とを同一の光軸（同主点）に配置したが、図２１に示すように、投影装置１０および撮像装置２０を、パターンのストライプ（エッジ）の方向に無視できる程度に離間して配置し、実質的に同一の光軸上（同主点）に配置しても良い。この場合ハーフミラーによるパターン光のロスや配分に伴うパワーの低下やバラツキを回避できる。

本発明の実施例１の装置構成を示す図である。 上述実施例１を説明するためのパターンと被写体の一例を示す図である。 上述実施例１の撮影態様を説明する図である。 上述実施例１の撮影画像の例を説明する図である。 上述実施例１のエッジ抽出画像の例を説明する図である。 上述実施例１のストライプパターンの変遷の例を説明する図である。 上述実施例１の動作を説明する概要図である。 上述実施例１の距離計算の構成例を説明するブロック図である。 上述実施例１の再コード化の動作例を説明する 上述実施例１の再コード化を説明する図である。 上述実施例１の再コード化を説明するためのカメラと被写体の配置図である。 上述実施例１の再コード化を説明するためのパターン図である。 上述実施例１の第１カメラのモニタ画像の例を示す図である。 上述実施例１の第２カメラ２のモニタ画像の例を示す図である。 上述実施例１において被写体にあたって輝度が変化した部分を説明する図である。 上述実施例における距離計算を説明する図である。 上述実施例のエッジ座標の算出説明図である。 上述構成例１の測定点の第２カメラの画像上の座標ｘの補間計算を行う回路構成例を説明する図である。 本発明の実施例２の動作例を説明するフローチャートである。 上述実施例２のストライプパターンの変遷の例を説明する図である。 上述実施例２により解消しようとするエッジ抽出エラーに起因する問題を説明する図である。 上述実施例２により解消しようとするエッジ抽出エラーに起因する問題を説明する図である。 上述実施例の他の変形例を説明する図である。

符号の説明

１０ プロジェクタ（パターン投影装置）
１０ 投影装置
２０ 第１カメラ（撮像装置）
３０ 第２カメラ（撮像装置）
４０ ハーフミラー
５０ 被写体
６０ 制御部
２００ 補間計算部
２１０ エッジ右近傍画素位置入力部
２２０ エッジ右セル輝度平均値入力部
２３０ エッジ左近傍画素位置入力部
２４０ エッジ左セル輝度平均値入力部
２５０ エッジ輝度入力部
６０１ ストライプパターン設定部
６０２ 点群データ計算部
６０３ ３次元画像合成部

Claims (6)

1. ストライプパターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元画像入力装置において、
   ストライプパターンを被写体に投影する投影手段と、
   投影されるストライプパターンの位相を当該ストライプパターンのストライプの繰り返し周期未満の画素数だけシフトさせるストライプ位相シフト手段と、
   前記被写体の投影されたストライプパターンを撮影する撮影手段と、
   投影したストライプパターンごとに、撮影手段が撮影したストライプパターンに基づいて前記被写体上の点群データを取得する点群データ取得手段と、
   投影したストライプパターンごとに前記点群データ取得手段が取得した点群データを合成する点群データ合成手段とを有することを特徴とする３次元画像入力装置。
2. 前記ストライプ位相シフト手段が、ストライプパターンを前記ストライプの繰り返し周期未満の画素数だけシフトする請求項１記載の３次元画像入力装置。
3. 前記ストライプ位相シフト手段が、ストライプパターンを前記ストライプの繰り返し周期の画素数の整数倍の画素数に前記ストライプの繰り返し周期未満の画素数を加えた画素数だけシフトする請求項１記載の３次元画像入力装置。
4. ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元画像入力方法において、
   ストライプパターンの位相を当該ストライプパターンのストライプの繰り返し周期未満の画素数だけシフトさせつつ前記ストライプパターンを投影して複数組の点群データを取得し、取得された複数組の点群データを合成して統合された点群データを取得することをと特徴とする３次元画像入力方法。
5. ストライプパターンを前記ストライプの繰り返し周期未満の画素数だけシフトさせつつ前記ストライプパターンを投影して複数組の点群データを取得する請求項４記載の３次元画像入力方法。
6. ストライプパターンを前記ストライプの繰り返し周期の画素数の整数倍の画素数に前記ストライプの繰り返し周期未満の画素数を加えた画素数だけシフトしつつ前記ストライプパターンを投影して複数組の点群データを取得する請求項４記載の３次元画像入力方法。