【０００１】
【発明の属する技術分野】
本発明は、パターン投影法を用いて対象物体までの距離情報を取得する３次元形状測定技術に関する。
【０００２】
【従来の技術】
対象物の形状を計測する手法として、対象物に基準となるパターンを投影してこの基準となるパターン光が投影された方向とは異なる方向からＣＣＤカメラなどで撮影を行うパターン投影法と呼ばれる手法がある。撮影されたパターンは物体の形状によって変形を受けたものとなるが、この撮影された変形パターンと投影したパターンとの対応づけを行うことで、物体の３次元計測を行うことができる。パターン投影法では変形パターンと投影したパターンとの対応づけをいかに誤対応を少なく、かつ簡便に行うかが課題となっている。そこで様々なパターン投影法が従来より提案されている。
【０００３】
例えば特許文献１に開示される手法は、コード化されたパターンを投影する投光器と、投光器の光軸方向から投影パターンを撮影する第１のカメラと、投光器の光軸方向と異なる方向から投影パターンを撮影する第２のカメラとを備え、投影パターンに対する第１のカメラによる撮影パターンの変化量が所定値以上の領域について新たなコードを割り付け、割り付けたコードを用いて第２のカメラによる撮影パターンから第１の距離情報を生成し、第１の距離情報および第１のカメラより得られた輝度情報に基づいて３次元画像を得るよう構成した３次元画像撮影装置であり、強度が３レベルのストライプパターンを投影パターンとしている。投影パターンを同じ光軸に置いた第１のカメラで撮影したパターンを用いて再コード化することにより精度よく３次元計測を行うことができる。
【０００４】
また特許文献２ではスリット光の露光量を決める複数のマスクパターンを用意し、カメラの１フレーム露光時間中にマスクパターンを順次切り換えることにより複数階調のコード化パターンを投射している。
【特許文献１】
特開２０００−６５５４２号公報
【特許文献２】
特開２００２−１３１０３１号公報
【０００５】
【発明が解決する課題】
ところで被写体は黒色から白色まで様々な色を有しており、また反射特性も完全拡散から正反射成分の強いものまで様々な特性がある。従ってパターン投影光が被写体に当たった反射光の光束の多くがカメラに向かって入射していくような場合が発生し、得られたカメラ画像ではパターンの対応付けが正しく行えないことがある。具体的には、投影パターン輝度が２５６階調で本来１２８ＬＳＢ（黒色から数えて１２８番目の階調）であるストライプパターンが投影されている場所の反射特性が正反射成分が大きく、カメラ画像の輝度では明方向にサチュレーションを起して２５５ＬＳＢとなってしまう。もともと投影パターン輝度が２５５ＬＳＢのストライプパターンが投影されている部分でもカメラ画像上の輝度ではサチュレーションレベルに達しない輝度、例えば２４０ＬＳＢ程度としてパターンの対応づけを行うように処理ルーチンを作成しているので上記のようなサチュレーションレベルの領域はパターン対応付けにおいてミスマッチや計測エラーの原因となる。
【０００６】
本発明はこのような課題に鑑みなされたもので、複数レベルの投影パターンを用いた３次元形状測定手法において、たとえば正反射成分が大きな反射特性の対象物に対しても正確なパターン検出が可能な３次元形状測定技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。
【０００８】
すなわち、この発明の一側面によれば、上述の目的を達成するために、複数レベルの輝度でコード化されたストライプパターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元形状測定装置において、カメラ画像の輝度分布に応じて前記ストライプパターンの輝度レベルを調整するようにしている。
【０００９】
この構成においては、実際の輝度分布が、本来予定されるストライプパターンの画像の輝度分布と異なり、誤判別を招来するおそれがある場合に、ストライプパターンの輝度レベルを調整して誤判別に対処することができる。
【００１０】
この構成においては、カメラ画像における規定の輝度以上の画素数が閾値以上存在する場合に、前記ストライプパターンの輝度レベルを前記輝度以上の画素数が閾値以下になるまで調整して被写体の３次元画像を得ることが好ましい。
【００１１】
また、カメラ画像における規定の輝度以上の画素数が閾値以上である場合に、前記輝度以上の画素数をもとに最適なストライプパターンを選択して被写体の３次元画像を得ることが好ましい。
【００１２】
最終的に被写体上で最適化した輝度分布を取得できればよいので、ストライプパターンの輝度レベルは、投光器の光源の光強度、パターンデータの大小、投光器に装着するフィルタのＮＤ（中性濃度）値等を調整すればよい。
【００１３】
また、本発明の他の側面によれば、上述の目的を達成するために、複数レベルの輝度でコード化されたストライプパターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元形状測定装置において、カメラ画像の輝度分布に応じて、前記被写体を基準にして整列された前記ストライプパターンの配列パターンを変更させるようにしている。
【００１４】
この構成においても、配列パターンを最適化することにより対象物上に最適化した輝度分布をもたらすことができ、誤判別を抑制できる。
【００１５】
この構成において、カメラ画像における規定の輝度以上の画素数が閾値以上である場合に、前記輝度以上の画素数が閾値以下になる前記ストライプパターンの配列を変更したストライプパターンを選定して被写体の３次元画像を得るようにすることが好ましい。
【００１６】
また、前記ストライプパターンの変更は、特定のストライプパターンをストライプ幅の倍数分、被写体に対してスライドさせて生成することが好ましい。
【００１７】
また、本発明は、複数のカメラを設けこれらカメラからのカメラ画像の輝度分布に基づいてストライプパターンの輝度レベルを低下させたり、ストライプパターンの配列パターンを変更させるようにしてもよい。たとえば、投光器の光軸に沿ったモニタ用のカメラ、投光器に光軸からはずれた１または複数の三角測量用のカメラを用いることができる。モニタ用カメラ、三角測量用のカメラはこれらの用途に限定されず、視差に基づく距離測定等、その他の用途にも用いることができることはもちろんである。
【００１８】
本発明では、基本的に、ストライプパターンのカメラ画像から輝度分布を取得するが、これに限定されない。たとえば、強度が一様な光を投光器から被写体に投射して輝度値分布を測定してもよいし、光強度が一様な光を投射して前置的にパターンの輝度レベルを調整し、その次にストライプパターンを照射してパターンの配列を変更する等種々の態様を採用できる。自然な外来光を用いた輝度値分布の測定を用いてもよい。
【００１９】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【００２０】
この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。
【００２１】
【発明の実施の形態】
本発明に係る３次元画像測定装置（３次元形状測定装置ともいう）の第１の実施例を、図１および図２のシステム概略図を基にして説明する。
【００２２】
図１は、本発明の第１の実施例の３次元画像測定装置の構成図であり、図１において、３次元画像測定装置は、３次元計測用にパターンを投影するパターン投影装置（たとえば液晶プロジェクタ）１０、同光軸でパターンをモニタする撮像装置（たとえばＣＣＤカメラ。第１カメラとも呼ぶ）２０、三角測量用撮像装置（たとえばＣＣＤカメラ。第２カメラとも呼ぶ）３０、その他図示しない計算処理装置等で構成される。４０はハーフミラーであり、５０は対象物である。この３次元画像測定装置の基本的な構成は、特許文献１（特開２０００−６５５４２号公報）に開示される構成と同様である。パターン投影装置１０は、液晶プロジェクタもしくはＤＬＰ（商標）プロジェクタ、またはスライドプロジェクタを用いる。パターン投影装置１０、たとえば液晶プロジェクタへ入力する投影パターンは、図２に示すような濃淡のあるストライプパターンを用い、例えば、図２の右側に図示されている対象物（物体）にパターン投影する。
【００２３】
図３にパターン投影の模様を示す。撮像装置（第１カメラ２０）と投影装置（パターン投影装置１０）をハーフミラー４０などで同光軸に配置し、三角計測用に撮像装置３０を用意し、図２に示すようなストライプパターンを投影する。同光軸の撮像素子（第１カメラ２０）で観測された画像（第１カメラ・イメージ）から再符号化を実施し、測定用撮像素子（第２カメラ３０）で観測された画像（第２カメラ・イメージ）とで３次元距離画像（距離）を算出する。
【００２４】
本実施例の３次元画像測定装置は、ストライプパターンの最適化を行った後に距離画像を算出する。
【００２５】
図４は、ストライプ画像最適化および距離画像算出の構成例を示しており、この図において、パターン投影装置１０がコード化されたパターンを対象物５０に投影する。このパターンはフレームメモリ１１０に記憶される。モニタ用の第１カメラ２０および三角測量用の第２カメラ３０により、対象物５０上の投影パターンを撮像しそれぞれパターン画像メモリ１２０、１５０に記憶する。
【００２６】
輝度分布生成部１９０は、パターン画像メモリ１２０、１５０を参照して第１カメラ２０、第２カメラ３０のパターン画像の輝度分布を生成し、ストライプパターン決定部２００は、輝度分布に基づいて最適なストライプパターンを決定する。これについては図５を参照して後述する。
【００２７】
領域分割部１３０は、ストライプパターンの最適化の後に、パターン画像メモリ１２０のパターン画像を、パターン投影装置１０からの投影パターン（光）が十分に届いている領域（領域２ともいう）と届いていない領域（領域１ともいう）に分割する。たとえば、隣り合うストライプ間の強度差が閾値以下である領域については、投影パターンが十分に届いてないと判別し、ストライプ間の強度差が閾値以上である領域を投影パターンが十分に届いている領域と判別する。投影パターンが十分に届いている領域に関し、以下に述べるように、境界線となるエッジ画素算出を行い、距離計算を行う。投影パターンが十分に届いてない領域については、別途、視差に基づく距離計算を行う。ここではとくに説明しないが、詳細は特許文献１を参照されたい。
【００２８】
再コード化部１６０は、抽出された領域２についてストライプを抽出し、各ストライプをストライプ幅毎に縦方向に分割し、正方形のセルを生成し、セルの再コード化を行う。これについては後に詳述する。
【００２９】
コード復号部１７０は、パターン画像メモリ１５０に記憶されている、三角測量用の第２カメラ３０からのパターン画像の各セル（エッジ）のコードを再コード化部１６０からのコードを用いて判別する。これにより、パターン画像メモリ１５０のパターン画像における測定点ｐ（エッジ）の画素のｘ座標および光源からの照射方向（ストライプ角）θが決定され、後述する式（１）により距離Ｚが測定される（図１３参照）。３次元画像メモリ１８０は、この距離と、第１カメラ２０から取得した対象物の輝度値（輝度値メモリ１４０に記憶される）とを三次元画像データとして記憶する。
【００３０】
この構成におけるストライプパターンの最適化の詳細について図５のフローチャートを参照して説明する。
【００３１】
図５において、まず、デフォルトとなる最も明るい輝度となるストライプパターンを対象物に投影して２つのカメラ画像を取得する（Ｓ１０）。２つのカメラ画像の輝度ごとの画素数をそれぞれカウントする（Ｓ１１）。２つのカメラ画像それぞれにおける規定の輝度以上の画素数ＮａとＮｂとの和が閾値Ｎｔｈ１以上、またはどちらかのカメラ画像における規定の輝度以上の画素数ＮａまたはＮｂが閾値Ｎｔｈ２以上あれば、次の１段階暗いストライプパターンを投影して２つのカメラ画像を取得し（Ｓ１２、Ｓ１３、Ｓ１４）、ステップＳ１１に戻り処理を繰り返す。どちらにも当てはまらない場合と、最も暗い輝度となるストライプパターン投影後は、算出ルーチンに進む（Ｓ１５）。
【００３２】
つぎに、この構成例における３次元形状の算出の詳細について説明する。
【００３３】
３次元形状を算出する為に以下の操作を行う。同光軸のモニタ用の第１カメラ２０によって撮影されたパターン画像と投光に用いられたパターン画像を用いて図６に示すフローチャートに従って再コード化を行う。最初に第１カメラ２０で撮影されたパターン画像の領域分割を行う。隣り合うストライプ間の強度差が閾値以下である領域については、パターン投影装置１０からの投影パターンが届いてない領域１として抽出し、ストライプ間の強度差が閾値以上である領域を領域２として抽出し（Ｓ２０）、領域２について境界線となるエッジ画素算出を行う。
【００３４】
抽出された領域２についてストライプを抽出し、各ストライプをストライプ幅毎に縦方向に分割し、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする（Ｓ２１）。画像の中心から順に対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なった場合には新たなコードの生成、割り付けを行う（Ｓ２２〜Ｓ２６）。
【００３５】
図７は簡単のため単純化した例であるが、図７の左側のストライプ列がストライプの並びによってコード化された投光パターンであり、それぞれの強度に３（強）、２（中）、１（弱）が割り当てられている。図７の右側がそれぞれ同軸上の第１カメラ２０で撮影されたストライプをセルの幅でストライプと垂直方向に抽出したものである。図７の右上の例では、左から３つめのセルで強度が変化して新たなコードが出現したので、新たに０というコードを割り当てる。図７の右下の例では、左から３つめ上から２つめのセルで、既存のコードが出現しているので、セルの並びから新たなコードとして（２３２，１３１）という具合に（縦の並び，横の並び）によってコードを表現する。この再コード化は、対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。
【００３６】
例として、図８の対象物に、図９のパターンを投光した場合に第１カメラ２０、第２カメラ３０で得られる画像を簡単化したものをそれぞれ図１０、図１１に示す。この例では、板の表面には新たなコード化されたパターンとして図１２が得られる。
【００３７】
次に第２カメラ３０で得られたストライプ画像からストライプを抽出し、先ほどと同じようにセルに分割する。各セルについて、再コード化されたコードを用いて各セルのコードを検出し、検出されたコードに基づいて光源からの照射方向θを算出する。各画素の属するセルのθとカメラ２で撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長Ｌを用いて式（１）によって距離Ｚを算出する。なお、測定点ｐと、光源からの照射方向θと、第２カメラ３０で撮影された画像上のｘ座標と、カメラパラメータである焦点距離Ｆと、基線長Ｌとの関係を図１３に示す。
【数１】
Ｚ＝ＦＬ／（ｘ＋Ｆｔａｎθ） −−−式（１）
【００３８】
この実施例によれば、ストライプパターンを調整して規定の閾値以上の画素の数を抑制するようにしたので、正反射等による不都合を回避することが可能となる。
【００３９】
つぎに第２の実施例について説明する。この実施例ではストライプパターンの配列を変更して上述と同様の効果を得るようにしている。装置の構成と距離の算出については第１の実施例と同様であるので、これらの点については説明を繰り返さない。ここでは、この実施例の格別な点、すなわち、第１の実施例で図５に相当する動作に関して図１４に従って説明する。
【００４０】
図１４において、まずデフォルトとなるストライプパターンを投影して２つのカメラ画像を取得する（Ｓ３０）。デフォルトのストライプパターンを図１５のような被写体に投射すると、具体的な例における被写体上では左から「１，２，３，４，１，３，１，４，２」という各レベルの輝度となる。これを撮影した２つのカメラ画像は図１６のようになる。第１カメラ２０の画像（全画面ではない）では、「１，２，３，４，１，３，１，４」という輝度レベルのパターンでレベル１の部分に正反射によるサチュレーション部が現れ、第２カメラ３０の画像ではレベル３の部分に現れる。このように２つのカメラは画角が異なるので投射光源の正反射成分は異なった現れ方となる。２つのカメラ画像の輝度ごとの画素数をそれぞれカウントする（Ｓ３１）。２つのカメラ画像それぞれにおける規定の輝度以上の画素数ＮａとＮｂとの和が閾値Ｎｔｈ１以上、またはどちらかのカメラ画像における規定の輝度以上の画素数ＮａまたはＮｂが閾値Ｎｔｈ２以上ある場合、もしくは２つのカメラ画像それぞれにおける規定の輝度以下の画素数ＮｃとＮｄとの和が閾値Ｎｔｈ３以上、またはどちらかのカメラ画像における規定の輝度以下の画素数ＮｃまたはＮｄが閾値Ｎｔｈ４以上ある場合に、次のストライプパターンを投影する（Ｓ３２、Ｓ３３、Ｓ３４）。このとき上記の分岐条件に用いた値（規定の輝度以上の画素数ＮａとＮｂ、規定の輝度以下の画素数ＮｃとＮｄ）を記憶させておく。どちらにも当てはまらない場合算出ルーチンに進む（Ｓ１５）。
【００４１】
次のストライプパターンとして、デフォルトのリットパターンに対してストライプ幅だけ横方向にずらしたストライプパターンを投影すると、２つのカメラ画像は図１７のように変化し、第１カメラ２０の画像（全画面ではない）では、「２，３，４，１，３，１，４，２」という輝度レベルのパターンとなる。このときそれぞれのカメラ画像の正反射の影響が出る部分には比較的暗い輝度のストライプが当たるので正反射の影響を小さく抑えることができる。このストライプパターン投影においても同様に２つのカメラ画像を取得し、規定の輝度以上もしくは以下の画素数に応じて、同様に進める。用意されたストライプパターンすべてにおいて算出ルーチンに進むことができない場合には、各ストライプパターンで記憶しておいた値を評価して最も評価値の小さいストライプパターン投影の時のカメラ画像を用いて算出ルーチンを行う（Ｓ３５、Ｓ１５）。上記評価は例えば次のような式を用いることができる。
【数２】
Ｖ＝α（Ｎａ＋Ｎｂ）＋β（Ｎｃ＋Ｎｄ）＋γ｜Ｎａ−Ｎｂ｜＋δ｜Ｎｃ−Ｎｄ｜ −−−−式（２）
【００４２】
以上の例では、デフォルトとなるストライプパターンに対してストライプ幅だけ横方向にずらしたストライプパターンを次のストライプパターンとしたが、並び方の異なるストライプパターンを用意しておいて順に投影するようにしておいても良い。
【００４３】
次に本発明の第３の実施例について説明する。第３の実施例においては、第１の実施例と同様にして、デフォルトの最も明るい輝度となるストライプパターンを投影して取得した２つのカメラ画像の輝度ごとの画素数によって、次に投影するストライプパターンの明るさを選択するようにする。図１８に処理フローを示す。
【００４４】
図１８において、まず、まずデフォルトとなるストライプパターンを投影して２つのカメラ画像を取得する（Ｓ４０）。２つのカメラ画像それぞれにおける規定の輝度以上の画素数ＮａとＮｂとの和が閾値Ｎｔｈ１以上、またはどちらかのカメラ画像における規定の輝度以上の画素数ＮａまたはＮｂが閾値Ｎｔｈ２以上あれば、ＮａとＮｂを次のような式に当てはめて、次に投影するストライプパターンを選択し投影する（Ｓ４１、Ｓ４２、Ｓ４３）。
【数３】
Ｅ＝λＮａ＋μＮｂ
すなわち、この式の算出結果Ｅの値により、図１９に示すように規定の輝度以上の画素数が多いほど暗いストライプパターンを選択するというルックアップテーブルから、ストライプパターンの明るさを選択する。この算出結果とストライプパターンの明るさとの関係は経験的に求められた関係であり、被写体の表面反射特性により選択されたストライプパターンが最適である保障はないので、ここで再度、２つのカメラ画像それぞれにおける規定の輝度以上の画素数ＮａとＮｂをカウントして同様に閾値と比較を行う（Ｓ４４、Ｓ４５）。ＮａとＮｂとの和が閾値Ｎｔｈ１以上、またはどちらかのカメラ画像における規定の輝度以上の画素数ＮａまたはＮｂが閾値Ｎｔｈ２以上あれば、次の１段階暗いストライプパターンを投影する（Ｓ４６、Ｓ４７）。どちらにも当てはまらない場合と、最も暗い輝度となるストライプパターン投影後は、算出ルーチンに進む（Ｓ４５、Ｓ４６、Ｓ１５）。以下の処理は第１の実施例と同様である。
【００４５】
以上述べたように、本発明の実施例によれば、複数レベルの輝度でコード化されたストライプパターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元形状測定装置において、カメラ画像の輝度分布に応じて前記ストライプパターンの輝度レベルを調整して被写体の３次元画像を得るようにしているので、投影光の被写体表面における正反射光の影響を小さくすることができ、正確なパターン検出が可能となり、３次元計測が正確におこなえる。
【００４６】
また、複数レベルの輝度でコード化されたストライプパターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元形状測定装置において、カメラ画像の輝度分布に応じて前記ストライプパターンの配列パターンを変更させて被写体の３次元画像を得るようにしているので、投影光の被写体表面における正反射光の影響を小さくすることができ、正確なパターン検出が可能となり、３次元計測が正確におこなえる。
【００４７】
以上で本発明の実施例の説明を終了する。なお、この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、本発明は、可視領域波長のほか、近赤外などの不可視波長の投射光に関しても有効であることはいうまでもない。さらにストライプパターンの明るさの調整にストライプパターン自体を用意する代わりにＮＤフィルタ（中性濃度フィルタ、減光フィルタ）を用いても良い。
【００４８】
【発明の効果】
以上述べたように、本発明によれば、カメラ画像の輝度分布に応じて前記ストライプパターンの輝度レベルやストライプパターンの配列等を調整して投影光の被写体表面における正反射光の影響を小さくすることができ、正確なパターン検出が可能となり、３次元計測が正確に行える。
【図面の簡単な説明】
【図１】本発明の第１の実施例の装置構成を示す図である。
【図２】上述第１の実施例を説明するためのパターンと被写体の一例を示す図である。
【図３】上述第１の実施例の動作を説明する概要図である。
【図４】上述第１の実施例の構成例を説明するブロック図である。
【図５】上述第１の実施例のパターン適合化動作を説明するフローチャートである。
【図６】上述第１の実施例の形状算出動作を説明するフローチャートである。
【図７】上述第１の実施例のコード化を説明する図である。
【図８】上述第１の実施例のコード化を説明するためのカメラと被写体の配置図である。
【図９】上述第１の実施例のコード化を説明するためのパターン図である。
【図１０】上述第１の実施例の第１カメラのモニタ画像の例を示す図である。
【図１１】上述第１の実施例の第２カメラ２のモニタ画像の例を示す図である。
【図１２】上述第１の実施例において被写体にあたって輝度が変化した部分を説明する図である。
【図１３】上述第１の実施例のエッジ座標の算出説明図である。
【図１４】本発明の第２の実施例のパターン適合化動作を説明するフローチャートである。
【図１５】上述第２の実施例を説明するためのストライプパターンと構成概要とを説明する図である。
【図１６】上述第２の実施例の第１ステップにおけるモニタ画像の例を説明する図である。
【図１７】上述第２の実施例の第２ステップにおけるモニタ画像の例を説明する図である。
【図１８】本発明の第３の実施例のパターン適合化動作を説明するフローチャートである。
【図１９】上述第３の実施例で用いることができるルックアップテーブルの特性の例を説明する図である。
【符号の説明】
１０ パターン投影装置
２０ 第１カメラ
３０ 第２カメラ
４０ ハーフミラー
５０ 対象物
１１０ フレームメモリ
１２０ パターン画像メモリ
１３０ 領域分割部
１４０ 輝度値メモリ
１５０ パターン画像メモリ
１６０ 再コード化部
１７０ コード復号部
１８０ ３次元画像メモリ
１９０ 輝度分布生成部
２００ ストライプパターン決定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional shape measurement technique for acquiring distance information to a target object using a pattern projection method.
[0002]
[Prior art]
As a method for measuring the shape of an object, a method called a pattern projection method is used in which a reference pattern is projected onto an object, and photographing is performed with a CCD camera or the like from a direction different from the direction in which the reference pattern light is projected. There is. The photographed pattern is deformed depending on the shape of the object. By associating the photographed deformation pattern with the projected pattern, three-dimensional measurement of the object can be performed. The problem with the pattern projection method is how to make the correspondence between the deformed pattern and the projected pattern simple and easy to avoid. Various pattern projection methods have been proposed in the past.
[0003]
For example, the technique disclosed in Patent Document 1 includes a projector that projects an encoded pattern, a first camera that captures a projection pattern from the optical axis direction of the projector, and a projection pattern from a direction different from the optical axis direction of the projector. A second camera that captures the image, a new code is assigned to an area in which the amount of change in the photographing pattern by the first camera relative to the projection pattern is equal to or greater than a predetermined value, and the photographing pattern by the second camera is assigned using the assigned code Is a three-dimensional image photographing device configured to generate a first distance information from the first distance information and obtain a three-dimensional image based on the first distance information and the luminance information obtained from the first camera. A stripe pattern is used as a projection pattern. By re-encoding the projection pattern using the pattern photographed by the first camera placed on the same optical axis, three-dimensional measurement can be performed with high accuracy.
[0004]
In Patent Document 2, a plurality of mask patterns for determining the exposure amount of slit light are prepared, and a coded pattern of a plurality of gradations is projected by sequentially switching the mask patterns during one frame exposure time of the camera.
[Patent Document 1]
JP 2000-65542 A
[Patent Document 2]
JP 2002-131031 A
[0005]
[Problems to be solved by the invention]
By the way, the subject has various colors from black to white, and the reflection characteristic has various characteristics from complete diffusion to a strong regular reflection component. Therefore, there may occur a case where most of the reflected light beam that is incident on the subject of the pattern projection light is incident on the camera, and the obtained camera image may not be able to correctly associate the patterns. Specifically, the reflection characteristic of the location where the projected pattern luminance is 256 gradations and the stripe pattern, which is originally 128 LSB (128th gradation from black) is projected, has a large regular reflection component, and the luminance of the camera image Then, saturation occurs in the bright direction, resulting in 255 LSB. Since the processing routine is created so that the pattern is associated with a luminance that does not reach the saturation level with the luminance on the camera image, for example, about 240 LSB, even in a portion where a stripe pattern with a projection pattern luminance of 255 LSB is originally projected. Such saturation level regions cause mismatches and measurement errors in pattern matching.
[0006]
The present invention has been made in view of such problems, and in a three-dimensional shape measurement method using a plurality of levels of projection patterns, for example, accurate pattern detection is possible even for an object having a reflection characteristic with a large regular reflection component. An object of the present invention is to provide a three-dimensional shape measurement technique.
[0007]
[Means for Solving the Problems]
According to this invention, in order to achieve the above-mentioned object, the configuration as described in the claims is adopted. Here, prior to describing the invention in detail, supplementary explanations of the claims will be given.
[0008]
That is, according to one aspect of the present invention, in order to achieve the above-described object, the subject is detected by a camera that is arranged offset from the optical axis of a projector that projects a stripe pattern encoded with a plurality of levels of brightness onto the subject. In the three-dimensional shape measuring apparatus that obtains a three-dimensional image of the subject based on the image of the image, the luminance level of the stripe pattern is adjusted according to the luminance distribution of the camera image.
[0009]
In this configuration, when the actual luminance distribution is different from the originally intended luminance distribution of the stripe pattern image, there is a risk of misidentification, so that the misregistration is dealt with by adjusting the luminance level of the stripe pattern. Can do.
[0010]
In this configuration, when the number of pixels equal to or higher than the specified luminance in the camera image is greater than or equal to a threshold value, the luminance level of the stripe pattern is adjusted until the number of pixels equal to or higher than the luminance is equal to or lower than the threshold value. It is preferable to obtain
[0011]
In addition, when the number of pixels having a predetermined luminance or higher in the camera image is equal to or higher than the threshold value, it is preferable to select an optimum stripe pattern based on the number of pixels having the luminance or higher to obtain a three-dimensional image of the subject.
[0012]
Since it is only necessary to finally obtain an optimized luminance distribution on the subject, the luminance level of the stripe pattern is the light intensity of the light source of the projector, the magnitude of the pattern data, the ND (neutral density) value of the filter attached to the projector, etc. Can be adjusted.
[0013]
According to another aspect of the present invention, in order to achieve the above-described object, the camera may be arranged to be offset from the optical axis of a projector that projects a stripe pattern encoded with a plurality of levels of brightness onto a subject. In the three-dimensional shape measuring apparatus that obtains a three-dimensional image of the subject based on photographing the subject, the arrangement pattern of the stripe pattern aligned with respect to the subject is changed according to the luminance distribution of the camera image I try to let them.
[0014]
Even in this configuration, by optimizing the arrangement pattern, an optimized luminance distribution can be provided on the object, and erroneous determination can be suppressed.
[0015]
In this configuration, when the number of pixels in the camera image equal to or higher than the predetermined luminance is equal to or greater than the threshold, a stripe pattern in which the stripe pattern arrangement is changed so that the number of pixels equal to or higher than the luminance is equal to or smaller than the threshold is selected. It is preferable to obtain a dimensional image.
[0016]
The stripe pattern is preferably changed by sliding a specific stripe pattern relative to the subject by a multiple of the stripe width.
[0017]
In the present invention, a plurality of cameras may be provided, and the brightness level of the stripe pattern may be lowered or the arrangement pattern of the stripe pattern may be changed based on the brightness distribution of camera images from these cameras. For example, a monitor camera along the optical axis of the projector, and one or a plurality of triangulation cameras off the optical axis can be used as the projector. The camera for monitoring and the camera for triangulation are not limited to these applications, but can be used for other applications such as distance measurement based on parallax.
[0018]
In the present invention, the luminance distribution is basically acquired from the camera image of the stripe pattern, but the present invention is not limited to this. For example, the brightness value distribution may be measured by projecting light with uniform intensity from the projector onto the subject, or the brightness level of the pattern may be adjusted in advance by projecting light with uniform light intensity, Next, various modes such as changing the arrangement of patterns by irradiating a stripe pattern can be employed. Measurement of luminance value distribution using natural extraneous light may be used.
[0019]
The present invention can be realized not only as an apparatus or a system but also as a method. Of course, a part of the invention can be configured as software. Of course, software products used to cause a computer to execute such software are also included in the technical scope of the present invention.
[0020]
These and other aspects of the invention are set forth in the appended claims and will be described in detail below with reference to examples.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
A first embodiment of a three-dimensional image measuring apparatus (also referred to as a three-dimensional shape measuring apparatus) according to the present invention will be described with reference to the system schematic diagrams of FIGS.
[0022]
FIG. 1 is a configuration diagram of a three-dimensional image measurement apparatus according to a first embodiment of the present invention. In FIG. 1, the three-dimensional image measurement apparatus projects a pattern for three-dimensional measurement (for example, a liquid crystal display). A projector 10, an imaging device (for example, a CCD camera, also referred to as a first camera) 20, a triangulation imaging device (for example, a CCD camera, also referred to as a second camera) 30, and other calculation processing (not shown). It consists of devices. Reference numeral 40 denotes a half mirror, and reference numeral 50 denotes an object. The basic configuration of this three-dimensional image measurement apparatus is the same as the configuration disclosed in Patent Document 1 (Japanese Patent Laid-Open No. 2000-65542). The pattern projection apparatus 10 uses a liquid crystal projector, a DLP (trademark) projector, or a slide projector. The projection pattern input to the pattern projection apparatus 10, for example, a liquid crystal projector, uses a stripe pattern with shading as shown in FIG. 2, and projects the pattern onto an object (object) shown on the right side of FIG.
[0023]
FIG. 3 shows a pattern projection pattern. An imaging device (first camera 20) and a projection device (pattern projection device 10) are arranged on the same optical axis by a half mirror 40 or the like, an imaging device 30 is prepared for triangular measurement, and a stripe pattern as shown in FIG. Project. Re-encoding is performed from an image (first camera image) observed by the image sensor (first camera 20) of the same optical axis, and an image (second image) observed by the measurement image sensor (second camera 30). A three-dimensional distance image (distance) is calculated using the camera image.
[0024]
The three-dimensional image measurement apparatus according to the present embodiment calculates a distance image after optimizing the stripe pattern.
[0025]
FIG. 4 shows a configuration example of stripe image optimization and distance image calculation. In this figure, the pattern projection apparatus 10 projects a coded pattern onto the object 50. This pattern is stored in the frame memory 110. A projection pattern on the object 50 is imaged by the first camera 20 for monitoring and the second camera 30 for triangulation, and stored in the pattern image memories 120 and 150, respectively.
[0026]
The luminance distribution generation unit 190 generates the luminance distribution of the pattern images of the first camera 20 and the second camera 30 with reference to the pattern image memories 120 and 150, and the stripe pattern determination unit 200 determines the optimum distribution based on the luminance distribution. Determine the stripe pattern. This will be described later with reference to FIG.
[0027]
After optimization of the stripe pattern, the area dividing unit 130 reaches the pattern image in the pattern image memory 120 as an area (also referred to as area 2) where the projection pattern (light) from the pattern projection apparatus 10 has sufficiently reached. The area is divided into areas (also referred to as areas 1). For example, for an area where the intensity difference between adjacent stripes is less than or equal to the threshold, it is determined that the projection pattern has not reached sufficiently, and the projection pattern has sufficiently reached an area where the intensity difference between stripes is greater than or equal to the threshold. Determined as an area. As described below, an edge pixel serving as a boundary line is calculated and a distance calculation is performed on an area where the projection pattern has sufficiently reached. For areas where the projection pattern does not reach sufficiently, distance calculation based on parallax is performed separately. Although not specifically described here, refer to Patent Document 1 for details.
[0028]
The recoding unit 160 extracts stripes for the extracted region 2, divides each stripe in the vertical direction for each stripe width, generates a square cell, and recodes the cell. This will be described in detail later.
[0029]
The code decoding unit 170 determines the code of each cell (edge) of the pattern image from the second camera 30 for triangulation stored in the pattern image memory 150 using the code from the recoding unit 160. . Thereby, the x coordinate of the pixel at the measurement point p (edge) in the pattern image of the pattern image memory 150 and the irradiation direction (stripe angle) θ from the light source are determined, and the distance Z is measured by the equation (1) described later. (See FIG. 13). The three-dimensional image memory 180 stores the distance and the luminance value of the object acquired from the first camera 20 (stored in the luminance value memory 140) as three-dimensional image data.
[0030]
Details of optimization of the stripe pattern in this configuration will be described with reference to the flowchart of FIG.
[0031]
In FIG. 5, first, a stripe pattern having the brightest brightness as a default is projected onto an object to obtain two camera images (S10). The number of pixels for each luminance of the two camera images is counted (S11). If the sum of the number of pixels Na and Nb greater than or equal to the prescribed luminance in each of the two camera images is greater than or equal to the threshold Nth1, or if the number of pixels Na or Nb greater than or equal to the prescribed luminance in either camera image is greater than or equal to the threshold Nth2, A one-step dark stripe pattern is projected to obtain two camera images (S12, S13, S14), and the process returns to step S11 and is repeated. If neither of the above applies, and after projecting the stripe pattern having the darkest brightness, the process proceeds to the calculation routine (S15).
[0032]
Next, details of the calculation of the three-dimensional shape in this configuration example will be described.
[0033]
The following operations are performed to calculate a three-dimensional shape. Re-encoding is performed according to the flowchart shown in FIG. 6 using the pattern image photographed by the first camera 20 for monitoring on the same optical axis and the pattern image used for light projection. First, the region of the pattern image photographed by the first camera 20 is divided. A region where the intensity difference between adjacent stripes is less than or equal to the threshold is extracted as region 1 where the projection pattern from the pattern projection apparatus 10 has not reached, and a region where the intensity difference between stripes is greater than or equal to the threshold is extracted as region 2. In step S20, the edge pixel that becomes the boundary line for the region 2 is calculated.
[0034]
Stripes are extracted from the extracted region 2, and each stripe is divided in the vertical direction for each stripe width to generate a square cell. The average value of the intensity is taken for each generated cell, and the average value is set as the intensity of each cell (S21). Compare the intensities between the corresponding cells in order from the center of the image, and if the inter-cell intensity differs by more than a threshold because the pattern has changed due to factors such as the reflectance of the object, the distance to the object, etc. Code generation and allocation are performed (S22 to S26).
[0035]
FIG. 7 is an example simplified for the sake of simplicity, but the light emission pattern in which the left stripe row in FIG. 7 is coded by the arrangement of the stripes is 3 (strong), 2 (medium), 1 (weak) is assigned. The right side of FIG. 7 is obtained by extracting the stripes photographed by the first coaxial camera 20 in the direction perpendicular to the stripes by the cell width. In the example at the upper right in FIG. 7, since the strength changes in the third cell from the left and a new code appears, a new code of 0 is assigned. In the example at the lower right in FIG. 7, since the existing code appears in the third cell from the left and the second cell from the top, as a new code (232, 131) from the cell sequence (vertical The code is expressed by (line, horizontal line). This re-encoding is equivalent to projecting a complex pattern such as a two-dimensional pattern at a site where the shape of the object is rich in change, and projecting a simple pattern at a site where there is little change. This process is repeated and recoding is performed by assigning unique codes to all cells.
[0036]
As an example, FIGS. 10 and 11 show simplified images obtained by the first camera 20 and the second camera 30 when the pattern of FIG. 9 is projected onto the object of FIG. In this example, FIG. 12 is obtained as a new coded pattern on the surface of the plate.
[0037]
Next, stripes are extracted from the stripe image obtained by the second camera 30 and divided into cells as before. For each cell, the code of each cell is detected using the recoded code, and the irradiation direction θ from the light source is calculated based on the detected code. The distance Z is calculated by Equation (1) using θ of the cell to which each pixel belongs, the x coordinate on the image taken by the camera 2, the focal length F and the base line length L which are camera parameters. FIG. 13 shows the relationship between the measurement point p, the irradiation direction θ from the light source, the x coordinate on the image taken by the second camera 30, the focal length F that is a camera parameter, and the baseline length L. .
[Expression 1]
Z = FL / (x + Ftanθ) ---- Equation (1)
[0038]
According to this embodiment, the stripe pattern is adjusted so as to suppress the number of pixels equal to or greater than a predetermined threshold value, so that it is possible to avoid inconvenience due to regular reflection or the like.
[0039]
Next, a second embodiment will be described. In this embodiment, the stripe pattern arrangement is changed to obtain the same effect as described above. Since the configuration of the apparatus and the calculation of the distance are the same as in the first embodiment, the description thereof will not be repeated. Here, the special point of this embodiment, that is, the operation corresponding to FIG. 5 in the first embodiment will be described with reference to FIG.
[0040]
In FIG. 14, first, a default stripe pattern is projected to obtain two camera images (S30). When the default stripe pattern is projected onto a subject as shown in FIG. 15, on the subject in a specific example, brightness levels of “1, 2, 3, 4, 1, 3, 1, 4, 2” from the left Become. Two camera images obtained by photographing this are as shown in FIG. In the image of the first camera 20 (not the full screen), a saturation portion by regular reflection appears in the level 1 portion in a pattern of luminance levels of “1, 2, 3, 4, 1, 3, 1, 4”. In the image of the second camera 30, it appears in the level 3 portion. Thus, since the two cameras have different angles of view, the regular reflection components of the projection light source appear differently. The number of pixels for each luminance of the two camera images is counted (S31). When the sum of the number of pixels Na and Nb above the specified brightness in each of the two camera images is greater than or equal to the threshold Nth1, or the number of pixels Na or Nb greater than the specified brightness in either camera image is greater than or equal to the threshold Nth2, or 2 When the sum of the number of pixels Nc and Nd below the specified luminance in each of the two camera images is greater than or equal to the threshold Nth3, or the number of pixels Nc or Nd below the specified luminance in either camera image is equal to or greater than the threshold Nth4 A stripe pattern is projected (S32, S33, S34). At this time, the values used for the above branching conditions (number of pixels Na and Nb above the specified luminance, and number of pixels Nc and Nd below the specified luminance) are stored. If neither is true, the process proceeds to the calculation routine (S15).
[0041]
As a next stripe pattern, when a stripe pattern shifted in the horizontal direction by the stripe width with respect to the default lit pattern is projected, the two camera images change as shown in FIG. No), the brightness level pattern is “2, 3, 4, 1, 3, 1, 4, 2”. At this time, a relatively dark luminance stripe strikes a portion of each camera image affected by regular reflection, so that the influence of regular reflection can be kept small. In this stripe pattern projection, two camera images are acquired in the same manner, and proceed in the same manner according to the number of pixels that is greater than or equal to the specified luminance. If it is not possible to proceed to the calculation routine for all of the prepared stripe patterns, the calculation routine is evaluated using the camera image at the time of projecting the stripe pattern with the smallest evaluation value by evaluating the value stored in each stripe pattern. (S35, S15). For example, the following formula can be used for the evaluation.
[Expression 2]
V = α (Na + Nb) + β (Nc + Nd) + γ | Na−Nb | + δ | Nc−Nd | −−−− Formula (2)
[0042]
In the above example, the stripe pattern shifted laterally by the stripe width from the default stripe pattern is used as the next stripe pattern, but stripe patterns with different arrangements are prepared and projected in order. May be.
[0043]
Next, a third embodiment of the present invention will be described. In the third embodiment, as in the first embodiment, the stripe to be projected next is determined according to the number of pixels for each luminance of the two camera images obtained by projecting the stripe pattern having the brightest default brightness. Select the brightness of the pattern. FIG. 18 shows a processing flow.
[0044]
In FIG. 18, first, a default stripe pattern is projected to obtain two camera images (S40). If the sum of the number of pixels Na and Nb greater than or equal to the prescribed luminance in each of the two camera images is greater than or equal to the threshold Nth1, or if the number of pixels Na or Nb greater than or equal to the prescribed luminance in either camera image is greater than or equal to the threshold Nth2, Na By applying Nb to the following equation, a stripe pattern to be projected next is selected and projected (S41, S42, S43).
[Equation 3]
E = λNa + μNb
That is, the brightness of the stripe pattern is selected from a look-up table in which the darker stripe pattern is selected as the number of pixels equal to or higher than the prescribed luminance is increased as shown in FIG. The relationship between the calculation result and the brightness of the stripe pattern is an empirically obtained relationship, and there is no guarantee that the stripe pattern selected by the surface reflection characteristics of the subject is optimal. The number of pixels Na and Nb that are equal to or higher than the prescribed luminance is counted and compared with the threshold value in the same manner (S44, S45). If the sum of Na and Nb is greater than or equal to the threshold value Nth1, or if the number of pixels Na or Nb greater than or equal to the specified brightness in either camera image is greater than or equal to the threshold value Nth2, the next one-step dark stripe pattern is projected (S46, S47). . If neither of the above applies, or after projecting the stripe pattern having the darkest brightness, the process proceeds to the calculation routine (S45, S46, S15). The following processing is the same as in the first embodiment.
[0045]
As described above, according to the embodiment of the present invention, the subject is photographed by the camera arranged so as to be shifted from the optical axis of the projector that projects the stripe pattern encoded with a plurality of levels of luminance onto the subject. Based on this, in the three-dimensional shape measuring apparatus for obtaining a three-dimensional image of the subject, the luminance level of the stripe pattern is adjusted according to the luminance distribution of the camera image to obtain a three-dimensional image of the subject. The influence of specularly reflected light on the surface of the subject can be reduced, accurate pattern detection is possible, and three-dimensional measurement can be performed accurately.
[0046]
Further, a three-dimensional image for obtaining a three-dimensional image of the subject is obtained by photographing the subject with a camera arranged so as to be shifted from the optical axis of a projector that projects a stripe pattern encoded with a plurality of levels of luminance onto the subject. In the shape measuring apparatus, the arrangement pattern of the stripe pattern is changed according to the luminance distribution of the camera image so as to obtain a three-dimensional image of the subject, so that the influence of the regular reflection light on the subject surface of the projection light is reduced. Therefore, accurate pattern detection is possible, and three-dimensional measurement can be performed accurately.
[0047]
This is the end of the description of the embodiment of the present invention. The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the invention. For example, it goes without saying that the present invention is effective for projection light having an invisible wavelength such as near infrared in addition to the visible region wavelength. Further, an ND filter (neutral density filter, neutral density filter) may be used instead of preparing the stripe pattern itself for adjusting the brightness of the stripe pattern.
[0048]
【The invention's effect】
As described above, according to the present invention, the brightness level of the stripe pattern, the arrangement of the stripe pattern, and the like are adjusted according to the brightness distribution of the camera image to reduce the influence of the regular reflection light on the subject surface of the projection light. Therefore, accurate pattern detection is possible and three-dimensional measurement can be performed accurately.
[Brief description of the drawings]
FIG. 1 is a diagram showing an apparatus configuration according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a pattern and a subject for explaining the first embodiment.
FIG. 3 is a schematic diagram for explaining the operation of the first embodiment.
FIG. 4 is a block diagram illustrating a configuration example of the first embodiment.
FIG. 5 is a flowchart for explaining the pattern adaptation operation of the first embodiment.
FIG. 6 is a flowchart for explaining a shape calculating operation of the first embodiment.
FIG. 7 is a diagram for explaining the encoding of the first embodiment.
FIG. 8 is a layout diagram of a camera and a subject for explaining the encoding of the first embodiment.
FIG. 9 is a pattern diagram for explaining the encoding of the first embodiment.
FIG. 10 is a diagram showing an example of a monitor image of the first camera of the first embodiment.
FIG. 11 is a diagram showing an example of a monitor image of the second camera 2 of the first embodiment.
FIG. 12 is a diagram for explaining a portion of the subject where the luminance has changed in the first embodiment.
FIG. 13 is an explanatory diagram for calculating edge coordinates according to the first embodiment.
FIG. 14 is a flowchart illustrating a pattern adaptation operation according to the second exemplary embodiment of the present invention.
FIG. 15 is a diagram for explaining a stripe pattern and a configuration outline for explaining the second embodiment;
FIG. 16 is a diagram for explaining an example of a monitor image in the first step of the second embodiment.
FIG. 17 is a diagram illustrating an example of a monitor image in the second step of the second embodiment.
FIG. 18 is a flowchart illustrating a pattern adaptation operation according to the third exemplary embodiment of the present invention.
FIG. 19 is a diagram for explaining an example of characteristics of a look-up table that can be used in the third embodiment.
[Explanation of symbols]
10 Pattern projector
20 First camera
30 Second camera
40 half mirror
50 objects
110 frame memory
120 pattern image memory
130 Region division unit
140 Luminance value memory
150 pattern image memory
160 Recoding section
170 Code decoder
180 3D image memory
190 Luminance distribution generator
200 Stripe pattern determination unit
