JP2002015306A - ３次元画像生成装置および３次元画像生成方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数のカメラによって撮影されたパターン照
射画像に基づく距離データ算出処理をより高精度に実行
可能とする３次元画像生成装置を提供する。 【解決手段】 投影したパターンを同じ光軸で撮影した
パターンを用いて再コード化する方法による３次元形状
計測において、投光装置で投射したパターンと、投光手
段と同軸で撮像した測定対象のパターン投影画像とを比
較し、投光パターン以外の距離計測可能なエッジを検出
して、該エッジを含むパターンに基づいて再コード化を
実行して、再コード化したデータに基づいて距離情報を
生成するように構成した。本構成により、高精度な距離
算出が可能になる３次元画像生成装置および３次元画像
生成方法が実現される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は測定対象に対してパ
ターン光を照射することによって得られるパターン投影
像を、複数の撮像手段で異なる方向から撮像し、パター
ンの変化に基づいて距離情報を得る三角測量法に基づく
３次元画像生成装置および３次元画像生成方法に関す
る。

【０００２】

【従来の技術】３次元形状を取得する手法には、アクテ
ィブ手法（Active vision）とパッシブ手法（Passive v
ision）がある。アクティブ手法は、（1）レーザ光や超
音波等を発して、対象物からの反射光量や到達時間を計
測し、奥行き情報を抽出するレーザー手法や、（2）ス
リット光などの特殊なパターン光源を用いて、対象表面
パターンの幾何学的変形等の画像情報より対象形状を推
定するパターン投影方法や、(3)光学的処理によってモ
アレ縞により等高線を形成させて、３次元情報を得る方
法などがある。一方、パッシブ手法は、対象物の見え
方、光源、照明、影情報等に関する知識を利用して、一
枚の画像から３次元情報を推定する単眼立体視、三角測
量原理で各画素の奥行き情報を推定する二眼立体視等が
ある。

【０００３】一般的にアクティブ手法のほうが計測精度
は高いが、投光手段の限界などにより、測定できるレン
ジが小さい場合が多い。一方、パッシブ手法は汎用的で
あり、対象に対する制約が少ない。本発明は、このアク
ティブ手法の3次元計測装置であるパターン投影法に関
するものである。

【０００４】パターン投影法では、対象とする物体に基
準となるパターン光を投影し、基準となるパターン光が
投影された方向とは異なる方向から撮影を行う。撮影さ
れたパターンは、物体の形状によって変形を受けたもの
となる。観測された変形パターンと投影したパターンと
の対応づけを行うことで、物体の3次元計測を行える。
パターン投影法では、変形パターンと投影したパターン
の対応づけにおいていかに誤対応を少なくし、かつ簡便
に行うかが課題となる。そこで、様々なパターン投影の
手法(空間パターンコード化、モアレ、色符号化)が提案
されている。

【０００５】代表的な空間コード化の一例として特開平
５−３３２７３７５号公報に開示されている実施例につ
いて説明する。この例では、レーザ光源とレーザ光をス
リット形に整形するレンズ系と、整形されたレーザ光を
対象物に走査して照射するスキャンニング装置と対象物
からの反射光を検出するカメラとこれらを制御する装置
からなる。

【０００６】スキャンニング装置から走査されるレーザ
光によって対象物上に、レーザ光が照射された部分と照
射されていない部分とで縞模様が形成される。レーザ光
の照射を異なる複数のパターンによって行うことで対象
物上はＮ個の識別可能な部分に分割される。対象物を異
なる位置からカメラで撮影した画像上の各画素が分割さ
れたどの部分に含まれるかを判別することで対象物の形
状を算出できる。

【０００７】解像度を高くする為には複数回のレーザに
よるスキャンを行い、複数回のカメラによる撮影が必要
となる。例えば、画面を２５６の領域に分割する為には
8回の撮影が必要となる。そのため動きの早い物体の撮
影は困難となり、更にスキャンを行う間は撮影系を確実
に固定しておく必要があるので装置自体は簡便となって
も手軽に撮影を行う事は難しい。

【０００８】パターンの投光回数を減らす手段として特
開平３−１９２４７４号公報に開示されている色符号化
がある。色符号化においては、q、kを2以上の所定の自
然数とした時、q色以上の色を用いて、隣接する2本のス
リット光が同色にならず、隣接するk本のスリット光に
よる色の並びが1度しか現れないように符号化されたパ
ターンを投影し、観測された画像からスリットの色を検
出し、該当スリットの色並びからスリット番号を取得す
る。スリット番号から、スリットの照射方向を算出し空
間コード化の例と同様に距離を算出することができる。

【０００９】しかしながら、色符号化ではコード列の並
びからコードを復元する為に、コードの復元の計算量が
大きいという問題点がある。更に、Ｒ，Ｇ，Ｂの３色を
用いて２５６の領域に分割したい場合には、コードを知
りたいスリットの周囲８本のスリット光の並びを知る必
要があり、連続してスリットが長く観測できるような形
状の物体の計測にしか適さない。

【００１０】スリットの復元を容易に行い、更に1回で
コード化されたパターンを投影する手段として特許第２
５６５８８５号で公開されている空間パターンコード化
法がある。この特許では、３値以上の濃淡、又は３色以
上の色、又は濃淡と色の組み合わせによって３種類以上
の階調領域を有し、該階調領域の境界線の交点において
少なくとも３種類の階調領域が互いに接しているように
配置した多値格子板パターンを具備し、該パターンを被
測定対象物に投影して生じる投影像の交点に該交点で接
する階調の種類と順序に応じた主コードを付与し、該主
コードを、または交点の主コードとその周囲交点の主コ
ードとを組み合わせた組み合わせコードを、交点の識別
用の特徴コードとして付与したことを特徴とする。

【００１１】しかし、上述の方式では撮影対象によって
はコード化が崩れてしまい正しくコードの対応づけがで
きなくなる場合がある。例えば、図２１で示すように光
源によって投光されたパターン列が"12345678"であると
き、撮影対象の構造によってはカメラで撮影されるパタ
ーン列が"1267"と欠落して認識されたり、パターン列"7
58"のように反転したパターン列が得られる場合があ
る。また、対象物の形状や反射率などによっても投光し
たパターンと撮影されたパターン列の変化により対応づ
けは困難となる。

【００１２】色符号化においては、復号化時にスリット
のグループ化を行う際、スリットの欠落、反転の可能性
があるパターンについては復号を行わない手法を用いて
この問題を回避している。空間パターンコード化法では
2次元パターンを用いることで、前述の誤りの可能性を
低減してはいるが、原理的には対象物によっては同じ誤
りが生じる。従って、前述の方式では、実験室内の特殊
な状況や対象物体を限定した状況での撮影では優れた精
度が得られるものの、対象を限定しない一般的な撮影状
況では精度の劣化は否めない。また、光源を用いた投光
を行う手法では、広いレンジを有するものを対象とした
時に、投光が届かない部位については3次元形状が得ら
れない。また、投光されたパターンを対象物が遮ること
で生じる影の領域も、距離の計測ができないため、実際
に見えているのに距離が得られない領域が存在してしま
う。

【００１３】そこで、本出願と同一出願人に係る特願平
１０−１９１０６３号、(特開２０００−９４４２)、特
願平１０−２４７７９６(特開２０００−６５５４２)で
は投光されたパターンをフィードバックし新たなコード
を生成することで対象物に依存しない3次元画像撮影装
置を提案した。

【００１４】

【発明が解決しようとする課題】上記の特願平１０−１
９１０６３号、(特開２０００−９４４２)、特願平１０
−２４７７９６(特開２０００−６５５４２)における３
次元画像撮影装置は、投光パターンを複数の強度や複数
の波長によって符号化されたものを投影して実現する。
その際に、投光パターンが被写体の輝度情報、素材など
の影響によって変化し、３次元形状を算出する際に、エ
ラーとなって適切な３次元形状が計測できない。そのた
めに、上記３次元撮像装置は、投光素子と同光軸に配置
をし、被写体情報による投光パターンの変化分をモニタ
し、再符号化を実施し、３次元形状を計測している。

【００１５】しかしながら、上記構成において、距離算
出をスリットのエッジから行っているので、形状計測装
置の解像度はスリットの本数によって決定される。ま
た、形状計測を実施しようとする被写体のエッジ（輪
郭）部分がスリットの間にある場合は、計測が困難にな
る。形状計測装置の場合、例えば、背景と被写体、ある
いは、複数の被写体の選別など、被写体の輪郭を抽出し
て形状を計測する必要がある。スリットパターンを投影
し形状計測する場合、スリット間の情報は、計測に使用
しない。仮に、スリット間でクリティカルな形状変化が
発生した場合は、その前後のスリット情報から距離を算
出し、真の形状変化部は計測されていないことになる。

【００１６】また、クリティカルな変化をしていない物
体においても、計測解像度は、スリットパターンのスリ
ット本数によって決められてしまい。それ以上の解像度
での計測を行うためには、スリット総本数を増加させ解
像度をあげる必要がある。

【００１７】本発明は、上記問題点を解決することを目
的としてなされたものであり、スリットパターンを投光
手段と同光軸で撮像し、符号化を実施する際に、投影し
たスリットパターンから、被写体情報によって変化させ
られた情報を元に再符号化を実施する構成において、観
測される連続したパターンを認識し、これを新たなコー
ドとして設定し、設定されたコードによって距離データ
を生成する３次元画像生成装置および３次元画像生成方
法を提供することを目的とする。

【００１８】

【課題を解決するための手段】本発明は、上述の目的を
解決するものであり、その第１の側面は、パターンを測
定対象に投影する投光手段と、前記投光手段の光軸方向
から投影パターンを撮影する第１の撮像手段と、前記投
光手段光軸方向と異なる方向から前記投影パターンを撮
影する第２の撮像手段とを備え、前記第１の撮像手段の
撮影した投影パターン画像と、前記投光手段による投影
パターンとの比較により、前記第１の撮像手段の撮影し
た投影パターン画像に新たなエッジが検出された場合
に、該検出エッジに基づく新規コードを割り付け、前記
新規コードに基づいて第２の撮像手段による撮影パター
ンから第１の距離情報を生成する構成を有することを特
徴とする３次元画像生成装置にある。

【００１９】さらに、本発明の３次元画像生成装置の一
実施態様において、前記第１の撮像手段の撮影した投影
パターン画像に検出された新たなエッジが、距離測定に
適用可能なエッジであるか否かを判定し、適用可能であ
る場合にのみ、該検出エッジに基づく新規コードを割り
付ける構成であることを特徴とする。

【００２０】さらに、本発明の３次元画像生成装置の一
実施態様において、前記３次元画像生成装置は、前記投
影パターンに対する第１の撮像手段による撮影パターン
の前記新たなエッジによって区分されるセルの強度変化
量が所定値以上の領域について、該第１の撮像手段によ
る撮影パターンに対応する新規コードを割り付け、前記
新規コードに基づいて第２の撮像手段による撮影パター
ンから前記第１の距離情報を生成する構成を有すること
を特徴とする。

【００２１】さらに、本発明の３次元画像生成装置の一
実施態様において、前記第１の距離情報および第１また
は第２の撮像手段より得られた輝度情報に基づいて３次
元画像を生成する構成を有することを特徴とする。

【００２２】さらに、本発明の３次元画像生成装置の一
実施態様において、前記投光手段の出射光と、前記第１
の撮像手段の入射光とは、ビームスプリッタによって分
離される構成であり、前記投光手段と前記第１の撮像手
段とは、それぞれが光学的に同軸となるように配置され
た構成であることを特徴とする請求項１に記載の３次元
画像生成装置。

【００２３】さらに、本発明の３次元画像生成装置の一
実施態様において、前記投光手段による投影パターンに
対する第１の撮像手段による撮影パターンの変化量が所
定値未満の領域について、第１の撮像手段および第２の
撮像手段より得られた各輝度情報の対応づけにより第２
の距離情報を生成し、前記第１の距離情報、第２の距離
情報および第１または第２の撮像手段より得られた輝度
情報を用いて３次元画像を得るよう構成したことを特徴
とする。

【００２４】さらに、本発明の３次元画像生成装置の一
実施態様において、前記投光手段は不可視領域の光を発
生する光源を有し、第１の撮像手段は不可視領域の光を
透過するフィルターおよび不可視領域の光を遮断するフ
ィルターを有することを特徴とする。

【００２５】さらに、本発明の３次元画像生成装置の一
実施態様において、前記第２の撮像手段は、前記測定対
象を異なる角度で撮像する複数の撮像手段によって構成
され、該複数の第２の撮像手段の各々の撮影した投影パ
ターンに基づいて求められる距離情報を合成して３次元
画像を得るよう構成したことを特徴とする。

【００２６】さらに、本発明の３次元画像生成装置の一
実施態様において、前記第１の撮像手段の撮影する投影
パターン画像に検出される新たなエッジは、前記測定対
象の形状、模様、輝度差、反射率差のいずれかに基づい
て発生するエッジであることを特徴とする。

【００２７】さらに、本発明の第２の側面は、投光手段
により、パターンを測定対象に投影する投光ステップ
と、前記投光手段の光軸方向から投影パターンを撮影す
る第１の撮像手段と、前記投光手段光軸方向と異なる方
向から前記投影パターンを撮影する第２の撮像手段とに
より、パターンの投影された測定対象を撮影するステッ
プと、前記第１の撮像手段の撮影した投影パターン画像
と、前記投光手段による投影パターンとの比較を実行す
るステップと、前記第１の撮像手段の撮影した投影パタ
ーン画像に新たなエッジが検出された場合に、該検出エ
ッジに基づく新規コードを割り付けるステップと、前記
新規コードに基づいて第２の撮像手段による撮影パター
ンから第１の距離情報を生成するステップと、を有する
ことを特徴とする３次元画像生成方法にある。

【００２８】さらに、本発明の３次元画像生成方法の一
実施態様において、前記第１の撮像手段の撮影した投影
パターン画像に検出された新たなエッジが、距離測定に
適用可能なエッジであるか否かを判定し、適用可能であ
る場合にのみ、該検出エッジに基づく新規コードを割り
付けることを特徴とする。

【００２９】さらに、本発明の３次元画像生成方法の一
実施態様において、前記投影パターンに対する第１の撮
像手段による撮影パターン内に含まれる、前記新たなエ
ッジによって区分されるセルの強度変化量が所定値以上
の領域について、該第１の撮像手段による撮影パターン
に対応する新規コードを割り付けるステップと、前記新
規コードに基づいて第２の撮像手段による撮影パターン
から前記第１の距離情報を生成するステップと、を有す
ることを特徴とする。

【００３０】さらに、本発明の３次元画像生成方法の一
実施態様において、前記第１の距離情報および第１また
は第２の撮像手段より得られた輝度情報に基づいて３次
元画像を生成するステップを有することを特徴とする。

【００３１】さらに、本発明の３次元画像生成方法の一
実施態様において、前記投光手段による投影パターンに
対する第１の撮像手段による撮影パターンの変化量が所
定値未満の領域について、第１の撮像手段および第２の
撮像手段より得られた各輝度情報の対応づけにより第２
の距離情報を生成し、前記第１の距離情報、第２の距離
情報および第１または第２の撮像手段より得られた輝度
情報を用いて３次元画像を得るステップを有することを
特徴とする。

【００３２】さらに、本発明の３次元画像生成方法の一
実施態様において、前記第２の撮像手段は、前記測定対
象を異なる角度で撮像する複数の撮像手段によって構成
され、該複数の第２の撮像手段の各々の撮影した投影パ
ターンに基づいて求められる距離情報を合成して３次元
画像を得ることを特徴とする。

【００３３】

【発明の実施の形態】以下、図を用いて本発明の３次元
画像撮像装置および３次元画像撮像方法の実施の形態を
詳しく説明する。

【００３４】まず、再コード化処理を用いた距離データ
の取得原理について説明する。再コード化処理を用いた
距離データの取得を実行する３次元画像撮像装置の構成
を表すブロック図を図１に示す。図２に光源と撮像素子
の位置関係を示す。

【００３５】図２に示すように、３次元形状測定装置
は、３台のカメラ１０１〜１０３および投光器１０４を
備える。各カメラの距離関係が揃うように、図示の距離
Ｉ1、Ｉ2、Ｉ3は等しくされている。カメラ３，１０３
と投光器１０４は、ビームスプリッタとしてのハーフミ
ラー１０５を用いて光軸が一致するように配置される。
カメラ１，１０１、カメラ２，１０２は、カメラ３，１
０３と投光器１０４の両側に、それらと光軸が異なるよ
うに配置される。中央の光軸と両側の光軸との距離が基
線長Ｌである。

【００３６】投光器１０４は、光源１０６と、マスクパ
ターン１０７と、強度パターン１０８と、プリズム１０
９とを有する。ここで光源１０６は、赤外もしくは紫外
光を用いた不可視領域の光源を用いることができる。こ
の場合、各カメラは図３に示すように構成される。すな
わち、入射してきた光３１０は、プリズム３０１で２方
向に分割され、一方は不可視領域（赤外あるいは紫外）
透過フィルター３０２を通って撮像装置（例えばＣＣＤ
カメラ）３０３に入射し、他方は不可視領域（赤外と紫
外）遮断フィルター３０４を通って撮像装置３０５に入
射する。

【００３７】また図２に示す光源１０６は、可視領域あ
るいは不可視領域に限定せず、撮像可能な波長帯の光源
を用いてもよい。この場合、カメラ３，１０３において
は、プログレッシブスキャンタイプのＣＣＤカメラを用
い、カメラ１，１０１、カメラ２，１０２に関しては、
特に構成はこだわらない。ただし、カメラ３，１０３と
の対応を考慮すれば、同じ構成のＣＣＤカメラが望まし
い。光源１０６からパターンが投影され、３台のカメラ
１〜３（１０１〜１０３）が同時に撮影を行う。そして
各カメラは、フィルター３０４，３０５（図３参照）を
通過した光を撮像装置３０３，３０５で得ることによ
り、画像の一括取得を行う。

【００３８】図１を用いて３次元形状測定装置の構成を
説明する。図示のように、カメラ１，１０１は、撮影し
て得た輝度情報を輝度値メモリ１２１に記憶し、撮影パ
ターンをパターン画像メモリ１２２に記憶する。カメラ
２，１０２は、同様に、輝度情報を輝度値メモリ１２３
に記憶し、撮影パターンをパターン画像メモリ１２４に
記憶する。カメラ３，１０３は、輝度情報を輝度値メモ
リ１２５に記憶し、撮影パターンをパターン画像メモリ
１２６に記憶する。投光器１０４は、事前に作成したコ
ード化されたパターンを後に参照する為に、各スリット
を正方格子上のセルに分割してフレームメモリ１２７に
格納している。

【００３９】この記憶保持された撮影パターンおよび輝
度情報を用いて、次のようにして３次元画像を得る。以
下の操作は、カメラ１，１０１とカメラ３，１０３の組
み合わせ、カメラ２，１０２とカメラ３，１０３の組み
合わせの双方に共通なので、ここではカメラ１，１０１
とカメラ３，１０３の組み合わせを例にとって説明す
る。

【００４０】図１において、領域分割部１２８は、カメ
ラ３，１０３で撮影された撮影パターンの領域分割を行
う。そして、隣り合うスリットパターン間の強度差が閾
値以下である領域については投光器からの光が届いてな
い領域１として抽出し、スリットパターン間の強度差が
閾値以上である領域については領域２として抽出する。
再コード化部１２９は、抽出された領域２について、パ
ターン画像メモリ１２６に記憶された撮影パターンとフ
レームメモリ１２７に格納された投影パターンを用いて
再コード化を行う。

【００４１】図４は、再コード化を行う際のフローチャ
ートである。まず、各スリットパターンをスリット幅毎
に縦方向に分割し（ステップ１００１）、正方形のセル
を生成する。生成された各セルについて強度の平均値を
とり、平均値を各セルの強度とする（ステップ１００
２）。画像の中心から順に、投影パターン及び撮影パタ
ーンの対応する各セル間の強度を比較し、対象物の反射
率、対象物までの距離などの要因によってパターンが変
化したためにセル間の強度が閾値以上異なるかどうかを
判断する（ステップ１００３）。閾値以上異ならない場
合は、撮影されたすべてのセルについて再コード化を終
了する（ステップ１００７）。

【００４２】閾値以上異なる場合は、新たな強度のセル
かどうか判断する（ステップ１００４）。そして、新た
な強度のセルのときは、新たなコードの生成、割り付け
を行う（ステップ１００５）。また、新たな強度のセル
でないときは、他に出現している部位と識別可能とする
スリットパターンの並びを用いてコード化する（ステッ
プ１００６）。これで、再コード化を終了する（ステッ
プ１００７）。

【００４３】図５はスリットパターンのコード化の例を
示すもので、同図（ａ）はスリットの並びによってコー
ド化された投影パターンであり、強度としてそれぞれ３
（強）、２（中）、１（弱）が割り当てられている。同
図（ｂ）においては、左から３つめのセルで強度が変化
して新たなコードが出現したので、新たに０というコー
ドを割り当てている。同図（ｃ）においては、左から３
つめ上から２つめのセルに既存のコードが出現している
ので、セルの並びから新たなコードとして、縦の並びを
［２３２］、横の並びを［１３１］という具合に再コー
ド化する。この再コード化は、対象の形状が変化に富む
部位には２次元パターンなどの複雑なパターンを投光
し、変化の少ない部位には簡単なパターンを投光してい
るのに等しい。この過程を繰り返し、全てのセルに対し
て一意なコードを割り付けることで再コード化を行う。

【００４４】図６は、カメラ６０１〜６０３および投光
器６０４を用いて、壁６０５の前に配置された板６０６
にコード化されたパターンを投光する例を示す。ここで
コード化されたパターンは、図７に示すスリットパター
ンである。このとき、カメラ６０１、カメラ６０２で得
られる画像は、図８及び図９に示すように、それぞれ板
６０６の影となる領域８０１、９０１が生ずる。本例で
は、板６０６の表面には新たにコード化されたパターン
として、図１０に示すようなスリットパターンが得られ
る。

【００４５】次に図１に戻って説明する。カメラ１，１
０１側のコード復号部１３０は、パターン画像メモリ１
２２から投影パターンを抽出し、上述と同様にしてセル
に分割する。そして、先に再コード化部１２９で再コー
ド化されたコードを用いて各セルのコードを検出し、こ
の検出したコードに基づいて光源からのスリット角θを
算出する。図１１は空間コード化における距離の算出方
法を示す図であり、各画素の属するセルのスリット角θ
とカメラ１で撮影された画像上のｘ座標とカメラパラメ
ータである焦点距離Ｆと基線長Ｌとから、次の（数１）
によって距離Ｚを算出する。

【００４６】

【数１】 Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ） （数１）

【００４７】この距離Ｚの算出は、カメラ２，１０２側
のコード復号部１３１においても、同様に行われる。ま
た、上述の領域１については次のようにして距離を算出
する。領域１では、投光されたパターンによるパターン
検出は行うことができないので、対応点探索部１３２に
おいて、カメラ１〜３の輝度値メモリ１２１、１２３、
１２５から読み出された輝度情報を用いて視差を検出
し、これに基づいて距離を算出する。領域１を除く領域
に対しては、前述の操作により距離が算出されているの
で、領域１の距離の最小値が得られ、また対応づけ可能
な画素も限定される。これらの制限を用いて、画素間の
対応づけを行い視差ｄを検出し、カメラパラメータであ
る画素サイズλを用いて、次の（数２）によって距離Ｚ
を算出する。

【００４８】

【数２】Ｚ＝（Ｌ×Ｆ）／（λ×ｄ） （数２）

【００４９】前述の手法でカメラ３，１０３とカメラ
１，１０１の組み合わせによって得られた距離情報で
は、図８に示す板の影となる領域８０１の距離情報が検
出できない。一方、カメラ３，１０３とカメラ２，１０
２の組み合わせによって得られた距離情報では、図９に
示す板の影となる領域９０１の距離情報が検出できな
い。しかし、図８に示す板の影となる領域８０１の距離
情報が算出可能である。従って、図１の距離情報統合部
１３３において、カメラ３，１０３とカメラ１，１０１
の組で算出された距離情報およびカメラ３，１０３とカ
メラ２，１０２で算出された距離情報から、カメラ３の
画像（図１２）のすべての画素に対する距離情報を取得
する。以上の操作によって得られた距離情報を、例えば
カメラ３の輝度画像に対応づけて３次元画像メモリに記
憶することで３次元画像生成を行う。

【００５０】上述したような構成により、距離データを
取得して３次元画像の生成を実行するわけである。本発
明の３次元画像生成装置における特徴である測定対象物
体の形状あるいは模様に基づく撮影パターンの変化に基
づく再コード化処理および３次元画像生成処理につい
て、以下説明する。

【００５１】図１３に測定対象１３０１に対してパター
ン光を照射するプロジェクタ１３０２、パターン光を投
影した測定対象の撮影を実行する２つの撮像手段１３０
３、１３０４の構成からなる３次元画像撮像処理システ
ム構成を示す。撮像手段１３０３は、投光プロジェクタ
１３０２と同軸方向の像を撮影するために、ビームスプ
リッタとしてのハーフミラー１３０５を介した像を撮影
する構成となっている。撮像手段１３０３、１３０４の
撮影パターンに基づいて前述の手法により測定対象の距
離データ。すなわち３次元形状を求める構成である。

【００５２】投光プロジェクタ１３０２によって測定対
象に投影されるパターンは、例えば図１４（ａ）に示す
パターンであり、測定対象が図１４（ｂ）のような形状
である場合、測定対象に照射されるパターン像、および
２つの撮像手段によって撮影されるパターンは、図１５
に示すようなものとなる。図１５（ａ）が測定対象に投
影されるパターン像であり、図１５（ｂ）が撮像手段１
５０１により撮影されるパターン像であり、図１５
（ｃ）が撮像手段１５０２により撮影されるパターン像
である。

【００５３】図１６にある１つのパターン光（図１６
（ａ））と、そのパターン光に基づいて観測されるエッ
ジ（図１６（ｂ））の態様を示す。エッジは、例えば図
５で説明したコードの境界部を示すラインである。距離
情報を算出するための撮影パターン像の分析は、図１６
（ｂ）に示すエッジ情報に基づいて行うことによって容
易に距離情報を算出することができる。図１６（ａ）の
ようなストライプパターンを投影した場合は、図１６
（ｂ）に示すように、パターンの境界部に５本のエッジ
が観測される。

【００５４】しかし、測定対象によっては、投影パター
ンのストライプ構成とは全く関係のない測定対象自身の
形状、模様、輝度差、反射率差等、様々な要因に基づく
エッジが観測される場合がある。

【００５５】いくつかの具体例について説明する。例え
ば図１７の（ａ）に示すように白い壁１７０１の前に色
のついたボード１７０２を置いたような測定対象構成に
図１６（ａ）に示すと同様のパターン光を照射して撮影
すると、パターン光投光手段と光学的に同軸においた撮
像手段に撮影される像は、図１７（ｂ）に示すようにな
り、その撮影像から抽出されるエッジは、図１７（ｃ）
に示すようになる。図１７（ｃ）に示すように抽出され
るエッジには、測定対象の白い壁１７０１とボード１７
０２の境界部によって生成されるストライプパターンと
平行なエッジ１７０３が含まれる。

【００５６】また、図１８の（ａ）に示すように白い壁
１８０１の前に傾斜部を持つ色のついたボード１８０２
を置いたような測定対象構成に対して、図１６（ａ）に
示すと同様のパターン光を照射して撮影すると、パター
ン光投光手段と光学的に同軸においた撮像手段に撮影さ
れる像は、図１８（ｂ）に示すようになり、その撮影像
から抽出されるエッジは、図１８（ｃ）に示すようにな
る。図１８（ｃ）に示すように抽出されるエッジには、
測定対象の白い壁１８０１とボード１８０２の境界部に
よって生成されるストライプパターンと交わるエッジ１
８０３が含まれる。

【００５７】また、図１９の（ａ）に示すように白い壁
１９０１の前にバスケットボール１９０２を置いたよう
な測定対象構成に図１６（ａ）に示すと同様のパターン
光を照射して撮影すると、パターン光投光手段と光学的
に同軸においた撮像手段に撮影される像は、図１９
（ｂ）に示すようになり、その撮影像から抽出されるエ
ッジは、図１９（ｃ）に示すようになる。図１９（ｃ）
に示すように抽出されるエッジには、測定対象の白い壁
１９０１とバスケットボール１９０２の境界部、および
バスケットボール１９０２の模様によって生成される複
数のエッジ１９０３が含まれる。

【００５８】このように測定対象の形状、模様、輝度
差、反射率差等、様々な要因に基づいて発生するエッジ
が撮像手段によって撮影される。

【００５９】物体の境界部が、図１７に示すようにスト
ライプパターン間に存在したり、図１８に示すように、
複数のストライプパターンにまたがって存在することよ
って、パターン光のエッジ情報のみに基づく距離データ
を算出しようとすると、正確な計測が不可能になる。特
に前者は、正確なエッジ算出が困難になってしまう。そ
こで、図１７，１８に示すように、投光手段と同軸の撮
像手段によって撮影されるパターン画像に含まれる、エ
ッジ情報が、２つの撮像手段、すなわち投光手段と同軸
の撮像手段と、異なる方向からの撮像手段の一によって
決定されるエピポーラ線と平行でなく観測される場合
は、再符号化を実施する際に、新たなエッジとして、割
りつけ、距離算出をする。

【００６０】エピポーラ線と平行なエッジは、観測され
たとしても、２つの撮像手段による距離算出ができない
からである。ただし、投光手段と同軸の撮像手段以外
に、測定対象を異なる方向から撮影する２台以上のカメ
ラを用いて距離計測を実行する場合は、いずれかのカメ
ラとの組み合わせで距離計測が可能になれば投光手段と
同軸の撮像手段によって観測されるすべてのエッジを距
離計測用エッジとして適用することが可能である。図１
９に示すように、極端に反射率の低い（たとえば、黒い
ライン）もの（ここでは、バスケットボールの模様）
や、複数の物体が重なり合ってできる、段差による線
（例えば、ブロック塀を重ねて出来る模様）などによっ
て、発生する情報も、再符号化を行う際に、エッジ情報
として識別して再コード化を実行し、再コード化によっ
て識別された新規コードによって距離情報の生成を行な
う。

【００６１】図２０に、本発明にかかる３次元画像生成
装置において、投影パターンを、投光手段と同光軸で撮
像した画像に基づいて、新たにコードパターンを割り付
ける（再符号化する）処理の詳細を説明するフローチャ
ートを示す。

【００６２】まず、ステップＳ２００１において、投光
手段と同軸の撮像手段によって撮影された投光パターン
画像を分析する。次に、ステップＳ２００２において、
分析された投光パターン画像中に投光手段によって投光
された投光パターンと異なるエッジ、すなわち、測定対
象の形状、模様等に起因して撮影されたエッジが含まれ
るか否かを判定する。新たなエッジが検出された場合
は、ステップＳ２００３において、検出エッジが距離計
測に適用できるエッジであるか否かが判別される。これ
は、前述したように例えば２台のカメラのみを用いた構
成において、検出エッジがエピポーララインと平行であ
る場合は、距離計測に適用できないものと判定し、検出
エッジに基づく再コード化処理は実行しない。

【００６３】検出エッジが、距離計測に適用できるもの
であると判定されると、ステップＳ２００４に進む。ス
テップＳ２００４では、投光手段に与えられたスリット
のセルと前記検出エッジにより区分されるセルの強度が
閾値以上異なるかどうかを判断する。閾値以上異ならな
い場合は、撮影されたすべてのセルについて再コード化
を終了する（ステップ２００８）。

【００６４】閾値以上異なる場合は、新たな強度のセル
かどうか判断する（ステップ２００５）。そして、新た
な強度のセルのときは、新たなコードの生成、割り付け
を行う（ステップ２００６）。また、新たな強度のセル
でないときは、他に出現している部位と識別可能とする
スリットパターンの並びを用いてコード化する（ステッ
プ２００７）。これで、再コード化を終了する（ステッ
プ２００８）。

【００６５】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。

【００６６】

【発明の効果】以上述べたように、本発明の３次元画像
生成装置および３次元画像生成方法は、投光装置で投射
したパターンと、投光手段と光学的に同軸に配置した撮
像手段によって撮影されたパターン画像とを比較し、撮
影画像から投光パターン以外の距離計測可能なエッジを
検出して、該エッジを含むパターンに基づいて再コード
化を実行して、再コード化したデータに基づいて距離情
報を生成するように構成したので、より高精度な距離算
出が可能になる３次元画像生成装置および３次元画像生
成方法が実現される。

【図面の簡単な説明】

【図１】本発明の３次元画像生成装置において使用され
る３次元形状計測装置の構成例を示すブロック図であ
る。

【図２】本発明の３次元画像生成装置において使用され
る３次元形状計測装置のカメラ構成例を示すブロック図
である。

【図３】本発明の３次元画像生成装置において使用され
る３次元形状計測装置の撮像構成を説明する図である。

【図４】本発明の３次元画像生成装置において使用され
る３次元形状計測装置の処理フローを示す図である。

【図５】本発明の３次元画像生成装置において使用され
る３次元形状計測装置の投影パターンのコード化の例を
示す図である。

【図６】本発明の３次元画像生成装置において使用され
る３次元形状計測装置の撮影構成例を示す図である。

【図７】本発明の３次元画像生成装置において使用され
る３次元形状計測装置の投影パターン例を示す図であ
る。

【図８】本発明の３次元画像生成装置において使用され
る３次元形状計測装置のカメラ１で撮影されるスリット
パターンの例を示す図である。

【図９】本発明の３次元画像生成装置において使用され
る３次元形状計測装置のカメラ２で撮影されるスリット
パターンの例を示す図である。

【図１０】本発明の３次元画像生成装置において使用さ
れる３次元形状計測装置において新たにコード化された
スリットパターンの例を示す図である。

【図１１】本発明の３次元画像生成装置において使用さ
れる３次元形状計測装置の空間コード化法による距離算
出法を示す図である。

【図１２】本発明の３次元画像生成装置において使用さ
れる３次元形状計測装置のカメラ３で撮影されるスリッ
トパターンの例を示す図である。

【図１３】本発明の３次元画像生成装置における２台の
撮像手段を用いたパターン画像撮影構成を示す図であ
る。

【図１４】本発明の３次元画像生成装置におけるパター
ンおよび測定対象物の具体例を説明する図である。

【図１５】本発明の３次元画像生成装置における投光パ
ターン像、撮像パターン像の具体例を示す図である。

【図１６】本発明の３次元画像生成装置における投光パ
ターン像、および抽出エッジの具体例を示す図である。

【図１７】本発明の３次元画像生成装置における測定対
象物の形状または模様による新たなエッジ検出例（その
１）を示す図である。

【図１８】本発明の３次元画像生成装置における測定対
象物の形状または模様による新たなエッジ検出例（その
２）を示す図である。

【図１９】本発明の３次元画像生成装置における測定対
象物の形状または模様による新たなエッジ検出例（その
３）を示す図である。

【図２０】本発明の３次元画像生成装置における測定対
象物の形状または模様による新たなエッジ検出時の処理
を説明するフローチャートである。

【図２１】空間コード化法によるコードの転写、途切れ
の例を説明する図である。

【符号の説明】

１０１ カメラ１ １０２ カメラ２ １０３ カメラ３ １０４ 投光器 １０５ ハーフミラー １０６ 光源 １０７ マスクパターン １０８ 強度パターン １０９ プリズム １２１，１２３，１２５ 輝度値メモリ １２２，１２４，１２６ パターン画像メモリ １２７ フレームメモリ １２８ 領域分割部 １２９ 再コード化部 １３０，１３１ コード復号部 １３３ 距離情報の統合部 １３４ ３次元メモリ ３０１ プリズム ３０２，３０４ 透過フィルタ ３０３，３０５ 撮像装置 ６０１，６０２，６０３ カメラ ６０４ 投光器 ６０５ 壁 ６０６ 板 ８０１，９０１ 影領域 １３０１ 測定対象 １３０２ プロジェクタ １３０３，１３０４ 撮像手段 １５０１，１５０２ 撮像手段 １７０１，１８０１，１９０１ 白い壁 １７０２，１８０２ ボード １９０２ バスケットボール １７０３，１８０３，１９０３ エッジ

フロントページの続き Ｆターム(参考） 2F065 AA04 AA06 AA53 BB05 DD03 FF01 FF07 FF09 GG23 HH07 HH13 JJ03 JJ05 JJ26 LL00 LL22 LL46 NN03 PP23 QQ04 QQ23 QQ24 QQ25 QQ32 QQ38 RR07 SS02 SS13 UU01 UU02 UU05 5B057 BA15 CE20 DA07 DB03 DC02 DC16 5B080 AA08

Claims (15)

【特許請求の範囲】
1. 【請求項１】パターンを測定対象に投影する投光手段
   と、前記投光手段の光軸方向から投影パターンを撮影す
   る第１の撮像手段と、前記投光手段光軸方向と異なる方
   向から前記投影パターンを撮影する第２の撮像手段とを
   備え、 前記第１の撮像手段の撮影した投影パターン画像と、前
   記投光手段による投影パターンとの比較により、前記第
   １の撮像手段の撮影した投影パターン画像に新たなエッ
   ジが検出された場合に、該検出エッジに基づく新規コー
   ドを割り付け、前記新規コードに基づいて第２の撮像手
   段による撮影パターンから第１の距離情報を生成する構
   成を有することを特徴とする３次元画像生成装置。
2. 【請求項２】前記３次元画像生成装置は、 前記第１の撮像手段の撮影した投影パターン画像に検出
   された新たなエッジが、距離測定に適用可能なエッジで
   あるか否かを判定し、適用可能である場合にのみ、該検
   出エッジに基づく新規コードを割り付ける構成であるこ
   とを特徴とする請求項１に記載の３次元画像生成装置。
3. 【請求項３】前記３次元画像生成装置は、 前記投影パターンに対する第１の撮像手段による撮影パ
   ターンの前記新たなエッジによって区分されるセルの強
   度変化量が所定値以上の領域について、該第１の撮像手
   段による撮影パターンに対応する新規コードを割り付
   け、前記新規コードに基づいて第２の撮像手段による撮
   影パターンから前記第１の距離情報を生成する構成を有
   することを特徴とする請求項１に記載の３次元画像撮像
   装置。
4. 【請求項４】前記第１の距離情報および第１または第２
   の撮像手段より得られた輝度情報に基づいて３次元画像
   を生成する構成を有することを特徴とする請求項１に記
   載の３次元画像生成装置。
5. 【請求項５】前記投光手段の出射光と、前記第１の撮像
   手段の入射光とは、ビームスプリッタによって分離され
   る構成であり、前記投光手段と前記第１の撮像手段と
   は、それぞれが光学的に同軸となるように配置された構
   成であることを特徴とする請求項１に記載の３次元画像
   生成装置。
6. 【請求項６】前記投光手段による投影パターンに対する
   第１の撮像手段による撮影パターンの変化量が所定値未
   満の領域について、第１の撮像手段および第２の撮像手
   段より得られた各輝度情報の対応づけにより第２の距離
   情報を生成し、前記第１の距離情報、第２の距離情報お
   よび第１または第２の撮像手段より得られた輝度情報を
   用いて３次元画像を得るよう構成したことを特徴とする
   請求項１に記載の３次元画像生成装置。
7. 【請求項７】前記投光手段は不可視領域の光を発生する
   光源を有し、第１の撮像手段は不可視領域の光を透過す
   るフィルターおよび不可視領域の光を遮断するフィルタ
   ーを有することを特徴とする請求項１に記載の３次元画
   像生成装置。
8. 【請求項８】前記第２の撮像手段は、前記測定対象を異
   なる角度で撮像する複数の撮像手段によって構成され、
   該複数の第２の撮像手段の各々の撮影した投影パターン
   に基づいて求められる距離情報を合成して３次元画像を
   得るよう構成したことを特徴とする請求項１に記載の３
   次元画像生成装置。
9. 【請求項９】前記第１の撮像手段の撮影する投影パター
   ン画像に検出される新たなエッジは、前記測定対象の形
   状、模様、輝度差、反射率差のいずれかに基づいて発生
   するエッジであることを特徴とする請求項１に記載の３
   次元画像生成装置。
10. 【請求項１０】投光手段により、パターンを測定対象に
    投影する投光ステップと、 前記投光手段の光軸方向から投影パターンを撮影する第
    １の撮像手段と、前記投光手段光軸方向と異なる方向か
    ら前記投影パターンを撮影する第２の撮像手段とによ
    り、パターンの投影された測定対象を撮影するステップ
    と、 前記第１の撮像手段の撮影した投影パターン画像と、前
    記投光手段による投影パターンとの比較を実行するステ
    ップと、 前記第１の撮像手段の撮影した投影パターン画像に新た
    なエッジが検出された場合に、該検出エッジに基づく新
    規コードを割り付けるステップと、 前記新規コードに基づいて第２の撮像手段による撮影パ
    ターンから第１の距離情報を生成するステップと、 を有することを特徴とする３次元画像生成方法。
11. 【請求項１１】前記３次元画像生成方法は、 前記第１の撮像手段の撮影した投影パターン画像に検出
    された新たなエッジが、距離測定に適用可能なエッジで
    あるか否かを判定し、適用可能である場合にのみ、該検
    出エッジに基づく新規コードを割り付けることを特徴と
    する請求項１０に記載の３次元画像生成方法。
12. 【請求項１２】前記３次元画像生成方法は、さらに、 前記投影パターンに対する第１の撮像手段による撮影パ
    ターン内に含まれる、前記新たなエッジによって区分さ
    れるセルの強度変化量が所定値以上の領域について、該
    第１の撮像手段による撮影パターンに対応する新規コー
    ドを割り付けるステップと、 前記新規コードに基づいて第２の撮像手段による撮影パ
    ターンから前記第１の距離情報を生成するステップと、 を有することを特徴とする請求項１０に記載の３次元画
    像生成方法。
13. 【請求項１３】前記３次元画像生成方法は、さらに、 前記第１の距離情報および第１または第２の撮像手段よ
    り得られた輝度情報に基づいて３次元画像を生成するス
    テップを有することを特徴とする請求項１０に記載の３
    次元画像生成方法。
14. 【請求項１４】前記３次元画像生成方法は、さらに、 前記投光手段による投影パターンに対する第１の撮像手
    段による撮影パターンの変化量が所定値未満の領域につ
    いて、第１の撮像手段および第２の撮像手段より得られ
    た各輝度情報の対応づけにより第２の距離情報を生成
    し、前記第１の距離情報、第２の距離情報および第１ま
    たは第２の撮像手段より得られた輝度情報を用いて３次
    元画像を得るステップを有することを特徴とする請求項
    １０に記載の３次元画像生成方法。
15. 【請求項１５】前記３次元画像生成方法において、 前記第２の撮像手段は、前記測定対象を異なる角度で撮
    像する複数の撮像手段によって構成され、該複数の第２
    の撮像手段の各々の撮影した投影パターンに基づいて求
    められる距離情報を合成して３次元画像を得ることを特
    徴とする請求項１０に記載の３次元画像生成方法。