JP2002107129A - 3次元画像撮像装置および3次元画像撮像方法 - Google Patents
3次元画像撮像装置および3次元画像撮像方法Info
- Publication number
- JP2002107129A JP2002107129A JP2001190713A JP2001190713A JP2002107129A JP 2002107129 A JP2002107129 A JP 2002107129A JP 2001190713 A JP2001190713 A JP 2001190713A JP 2001190713 A JP2001190713 A JP 2001190713A JP 2002107129 A JP2002107129 A JP 2002107129A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- image pickup
- dimensional image
- light
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 複数のカメラによって撮影されたパターン照
射画像に基づく距離データ算出処理を効率的に実行可能
とする3次元画像撮像装置を提供する。 【解決手段】 投影したパターンを同じ光軸で撮影した
パターンを用いて再コード化する方法による3次元形状
計測において、投光素子の主点と、投光素子と同軸配置
した撮像素子の主点を一致させる構成とした。本構成に
より、投光素子と同軸配置した撮像素子の撮影するパタ
ーン像から対象物の形状による歪を消去することが可能
となるので、複数のカメラによって撮影されたパターン
照射画像に基づく距離データ算出処理において、投光素
子と同軸配置した撮像素子による撮影画像の補正処理を
省略することが可能となり、効率的な3次元形状計測お
よび3次元画像生成処理が可能となる。
射画像に基づく距離データ算出処理を効率的に実行可能
とする3次元画像撮像装置を提供する。 【解決手段】 投影したパターンを同じ光軸で撮影した
パターンを用いて再コード化する方法による3次元形状
計測において、投光素子の主点と、投光素子と同軸配置
した撮像素子の主点を一致させる構成とした。本構成に
より、投光素子と同軸配置した撮像素子の撮影するパタ
ーン像から対象物の形状による歪を消去することが可能
となるので、複数のカメラによって撮影されたパターン
照射画像に基づく距離データ算出処理において、投光素
子と同軸配置した撮像素子による撮影画像の補正処理を
省略することが可能となり、効率的な3次元形状計測お
よび3次元画像生成処理が可能となる。
Description
【0001】
【発明の属する技術分野】本発明は測定対象に対してパ
ターン光を照射することによって得られるパターン投影
像を、複数の撮像手段で異なる方向から撮像し、パター
ンの変化に基づいて距離情報を得る三角測量法に基づく
3次元画像撮像装置および3次元画像撮像方法に関す
る。
ターン光を照射することによって得られるパターン投影
像を、複数の撮像手段で異なる方向から撮像し、パター
ンの変化に基づいて距離情報を得る三角測量法に基づく
3次元画像撮像装置および3次元画像撮像方法に関す
る。
【0002】
【従来の技術】3次元形状を取得する手法には、アクテ
ィブ手法(Active vision)とパッシブ手法(Passive v
ision)がある。アクティブ手法は、(1)レーザ光や超
音波等を発して、対象物からの反射光量や到達時間を計
測し、奥行き情報を抽出するレーザー手法や、(2)ス
リット光などの特殊なパターン光源を用いて、対象表面
パターンの幾何学的変形等の画像情報より対象形状を推
定するパターン投影方法や、(3)光学的処理によってモ
アレ縞により等高線を形成させて、3次元情報を得る方
法などがある。一方、パッシブ手法は、対象物の見え
方、光源、照明、影情報等に関する知識を利用して、一
枚の画像から3次元情報を推定する単眼立体視、三角測
量原理で各画素の奥行き情報を推定する二眼立体視等が
ある。
ィブ手法(Active vision)とパッシブ手法(Passive v
ision)がある。アクティブ手法は、(1)レーザ光や超
音波等を発して、対象物からの反射光量や到達時間を計
測し、奥行き情報を抽出するレーザー手法や、(2)ス
リット光などの特殊なパターン光源を用いて、対象表面
パターンの幾何学的変形等の画像情報より対象形状を推
定するパターン投影方法や、(3)光学的処理によってモ
アレ縞により等高線を形成させて、3次元情報を得る方
法などがある。一方、パッシブ手法は、対象物の見え
方、光源、照明、影情報等に関する知識を利用して、一
枚の画像から3次元情報を推定する単眼立体視、三角測
量原理で各画素の奥行き情報を推定する二眼立体視等が
ある。
【0003】一般的にアクティブ手法のほうが計測精度
は高いが、投光手段の限界などにより、測定できるレン
ジが小さい場合が多い。一方、パッシブ手法は汎用的で
あり、対象に対する制約が少ない。本発明は、このアク
ティブ手法の3次元計測装置であるパターン投影法に関
するものである。
は高いが、投光手段の限界などにより、測定できるレン
ジが小さい場合が多い。一方、パッシブ手法は汎用的で
あり、対象に対する制約が少ない。本発明は、このアク
ティブ手法の3次元計測装置であるパターン投影法に関
するものである。
【0004】パターン投影法では、対象とする物体に基
準となるパターン光を投影し、基準となるパターン光が
投影された方向とは異なる方向から撮影を行う。撮影さ
れたパターンは、物体の形状によって変形を受けたもの
となる。観測された変形パターンと投影したパターンと
の対応づけを行うことで、物体の3次元計測を行える。
パターン投影法では、変形パターンと投影したパターン
の対応づけにおいていかに誤対応を少なくし、かつ簡便
に行うかが課題となる。そこで、様々なパターン投影の
手法(空間パターンコード化、モアレ、色符号化)が提案
されている。
準となるパターン光を投影し、基準となるパターン光が
投影された方向とは異なる方向から撮影を行う。撮影さ
れたパターンは、物体の形状によって変形を受けたもの
となる。観測された変形パターンと投影したパターンと
の対応づけを行うことで、物体の3次元計測を行える。
パターン投影法では、変形パターンと投影したパターン
の対応づけにおいていかに誤対応を少なくし、かつ簡便
に行うかが課題となる。そこで、様々なパターン投影の
手法(空間パターンコード化、モアレ、色符号化)が提案
されている。
【0005】代表的な空間コード化の一例として特開平
5−3327375号公報に開示されている実施例につ
いて説明する。この例では、レーザ光源とレーザ光をス
リット形に整形するレンズ系と、整形されたレーザ光を
対象物に走査して照射するスキャンニング装置と対象物
からの反射光を検出するカメラとこれらを制御する装置
からなる。
5−3327375号公報に開示されている実施例につ
いて説明する。この例では、レーザ光源とレーザ光をス
リット形に整形するレンズ系と、整形されたレーザ光を
対象物に走査して照射するスキャンニング装置と対象物
からの反射光を検出するカメラとこれらを制御する装置
からなる。
【0006】スキャンニング装置から走査されるレーザ
光によって対象物上に、レーザ光が照射された部分と照
射されていない部分とで縞模様が形成される。レーザ光
の照射を異なる複数のパターンによって行うことで対象
物上はN個の識別可能な部分に分割される。対象物を異
なる位置からカメラで撮影した画像上の各画素が分割さ
れたどの部分に含まれるかを判別することで対象物の形
状を算出できる。
光によって対象物上に、レーザ光が照射された部分と照
射されていない部分とで縞模様が形成される。レーザ光
の照射を異なる複数のパターンによって行うことで対象
物上はN個の識別可能な部分に分割される。対象物を異
なる位置からカメラで撮影した画像上の各画素が分割さ
れたどの部分に含まれるかを判別することで対象物の形
状を算出できる。
【0007】本例では、解像度を高くする為には複数回
のレーザによるスキャンを行い、複数回のカメラによる
撮影が必要となる。例えば、画面を256の領域に分割
する為には8回の撮影が必要となる。そのため動きの早
い物体の撮影は困難となり、更にスキャンを行う間は撮
影系を確実に固定しておく必要があるので装置自体は簡
便となっても手軽に撮影を行う事は難しい。
のレーザによるスキャンを行い、複数回のカメラによる
撮影が必要となる。例えば、画面を256の領域に分割
する為には8回の撮影が必要となる。そのため動きの早
い物体の撮影は困難となり、更にスキャンを行う間は撮
影系を確実に固定しておく必要があるので装置自体は簡
便となっても手軽に撮影を行う事は難しい。
【0008】パターンの投光回数を減らす手段として特
開平3−192474号公報に開示されている色符号化
がある。色符号化においては、q、kを2以上の所定の自
然数とした時、q色以上の色を用いて、隣接する2本のス
リット光が同色にならず、隣接するk本のスリット光に
よる色の並びが1度しか現れないように符号化されたパ
ターンを投影し、観測された画像からスリットの色を検
出し、該当スリットの色並びからスリット番号を取得す
る。スリット番号から、スリットの照射方向を算出し空
間コード化の例と同様に距離を算出することができる。
開平3−192474号公報に開示されている色符号化
がある。色符号化においては、q、kを2以上の所定の自
然数とした時、q色以上の色を用いて、隣接する2本のス
リット光が同色にならず、隣接するk本のスリット光に
よる色の並びが1度しか現れないように符号化されたパ
ターンを投影し、観測された画像からスリットの色を検
出し、該当スリットの色並びからスリット番号を取得す
る。スリット番号から、スリットの照射方向を算出し空
間コード化の例と同様に距離を算出することができる。
【0009】しかしながら、色符号化ではコード列の並
びからコードを復元する為に、コードの復元の計算量が
大きいという問題点がある。更に、R,G,Bの3色を
用いて256の領域に分割したい場合には、コードを知
りたいスリットの周囲8本のスリット光の並びを知る必
要があり、連続してスリットが長く観測できるような形
状の物体の計測にしか適さない。
びからコードを復元する為に、コードの復元の計算量が
大きいという問題点がある。更に、R,G,Bの3色を
用いて256の領域に分割したい場合には、コードを知
りたいスリットの周囲8本のスリット光の並びを知る必
要があり、連続してスリットが長く観測できるような形
状の物体の計測にしか適さない。
【0010】スリットの復元を容易に行い、更に1回で
コード化されたパターンを投影する手段として特許第2
565885号で公開されている空間パターンコード化
法がある。この特許では、3値以上の濃淡、又は3色以
上の色、又は濃淡と色の組み合わせによって3種類以上
の階調領域を有し、該階調領域の境界線の交点において
少なくとも3種類の階調領域が互いに接しているように
配置した多値格子板パターンを具備し、該パターンを被
測定対象物に投影して生じる投影像の交点に該交点で接
する階調の種類と順序に応じた主コードを付与し、該主
コードを、または交点の主コードとその周囲交点の主コ
ードとを組み合わせた組み合わせコードを、交点の識別
用の特徴コードとして付与したことを特徴とする。
コード化されたパターンを投影する手段として特許第2
565885号で公開されている空間パターンコード化
法がある。この特許では、3値以上の濃淡、又は3色以
上の色、又は濃淡と色の組み合わせによって3種類以上
の階調領域を有し、該階調領域の境界線の交点において
少なくとも3種類の階調領域が互いに接しているように
配置した多値格子板パターンを具備し、該パターンを被
測定対象物に投影して生じる投影像の交点に該交点で接
する階調の種類と順序に応じた主コードを付与し、該主
コードを、または交点の主コードとその周囲交点の主コ
ードとを組み合わせた組み合わせコードを、交点の識別
用の特徴コードとして付与したことを特徴とする。
【0011】しかし、上述の方式では撮影対象によって
はコード化が崩れてしまい正しくコードの対応づけがで
きなくなる場合がある。例えば、図18で示すように光
源によって投光されたパターン列が"12345678"であると
き、撮影対象の構造によってはカメラで撮影されるパタ
ーン列が"1267"と欠落して認識されたり、パターン列"7
58"のように反転したパターン列が得られる場合があ
る。また、対象物の形状や反射率などによっても投光し
たパターンと撮影されたパターン列の変化により対応づ
けは困難となる。
はコード化が崩れてしまい正しくコードの対応づけがで
きなくなる場合がある。例えば、図18で示すように光
源によって投光されたパターン列が"12345678"であると
き、撮影対象の構造によってはカメラで撮影されるパタ
ーン列が"1267"と欠落して認識されたり、パターン列"7
58"のように反転したパターン列が得られる場合があ
る。また、対象物の形状や反射率などによっても投光し
たパターンと撮影されたパターン列の変化により対応づ
けは困難となる。
【0012】色符号化においては、復号化時にスリット
のグループ化を行う際、スリットの欠落、反転の可能性
があるパターンについては復号を行わない手法を用いて
この問題を回避している。空間パターンコード化法では
2次元パターンを用いることで、前述の誤りの可能性を
低減してはいるが、原理的には対象物によっては同じ誤
りが生じる。従って、前述の方式では、実験室内の特殊
な状況や対象物体を限定した状況での撮影では優れた精
度が得られるものの、対象を限定しない一般的な撮影状
況では精度の劣化は否めない。また、光源を用いた投光
を行う手法では、広いレンジを有するものを対象とした
時に、投光が届かない部位については3次元形状が得ら
れない。また、投光されたパターンを対象物が遮ること
で生じる影の領域も、距離の計測ができないため、実際
に見えているのに距離が得られない領域が存在してしま
う。
のグループ化を行う際、スリットの欠落、反転の可能性
があるパターンについては復号を行わない手法を用いて
この問題を回避している。空間パターンコード化法では
2次元パターンを用いることで、前述の誤りの可能性を
低減してはいるが、原理的には対象物によっては同じ誤
りが生じる。従って、前述の方式では、実験室内の特殊
な状況や対象物体を限定した状況での撮影では優れた精
度が得られるものの、対象を限定しない一般的な撮影状
況では精度の劣化は否めない。また、光源を用いた投光
を行う手法では、広いレンジを有するものを対象とした
時に、投光が届かない部位については3次元形状が得ら
れない。また、投光されたパターンを対象物が遮ること
で生じる影の領域も、距離の計測ができないため、実際
に見えているのに距離が得られない領域が存在してしま
う。
【0013】そこで、本出願と同一出願人に係る特願平
10−191063号、(特開2000−9442)、特
願平10−247796(特開2000−65542)で
は投光されたパターンをフィードバックし新たなコード
を生成することで対象物に依存しない3次元画像撮影装
置を提案した。
10−191063号、(特開2000−9442)、特
願平10−247796(特開2000−65542)で
は投光されたパターンをフィードバックし新たなコード
を生成することで対象物に依存しない3次元画像撮影装
置を提案した。
【0014】
【発明が解決しようとする課題】上記の特願平10−1
91063号、(特開2000−9442)、特願平10
−247796(特開2000−65542)における3
次元画像撮影装置は、投光パターンを複数の強度や複数
の波長によって符号化されたものを投影して実現する。
その際に、投光パターンが被写体の輝度情報、素材など
の影響によって変化し、3次元形状を算出する際に、エ
ラーとなって適切な3次元形状が計測できない。そのた
めに、上記3次元撮像装置は、投光素子と同光軸に配置
をし、被写体情報による投光パターンの変化分をモニタ
し、再符号化を実施し、3次元形状を計測している。
91063号、(特開2000−9442)、特願平10
−247796(特開2000−65542)における3
次元画像撮影装置は、投光パターンを複数の強度や複数
の波長によって符号化されたものを投影して実現する。
その際に、投光パターンが被写体の輝度情報、素材など
の影響によって変化し、3次元形状を算出する際に、エ
ラーとなって適切な3次元形状が計測できない。そのた
めに、上記3次元撮像装置は、投光素子と同光軸に配置
をし、被写体情報による投光パターンの変化分をモニタ
し、再符号化を実施し、3次元形状を計測している。
【0015】しかしながら、上記構成において、投光素
子及び撮像素子を同光軸にすることが再符号化を実施す
るための必須条件であるが、投光素子と受光素子の主点
の差によって、投光パターンのスリットが同光軸では連
続した直線のスリットパターンにならなくなってしま
う。
子及び撮像素子を同光軸にすることが再符号化を実施す
るための必須条件であるが、投光素子と受光素子の主点
の差によって、投光パターンのスリットが同光軸では連
続した直線のスリットパターンにならなくなってしま
う。
【0016】この例を図19を用いて説明する。図19
(a)に示すような、同光軸に配置してある投光素子
(AまたはB)と受光素子(AまたはB)を仮想的に重
ねた系で、素子からの距離が異なる表面を持つオブジェ
クト(図19(b)参照)にスリットパターンを照射し
て撮像する。図中の広がりはストライプの幅を表す。ま
た、素子A,Bは仮想的に主点の位置を表すものであ
る。
(a)に示すような、同光軸に配置してある投光素子
(AまたはB)と受光素子(AまたはB)を仮想的に重
ねた系で、素子からの距離が異なる表面を持つオブジェ
クト(図19(b)参照)にスリットパターンを照射し
て撮像する。図中の広がりはストライプの幅を表す。ま
た、素子A,Bは仮想的に主点の位置を表すものであ
る。
【0017】このような凹凸を持つ物体に投光したスリ
ットパターンを撮像するとスリットA及びBは図20に
示すように観測される。理想的には、図20(a)の様
に、被写体の位置に依存せずに二本のスリットとして観
測されるのが望ましい。しかしながら、投光素子や受光
素子の、主点の相違により、図20(b)や図20
(c)のようなスリットとして観測されてしまう。図2
0(c)は、投光素子の主点が物体に近い前方の素子
A、撮像素子の主点が後方の素子Bとして設定した場合
の観測画像であり、図20(b)は、撮像素子の主点が
物体に近い前方の素子A、投光素子が後方の素子Bとし
て設定した場合の観測画像である。
ットパターンを撮像するとスリットA及びBは図20に
示すように観測される。理想的には、図20(a)の様
に、被写体の位置に依存せずに二本のスリットとして観
測されるのが望ましい。しかしながら、投光素子や受光
素子の、主点の相違により、図20(b)や図20
(c)のようなスリットとして観測されてしまう。図2
0(c)は、投光素子の主点が物体に近い前方の素子
A、撮像素子の主点が後方の素子Bとして設定した場合
の観測画像であり、図20(b)は、撮像素子の主点が
物体に近い前方の素子A、投光素子が後方の素子Bとし
て設定した場合の観測画像である。
【0018】符号化したパターンを投光し、被写体情報
によって変化させられた同光軸で観測される輝度情報を
再度符号化する際に、図20(a)のようなスリットで
なく、図20(b)や図20(c)のようなパターンで
観測されると、再符号化処理の際に、膨大な計算時間が
かかったり、符号化認識エラーが発生し、正確な距離画
像算出が出来ないといった問題があった。
によって変化させられた同光軸で観測される輝度情報を
再度符号化する際に、図20(a)のようなスリットで
なく、図20(b)や図20(c)のようなパターンで
観測されると、再符号化処理の際に、膨大な計算時間が
かかったり、符号化認識エラーが発生し、正確な距離画
像算出が出来ないといった問題があった。
【0019】本発明は、上記問題点を解決することを目
的としてなされたものであり、投影装置と、同光軸撮像
する撮像素子を同じ光軸、同じ主点で設計し、欠落情報
のないスリットパターンを撮像することによって、良好
な距離情報を得ることを可能にする3次元画像撮像装置
および3次元画像撮像方法を提供することを目的とす
る。
的としてなされたものであり、投影装置と、同光軸撮像
する撮像素子を同じ光軸、同じ主点で設計し、欠落情報
のないスリットパターンを撮像することによって、良好
な距離情報を得ることを可能にする3次元画像撮像装置
および3次元画像撮像方法を提供することを目的とす
る。
【0020】
【課題を解決するための手段】本発明は、上述の目的を
解決するものであり、その第1の側面は、パターンを測
定対象に投影する投光手段と、前記投光手段の光軸上で
投影パターンを撮影する第1の撮像手段であり、前記投
光手段の投光光学系の持つ主点と一致する主点を持つ第
1の撮像手段と、前記投光手段の光軸上と異なる位置か
ら前記投影パターンを撮影する第2の撮像手段とを備
え、前記第2の撮像手段の撮影した投影パターンに基づ
いて第1の距離情報を生成する構成を有することを特徴
とする3次元画像撮像装置にある。
解決するものであり、その第1の側面は、パターンを測
定対象に投影する投光手段と、前記投光手段の光軸上で
投影パターンを撮影する第1の撮像手段であり、前記投
光手段の投光光学系の持つ主点と一致する主点を持つ第
1の撮像手段と、前記投光手段の光軸上と異なる位置か
ら前記投影パターンを撮影する第2の撮像手段とを備
え、前記第2の撮像手段の撮影した投影パターンに基づ
いて第1の距離情報を生成する構成を有することを特徴
とする3次元画像撮像装置にある。
【0021】さらに、本発明の3次元画像撮像装置の一
実施態様において、前記投影パターンに対する第1の撮
像手段による撮影パターンの変化量が所定値以上の領域
について、該第1の撮像手段による撮影パターンに対応
する新規コードを割り付け、前記新規コードに基づいて
第2の撮像手段による撮影パターンから前記第1の距離
情報を生成する構成を有することを特徴とする。
実施態様において、前記投影パターンに対する第1の撮
像手段による撮影パターンの変化量が所定値以上の領域
について、該第1の撮像手段による撮影パターンに対応
する新規コードを割り付け、前記新規コードに基づいて
第2の撮像手段による撮影パターンから前記第1の距離
情報を生成する構成を有することを特徴とする。
【0022】さらに、本発明の3次元画像撮像装置の一
実施態様において、前記第1の距離情報および第1また
は第2の撮像手段より得られた輝度情報に基づいて3次
元画像を生成する構成を有することを特徴とする。
実施態様において、前記第1の距離情報および第1また
は第2の撮像手段より得られた輝度情報に基づいて3次
元画像を生成する構成を有することを特徴とする。
【0023】さらに、本発明の3次元画像撮像装置の一
実施態様において、前記投光手段の出射光と、前記第1
の撮像手段の入射光とは、ビームスプリッタによって分
離される構成であり、前記投光手段と前記第1の撮像手
段とは、それぞれの光学系の持つ光軸および主点が一致
するように配置された構成であることを特徴とする。
実施態様において、前記投光手段の出射光と、前記第1
の撮像手段の入射光とは、ビームスプリッタによって分
離される構成であり、前記投光手段と前記第1の撮像手
段とは、それぞれの光学系の持つ光軸および主点が一致
するように配置された構成であることを特徴とする。
【0024】さらに、本発明の3次元画像撮像装置の一
実施態様において、前記投光手段による投影パターンに
対する第1の撮像手段による撮影パターンの変化量が所
定値未満の領域について、第1の撮像手段および第2の
撮像手段より得られた各輝度情報の対応づけにより第2
の距離情報を生成し、前記第1の距離情報、第2の距離
情報および第1または第2の撮像手段より得られた輝度
情報を用いて3次元画像を得るよう構成したことを特徴
とする。
実施態様において、前記投光手段による投影パターンに
対する第1の撮像手段による撮影パターンの変化量が所
定値未満の領域について、第1の撮像手段および第2の
撮像手段より得られた各輝度情報の対応づけにより第2
の距離情報を生成し、前記第1の距離情報、第2の距離
情報および第1または第2の撮像手段より得られた輝度
情報を用いて3次元画像を得るよう構成したことを特徴
とする。
【0025】さらに、本発明の3次元画像撮像装置の一
実施態様において、前記投光手段は不可視領域の光を発
生する光源を有し、第1の撮像手段は不可視領域の光を
透過するフィルターおよび不可視領域の光を遮断するフ
ィルターを有することを特徴とする。
実施態様において、前記投光手段は不可視領域の光を発
生する光源を有し、第1の撮像手段は不可視領域の光を
透過するフィルターおよび不可視領域の光を遮断するフ
ィルターを有することを特徴とする。
【0026】さらに、本発明の3次元画像撮像装置の一
実施態様において、前記第2の撮像手段は、前記測定対
象を異なる角度で撮像する複数の撮像手段によって構成
され、該複数の第2の撮像手段の各々の撮影した投影パ
ターンに基づいて求められる距離情報を合成して3次元
画像を得るよう構成したことを特徴とする。
実施態様において、前記第2の撮像手段は、前記測定対
象を異なる角度で撮像する複数の撮像手段によって構成
され、該複数の第2の撮像手段の各々の撮影した投影パ
ターンに基づいて求められる距離情報を合成して3次元
画像を得るよう構成したことを特徴とする。
【0027】さらに、本発明の第2の側面は、投光手段
により、パターンを測定対象に投影する投光ステップ
と、前記投光手段の光軸上で投影パターンを撮影する第
1の撮像手段であり、前記投光手段の投光光学系の持つ
主点と一致する主点を持つ第1の撮像手段と、前記投光
手段の光軸上と異なる位置から前記投影パターンを撮影
する第2の撮像手段とにより、パターンの投影された測
定対象を撮影するステップと、前記第2の撮像手段の撮
影した投影パターンに基づいて第1の距離情報を生成す
るステップと、を有することを特徴とする3次元画像撮
像方法にある。
により、パターンを測定対象に投影する投光ステップ
と、前記投光手段の光軸上で投影パターンを撮影する第
1の撮像手段であり、前記投光手段の投光光学系の持つ
主点と一致する主点を持つ第1の撮像手段と、前記投光
手段の光軸上と異なる位置から前記投影パターンを撮影
する第2の撮像手段とにより、パターンの投影された測
定対象を撮影するステップと、前記第2の撮像手段の撮
影した投影パターンに基づいて第1の距離情報を生成す
るステップと、を有することを特徴とする3次元画像撮
像方法にある。
【0028】さらに、本発明の3次元画像撮像方法の一
実施態様において、前記投影パターンに対する第1の撮
像手段による撮影パターンの変化量が所定値以上の領域
について、該第1の撮像手段による撮影パターンに対応
する新規コードを割り付けるステップと、前記新規コー
ドに基づいて第2の撮像手段による撮影パターンから前
記第1の距離情報を生成するステップと、を有すること
を特徴とする。
実施態様において、前記投影パターンに対する第1の撮
像手段による撮影パターンの変化量が所定値以上の領域
について、該第1の撮像手段による撮影パターンに対応
する新規コードを割り付けるステップと、前記新規コー
ドに基づいて第2の撮像手段による撮影パターンから前
記第1の距離情報を生成するステップと、を有すること
を特徴とする。
【0029】さらに、本発明の3次元画像撮像方法の一
実施態様において、前記第1の距離情報および第1また
は第2の撮像手段より得られた輝度情報に基づいて3次
元画像を生成するステップを有することを特徴とする。
実施態様において、前記第1の距離情報および第1また
は第2の撮像手段より得られた輝度情報に基づいて3次
元画像を生成するステップを有することを特徴とする。
【0030】さらに、本発明の3次元画像撮像方法の一
実施態様において、前記投光手段による投影パターンに
対する第1の撮像手段による撮影パターンの変化量が所
定値未満の領域について、第1の撮像手段および第2の
撮像手段より得られた各輝度情報の対応づけにより第2
の距離情報を生成し、前記第1の距離情報、第2の距離
情報および第1または第2の撮像手段より得られた輝度
情報を用いて3次元画像を得るステップを有することを
特徴とする。
実施態様において、前記投光手段による投影パターンに
対する第1の撮像手段による撮影パターンの変化量が所
定値未満の領域について、第1の撮像手段および第2の
撮像手段より得られた各輝度情報の対応づけにより第2
の距離情報を生成し、前記第1の距離情報、第2の距離
情報および第1または第2の撮像手段より得られた輝度
情報を用いて3次元画像を得るステップを有することを
特徴とする。
【0031】さらに、本発明の3次元画像撮像方法の一
実施態様において、前記第2の撮像手段は、前記測定対
象を異なる角度で撮像する複数の撮像手段によって構成
され、該複数の第2の撮像手段の各々の撮影した投影パ
ターンに基づいて求められる距離情報を合成して3次元
画像を得ることを特徴とする。
実施態様において、前記第2の撮像手段は、前記測定対
象を異なる角度で撮像する複数の撮像手段によって構成
され、該複数の第2の撮像手段の各々の撮影した投影パ
ターンに基づいて求められる距離情報を合成して3次元
画像を得ることを特徴とする。
【0032】
【発明の実施の形態】以下、図を用いて本発明の3次元
画像撮像装置および3次元画像撮像方法の実施の形態を
詳しく説明する。
画像撮像装置および3次元画像撮像方法の実施の形態を
詳しく説明する。
【0033】3次元画像撮像装置の構成を表すブロック
図を図1に示す。図2に光源と撮像素子の位置関係を示
す。
図を図1に示す。図2に光源と撮像素子の位置関係を示
す。
【0034】図2に示すように、3次元形状測定装置
は、3台のカメラ101〜103および投光器104を
備える。各カメラの距離関係が揃うように、図示の距離
I1、I2、I3は等しくされている。カメラ3,103
と投光器104は、ビームスプリッタとしてのハーフミ
ラー105を用いて光軸が一致するように配置される。
カメラ1,101、カメラ2,102は、カメラ3,1
03と投光器104の両側に、それらと光軸が異なるよ
うに配置される。中央の光軸と両側の光軸との距離が基
線長Lである。
は、3台のカメラ101〜103および投光器104を
備える。各カメラの距離関係が揃うように、図示の距離
I1、I2、I3は等しくされている。カメラ3,103
と投光器104は、ビームスプリッタとしてのハーフミ
ラー105を用いて光軸が一致するように配置される。
カメラ1,101、カメラ2,102は、カメラ3,1
03と投光器104の両側に、それらと光軸が異なるよ
うに配置される。中央の光軸と両側の光軸との距離が基
線長Lである。
【0035】投光器104は、光源106と、マスクパ
ターン107と、強度パターン108と、プリズム10
9とを有する。ここで光源106は、赤外もしくは紫外
光を用いた不可視領域の光源を用いることができる。こ
の場合、各カメラは図3に示すように構成される。すな
わち、入射してきた光310は、プリズム301で2方
向に分割され、一方は不可視領域(赤外あるいは紫外)
透過フィルター302を通って撮像装置(例えばCCD
カメラ)303に入射し、他方は不可視領域(赤外と紫
外)遮断フィルター304を通って撮像装置305に入
射する。
ターン107と、強度パターン108と、プリズム10
9とを有する。ここで光源106は、赤外もしくは紫外
光を用いた不可視領域の光源を用いることができる。こ
の場合、各カメラは図3に示すように構成される。すな
わち、入射してきた光310は、プリズム301で2方
向に分割され、一方は不可視領域(赤外あるいは紫外)
透過フィルター302を通って撮像装置(例えばCCD
カメラ)303に入射し、他方は不可視領域(赤外と紫
外)遮断フィルター304を通って撮像装置305に入
射する。
【0036】また図2に示す光源106は、可視領域あ
るいは不可視領域に限定せず、撮像可能な波長帯の光源
を用いてもよい。この場合、カメラ3,103において
は、プログレッシブスキャンタイプのCCDカメラを用
い、カメラ1,101、カメラ2,102に関しては、
特に構成はこだわらない。ただし、カメラ3,103と
の対応を考慮すれば、同じ構成のCCDカメラが望まし
い。光源106からパターンが投影され、3台のカメラ
1〜3(101〜103)が同時に撮影を行う。そして
各カメラは、フィルター304,305(図3参照)を
通過した光を撮像装置303,305で得ることによ
り、画像の一括取得を行う。
るいは不可視領域に限定せず、撮像可能な波長帯の光源
を用いてもよい。この場合、カメラ3,103において
は、プログレッシブスキャンタイプのCCDカメラを用
い、カメラ1,101、カメラ2,102に関しては、
特に構成はこだわらない。ただし、カメラ3,103と
の対応を考慮すれば、同じ構成のCCDカメラが望まし
い。光源106からパターンが投影され、3台のカメラ
1〜3(101〜103)が同時に撮影を行う。そして
各カメラは、フィルター304,305(図3参照)を
通過した光を撮像装置303,305で得ることによ
り、画像の一括取得を行う。
【0037】図1を用いて3次元形状測定装置の構成を
説明する。図示のように、カメラ1,101は、撮影し
て得た輝度情報を輝度値メモリ121に記憶し、撮影パ
ターンをパターン画像メモリ122に記憶する。カメラ
2,102は、同様に、輝度情報を輝度値メモリ123
に記憶し、撮影パターンをパターン画像メモリ124に
記憶する。カメラ3,103は、輝度情報を輝度値メモ
リ125に記憶し、撮影パターンをパターン画像メモリ
126に記憶する。投光器104は、事前に作成したコ
ード化されたパターンを後に参照する為に、各スリット
を正方格子上のセルに分割してフレームメモリ127に
格納している。
説明する。図示のように、カメラ1,101は、撮影し
て得た輝度情報を輝度値メモリ121に記憶し、撮影パ
ターンをパターン画像メモリ122に記憶する。カメラ
2,102は、同様に、輝度情報を輝度値メモリ123
に記憶し、撮影パターンをパターン画像メモリ124に
記憶する。カメラ3,103は、輝度情報を輝度値メモ
リ125に記憶し、撮影パターンをパターン画像メモリ
126に記憶する。投光器104は、事前に作成したコ
ード化されたパターンを後に参照する為に、各スリット
を正方格子上のセルに分割してフレームメモリ127に
格納している。
【0038】この記憶保持された撮影パターンおよび輝
度情報を用いて、次のようにして3次元画像を得る。以
下の操作は、カメラ1,101とカメラ3,103の組
み合わせ、カメラ2,102とカメラ3,103の組み
合わせの双方に共通なので、ここではカメラ1,101
とカメラ3,103の組み合わせを例にとって説明す
る。
度情報を用いて、次のようにして3次元画像を得る。以
下の操作は、カメラ1,101とカメラ3,103の組
み合わせ、カメラ2,102とカメラ3,103の組み
合わせの双方に共通なので、ここではカメラ1,101
とカメラ3,103の組み合わせを例にとって説明す
る。
【0039】図1において、領域分割部128は、カメ
ラ3,103で撮影された撮影パターンの領域分割を行
う。そして、隣り合うスリットパターン間の強度差が閾
値以下である領域については投光器からの光が届いてな
い領域1として抽出し、スリットパターン間の強度差が
閾値以上である領域については領域2として抽出する。
再コード化部129は、抽出された領域2について、パ
ターン画像メモリ126に記憶された撮影パターンとフ
レームメモリ127に格納された投影パターンを用いて
再コード化を行う。
ラ3,103で撮影された撮影パターンの領域分割を行
う。そして、隣り合うスリットパターン間の強度差が閾
値以下である領域については投光器からの光が届いてな
い領域1として抽出し、スリットパターン間の強度差が
閾値以上である領域については領域2として抽出する。
再コード化部129は、抽出された領域2について、パ
ターン画像メモリ126に記憶された撮影パターンとフ
レームメモリ127に格納された投影パターンを用いて
再コード化を行う。
【0040】図4は、再コード化を行う際のフローチャ
ートである。まず、各スリットパターンをスリット幅毎
に縦方向に分割し(ステップ1001)、正方形のセル
を生成する。生成された各セルについて強度の平均値を
とり、平均値を各セルの強度とする(ステップ100
2)。画像の中心から順に、投影パターン及び撮影パタ
ーンの対応する各セル間の強度を比較し、対象物の反射
率、対象物までの距離などの要因によってパターンが変
化したためにセル間の強度が閾値以上異なるかどうかを
判断する(ステップ1003)。閾値以上異ならない場
合は、撮影されたすべてのセルについて再コード化を終
了する(ステップ1007)。
ートである。まず、各スリットパターンをスリット幅毎
に縦方向に分割し(ステップ1001)、正方形のセル
を生成する。生成された各セルについて強度の平均値を
とり、平均値を各セルの強度とする(ステップ100
2)。画像の中心から順に、投影パターン及び撮影パタ
ーンの対応する各セル間の強度を比較し、対象物の反射
率、対象物までの距離などの要因によってパターンが変
化したためにセル間の強度が閾値以上異なるかどうかを
判断する(ステップ1003)。閾値以上異ならない場
合は、撮影されたすべてのセルについて再コード化を終
了する(ステップ1007)。
【0041】閾値以上異なる場合は、新たな強度のセル
かどうか判断する(ステップ1004)。そして、新た
な強度のセルのときは、新たなコードの生成、割り付け
を行う(ステップ1005)。また、新たな強度のセル
でないときは、他に出現している部位と識別可能とする
スリットパターンの並びを用いてコード化する(ステッ
プ1006)。これで、再コード化を終了する(ステッ
プ1007)。
かどうか判断する(ステップ1004)。そして、新た
な強度のセルのときは、新たなコードの生成、割り付け
を行う(ステップ1005)。また、新たな強度のセル
でないときは、他に出現している部位と識別可能とする
スリットパターンの並びを用いてコード化する(ステッ
プ1006)。これで、再コード化を終了する(ステッ
プ1007)。
【0042】図5はスリットパターンのコード化の例を
示すもので、同図(a)はスリットの並びによってコー
ド化された投影パターンであり、強度としてそれぞれ3
(強)、2(中)、1(弱)が割り当てられている。同
図(b)においては、左から3つめのセルで強度が変化
して新たなコードが出現したので、新たに0というコー
ドを割り当てている。同図(c)においては、左から3
つめ上から2つめのセルに既存のコードが出現している
ので、セルの並びから新たなコードとして、縦の並びを
[232]、横の並びを[131]という具合に再コー
ド化する。この再コード化は、対象の形状が変化に富む
部位には2次元パターンなどの複雑なパターンを投光
し、変化の少ない部位には簡単なパターンを投光してい
るのに等しい。この過程を繰り返し、全てのセルに対し
て一意なコードを割り付けることで再コード化を行う。
示すもので、同図(a)はスリットの並びによってコー
ド化された投影パターンであり、強度としてそれぞれ3
(強)、2(中)、1(弱)が割り当てられている。同
図(b)においては、左から3つめのセルで強度が変化
して新たなコードが出現したので、新たに0というコー
ドを割り当てている。同図(c)においては、左から3
つめ上から2つめのセルに既存のコードが出現している
ので、セルの並びから新たなコードとして、縦の並びを
[232]、横の並びを[131]という具合に再コー
ド化する。この再コード化は、対象の形状が変化に富む
部位には2次元パターンなどの複雑なパターンを投光
し、変化の少ない部位には簡単なパターンを投光してい
るのに等しい。この過程を繰り返し、全てのセルに対し
て一意なコードを割り付けることで再コード化を行う。
【0043】図6は、カメラ601〜603および投光
器604を用いて、壁605の前に配置された板606
にコード化されたパターンを投光する例を示す。ここで
コード化されたパターンは、図7に示すスリットパター
ンである。このとき、カメラ601、カメラ602で得
られる画像は、図8及び図9に示すように、それぞれ板
606の影となる領域801、901が生ずる。本例で
は、板606の表面には新たにコード化されたパターン
として、図10に示すようなスリットパターンが得られ
る。
器604を用いて、壁605の前に配置された板606
にコード化されたパターンを投光する例を示す。ここで
コード化されたパターンは、図7に示すスリットパター
ンである。このとき、カメラ601、カメラ602で得
られる画像は、図8及び図9に示すように、それぞれ板
606の影となる領域801、901が生ずる。本例で
は、板606の表面には新たにコード化されたパターン
として、図10に示すようなスリットパターンが得られ
る。
【0044】次に図1に戻って説明する。カメラ1,1
01側のコード復号部130は、パターン画像メモリ1
22から投影パターンを抽出し、上述と同様にしてセル
に分割する。そして、先に再コード化部129で再コー
ド化されたコードを用いて各セルのコードを検出し、こ
の検出したコードに基づいて光源からのスリット角θを
算出する。図11は空間コード化における距離の算出方
法を示す図であり、各画素の属するセルのスリット角θ
とカメラ1で撮影された画像上のx座標とカメラパラメ
ータである焦点距離Fと基線長Lとから、次の(数1)
によって距離Zを算出する。
01側のコード復号部130は、パターン画像メモリ1
22から投影パターンを抽出し、上述と同様にしてセル
に分割する。そして、先に再コード化部129で再コー
ド化されたコードを用いて各セルのコードを検出し、こ
の検出したコードに基づいて光源からのスリット角θを
算出する。図11は空間コード化における距離の算出方
法を示す図であり、各画素の属するセルのスリット角θ
とカメラ1で撮影された画像上のx座標とカメラパラメ
ータである焦点距離Fと基線長Lとから、次の(数1)
によって距離Zを算出する。
【0045】
【数1】 Z=(F×L)/(x+F×tanθ) (数1)
【0046】この距離Zの算出は、カメラ2,102側
のコード復号部131においても、同様に行われる。ま
た、上述の領域1については次のようにして距離を算出
する。領域1では、投光されたパターンによるパターン
検出は行うことができないので、対応点探索部132に
おいて、カメラ1〜3の輝度値メモリ121、123、
125から読み出された輝度情報を用いて視差を検出
し、これに基づいて距離を算出する。領域1を除く領域
に対しては、前述の操作により距離が算出されているの
で、領域1の距離の最小値が得られ、また対応づけ可能
な画素も限定される。これらの制限を用いて、画素間の
対応づけを行い視差dを検出し、カメラパラメータであ
る画素サイズλを用いて、次の(数2)によって距離Z
を算出する。
のコード復号部131においても、同様に行われる。ま
た、上述の領域1については次のようにして距離を算出
する。領域1では、投光されたパターンによるパターン
検出は行うことができないので、対応点探索部132に
おいて、カメラ1〜3の輝度値メモリ121、123、
125から読み出された輝度情報を用いて視差を検出
し、これに基づいて距離を算出する。領域1を除く領域
に対しては、前述の操作により距離が算出されているの
で、領域1の距離の最小値が得られ、また対応づけ可能
な画素も限定される。これらの制限を用いて、画素間の
対応づけを行い視差dを検出し、カメラパラメータであ
る画素サイズλを用いて、次の(数2)によって距離Z
を算出する。
【0047】
【数2】Z=(L×F)/(λ×d) (数2)
【0048】前述の手法でカメラ3,103とカメラ
1,101の組み合わせによって得られた距離情報で
は、図8に示す板の影となる領域801の距離情報が検
出できない。一方、カメラ3,103とカメラ2,10
2の組み合わせによって得られた距離情報では、図9に
示す板の影となる領域901の距離情報が検出できな
い。しかし、図8に示す板の影となる領域801の距離
情報が算出可能である。従って、図1の距離情報統合部
133において、カメラ3,103とカメラ1,101
の組で算出された距離情報およびカメラ3,103とカ
メラ2,102で算出された距離情報から、カメラ3の
画像(図12)のすべての画素に対する距離情報を取得
する。以上の操作によって得られた距離情報を、例えば
カメラ3の輝度画像に対応づけて3次元画像メモリに記
憶することで3次元画像生成を行う。
1,101の組み合わせによって得られた距離情報で
は、図8に示す板の影となる領域801の距離情報が検
出できない。一方、カメラ3,103とカメラ2,10
2の組み合わせによって得られた距離情報では、図9に
示す板の影となる領域901の距離情報が検出できな
い。しかし、図8に示す板の影となる領域801の距離
情報が算出可能である。従って、図1の距離情報統合部
133において、カメラ3,103とカメラ1,101
の組で算出された距離情報およびカメラ3,103とカ
メラ2,102で算出された距離情報から、カメラ3の
画像(図12)のすべての画素に対する距離情報を取得
する。以上の操作によって得られた距離情報を、例えば
カメラ3の輝度画像に対応づけて3次元画像メモリに記
憶することで3次元画像生成を行う。
【0049】上述したような距離情報の取得により3次
元画像の生成を実行するわけであるが、先の図19,図
20で説明したように、パターンの投光を行なう投光素
子と、撮像を行なう撮像素子が同軸上に配置した場合で
あっても、測定対象物体の形状によっては、図20のよ
うな撮影パターンが得られることになり、その補正処理
が困難となる。
元画像の生成を実行するわけであるが、先の図19,図
20で説明したように、パターンの投光を行なう投光素
子と、撮像を行なう撮像素子が同軸上に配置した場合で
あっても、測定対象物体の形状によっては、図20のよ
うな撮影パターンが得られることになり、その補正処理
が困難となる。
【0050】このような補正を省略するために、本発明
の構成では、パターン投光手段と同軸に配置する撮像素
子、図1,2の例では、カメラ3,103を、主点が一
致するように配置する構成とした。
の構成では、パターン投光手段と同軸に配置する撮像素
子、図1,2の例では、カメラ3,103を、主点が一
致するように配置する構成とした。
【0051】ここで、主点について、図13を用いて説
明する。レンズ1301の焦点距離をf、前側焦点面
(物体面)とレンズ1301の主平面との距離をa、後
側焦点面(結像面)と主平面との距離をbとすると、次
のような関係が成り立つ。
明する。レンズ1301の焦点距離をf、前側焦点面
(物体面)とレンズ1301の主平面との距離をa、後
側焦点面(結像面)と主平面との距離をbとすると、次
のような関係が成り立つ。
【0052】
【数3】1/a+1/b=1/f (数3)
【0053】また、薄肉レンズの場合、物体側主点(平
面)と、像側主点(平面)は一致し、レンズの中心にあ
る。レンズの横倍率mは、m=b/aで与えられる。
面)と、像側主点(平面)は一致し、レンズの中心にあ
る。レンズの横倍率mは、m=b/aで与えられる。
【0054】パターンを照射する投光素子においても同
様に主点を定義できる。パターンを照射する投光素子
と、投光素子と同軸に配置されたパターン像を撮像する
撮像素子との主点を一致させて上記の3次元画像撮像装
置を構成することにより、投光素子と同軸に配置された
撮像素子は、先に説明した図20の(a)に示すような
理想的なパターン画像を撮り込むことが可能となる。
様に主点を定義できる。パターンを照射する投光素子
と、投光素子と同軸に配置されたパターン像を撮像する
撮像素子との主点を一致させて上記の3次元画像撮像装
置を構成することにより、投光素子と同軸に配置された
撮像素子は、先に説明した図20の(a)に示すような
理想的なパターン画像を撮り込むことが可能となる。
【0055】図14に主点を一致させた場合の投光素子
と、撮像素子との対応関係を説明する図を示す。図14
(a)に示すように、先に説明した図3の構成と異な
り、素子Aと、素子Bの入力あるいは出力光が同一の角
度で設定されている。このように主点を一致させること
で、図14(b)のように、投光素子と同軸に配置され
た撮像素子には、測定対象物の形状によらず、理想的な
パターン像が撮影される。
と、撮像素子との対応関係を説明する図を示す。図14
(a)に示すように、先に説明した図3の構成と異な
り、素子Aと、素子Bの入力あるいは出力光が同一の角
度で設定されている。このように主点を一致させること
で、図14(b)のように、投光素子と同軸に配置され
た撮像素子には、測定対象物の形状によらず、理想的な
パターン像が撮影される。
【0056】図15に光学系を中心とした本発明の3次
元画像撮像装置の構成を示す。図15の3次元画像撮像
装置において、測定対象物体1501にパターン光を照
射し、測定対象物体1501に対して異なる角度に設置
した複数のカメラ、例えばCCD等の撮像素子で、パタ
ーンの照射された画像を撮影し、画像撮り込み部で複数
画像を撮り込み、画像処理部において対応付け処理を実
行し、計算処理部で距離を算出する。これらの処理は、
図1以下を用いてすでに説明した通りである。パターン
光を投光する投光素子は、光源1511、フィルタ15
12、レンズ光学系1513によって構成される。ま
た、投光素子と同軸配置される撮像素子は、CCD等の
撮像素子1521と、レンズ光学系1522によって構
成される。投光素子から出力されたパターン光は、ビー
ムスプリッタとしてのハーフミラーを介して測定対象物
体1501に照射され、測定対象物のパターン照射像
は、ハーフミラーを介して反射して、撮像素子1521
によって撮影される。
元画像撮像装置の構成を示す。図15の3次元画像撮像
装置において、測定対象物体1501にパターン光を照
射し、測定対象物体1501に対して異なる角度に設置
した複数のカメラ、例えばCCD等の撮像素子で、パタ
ーンの照射された画像を撮影し、画像撮り込み部で複数
画像を撮り込み、画像処理部において対応付け処理を実
行し、計算処理部で距離を算出する。これらの処理は、
図1以下を用いてすでに説明した通りである。パターン
光を投光する投光素子は、光源1511、フィルタ15
12、レンズ光学系1513によって構成される。ま
た、投光素子と同軸配置される撮像素子は、CCD等の
撮像素子1521と、レンズ光学系1522によって構
成される。投光素子から出力されたパターン光は、ビー
ムスプリッタとしてのハーフミラーを介して測定対象物
体1501に照射され、測定対象物のパターン照射像
は、ハーフミラーを介して反射して、撮像素子1521
によって撮影される。
【0057】ここで、撮像素子と投光素子の主点は同一
に設定される。いずれもその出射光、あるいは入射光の
レンズを介した角度、すなわち主点が一致するように、
それぞれの配置を制御する。図15の例では、投光手段
を固定とし、撮像手段を撮像装置制御部によって制御し
て位置調整する構成としている。この構成は一例であ
り、撮像素子と投光素子の両者を位置制御する構成とし
てもよい。
に設定される。いずれもその出射光、あるいは入射光の
レンズを介した角度、すなわち主点が一致するように、
それぞれの配置を制御する。図15の例では、投光手段
を固定とし、撮像手段を撮像装置制御部によって制御し
て位置調整する構成としている。この構成は一例であ
り、撮像素子と投光素子の両者を位置制御する構成とし
てもよい。
【0058】図16は、光学系のみを抽出して示す構成
図である。被写体1601に対して投影装置1602に
よりパターン光を照射し、撮像素子1603,1604
により、パターン照射のなされた像を撮影する。なお、
図16においては、カメラを2つのみ示しているが、先
に説明した図1,2の構成のように3つのカメラを配置
した構成としてもよい。
図である。被写体1601に対して投影装置1602に
よりパターン光を照射し、撮像素子1603,1604
により、パターン照射のなされた像を撮影する。なお、
図16においては、カメラを2つのみ示しているが、先
に説明した図1,2の構成のように3つのカメラを配置
した構成としてもよい。
【0059】図16の構成において、投影装置1602
と、投光素子と同軸配置される撮像素子1,1603の
主点を一致するように配置する。主点を一致して配置す
ることにより、図14を用いて説明したように、撮像素
子1,1603には、測定対象物の形状による歪みの発
生しないパターン像の撮影が可能となり、その後の距離
算出において補正処理を実行する必要がない。
と、投光素子と同軸配置される撮像素子1,1603の
主点を一致するように配置する。主点を一致して配置す
ることにより、図14を用いて説明したように、撮像素
子1,1603には、測定対象物の形状による歪みの発
生しないパターン像の撮影が可能となり、その後の距離
算出において補正処理を実行する必要がない。
【0060】図17は、図16に示す構成における撮像
素子の詳細構成を示すものである。撮像素子は、図17
に示すように、レンズ1701、不可視光トリミングフ
ィルター1702、不可視反射ダイクロイック膜170
3、可視光トリミングフィルター1704、および2つ
の撮像素子光電面1705,1706を有する。レンズ
1701を介する入射光は、不可視光トリミングフィル
ター1702、不可視反射ダイクロイック膜1703に
よって、不可視光像が撮像素子光電面1705によって
撮像され、可視光像が撮像素子光電面1706によって
撮像される。パターン光は、赤外もしくは紫外光の不可
視光によって照射され、他の角度から撮影されたパター
ン照射光との対応付け用の距離情報分析データとして用
いられる。
素子の詳細構成を示すものである。撮像素子は、図17
に示すように、レンズ1701、不可視光トリミングフ
ィルター1702、不可視反射ダイクロイック膜170
3、可視光トリミングフィルター1704、および2つ
の撮像素子光電面1705,1706を有する。レンズ
1701を介する入射光は、不可視光トリミングフィル
ター1702、不可視反射ダイクロイック膜1703に
よって、不可視光像が撮像素子光電面1705によって
撮像され、可視光像が撮像素子光電面1706によって
撮像される。パターン光は、赤外もしくは紫外光の不可
視光によって照射され、他の角度から撮影されたパター
ン照射光との対応付け用の距離情報分析データとして用
いられる。
【0061】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
【0062】
【発明の効果】本発明によれば、投影したパターンを同
じ光軸で撮影したパターンを用いて再コード化する方法
による3次元形状計測において、投光素子の主点と、投
光素子と同軸配置した撮像素子の主点を一致させる構成
としたので、投光素子と同軸配置した撮像素子の撮影す
るパターン像から対象物の形状による歪を消去すること
が可能となるので、複数のカメラによって撮影されたパ
ターン照射画像に基づく距離データ算出処理において、
投光素子と同軸配置した撮像素子による撮影画像の補正
処理を省略することが可能となり、効率的な3次元形状
計測および3次元画像生成処理が可能となる。
じ光軸で撮影したパターンを用いて再コード化する方法
による3次元形状計測において、投光素子の主点と、投
光素子と同軸配置した撮像素子の主点を一致させる構成
としたので、投光素子と同軸配置した撮像素子の撮影す
るパターン像から対象物の形状による歪を消去すること
が可能となるので、複数のカメラによって撮影されたパ
ターン照射画像に基づく距離データ算出処理において、
投光素子と同軸配置した撮像素子による撮影画像の補正
処理を省略することが可能となり、効率的な3次元形状
計測および3次元画像生成処理が可能となる。
【図1】本発明の3次元画像撮像装置において使用され
る3次元形状計測装置の構成例を示すブロック図であ
る。
る3次元形状計測装置の構成例を示すブロック図であ
る。
【図2】本発明の3次元画像撮像装置において使用され
る3次元形状計測装置のカメラ構成例を示すブロック図
である。
る3次元形状計測装置のカメラ構成例を示すブロック図
である。
【図3】本発明の3次元画像撮像装置において使用され
る3次元形状計測装置の撮像構成を説明する図である。
る3次元形状計測装置の撮像構成を説明する図である。
【図4】本発明の3次元画像撮像装置において使用され
る3次元形状計測装置の処理フローを示す図である。
る3次元形状計測装置の処理フローを示す図である。
【図5】本発明の3次元画像撮像装置において使用され
る3次元形状計測装置の投影パターンのコード化の例を
示す図である。
る3次元形状計測装置の投影パターンのコード化の例を
示す図である。
【図6】本発明の3次元画像撮像装置において使用され
る3次元形状計測装置の撮影構成例を示す図である。
る3次元形状計測装置の撮影構成例を示す図である。
【図7】本発明の3次元画像撮像装置において使用され
る3次元形状計測装置の投影パターン例を示す図であ
る。
る3次元形状計測装置の投影パターン例を示す図であ
る。
【図8】本発明の3次元画像撮像装置において使用され
る3次元形状計測装置のカメラ1で撮影されるスリット
パターンの例を示す図である。
る3次元形状計測装置のカメラ1で撮影されるスリット
パターンの例を示す図である。
【図9】本発明の3次元画像撮像装置において使用され
る3次元形状計測装置のカメラ2で撮影されるスリット
パターンの例を示す図である。
る3次元形状計測装置のカメラ2で撮影されるスリット
パターンの例を示す図である。
【図10】本発明の3次元画像撮像装置において使用さ
れる3次元形状計測装置において新たにコード化された
スリットパターンの例を示す図である。
れる3次元形状計測装置において新たにコード化された
スリットパターンの例を示す図である。
【図11】本発明の3次元画像撮像装置において使用さ
れる3次元形状計測装置の空間コード化法による距離算
出法を示す図である。
れる3次元形状計測装置の空間コード化法による距離算
出法を示す図である。
【図12】本発明の3次元画像撮像装置において使用さ
れる3次元形状計測装置のカメラ3で撮影されるスリッ
トパターンの例を示す図である。
れる3次元形状計測装置のカメラ3で撮影されるスリッ
トパターンの例を示す図である。
【図13】撮像素子、投光素子の主点について説明する
図である。
図である。
【図14】本発明の3次元画像撮像装置における撮像素
子、投光素子の主点の一致構成、および撮影画像を説明
する図である。
子、投光素子の主点の一致構成、および撮影画像を説明
する図である。
【図15】本発明の3次元画像撮像装置における撮像素
子、投光素子の主点の一致構成例を示す図である。
子、投光素子の主点の一致構成例を示す図である。
【図16】本発明の3次元画像撮像装置における撮像素
子、投光素子の主点の一致構成を光学系を中心として示
す図である。
子、投光素子の主点の一致構成を光学系を中心として示
す図である。
【図17】本発明の3次元画像撮像装置における撮像素
子の構成例を示す図である。
子の構成例を示す図である。
【図18】空間コード化法によるコードの転写、途切れ
の例を説明する図である。
の例を説明する図である。
【図19】投光素子と、撮像素子の主点が一致しない構
成について説明する図である。
成について説明する図である。
【図20】投光素子と、撮像素子の主点が一致しない場
合の撮影画像について説明する図である。
合の撮影画像について説明する図である。
101 カメラ1 102 カメラ2 103 カメラ3 104 投光器 105 ハーフミラー 106 光源 107 マスクパターン 108 強度パターン 109 プリズム 121,123,125 輝度値メモリ 122,124,126 パターン画像メモリ 127 フレームメモリ 128 領域分割部 129 再コード化部 130,131 コード復号部 133 距離情報の統合部 134 3次元メモリ 301 プリズム 302,304 透過フィルタ 303,305 撮像装置 601,602,603 カメラ 604 投光器 605 壁 606 板 801,901 影領域 1301 レンズ 1511 光源 1512 フィルター 1513 レンズ 1521 撮像素子 1522 レンズ 1602 投影装置 1603,1604 撮像素子 1701 レンズ 1702 不可視光トリミングフィルター 1703 不可視反射ダイクロイック膜 1704 可視光トリミングフィルター 1705,1706 撮像素子光電面
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/18 H04N 7/18 N G01B 11/24 E N Fターム(参考) 2F065 AA53 BB05 FF04 FF09 HH07 JJ03 JJ05 JJ07 JJ26 QQ31 UU05 UU07 5B057 BA11 CA08 CA12 CA16 CB08 CB13 CB20 CE06 CE11 DA11 DA17 DB03 DB09 5C022 AA15 AB13 AB15 AB24 AB61 AB62 AC42 AC54 AC55 5C054 AA01 AA05 CA03 CA04 CA05 CC02 EH00 FC15 HA05
Claims (12)
- 【請求項1】パターンを測定対象に投影する投光手段
と、 前記投光手段の光軸上で投影パターンを撮影する第1の
撮像手段であり、前記投光手段の投光光学系の持つ主点
と一致する主点を持つ第1の撮像手段と、 前記投光手段の光軸上と異なる位置から前記投影パター
ンを撮影する第2の撮像手段とを備え、 前記第2の撮像手段の撮影した投影パターンに基づいて
第1の距離情報を生成する構成を有することを特徴とす
る3次元画像撮像装置。 - 【請求項2】前記投影パターンに対する第1の撮像手段
による撮影パターンの変化量が所定値以上の領域につい
て、該第1の撮像手段による撮影パターンに対応する新
規コードを割り付け、前記新規コードに基づいて第2の
撮像手段による撮影パターンから前記第1の距離情報を
生成する構成を有することを特徴とする請求項1に記載
の3次元画像撮像装置。 - 【請求項3】前記第1の距離情報および第1または第2
の撮像手段より得られた輝度情報に基づいて3次元画像
を生成する構成を有することを特徴とする請求項1また
は2に記載の3次元画像撮像装置。 - 【請求項4】前記投光手段の出射光と、前記第1の撮像
手段の入射光とは、ビームスプリッタによって分離され
る構成であり、前記投光手段と前記第1の撮像手段と
は、それぞれの光学系の持つ光軸および主点が一致する
ように配置された構成であることを特徴とする請求項1
または2に記載の3次元画像撮像装置。 - 【請求項5】前記投光手段による投影パターンに対する
第1の撮像手段による撮影パターンの変化量が所定値未
満の領域について、第1の撮像手段および第2の撮像手
段より得られた各輝度情報の対応づけにより第2の距離
情報を生成し、前記第1の距離情報、第2の距離情報お
よび第1または第2の撮像手段より得られた輝度情報を
用いて3次元画像を得るよう構成したことを特徴とする
請求項1または2に記載の3次元画像撮像装置。 - 【請求項6】前記投光手段は不可視領域の光を発生する
光源を有し、第1の撮像手段は不可視領域の光を透過す
るフィルターおよび不可視領域の光を遮断するフィルタ
ーを有することを特徴とする請求項1または2に記載の
3次元画像撮像装置。 - 【請求項7】前記第2の撮像手段は、前記測定対象を異
なる角度で撮像する複数の撮像手段によって構成され、
該複数の第2の撮像手段の各々の撮影した投影パターン
に基づいて求められる距離情報を合成して3次元画像を
得るよう構成したことを特徴とする請求項1または2に
記載の3次元画像撮像装置。 - 【請求項8】投光手段により、パターンを測定対象に投
影する投光ステップと、 前記投光手段の光軸上で投影パターンを撮影する第1の
撮像手段であり、前記投光手段の投光光学系の持つ主点
と一致する主点を持つ第1の撮像手段と、前記投光手段
の光軸上と異なる位置から前記投影パターンを撮影する
第2の撮像手段とにより、パターンの投影された測定対
象を撮影するステップと、 前記第2の撮像手段の撮影した投影パターンに基づいて
第1の距離情報を生成するステップと、 を有することを特徴とする3次元画像撮像方法。 - 【請求項9】前記3次元画像撮像方法は、さらに、 前記投影パターンに対する第1の撮像手段による撮影パ
ターンの変化量が所定値以上の領域について、該第1の
撮像手段による撮影パターンに対応する新規コードを割
り付けるステップと、 前記新規コードに基づいて第2の撮像手段による撮影パ
ターンから前記第1の距離情報を生成するステップと、 を有することを特徴とする請求項8に記載の3次元画像
撮像方法。 - 【請求項10】前記3次元画像撮像方法は、さらに、 前記第1の距離情報および第1または第2の撮像手段よ
り得られた輝度情報に基づいて3次元画像を生成するス
テップを有することを特徴とする請求項8または9に記
載の3次元画像撮像方法。 - 【請求項11】前記3次元画像撮像方法は、さらに、 前記投光手段による投影パターンに対する第1の撮像手
段による撮影パターンの変化量が所定値未満の領域につ
いて、第1の撮像手段および第2の撮像手段より得られ
た各輝度情報の対応づけにより第2の距離情報を生成
し、前記第1の距離情報、第2の距離情報および第1ま
たは第2の撮像手段より得られた輝度情報を用いて3次
元画像を得るステップを有することを特徴とする請求項
8または9に記載の3次元画像撮像方法。 - 【請求項12】前記3次元画像撮像方法において、 前記第2の撮像手段は、前記測定対象を異なる角度で撮
像する複数の撮像手段によって構成され、該複数の第2
の撮像手段の各々の撮影した投影パターンに基づいて求
められる距離情報を合成して3次元画像を得ることを特
徴とする請求項8または9に記載の3次元画像撮像方
法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001190713A JP2002107129A (ja) | 2000-06-29 | 2001-06-25 | 3次元画像撮像装置および3次元画像撮像方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000-196052 | 2000-06-29 | ||
JP2000196052 | 2000-06-29 | ||
JP2001190713A JP2002107129A (ja) | 2000-06-29 | 2001-06-25 | 3次元画像撮像装置および3次元画像撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002107129A true JP2002107129A (ja) | 2002-04-10 |
Family
ID=26594964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001190713A Pending JP2002107129A (ja) | 2000-06-29 | 2001-06-25 | 3次元画像撮像装置および3次元画像撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002107129A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2940423A1 (fr) * | 2008-12-22 | 2010-06-25 | Noomeo | Dispositif de numerisation tridimensionnelle a reconstruction dense |
-
2001
- 2001-06-25 JP JP2001190713A patent/JP2002107129A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2940423A1 (fr) * | 2008-12-22 | 2010-06-25 | Noomeo | Dispositif de numerisation tridimensionnelle a reconstruction dense |
WO2010072912A1 (fr) * | 2008-12-22 | 2010-07-01 | Noomeo | Dispositif de numerisation tridimensionnelle a reconstruction dense |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3714063B2 (ja) | 3次元形状計測装置 | |
US10902668B2 (en) | 3D geometric modeling and 3D video content creation | |
KR102096806B1 (ko) | 3차원 센서 시스템 및 3차원 데이터 획득방법 | |
JP3482990B2 (ja) | 3次元画像撮影装置 | |
US7075625B2 (en) | Range finder and method | |
TW385360B (en) | 3D imaging system | |
JP2002213931A (ja) | 3次元形状計測装置および3次元形状計測方法 | |
JP2009300268A (ja) | 3次元情報検出装置 | |
CN111971525B (zh) | 用立体镜测量物体的方法和系统 | |
JP2016217833A (ja) | 画像処理システム及び画像処理方法 | |
JP3384329B2 (ja) | 3次元画像撮影装置 | |
JP3818028B2 (ja) | 3次元画像撮像装置および3次元画像撮像方法 | |
JP2004110804A (ja) | 3次元画像撮影装置及び方法 | |
JPH05332737A (ja) | 形状計測装置 | |
JP3965894B2 (ja) | 画像処理装置および画像処理方法 | |
JP3852285B2 (ja) | 3次元形状計測装置および3次元形状計測方法 | |
JP2002013918A (ja) | 3次元画像生成装置および3次元画像生成方法 | |
JP3932776B2 (ja) | 3次元画像生成装置および3次元画像生成方法 | |
JP2002107129A (ja) | 3次元画像撮像装置および3次元画像撮像方法 | |
JP2011252835A (ja) | 三次元形状計測装置 | |
JP2006058092A (ja) | 3次元形状測定装置および方法 | |
JP4543821B2 (ja) | 3次元形状測定装置および方法 | |
JP4191428B2 (ja) | カメラ方式三次元計測装置 | |
CN115150545B (zh) | 获取三维测量点的测量系统 | |
JP2024055569A (ja) | 3次元計測装置、3次元計測方法、プログラム、システム、及び物品の製造方法 |