JP2001033236A - ステレオ画像計測装置およびステレオ画像計測方法 - Google Patents
ステレオ画像計測装置およびステレオ画像計測方法Info
- Publication number
- JP2001033236A JP2001033236A JP11209574A JP20957499A JP2001033236A JP 2001033236 A JP2001033236 A JP 2001033236A JP 11209574 A JP11209574 A JP 11209574A JP 20957499 A JP20957499 A JP 20957499A JP 2001033236 A JP2001033236 A JP 2001033236A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical axis
- range
- lens
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of Optical Distance (AREA)
Abstract
(57)【要約】
【課題】 処理の単純化・高速化およびマルチスポット
光源との組み合わせの点において有利であり、且つ近距
離の物体に対して広い計測範囲と高精度な計測を実現す
るステレオ画像計測装置を提供する。 【解決手段】 マルチスポット光源20と、第1および
第2のカメラ18、19とを備え、前記第1のカメラ
は、第1の光軸22aを有する第1のレンズ22と、前
記第1のレンズを通った光により撮像する第1の撮像素
子24とを有し、前記第2のカメラ19は、第2の光軸
23aを有する第2のレンズ23と、前記第2のレンズ
を通った光により撮像する第2の撮像素子25とを有
し、前記第1の光軸は、前記第1の撮像素子の撮像面に
概ね直交し、前記第2の光軸は、前記第2の撮像素子の
撮像面に概ね直交するとともに前記第1の光軸に概ね平
行とされ、前記第1の撮像素子の前記撮像面の中心部2
4aは、前記第1の光軸に対して、前記第1および第2
の光軸に概ね直交する基線BLの方向にずれている。
光源との組み合わせの点において有利であり、且つ近距
離の物体に対して広い計測範囲と高精度な計測を実現す
るステレオ画像計測装置を提供する。 【解決手段】 マルチスポット光源20と、第1および
第2のカメラ18、19とを備え、前記第1のカメラ
は、第1の光軸22aを有する第1のレンズ22と、前
記第1のレンズを通った光により撮像する第1の撮像素
子24とを有し、前記第2のカメラ19は、第2の光軸
23aを有する第2のレンズ23と、前記第2のレンズ
を通った光により撮像する第2の撮像素子25とを有
し、前記第1の光軸は、前記第1の撮像素子の撮像面に
概ね直交し、前記第2の光軸は、前記第2の撮像素子の
撮像面に概ね直交するとともに前記第1の光軸に概ね平
行とされ、前記第1の撮像素子の前記撮像面の中心部2
4aは、前記第1の光軸に対して、前記第1および第2
の光軸に概ね直交する基線BLの方向にずれている。
Description
【0001】
【発明の属する技術分野】本発明は、ステレオ画像計測
装置およびステレオ画像計測方法に関する。
装置およびステレオ画像計測方法に関する。
【0002】
【従来の技術】図5は、従来の平行ステレオ法による三
次元計測装置の構成図である。たとえば、特開平7−3
06037号公報の発明などがこの構成をとるものとし
て含まれる。
次元計測装置の構成図である。たとえば、特開平7−3
06037号公報の発明などがこの構成をとるものとし
て含まれる。
【0003】従来の平行ステレオ法では、レンズL1、
L2の光軸1、2が撮像素子3、4の中央部3a、4a
に直交するように撮像素子3、4を固定した2台のカメ
ラC1、C2を使用し、2台のレンズL1、L2の光軸
1、2が平行になるようにカメラC1、C2を配置す
る。平行ステレオ法では、左右の画像面に映し出された
像のずれ(視差)に基づいて、対象までの距離を計算す
る。
L2の光軸1、2が撮像素子3、4の中央部3a、4a
に直交するように撮像素子3、4を固定した2台のカメ
ラC1、C2を使用し、2台のレンズL1、L2の光軸
1、2が平行になるようにカメラC1、C2を配置す
る。平行ステレオ法では、左右の画像面に映し出された
像のずれ(視差)に基づいて、対象までの距離を計算す
る。
【0004】視差dは、カメラC1、C2の光軸1、2
間の距離(基線長)をD、レンズL1、L2の焦点距離
をfとすると、物体までの距離zからd=Df/z.と
して求められる。この式から分かるように、視差dは対
象までの距離zを一定としたときには基線長D、焦点距
離fに比例するため、距離計測の精度を向上させるため
には、基線長Dまたは焦点距離fを大きくする必要があ
る。
間の距離(基線長)をD、レンズL1、L2の焦点距離
をfとすると、物体までの距離zからd=Df/z.と
して求められる。この式から分かるように、視差dは対
象までの距離zを一定としたときには基線長D、焦点距
離fに比例するため、距離計測の精度を向上させるため
には、基線長Dまたは焦点距離fを大きくする必要があ
る。
【0005】物体の形状を計測したい場合などで、近距
離の物体に対して本手法を用いようとした場合は、基線
長Dを大きくすると左右のカメラC1、C2の視野の重
なりが小さくなり、一度に計測できる範囲が狭くなる問
題がある。また、焦点距離fを大きくした場合にも画角
が狭くなるため計測範囲が狭くなる。
離の物体に対して本手法を用いようとした場合は、基線
長Dを大きくすると左右のカメラC1、C2の視野の重
なりが小さくなり、一度に計測できる範囲が狭くなる問
題がある。また、焦点距離fを大きくした場合にも画角
が狭くなるため計測範囲が狭くなる。
【0006】これを解決するためには、図6に示すよう
に、カメラC1、C2の光軸5、6を内側に傾ける輻輳
ステレオ法が一般的である。この方法によれば、基線長
を大きくしても左右のカメラC3、C4の視野を重ねあ
わせることができるため、計測範囲を広く保つことがで
きる。
に、カメラC1、C2の光軸5、6を内側に傾ける輻輳
ステレオ法が一般的である。この方法によれば、基線長
を大きくしても左右のカメラC3、C4の視野を重ねあ
わせることができるため、計測範囲を広く保つことがで
きる。
【0007】平行ステレオ法でも輻輳ステレオ法でも、
一方のカメラC1に写された像と同一被写体の像を、他
方のカメラC2の画像上から探索して対応づける必要が
ある。この時、対応像は画像上の一本の直線(エピポー
ラ直線)上に現れるという性質(エピポーラ拘束)があ
る。これを説明したのが図7である。直線7上に存在す
る物体はどの距離にあってもカメラ8では点9に像を結
び、カメラ10では直線(エピポーラ直線)11上のい
ずれかの点に像を結ぶ。
一方のカメラC1に写された像と同一被写体の像を、他
方のカメラC2の画像上から探索して対応づける必要が
ある。この時、対応像は画像上の一本の直線(エピポー
ラ直線)上に現れるという性質(エピポーラ拘束)があ
る。これを説明したのが図7である。直線7上に存在す
る物体はどの距離にあってもカメラ8では点9に像を結
び、カメラ10では直線(エピポーラ直線)11上のい
ずれかの点に像を結ぶ。
【0008】平行ステレオ法においては、図8に示すよ
うに画像の格子方向と基線の方向を平行にすることによ
り、エピポーラ直線が、画像上で点12と同じ高さの直
線13となる。この性質により、対応像の探索処理を単
純化することができる。特開平7−306037号公報
の発明では、この性質を利用して処理の高速化と装置の
低コスト化を図っている。
うに画像の格子方向と基線の方向を平行にすることによ
り、エピポーラ直線が、画像上で点12と同じ高さの直
線13となる。この性質により、対応像の探索処理を単
純化することができる。特開平7−306037号公報
の発明では、この性質を利用して処理の高速化と装置の
低コスト化を図っている。
【0009】また、この性質は、図9に示すようなマル
チスポット光源を組み合わせる場合にも有利である。こ
の方法は、マルチスポット光源から発せられた複数のレ
ーザ光により物体の表面に規則的な斑点状の模様を作り
出し、この斑点の一つ一つについてステレオ法で三次元
的な位置を求めようとするものである。
チスポット光源を組み合わせる場合にも有利である。こ
の方法は、マルチスポット光源から発せられた複数のレ
ーザ光により物体の表面に規則的な斑点状の模様を作り
出し、この斑点の一つ一つについてステレオ法で三次元
的な位置を求めようとするものである。
【0010】平行ステレオ法を用いる場合には、図10
の(a)に示すようにマルチスポット光源による輝点1
4がエピポーラ直線15に対して斜めに並ぶように照射
することにより、対応する輝点を一意に定めることがで
きる。これに対して、図10の(b)の輻輳ステレオ法
においては、マルチスポットの輝点の並ぶ方向を調整し
てもエピポーラ直線16が互いに平行でなく放射状であ
るため、たとえば符号17の範囲に示した部分のよう
に、対応する輝点が一つに決められない場合がある。
の(a)に示すようにマルチスポット光源による輝点1
4がエピポーラ直線15に対して斜めに並ぶように照射
することにより、対応する輝点を一意に定めることがで
きる。これに対して、図10の(b)の輻輳ステレオ法
においては、マルチスポットの輝点の並ぶ方向を調整し
てもエピポーラ直線16が互いに平行でなく放射状であ
るため、たとえば符号17の範囲に示した部分のよう
に、対応する輝点が一つに決められない場合がある。
【0011】以上の性質より、平行ステレオ法と輻輳ス
テレオ法を比較すると、前者は処理の単純化、高速化や
マルチスポット光源との組み合わせにおいて有利である
のに対し、輻輳ステレオ法は近距離の物体に対して広い
計測範囲と高精度な計測を両立できる利点があり、双方
の利点を兼ね備えた装置・方法が望まれている。
テレオ法を比較すると、前者は処理の単純化、高速化や
マルチスポット光源との組み合わせにおいて有利である
のに対し、輻輳ステレオ法は近距離の物体に対して広い
計測範囲と高精度な計測を両立できる利点があり、双方
の利点を兼ね備えた装置・方法が望まれている。
【0012】
【発明が解決しようとする課題】処理の単純化・高速化
およびマルチスポット光源との組み合わせの点において
有利であり、且つ近距離の物体に対して広い計測範囲と
高精度な計測を実現することが望まれている。
およびマルチスポット光源との組み合わせの点において
有利であり、且つ近距離の物体に対して広い計測範囲と
高精度な計測を実現することが望まれている。
【0013】本発明は、上記課題を解決するステレオ画
像計測装置およびステレオ画像計測方法を提供すること
を目的としている。
像計測装置およびステレオ画像計測方法を提供すること
を目的としている。
【0014】
【課題を解決するための手段】その課題を解決するため
の手段が、下記のように表現される。その表現中の請求
項対応の技術的事項には、括弧()つき、番号、記号等
が添記されている。その番号、記号等は、請求項対応の
技術的事項と実施の複数・形態のうちの少なくとも一つ
の形態の技術的事項との一致・対応関係を明白にしてい
るが、その請求項対応の技術的事項が実施の形態の技術
的事項に限定されることを示すためのものではない。
の手段が、下記のように表現される。その表現中の請求
項対応の技術的事項には、括弧()つき、番号、記号等
が添記されている。その番号、記号等は、請求項対応の
技術的事項と実施の複数・形態のうちの少なくとも一つ
の形態の技術的事項との一致・対応関係を明白にしてい
るが、その請求項対応の技術的事項が実施の形態の技術
的事項に限定されることを示すためのものではない。
【0015】本発明のステレオ画像計測装置は、複数の
光を照射するマルチスポット光源(20)と、第1およ
び第2のカメラ(18、19)とを備えたステレオ画像
計測装置であって、前記第1のカメラ(18)は、第1
の光軸(22a)を有する第1のレンズ(22)と、前
記第1のレンズ(22)を通った光により撮像する第1
の撮像素子(24)とを有し、前記第2のカメラ(1
9)は、第2の光軸(23a)を有する第2のレンズ
(23)と、前記第2のレンズ(23)を通った光によ
り撮像する第2の撮像素子(25)とを有し、前記第1
の光軸(22a)は、前記第1の撮像素子(24)の撮
像面に概ね直交し、前記第2の光軸(23a)は、前記
第2の撮像素子(25)の撮像面に概ね直交するととも
に前記第1の光軸(22a)に概ね平行とされ、前記第
1の撮像素子(24)の前記撮像面の中心部(24a)
は、前記第1の光軸(22a)に対して、前記第1およ
び第2の光軸(22a、23a)に概ね直交する基線
(BL)の方向にずれている。
光を照射するマルチスポット光源(20)と、第1およ
び第2のカメラ(18、19)とを備えたステレオ画像
計測装置であって、前記第1のカメラ(18)は、第1
の光軸(22a)を有する第1のレンズ(22)と、前
記第1のレンズ(22)を通った光により撮像する第1
の撮像素子(24)とを有し、前記第2のカメラ(1
9)は、第2の光軸(23a)を有する第2のレンズ
(23)と、前記第2のレンズ(23)を通った光によ
り撮像する第2の撮像素子(25)とを有し、前記第1
の光軸(22a)は、前記第1の撮像素子(24)の撮
像面に概ね直交し、前記第2の光軸(23a)は、前記
第2の撮像素子(25)の撮像面に概ね直交するととも
に前記第1の光軸(22a)に概ね平行とされ、前記第
1の撮像素子(24)の前記撮像面の中心部(24a)
は、前記第1の光軸(22a)に対して、前記第1およ
び第2の光軸(22a、23a)に概ね直交する基線
(BL)の方向にずれている。
【0016】上記において、基線(BL)の方向とは、
基線(BL)の延在方向であることができる。
基線(BL)の延在方向であることができる。
【0017】本発明のステレオ画像計測装置は、前記第
2の撮像素子(25)の前記撮像面の中心部(25a)
が、前記第2の光軸(23a)に対して、前記基線(B
L)の方向にずれている。
2の撮像素子(25)の前記撮像面の中心部(25a)
が、前記第2の光軸(23a)に対して、前記基線(B
L)の方向にずれている。
【0018】本発明のステレオ画像計測装置において、
前記マルチスポット光源(20)は、前記複数の光のそ
れぞれに対応する輝点(29)が、前記第1および第2
のカメラ(18、19)のそれぞれにより撮像された画
像(28、30)において、複数の仮想線(VL)に沿
って配置されるように前記複数の光を照射し、前記仮想
線(VL)は、前記第1および第2のカメラ(18、1
9)の一方により撮像された画像(30)に現れるエピ
ポーラ直線(EL)に対して、傾斜している。
前記マルチスポット光源(20)は、前記複数の光のそ
れぞれに対応する輝点(29)が、前記第1および第2
のカメラ(18、19)のそれぞれにより撮像された画
像(28、30)において、複数の仮想線(VL)に沿
って配置されるように前記複数の光を照射し、前記仮想
線(VL)は、前記第1および第2のカメラ(18、1
9)の一方により撮像された画像(30)に現れるエピ
ポーラ直線(EL)に対して、傾斜している。
【0019】本発明のステレオ画像計測装置において、
前記第1および第2の撮像素子(24、25)のそれぞ
れの走査線の方向は、前記基線(BL)の方向に概ね平
行である。
前記第1および第2の撮像素子(24、25)のそれぞ
れの走査線の方向は、前記基線(BL)の方向に概ね平
行である。
【0020】本発明のステレオ画像計測装置において、
更に、前記第1および第2のカメラ(18、19)によ
り撮像された第1および第2の画像(28、30)に基
づいて、前記第1および第2の画像(28、30)にお
いて互いに対応する像を探索する制御部を有し、前記制
御部は、前記第1および第2の画像(28、30)にお
いて、互いに概ね同じ高さに存在する輝点(29、29
a)が、前記互いに対応する像を示していると判断す
る。
更に、前記第1および第2のカメラ(18、19)によ
り撮像された第1および第2の画像(28、30)に基
づいて、前記第1および第2の画像(28、30)にお
いて互いに対応する像を探索する制御部を有し、前記制
御部は、前記第1および第2の画像(28、30)にお
いて、互いに概ね同じ高さに存在する輝点(29、29
a)が、前記互いに対応する像を示していると判断す
る。
【0021】本発明のステレオ画像計測装置において、
前記制御部は、前記第1画像(28)に存在する第1輝
点(29)と概ね同じ高さに延びるスリット状範囲(3
1)を、前記第2画像(30)に設定し、前記設定され
たスリット状範囲(31)の中から前記第1輝点(2
9)に対応する輝点(29a)を探索する。
前記制御部は、前記第1画像(28)に存在する第1輝
点(29)と概ね同じ高さに延びるスリット状範囲(3
1)を、前記第2画像(30)に設定し、前記設定され
たスリット状範囲(31)の中から前記第1輝点(2
9)に対応する輝点(29a)を探索する。
【0022】本発明のステレオ画像計測装置において、
更に、前記第1の撮像素子(36)を、前記基線(B
L)と概ね平行に移動させる第1の移動部(38)と、
前記第2の撮像素子(37)を、前記基線(BL)と概
ね平行に移動させる第2の移動部(39)とを備えてい
る。
更に、前記第1の撮像素子(36)を、前記基線(B
L)と概ね平行に移動させる第1の移動部(38)と、
前記第2の撮像素子(37)を、前記基線(BL)と概
ね平行に移動させる第2の移動部(39)とを備えてい
る。
【0023】本発明のステレオ画像計測装置において、
更に、前記第1および第2のカメラにより撮像された第
1および第2の画像(42、44)に基づいて、前記第
1および第2の画像(42、44)において互いに対応
する像を探索する制御部を有し、前記制御部は、前記第
1画像(42)の中に設定された対象範囲(43)と概
ね同じ高さの探索範囲(45)を、前記第2の撮像素子
(37)が移動しつつ撮像した前記第2画像(44)に
設定し、前記設定された前記探索範囲(45)から前記
対象範囲(43)に対応する範囲(46)を求める。
更に、前記第1および第2のカメラにより撮像された第
1および第2の画像(42、44)に基づいて、前記第
1および第2の画像(42、44)において互いに対応
する像を探索する制御部を有し、前記制御部は、前記第
1画像(42)の中に設定された対象範囲(43)と概
ね同じ高さの探索範囲(45)を、前記第2の撮像素子
(37)が移動しつつ撮像した前記第2画像(44)に
設定し、前記設定された前記探索範囲(45)から前記
対象範囲(43)に対応する範囲(46)を求める。
【0024】本発明のステレオ画像計測装置において、
前記制御部は、前記対象範囲(43)と同じ大きさの特
定範囲(46)を、前記第2画像(44)の前記探索範
囲(45)に設定し、前記設定された特定範囲(46)
および前記対象範囲(43)の間で、前記特定範囲(4
6)および前記対象範囲(43)のそれぞれに含まれる
複数の画素データの差分の絶対値の合計値(SAD;S
um of absolute differenc
e)を求め、前記合計値が最小となる範囲(46)を求
める。
前記制御部は、前記対象範囲(43)と同じ大きさの特
定範囲(46)を、前記第2画像(44)の前記探索範
囲(45)に設定し、前記設定された特定範囲(46)
および前記対象範囲(43)の間で、前記特定範囲(4
6)および前記対象範囲(43)のそれぞれに含まれる
複数の画素データの差分の絶対値の合計値(SAD;S
um of absolute differenc
e)を求め、前記合計値が最小となる範囲(46)を求
める。
【0025】本発明のステレオ画像計測方法は、(a)
第1光軸(34)を有する第1レンズ(32)と、前記
第1レンズ(32)を通った光により撮像する第1撮像
素子(36)を提供することと、(b)第2光軸(3
5)を有する第2レンズ(33)と、前記第2レンズ
(33)を通った光により撮像する第2撮像素子(3
7)を提供することと、(c)前記第1撮像素子(3
6)および前記第2撮像素子(37)のいずれか一方で
ある特定撮像素子(37)により撮像された画像(4
4)に現れるエピポーラ直線(EL)が前記画像(4
4)上で常に水平方向となるように、前記特定撮像素子
(37)を移動させることとを備えている。
第1光軸(34)を有する第1レンズ(32)と、前記
第1レンズ(32)を通った光により撮像する第1撮像
素子(36)を提供することと、(b)第2光軸(3
5)を有する第2レンズ(33)と、前記第2レンズ
(33)を通った光により撮像する第2撮像素子(3
7)を提供することと、(c)前記第1撮像素子(3
6)および前記第2撮像素子(37)のいずれか一方で
ある特定撮像素子(37)により撮像された画像(4
4)に現れるエピポーラ直線(EL)が前記画像(4
4)上で常に水平方向となるように、前記特定撮像素子
(37)を移動させることとを備えている。
【0026】本発明は、マルチスポット光源(20)を
組み合わせた平行ステレオ法において、撮像素子(2
4、25)の中心(24a、25a)と光軸(22a、
23a)の位置をずらしたカメラ(18、19)を用い
ることにより、近距離の物体(21)に対しても広い計
測範囲を確保しながら基線長(D)を長くして高い精度
を確保した三次元計測装置である。
組み合わせた平行ステレオ法において、撮像素子(2
4、25)の中心(24a、25a)と光軸(22a、
23a)の位置をずらしたカメラ(18、19)を用い
ることにより、近距離の物体(21)に対しても広い計
測範囲を確保しながら基線長(D)を長くして高い精度
を確保した三次元計測装置である。
【0027】本発明は、撮像素子(36、37)を直動
機構(38、39)によって基線(BL)方向に自由に
移動可能とすることにより、光軸方向、基線方向につい
てさまざまな位置にある物体に対して撮影範囲(40、
41)を設定することができ、この時の対応像の探索の
方向が水平方向で一定となることにより処理の高速化を
図るものである。
機構(38、39)によって基線(BL)方向に自由に
移動可能とすることにより、光軸方向、基線方向につい
てさまざまな位置にある物体に対して撮影範囲(40、
41)を設定することができ、この時の対応像の探索の
方向が水平方向で一定となることにより処理の高速化を
図るものである。
【0028】
【発明の実施の形態】以下、添付図面を参照して、本発
明のステレオ画像計測装置の一実施の形態について説明
する。
明のステレオ画像計測装置の一実施の形態について説明
する。
【0029】図1および図2を参照して、第1実施形態
について説明する。図1は、本発明の第1実施形態の構
成図である。第1実施形態は、撮像素子の中心を光軸か
らずらして取り付けた、マルチスポット光源を用いたス
テレオ三次元計測装置である。図2は、本装置で取得さ
れる画像と対応点探索の方法について説明するものであ
る。
について説明する。図1は、本発明の第1実施形態の構
成図である。第1実施形態は、撮像素子の中心を光軸か
らずらして取り付けた、マルチスポット光源を用いたス
テレオ三次元計測装置である。図2は、本装置で取得さ
れる画像と対応点探索の方法について説明するものであ
る。
【0030】図1の装置は、マルチスポット光源20か
ら対象物体21に複数のレーザ光を照射し、その反射光
を一対のカメラ18(左眼)、19(右眼)で撮影して
その像から物体21の形状を計測する。
ら対象物体21に複数のレーザ光を照射し、その反射光
を一対のカメラ18(左眼)、19(右眼)で撮影して
その像から物体21の形状を計測する。
【0031】カメラ18、19はそれぞれ、レンズ2
2、23と固体撮像素子24、25とから構成されてい
る。レンズ22、23の光軸22a、23aは、互いに
平行になるよう設置されており、固体撮像素子24、2
5の撮像面とそれぞれ直交している。固体撮像素子2
4、25の水平方向、すなわち走査線の方向は光軸22
a、23aの間隔の方向、すなわち基線BLの方向に平
行に設置する。図2に示すように、マルチスポット光源
20は、その輝点29(符号29は複数の輝点のうちの
1つを示す)が、カメラ18、19により撮像された画
像29、30上で複数の仮想直線VLに沿って配列され
るように、スポット光を照射する。輝点29が配列され
る仮想直線VLは、図10(a)と同じく、エピポーラ
直線ELに対して傾斜している(輝点がエピポーラ直線
ELに対して斜めに並ぶ)。
2、23と固体撮像素子24、25とから構成されてい
る。レンズ22、23の光軸22a、23aは、互いに
平行になるよう設置されており、固体撮像素子24、2
5の撮像面とそれぞれ直交している。固体撮像素子2
4、25の水平方向、すなわち走査線の方向は光軸22
a、23aの間隔の方向、すなわち基線BLの方向に平
行に設置する。図2に示すように、マルチスポット光源
20は、その輝点29(符号29は複数の輝点のうちの
1つを示す)が、カメラ18、19により撮像された画
像29、30上で複数の仮想直線VLに沿って配列され
るように、スポット光を照射する。輝点29が配列され
る仮想直線VLは、図10(a)と同じく、エピポーラ
直線ELに対して傾斜している(輝点がエピポーラ直線
ELに対して斜めに並ぶ)。
【0032】第1実施形態では、以上に説明したマルチ
スポット光を用いた平行ステレオ方法において、以下の
構成を有している。図1に示すように、撮像素子24、
25の中心24a、25aがレンズ22、23の光軸2
2a、23aと交わらず、基線BL方向(図中左右方
向)にずれて設置されている。中心24a、25aは、
それぞれ、光軸22a、23aの外側に位置している。
この場合、中心24a、25aは、光軸22a、23a
から基線BL方向に、恣意的にずらされることができ
る。
スポット光を用いた平行ステレオ方法において、以下の
構成を有している。図1に示すように、撮像素子24、
25の中心24a、25aがレンズ22、23の光軸2
2a、23aと交わらず、基線BL方向(図中左右方
向)にずれて設置されている。中心24a、25aは、
それぞれ、光軸22a、23aの外側に位置している。
この場合、中心24a、25aは、光軸22a、23a
から基線BL方向に、恣意的にずらされることができ
る。
【0033】図2は、左眼画像28上で検出されたスポ
ット像の一つ29に対して、右眼画像30上での対応像
の探索範囲を示したものである。スポット29と同じ高
さに延びるスリット状の範囲31の中で検出された右眼
画像30上のスポット像29aを、左眼画像28上のス
ポット像29と対応づける。
ット像の一つ29に対して、右眼画像30上での対応像
の探索範囲を示したものである。スポット29と同じ高
さに延びるスリット状の範囲31の中で検出された右眼
画像30上のスポット像29aを、左眼画像28上のス
ポット像29と対応づける。
【0034】撮像素子24、25を基線BL方向にずら
すことにより、左右それぞれのカメラ18、19の撮影
方向を光軸22a、23aから左右に振ることができ
る。このため、図1の撮影範囲26、27に示すように
近距離の物体21に対して視野を重ねあわせることがで
きる。その上、撮像素子24、25の撮像面はその角度
を変えずに平行に移動するだけであるので、エピポーラ
直線ELは画像30上で水平方向に保たれたままとな
る。
すことにより、左右それぞれのカメラ18、19の撮影
方向を光軸22a、23aから左右に振ることができ
る。このため、図1の撮影範囲26、27に示すように
近距離の物体21に対して視野を重ねあわせることがで
きる。その上、撮像素子24、25の撮像面はその角度
を変えずに平行に移動するだけであるので、エピポーラ
直線ELは画像30上で水平方向に保たれたままとな
る。
【0035】このため、図2に示すようにスポット光が
画像上で斜めに並ぶように照射することにより、左右の
画像で同じ高さに存在するスポット像29、29a同士
を対応するスポット像として一意に決定することができ
る。実際にスポット像の検出位置には誤差が含まれるた
め、左眼画像28上で検出されたスポット像の一つ29
に対してはスリット状の範囲31中に発見されたスポッ
ト像29aを対応づける。
画像上で斜めに並ぶように照射することにより、左右の
画像で同じ高さに存在するスポット像29、29a同士
を対応するスポット像として一意に決定することができ
る。実際にスポット像の検出位置には誤差が含まれるた
め、左眼画像28上で検出されたスポット像の一つ29
に対してはスリット状の範囲31中に発見されたスポッ
ト像29aを対応づける。
【0036】以上説明したように、第1実施形態では、
マルチスポット光源20を組み合わせた平行ステレオ法
に関し、撮像素子24、25の中心24a、25aと光
軸22a、23aの位置をずらしたカメラ18、19を
用いることにより、近距離の物体21に対しても広い計
測範囲を確保しながら基線長を長くして高い精度を確保
した三次元計測装置が構成される。
マルチスポット光源20を組み合わせた平行ステレオ法
に関し、撮像素子24、25の中心24a、25aと光
軸22a、23aの位置をずらしたカメラ18、19を
用いることにより、近距離の物体21に対しても広い計
測範囲を確保しながら基線長を長くして高い精度を確保
した三次元計測装置が構成される。
【0037】図3および図4を参照して、第2実施形態
について説明する。
について説明する。
【0038】図3は、本発明の第2実施形態を示す構成
図である。第2実施形態は、撮像素子を光軸と垂直に、
かつ基線方向に平行に移動させる機構を備えたステレオ
カメラである。図4は、図3の装置で取得される画像と
対応探索の方法について説明するものである。
図である。第2実施形態は、撮像素子を光軸と垂直に、
かつ基線方向に平行に移動させる機構を備えたステレオ
カメラである。図4は、図3の装置で取得される画像と
対応探索の方法について説明するものである。
【0039】図3において、左右のレンズ32、33の
光軸34、35は互いに平行である。光軸34、35に
対して、撮像素子36、37は垂直に設置されている。
撮像素子36、37は、それぞれ直動機構38、39に
よって基線BLの方向、すなわち光軸34、35を垂直
に結ぶ直線の方向に平行に移動させることができる。こ
の移動機構38、39の動作に伴い、撮影範囲40、4
1は基線BLの方向に角度を変えることができる。
光軸34、35は互いに平行である。光軸34、35に
対して、撮像素子36、37は垂直に設置されている。
撮像素子36、37は、それぞれ直動機構38、39に
よって基線BLの方向、すなわち光軸34、35を垂直
に結ぶ直線の方向に平行に移動させることができる。こ
の移動機構38、39の動作に伴い、撮影範囲40、4
1は基線BLの方向に角度を変えることができる。
【0040】図4は、図3の装置によって撮影された画
像の例である。右眼画像44から、左眼画像42の一部
の範囲43と同一の被写体を示す範囲を探索する場合を
説明する。撮像素子37を水平に操作しながら(基線B
Lと平行に移動させながら)得た右眼画像44のうち、
上記範囲43と同じ高さの範囲45から、上記範囲43
と同一のパターンを探索する。その結果、上記範囲43
と同一のパターンである範囲46が求まる。
像の例である。右眼画像44から、左眼画像42の一部
の範囲43と同一の被写体を示す範囲を探索する場合を
説明する。撮像素子37を水平に操作しながら(基線B
Lと平行に移動させながら)得た右眼画像44のうち、
上記範囲43と同じ高さの範囲45から、上記範囲43
と同一のパターンを探索する。その結果、上記範囲43
と同一のパターンである範囲46が求まる。
【0041】同一パターンの探索は、同じ大きさの範囲
(符号43の範囲と、範囲45のうちの範囲43と大き
さが同じ範囲)同士で、それぞれの範囲に含まれるすべ
ての画素データの差分を計算する。それらの範囲のすべ
ての差分の絶対値を足しあわせた数、すなわちSAD
(Sum of absolute differen
ce)の値が最小になる点が同一パターンであるとして
求まる。
(符号43の範囲と、範囲45のうちの範囲43と大き
さが同じ範囲)同士で、それぞれの範囲に含まれるすべ
ての画素データの差分を計算する。それらの範囲のすべ
ての差分の絶対値を足しあわせた数、すなわちSAD
(Sum of absolute differen
ce)の値が最小になる点が同一パターンであるとして
求まる。
【0042】従来、移動物体の追跡などのため、さまざ
まな位置の物体をステレオのカメラで撮影して三次元位
置を求めようとする場合には、輻輳ステレオ法の一種と
してカメラの光軸をモータにより回転できるようにした
装置が用いられていた。これに対して、第2実施形態で
はカメラの光軸を回転させる代わりに撮像素子36、3
7を基線BL方向に移動させることにより左右のカメラ
の撮影範囲40、41を変化させて、物体の光軸方向の
移動、および基線方向の移動に対応する。これにより、
常にエピポーラ直線ELが画像44上で常に水平方向と
なるため、対応像の探索方法が単純となり処理の高速化
を図ることができる。
まな位置の物体をステレオのカメラで撮影して三次元位
置を求めようとする場合には、輻輳ステレオ法の一種と
してカメラの光軸をモータにより回転できるようにした
装置が用いられていた。これに対して、第2実施形態で
はカメラの光軸を回転させる代わりに撮像素子36、3
7を基線BL方向に移動させることにより左右のカメラ
の撮影範囲40、41を変化させて、物体の光軸方向の
移動、および基線方向の移動に対応する。これにより、
常にエピポーラ直線ELが画像44上で常に水平方向と
なるため、対応像の探索方法が単純となり処理の高速化
を図ることができる。
【0043】また、図4において画像44を撮影してい
る状態から、わずかに撮像素子37の位置を移動させた
場合、たとえば画像47のような範囲が撮影される。画
像47は、画像44と重なっている部分については、画
像上で平行に移動するものの歪み等の変化は生じない。
このため、この範囲(画像47と画像44の重なり部
分)については探索と三次元位置計算などの処理をやり
直す必要がなく、この点でも高速化に寄与する。また、
ゆがみが生じないため撮像素子36、37を移動させな
がら次々に撮影した画像を画像メモリ上でつなぎあわせ
て一枚の大きな画像として処理することも可能である。
る状態から、わずかに撮像素子37の位置を移動させた
場合、たとえば画像47のような範囲が撮影される。画
像47は、画像44と重なっている部分については、画
像上で平行に移動するものの歪み等の変化は生じない。
このため、この範囲(画像47と画像44の重なり部
分)については探索と三次元位置計算などの処理をやり
直す必要がなく、この点でも高速化に寄与する。また、
ゆがみが生じないため撮像素子36、37を移動させな
がら次々に撮影した画像を画像メモリ上でつなぎあわせ
て一枚の大きな画像として処理することも可能である。
【0044】第2実施形態では、撮像素子36、37を
直動機構38、39によって基線方向に自由に移動可能
とすることにより、光軸方向、基線方向についてさまざ
まな位置にある物体に対して撮影範囲40、41を設定
することができ、この時の対応像の探索の方向が水平方
向で一定となることにより処理の高速化を図ることがで
きる。
直動機構38、39によって基線方向に自由に移動可能
とすることにより、光軸方向、基線方向についてさまざ
まな位置にある物体に対して撮影範囲40、41を設定
することができ、この時の対応像の探索の方向が水平方
向で一定となることにより処理の高速化を図ることがで
きる。
【0045】
【発明の効果】本発明のステレオ画像計測装置によれ
ば、処理の単純化・高速化およびマルチスポット光源と
の組み合わせの点において有利であり、且つ近距離の物
体に対して広い計測範囲と高精度な計測を実現すること
ができる。
ば、処理の単純化・高速化およびマルチスポット光源と
の組み合わせの点において有利であり、且つ近距離の物
体に対して広い計測範囲と高精度な計測を実現すること
ができる。
【図1】図1は、本発明のステレオ画像計測装置の第1
の実施形態の構成を示す図である。
の実施形態の構成を示す図である。
【図2】図2は、第1の実施形態において取得される画
像と対応点探索の手法について説明するための図であ
る。
像と対応点探索の手法について説明するための図であ
る。
【図3】図3は、本発明のステレオ画像計測装置の第2
の実施形態の構成を示す図である。
の実施形態の構成を示す図である。
【図4】図4は、第2の実施形態において取得される画
像と対応点探索の手法について説明するための図であ
る。
像と対応点探索の手法について説明するための図であ
る。
【図5】図5は、従来の平行ステレオ法による三次元計
測装置の構成を示す図である。
測装置の構成を示す図である。
【図6】図6は、従来の輻輳ステレオ法による三次元計
測装置の構成を示す図である。
測装置の構成を示す図である。
【図7】図7は、一般の平行ステレオ法および輻輳ステ
レオ法における、エピポーラ拘束について説明するため
の図である。
レオ法における、エピポーラ拘束について説明するため
の図である。
【図8】図8は、従来の平行ステレオ法において対応像
の探索処理を単純化するための構成を示す図である。
の探索処理を単純化するための構成を示す図である。
【図9】図9は、従来のステレオ法においてマルチスポ
ット光源を組み合わせる場合について説明する図であ
る。
ット光源を組み合わせる場合について説明する図であ
る。
【図10】図10は、従来のステレオ法でマルチスポッ
ト光源を組み合わせた場合において、対応する輝点を決
めるときについて説明するための図であり、(a)は平
行ステレオ法に関し、(b)は輻輳ステレオ法に関す
る。
ト光源を組み合わせた場合において、対応する輝点を決
めるときについて説明するための図であり、(a)は平
行ステレオ法に関し、(b)は輻輳ステレオ法に関す
る。
1 光軸 2 光軸 3 撮像素子 3a 中央部 4 撮像素子 4a 中央部 5 光軸 6 光軸 8 カメラ 9 点 10 カメラ 11 直線(エピポーラ直線) 12 点 13 直線 14 輝点 15 エピポーラ直線 16 エピポーラ直線 17 範囲 18 カメラ(左眼) 19 カメラ(右眼) 20 マルチスポット光源 21 対象物体 22 レンズ 22a 光軸 23 レンズ 23a 光軸 24 固体撮像素子 24a 中心 25 固体撮像素子 25a 中心 26 撮影範囲 27 撮影範囲 28 左眼画像 29 スポット像 29a スポット像 30 右眼画像 31 スリット状の範囲 32 レンズ 33 レンズ 34 光軸 35 光軸 36 撮像素子 37 撮像素子 38 直動機構(移動機構) 39 直動機構(移動機構) 40 撮影範囲 41 撮影範囲 42 左眼の画像 43 範囲 44 右眼の画像 45 範囲 46 範囲 47 画像 BL 基線 C1 カメラ C2 カメラ EL エピポーラ直線 f 焦点距離 L1 レンズ L2 レンズ l1 エピポーラ直線 l2 エピポーラ直線 l3 エピポーラ直線 l4 エピポーラ直線 l5 エピポーラ直線 VL 仮想直線
───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤田 憲 兵庫県高砂市荒井町新浜2丁目1番1号 三菱重工業株式会社高砂研究所内 Fターム(参考) 2F112 AC02 AC06 BA05 BA06 CA12 DA00 DA02 EA01 FA35
Claims (10)
- 【請求項1】 複数の光を照射するマルチスポット光源
と、 第1および第2のカメラとを備えたステレオ画像計測装
置であって、 前記第1のカメラは、第1の光軸を有する第1のレンズ
と、前記第1のレンズを通った光により撮像する第1の
撮像素子とを有し、 前記第2のカメラは、第2の光軸を有する第2のレンズ
と、前記第2のレンズを通った光により撮像する第2の
撮像素子とを有し、 前記第1の光軸は、前記第1の撮像素子の撮像面に概ね
直交し、 前記第2の光軸は、前記第2の撮像素子の撮像面に概ね
直交するとともに前記第1の光軸に概ね平行とされ、 前記第1の撮像素子の前記撮像面の中心部は、前記第1
の光軸に対して、前記第1および第2の光軸に概ね直交
する基線の方向にずれているステレオ画像計測装置。 - 【請求項2】 請求項1記載のステレオ画像計測装置に
おいて、 前記第2の撮像素子の前記撮像面の中心部は、前記第2
の光軸に対して、前記基線の方向にずれているステレオ
画像計測装置。 - 【請求項3】 請求項1または2に記載のステレオ画像
計測装置において、 前記マルチスポット光源は、前記複数の光のそれぞれに
対応する輝点が、前記第1および第2のカメラのそれぞ
れにより撮像された画像において、複数の仮想線に沿っ
て配置されるように前記複数の光を照射し、 前記仮想線は、前記第1および第2のカメラの一方によ
り撮像された画像に現れるエピポーラ直線に対して、傾
斜しているステレオ画像計測装置。 - 【請求項4】 請求項1から3のいずれかに記載のステ
レオ画像計測装置において、 前記第1および第2の撮像素子のそれぞれの走査線の方
向は、前記基線の方向に概ね平行であるステレオ画像計
測装置。 - 【請求項5】 請求項1から4のいずれかに記載のステ
レオ画像計測装置において、 更に、 前記第1および第2のカメラにより撮像された第1およ
び第2の画像に基づいて、前記第1および第2の画像に
おいて互いに対応する像を探索する制御部を有し、 前記制御部は、前記第1および第2の画像において、互
いに概ね同じ高さに存在する輝点が、前記互いに対応す
る像を示していると判断するステレオ画像計測装置。 - 【請求項6】 請求項5記載のステレオ画像計測装置に
おいて、 前記制御部は、前記第1画像に存在する第1輝点と概ね
同じ高さに延びるスリット状範囲を、前記第2画像に設
定し、前記設定されたスリット状範囲の中から前記第1
輝点に対応する輝点を探索するステレオ画像計測装置。 - 【請求項7】 請求項1から4のいずれかに記載のステ
レオ画像計測装置において、 更に、 前記第1の撮像素子を、前記基線と概ね平行に移動させ
る第1の移動部と、 前記第2の撮像素子を、前記基線と概ね平行に移動させ
る第2の移動部とを備えたステレオ画像計測装置。 - 【請求項8】 請求項7記載のステレオ画像計測装置に
おいて、 更に、 前記第1および第2のカメラにより撮像された第1およ
び第2の画像に基づいて、前記第1および第2の画像に
おいて互いに対応する像を探索する制御部を有し、 前記制御部は、前記第1画像の中に設定された対象範囲
と概ね同じ高さの探索範囲を、前記第2の撮像素子が移
動しつつ撮像した前記第2画像に設定し、前記設定され
た前記探索範囲から前記対象範囲に対応する範囲を求め
るステレオ画像計測装置。 - 【請求項9】 請求項8記載のステレオ画像計測装置に
おいて、 前記制御部は、前記対象範囲と同じ大きさの特定範囲
を、前記第2画像の前記探索範囲に設定し、前記設定さ
れた特定範囲および前記対象範囲の間で、前記特定範囲
および前記対象範囲のそれぞれに含まれる複数の画素デ
ータの差分の絶対値の合計値(SAD;Sum of
absolute difference)を求め、前
記合計値が最小となる範囲を求めるステレオ画像計測装
置。 - 【請求項10】(a) 第1光軸を有する第1レンズ
と、前記第1レンズを通った光により撮像する第1撮像
素子を提供することと、(b) 第2光軸を有する第2
レンズと、前記第2レンズを通った光により撮像する第
2撮像素子を提供することと、(c) 前記第1撮像素
子および前記第2撮像素子のいずれか一方である特定撮
像素子により撮像された画像に現れるエピポーラ直線が
前記画像上で常に水平方向となるように、前記特定撮像
素子を移動させることとを備えたステレオ画像計測方
法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11209574A JP2001033236A (ja) | 1999-07-23 | 1999-07-23 | ステレオ画像計測装置およびステレオ画像計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11209574A JP2001033236A (ja) | 1999-07-23 | 1999-07-23 | ステレオ画像計測装置およびステレオ画像計測方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001033236A true JP2001033236A (ja) | 2001-02-09 |
Family
ID=16575099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11209574A Pending JP2001033236A (ja) | 1999-07-23 | 1999-07-23 | ステレオ画像計測装置およびステレオ画像計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001033236A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006135040A1 (ja) * | 2005-06-17 | 2006-12-21 | Omron Corporation | 3次元計測を行う画像処理装置および画像処理方法 |
WO2007125876A1 (ja) * | 2006-04-24 | 2007-11-08 | Panasonic Corporation | 撮像装置 |
JPWO2017056268A1 (ja) * | 2015-09-30 | 2018-03-22 | 株式会社小松製作所 | 作業車両 |
CN108027237A (zh) * | 2015-09-29 | 2018-05-11 | 日立汽车系统株式会社 | 周边识别装置 |
-
1999
- 1999-07-23 JP JP11209574A patent/JP2001033236A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006135040A1 (ja) * | 2005-06-17 | 2006-12-21 | Omron Corporation | 3次元計測を行う画像処理装置および画像処理方法 |
CN100460807C (zh) * | 2005-06-17 | 2009-02-11 | 欧姆龙株式会社 | 进行三维计测的图像处理装置及图像处理方法 |
JP4811272B2 (ja) * | 2005-06-17 | 2011-11-09 | オムロン株式会社 | 3次元計測を行う画像処理装置および画像処理方法 |
US8233041B2 (en) | 2005-06-17 | 2012-07-31 | Omron Corporation | Image processing device and image processing method for performing three dimensional measurements |
WO2007125876A1 (ja) * | 2006-04-24 | 2007-11-08 | Panasonic Corporation | 撮像装置 |
CN108027237A (zh) * | 2015-09-29 | 2018-05-11 | 日立汽车系统株式会社 | 周边识别装置 |
JPWO2017056268A1 (ja) * | 2015-09-30 | 2018-03-22 | 株式会社小松製作所 | 作業車両 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004504586A (ja) | 物体の幾何学的形状の無接触測定のための方法 | |
JP2008241643A (ja) | 3次元形状測定装置 | |
KR100264393B1 (ko) | 프리즘에 의한 스테레오 카메라 시스템 | |
JP2007093412A (ja) | 3次元形状測定装置 | |
JPH0816608B2 (ja) | 形状計測装置 | |
US11350077B2 (en) | Handheld three dimensional scanner with an autoaperture | |
JP3991501B2 (ja) | 3次元入力装置 | |
US20040126006A1 (en) | Apparatus and method for measuring the shape of a three dimensional object using projected multi-stripe patterns | |
JP2001033236A (ja) | ステレオ画像計測装置およびステレオ画像計測方法 | |
JP2007333525A (ja) | 距離測定装置 | |
JPH0252204A (ja) | 3次元座標計測装置 | |
JP3564383B2 (ja) | 3次元動画入力装置 | |
JP4788968B2 (ja) | 焦点面傾斜型共焦点表面形状計測装置 | |
JP2017129383A (ja) | 三次元距離センサー装置 | |
JP3525712B2 (ja) | 三次元画像撮像方法及び三次元画像撮像装置 | |
CN112804515A (zh) | 全向立体视觉的摄像机配置系统及摄像机配置方法 | |
JP2504944B2 (ja) | 3次元情報処理方法 | |
KR100395773B1 (ko) | 두 장의 사진을 이용한 광 삼각법 삼차원 측정 장치 | |
JP2000088539A (ja) | 3次元入力方法及び3次元入力装置 | |
JP2000046534A (ja) | モアレ装置 | |
WO2023182095A1 (ja) | 表面形状測定装置及び表面形状測定方法 | |
US20190149795A1 (en) | Three dimensional imaging using line scan camera | |
JPH1137720A (ja) | 被写体の位置測定方法及び装置 | |
JPS58171025A (ja) | 撮影装置 | |
KR20000017888A (ko) | 거울을이용한단안렌즈스테레오비젼획득방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040409 |