JP2002152779A

JP2002152779A - ３次元画像検出装置

Info

Publication number: JP2002152779A
Application number: JP2000343695A
Authority: JP
Inventors: Shinichi Kakiuchi; 伸一垣内; Shuzo Seo; 修三瀬尾; Nobuhiro Tani; 信博谷; Kiyoshi Yamamoto; 山本　　清
Original assignee: Asahi Kogaku Kogyo Co Ltd
Current assignee: Pentax Corp
Priority date: 2000-11-10
Filing date: 2000-11-10
Publication date: 2002-05-24
Anticipated expiration: 2020-11-10
Also published as: JP3986748B2

Abstract

(57)【要約】【課題】ステレオ画像の対応点の探索を迅速かつ簡略
にする。【解決手段】デジタルカメラ１０の鏡筒部１３に、ス
テレオアダプタ２０を装着する。デジタルカメラ１０で
は、ステレオアダプタ２０の２次元画像用ステレオレン
ズ２１を介してのステレオ画像を撮像する。２次元画像
用ステレオレンズ２１の下側に同一のレンズ間距離を持
つ３次元画像用ステレオレンズ２２を設ける。光源装置
２３から測距光を照射し、その反射光を３次元画像用ス
テレオレンズ２２を介してステレオアダプタ２０内に設
けられたＣＣＤで受光することにより、画素値が被写体
までの距離に対応する３次元画像を検出する。３次元画
像から被写体の座標値を求め、これに基づきデジタルカ
メラ１０で撮像されたステレオ画像における対応点の探
索を行う。３次元画像の検出動作をホットシュー１１か
らのトリガ信号に同期させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオ画像及び
光伝播時間測定法を用いて被計測物体の３次元形状等を
検出する３次元画像検出装置に関する。

【０００２】

【従来の技術】ステレオ画像を用いた写真測量では、計
測物体を２つの異なる視点から撮影し、撮影された２枚
の画像の視差を利用して計測点までの距離を三角測量の
原理に基づいて計測する。このとき２枚の画像のエピポ
ーラ・ライン上で対応点を探索する必要がある。従来、
エピポーラ・ライン上の対応点の探索は、例えば撮影さ
れたステレオ画像に画像処理を施して特徴点を抽出し、
これらの特徴点の間で対応関係を求めることにより行わ
れている。

【０００３】一方、光伝播時間測定法を用いた測量とし
ては、測距光を計測物体に照射し、その反射光を所定の
タイミングでＣＣＤなどの撮像素子で受光・検出するこ
とにより、計測物体までの距離を画素毎に検出可能な３
次元画像検出装置が知られている。

【０００４】

【発明が解決しようとする課題】しかし、ステレオ画像
を用いる写真測量では、例えば被写体に模様がなく、そ
の形状が平坦であるときなど特徴点の抽出が困難な場合
や、視差が大きく２枚の画像が共有する領域が少ないと
きなどには、両画像間における対応付けが困難となる。
これに対し、上記３次元画像検出装置を用いた測距方法
では、各画素の画素値が対応する計測物体までの距離に
直接対応しているので、ステレオ画像を用いたときのよ
うな対応付けの問題は生じない。しかし、この方法では
必ずしも計測精度を十分に得られないという問題があ
る。

【０００５】本発明は、ステレオ画像における対応点探
索処理を高速かつ簡略にするための３次元画像検出装置
を得ることを目的としている。

【０００６】

【課題を解決するための手段】本発明の３次元画像検出
装置は、画素値が被写体までの距離に対応する３次元画
像を検出可能な距離測定手段と、通常の視覚的な画像で
ある２次元画像のステレオ画像を撮像するための２次元
画像用ステレオ光学系と、２次元画像用ステレオ光学系
を用いて撮像された２次元画像のステレオ画像における
対応点の探索を、距離測定手段により検出された３次元
画像に基づいて行うための対応点探索手段とを備えるこ
とを特徴としている。

【０００７】また、３次元画像検出装置は、３次元画像
をステレオ画像として撮像するための３次元画像用ステ
レオ光学系を備えることが好ましい。また、このとき対
応点探索手段は、３次元画像用ステレオ光学系を用いて
撮像された３次元画像のステレオ画像において画素間の
対応関係を求めることが好ましく、３次元画像のステレ
オ画像における画素間の対応関係は、３次元画像から算
出される３次元座標値に基づいて行われることが好まし
い。これにより、簡略かつ高速に３次元画像のステレオ
画像における画素間の対応関係が求められ、この対応関
係に基づいて２次元画像のステレオ画像における画素間
の対応関係がより簡略かつ高速に求められる。また、３
次元画像のステレオ画像から２次元画像のステレオ画像
への対応がより直接的に求められることから、２次元画
像のステレオ画像における画素間の対応関係も、より簡
略、高速かつ高い精度で求めることができる。

【０００８】３次元画像検出装置は、２次元画像用ステ
レオ光学系をカメラの光学系と接続するための接続部を
備えることが好ましい。この接続部により２次元画像用
ステレオ光学系とカメラの光学系とが接続されることに
より、カメラにおいて２次元画像のステレオ画像の撮像
が可能となり、３次元画像検出装置を既存のカメラに着
脱自在なステレオアダプタ型とすることができる。この
とき接続部は、カメラのレンズ鏡筒先端開口部に設けら
れたネジマウントに装着されるネジマウントであること
が好ましい。これにより既存のカメラに変更を加えるこ
となく簡単にステレオアダプタ型の３次元画像検出装置
を装着することができる。

【０００９】また、３次元画像検出装置は、例えばカメ
ラのホットシューから出力される外部トリガ信号を検知
するための外部トリガ入力手段を備え、距離測定手段の
駆動が、この外部トリガ信号に基づいて制御される。あ
るいは、３次元画像検出装置は、ストロボ光を受光トリ
ガ信号として検知するためのストロボ光検知手段を備
え、距離測定手段の駆動が受光トリガ信号に基づいて制
御される。これにより、既存のカメラに変更を加えるこ
となく、カメラでの２次元画像の撮像動作と、３次元画
像検出装置における３次元画像の検出動作を同期させて
行うことが可能となる。

【００１０】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は、本発明の一実施形態であ
るステレオアダプタ型の３次元画像検出装置を従来型の
デジタルカメラに装着したときの状態を模式的に示す斜
視図である。図１を参照して本実施形態において用いら
れるステレオアダプタ型の３次元画像検出装置について
説明する。

【００１１】デジタルカメラ１０は従来型のデジタルカ
メラであり、デジタルカメラ１０の上面にはホットシュ
ー１１及びレリーズスイッチ１４が設けられ、側面には
インターフェースケーブルを接続するためのオプション
コネクタ１２、例えばＵＳＢ、が設けられている。デジ
タルカメラ１０の鏡筒１３の先端にはステレオアダプタ
型の３次元画像検出装置（以後ステレオアダプタと呼
ぶ）２０が装着されている。ステレオアダプタ２０の鏡
筒１３への装着には、例えば鏡筒１３の先端開口部に形
成され、例えばフィルタやフード等を取り付けるために
利用されるネジマウントが用いられる。

【００１２】ステレオアダプタ２０の前面には上下２段
にそれぞれ一対のステレオ撮影用のレンズが設けられて
いる。上段に設けられた一対のレンズ２１は、デジタル
カメラの光軸を二分し、視差のある通常のステレオ画像
をデジタルカメラ１０に設けられたＣＣＤにおいて撮影
するための２次元画像用ステレオレンズである。一方、
下段に設けられた一対のレンズ２２は、後述する３次元
画像のステレオ画像を撮影するための３次元画像用ステ
レオレンズである。ステレオアダプタ２０の両側面に
は、測距用の赤外レーザ光を拡散して照射するため光源
装置２３が設けられている。また、ステレオアダプタ２
０の上面中央には、フラッシュライトの反射光を検出す
る受光トリガ検出装置２４が設けられている。なお、３
次元画像用ステレオレンズ２２におけるレンズ間の距離
は、２次元画像用ステレオレンズ２１におけるレンズ間
の距離に等しい。

【００１３】ステレオアダプタ２０の裏面には外部トリ
ガ用ケーブル１８及びインターフェースケーブル１９の
一方の端が接続されており、ケーブル１８、１９のもう
一方の端はホットシュー１１及びオプションコネクタ１
２にそれぞれ接続されている。なお、図１において、デ
ジタルカメラ１０には、ホットシュー１１、オプション
コネクタ１２及び鏡筒１３のみが図示されており、その
他の部分に関しては省略されている。

【００１４】図２、図３（ａ）、（ｂ）は、本実施形態
におけるステレオアダプタ２０の光学系の構造を概略示
す図である。図２は、２次元画像用ステレオレンズ２１
（２１ａ及び２１ｂ）に係る光学系（２次元画像用ステ
レオ光学系）の構造を示し、図３（ａ）、（ｂ）は３次
元画像用ステレオレンズ２２（２２ａ及び２２ｂ）に関
する光学系の構造を示す。

【００１５】ステレオアダプタ２０の光学系はデジタル
カメラの光軸Ｌに関し左右対称である。２次元ステレオ
画像の左側画像を撮影するための２次元画像用ステレオ
レンズ２１ａから入射した光は、光軸Ｌａに沿ってデジ
タルカメラ１０内に搭載されたＣＣＤ５０の右半分の領
域に投影される。一方、２次元ステレオ画像の右側画像
を撮影するための２次元画像用ステレオレンズ２１ｂか
ら入射した光は、光軸Ｌｂに沿ってＣＣＤ５０の左半分
の領域に投影される。

【００１６】すなわち、２次元画像用ステレオレンズ２
１ａにおいて光軸Ｌに平行な光軸Ｌａは、この軸に対し
４５°傾けられて配置された反射ミラー２５ａにより光
軸Ｌに向けて９０°屈曲される。反射ミラー２５ａによ
り屈曲された光軸Ｌａは、この軸に対して傾けられて配
置された反射ミラー２６ａによりＣＣＤ５０の方向へ屈
曲される。反射ミラー２６ａにより屈曲された光軸Ｌａ
は、デジタルカメラ１０の撮像レンズ５１を介しＣＣＤ
５０の右側の受光面に達する。一方、２次元画像用ステ
レオレンズ２１ｂにおいて光軸Ｌに平行な光軸Ｌｂは、
この軸に対し４５°傾けられて配置された反射ミラー２
５ｂにより光軸Ｌに向けて９０°屈曲される。反射ミラ
ー２５ｂにより屈曲された光軸Ｌｂは、この軸に対して
傾けられて配置された反射ミラー２６ｂによりＣＣＤ５
０の方向へ屈曲される。反射ミラー２６ｂにより屈曲さ
れた光軸Ｌｂは、デジタルカメラ１０の撮像レンズ５１
を介しＣＣＤ５０の左側の受光面に達する。

【００１７】上述したように、図３（ａ）、（ｂ）は、
ステレオアダプタ２０のうち、３次元画像用ステレオレ
ンズ２２（２２ａ及び２２ｂ）に関する光学系の構造を
模式的に示す図であり、図３（ａ）は、ステレオアダプ
タ２０を上方から見たときの模式図であり、図３（ｂ）
は、正面から見たときの模式図である。

【００１８】３次元ステレオ画像の左側画像を撮影する
ための３次元画像用ステレオレンズ２２ａから入射した
光は、光軸Ｌａ’に沿ってステレオアダプタ２０の底部
２８に搭載されたＣＣＤ２７の左半分の領域に投影され
る。一方、３次元ステレオ画像の右側画像を撮影するた
めの３次元画像用ステレオレンズ２２ｂから入射した光
は、光軸Ｌｂ’に沿ってＣＣＤ２７の右半分の領域に投
影される。

【００１９】すなわち、３次元画像用ステレオレンズ２
２ａにおいて、デジタルカメラ１０の光軸Ｌに平行な光
軸Ｌａ’は、この軸に対し４５°傾けられて配置された
反射ミラー２９ａによりレンズ３０ａ方向へ９０°屈曲
される。反射ミラー２９ａにより屈曲された光軸Ｌａ’
はレンズ３０ａの中心を通って、この光軸に対して４５
°傾けられて配置された反射ミラー３１ａによりＣＣＤ
２７の方向へ９０°屈曲され、ステレオアダプタ２０の
底部２８に装置されたＣＣＤ２７の左側の受光面に達す
る。一方、３次元画像用ステレオレンズ２２ｂにおいて
光軸Ｌに平行な光軸Ｌｂ’は、この軸に対し４５°傾け
られて配置された反射ミラー２９ｂによりレンズ３０ｂ
方向へ９０°屈曲され、反射ミラー２９ｂにより屈曲さ
れた光軸Ｌｂ’はレンズ３０ｂの中心を通って、この光
軸に対して４５°傾けて配置された反射ミラー３１ｂに
よりＣＣＤ２７の方向へ９０°屈曲される。その後光軸
Ｌｂ’は、ステレオアダプタ２０の底部２８に装置され
たＣＣＤ２７の右側の受光面に達する。

【００２０】図４は、図１〜図３に示されたステレオア
ダプタ２０の回路構成を概略示すブロック図である。図
４を参照して本実施形態のステレオアダプタ型の３次元
画像検出装置について説明する。なお、図４における撮
像光学系の構成は模式的なものである。

【００２１】本実施形態のステレオアダプタ２０には、
デジタルカメラ１０のホットシュー１１からの信号をト
リガとしてＣＣＤ２７を用いた３次元画像の撮影を行う
外部トリガモードと、デジタルカメラ１０のストロボ
（図示せず）の発光をフォトダイオード（ＰＤ）２４で
検知し、これをトリガとして３次元画像の撮影を行う受
光トリガモードとがある。図４では、ホットシュー１１
に外部トリガ用ケーブル１８を接続したときの構成が示
されている。

【００２２】外部トリガモードに設定されているとき、
デジタルカメラ１０のレリーズスイッチ１４が押され、
ホットシュー１１からストロボ発光のためのトリガ信号
が出力されると、ホットシュー１１から出力されたトリ
ガ信号はホットシュー１１及びコネクタ７０に接続され
た外部トリガ用ケーブル１８を介してステレオアダプタ
２０の外部トリガ入力回路６１に入力される。その後、
外部トリガ入力回路６１からトリガ信号が、システムコ
ントロール回路６０へ出力される。外部トリガ入力回路
６１からのトリガ信号がシステムコントロール回路６０
に入力されると、システムコントロール回路６０は発光
素子制御回路６２及びＣＣＤ駆動回路６３を制御して、
３次元画像に対するステレオ画像の撮像を開始する。す
なわち、発光素子２３ａと照明用レンズ２３ｂとからな
る発光装置２３では、赤外レーザダイオードなどの発光
素子２３ａが発光素子駆動制御回路６２の制御信号に基
づいてパルス状の測距光を照射し、赤外領域の測距光が
照明用レンズ２３ｂを介して被写体の全体に照射され
る。また、ＣＣＤ２７では、ＣＣＤ駆動回路６３からの
ＣＣＤ駆動信号に基づいて、発光装置２３の発光に合わ
せた電荷の蓄積及び電荷の読み出し動作が行われる。

【００２３】ＣＣＤ２７から読み出された電荷信号、す
なわち画像信号はアンプ６４において増幅され、Ａ／Ｄ
変換器６５においてアナログ信号からデジタル信号に変
換される。デジタルの画像信号は、撮像信号処理回路６
６においてガンマ補正等の処理を施され、画像メモリ６
７に一時的に格納される。その後画像信号は画像メモリ
６７から読み出され、システムコントロール回路６０、
インターフェース回路６８及びコネクタ６９に接続され
たインターフェースケーブル１９を介してデジタルカメ
ラ１０に出力され、デジタルカメラ１０の画像メモリ
や、メモリカード等の記録媒体に記録される。

【００２４】モードが受光トリガモードに設定されてい
るときには、受光トリガ検出回路７３に接続されたフォ
トダイオード（ＰＤ）２４においてカメラ本体に内蔵ま
たは装着されたストロボから照射されたストロボ光が検
出され、トリガ信号としてシステムコントロール回路６
０に入力される。このときシステムコントロール回路６
０では、外部トリガモードのときと同様に、発光素子制
御回路６２及びＣＣＤ駆動回路６３を制御して、３次元
画像に対するステレオ画像の撮像を開始する。なお、受
光トリガモードは、ステレオアダプタ２０を例えばカメ
ラボディにストロボが一体的に装備され、ホットシュー
を備えないデジタルカメラとともに用いるときや、２次
元画像の撮影にストロボ光が必要なためストロボをホッ
トシューに取り付けているときなど、ホットシューに外
部トリガ用ケーブルを接続できないときに利用される。

【００２５】なお、システムコントロール回路６０に
は、液晶等からなる表示素子７１及び、外部トリガモー
ドと受光トリガモードとの間の切換を行うためのモード
切換スイッチ７２も接続されている。また、ステレオア
ダプタ２０はネジマウント３２を、デジタルカメラ１０
のレンズ鏡筒１３に設けられたネジマウント１５に装着
することにより接続される。

【００２６】図５、図６は、本実施形態のステレオアダ
プタ２０において実行されるプログラムのフローチャー
トである。図５、図６を参照して本実施形態のステレオ
アダプタ型の３次元画像検出装置において実行される３
次元画像の検出動作について説明する。

【００２７】まず、ステップ１０１において、ステレオ
アダプタ２０の電源スイッチがオン状態にあるか否かが
判定され、電源スイッチがオン状態に設定されるまでス
テップ１０１が繰り返し実行される。ステップ１０１に
おいて電源スイッチがオン状態にあると判定されるとス
テップ１０２において、接続されたデジタルカメラ１０
のモードがＰＣ通信モードに設定されているか否かが判
定される。ＰＣ通信モードは、従来のデジタルカメラに
設けられた１つのモードであり、デジタルカメラとコン
ピュータ本体１０と間をオプションコネクタ１２に接続
されたインターフェースケーブルを介して接続し、デー
タ通信を行うためのモードである。ステップ１０２で
は、インターフェース回路６８を介してデジタルカメラ
１０のシステムコントロール回路との通信を行い、デジ
タルカメラがＰＣ通信モードに設定されているか否かが
判定される。

【００２８】ステップ１０２においてデジタルカメラ１
０がＰＣ通信モードに設定されていると判定されると、
ステップ１０６において画像メモリ６７に記憶された画
像データ等のデータがインタフェース回路６８を介して
デジタルカメラ１０に転送される。ステップ１０７で
は、画像メモリ６７に記憶されている画像データの転送
が終了したか否かが判定される。画像データの転送が終
了していないときにはステップ１０６に戻り、再び画像
データの転送動作が実行される。画像データの転送が終
了すると処理はステップ１０３へ移る。

【００２９】ステップ１０３では、ステレオアダプタ２
０のモード切換スイッチ７２が受光トリガモードに設定
されているか否かが判定される。モード切換スイッチ７
２が受光トリガモードに設定されていると判定される
と、ステップ１０８において、ストロボ光がフォトダイ
オード２４で受光されたかが判定される。フォトダイオ
ード２４でのストロボ光の受光検知動作は、ストロボ光
が受光されるまで繰り返し行われる。すなわち、ストロ
ボ光による受光トリガ信号を受信するための待機状態と
なる。フォトダイオード２４においてストロボ光が受光
されると処理はステップ１０９へ移る。なお、このとき
デジタルカメラ１０では、ＣＣＤ５０により通常の画像
（例えばカラー画像）からなるステレオ画像が撮像され
る。このステレオ画像は、デジタルカメラ１０内に設け
られたメモリなどの記録媒体に記録される。

【００３０】一方、ステップ１０３において、モード切
換スイッチ７２が受光トリガモードに設定されていない
と判定されると、処理はステップ１０４へ移り、モード
切換スイッチ７２の設定が、外部トリガモードであるか
否かが判定される。モード切換スイッチ７２の設定が外
部トリガモードでないときには、処理はステップ１０１
へ戻り、再び上述のステップが繰り返し実行される。一
方、モード切換スイッチ７２の設定が外部トリガモード
であると判定されると、処理はステップ１０５へ移る。

【００３１】ステップ１０５では、デジタルカメラ１０
のホットシュー１１からの外部トリガ信号が外部トリガ
入力回路に入力されたか否かが判定される。ステップ１
０５の判定動作は、外部トリガ入力回路６１に外部トリ
ガ信号が入力されるまで繰り返される。外部トリガ信号
がステップ１０５において、外部トリガ入力回路６１に
入力されたと判定されると処理はステップ１０９へ移
る。なお、このときデジタルカメラ１０では、ステップ
１０８においてストロボ光がフォトダイオード２４で受
光されたときのように通常のステレオ画像がＣＣＤ５０
において撮像され、デジタルカメラ１０内に設けられた
メモリなどの記録媒体に記録される。

【００３２】ステップ１０９では、測距光を照射するた
めの発光装置２３を用いた発光制御がオン状態に定めら
れる。すなわち発光素子制御回路６２による発光素子２
３ａの駆動が開始される。ステップ２００では、測距光
の照射タイミングに合わせたＣＣＤ２７の駆動が開始さ
れ、被写体までの距離に対応した信号電荷を画素毎に画
像データとして検出する。すなわち、ＣＣＤ駆動回路６
３によるＣＣＤ２７の駆動を開始し３次元画像を検出す
る。なお、本実施形態では、大きな信号出力を得るため
に、パルス状の測距光が断続的に繰り返し被写体に照射
され、この測距光の照射に合わせてＣＣＤ２７における
信号電荷の蓄積動作が制御される。すなわち、後に図
７、図８を参照して説明される距離測定の原理が、例え
ば１フィールド期間に渡り繰り返し実行される。繰り返
し実行される距離測定動作の各々において検出される信
号電荷はＣＣＤ２７の垂直転送部（図示せず）において
積分され、これにより大きな信号出力が得られる。

【００３３】ステップ２０１では、ステップ１０９にお
いてオン状態に定められた発光装置２３に対する発光制
御がオフ状態に定められ、ステップ２００において実行
された距離測定動作が終了する。ステップ２０２では、
検出された３次元画像の画素値（画像データ）に基づい
て演算処理が行われ、被写体までの距離データが画素毎
に算出されるとともに、各画素に対応する被写体の座標
データが算出される。なお、ステップ２００での距離測
定（３次元画像検出）動作及びステップ２０２の距離デ
ータ、座標データの算出方法に関しては後述する。ま
た、上記距離データ及び座標データの算出は、左右のス
テレオ画像毎に行われる。すなわち、左右のステレオ画
像にそれぞれに対応するＣＣＤ２８の撮像面の右側領
域、左側領域毎に行われる。

【００３４】ステップ２０３では、ステップ２００でス
テレオ画像として撮像された左側画像と右側画像との間
において、各画素間の対応関係が画素対応データとして
求められる。すなわち、被写体のある点を、右側画像に
投影したときの画素と、左側画像に投影したときの画素
との間の対応が、ステップ２０２において各画素毎に算
出された被写体の座標データに基づいて求められる。

【００３５】ステップ２０４では、ステップ２００にお
いて検出された３次元画像に画像圧縮処理が施される。
ステップ２０５では、画像圧縮処理を施された３次元画
像、ステップ２０２において算出された距離データや座
標データ、ステップ２０３で求められた左右の画像にお
ける画素の対応関係を示す画素対応データが画像メモリ
６７に記憶される。この後、処理は再びステップ１０１
へ戻り、以上に述べた処理を繰り返し実行する。

【００３６】なお、画像メモリ６７に記憶された画像デ
ータ、距離データ、座標データや画素対応データ等は、
ステップ１０６においてデジタルカメラ１０のメモリ等
の記録媒体に転送され一時的に記憶される。デジタルカ
メラ１０のメモリに記憶されたこれらのデータは、その
後、デジタルカメラ１０において撮像されたステレオ画
像（２次元画像）の画像データとともにコンピュータに
転送される。

【００３７】３次元画像による被写体までの距離の測定
では、ＣＣＤ２７を極めて高速に駆動しなければならな
い等の理由から、その精度は必ずしも高くない。また、
ＣＣＤの高速駆動を実現するには、ＣＣＤ回路の漂遊容
量を低減することが望まれ、このためにはＣＣＤの画素
数を減らすことが望まれる。これらのことから、３次元
画像の検出には、２次元画像を検出するためのＣＣＤ５
０よりも画素数の少ないＣＣＤ２７が用いられる。以上
のことから、データが転送されたコンピュータでは、ま
ず３次元画像により求められた画素対応データから大ま
かに２次元画像の左右の画像における画素間の対応関係
を求め、この対応関係を基礎として左右の２次元画像に
対して従来公知のパターンマッチング等を適用する。こ
れにより、より正確な画素間の対応関係が求められ、こ
の対応関係に基づいて被写体の３次元空間における座標
値を、従来公知の立体写真測量の原理を用いてより高い
精度で算出することが可能となる。なお、３次元画像に
より求められた画素対応データから２次元画像の左右の
画像における画素間の対応関係を求める方法に関しては
後述する。

【００３８】次に図７、図８を参照して本実施形態のス
テレオアダプタ２０において実行される距離測定動作
（３次元画像検出動作）の原理について説明する。な
お、図８において横軸は時間である。

【００３９】距離測定装置Ｂから出力された測距光は被
写体Ｓにおいて反射し、図示しないＣＣＤによって受光
される。測距光は所定のパルス幅Ｈを有するパルス状の
光であり、したがって被写体Ｓからの反射光も、同じパ
ルス幅Ｈを有するパルス状の光である。また反射光のパ
ルスの立ち上がりは、測距光のパルスの立ち上がりより
も時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反
射光は距離測定装置Ｂと被写体Ｓの間の２倍の距離ｒを
進んだことになるから、その距離ｒはｒ＝δ・ｔ・Ｃ／２・・・（１）により得られる。ただしＣは光速である。

【００４０】例えば測距光のパルスの立ち上がりから反
射光を検知可能な状態に定め、反射光のパルスが立ち下
がる前に検知不可能な状態に切り換えるようにすると、
すなわち反射光検知期間Ｔを設けると、この反射光検知
期間Ｔにおける受光量Ａは距離ｒの関数である。すなわ
ち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが
大きくなるほど）小さくなる。

【００４１】本実施形態における３次元計測では、上述
した原理を利用してＣＣＤ２７に設けられ、２次元的に
配列された複数のフォトダイオードにおいてそれぞれ受
光量Ａを検出することにより行われる。すなわち、各フ
ォトダイオード（各画素）において検出された受光量Ａ
に基づいて、ステレオアダプタ２０から被写体Ｓの表面
の各フォトダイオードに対応する点までの距離情報をフ
ォトダイオード（画素）毎に画像信号（３次元画像）と
して検出し、この画像信号から被写体Ｓの表面形状を表
わす距離データをフォトダイオード（画素）毎に算出す
る。

【００４２】次に図９、図１０を参照して、３次元画像
により求められた画素対応データから２次元画像の左右
の画像における画素間の対応関係を求める方法に関して
説明する。

【００４３】図９は、ステレオ画像を用いた従来の距離
測定の原理を模式的に表している。点Ｏ_L、点Ｏ_Rは、そ
れぞれ左側画像（左側投影面）Ｓ_L及び右側画像（右側
投影面）Ｓ_Rの視点であり、半直線Ｌ_L、Ｌ_Rは視点Ｏ_L、
Ｏ_Rをそれぞれ通り、互いに平行な光軸である。２つの
光軸Ｌ_L、Ｌ_Rの距離ｈは、視点Ｏ_L、Ｏ_Rを結ぶ基線の長
さ（基線長）に対応する。被写体Ｓ上の任意の点を代表
する点Ｐは、画像Ｓ_L、Ｓ_Rにおいてそれぞれ点Ｐ_L、点
Ｐ_Rに投影される。点Ｐ_L、点Ｐ_Rを通る直線Ｌ_E _L、Ｌ_ER
は、２つの視点Ｏ_L、Ｏ_Rと被写体上の点Ｐとで定義され
るエピポーラ面と、画像Ｓ_L、Ｓ_Rとが交わるエピポーラ
線である。被写体上の点Ｐの位置を、視点Ｏ_Lを座標原
点とした３次元座標系ＸＹＺで表し、画像Ｓ_L、Ｓ_Rへの
点Ｐの投影点Ｐ_L、Ｐ_Rの位置をそれぞれ２次元の写真座
標系Ｘ_LＹ_L、及び写真座標系Ｘ_RＹ_Rで表すとき、点Ｐの
３次元座標値（ｘ，ｙ，ｚ）は、点Ｐ_Lの座標値
（ｘ_L，ｙ_L）及び点Ｐ_Rの座標値（ｘ_R，ｙ_R）を用い
て、ｘ＝ｘ_L・ｈ／（ｘ_L―ｘ_R）・・・（２）ｙ＝ｙ_R・ｈ／（ｘ_L―ｘ_R）・・・（３）ｚ＝ｆ・ｈ／（ｘ_L―ｘ_R）・・・（４）のように求められる。なお、ｆは焦点距離であり、視点
Ｏ_L、Ｏ_Rと画像Ｓ_L、Ｓ_Rとの間の距離に対応する。ま
た、座標系ＸＹＺは、光軸Ｌ_LがＺ軸として採られ、Ｘ
軸が視点Ｏ_Lから視点Ｏ_Rの方向へ採られた左手系座標系
である。左右の画像上に設けられた写真座標系Ｘ_LＹ_L、
及び写真座標系Ｘ_RＹ_Rの原点は、各画像を貫く光軸
Ｌ_L、Ｌ_R上にそれぞれあり、Ｘ_L軸、Ｘ_R軸はＸ軸に、Ｙ
_L軸、Ｙ_R軸はＹ軸にそれぞれ平行に採られている。な
お、図９において、左側投影面に対応する左側画像Ｓ_L
と右側投影面に対応する右側画像Ｓ_Rとは、分離した面
として描かれているが、本実施形態のように、１つのＣ
ＣＤの撮像面を左右二分して左右の投影面とした場合の
ように、左右の画像Ｓ_R、Ｓ_Lが隣接していても何ら変わ
るところはない。

【００４４】このように、立体写真測量では、左右の画
像の同一のエピポーラ線上において対応する点Ｐ_L、Ｐ_R
を求めることにより被写体の３次元座標が求められる。
しかし、左右の画像の視差が大きい場合や、撮像された
画像に特徴点が余り見出せないときなどには、従来のよ
うに２次元画像のみを用いて上記対応点の探索を行うこ
とは困難となる。

【００４５】次に本実施形態における対応点の探索方法
について、図１０を参照して説明する。図１０におい
て、曲線Ｓは、ステレオ画像として撮像された３次元画
像の１つのエピポーラ線に対応する被写体の断面形状を
表している。直線Ｌ_ELは左側画像のエピポーラ線、直線
Ｌ_ERは右側画像のエピポーラ線である。また、破線で囲
まれた領域は、左右の画像において共通する領域を示し
たものである。

【００４６】エピポーラ線Ｌ_EL、Ｌ_ER上の任意の画素の
画素値は、その画素に対応する被写体までの距離に対応
しているため、図７、図８を参照して説明した距離測定
原理に基づいてその距離が求められる。ＣＣＤの各画素
と焦点（視点）との位置関係は既知なので、これに基づ
いて各画素に対応する被写体上の点の３次元座標値が求
められる。例えば、左側画像においてエピポーラ線Ｌ_EL
上の任意の画素（点）Ｐ_L（ｘ_L，ｙ_L）を指定すると、
その画素に対応する被写体上の点Ｐの３次元座標（ｘ，
ｙ，ｚ）が求められる。右側画像では、３次元座標
（ｘ，ｙ，ｚ）に対応する画素Ｐ_R（ｘ_R，ｙ_R）が求め
られ、これにより、左側画像の任意の点Ｐ_Lに対応する
右側画像の点Ｐ_Rが求められる。ＣＣＤ２７の画素とＣ
ＣＤ５０の画素との間の対応関係は、各ＣＣＤの画素数
等の情報から既知なので、上述の３次元画像を用いた方
法により求められた左右の画像の画素間の対応関係か
ら、２次元画像における画素間の対応が求められる。ま
た、左右の画像において共通して撮影されている領域
（破線で囲まれた領域）も容易に判別できる。なお、本
実施形態の２次元画像に対するステレオ画像の撮影で
は、ＣＣＤ５０の右半分の受光面で左側画像を撮像し、
左半分の受光面で右側画像を撮像している。これに対し
て、本実施形態の３次元画像に対するステレオ画像の撮
像では、左側画像がＣＣＤ２７の左半分の受光面、右側
画像が右半分の受光面で撮像されている。したがって、
本実施形態において、ＣＣＤ２７の右半分の画素はＣＣ
Ｄ５０の左半分の画素に対応し、左半分の画素は右半分
の画素に対応している。

【００４７】なお、本実施形態では、左右の画像におけ
るエピポーラ線Ｌ_L、Ｌ_Rは、ＣＣＤの同一水平ライン上
にあるので、左右の写真座標系（ｘ_L，ｙ_L）、
（ｘ_R，ｙ_R）においてｙ_L＝ｙ_Rであり、探索の対象と
なるのは、ｘ_Lとｘ_Rとの間の対応関係のみである。

【００４８】以上のように、本実施形態によれば、従来
のステレオアダプタに、３次元画像（各画素値が被写体
までの距離に対応する画像）をステレオ画像として検出
する３次元画像検出装置を搭載することにより、従来の
ステレオ画像における対応点の探索処理を高速・簡略に
することができる。また、本実施形態のステレオアダプ
タ型の３次元画像検出装置によれば、通常のデジタルカ
メラに着脱自在なので、ステレオ写真、又は３次元画像
が必要でないときには、デジタルカメラからステレオア
ダプタを取り外すことができるため、デジタルカメラは
通常のデジタルカメラとして利用できる。一方、ステレ
オアダプタ型の３次元画像検出装置においては、通常の
２次元画像を検出するための構成や、ファインダ、レリ
ーズスイッチ等の機構を省くことができる。

【００４９】更に、本実施形態では、ステレオアダプタ
における距離測定動作（３次元画像検出動作）のトリガ
信号として、デジタルカメラに装備されたホットシュー
からの信号、またはストロボ光を用いているので、既存
のデジタルカメラに特別の変更を加えることなく、デジ
タルカメラの撮影に同期して３次元画像の検出を行うこ
とができる。

【００５０】なお、本実施形態では、３次元画像もステ
レオ画像として撮像した。これにより３次元画像と２次
元画像との対応付けが直接的に行えるため、より高速か
つ高精度にこれらの対応付けが可能となる。しかし、３
次元画像はステレオ画像でなくともよく、例えば、１つ
の３次元画像から算出された被写体の３次元座標値を、
２次元画像の左右の視点を原点とした座標系にそれぞれ
変換することにより、２次元画像のステレオ画像におけ
る画素間の対応関係を概略求めてもよい。

【００５１】また、本実施形態では、３次元画像から算
出される３次元座標値を用いてステレオの３次元画像に
おける画素間の対応関係を求めたが、ステレオ画像の画
素値に対して直接に従来公知のパターンマッチ処理等を
施して、画素間の対応関係を求めてもよい。

【００５２】本実施形態において、３次元画像検出装置
は、例えば通常のデジタルカメラに装着可能なステレオ
アダプタに搭載されていたが、ステレオ写真専用のステ
レオカメラに一体的に搭載されていてもよい。

【００５３】本実施形態において、２次元画像はデジタ
ルカメラにより撮像されたが、２次元のステレオ写真は
銀塩フィルムを用いるカメラにより撮影されてもよい。
このときには、３次元画像検出用のＣＣＤの各画素と銀
塩フィルム上の点との対応が既知であれば本実施形態と
同様の方法により左右の銀塩フィルムの対応関係が概略
求められる。

【００５４】

【発明の効果】以上のように、本発明によれば、ステレ
オ画像における対応点探索処理を高速かつ簡略にするた
めの３次元画像検出装置を得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態であるステレオアダプタ型
３次元画像検出装置が、従来のデジタルカメラに装着さ
れたときの斜視図である。

【図２】図１に示されたステレオアダプタの撮像光学系
のうち、デジタルカメラにおけるステレオ画像の撮影に
係る光学系の構造を模式的に示す水平断面である。

【図３】図１に示されたステレオアダプタの撮像光学系
のうち、ステレオアダプタ内に設けられた３次元画像撮
像用ＣＣＤにおいてステレオ画像を撮影するための光学
系の構造を模式的に示す水平断面図及び垂直断面図であ
る。

【図４】本実施形態のステレオアダプタの回路構成を概
略示すブロック図である。

【図５】本実施形態のステレオアダプタにおいて実行さ
れるプログラムフローチャートの前半部である。

【図６】図５に示されたフローチャートの後半部であ
る。

【図７】測距光による距離測定の原理を説明するための
図である。

【図８】測距光、反射光、ゲートパルス、及びＣＣＤが
受光する光量分布を示す図である。

【図９】ステレオ画像を用いた立体写真測量の原理を説
明するための図である。

【図１０】本実施形態において、ステレオ画像として撮
像された左右の３次元画像の間において画素間の対応を
求めるときの原理を説明するための図である。

【符号の説明】

１０デジタルカメラ１３鏡筒２０ステレオアダプタ２１２次元画像用ステレオレンズ２２３次元画像用ステレオレンズ２３光源装置２７、５０ＣＣＤ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｈ２Ｈ１０１Ｍ２Ｈ１０４ 17/12 Ｚ５Ｂ０４７ 17/12 17/38 Ｂ５Ｂ０５７ 17/38 17/48 ５Ｃ０２２ 17/48 19/02 ５Ｃ０６１ 19/02 19/07 ５Ｌ０９６ 19/07 35/18 35/18 Ｇ０６Ｔ 1/00 ３１５Ｇ０６Ｔ 1/00 ３１５４００Ｍ４００ 7/00 Ｃ 7/00 Ｈ０４Ｎ 5/225 ＦＨ０４Ｎ 5/225 Ｇ０１Ｂ 11/24 Ｎ (72)発明者谷信博東京都板橋区前野町２丁目36番９号旭光学工業株式会社内 (72)発明者山本清東京都板橋区前野町２丁目36番９号旭光学工業株式会社内Ｆターム(参考） 2F065 AA04 AA53 BB05 DD06 FF05 FF12 GG04 GG08 JJ03 JJ05 JJ18 JJ26 LL12 NN02 QQ03 QQ24 QQ31 QQ38 SS13 2F112 AC06 AD01 BA05 CA08 DA32 DA40 EA11 FA03 FA07 FA21 FA29 FA38 FA45 2H020 FA00 FB03 FC06 2H054 AA01 BB02 BB05 BB07 BB08 BB11 CD00 2H059 AA07 AA18 2H101 EE01 EE31 EE37 EE51 FF01 FF02 FF09 2H104 AA01 AA16 CC09 CC12 5B047 AA07 BB04 BC05 BC09 5B057 AA20 BA02 BA15 CA12 CA16 CB13 CB16 5C022 AA13 AB00 AB68 AC54 AC69 AC77 5C061 AB04 AB08 AB24 5L096 AA09 CA04 FA66 HA01

Claims

【特許請求の範囲】

【請求項１】画素値が被写体までの距離に対応する３
次元画像を検出可能な距離測定手段と、通常の視覚的な画像である２次元画像のステレオ画像を
撮像するための２次元画像用ステレオ光学系と、前記２次元画像用ステレオ光学系を用いて撮像された２
次元画像のステレオ画像における対応点の探索を、前記
３次元画像に基づいて行うための対応点探索手段とを備
えることを特徴とする３次元画像検出装置。
【請求項２】前記３次元画像をステレオ画像として撮
像するための３次元画像用ステレオ光学系を備えること
を特徴とする請求項１に記載の３次元画像検出装置。
【請求項３】前記対応点探索手段が、前記３次元画像
用ステレオ光学系を用いて撮像された３次元画像のステ
レオ画像において画素間の対応関係を求めることを特徴
とする請求項２に記載の３次元画像検出装置。
【請求項４】前記３次元画像のステレオ画像における
画素間の対応関係が前記３次元画像から算出される３次
元座標値に基づいて行われることを特徴とする請求項３
に記載の３次元画像検出装置。
【請求項５】前記２次元画像用ステレオ光学系をカメ
ラの光学系と接続するための接続部を備えることを特徴
とする請求項１に記載の３次元画像検出装置。
【請求項６】前記接続部が、カメラのレンズ鏡筒先端
開口部に設けられたネジマウントに装着されるネジマウ
ントであることを特徴とする請求項５に記載の３次元画
像検出装置。
【請求項７】カメラのホットシューから出力される外
部トリガ信号を検知するための外部トリガ入力手段を備
え、前記距離測定手段の駆動が前記外部トリガ信号に基
づいて制御されることを特徴とする請求項１に記載の３
次元画像検出装置。
【請求項８】ストロボ光を受光トリガ信号として検知
するためのストロボ光検知手段を備え、前記距離測定手
段の駆動が前記受光トリガ信号に基づいて制御されるこ
とを特徴とする請求項１に記載の３次元画像検出装置。