JP2001145126A - 3次元画像検出装置 - Google Patents

3次元画像検出装置

Info

Publication number
JP2001145126A
JP2001145126A JP32711899A JP32711899A JP2001145126A JP 2001145126 A JP2001145126 A JP 2001145126A JP 32711899 A JP32711899 A JP 32711899A JP 32711899 A JP32711899 A JP 32711899A JP 2001145126 A JP2001145126 A JP 2001145126A
Authority
JP
Japan
Prior art keywords
light
subject
dimensional image
color
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP32711899A
Other languages
English (en)
Other versions
JP4369573B2 (ja
Inventor
Shinichi Kakiuchi
伸一 垣内
Shuzo Seo
修三 瀬尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Asahi Kogaku Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kogaku Kogyo Co Ltd filed Critical Asahi Kogaku Kogyo Co Ltd
Priority to JP32711899A priority Critical patent/JP4369573B2/ja
Publication of JP2001145126A publication Critical patent/JP2001145126A/ja
Application granted granted Critical
Publication of JP4369573B2 publication Critical patent/JP4369573B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

(57)【要約】 【課題】 レーザ光を照射して距離情報を検出するとと
もに、被写体のカラー画像を検出可能な3次元画像検出
装置において、測距用の光源とフラッシュ照明用の光源
を兼用する。 【解決手段】 CCDに配設された赤、緑、青の色フィ
ルタの透過率特性Tr、Tg、Tbが最大値となる波長
λr、λg、λbのレーザ光を照射する3つのレーザ発
光装置を設ける。1以上のレーザ発光装置から被写体に
レーザ光を照射し、その被写体からの反射光をCCDで
受光することにより、被写体までの距離情報を検出す
る。3つのレーザ発光装置から同時にレーザ光を被写体
に照射し、被写体のカラー画像を検出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、光伝播時間測定法
を用いて被写体の3次元形状等を検出する3次元画像検
出装置に関する。
【0002】
【従来の技術】従来、被写体までの距離を画素毎に検出
する3次元画像検出装置としては、「Measurement Scie
nce and Technology」(S. Christie 他、vol.6, p1301
-1308,1995 年)に記載されたものや、国際公開97/0111
1号公報に開示されたものなどが知られている。これら
の3次元画像検出装置では、パルス変調されたレーザ光
が被写体に照射され、その反射光が2次元CCDセンサ
によって受光され、電気信号に変換される。このとき2
次元CCDと組み合わされたメカニカルまたは液晶素子
等からなる電気工学的シャッタの1回のシャッタ動作に
より、被写体までの距離に相関する電気信号をCCDの
各画素毎に検出することができる。この電気信号から被
写体までの距離情報がCCDの各画素毎に検出され3次
元画像として得られる。
【0003】
【発明が解決しようとする課題】これらの3次元画像検
出装置において、CCDのビデオ制御により通常の2次
元画像の撮影も行なう場合、照明光が不十分な環境での
撮影を可能にするには、ストロボ等のフラッシュ照明を
備える必要がある。
【0004】本発明は、3次元画像を検出する際に用い
られる測距用光源を、2次元画像を検出する際に照明用
の光源として利用できる3次元画像検出装置を得ること
を目的としている。
【0005】
【課題を解決するための手段】本発明の3次元画像検出
装置は、波長の異なる光を各々照射する複数の光源と、
1個以上の光源から測距光を被写体に照射し、その反射
光を受光することにより被写体までの距離情報を検出す
る距離情報検出手段と、入射光を色分離することにより
被写体のカラー画像を検出する画像検出手段とを備え、
各光源の照射する光の波長が、画像検出手段における色
分離の特性に合致していることを特徴としている。
【0006】好ましくは色分離において、入射光は3原
色に分離される。このとき、3原色は例えば、赤色、緑
色、青色である。
【0007】また好ましくは色分離は、撮像部に設けら
れた複数の色フィルタにより行われる。このとき好まし
くは、各光源から照射される光の波長は、各色フィルタ
を透過する光の透過率が最大となる波長に合わせてあ
る。
【0008】好ましくは、画像検出手段の駆動におい
て、各光源を同時に発光して、照明用の光源として利用
可能である。
【0009】好ましくは、色分離により分離された各色
成分に対応する各光源から測距光を照射し、各色成分毎
に距離情報を検出し、それらを合成することにより被写
体までの距離情報を検出する。
【0010】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図1は、本発明の一実施形態であ
るカメラ型の3次元画像検出装置の斜視図である。
【0011】カメラ本体10の前面において、撮影レン
ズ11の左上にはファインダ窓12が設けられている。
カメラ本体10の上面において、撮影レンズ11の真上
には、3つの発光装置(光源)14R、14G、14B
が配設されている。発光装置14R、14G、14B
は、測距光を照射するための光源であるとともに、フラ
ッシュ照明の光源としても用いられる。発光装置14
R、14G、14Bの左側にはレリーズスイッチ15、
液晶表示パネル16が設けられ、右側にはモード切替ダ
イヤル17とV/Dモード切替スイッチ18が設けられ
ている。カメラ本体10の側面には、ICメモリカード
等の記録媒体を挿入するためのカード挿入口19が形成
され、またビデオ出力端子20とインターフェースコネ
クタ21が設けられている。
【0012】図2は図1に示すカメラの回路構成を示す
ブロック図である。撮影レンズ11の中には絞り25が
設けられている。絞り25の開度はアイリス駆動回路2
6によって調整される。撮影レンズ11の焦点調節動作
およびズーミング動作はレンズ駆動回路27によって制
御される。
【0013】撮影レンズ11の光軸上には、RGBの色
フィルタ22とCCD(撮像部)28とが配設されてい
る。CCD28には、撮影レンズ11によって被写体像
が形成され、被写体像に対応した電荷が発生する。CC
D28における電荷の蓄積動作、電荷の読出動作等の動
作はCCD駆動回路30によって制御される。CCD2
8から読み出された電荷信号すなわち画像信号はアンプ
31において増幅され、A/D変換器32においてアナ
ログ信号からデジタル信号に変換される。デジタルの画
像信号は撮像信号処理回路33においてガンマ補正等の
処理を施され、画像メモリ34に一時的に格納される。
アイリス駆動回路26、レンズ駆動回路27、CCD駆
動回路30、撮像信号処理回路33はシステムコントロ
ール回路35によって制御される。
【0014】画像信号は画像メモリ34から読み出さ
れ、LCD駆動回路36に供給される。LCD駆動回路
36は画像信号に応じて動作し、これにより画像表示L
CDパネル37には、画像信号に対応した画像が表示さ
れる。
【0015】カメラをカメラ本体10の外部に設けられ
たモニターTVとケーブルで接続すれば、画像メモリ3
4から読み出された画像信号はTV信号エンコーダ3
8、ビデオ出力端子20を介してモニターTVに伝送可
能である。またシステムコントロール回路35はインタ
ーフェース回路40に接続されており、インターフェー
ス回路40はインターフェースコネクタ21に接続され
ている。したがってカメラをカメラ本体10の外部に設
けられたコンピュータとインターフェースケーブルを介
して接続すれば、画像メモリ34から読み出された画像
信号をコンピュータに伝送可能である。また、システム
コントロール回路35は、記録媒体制御回路42を介し
て画像記録装置43に接続されている。したがって画像
メモリ34から読み出された画像信号は、画像記録装置
43に装着されたICメモリカード等の記録媒体Mに記
録可能である。
【0016】発光装置14R、14G、14Bはそれぞ
れ発光素子13R、13G、13Bと照明レンズ13
r、13g、13bにより構成され、発光素子13R、
13G、13Bの発光動作は発光素子制御回路44によ
って制御される。発光素子13R、13G、13Bはレ
ーザダイオード(LD)であり、各発光素子から照射さ
れたレーザ光はそれぞれ照明レンズ13r、13g、1
3bを介して被写体の全体に照射される。これらのレー
ザ光は測距を行なう際には測距光として用いられ、通常
の2次元画像の撮影を行なう際には照明光として用いら
れる。各発光素子13R、13G、13Bから照射され
るレーザ光の波長は各々赤色(R)、緑色(G)、青色
(B)の波長に対応しているとともに、各々のレーザ光
の照射領域が被写体が存在する距離において略同一にな
るように調整されている。
【0017】システムコントロール回路35には、通常
の2次元画像を撮影する際に照明が必要か否かを判断す
るための測光手段46、レリーズスイッチ15、モード
切替ダイヤル17、V/Dモード切替スイッチ18から
成るスイッチ群45、液晶表示パネル(表示素子)16
が接続されている。
【0018】次に図3および図4を参照して、本実施形
態における距離測定の原理について説明する。なお図4
において横軸は時間tである。
【0019】距離測定装置Bから出力された測距光は被
写体Sにおいて反射し、図示しないCCDによって受光
される。測距光は所定のパルス幅Hを有するパルス状の
光であり、したがって被写体Sからの反射光も、同じパ
ルス幅Hを有するパルス状の光である。また反射光のパ
ルスの立ち上がりは、測距光のパルスの立ち上がりより
も時間δ・t(δは遅延係数)だけ遅れる。測距光と反
射光は距離測定装置Bと被写体Sの間の2倍の距離rを
進んだことになるから、その距離rは r=δ・t・C/2 ・・・(1) により得られる。ただしCは光速である。
【0020】例えば測距光のパルスの立ち上がりから反
射光を検知可能な状態に定め、反射光のパルスが立ち下
がる前に検知不可能な状態に切換えるようにすると、す
なわち反射光検知期間Tを設けると、この反射光検知期
間Tにおける受光量Aは距離rの関数である。すなわち
受光量Aは、距離rが大きくなるほど(時間δ・tが大
きくなるほど)小さくなる。
【0021】本実施形態では上述した原理を利用して、
CCD28に設けられ、2次元的に配列された複数のフ
ォトダイオードにおいてそれぞれ受光量Aを検出するこ
とにより、カメラ本体10から被写体Sの表面の各点ま
での距離をそれぞれ検出し、被写体Sの表面形状に関す
る3次元画像のデータを一括して入力している。
【0022】図5は、CCD28に設けられるフォトダ
イオード51と垂直転送部52の配置を示す図である。
図6は、CCD28を基板53に垂直な平面で切断して
示す断面図である。このCCD28は従来公知のインタ
ーライン型CCDであり、不要電荷の掃出しにVOD
(縦型オーバーフロードレイン)方式を用いたものであ
る。
【0023】フォトダイオード51と垂直転送部52は
n型基板53の面に沿って形成されている。フォトダイ
オード51は2次元的に格子状に配列され、垂直転送部
52は所定の方向(図5において上下方向)に1列に並
ぶフォトダイオード51に隣接して設けられている。垂
直転送部52は、1つのフォトダイオード51に対して
4つの垂直転送電極52a,52b,52c,52dを
有している。したがって垂直転送部52では、4つのポ
テンシャルの井戸が形成可能であり、従来公知のよう
に、これらの井戸の深さを制御することによって、信号
電荷をCCD28から出力することができる。なお、垂
直転送電極の数は目的に応じて自由に変更できる。
【0024】基板53の表面に形成されたp型井戸の中
にフォトダイオード51が形成され、p型井戸とn型基
板53の間に印加される逆バイアス電圧によってp型井
戸が完全空乏化される。この状態において、入射光(被
写体からの反射光)の光量に応じた電荷がフォトダイオ
ード51において蓄積される。基板電圧Vsub を所定値
以上に大きくすると、フォトダイオード51に蓄積した
電荷は、基板53側に掃出される。これに対し、転送ゲ
ート部54に電荷転送信号(電圧信号)が印加されたと
き、フォトダイオード51に蓄積した電荷は垂直転送部
52に転送される。すなわち電荷掃出信号によって電荷
を基板53側に掃出した後、フォトダイオード51に蓄
積した信号電荷が、電荷転送信号によって垂直転送部5
2側に転送される。このような動作を繰り返すことによ
り、垂直転送部52において信号電荷が積分され、いわ
ゆる電子シャッタ動作が実現される。
【0025】図7は距離情報検出動作におけるタイミン
グチャートであり、図1、図2、図5〜図7を参照して
本実施形態における距離情報検出動作について説明す
る。なお本実施形態の距離情報検出動作では、図4を参
照して行なった距離測定の原理の説明とは異なり、外光
の影響による雑音を低減するために測距光のパルスの立
ち下がりから反射光を検知可能な状態に定め、反射光の
パルスが立ち下がった後に検知不可能な状態に切換える
ようにタイミングチャートを構成しているが原理的には
何ら異なるものではない。
【0026】垂直同期信号(図示せず)の出力に同期し
て電荷掃出し信号(パルス信号)S1が出力され、これ
によりフォトダイオード51に蓄積していた不要電荷が
基板53の方向に掃出され、フォトダイオード51にお
ける蓄積電荷量はゼロになる(符号S2)。電荷掃出し
信号S1の出力の開始の後、一定のパルス幅を有するパ
ルス状の測距光S3が出力される。測距光S3が出力さ
れる期間(パルス幅)は調整可能であり、図示例では、
電荷掃出し信号S1の出力と同時に測距光S3がオフす
るように調整されている。
【0027】測距光S3は被写体において反射し、CC
D28に入射する。すなわちCCD28によって被写体
からの反射光S4が受光されるが、電荷掃出し信号S1
が出力されている間は、フォトダイオード51において
電荷は蓄積されない(符号S2)。電荷掃出し信号S1
の出力が停止されると、フォトダイオード51では、反
射光S4の受光によって電荷蓄積が開始され、反射光S
4と外光とに起因する信号電荷S5が発生する。反射光
S4が消滅すると(符号S6)フォトダイオード51で
は、反射光に基く電荷蓄積は終了するが(符号S7)、
外光のみに起因する電荷蓄積が継続する(符号S8)。
【0028】その後、電荷転送信号S9が出力される
と、フォトダイオード51に蓄積された電荷が垂直転送
部52に転送される。この電荷転送は、電荷転送信号の
出力の終了(符号S10)によって完了する。すなわ
ち、外光が存在するためにフォトダイオード51では電
荷蓄積が継続するが、電荷転送信号の出力が終了するま
でフォトダイオード51に蓄積されていた信号電荷S1
1が垂直転送部52へ転送される。電荷転送信号の出力
終了後に蓄積している電荷S14は、そのままフォトダ
イオード51に残留する。
【0029】このように電荷掃出し信号S1の出力の終
了から電荷転送信号S9の出力が終了するまでの期間T
U1の間、フォトダイオード51には、被写体までの距離
に対応した信号電荷が蓄積される。そして、反射光S4
の受光終了(符号S6)までフォトダイオード51に蓄
積している電荷が、被写体の距離情報と対応した信号電
荷S12(斜線部)として垂直転送部52へ転送され、
その他の信号電荷S13は外光のみに起因するものであ
る。
【0030】電荷転送信号S9の出力から一定時間が経
過した後、再び電荷掃出し信号S1が出力され、垂直転
送部52への信号電荷の転送後にフォトダイオード51
に蓄積された不要電荷が基板53の方向へ掃出される。
すなわち、フォトダイオード51において新たに信号電
荷の蓄積が開始する。そして、上述したのと同様に、電
荷蓄積期間TU1が経過したとき、信号電荷は垂直転送部
52へ転送される。
【0031】このような信号電荷S11の垂直転送部5
2への転送動作は、次の垂直同期信号が出力されるま
で、繰り返し実行される。これにより垂直転送部52に
おいて、信号電荷S11が積分され、1フィールドの期
間(2つの垂直同期信号によって挟まれる期間)に積分
された信号電荷S11は、その期間被写体が静止してい
ると見做せれば、被写体までの距離情報に対応してい
る。なお信号電荷S13は信号電荷S12に比べ微小で
あるため信号電荷S11は信号電荷S12と等しいと見
なすことができる。
【0032】以上説明した信号電荷S11の検出動作は
1つのフォトダイオード51に関するものであり、全て
のフォトダイオード51においてこのような検出動作が
行なわれる。1フィールドの期間における検出動作の結
果、各フォトダイオード51に隣接した垂直転送部52
の各部位には、そのフォトダイオード51によって検出
された距離情報が保持される。この距離情報は垂直転送
部52における垂直転送動作および図示しない水平転送
部における水平転送動作によってCCD28から出力さ
れ、CCD28の外部に取り出される。
【0033】次に本実施形態において実行される撮影処
理動作のプログラムのフローチャートである図8、図9
を参照して距離情報検出動作及び2次元画像検出動作に
ついて説明する。
【0034】ステップ101においてレリーズスイッチ
15が全押しされていることが確認されるとステップ1
02が実行され、ビデオ(V)モードと距離測定(D)
モードのいずれが選択されているかが判定される。これ
らのモード間における切替はV/Dモード切替スイッチ
18を操作することによって行なわれる。
【0035】Dモードが選択されているとき、ステップ
102において変数nが1に設定される。変数nは発光
装置14R、14G、14Bの各々に対応する変数であ
り、n=1は発光装置14R、n=2は発光装置14
G、n=3は発光装置14Bにそれぞれ対応する。ステ
ップ104では、垂直同期信号が出力されるとともに、
変数nに対応した発光装置を用いて測距光制御が開始さ
れる。すなわち発光装置14Rが駆動され、パルス状の
測距光S3が断続的に出力される。次いでステップ10
5が実行され、CCD28による検知制御が開始され
る。すなわち図7を参照して説明した距離情報検出動作
が開始され、電荷掃出信号S1と電荷転送信号S9が交
互に出力されて、発光装置14Rから照射される測距光
(R色光)により、距離情報の信号電荷S11がそれぞ
れの垂直転送部52において積分される。
【0036】ステップ106では、距離情報検出動作の
開始から1フィールド期間が終了したか否か、すなわち
新たに垂直同期信号が出力されたか否かが判定される。
1フィールド期間が終了するとステップ107へ進み、
R色光による距離情報の信号電荷S11がCCD28か
ら出力される。この信号電荷S11はステップ108に
おいて画像メモリ34に一時的に記憶される。
【0037】ステップ109では変数nに1が加算さ
れ、ステップ110ではn=4であるか否かが判定され
る。ステップ110においてn≠4と判定されると処理
はステップ104に戻り、ステップ104〜ステップ1
08の測距動作が再度行われる。すなわち、n=2であ
れば、発光装置14Gを駆動して測距が行われ、n=3
であれば、発光装置14Bを駆動して測距が行われる。
これら発光装置14G、14Bを用いた測距動作は発光
装置14Rを駆動して行われた測距動作と同様であり、
各測距動作毎に検出される距離情報の信号電荷S11
は、ステップ108において画像メモリ34に一時的に
記憶される。すなわち、画像メモリ34には、R色光、
G色光、B色光による距離情報がそれぞれ独立して記憶
される。
【0038】ステップ110においてn=4であると判
定されると、処理はステップ111に移る。ステップ1
11では測距光制御がオフ状態に切換えられ、発光装置
14R、14G、14Bの発光動作は全て停止する。ス
テップ112では、R色光、G色光、B色光毎に検出さ
れた距離情報に基づいて距離データの演算処理が行なわ
れる。距離データは、R色光、G色光、B色光の距離情
報毎に独立して算出されるとともに、各色成分の距離情
報を合成し、合成された距離情報に基づいても算出され
る。すなわち、ステップ112では、R色光の距離情報
に基づく距離データと、G色光の距離情報に基づく距離
データと、B色光の距離情報に基づく距離データと、R
色光、G色光、B色光の距離情報を合成した距離情報に
基づく距離データが算出される。これらの距離データ
は、ステップ110において記録媒体M等に保存され、
この撮影処理動作は終了する。
【0039】一方、ステップ102においてVモードが
選択されていると判定されたとき、ステップ114にお
いてCCD28による通常の撮影動作(CCDビデオ制
御)がオン状態に定められる。ステップ115では、フ
ラッシュを発光するか否かが判定される。これは測光手
段46(図2参照)を駆動して得られる測光結果に基づ
いて行われる。測光結果からフラッシュが必要であると
判定されると、ステップ116において発光装置14
R、14G、14Bのフラッシュ制御が開始される。ス
テップ117では、発光装置14R、14G、14Bが
同時に発光し、フラッシュ照明として被写体に照射され
る。このとき2次元画像が検出され、そのデータが記録
媒体Mに保存される。これにより撮影処理動作は終了す
る。
【0040】また、ステップ115においてフラッシュ
が必要でないと判定されると、発光装置14R、14
G、14Bのフラッシュ制御が開始されることなくステ
ップ117に移り、フラッシュを発光することなく2次
元画像が検出され、そのデータが記録媒体Mに保存され
る。これによりこの撮影処理動作は終了する。
【0041】次にステップ112において実行される演
算処理の内容を図7を参照して説明する。反射率Rの被
写体が照明され、この被写体が輝度Iの2次光源と見做
されてCCDに結像された場合を想定する。このとき、
電荷蓄積時間tの間にフォトダイオードに発生した電荷
が積分されて得られる出力Snは、 Sn=k・R・I・t ・・・(2) で表される。ここでkは比例定数で、撮影レンズのFナ
ンバーや倍率等によって変化する。
【0042】図7に示されるように電荷蓄積時間を
U1、測距光S3のパルス幅をTS 、距離情報の信号電
荷S12のパルス幅をTD とし、1フィールド期間中の
その電荷蓄積時間がN回繰り返されるとすると、得られ
る出力SM10は、 SM10=Σk・R・I・TD =k・N・R・I・TD ・・・(3) となる。なお、パルス幅TD は TD =δ・t =2r/C ・・・(4) と表せる。このとき被写体までの距離rは r=C・SM10/(2・k・N・R・I) ・・・(5) で表せる。したがって比例定数k、反射率R、輝度Iを
予め求めておけば距離rが求められる。
【0043】図10は、発光装置14R、14G、14
Bからそれぞれ出力されるレーザ光の出力特性と、CC
D28の各フォトダイオードに設けられた色フィルタの
透過率特性を表したものである。
【0044】曲線Tr、Tg、Tbは、CCD28の各
フォトダイオード51にそれぞれ設けられた赤(R)、
緑(G)、青(B)の色フィルタが光の波長に対して示
す透過率特性を表している。各色フィルタはそれぞれ波
長λr、λg、λbにおいて透過率が最大であり、波長
λr、λg、λbから離れるにしたがい各々透過率が減
少する。また、曲線Pr、Pg、Pbは、発光装置14
R、14G、14Bから出力されるレーザ光の出力特性
を表しており、各レーザ光の波長はRGBの色フィルタ
の透過率特性に合致するように設定されている。すなわ
ち発光装置14R、14G、14Bはそれぞれ波長λ
r、λg、λbのレーザ光を照射する。波長λr、λ
g、λbのレーザ光は、それぞれ波長領域が極めて狭い
ので、発光装置14R、14G、14Bから出力される
レーザ光は、被写体表面で反射され、それぞれの波長に
対応するRGBの色フィルタが設けられたフォトダイオ
ード51においてのみ検出される。これにより被写体の
カラー画像が得られる。
【0045】波長λr、λg、λbのレーザ光は、被写
体が配置された距離では略同一の領域に照射され、各光
源から照射されるレーザ光の出力もそれぞれ等しい。し
たがって、2次元画像を検出する際に3つの発光装置を
同時に照射すると、RGBの各色フィルタが配されたフ
ォトダイオード51では、白色のフラッシュを照射して
撮影したときと同様のRGBに関する信号出力が得られ
る。このことから波長λr、λg、λbのレーザ光を発
光装置14R、14G、14Bから同時に照射すること
により、フラッシュ照明用の光源として利用することが
できる。
【0046】一方、3次元画像を検出する距離情報検出
動作では、被写体の視覚情報である2次元画像の検出と
は異なり、発光装置14R、14G、14Bのうちの何
れか1つの光源を測距光として照射すれば、原理的には
被写体までの距離情報を検出することができる。図11
(a)、図11(b)、図11(c)は、RGBの各色
に対応するレーザ光が単独で照射されたときにRGBの
各色フィルタが設けられたフォトダイオード51(図5
参照)からの信号電荷の出力を表したものである。すな
わち、図11(a)は、発光装置14Rから測距光が単
独で照射されたときに、RGBそれぞれに対応するフォ
トダイオード51からの出力を表しており、図11
(b)、図11(c)は、発光装置14G、14Bから
それぞれ測距光が単独で照射されたときのものである。
なお、図11の最上段に示された3つの検出領域R、
G、Bは、それぞれRGBの色フィルタが設けられたフ
ォトダイオード51とその垂直転送部52に対応してお
り(図5参照)、各フォトダイオードの空間的な配置を
表している。すなわち、検出領域Rには、Rの色フィル
タが設けられたフォトダイオード51とそれに隣接する
垂直転送部52が配置されており、検出領域G、Bに
は、それぞれG、Bの色フィルタが設けられたフォトダ
イオード51とそれに隣接する垂直転送部52が配置さ
れている。また、破線で仕切られた各区間は、検出領域
R、G、Bにそれぞれ対応を表している。
【0047】しかし、単色のレーザ光を被写体に照射し
た場合、光の反射率は表面の色によって異なるため、C
CD28における反射光の受光量は、被写体までの距離
だけではなく被写体の色にも影響される。例えば、λr
の波長の光を赤色の被写体に照射するときと、同一距離
にある緑色の被写体に照射するときでは、前者の方が後
者に比べその受光量が大きくなる。したがって、緑色の
場合には信号出力が小さいためS/N比が悪化する。ま
た、被写体が多数の色で構成される場合には、各部分の
色の違いによって光の反射率が異なるため、距離情報に
被写体各部の色の違いによる誤差が含まれることとな
る。
【0048】これらのことから本実施形態では、3つの
発光装置14R、14G、14Bを全て照射して被写体
までの距離情報の検出を行なっている。発光装置14
R、14G、14Bから照射されるレーザ光は、それぞ
れ対応する色フィルタを備えたフォトダイオード51に
おいて検出される。図12は、このときに各色フィルタ
を備えたフォトダイオード51から出力される信号電荷
を表したものであり、被写体までの距離情報は、これら
3つのフォトダイオード51から出力される信号電荷の
和として求められる。1つのフォトダイオード51にお
いて検出される距離情報には、上述のように被写体の色
による誤差が含まれる。しかし、3つのフォトダイオー
ドの出力が加算され、R色光、G色光、B色光の距離情
報が合成されると、それぞれの距離情報に含まれる誤差
が相殺されるため、1つの測距光を用いて測距を行なっ
た場合に比べその誤差を減ずることができる。
【0049】以上のように、本実施形態によればCCD
の色フィルタ(RGBの色フィルタ)の透過率特性に合
わせた3つのレーザ光源(RGBの光源)を備えること
により、測距及びフラッシュ照明を行なう際に光源を兼
用させることができる。また、RGBのレーザ光源を全
て測距に用いるとともにRGBの各々に対応した信号出
力を合成することにより、距離情報に含まれる被写体の
色の違いによる誤差を減ずることができる。
【0050】なお、本実施形態では、CCDはRGBの
色フィルタを用いていたが他の表色系であってもよい
し、色分解プリズムなどを用いたものであってもよい。
【0051】本実施形態の距離情報検出動作では、3つ
の発光装置14R、14G、14B全てを用いて被写体
の距離情報の検出を行なったが、被写体の色の違いによ
って生じる検出距離の誤差が小さいときには、3つの発
光装置のうちの何れか1つを単独で用いて測距を行なっ
てもよい。
【0052】
【発明の効果】以上のように本発明によれば、3次元画
像を検出する際に用いられる測距用光源を、2次元画像
を検出する際に照明用の光源として利用できる3次元画
像検出装置を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施形態であるカメラ型の3次元画像
検出装置の斜視図である。
【図2】図1に示すカメラの回路構成を示すブロック図
である。
【図3】測距光による距離測定の原理を説明するための
図である。
【図4】測距光、反射光、ゲートパルス、およびCCD
が受光する光量分布を示す図である。
【図5】CCDに設けられるフォトダイオードと垂直転
送部の配置を示す図である。
【図6】CCDを基板に垂直な平面で切断して示す断面
図である。
【図7】被写体までの距離に関するデータを検出する距
離情報検出動作のタイミングチャートである。
【図8】撮影処理動作のプログラムにおいて距離情報検
出動作に関わる部分のフローチャートである。
【図9】撮影処理動作のプログラムにおいて2次元画像
検出動作に関わる部分のフローチャートである。
【図10】CCDに設けられた色フィルタの透過率特性
と、発光装置から照射されるレーザ光の出力特性を表す
図である。
【図11】RGBに対応したレーザ光のうちの1つを単
独で測距光として用いたときに、各色フィルタを備えた
フォトダイオードから出力される信号を表したものであ
る。
【図12】RGBに対応したレーザ光の全てを測距光と
して用いたときに、各色フィルタを備えたフォトダイオ
ードから出力される信号を表したものである。
【符号の説明】
14B 発光装置(光源) 14G 発光装置(光源) 14R 発光装置(光源) 22 色フィルタ 28 CCD(撮像部) Pb 発光装置14Bの出力特性 Pg 発光装置14Gの出力特性 Pr 発光装置14Rの出力特性 Tb 色フィルタ透過率特性 Tg 色フィルタ透過率特性 Tr 色フィルタ透過率特性
フロントページの続き Fターム(参考) 2F065 AA06 AA53 BB05 FF01 FF04 FF12 GG06 GG23 JJ03 JJ18 JJ26 LL06 LL22 LL30 NN02 NN12 QQ03 QQ24 SS02 SS13 5C061 AA29 AB02 AB03 AB08 AB21 AB24

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 波長の異なる光を各々照射する複数の光
    源と、 1個以上の前記光源から測距光を被写体に照射し、その
    反射光を受光することにより前記被写体までの距離情報
    を検出する距離情報検出手段と、 入射光を色分離することにより被写体のカラー画像を検
    出する画像検出手段とを備え、 前記各光源の照射する光の波長が、前記画像検出手段に
    おける色分離の特性に合致していることを特徴とする3
    次元画像検出装置。
  2. 【請求項2】 前記色分離において、前記入射光が3原
    色に分離されることを特徴とする請求項1に記載の3次
    元画像検出装置。
  3. 【請求項3】 前記3原色が赤色、緑色、青色であるこ
    とを特徴とする請求項2に記載の3次元画像検出装置。
  4. 【請求項4】 前記色分離が、撮像部に設けられた複数
    の色フィルタにより行われることを特徴とする請求項1
    に記載の3次元画像検出装置。
  5. 【請求項5】 前記各光源から照射される光の波長が、
    前記各色フィルタを透過する光の透過率が最大となる波
    長に合わせてあることを特徴とする請求項4に記載の3
    次元画像検出装置。
  6. 【請求項6】 前記画像検出手段の駆動において、前記
    各光源を同時に発光して、照明用の光源として利用可能
    であることを特徴とする請求項1に記載の3次元画像検
    出装置。
  7. 【請求項7】 前記色分離により分離された各色成分に
    対応する各光源から測距光を照射し、前記各色成分毎に
    距離情報を検出し、それらを合成することにより前記被
    写体までの距離情報を検出することを特徴とする請求項
    1に記載の3次元画像検出装置。
JP32711899A 1999-11-17 1999-11-17 3次元画像検出装置 Expired - Fee Related JP4369573B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32711899A JP4369573B2 (ja) 1999-11-17 1999-11-17 3次元画像検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32711899A JP4369573B2 (ja) 1999-11-17 1999-11-17 3次元画像検出装置

Publications (2)

Publication Number Publication Date
JP2001145126A true JP2001145126A (ja) 2001-05-25
JP4369573B2 JP4369573B2 (ja) 2009-11-25

Family

ID=18195513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32711899A Expired - Fee Related JP4369573B2 (ja) 1999-11-17 1999-11-17 3次元画像検出装置

Country Status (1)

Country Link
JP (1) JP4369573B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6760116B2 (en) 2001-12-07 2004-07-06 Brother Kogyo Kabushiki Kaisha Three-dimensional shape and color detecting apparatus
JP2005338278A (ja) * 2004-05-25 2005-12-08 Nikon Corp 撮影用照明装置およびカメラシステム
US7006142B2 (en) * 2001-04-16 2006-02-28 Pentax Corporation Three-dimensional image capturing device
JP2006242801A (ja) * 2005-03-04 2006-09-14 Mitsui Eng & Shipbuild Co Ltd 3次元画像情報取得装置
JP2011007511A (ja) * 2009-06-23 2011-01-13 Honda Motor Co Ltd 三次元形状測定装置
JP2015192341A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 撮像システム
JP2017133931A (ja) * 2016-01-27 2017-08-03 倉敷紡績株式会社 画像生成装置、ならびに距離画像およびカラー画像の生成方法
JP2020180810A (ja) * 2019-04-23 2020-11-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像システム、移動体、制御方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210138640A1 (en) * 2018-04-09 2021-05-13 Lg Electronics Inc. Robot cleaner
KR102492947B1 (ko) * 2018-04-09 2023-01-27 엘지전자 주식회사 로봇 청소기

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006142B2 (en) * 2001-04-16 2006-02-28 Pentax Corporation Three-dimensional image capturing device
US6760116B2 (en) 2001-12-07 2004-07-06 Brother Kogyo Kabushiki Kaisha Three-dimensional shape and color detecting apparatus
US6927862B2 (en) 2001-12-07 2005-08-09 Brother Kogyo Kabushiki Kaisha Three-dimensional shape and color detecting apparatus
JP2005338278A (ja) * 2004-05-25 2005-12-08 Nikon Corp 撮影用照明装置およびカメラシステム
JP2006242801A (ja) * 2005-03-04 2006-09-14 Mitsui Eng & Shipbuild Co Ltd 3次元画像情報取得装置
JP2011007511A (ja) * 2009-06-23 2011-01-13 Honda Motor Co Ltd 三次元形状測定装置
JP2015192341A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 撮像システム
JP2017133931A (ja) * 2016-01-27 2017-08-03 倉敷紡績株式会社 画像生成装置、ならびに距離画像およびカラー画像の生成方法
JP2020180810A (ja) * 2019-04-23 2020-11-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像システム、移動体、制御方法、及びプログラム
CN112154353A (zh) * 2019-04-23 2020-12-29 深圳市大疆创新科技有限公司 控制装置、摄像系统、移动体、控制方法以及程序

Also Published As

Publication number Publication date
JP4369573B2 (ja) 2009-11-25

Similar Documents

Publication Publication Date Title
US7006142B2 (en) Three-dimensional image capturing device
US7119842B2 (en) Image capturing device including a spectrally-selectively transmissive diaphragm
JP3574607B2 (ja) 3次元画像入力装置
JP4010779B2 (ja) 画像検出装置と絞り装置
JP4369573B2 (ja) 3次元画像検出装置
WO2002099498A1 (en) Device for determining focused state of taking lens
JP4398562B2 (ja) 3次元画像検出装置の焦点調節機構
US6683676B1 (en) Three-dimensional image capturing device
US6822681B1 (en) Image capturing device for capturing a shape of a measurement subject
US6437853B2 (en) Three-dimensional image capturing device
US7053937B1 (en) Three-dimensional image capturing device and recording medium
US6812964B1 (en) Three-dimensional image capturing device
JP2001028762A (ja) 電子カメラのホワイトバランス制御量算出装置
JP2006071741A (ja) 焦点検出装置
JP4369575B2 (ja) 3次元画像検出装置
JP2000341720A (ja) 3次元画像入力装置および記録媒体
JP2001148867A (ja) 3次元画像検出装置
US6778219B1 (en) Three-dimensional image capturing device
JP3892632B2 (ja) 静止物体画像検出装置と静止物体画像検出方法
JP4428831B2 (ja) 3次元画像検出装置
US6982761B1 (en) Device for capturing three-dimensional images with independently controllable groups of photoelectric conversion elements
JP2001045520A (ja) 3次元画像検出装置および光通信受信装置
JP2001033221A (ja) 3次元画像検出装置
JP2001147109A (ja) 3次元画像検出装置
JPH11337815A (ja) 固体撮像装置及びカメラ用測距装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061018

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090825

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090828

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees