JP2002315022A - 3次元画像検出装置 - Google Patents

3次元画像検出装置

Info

Publication number
JP2002315022A
JP2002315022A JP2001116674A JP2001116674A JP2002315022A JP 2002315022 A JP2002315022 A JP 2002315022A JP 2001116674 A JP2001116674 A JP 2001116674A JP 2001116674 A JP2001116674 A JP 2001116674A JP 2002315022 A JP2002315022 A JP 2002315022A
Authority
JP
Japan
Prior art keywords
light
distance
subject
distance measuring
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001116674A
Other languages
English (en)
Other versions
JP4530571B2 (ja
Inventor
Shuzo Seo
修三 瀬尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Asahi Kogaku Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kogaku Kogyo Co Ltd filed Critical Asahi Kogaku Kogyo Co Ltd
Priority to JP2001116674A priority Critical patent/JP4530571B2/ja
Priority to US10/121,717 priority patent/US7006142B2/en
Publication of JP2002315022A publication Critical patent/JP2002315022A/ja
Application granted granted Critical
Publication of JP4530571B2 publication Critical patent/JP4530571B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/148Charge coupled imagers
    • H01L27/14831Area CCD imagers
    • H01L27/1485Frame transfer
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/148Charge coupled imagers
    • H01L27/14868CCD or CID colour imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/148Charge coupled imagers
    • H01L27/14831Area CCD imagers
    • H01L27/14843Interline transfer

Abstract

(57)【要約】 【課題】 3次元画像検出装置において広い測距レンジ
を確保するとともに短時間で測距を行う。 【解決手段】 パルス変調されたRGBの測距光を光源
14R、14G、14BからBGRの順で順次間断なく
被写体に照射する。被写体からの反射光を撮像レンズ1
1、RGBの色フィルタアレイを備えるフィルタ28f
を介してCCD28の撮像面で結像する。所定の蓄積期
間においてRGBの色フィルタがそれぞれ設けられたC
CD28の各画素で受光された反射光を検出する。RG
Bに対応する各画素で検出される電荷量からをそれぞれ
近測距レンジ、中測距レンジ、遠測距レンジにある被写
体の距離を算出する。隣接するRGBの画素から対応す
る被写体までの距離を算出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、光伝播時間測定法
を用いて被写体の3次元形状等を検出する3次元画像検
出装置に関する。
【0002】
【従来の技術】従来、被計測物体(被写体)の3次元形
状を計測する能動方式の3次元画像検出装置として、例
えば「Measurement Science and Technology」(S. Chr
istie他、vol.6, p1301-1308, 1995 年)に記載された
3次元画像検出装置や、国際公開97/01111号公報に開示
された3次元画像検出装置などが知られている。「Meas
urement Science and Technology」に記載された装置で
は、パルス変調されたレーザ光が被写体の全体に照射さ
れ、その反射光がイメージインテンシファイアが取付け
られた2次元CCDセンサによって受光され、電気信号
に変換される。イメージインテンシファイアはレーザ光
のパルス発光に同期したゲートパルスによってシャッタ
制御される。この構成によれば、露光期間に受光される
反射光の光量が被写体までの距離に相関することとな
り、被写体の距離に応じた出力がCCDの各画素毎に得
られる。一方、国際公開97/01111号公報に記載された装
置では、パルス変調されたレーザ光等の光が被写体の全
体に照射され、その反射光がメカニカル又は液晶素子等
から成る電気光学的シャッタと組み合わされた2次元C
CDセンサによって受光され、電気信号に変換される。
そのシャッタは、測距光のパルスとは異なるタイミング
で制御され、距離情報がCCDの各画素毎に得られる。
【0003】
【発明が解決しようとする課題】これらの3次元画像検
出装置において広い測距レンジを得るには、蓄積ゲート
幅を大きく取る必要がある。しかし、CCDの受光素子
に蓄積できる電荷量には限界があるため蓄積ゲート幅を
大きく取ると受光素子がオーバーフローを起こしてしま
う可能性がある。また、測距レンジを分割して測距する
場合、分割された範囲毎に画像信号の読み出しを行う必
要があるため、測距完了までに多くの時間が必要とされ
る。
【0004】本発明は、広い測距レンジが得られるとと
もに短時間で測距が行える3次元画像検出装置を得るこ
とを目的としている。
【0005】
【課題を解決するための手段】本発明の3次元画像検出
装置は、パルス変調された第1の波長の光を第1の測距
光として被写体に照射する第1の光源と、パルス変調さ
れた第2の波長の光を第2の測距光として被写体に照射
する第2の光源と、第1の波長を含む第1の帯域の光を
検出し対応する電荷を蓄積する第1の画素と、第2の波
長を含む第2の帯域の光を検出し対応する電荷を蓄積す
る第2の画素とを有する2次元撮像素子と、第1及び第
2の光源の駆動を制御し、第2の測距光を、第1の測距
光の出力後かつ第1の測距光の出力終了前に出力する光
源制御手段と、2次元撮像素子の駆動を制御し、第1及
び第2の画素における電荷の蓄積を所定の長さの蓄積期
間に行う撮像素子制御手段と、蓄積期間に、少なくとも
第1又は第2の画素の一方において対応する第1又は第
2の測距光の被写体からの反射光を検出し、この検出に
対応して蓄積された電荷に基づいて被写体までの距離情
報を、隣接する第1及び第2の画素から算出する距離情
報検出手段とを備え、蓄積期間の所定の長さが、第1及
び第2の測距光のパルス幅よりも大きく、蓄積期間が第
2の測距光の出力終了後に開始することを特徴としてい
る。
【0006】2次元撮像素子を、通常のカラー画像を撮
像する撮像素子と兼用するには、第1及び第2の帯域
が、赤、緑、青のなかの何れかの2つの色の帯域にそれ
ぞれ対応し、第1及び第2の波長が、赤、緑、青のなか
の何れかの2つの波長にそれぞれ対応することが好まし
い。また、第1及び第2の帯域の光は、例えば色フィル
タにより選択的に濾光される。
【0007】第1の測距光のパルス幅と第2の測距光の
パルス幅と蓄積期間の所定の長さとを実質的に等しくす
ると蓄積期間の長さに無駄を無くすことができる。ま
た、第1の測距光の出力の終了と第2の測距光の出力の
開始とが実質的に同時であると、第1及び第2の測距光
のパルス幅を全て測距レンジにあてることができる。
【0008】更に好ましくは、3次元画像検出装置はパ
ルス変調された第3の波長の光を第3の測距光として被
写体に照射する第3の光源を備え、2次元撮像素子は第
3の波長を含む第3の帯域の光を検出し対応する電荷を
蓄積する第3の画素を有し、光源制御手段は第3の測距
光を第2の測距光の出力後かつ第1の測距光の出力終了
前に出力し、撮像素子制御手段は第3の画素における電
荷の蓄積を蓄積期間に行い、距離情報検出手段は蓄積期
間に少なくとも第1又は第2又は第3の画素の一つにお
いて、対応する第1又は第2又は第3の測距光の被写体
からの反射光を検出し、この検出に対応して蓄積された
電荷に基づいて被写体までの距離情報を、隣接する第1
及び第2及び第3の画素から算出し、蓄積期間の所定の
長さが、第1及び第2及び第3の測距光のパルス幅より
も大きく、蓄積期間が第3の測距光の出力終了後に開始
する。これにより3色表色系により被写体のカラー画像
を撮像する撮像素子を距離情報の検出に用いることがで
きるとともにより広い測距レンジが得られる。
【0009】このとき第1及び第2及び第3の帯域の各
々は、赤、緑、青の色の帯域にそれぞれ重複することな
く対応し、第1及び第2及び第3の波長の各々は、赤、
緑、青の色の波長に重複することなく対応していること
が好ましい。
【0010】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図1は、本発明の第1の実施形態
であるカメラ型の3次元画像検出装置の斜視図である。
図1を参照して第1の実施形態において用いられるカメ
ラ型の3次元画像検出装置について説明する。
【0011】カメラ本体10の前面において、撮影レン
ズ11の左上にはファインダ窓(対物部)12が設けら
れ、右上にはストロボ13が設けられている。カメラ本
体10の上面において、撮影レンズ11の真上には、測
距のための測距光を射出する光源装置14が配設されて
おり、光源装置14には、例えば赤(R)、緑(G)、
青(B)の測距光をそれぞれ射出する3つの光源14
R、14G、14Bが設けられている。光源装置14の
左側にはレリーズスイッチ15及び液晶表示パネル16
が設けられ、また右側にはモード切替ダイヤル17が設
けられている。ICメモリカード等の記録媒体を挿入す
るためのカード挿入口19が形成され、またビデオ出力
端子20、インターフェースコネクタ21が設けられて
いる。
【0012】図2は、図1に示すカメラの回路構成を示
すブロック図である。撮影レンズ11の中には絞り25
が設けられている。絞り25の開度はアイリス駆動回路
26によって調整される。撮影レンズ11の焦点調節動
作及びズーミング動作はレンズ駆動回路27によって制
御される。
【0013】撮影レンズ11の光軸上にはその表面にフ
ィルタ28fが設けられたCCD(2次元撮像素子)2
8が配設されている。CCD28の撮像面には、撮影レ
ンズ11によって被写体像が形成され、被写体像に対応
した電荷が発生する。CCD28における電荷の蓄積動
作、電荷の読出動作等の動作は、システムコントロール
回路35からCCD駆動回路30へ出力されるCCD駆
動用のパルス信号によって制御される。CCD28から
読み出された電荷信号、すなわち画像信号はそれぞれア
ンプ31において増幅され、A/D変換器32において
アナログ信号からデジタル信号に変換される。デジタル
の画像信号は撮像信号処理回路33においてガンマ補正
等の処理を施され、画像メモリ34に一時的に格納され
る。アイリス駆動回路26、レンズ駆動回路27及び撮
像信号処理回路33はシステムコントロール回路35に
よって制御される。
【0014】画像信号は画像メモリ34から読み出さ
れ、LCD駆動回路36に供給される。LCD駆動回路
36は画像信号に応じて動作し、これにより画像表示L
CDパネル37には、画像信号に対応した画像が表示さ
れる。
【0015】また画像メモリ34から読み出された画像
信号はTV信号エンコーダ38に送られ、ビデオ出力端
子20を介して、カメラ本体10の外部に設けられたモ
ニタ装置39に伝送可能である。システムコントロール
回路35はインターフェース回路40に接続され、イン
ターフェース回路40はインターフェースコネクタ21
に接続されている。したがって画像メモリ34から読み
出された画像信号は、インターフェースコネクタ21に
接続されたコンピュータ41に伝送可能である。またシ
ステムコントロール回路35は、記録媒体制御回路42
を介して画像記録装置43に接続されている。したがっ
て画像メモリ34から読み出された画像信号は、画像記
録装置43に装着されたICメモリカード等の記録媒体
Mに記録可能である。また記録媒体Mに一旦記録された
画像信号は必要に応じて記録媒体Mから読み出され、シ
ステムコントロール回路35を介してLCDパネル37
に表示することができる。
【0016】システムコントロール回路35には、発光
素子制御回路44が接続されている。発光装置14に設
けられた光源14R、14G、14Bは、例えばRGB
に対応する発光素子18R、18G、18Bと照明レン
ズ18Lとからなり、発光素子は例えばレーザダイオー
ドである。発光素子18R、18G、18Bの発光動作
は発光素子制御回路44によって制御される。発光素子
18R、18G、18Bから照射されるRGBのビーム
状のレーザ光は、それぞれ照明レンズ18Lを介して拡
散され被写体の全体に測距光として照射される。被写体
において反射した光は撮影レンズ11に入射し、CCD
28において画像信号として検出される。後述するよう
に、この画像信号から被写体までの距離が画素毎に算出
される。
【0017】システムコントロール回路35には、レリ
ーズスイッチ15、モード切替ダイヤル17から成るス
イッチ群47と、液晶表示パネル(表示素子)16とが
接続されている。
【0018】次に図3及び図4を参照して、CCDを用
いた本実施形態における距離測定の基本的な原理につい
て説明する。なお図4において横軸は時間tである。
【0019】距離測定装置Bから出力された測距光は被
写体Sにおいて反射し、図示しないCCDによって受光
される。測距光は所定のパルス幅Hを有するパルス状の
光であり、したがって被写体Sからの反射光も、同じパ
ルス幅Hを有するパルス状の光である。また反射光のパ
ルスの立ち上がりは、測距光のパルスの立ち上がりより
も時間δ・t(δは遅延係数)だけ遅れる。光源から射
出された測距光が、被写体で反射され距離測定装置Bに
おいて反射光として検出されるまでに進む距離R(ここ
では距離測定装置Bと被写体Sとの往復の距離2r)は R=2r=δ・t・C ・・・(1) により得られる。ただしCは光速である。
【0020】例えば測距光のパルスの立ち下がりから反
射光を検知可能な状態に定め、反射光のパルスが立ち下
がった後に検知不可能な状態に切り換えるように反射光
検知期間Tを設ける。すなわち、反射光検知期間Tは、
反射光の立ち上がりが、反射光検知期間Tが開始する前
にCCDにおいて受光され、その立下りが反射光検知期
間内にCCDにおいて受光されるように定められる。図
4に示されるように、この反射光検知期間Tにおける受
光量Aは距離rに相関する。すなわち受光量Aは、距離
rが大きくなるほど(時間δ・tが大きくなるほど)大
きくなるため、受光量Aから被写体までの距離が算定さ
れる。
【0021】本実施形態では上述した原理を利用してC
CD28に設けられ、2次元的に配列された複数のフォ
トダイオード(画素)においてそれぞれ受光量Aを検出
することにより、被写体Sの3次元形状を表す距離情報
が求められる。すなわち、各フォトダイオードにおいて
検出された受光量Aに基づいて、カメラ本体10からC
CD28の各フォトダイオードに対応する被写体S上の
各点までの距離情報がフォトダイオード(画素)毎に画
像信号(3次元画像)として検出される。
【0022】図5は、CCD28に設けられるフォトダ
イオード51と垂直転送部52の配置を示す図である。
図6は、CCD28を基板53に垂直な平面で切断して
示す断面図である。このCCD28は従来公知のインタ
ーライン型CCDであり、不要電荷の掃出しにVOD
(縦型オーバーフロードレイン)方式を用いたものであ
る。
【0023】フォトダイオード51と垂直転送部(信号
電荷保持部)52はn型基板53の面に沿って形成され
ている。フォトダイオード51は2次元的に格子状に配
列され、垂直転送部52は所定の方向(図5において上
下方向)に1列に並ぶフォトダイオード51に隣接して
設けられている。垂直転送部52は、1つのフォトダイ
オード51に対して4つの垂直転送電極52a、52
b、52c、52dを有している。したがって垂直転送
部52では、4つのポテンシャルの井戸が形成可能であ
り、従来公知のように、これらの井戸の深さを制御する
ことによって、信号電荷をCCD28から出力すること
ができる。なお、垂直転送電極の数は目的に応じて自由
に変更できる。
【0024】基板53の表面に形成されたp型井戸の中
にフォトダイオード51が形成され、p型井戸とn型基
板53の間に印加される逆バイアス電圧によってp型井
戸が完全空乏化される。この状態において、入射光(被
写体からの反射光)の光量に応じた電荷がフォトダイオ
ード51において蓄積される。基板電圧Vsub を所定値
以上に大きくすると、フォトダイオード51に蓄積した
電荷は、基板53側に掃出される。これに対し、転送ゲ
ート部54に電荷転送信号(電圧信号)が印加されたと
き、フォトダイオード51に蓄積した電荷は垂直転送部
52に転送される。すなわち電荷掃出し信号によって電
荷を基板53側に掃出した後、フォトダイオード51に
蓄積した信号電荷が、電荷転送信号によって垂直転送部
52側に転送される。このような動作により、いわゆる
電子シャッタ動作が実現される。
【0025】図7は、CCD28に搭載されるフィルタ
28fの一例を示すものである。フィルタ28fは原色
(RGB)ベイヤー方式の色フィルタアレイであり、図
7には色フィルタアレイの一部のみが示されている。R
GBの文字が記された領域は、それぞれRの色フィル
タ、Gの色フィルタ、Bの色フィルタに対応する。R、
G、Bの色フィルタは、2次元的に配列されたCCD2
8のフォトダイオード51に各々の対応する。すなわ
ち、Rの色フィルタが設けられたフォトダイオード51
では、Rの色フィルタを透過した光のみが受光・検出さ
れ、Gの色フィルタが設けられたフォトダイオード51
では、Gの色フィルタを透過した光のみが受光・検出さ
れる。同様にBの色フィルタが設けられたフォトダイオ
ード51では、Bの色フィルタを透過した光のみが受光
・検出される。なお、1つの画素は隣接するフォトダイ
オード51からRGBのデータを得る。
【0026】図8に、RGB色フィルタの透過率特性の
一例を示す。曲線Tr、Tg、TbはそれぞれRGBの
色フィルタの透過率特性を表しており、それぞれ波長λ
r、λg、λbで最も透過率が高くその両側では減少し
ている。一方、曲線Pr、Pg、Pbは、それぞれ光源
14R、14G、14Bのスペクトル特性を示してい
る。光源14R、14G、14Bのスペクトル特性は、
それぞれ波長λr、λg、λbに鋭いピークを持つ。し
たがって、光源14Rから射出される測距光は、Rの色
フィルタが設けられたフォトダイオード51のみで受光
・検出され、G、Bの色フィルタが設けられたフォトダ
イオードでは殆んど検出されない。同様に光源14G、
14Bから射出される測距光は、それぞれG、Bの色フ
ィルタが設けられたフォトダイオード51のみで受光・
検出され、その他のフォトダイオードでは殆んど検出さ
れない。
【0027】次に、本実施形態の距離情報検出動作につ
いて図9を参照して説明する。被写体までの距離を図
3、図4を参照して説明した原理により測定する場合に
は、極めて高速な電子シャッタ動作が要求されるため、
1回のシャッタ動作では十分な信号出力を得られない。
したがって、本実施形態の距離情報検出動作では、上述
の電子シャッタ動作を例えば1フィールド期間に渡り所
定の回数繰り返し行うことにより、垂直転送部52にお
いて信号電荷を積分し、より大きな信号出力を得てい
る。図9は、垂直転送部52において信号電荷の積分を
行う本実施形態の距離情報検出動作のタイミングチャー
トである。
【0028】垂直同期信号(図示せず)が出力されフィ
ールド期間(2つの垂直同期信号によって挟まれる期間
であり1/60秒とは限らない)が開始すると、CCD
28では前述した電子シャッタ動作により所定のタイミ
ングで期間TU1の蓄積期間が繰り返し設けられ、各フォ
トダイオード51ではこの期間に受光した光量に対応し
た信号電荷が蓄積される。図9において横軸は時間であ
り、1フィールド期間に繰り返される蓄積期間のうち2
つの蓄積期間SA11、SA12が例示されている。これらの
蓄積期間に同期して、所定のパルス幅TSを有するパル
ス状のRGBの測距光SR1、SG1、SB1がそれぞれ光源
14R、14G、14Bから出力される。測距光SR1
G1、SB1は蓄積期間SA11、SA12の間に例えばSB1
G1、S R1の順で出力される。各測距光SB1、SG1、S
R1は間断のないように連続して出力される。本実施形態
では、測距光SB1の出力終了と略同時に測距光SG1が出
力され、測距光SG1の出力終了と略同時に測距光SR1
出力される。また、本実施形態では、測距光SR1の出力
は蓄積期間SA12が開始する直前に終了する。
【0029】測距光SR1、SG1、SB1は、それぞれ被写
体表面において反射され、RGBの色フィルタが設けら
れた各フォトダイオードにおいて受光される。パルスS
R1’、SG1’、SB1’は、Rの色フィルタ、Gの色フィ
ルタ、Bの色フィルタが設けられたフォトダイオードに
おける受光量を示しており、測距光SR1、SG1、SB1
それぞれ対応する。図9では、測距光SR1、SG1に対応
するパルスSR1’、S G1’の一部が蓄積期間SA12にお
いて受光されている。斜線部SR11’、SR12’、
G11’、SG12’、SB12’は蓄積期間SA12における各
フォトダイオードの受光量を示している。すなわち、C
CD28ではこの受光量に対応した信号電荷が検出され
る。なお、斜線部SR11’、SG11’は被写体で反射され
た測距光に起因するものであり、斜線部SR12’、
G12’、SB12’は外光に起因するものである。
【0030】図9において、パルスSR1’、SG1’、S
B1’が受光される各フォトダイオードは隣接したフォト
ダイオードであり、例えば1つの絵素を構成する。した
がって、測距光SR1、SG1、SB1が被写体に反射され、
これらのフォトダイオードに到達するまでの距離は各々
略等しい。すなわち、図9の例では測距光SR1、SG1
B1が各フォトダイオードに到達するまでの時間は全て
D=TS+Tdである。TDは式(1)のδ・tに対応す
るので、時間TDを算出することにより被写体までの距
離が算出される。ここで測距光のパルス幅TSは既知な
ので、斜線部SG 11’に対応する時間Tdを求めれば、被
写体までの距離を計算することができる。なお、被写体
までの距離の算出方法については後述する。
【0031】このように期間TU1の間に、フォトダイオ
ード51には、被写体までの距離に対応して信号電荷が
蓄積される。CCD28の各フォトダイオード51に蓄
積された電荷は、蓄積期間が終了する度に垂直転送部5
2へ転送される。以上の説明では、蓄積期間SA12に関
してのみ説明したが、蓄積期間SA11や1フィールド期間
における他の蓄積期間においても同様に、測距光の出
力、信号電荷の蓄積・転送が行われる。これにより垂直
転送部52では、各蓄積期間に蓄積された信号電荷が1
フィールド期間に渡り積分される。1フィールドの期間
に積分される信号電荷は、その期間被写体が静止してい
ると見做せれば、被写体までの距離情報に対応してい
る。なお測距光の発光タイミングは、計測される被写体
の距離に応じて調整されるものであり、そのタイミング
は図9に示されたタイミングに限定されるものではな
い。また、以上説明した信号電荷の検出動作は1組のR
GBの色フィルタに対応するフォトダイオードに関する
ものであり、全てのフォトダイオード51においてもこ
のような検出動作が行なわれる。1フィールド期間に渡
る検出動作の結果、各フォトダイオード51に隣接した
垂直転送部52の各部には、そのフォトダイオード51
によって検出された距離情報が保持される。この距離情
報は垂直転送部52における垂直転送動作および図示し
ない水平転送部における水平転送動作によってCCD2
8から出力される。
【0032】しかし、CCD28で検出される反射光
は、被写体の表面の反射率の影響を受けている。したが
って、この反射光を介して得られた距離情報は反射率に
起因する誤差を含んでいる。また、CCD28により検
出された反射光には、図9で説明したように、被写体か
らの反射光以外に外光等の成分も含まれており、これに
起因する誤差も存在する。これらの誤差を補正する方法
について、距離情報検出動作のフローチャートである図
10、11及び、図12〜図14のタイミングチャート
を参照して説明する。
【0033】ステップ101においてレリーズスイッチ
15が全押しされていることが確認されるとステップ1
03が実行され、垂直同期信号が出力されるとともに測
距光制御が開始される。すなわち、発光装置14の各光
源14R、14G、14Bが駆動され、パルス状の測距
光(SR1、SG1、SB1など)が、図9に示されたタイミ
ングで出力される。次にステップ104が実行され、C
CD28による検知制御が開始される。すなわち、図9
を参照して説明した距離情報検出動作が開始され、被写
体までの距離に相関し、図9の斜線部で示された光量に
対応する電荷が垂直転送部52において積分される。
【0034】ステップ105では、距離情報検出動作の
開始から1フィールド期間が終了したか否か、すなわち
新たに垂直同期信号が出力されたか否かが判定される。
1フィールド期間が終了するとステップ106へ進み、
距離情報の信号電荷がCCD28から出力される。この
信号電荷はステップ107において画像メモリ34に一
時的に記憶される。ステップ108では、測距光制御が
オフ状態に切換えられ、発光装置14(光源14R、1
4G、14B)の発光動作が停止する。
【0035】ステップ109〜ステップ112では、距
離補正情報の検出動作が行われる。まず、ステップ10
9では、垂直同期信号が出力されたのちCCD28によ
る検知制御が開始される。すなわち、図12に示される
ように、発光装置14の発光動作が行われることなく、
光源14R、14G、14Bが消灯された状態で、上述
した電子シャッタ動作が繰り返し実行され、図9に示さ
れたタイミングと同様のタイミングでTU1の蓄積期間S
A2が設けられる。距離補正情報の検出動作(図12)で
は、被写体にRGBの測距光が照射されないため、RG
Bの測距光の反射光は存在しない。したがって、各蓄積
期間SA2において距離情報の信号電荷は発生しない。し
かし、CCD28には外光等の外乱成分が入射するた
め、RGBの各色フィルタに対応するフォトダイオード
51には、この外乱成分に対応した信号電荷SR22’、
G22’、SB22’がそれぞれ発生する。この信号電荷S
R22’、SG22’、SB22’はTU1の蓄積期間SA2におけ
る距離補正情報に対応している。なお、信号電荷
R22’、SG22’、SB22’の蓄積期間SA2における蓄
積動作は1フィールド期間に渡り繰り返し行われ、垂直
転送部52において保持・積分される。
【0036】ステップ110では、距離補正情報の検出
動作の開始から1フィール期間が終了したか否か、すな
わち新たに垂直同期信号が出力されたか否かが判定され
る。1フィールド期間が終了するとステップ111にお
いて、距離補正情報の信号電荷SR22’、SG22’、S
B22’がCCD28から出力される。距離補正情報の信
号電荷SR22’、SG22’、SB22’はステップ112に
おいて画像メモリ34に一時的に記憶される。
【0037】ステップ113〜ステップ117では、反
射率情報の検出動作が行われる。ステップ113では、
垂直同期信号が出力された後、測距光制御が開始され
る。図13に示されるように、反射率情報検出動作で
は、図9の距離情報検出動作とは異なり、RGBの光源
14R、14G、14Bからは、略同時にパルス状の測
距光SR3、SG3、SB3が断続的に出力される。測距光S
R3、SG3、SB3のパルス幅はTSであり、図9に示され
た測距光SR1、SG1、SB1のパルス幅に等しい。ステッ
プ114では、CCD28による検知制御が開始され
る。すなわち、図13に示されるように、光源14R、
14G、14Bから測距光が出力された後、所定のタイ
ミングで上述した電子シャッタ動作が実行され、TU2
蓄積期間SA3が設けられる。蓄積期間SA3は、光源装置
14から照射された測距光SR3、SG3、SB3の全てがこ
の期間内に受光されるように制御される。すなわち、C
CD28のRGBの各フォトダイオード51には、TS
のパルス幅を持つ測距光SR3、SG 3、SB3そのものに対
応する信号電荷SR3’、SG3’、SB3’及び、斜線部で
示された信号電荷SR32’、SG32’、SB32’が蓄積さ
れる。斜線部で示された信号電荷SR32’、SG32’、S
B32’は、蓄積期間SA3に各フォトダイオード51に入
射する外光により発生する電荷である。
【0038】したがって信号電荷SR3’、SG3’、
B3’は、被写体までの距離とは関係せず、被写体の表
面の反射率に依存する反射率情報に対応している。上述
した反射率情報に対応する信号電荷SR3’、SG3’、S
B3’と外光成分に対応する信号電荷SR32’、SG32’、
B32’の蓄積動作は、1フィールド期間に渡り繰り返
し行われ、垂直転送部52において保持・積分される。
【0039】ステップ115では、反射率情報検出動作
の開始から1フィールド期間が終了したか否か、すなわ
ち新たに垂直同期信号が出力されたか否かが判定され
る。1フィールド期間が終了するとステップ116へ進
み、反射率情報の信号電荷SR3’、SG3’、SB3’と外
光成分の信号電荷SR32’、SG32’、SB32’とがCC
D28から出力される。これらの信号電荷はステップ1
17において画像メモリ34に一時的に記憶される。ス
テップ118では測距光制御がオフ状態に切換えられ、
発光装置14(光源14R、14G、14B)の発光動
作が停止する。
【0040】ステップ119〜ステップ122では、反
射率補正情報の検出動作が行われる。ステップ119で
は、垂直同期信号が出力されたのちCCD28による検
知制御が開始される。すなわち、図14に示されるよう
に、発光装置14の発光動作が行われることなく、光源
14R、14G、14Bが消灯された状態で、上述した
電子シャッタ動作が繰り返し実行され、図13に示され
たタイミングと同様のタイミングでTU2の蓄積期間SA4
が設けられる。反射率補正情報の検出動作(図14)で
は、被写体にRGBの測距光が照射されないため、RG
Bの測距光の反射光は存在しない。したがって、各蓄積
期間SA4において距離情報の信号電荷は発生しない。し
かし、CCD28には外光等の外乱成分が入射するた
め、RGBの各色フィルタに対応するフォトダイオード
51には、この外乱成分に対応した信号電荷SR42’、
G42’、SB42’がそれぞれ発生する。この信号電荷S
R42’、SG42’、SB42’はTU2の蓄積期間SA4におけ
る距離補正情報に対応している。なお、信号電荷
R42’、SG42’、SB42’の蓄積期間SA4における蓄
積動作は1フィールド期間に渡り繰り返し行われ、垂直
転送部52において保持・積分される。
【0041】ステップ120では、反射率補正情報の検
出動作の開始から1フィールド期間が終了したか否か、
すなわち新たに垂直同期信号が出力されたか否かが判定
される。1フィールド期間が終了するとステップ121
において、反射率補正情報の信号電荷SR42’、
G42’、SB42’がCCD28から出力され、ステップ
122において画像メモリ34に一時的に記憶される。
【0042】ステップ123では、ステップ103〜ス
テップ122において得られた距離情報、距離補正情
報、反射率情報、反射率補正情報から被写体までの距離
に対応する距離データが演算される。ステップ123で
の演算により算出された距離データは、ステップ124
において、記録媒体M(図1参照)などのメモリに保存
される。
【0043】その後ステップ125では、測距光制御が
オフ状態に設定さとともに、ステップ126においてC
CD28による通常の撮影動作(CCDビデオ制御)が
オン状態に定められ、被写体のカラー静止画像が撮影さ
れる。ステップ127では、撮影された静止画像の画像
データが記録媒体Mなどのメモリに保存される。以上に
よりこの距離情報検出のためのプログラムは終了する。
【0044】次に、ステップ123において実行される
演算処理の内容を図9、図12〜図14及び図15を参
照して説明する。本実施形態の距離情報検出動作では、
図9に示すようにパルス幅TSのRGBの測距光SB1
G1、SR1を3TSの期間に渡り順次間断なく被写体に
照射し、その反射光の一部をパルス幅TSと略等しい期
間TU1の蓄積期間に検出することにより被写体までの距
離を算出している。本実施形態では、測距光SB1
G1、SR1各々のパルス幅TSと蓄積期間(SA11、S
A12等)の幅TU1とが略等しいので、測距光SB1
G1、SR1の一部が蓄積期間内にフォトダイオード51
において受光される仕方には、被写体とカメラ本体との
間の距離に応じて図15(a)、(b)、(c)の3通
りがある。
【0045】図15(a)は、被写体が相対的に近距離
のレンジにある場合に対応し、反射パルスSR1’のみR
の色フィルタが設けられたフォトダイオードにおいて検
出される。このとき図9におけるTDはTdに等しく、検
出された反射パルスSR1’の幅Tdが被写体までの距離
に対応する。図15(b)は、被写体が相対的に中距離
のレンジにある場合に対応し、反射パルスSG1’のみ、
または反射パルスSG1’と反射パルスSR1’のみG、R
の色フィルタが設けられたそれぞれのフォトダイオード
において検出される。これは図9の場合に対応し、TD
は図9に示されるとおりTd+TSである。図15(c)
は被写体が相対的に遠距離のレンジにある場合に対応
し、反射パルスSB1’のみ、または反射パルスSB1’と
反射パルスSG1’のみB、Gの色フィルタが設けられた
それぞれのフォトダイオードにおいて検出される。この
とき図9におけるTDはTd+2TSに等しい。すなわ
ち、本実施形態では、Rの測距光及びフォトダイオード
は、相対的に近距離にある近測距レンジでの計測に用い
られ、Gの測距光及びフォトダイオードは相対的に中距
離にある中測距レンジでの計測に用いられ、Bの測距光
及びフォトダイオードは相対的に遠距離にある遠測距レ
ンジでの計測に用いられる。1つの画素に対応する被写
体までの距離は、これら周囲のRGBのフォトダイオー
ドを用いて算出される。なお、ある画素に対応する被写
体が何れの測距レンジにあるのかを判定するには、上述
したようにその画素と周囲のRGBそれぞれのフォトダ
イオードにおいて、反射パルスが検出されたか否かを判
定することにより行うことができる。
【0046】ステップ123では、RGBに対応するフ
ォトダイオード毎に蓄積された信号電荷の有無が判定さ
れることにより、画素毎の被写体までの距離が近測距レ
ンジ、中測距レンジ、遠測距レンジの何れの測距レンジ
にあるのかが判定される。各画素の測距レンジが確定さ
れるとその測距レンジに対応して被写体までの距離が演
算される。以下被写体が中測距レンジにある場合(図9
または図15(b))を例に距離算出の演算について説
明する。なお、RGBに対応するフォトダイオード毎に
蓄積された信号電荷の有無を判定する際、外光成分によ
る影響は以下に述べる距離補正情報により補正される。
【0047】反射率Rの被写体が照明され、この被写体
が輝度Iの2次光源と見做されてCCDに結像された場
合を想定する。このとき、電荷蓄積時間tの間にフォト
ダイオード51に発生した電荷が積分されて得られる出
力Snは、 Sn=k・R・I・t ・・・(2) で表される。ここでkは比例定数で、撮影レンズのFナ
ンバーや倍率等によって変化する。
【0048】被写体がレーザ等の光源からの光で照明さ
れる場合、輝度Iはその光源による輝度ISと背景光に
よる輝度IBとの合成されたものとなり、 I=IS+IB ・・・(3) と表せる。
【0049】図9に示されるように蓄積期間SA12の蓄
積時間をTU1、測距光SR1、SG1、SB1のパルス幅をT
S、蓄積期間SA12において受光される測距光SG1の反射
光のパルス幅をTdとし、1フィールド期間中のその電
荷蓄積がN回繰り返されるとすると、Gの色フィルタが
設けられたフォトダイオードで得られる出力SM10は、 SM10=Σ(k・R(IS・Td+IB・TU1)) =k・N・R(IS・Td+IB・TU1) ・・・(4) となる。なお、中測距レンジのときパルス幅Tdは測距
光のパルス幅TS、測距光の伝播時間TDや被写体までの
距離rと Td=TD−TS=δ・t−TS =2r/C−TS ・・・(5) の関係にある。
【0050】図13に示されるように蓄積期間SA3の蓄
積時間TU2が、パルス状の測距光SR 3のパルス幅TS
りも十分大きく、反射光の単位受光時間を全部含むよう
に制御された場合にGの色フィルタが設けられたフォト
ダイオードで得られる出力SM 20は、 SM20=Σ(k・R(IS・TS+IB・TU2)) =k・N・R(IS・TS+IB・TU2) ・・・(6) となる。
【0051】図12に示されるように光源14R、14
G、14Bの発光を止めて、図9と同じ蓄積時間TU1
電荷蓄積(蓄積期間SA2)を行った場合に、Gの色フィ
ルタが設けられたフォトダイオードにおいて得られる出
力SM11は、斜線部SG12’に対応し、 SM11=Σ(k・R・IB・TU1) =k・N・R・IB・TU1 ・・・(7) となる。同様に、図14に示されるように光源14R、
14G、14Bの発光を止めて、図13の蓄積時間TU2
で電荷蓄積(蓄積期間SA4)を行った場合に、Gの色フ
ィルタが設けられたフォトダイオードにおいて得られる
出力SM21は、斜線部SG32’に対応し、 SM21=Σ(k・R・IB・TU2) =k・N・R・IB・TU2 ・・・(8) となる。
【0052】(4)、(6)、(7)、(8)式から、 Sd=(SM10−SM11)/(SM20−SM21) =Td/TS ・・・(9) が得られる。
【0053】上述したように蓄積期間SA12に検出され
る信号電荷にはそれぞれ外光等の外乱成分(背景光によ
る輝度IB)が含まれている。(9)式のTd/TSは、
測距光SG1を照射したときに蓄積期間SA12に受光され
る被写体からの反射光(斜線部SG11’に対応)の光量
を、パルス幅TSの測距光SG3が全て蓄積期間内に受光
されるときの光量(電荷SR3’に対応)によって正規化
したものである。これは、測距光SG3が全て蓄積期間内
に受光されるときの光量(電荷SR3’に対応)から外乱
成分(図9のSG12’に相当)を除去した値と、測距光
G1を照射したときに蓄積期間SA12に受光される被写
体からの反射光(斜線部SG11’に対応)の光量から外
乱成分(図13の斜線部SG32’に相当)を除去した値
との比に等しい。
【0054】(9)式の各出力値SM10、SM11、SM
20、SM21はステップ107、112、117、122
において、距離情報、距離補正情報、反射率情報、反射
率補正情報として格納されている。したがって、これら
の情報に基いて、Sd(=Td/TS)が得られる。パル
ス幅TS既知であるから、(5)式とTd/TSから距離
rが得られる。すなわち 2r=C・TS・((SM10−SM11)/(SM20−SM21)+1) ・・・(10) と表すことができる。
【0055】式(5)は、被写体が中測距レンジにある
ときの関係式なので、これに基づく式(10)も被写体
が中測距レンジにある場合の式である。被写体が近測距
レンジにあるときには、式(5)は、 Td=TD=δ・t=2r/C ・・・(5a) で置き換えられるので、式(10)は、 2r=C・TS・(SM10−SM11)/(SM20−SM21) ・・・(10a ) で置き換えられる。また被写体が遠測距レンジにあると
きには、式(5)は、 Td=TD−2TS=δ・t−2TS =2r/C−2TS ・・・(5b) で置き換えられるので、式(10)は、 2r=C・TS・((SM10−SM11)/(SM20−SM21)+2) ・・・(10b) で置き換えられる。
【0056】なお、上述した測距レンジの判定は、RG
Bの各フォトダイオードにおいて求められたSM10、S
11から算出されるSM10−SM11の値を判定すること
により行われる。
【0057】以上のように、本実施形態によれば、測距
光をRGBの色成分に分離し、分離されたRGBの測距
光を所定の順序で間断なく順次発光することにより、R
の色フィルタが設けられたフォトダイオード、Gの色フ
ィルタが設けられたフォトダイオード、Bの色フィルタ
が設けられたフォトダイオードにおいて、それぞれ異な
る測距レンジを測距可能とし、蓄積期間を大きくとるこ
となく大きな測距レンジを得ることができる。また、測
距レンジ毎にCCDからの読み出しを行う必要がないの
で短時間に計測が可能である。更に本実施形態ではRG
Bの測距光を用いるため、カラー画像を撮影するための
色フィルタアレイをそのまま用いることができる。これ
により、3次元画像を検出するためのCCDと通常のカ
ラー静止画像を検出するためのCCDを兼用することが
できる。
【0058】なお、本実施形態では、Bの測距光の立下
りと略同時にGの測距光が出力され、Gの測距光の立下
りと略同時にRの測距光が出力されると言うように、各
測距光は間断なく連続して出力されるとともに、時間的
に重複しないように出力されたが、各測距光は重複して
出力されてもよい。また、本実施形態において、距離情
報検出動作における蓄積期間(SA12、SA12など)の蓄
積時間(TU1)は測距光のパルス幅(Ts)と略等しく
設定されたが、これよりも長く設定してもよい。
【0059】色フィルタと測距光はRGBに限定される
ものではなく、他の波長域の色フィルタとこれに対応す
る波長の測距光を用いてもよく、赤外領域などの可視光
以外の波長域を用いてもよい。また、本実施形態では、
色フィルタと測距光の組として、RGBの3つの組を用
いたが、4つ以上の組を用いてもよい。
【0060】なお、本実施形態では、外光成分による影
響があるものとして、これらの補正を行ったが、外光成
分が無視できるときには、SM11、SM21を0として扱
ってもよい。
【0061】
【発明の効果】以上のように、本発明によれば、広い測
距レンジが得られるとともに短時間で測距が行える3次
元画像検出装置が得られる
【図面の簡単な説明】
【図1】本発明における一実施形態であるカメラ型の3
次元画像検出装置の斜視図である。
【図2】図1に示すカメラの回路構成を示すブロック図
である。
【図3】測距光による距離測定の原理を説明するための
図である。
【図4】測距光、反射光、ゲートパルス、及びCCDが
受光する光量分布を示す図である。
【図5】CCDに設けられるフォトダイオードと垂直転
送部の配置を示す図である。
【図6】CCDを基板に垂直な平面で切断して示す断面
図である。
【図7】CCDの色フィルタアレイの一例を示す。
【図8】本実施形態におけるRGB色フィルタの透過率
特性と光源の分光特性を示す。
【図9】被写体までの距離に関するデータを検出する距
離情報検出動作のタイミングチャートである。
【図10】本実施形態のカメラ型の3次元画像検出装置
で実行されるプログラムのフローチャートの前半部であ
る。
【図11】図10のフローチャートの後半部である。
【図12】距離補正情報の検出動作のタイミングチャー
トである。
【図13】反射率情報の検出動作のタイミングチャート
である。
【図14】反射率補正情報の検出動作のタイミングチャ
ートである。
【図15】被写体が存在する測距レンジと、RGB測距
光による被写体からの反射光が蓄積期間内に受光される
タイミングとの関係を示した図である。
【符号の説明】
14 光源装置 14R、14G、14B 光源 18R、18G、18B 発光素子(レーザダイオー
ド) 28 CCD 30 CCD駆動回路 35 システムコントロール回路 44 発光素子制御回路
フロントページの続き Fターム(参考) 2F065 AA04 AA53 BB05 DD06 FF12 FF32 GG21 JJ03 JJ18 JJ24 JJ26 LL21 NN08 NN12 QQ03 QQ21 QQ24 QQ31 5C022 AA00 AB12 AB13 AB15 AB24 AB28 AB66 AC03 AC22 AC32 AC42 AC55 5C061 AB04 AB08 5J084 AA05 AD01 AD05 BA04 BA36 BB02 CA03 CA31 CA49 CA65 CA70

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 パルス変調された第1の波長の光を第1
    の測距光として被写体に照射する第1の光源と、 パルス変調された第2の波長の光を第2の測距光として
    前記被写体に照射する第2の光源と、 前記第1の波長を含む第1の帯域の光を検出し対応する
    電荷を蓄積する第1の画素と、前記第2の波長を含む第
    2の帯域の光を検出し対応する電荷を蓄積する第2の画
    素とを有する2次元撮像素子と、 前記第1及び第2の光源の駆動を制御し、前記第2の測
    距光を、前記第1の測距光の出力後かつ前記第1の測距
    光の出力終了前に出力する光源制御手段と、 前記2次元撮像素子の駆動を制御し、前記第1及び第2
    の画素における電荷の蓄積を所定の長さの蓄積期間に行
    う撮像素子制御手段と、 前記蓄積期間に、少なくとも前記第1又は第2の画素の
    一方において対応する前記第1又は第2の測距光の前記
    被写体からの反射光を検出し、この検出に対応して蓄積
    された電荷に基づいて前記被写体までの距離情報を、隣
    接する前記第1及び第2の画素から算出する距離情報検
    出手段とを備え、前記蓄積期間の所定の長さが、前記第
    1及び第2の測距光のパルス幅よりも大きく、前記蓄積
    期間が前記第2の測距光の出力終了後に開始することを
    特徴とする3次元画像検出装置。
  2. 【請求項2】 前記第1及び第2の帯域が、赤、緑、青
    のなかの何れかの2つの色の帯域にそれぞれ対応するこ
    とを特徴とする請求項1に記載の3次元画像検出装置。
  3. 【請求項3】 前記第1及び第2の波長が、赤、緑、青
    のなかの何れかの2つの波長にそれぞれ対応することを
    特徴とする請求項1に記載の3次元画像検出装置。
  4. 【請求項4】 前記第1及び第2の帯域の光が、色フィ
    ルタにより選択的に濾光されたものであることを特徴と
    する請求項1に記載の3次元画像検出装置。
  5. 【請求項5】 前記第1の測距光のパルス幅と前記第2
    の測距光のパルス幅と前記蓄積期間の前記所定の長さと
    が実質的に等しいことを特徴とする請求項1に記載の3
    次元画像検出装置。
  6. 【請求項6】 前記第1の測距光の出力の終了と前記第
    2の測距光の出力の開始とが実質的に同時であることを
    特徴とする請求項1に記載の3次元画像検出装置。
  7. 【請求項7】 前記3次元画像検出装置がパルス変調さ
    れた第3の波長の光を第3の測距光として前記被写体に
    照射する第3の光源を備え、前記2次元撮像素子が前記
    第3の波長を含む第3の帯域の光を検出し対応する電荷
    を蓄積する第3の画素を有し、前記光源制御手段が、前
    記第3の測距光を、前記第2の測距光の出力後かつ前記
    第1の測距光の出力終了前に出力し、前記撮像素子制御
    手段が前記第3の画素における電荷の蓄積を前記蓄積期
    間に行い、距離情報検出手段が前記蓄積期間に少なくと
    も前記第1又は第2又は第3の画素の一つにおいて対応
    する前記第1又は第2又は第3の測距光の前記被写体か
    らの反射光を検出し、この検出に対応して蓄積された電
    荷に基づいて前記被写体までの距離情報を、隣接する前
    記第1及び第2及び第3の画素から算出し、前記蓄積期
    間の所定の長さが、前記第1及び第2及び第3の測距光
    のパルス幅よりも大きく、前記蓄積期間が前記第3の測
    距光の出力終了後に開始することを特徴とする請求項1
    に記載の3次元画像検出装置。
  8. 【請求項8】 前記第1及び第2及び第3の帯域の各々
    が、赤、緑、青の色の帯域にそれぞれ重複することなく
    対応していることを特徴とする請求項7に記載の3次元
    画像検出装置。
  9. 【請求項9】 前記第1及び第2及び第3の波長の各々
    が、赤、緑、青の色の波長に重複することなく対応して
    いることを特徴とする請求項7に記載の3次元画像検出
    装置。
JP2001116674A 2001-04-16 2001-04-16 3次元画像検出装置 Expired - Fee Related JP4530571B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001116674A JP4530571B2 (ja) 2001-04-16 2001-04-16 3次元画像検出装置
US10/121,717 US7006142B2 (en) 2001-04-16 2002-04-15 Three-dimensional image capturing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001116674A JP4530571B2 (ja) 2001-04-16 2001-04-16 3次元画像検出装置

Publications (2)

Publication Number Publication Date
JP2002315022A true JP2002315022A (ja) 2002-10-25
JP4530571B2 JP4530571B2 (ja) 2010-08-25

Family

ID=18967372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001116674A Expired - Fee Related JP4530571B2 (ja) 2001-04-16 2001-04-16 3次元画像検出装置

Country Status (2)

Country Link
US (1) US7006142B2 (ja)
JP (1) JP4530571B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008529166A (ja) * 2005-02-01 2008-07-31 イーストマン コダック カンパニー デジタルカメラ画像におけるシーン距離の判定
JP2017133931A (ja) * 2016-01-27 2017-08-03 倉敷紡績株式会社 画像生成装置、ならびに距離画像およびカラー画像の生成方法

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061534B2 (en) * 2001-08-31 2006-06-13 Pentax Corporation Three-dimensional image capturing device
JP2005338278A (ja) * 2004-05-25 2005-12-08 Nikon Corp 撮影用照明装置およびカメラシステム
DE202006005643U1 (de) * 2006-03-31 2006-07-06 Faro Technologies Inc., Lake Mary Vorrichtung zum dreidimensionalen Erfassen eines Raumbereichs
TW200804947A (en) * 2006-07-06 2008-01-16 Asia Optical Co Inc Method of distance estimation to be implemented using a digital camera
EP3836539B1 (en) 2007-10-10 2024-03-13 Gerard Dirk Smits Image projector with reflected light tracking
JP5585903B2 (ja) * 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
DE102009010465B3 (de) * 2009-02-13 2010-05-27 Faro Technologies, Inc., Lake Mary Laserscanner
DE102009015920B4 (de) 2009-03-25 2014-11-20 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9551575B2 (en) 2009-03-25 2017-01-24 Faro Technologies, Inc. Laser scanner having a multi-color light source and real-time color receiver
DE102009035337A1 (de) 2009-07-22 2011-01-27 Faro Technologies, Inc., Lake Mary Verfahren zum optischen Abtasten und Vermessen eines Objekts
DE102009035336B3 (de) 2009-07-22 2010-11-18 Faro Technologies, Inc., Lake Mary Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9645681B2 (en) 2009-09-23 2017-05-09 Pixart Imaging Inc. Optical touch display system
TWI443308B (zh) * 2009-12-03 2014-07-01 Pixart Imaging Inc 測距裝置、3d影像感測裝置以及光學式觸控系統
TWI407081B (zh) * 2009-09-23 2013-09-01 Pixart Imaging Inc 利用成像位置差異以測距之測距裝置及其校正方法
DE102009057101A1 (de) 2009-11-20 2011-05-26 Faro Technologies, Inc., Lake Mary Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102009055988B3 (de) 2009-11-20 2011-03-17 Faro Technologies, Inc., Lake Mary Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9113023B2 (en) 2009-11-20 2015-08-18 Faro Technologies, Inc. Three-dimensional scanner with spectroscopic energy detector
US9210288B2 (en) 2009-11-20 2015-12-08 Faro Technologies, Inc. Three-dimensional scanner with dichroic beam splitters to capture a variety of signals
DE102009055989B4 (de) 2009-11-20 2017-02-16 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9529083B2 (en) 2009-11-20 2016-12-27 Faro Technologies, Inc. Three-dimensional scanner with enhanced spectroscopic energy detector
TWI427273B (zh) * 2010-07-29 2014-02-21 Pixart Imaging Inc 可提高訊雜比之測距裝置及其方法
US8638425B2 (en) * 2009-12-03 2014-01-28 Pixart Imaging Inc. Distance-measuring device with increased signal-to-noise ratio and method thereof
DE102010055506A1 (de) * 2009-12-22 2011-07-07 MICRO-EPSILON Optronic GmbH, 01465 Sensor und Verfahren zum optischen Messen eines Abstands, einer Position und/oder eines Profils
US9163922B2 (en) 2010-01-20 2015-10-20 Faro Technologies, Inc. Coordinate measurement machine with distance meter and camera to determine dimensions within camera images
US9607239B2 (en) 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
CN102597895A (zh) 2010-01-20 2012-07-18 法罗技术股份有限公司 便携式关节臂坐标测量机以及集成环境记录器
US9879976B2 (en) 2010-01-20 2018-01-30 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
US9628775B2 (en) 2010-01-20 2017-04-18 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
JP5519381B2 (ja) * 2010-04-09 2014-06-11 トヨタ自動車株式会社 スペクトル測定装置
DE102010020925B4 (de) 2010-05-10 2014-02-27 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE102010032726B3 (de) 2010-07-26 2011-11-24 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102010032725B4 (de) 2010-07-26 2012-04-26 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102010032723B3 (de) 2010-07-26 2011-11-24 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102010033561B3 (de) 2010-07-29 2011-12-15 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
CN102384737B (zh) * 2010-09-01 2014-06-18 原相科技股份有限公司 可提高信噪比的测距装置及其方法
US9168654B2 (en) 2010-11-16 2015-10-27 Faro Technologies, Inc. Coordinate measuring machines with dual layer arm
DE102012100609A1 (de) 2012-01-25 2013-07-25 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US8997362B2 (en) 2012-07-17 2015-04-07 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine with optical communications bus
DE102012107544B3 (de) 2012-08-17 2013-05-23 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
GB2521312B (en) 2012-09-06 2016-07-06 Faro Tech Inc Laser scanner with additional sensing device
CN104620129A (zh) 2012-09-14 2015-05-13 法罗技术股份有限公司 具有角扫描速度的动态调整的激光扫描仪
DE102012109481A1 (de) 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9513107B2 (en) 2012-10-05 2016-12-06 Faro Technologies, Inc. Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner
US9531967B2 (en) 2013-12-31 2016-12-27 Faro Technologies, Inc. Dynamic range of a line scanner having a photosensitive array that provides variable exposure
US9658061B2 (en) 2013-12-31 2017-05-23 Faro Technologies, Inc. Line scanner that uses a color image sensor to improve dynamic range
JP6731135B2 (ja) * 2014-05-30 2020-07-29 パナソニックセミコンダクターソリューションズ株式会社 センシングシステム及び運転支援システム
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
WO2016168378A1 (en) * 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US9753126B2 (en) 2015-12-18 2017-09-05 Gerard Dirk Smits Real time position sensing of objects
US10953813B2 (en) * 2015-12-21 2021-03-23 Koito Manufacturing Co., Ltd. Image acquisition device to be used by vehicle and vehicle provided with same
CN108541305A (zh) 2015-12-21 2018-09-14 株式会社小糸制作所 车辆用图像获取装置和包括该装置的车辆
US11249172B2 (en) 2015-12-21 2022-02-15 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
CN108431629B (zh) 2015-12-21 2022-07-08 株式会社小糸制作所 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法
EP3396413A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. VEHICLE APPARATUS FOR VEHICLES, CONTROL APPARATUS, VEHICLE EQUIPPED WITH THE IMAGE RECORDING DEVICE FOR VEHICLES AND THE CONTROL DEVICE IMAGE FORMULATION OF VEHICLES
DE102015122844A1 (de) 2015-12-27 2017-06-29 Faro Technologies, Inc. 3D-Messvorrichtung mit Batteriepack
US9813673B2 (en) 2016-01-20 2017-11-07 Gerard Dirk Smits Holographic video capture and telepresence system
CN110073243B (zh) * 2016-10-31 2023-08-04 杰拉德·迪尔克·施密茨 利用动态体素探测的快速扫描激光雷达
CN110226184B (zh) 2016-12-27 2023-07-14 杰拉德·迪尔克·施密茨 用于机器感知的系统和方法
JP7246322B2 (ja) 2017-05-10 2023-03-27 ジェラルド ディルク スミッツ 走査ミラーシステム及び方法
US10591605B2 (en) 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
US11212512B2 (en) * 2017-12-28 2021-12-28 Nlight, Inc. System and method of imaging using multiple illumination pulses
US10379220B1 (en) 2018-01-29 2019-08-13 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned LIDAR systems
JP6805448B2 (ja) * 2019-04-23 2020-12-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像システム、移動体、制御方法、及びプログラム
US11768277B2 (en) * 2019-11-05 2023-09-26 Pixart Imaging Incorporation Time-of-flight sensor and control method thereof
WO2021174227A1 (en) 2020-02-27 2021-09-02 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000266852A (ja) * 1999-03-19 2000-09-29 Minolta Co Ltd 測距装置
JP2001028766A (ja) * 1999-07-13 2001-01-30 Asahi Optical Co Ltd 3次元画像検出装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3404396A1 (de) * 1984-02-08 1985-08-14 Dornier Gmbh, 7990 Friedrichshafen Vorrichtung und verfahren zur aufnahme von entfernungsbildern
US5034810A (en) * 1989-12-07 1991-07-23 Kaman Aerospace Corporation Two wavelength in-situ imaging of solitary internal waves
CN100524015C (zh) 1995-06-22 2009-08-05 3Dv系统有限公司 生成距景物距离的图象的方法和装置
US6002423A (en) * 1996-01-16 1999-12-14 Visidyne, Inc. Three-dimensional imaging system
JP4105801B2 (ja) * 1998-07-02 2008-06-25 ペンタックス株式会社 3次元画像入力装置
JP4303354B2 (ja) * 1999-04-13 2009-07-29 Hoya株式会社 3次元画像入力装置
US6822687B1 (en) * 1999-07-08 2004-11-23 Pentax Corporation Three-dimensional image capturing device and its laser emitting device
JP3820087B2 (ja) * 1999-08-11 2006-09-13 ペンタックス株式会社 3次元画像検出装置
JP4369573B2 (ja) * 1999-11-17 2009-11-25 Hoya株式会社 3次元画像検出装置
JP4623843B2 (ja) * 2001-03-02 2011-02-02 Hoya株式会社 3次元画像入力装置
US20030147002A1 (en) * 2002-02-06 2003-08-07 Eastman Kodak Company Method and apparatus for a color sequential scannerless range imaging system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000266852A (ja) * 1999-03-19 2000-09-29 Minolta Co Ltd 測距装置
JP2001028766A (ja) * 1999-07-13 2001-01-30 Asahi Optical Co Ltd 3次元画像検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008529166A (ja) * 2005-02-01 2008-07-31 イーストマン コダック カンパニー デジタルカメラ画像におけるシーン距離の判定
JP4938690B2 (ja) * 2005-02-01 2012-05-23 イーストマン コダック カンパニー デジタルカメラ画像におけるシーン距離の判定
JP2017133931A (ja) * 2016-01-27 2017-08-03 倉敷紡績株式会社 画像生成装置、ならびに距離画像およびカラー画像の生成方法

Also Published As

Publication number Publication date
JP4530571B2 (ja) 2010-08-25
US7006142B2 (en) 2006-02-28
US20020149694A1 (en) 2002-10-17

Similar Documents

Publication Publication Date Title
JP2002315022A (ja) 3次元画像検出装置
US7119842B2 (en) Image capturing device including a spectrally-selectively transmissive diaphragm
JP5947507B2 (ja) 撮像装置及びその制御方法
US20130088620A1 (en) Method of controlling a system including an image sensor and a light source
US20200137330A1 (en) A pixel structure
US20090059046A1 (en) Field Sequential Color Camera System
JP3574607B2 (ja) 3次元画像入力装置
JP2012513694A (ja) 単光子計数機能を備えるcmos撮像装置
US6885400B1 (en) CCD imaging device and method for high speed profiling
JP4010779B2 (ja) 画像検出装置と絞り装置
JP4398562B2 (ja) 3次元画像検出装置の焦点調節機構
JP3820087B2 (ja) 3次元画像検出装置
US6683676B1 (en) Three-dimensional image capturing device
JP4369573B2 (ja) 3次元画像検出装置
US6822681B1 (en) Image capturing device for capturing a shape of a measurement subject
US20010022653A1 (en) Three-dimensional image capturing device
US7053937B1 (en) Three-dimensional image capturing device and recording medium
JP4369575B2 (ja) 3次元画像検出装置
JP4369574B2 (ja) 3次元画像検出装置
JP2000341720A (ja) 3次元画像入力装置および記録媒体
JP6700763B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP3892632B2 (ja) 静止物体画像検出装置と静止物体画像検出方法
US6982761B1 (en) Device for capturing three-dimensional images with independently controllable groups of photoelectric conversion elements
JP2001045520A (ja) 3次元画像検出装置および光通信受信装置
JP2001112026A (ja) 3次元画像検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080219

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100601

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100608

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees