JP2000121339A - 立体情報検出方法及び装置 - Google Patents

立体情報検出方法及び装置

Info

Publication number
JP2000121339A
JP2000121339A JP10293817A JP29381798A JP2000121339A JP 2000121339 A JP2000121339 A JP 2000121339A JP 10293817 A JP10293817 A JP 10293817A JP 29381798 A JP29381798 A JP 29381798A JP 2000121339 A JP2000121339 A JP 2000121339A
Authority
JP
Japan
Prior art keywords
imaging
subject
time
light
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10293817A
Other languages
English (en)
Other versions
JP3840341B2 (ja
Inventor
Haruhito Nakamura
治仁 中村
Tadahito Aida
田人 會田
Masahiro Kawakita
真宏 河北
Keigo Iizuka
啓吾 飯塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Japan Broadcasting Corp
Original Assignee
Hamamatsu Photonics KK
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK, Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Hamamatsu Photonics KK
Priority to JP29381798A priority Critical patent/JP3840341B2/ja
Priority to US09/418,441 priority patent/US7016519B1/en
Publication of JP2000121339A publication Critical patent/JP2000121339A/ja
Priority to US11/325,345 priority patent/US7486804B2/en
Application granted granted Critical
Publication of JP3840341B2 publication Critical patent/JP3840341B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 立体動画像の撮像に適用することができ、被
写体の立体情報を映像信号のフレーム時間に実時間で追
随できる速度で検出する方法および装置を提供する。 【解決手段】 本発明によれば、所定の輝度を有する照
明光で照明された被写体が光学像として結像され、この
光学像を所定の撮像利得で撮像した映像から、被写体の
各点の距離を求める。ここで、輝度および撮像利得の少
なくとも一方が時間とともに変化する。このような輝度
および撮像利得を利用して撮像した映像の輝度分布は、
光源から発した照明光が被写体の各点で反射されて撮像
装置に到達するまでの時間の違いを反映しており、照明
光の光源から被写体の各点それぞれまでの距離情報を含
んでいる。本発明では、このことを利用することで、映
像信号のフレーム時間に実時間で追随できる速度での立
体情報を検出を可能にしている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、立体動画像撮像に
適用することが可能な被写体の立体情報検出方法および
装置に関し、特に、映像信号のフレーム時間に実時間で
追随できる速度で被写体各点の距離を2次元的に計測す
ることにより被写体の立体情報を検出する方法および装
置に関するものである。
【0002】
【従来の技術】光を用いて被写体の距離あるいは立体情
報を計測する従来の技術としては、以下の方法がある。
【0003】(1)図12のように、パルス状のレーザ
ー光あるいは正弦波で振幅変調したレーザー光を被写体
に照射し、反射光の到達時間あるいは変調位相から距離
を計測する。
【0004】(2)図13のように、前記(1)の方法
においてレーザービームを2次元的に走査することによ
り被写体各部の距離を2次元的に計測する。
【0005】(3)図14のように、正弦波信号で照明
光を変調するとともに、撮像素子の前面に置かれたイメ
ージインテンシファイアの光増幅利得を同じ正弦波信号
で変調する。被写体からの反射光をレンズで結像した光
学像は、被写体とレンズまでの距離に応じた変調位相を
有しているため、イメージインテンシファイアに入力さ
れた光学像のうち光増幅利得の変化と位相の合った部分
のみが強調される。そのため、レンズから等距離にある
被写体の部分を等高線状に2次元的にとらえることがで
きる。この動作原理の詳細は、特開平6-294868号公報の
「イメージングレーザレーダ装置」に記述されている。
【0006】
【発明が解決しようとする課題】前記(1)に記述した
方法は、被写体の一点の距離を計測するものであり、被
写体の立体情報を得ることが出来ない。そのため、被写
体各部の距離の2次元的な分布を計測して立体情報を得
るためには、上記(2)の方法のように光ビームを2次
元的に走査する必要がある。また、上記(3)の方法
は、レンズから等距離にある被写体の一部分のみが抽出
されるため、被写体全体の立体情報を得るためには、照
明光の変調位相を所要の範囲だけ変化させる必要があ
る。上記(2)及び(3)はそれぞれ、照明光ビームの
2次元的なラスタ走査と照明光の変調位相の変化が必要
であるため、被写体の立体情報を映像信号のフレーム時
間の速度で取り込むことは困難であり、立体動画像の撮
像に適用するには不向きである。
【0007】本発明の目的は、このような従来技術の問
題を解決して立体動画像の撮像に適用するために、被写
体の立体情報を映像信号のフレーム時間以内で検出する
ことを可能とする方法および装置を提供することであ
る。
【0008】
【課題を解決するための手段】本発明に係る立体情報検
出方法は、所定の輝度を有する照明光で照明された被写
体を光学像として結像し、この光学像を所定の撮像利得
で撮像した映像から、被写体の各点の距離を検出する方
法であり、前記所定の輝度および撮像利得の少なくとも
一方が時間とともに変化するものであり、被写体の各点
の距離を映像信号のフレーム時間に実時間で追随する速
度で検出できるようになっている。時間とともに変化す
る輝度または撮像利得を利用することで、撮像された被
写体の映像の2次元的な輝度分布には被写体の各点まで
の距離情報が含まれるようになる。従って、この輝度レ
ベル情報から被写体の各点の距離を求めることができ、
被写体の立体情報を検出することができる。
【0009】上記の撮像は、映像信号の1フレーム時間
内に複数回行ってもよい。この場合、撮像素子の蓄積効
果により信号対雑音比が改善され、撮像感度が高まる。
【0010】本発明に係る立体情報検出装置は、所定の
輝度を有する照明光を被写体に投射することの可能な投
光部と、所定の撮像利得で被写体を撮像することの可能
な撮像部と、撮像部から出力された映像信号に含まれる
輝度レベル情報から、被写体の各点の距離を計算する信
号処理部と、を備えており、前記所定の輝度および撮像
利得の少なくとも一方が時間とともに変化するものであ
り、被写体の各点の距離を映像信号のフレーム時間に実
時間で追随できる速度で検出することができる。時間と
ともに変化する輝度または撮像利得を利用することで、
撮像部によって撮像される被写体の映像の2次元的な輝
度分布には投光部から被写体の各点までの距離情報が含
まれるようになる。従って、信号処理部は、映像信号に
含まれる輝度レベル情報から被写体の各点の距離を計算
することができる。この装置によれば、撮像時間が十分
に短く、信号処理部が十分な速度で被写体の各点の距離
を計算できるものであれば、被写体各点の距離を映像信
号のフレーム時間に実時間で追随する速度で検出するこ
とができる。
【0011】
【発明の実施の形態】以下、添付図面に基づいて本発明
の種々の実施形態を説明する。図1は、本発明の実施形
態に係る立体情報検出装置の構成図である。この装置
は、振幅変調された照明光S6で被写体を照明すること
の可能な投光部10、撮像利得を時間とともに変化させ
て被写体からの反射光S7を受光し、被写体の光学像を
撮像することの可能な撮像部11、撮像部11からの映
像信号S41および映像信号S42を立体情報信号S5
に変換するための信号処理部7、及び照明光変調信号S
1、撮像利得変調信号S2、制御信号S3を発生するた
めの信号発生部1を備えている。これらの構成要素の具
体的な構成については、後述する。
【0012】以下では、図1の装置を用いた本発明に係
る立体情報検出方法の原理を、光源の輝度または撮像利
得が時間とともに線形に変化する場合を具体例として説
明する。
【0013】図2および図3に基づいて、請求項3に係
る立体情報検出方法の実施形態(実施形態1)を説明す
る。この実施形態では、図2(a)のように照明光の輝
度IをI=Stと振幅変調する。ここで、tは時間、S
は輝度の増加率(=2I0/T)である。図2(b)に
示されるように、投光部10の光出射口から距離dだけ
離れた被写体からの反射光の強度IRは、光速をvとす
ると往復時間2d/vの遅れをもってS(t−2d/
v)のように変化する。従って、ある時刻t=t0にお
ける強度I+の反射光を、短時間△t(≪T)の間だけ
撮像利得gをg=g0(>0)として撮像すると、映像
の輝度I+0は、次の(1)式で表される。
【0014】
【数1】 ここで、σは被写体の後方散乱断面積である。(1)式
には被写体の距離情報が含まれている。さらに、σ/
(4πd22項の依存性を除くため、時刻T′から時間
Δtにわたって照明光の輝度IをI=Irと一定にして
2回目の撮像を行う。この時の映像の輝度Iref0は、
次の(2)式で表される。
【0015】
【数2】 (1)式と(2)式より
【数3】 (3)式より
【数4】 さらに、Ir=I0とするとS=I0/(T/2)より
【数5】 となり、(4)式または(5)式より距離dが求められ
る。
【0016】このように、振幅変調光で照明された被写
体からの反射光を結像した光学像の各点の輝度は、対応
する被写体各点までの距離情報を含んでいる。従って、
上記のような方法で被写体を撮像し、映像の各画素につ
いて求めた輝度に対して(4)式または(5)式を適用
すれば、被写体各点の距離情報が2次元的に得られ、被
写体の立体情報を検出することができる。
【0017】図3に示すように、光源の輝度IがI=I
0−Stと減少する場合にも同様の方法で距離dが求め
られる。
【0018】
【数6】
【数7】
【数8】 さらに、Ir=I0とすると、
【数9】 前記と同様に、被写体からの反射光を結像した光学像を
撮像して、映像の各画素に(8)式または(9)式を適
用すれば、被写体各点の距離情報が2次元的に得られ、
被写体の立体情報を検出することができる。
【0019】次に、図4に基づいて、請求項4に係る立
体情報検出方法の実施形態(実施形態2)を説明する。
図4のように、三角波で照明光の輝度を変調して被写体
を照明するとともに、t=t0とt=t0+T/2の2
回、短時間Δt(≪T)の間だけg=g0(>0)とし
て強度I+とI-の反射光をそれぞれ撮像する。(1)式
と(6)式より、
【数10】
【数11】 三角変調された照明光の波長をλ=vTとすると、S=
0/(T/2)より
【数12】 さらに、t0を一定値に設定すると、参照点drefからの
相対距離としてdを表すことができる。次の(13)式
は、t0=T/4とした場合のdref=0からの相対距離
である。
【0020】
【数13】 実施形態1と同様に、被写体からの反射光を結像した光
学像を撮像して、映像の各画素について(11)式、
(12)式または(13)式を適用すれば、被写体各点
の距離情報が2次元的に得られ、被写体の立体情報を検
出することができる。
【0021】上記実施形態1および2の立体情報検出方
法に対する相補的な方法として、短時間パルス状に変調
された照明光を用い、線形に増加または減少する撮像利
得で撮像を行うことにより被写体の立体情報を検出する
ことも可能である。
【0022】図5及び図6に基づいて、請求項6に係る
立体情報検出方法の実施形態(実施形態3)について説
明する。図5(a)のように撮像利得gがg=Utと線
形に増加するような変調を行うとともに、t=t0から
短時間△t(≪T)だけ強度I=I0でパルス状に発光
する光で被写体を照明する。ここで、Uは撮像感度の増
加率(=2g0/T)である。距離dだけ離れた被写体
からの反射光が撮像装置に戻って来た時の撮像利得g+
は、図5(b)に示すようにg+=U(t0+2d/v)
となり、この反射光を撮像した時の映像の輝度Ir0+
は次の(14)式で表される。
【0023】
【数14】 さらに、σ/(4πd22項の依存性を除くため、撮像
利得gをg=grと一定にして時刻T′から短時間Δt
にわたって照明を行う。このときに得られる映像の輝度
r0rは、次の(15)式で表される。
【0024】
【数15】 (14)および(15)式より、
【数16】 (16)式より
【数17】 さらに、gr=g0とするとU=g0/(T/2)より、
【数18】 となり、(17)式または(18)式より距離dが求め
られる。実施形態1および2の場合と同様に、被写体か
らの反射光を結像した光学像を撮像して、映像の各画素
について(17)式または(18)式を適用すれば、被
写体各点の距離情報が2次元的に得られ、被写体の立体
情報を検出することができる。
【0025】図6に示すように、撮像利得gがg=g0
−Utと減少する場合にも同様の方法で距離dが求めら
れる。
【0026】
【数19】
【数20】
【数21】 さらに、gr=g0とすると、
【数22】 である。前記と同様に、被写体からの反射光を結像した
光学像を撮像して、映像の各画素について(21)式ま
たは(22)式を適用すれば、被写体各点の距離情報が
2次元的に得られ、被写体の立体情報を検出することが
できる。
【0027】次に、図7に基づいて、請求項7に係る立
体情報検出方法の実施形態(実施形態4)を説明する。
図7(a)のように、三角波で撮像感度gを変調すると
ともに、t=t0とt=t0+T/2の2回、短時間△t
(≪T)だけ強度I=I0でパルス状に発光する光で被
写体を照明する。(15)式と(19)式より、
【数23】
【数24】 である。撮像感度を変調する三角波の波長を便宜上λ=
vTと定義すると、U=g0/(T/2)より、
【数25】 である。さらに、実施形態2の場合と同様にt0を一定
値に設定すると、参照点drefからの相対距離としてd
を表すことができる。次の(26)式は、t0=T/4
とした場合のdref=0からの相対距離である。
【0028】
【数26】 前記と同様に、被写体からの反射光を結像した光学像を
撮像して、映像の各画素について(24)式、(25)
式または(26)式を適用すれば、被写体各点の距離情
報が2次元的に得られ、被写体の立体情報を検出するこ
とができる。
【0029】次に、上記の各実施形態において撮像の感
度を増加する方法について説明する。上記実施形態にお
いて、R+を求めるためのI+0とIref0の撮影、ま
たは、R-を求めるためのI-0とIref0の撮影、ま
たは、Rを求めるためのI+0とI-0の撮影を、映像
信号の1フレーム時間内に複数回行うと、撮像に使われ
る撮像素子の蓄積効果により信号対雑音比(S/N)比
が改善され撮像感度が増加する。
【0030】次に、図面を参照して、図1に示される立
体情報検出装置の具体的構成について説明する。
【0031】図8は、図1に示される投光部10の実施
例10aを示している。この投光部10aは、照明光変
調信号S1によって直接変調することの可能な発光素子
31と、発光素子31の出射面に対向して配置され、発
光素子31から出射した光を整形して被写体に向かわせ
る照明光学系30と、を備えている。発光素子31とし
ては、例えば半導体レーザーダイオードや半導体発光ダ
イオードなどを用いることができる。このような発光素
子は、電気信号である照明光変調信号S1で直接駆動さ
せることにより、光強度が高速に変化する光を発生させ
ることができる。発生した光は、被写体を照射するよう
に照明光学系30によって整形され、照明光S6とな
る。従って、照明光変調信号S1により、増加、減少ま
たはパルス状発光など、光強度が高速かつ任意に変化す
る照明光を実現することが可能である。このように、図
8の構成の投光部は、本発明に係る立体情報検出方法に
おいて照明光の輝度制御の手段として使用することがで
きる。
【0032】図9は、図1に示される投光部10の別の
実施例10bを示している。この投光部10bは、定常
光34を出力する発光素子33と、発光素子33の出射
面に対向して配置され、発光素子33から出射した光を
照明光変調信号S1に応じて間接変調する外部変調器3
2と、外部変調器32からの光を整形して被写体に向か
わせる照明光学系30と、を備えている。外部変調器3
2としては、電気光学効果光変調器や電気音響効果光変
調器などを使用することができる。この投光部10bで
は、発光素子33からの定常光34を外部変調器32を
用いて間接的に変調することにより、光強度が高速かつ
任意に変化する光を発生させることができる。発生した
光は、被写体を照射するように照明光学系30によって
整形され、照明光S6となる。図8の投光部と同様に、
図9の構成の投光部も、本発明に係る立体情報検出方法
において照明光の輝度制御手段として使用することがで
きる。
【0033】次に、図10は、図1に示される撮像部1
1の実施例を示している。この撮像部11は、被写体か
らの反射光を受光して光学像を生成するレンズ4と、レ
ンズ4の後側に配置され、レンズ4から出射する光学像
を撮像する撮像素子6と、撮像素子6の出力電気信号に
含まれる複数画面分の映像信号を各画面ごとに分割して
出力することの可能な画像分割回路22と、を備えてい
る。更に、撮像素子6の前面には、電気信号である撮像
利得変調信号S2に応じて撮像利得を制御することの可
能なゲート付きイメージインテンシファイア5が光画像
伝達光学系20を介して取り付けられている。なお、光
画像伝達光学系20としては、ファイバープレートやレ
ンズなどを用いることができる。被写体からの反射光S
7は、レンズ4によってゲート付きイメージインテンシ
ファイア5の光電面に結像される。イメージインテンシ
ファイア5で増幅された光学像は、光画像伝達光学系2
0によって伝達されて撮像素子6の光電面に入力され
る。
【0034】ゲート付きイメージインテンシファイア5
の光増幅利得は、そのゲート21に印可する電圧で高速
に制御することができる。そのため、この撮像部11で
は、撮像利得変調信号S2をゲート21に印可すること
により、撮像利得を高速に変化させることが可能であ
る。したがって、撮像利得変調信号S2により、短時問
だけシャッターを開放するようなパルス状の撮像利得や
増加または減少する撮像利得など、高速かつ任意に変化
する撮像利得を実現することが可能である。
【0035】この撮像部11を上記の各実施形態で使用
する場合、撮像部11は、R+またはR-またはRを計算
するために2回1組の撮像を行い1フレームあたり2画
面分の映像信号を分離して出力する必要がある。このた
め、撮像部11では、撮像素子6を通常の2倍速で駆動
して2画面分の映像信号を取得し、これを画像分割回路
22によって映像信号S41と映像信号S42に分離し
て出力する。あるいは、1画素を1回の撮像ごとに映像
信号S41側と映像信号S42側に切り替えて撮像でき
る構造の撮像素子を採用することにより、映像信号S4
1と映像信号S42とを分離して出力することができ
る。
【0036】以上から、図10の構成の撮像部11は、
本発明に係る立体情報検出方法において撮像利得制御の
手段として使用することができ、また、2回1組の撮像
に対応する2つの映像信号を分離して出力する手段とし
て使用することが可能である。
【0037】図11は、図1の信号処理部7の実施例を
示している。この信号処理部7では、内部信号が映像信
号の画素と同じ速度で駆動され、それぞれの回路でパイ
プライン処理される。映像信号S41と映像信号S42
は同期分離回路41で同期信号を取り除かれた後、それ
ぞれ、撮像レベル記憶回路1と撮像レベル記憶回路2に
記憶される。撮像レベル記憶回路1および撮像レベル記
憶回路2からの出力S45およびS46は演算処理回路
44に入力され、R+またはR−またはRと距離dとが
計算される。演算処理回路44の出力S47は、被写体
各部の距離を2次元的に走査した時系列信号であり、記
憶回路45で時間軸揺らぎを補正された後、同期付加回
路46で同期信号を付加されて、被写体各点の距離情報
dの値を映像レベルとする立体情報信号S5として出力
される、以上から、図11の構成の信号処理部7は、本
発明に係る立体情報検出方法において被写体の立体情報
を実時間で計算する手段として使用することが可能であ
る。
【0038】
【発明の効果】以上詳述したように、本発明では、照明
光の輝度および撮像利得の少なくとも一方が時間ととも
に変化するという条件で撮像した被写体の映像の輝度情
報を利用することで、映像信号のフレーム時間に実時間
で追随できる速度で被写体各部の距離を2次元的に求
め、立体情報を検出することができる。したがって、本
発明の方法および装置は、被写体の立体動画像の撮像に
好適に適用することができる。
【図面の簡単な説明】
【図1】本発明に係る立体情報検出装置の一実施形態の
構成を概略的に示す図である。
【図2】線形増加および一定の輝度の照明光とパルス状
の撮像利得との組み合わせにより立体情報を検出する方
法を説明するための図であり、(a)は照明光の輝度I
と撮像利得gの時間変化波形を示し、(b)は投光部か
らdだけ離れた被写体からの反射光の強度IRと撮像利
得gの時間変化波形を示している。
【図3】線形減少および一定の輝度の照明光とパルス状
の撮像利得との組み合わせにより立体情報を検出する方
法を説明するための図であり、(a)は照明光の輝度I
と撮像利得gの時間変化波形を示し、(b)は投光部か
らdだけ離れた被写体からの反射光の強度IRと撮像利
得gの時間変化波形を示している。
【図4】線形増加および減少する輝度の照明光とパルス
状の撮像利得との組み合わせにより立体情報を検出する
方法を説明するための図であり、(a)は照明光の輝度
Iと撮像利得gの時間変化波形を示し、(b)は投光部
からdだけ離れた被写体からの反射光の強度IRと撮像
利得gの時間変化波形。
【図5】線形増加および一定の撮像利得とパルス状の輝
度の照明光との組み合わせにより立体情報を検出する方
法を説明するための図であり、(a)は照明光の輝度I
と撮像利得gの時間変化波形を示し、(b)は投光部か
らdだけ離れた被写体からの反射光の強度IRと撮像利
得gの時間変化波形を示している。
【図6】線形減少および一定の撮像利得とパルス状の輝
度の照明光との組み合わせにより立体情報を検出する方
法を説明するための図であり、(a)は照明光の輝度I
と撮像利得gの時間変化波形を示し、(b)は投光部か
らdだけ離れた被写体からの反射光の強度IRと撮像利
得gの時間変化波形を示している。
【図7】線形増加および減少する撮像利得とパルス状の
輝度の照明光との組み合わせにより立体情報を検出する
方法を説明するための図であり、(a)は照明光の輝度
Iと撮像利得gの時間変化波形を示し、(b)は投光部
からdだけ離れた被写体からの反射光の強度IRと撮像
利得gの時間変化波形を示している。
【図8】直接変調される発光素子を備える投光部の構成
を示す図である。
【図9】外部変調器で間接変調される発光素子を備える
投光部の構成を示す図である。
【図10】ゲート付きイメージインテンシファイアー
(II)を用いた撮像部の構成を示す図である。
【図11】信号処理部の構成を示す図である。
【図12】レーザー反射光の遅れ時間あるいは変調位相
より距離を計測する従来の方法を示す図である。
【図13】レーザービームを2次元走査する従来の方法
を示す図である。
【図14】従来のイメージングレーザレーダ装置の構成
を示す図である。
【符号の説明】
1…信号発生部、4…レンズ、5…ゲート付きイメージ
インテンシファイア、6…撮像素子、7…信号処理部、
10…投光部、11…撮像部、20…光画像伝達光学
系、21…ゲート、22…画像分割回路、30…照明光
学系、31…発光素子、32…外部変調器。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 會田 田人 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 河北 真宏 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 飯塚 啓吾 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 Fターム(参考) 2F065 BB05 BB15 FF04 GG06 GG07 JJ03 JJ26 LL00 LL03 LL30 LL53 LL57 NN02 NN08 NN13 QQ26 UU01 UU02 UU05 5B057 DA07 DB03 DC02

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 所定の輝度を有する照明光で照明された
    被写体を光学像として結像し、この光学像を所定の撮像
    利得で撮像した映像から、被写体の各点の距離を検出す
    る立体情報検出方法であって、前記所定の輝度および撮
    像利得の少なくとも一方が時間とともに変化するもので
    あり、これにより前記被写体の各点の距離を映像信号の
    フレーム時間に実時間で追随する速度で検出できるよう
    にしたことを特徴とする立体情報検出方法。
  2. 【請求項2】 時間とともに変化する輝度を少なくとも
    一方が有する第1および第2の照明光で照明された前記
    被写体をそれぞれ第1および第2の光学像として結像
    し、これらの光学像をそれぞれ同じ撮像利得で所定時間
    にわたり撮像した第1および第2の映像から、前記被写
    体の各点の距離を映像信号のフレーム時間に実時間で追
    随する速度で検出することを特徴とする請求項1記載の
    立体情報検出方法。
  3. 【請求項3】 前記第1照明光の輝度が時間とともに増
    加または減少し、前記第2照明光の輝度が一定であるこ
    とを特徴とする請求項2記載の立体情報検出方法。
  4. 【請求項4】 前記第1照明光の輝度が時間とともに増
    加し、前記第2照明光の輝度が時間とともに減少するこ
    とを特徴とする請求項2記載の立体情報検出方法。
  5. 【請求項5】 同一の輝度で所定時間にわたって発光す
    る第1および第2の照明光によってそれぞれ照明された
    前記被写体を第1および第2の光学像として結像し、こ
    れらの光学像を、少なくとも一方が時間とともに変化す
    るようになっている第1および第2の撮像利得で撮像し
    た第1および第2の映像から、前記被写体の各点の距離
    を映像信号のフレーム時間に実時間で追随する速度で検
    出することを特徴とする請求項1記載の立体情報検出方
    法。
  6. 【請求項6】 前記第1撮像利得が時間とともに増加ま
    たは減少し、前記第2撮像利得が一定であることを特徴
    とする請求項5記載の立体情報検出方法。
  7. 【請求項7】 前記第1撮像利得が時間とともに増加
    し、前記第2撮像利得が時間とともに減少することを特
    徴とする請求項5記載の立体情報検出方法。
  8. 【請求項8】 前記撮像を映像信号の1フレーム時間内
    に複数回行うことを特徴とする請求項1〜7のいずれか
    記載の立体情報検出方法。
  9. 【請求項9】 被写体の立体情報を検出する装置であっ
    て、 所定の輝度を有する照明光を前記被写体に投射すること
    の可能な投光部と、 所定の撮像利得で前記被写体を撮像することの可能な撮
    像部と、 前記撮像部から出力された映像信号に含まれる輝度レベ
    ル情報から、被写体の各点の距離を計算する信号処理部
    と、を備え、前記所定の輝度および撮像利得の少なくと
    も一方が時間とともに変化するものであり、これにより
    前記被写体の各点の距離を映像信号のフレーム時間に実
    時間で追随できる速度で検出できるようにしたことを特
    徴とする立体情報検出装置。
  10. 【請求項10】 前記投光部が、電気信号によって変調
    可能な発光素子を備えていることを特徴とする請求項9
    記載の立体情報検出装置。
  11. 【請求項11】 前記投光部が、発光素子と、電気信号
    によって駆動され、前記発光素子から出射した光を変調
    することの可能な変調器と、を備えることを特徴とする
    請求項9記載の立体情報検出装置。
  12. 【請求項12】 前記撮像部が、前記被写体からの反射
    光を受光して光学像を生成する結像手段と、前記光学像
    を撮像して映像信号を出力する撮像素子と、前記結像手
    段と前記撮像素子との間に配置され、撮像利得を制御す
    ることができるゲート付きイメージインテンシファイア
    ーと、を備えることを特徴とする請求項9記載の立体情
    報検出装置。
  13. 【請求項13】 前記信号処理部は、請求項2〜8のい
    ずれか記載の方法に基づいて前記被写体の各点の距離を
    計算することを特徴とする請求項9記載の立体情報検出
    装置。
JP29381798A 1998-10-15 1998-10-15 立体情報検出方法及び装置 Expired - Lifetime JP3840341B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP29381798A JP3840341B2 (ja) 1998-10-15 1998-10-15 立体情報検出方法及び装置
US09/418,441 US7016519B1 (en) 1998-10-15 1999-10-15 Method and device for detecting three-dimensional information
US11/325,345 US7486804B2 (en) 1998-10-15 2006-01-05 Method and device for detecting three-dimensional information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29381798A JP3840341B2 (ja) 1998-10-15 1998-10-15 立体情報検出方法及び装置

Publications (2)

Publication Number Publication Date
JP2000121339A true JP2000121339A (ja) 2000-04-28
JP3840341B2 JP3840341B2 (ja) 2006-11-01

Family

ID=17799546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29381798A Expired - Lifetime JP3840341B2 (ja) 1998-10-15 1998-10-15 立体情報検出方法及び装置

Country Status (2)

Country Link
US (2) US7016519B1 (ja)
JP (1) JP3840341B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337286A (ja) * 2005-06-03 2006-12-14 Ricoh Co Ltd 形状計測装置
WO2007139187A1 (ja) 2006-05-31 2007-12-06 National University Corporation Chiba University 3次元画像構築装置及び方法並びにプログラム
US7359547B2 (en) 2002-09-20 2008-04-15 Nippon Telegraph And Telephone Corporation Pseudo three dimensional image generating apparatus
JP2010114849A (ja) * 2008-11-10 2010-05-20 Panasonic Electric Works Co Ltd 車両周辺監視装置
US8159598B2 (en) 2008-08-19 2012-04-17 Panasonic Corporation Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
CN104603676A (zh) * 2012-08-14 2015-05-06 微软公司 深度相机的照明光整形
US9237333B2 (en) 2010-11-01 2016-01-12 Samsung Electronics Co., Ltd. Method and apparatus of measuring depth information for 3D camera
US9418425B2 (en) 2011-10-25 2016-08-16 Samsung Electronic Co., Ltd. 3D image acquisition apparatus and method of calculating depth information in the 3D image acquisition apparatus

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
US8041483B2 (en) 1994-05-23 2011-10-18 Automotive Technologies International, Inc. Exterior airbag deployment techniques
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
US7123351B1 (en) * 2002-08-20 2006-10-17 Schaefer Philip R Method and apparatus for measuring distances using light
US7684016B1 (en) 2003-08-15 2010-03-23 Schaefer Philip R Method and apparatus for measuring distances using light
JP4376653B2 (ja) * 2004-02-17 2009-12-02 富士重工業株式会社 車外監視装置
US7956988B1 (en) * 2007-02-06 2011-06-07 Alpha Technology, LLC Light detection and ranging systems and related methods
US20080231835A1 (en) * 2007-03-23 2008-09-25 Keigo Iizuka Divergence ratio distance mapping camera
FR2923314B1 (fr) * 2007-11-02 2010-09-03 Commissariat Energie Atomique Procede de detection d'une impulsion lumineuse reflechie sur un objet pour determiner la distance de l'objet, capteur et dispositif de mise en oeuvre.
JP5019117B2 (ja) * 2007-11-14 2012-09-05 スタンレー電気株式会社 距離画像生成装置
CN101226325B (zh) 2008-02-03 2010-06-02 李志扬 基于随机相长干涉的三维显示方法及装置
GB0802401D0 (en) * 2008-02-08 2008-03-12 Selex Sensors & Airborne Sys Device for 3D imaging
US20110063437A1 (en) * 2008-08-20 2011-03-17 Tatsumi Watanabe Distance estimating device, distance estimating method, program, integrated circuit, and camera
JP4816704B2 (ja) * 2008-09-25 2011-11-16 富士ゼロックス株式会社 指示システム、指示プログラム
US8619354B2 (en) * 2008-12-24 2013-12-31 Samsung Electronics Co., Ltd. High speed optical shutter, method of operating the same and apparatus including the same
KR101603778B1 (ko) * 2009-01-19 2016-03-25 삼성전자주식회사 광 이미지 셔터
JP5584196B2 (ja) * 2009-03-05 2014-09-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 距離測定装置、距離測定方法、プログラムおよび集積回路
KR101638974B1 (ko) * 2009-06-17 2016-07-13 삼성전자주식회사 광 변조기와 그 제조 및 동작방법과 광 변조기를 포함하는 광학장치
TW201120402A (en) * 2009-12-03 2011-06-16 Ind Tech Res Inst System and method for contructing high dynamic range images
KR101691156B1 (ko) 2010-12-14 2016-12-30 삼성전자주식회사 조명 광학계와 결상 광학계가 통합된 광학계 및 이를 포함하는 3차원 영상 획득 장치
KR101798063B1 (ko) 2010-12-14 2017-11-15 삼성전자주식회사 조명 광학계 및 이를 포함하는 3차원 영상 획득 장치
JP5820985B2 (ja) 2011-01-19 2015-11-24 パナソニックIpマネジメント株式会社 立体画像処理装置および立体画像処理方法
KR101799521B1 (ko) 2011-05-24 2017-11-20 삼성전자 주식회사 광결정형 광변조기 및 이를 구비하는 3차원 영상 획득 장치
KR101955334B1 (ko) 2012-02-07 2019-03-07 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
TWI507929B (zh) * 2012-07-27 2015-11-11 Pixart Imaging Inc 位移偵測裝置及其省電方法
KR101858577B1 (ko) 2012-10-10 2018-05-16 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
US9402067B2 (en) 2012-10-22 2016-07-26 Samsung Electronics Co., Ltd. Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system
KR102040152B1 (ko) 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60170778A (ja) * 1984-02-08 1985-09-04 ドルニエ、ゲゼルシヤフト、ミツト、ベシユレンクテル、ハフツング コード化測距画像作成方法
JPH02108907A (ja) * 1988-10-19 1990-04-20 Canon Inc 距離形状測定装置
JPH07110381A (ja) * 1993-10-07 1995-04-25 Wacom Co Ltd 距離カメラ装置
JPH07181261A (ja) * 1993-12-22 1995-07-21 Canon Inc 光レーダ
JPH07229725A (ja) * 1994-02-15 1995-08-29 Agency Of Ind Science & Technol 光パルスを用いた三次元形状測定装置
JPH08313215A (ja) * 1995-05-23 1996-11-29 Olympus Optical Co Ltd 2次元距離センサ
JPH09178853A (ja) * 1995-12-25 1997-07-11 Hitachi Ltd イメージングレーザー測距装置
JPH109834A (ja) * 1996-06-19 1998-01-16 Olympus Optical Co Ltd 3次元画像入力装置
JPH10222285A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 画像抽出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4935616A (en) * 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
US5216259A (en) * 1991-05-10 1993-06-01 Robotic Vision System, Inc. Apparatus and method for improved determination of the spatial location of object surface points
JP2690673B2 (ja) * 1993-04-07 1997-12-10 浜松ホトニクス株式会社 イメージレーザレーダ装置
US5694203A (en) * 1995-01-31 1997-12-02 Kabushikikaisha Wacom Distance camera device having light gate for extracting distance information
AU6135996A (en) * 1995-06-22 1997-01-22 3Dv Systems Ltd. Improved optical ranging camera

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60170778A (ja) * 1984-02-08 1985-09-04 ドルニエ、ゲゼルシヤフト、ミツト、ベシユレンクテル、ハフツング コード化測距画像作成方法
JPH02108907A (ja) * 1988-10-19 1990-04-20 Canon Inc 距離形状測定装置
JPH07110381A (ja) * 1993-10-07 1995-04-25 Wacom Co Ltd 距離カメラ装置
JPH07181261A (ja) * 1993-12-22 1995-07-21 Canon Inc 光レーダ
JPH07229725A (ja) * 1994-02-15 1995-08-29 Agency Of Ind Science & Technol 光パルスを用いた三次元形状測定装置
JPH08313215A (ja) * 1995-05-23 1996-11-29 Olympus Optical Co Ltd 2次元距離センサ
JPH09178853A (ja) * 1995-12-25 1997-07-11 Hitachi Ltd イメージングレーザー測距装置
JPH109834A (ja) * 1996-06-19 1998-01-16 Olympus Optical Co Ltd 3次元画像入力装置
JPH10222285A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 画像抽出装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359547B2 (en) 2002-09-20 2008-04-15 Nippon Telegraph And Telephone Corporation Pseudo three dimensional image generating apparatus
JP2006337286A (ja) * 2005-06-03 2006-12-14 Ricoh Co Ltd 形状計測装置
WO2007139187A1 (ja) 2006-05-31 2007-12-06 National University Corporation Chiba University 3次元画像構築装置及び方法並びにプログラム
US9247865B2 (en) 2006-05-31 2016-02-02 National University Corporation Chiba University Three-dimensional-image forming device, three dimensional-image forming method and program
US8159598B2 (en) 2008-08-19 2012-04-17 Panasonic Corporation Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
JP2010114849A (ja) * 2008-11-10 2010-05-20 Panasonic Electric Works Co Ltd 車両周辺監視装置
US9237333B2 (en) 2010-11-01 2016-01-12 Samsung Electronics Co., Ltd. Method and apparatus of measuring depth information for 3D camera
US9418425B2 (en) 2011-10-25 2016-08-16 Samsung Electronic Co., Ltd. 3D image acquisition apparatus and method of calculating depth information in the 3D image acquisition apparatus
CN104603676A (zh) * 2012-08-14 2015-05-06 微软公司 深度相机的照明光整形

Also Published As

Publication number Publication date
US20060120595A1 (en) 2006-06-08
JP3840341B2 (ja) 2006-11-01
US7486804B2 (en) 2009-02-03
US7016519B1 (en) 2006-03-21

Similar Documents

Publication Publication Date Title
JP2000121339A (ja) 立体情報検出方法及び装置
US7834985B2 (en) Surface profile measurement
US9435891B2 (en) Time of flight camera with stripe illumination
US9329035B2 (en) Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US7466359B2 (en) Image-pickup apparatus and method having distance measuring function
JP4405154B2 (ja) イメージングシステムおよび物体の画像を取得する方法
US20070216769A1 (en) Active 3D triangulation-based imaging method and device
EP3163316B1 (en) Apparatus and method for obtaining a depth image
US9894347B2 (en) 3D image acquisition apparatus and method of driving the same
KR930007296A (ko) 물체의 3차원 입체정보취득장치
US10955654B2 (en) Imaging device and method
JP2002039716A (ja) 距離画像入力装置
WO1997001111B1 (en) Improved optical ranging camera
JP3695188B2 (ja) 形状計測装置および形状計測方法
US11936973B2 (en) Pulse chain-driven infrared imaging assembly
JP2006322759A (ja) 光センサ及びこれを用いた物体検出装置と光通信装置
CN108370435B (zh) 车辆用图像获取装置、以及包括了车辆用图像获取装置的车辆
JPH10171965A (ja) 積算型エリアセンサの画像入力方法及びその装置
US11860309B2 (en) 3D imaging system and method of 3D imaging
JP3816624B2 (ja) 三次元計測装置
JPH07110381A (ja) 距離カメラ装置
JP4195574B2 (ja) 立体内視鏡
JP3915366B2 (ja) 光センサおよび三次元形状計測装置
JP3385641B2 (ja) 投光撮像装置
JP2001133230A (ja) 光検出センサおよび三次元形状計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060807

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130811

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term