JP2018077122A - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP2018077122A
JP2018077122A JP2016218766A JP2016218766A JP2018077122A JP 2018077122 A JP2018077122 A JP 2018077122A JP 2016218766 A JP2016218766 A JP 2016218766A JP 2016218766 A JP2016218766 A JP 2016218766A JP 2018077122 A JP2018077122 A JP 2018077122A
Authority
JP
Japan
Prior art keywords
imaging
light
tof
timing signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016218766A
Other languages
English (en)
Other versions
JP6333921B2 (ja
Inventor
中村　稔
Minoru Nakamura
稔 中村
祐輝 高橋
Yuki Takahashi
祐輝 高橋
渡邉　淳
Atsushi Watanabe
淳 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2016218766A priority Critical patent/JP6333921B2/ja
Priority to DE102017009983.9A priority patent/DE102017009983B4/de
Priority to US15/794,408 priority patent/US10313655B2/en
Priority to CN201711086084.5A priority patent/CN108063937B/zh
Publication of JP2018077122A publication Critical patent/JP2018077122A/ja
Application granted granted Critical
Publication of JP6333921B2 publication Critical patent/JP6333921B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)

Abstract

【課題】複数の撮像部を用いて複数の撮像を行うことができ、これらの撮像部と対象物との間の距離を、より正確に測定することが可能な撮像装置を提供する。
【解決手段】本発明の撮像装置は、複数の撮像部を有する撮像装置１００であって、参照光を発光する１つの距離測定用の発光部１０７と、前記参照光の反射光を撮像すると共に、撮像のタイミングを共有する複数の撮像部１０３（１０３Ａ，１０３Ｂ）と、を備える。
【選択図】図１

Description

本発明は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式による撮像装置及び撮像方法に関する。
近年では、ステレオカメラ方式に代わる３次元距離測定として、発光された赤外線が対象物体に反射してカメラで観測されるまでの時間を計測し、その時間から物体までの距離を取得するＴｉｍｅ ｏｆ Ｆｌｉｇｈｔ（ＴＯＦ）方式による距離測定装置（ＴＯＦカメラ）が注目されており、ＴＯＦカメラの需要も高まっている。
特表２００９−５１６１５７号公報 特表２０１６−５０２６５７号公報
複数のＴＯＦカメラが互いに近距離や対向する位置に配置され、それぞれの発光部が参照光を発光する場合、一方のＴＯＦカメラから発光された参照光の反射光が、他方のＴＯＦカメラの撮像部に影響し、正確な距離測定が行えない場合があることが、ＴＯＦカメラの距離測定の原理から知られている。
これにより、例えば、複数のＴＯＦカメラを同時に用い、広い撮影範囲を分割して撮影しようとしても、撮像に互いの反射光が影響してしまうことにより、広い撮影範囲の安定性の高い画像データを取得することが出来なかった。
また、機能安全で要求されるような高い故障検出能力を装置が確保するためには、この装置において、入力部−ロジック部−出力部を２系統化し、更に互いの系統の相互監視を行う構成を用いることが一般的である。より具体的には、図９に示すように、装置１０が入力部１１Ａ、ロジック部１２Ａ、及び出力部１３Ａを備える系１５Ａと、入力部１１Ｂ、ロジック部１２Ｂ、及び出力部１３Ｂを備える系１５Ｂとを備え、ロジック部１２Ａとロジック部１２Ｂとが、互いの系を相互監視することにより、高い故障検出能力を確保する手法を用いることがある。ここで、装置１０において、系１５Ａ及び系１５Ｂが共にＴＯＦ方式による距離測定装置であり、２つの入力部１１Ａ及び１１Ｂが、共にＴＯＦカメラであるケースが存在する。これらの２つの入力部１１Ａ及び１１Ｂが互いに近距離に位置し、それぞれの発光部が参照光を発光する場合、一方のＴＯＦカメラから発光された参照光の反射光が、他方のＴＯＦカメラの撮像部に影響してしまう。
これにより、例えばカメラ故障による撮像もれや、カメラの誤動作の未検出を低減させる目的で、上記の装置１０が複数のＴＯＦカメラを備えても、距離測定の安定性を高めることは出来なかった。
隣接又は近接する複数のＴＯＦカメラを使用する際の反射光の影響について、図１０を参照して詳述する。図１０に示すように、ＴＯＦカメラ２０Ａが、ＴＯＦイメージセンサ２１Ａと、レンズ２２Ａと、発光部２５Ａとを備え、ＴＯＦカメラ２０Ｂが、ＴＯＦイメージセンサ２１Ｂと、レンズ２２Ｂと、発光部２５Ｂとを備えるものとする。この場合、ＴＯＦカメラ２０Ａの発光部２５Ａから発光される参照光Ａ１と、ＴＯＦカメラ２０Ｂの発光部２５Ｂから発光される参照光Ｂ１とは、それぞれ対象物にて反射する（本例では対象物３０にて説明する）。参照光Ａ１の反射光Ａ２は、ＴＯＦカメラ２０ＡのＴＯＦイメージセンサ２１Ａと、ＴＯＦカメラ２０ＢのＴＯＦイメージセンサ２１Ｂとの両方に入射する。同様に、参照光Ｂ１の反射光Ｂ２は、ＴＯＦカメラ２０ＡのＴＯＦイメージセンサ２１Ａと、ＴＯＦカメラ２０ＢのＴＯＦイメージセンサ２１Ｂとの両方に入射する。
なお、以降では、区別する必要が無いときには、ＴＯＦカメラ２０ＡとＴＯＦカメラ２０Ｂとを、「ＴＯＦカメラ２０」と総称することがある。同様に、ＴＯＦイメージセンサ２１ＡとＴＯＦイメージセンサ２１Ｂとを、「ＴＯＦイメージセンサ２１」と総称することがある。同様に、レンズ２２Ａとレンズ２２Ｂとを、「レンズ２２」と総称することがある。同様に、発光部２５Ａと発光部２５Ｂとを、「発光部２５」と総称することがある。また、本明細書においては、「ＴＯＦイメージセンサ２１」を、「撮像部２１」とも呼称する。
この場合、例えば、ＴＯＦカメラ２０Ａにおいて、ＴＯＦカメラ２０Ａから発光された参照光Ａ１の反射光Ａ２に加えて、ＴＯＦカメラ２０Ｂから発光された参照光Ｂ１の反射光Ｂ２までもがＴＯＦカメラ２０Ａの撮像部２１Ａに入射する影響により、ＴＯＦカメラ２０Ａから対象物３０までの距離が正確に測定できなくなる。同様に、ＴＯＦカメラ２０Ｂにおいて、ＴＯＦカメラ２０Ｂから発光された参照光Ｂ１の反射光Ｂ２に加えて、ＴＯＦカメラ２０Ａから発光された参照光Ａ１の反射光Ａ２までもがＴＯＦカメラ２０Ｂの撮像部２１Ｂに入射する影響により、ＴＯＦカメラ２０Ｂから対象物３０までの距離が正確に測定できなくなる。
上述した、ＴＯＦカメラで測定した距離に対し、自身とは異なるＴＯＦカメラの発光部から発光された参照光の反射光が影響を与える理由について、図１１を用いて詳述する。
ＴＯＦカメラの通常の距離測定原理について説明するため、図１１の左側に、発光パルス１ａ、反射光パルス１ｂ、及び、互いにタイミングが異なる、位相が０°の撮像タイミング信号１ｃと、位相が１８０°の撮像タイミング信号１ｄのパルス波形を示す。
発光パルス１ａは、発光部２５により発光された参照光のパルス波形である。発光パルス１ａの山の幅は、Ｔ０である。また、反射光パルス１ｂは、参照光が対象物３０で反射し、撮像部２１に入射する反射光のパルス波形である。反射光の撮像部２１への入射のタイミング、すなわち反射光パルス１ｂのパルスが立ち上がるタイミングは、発光パルス１ａのパルスが立ち上がるタイミングに比べて、Ｔｄだけ遅れる。ＴＯＦカメラ２０においては、この時間差Ｔｄに光の速度を乗じた値を、ＴＯＦカメラ２０と対象物３０との間の往復の距離として算定する。このＴｄの値は、以下の方法により算出する。
撮像タイミング信号として、位相が０°の撮像タイミング信号１ｃと、位相が１８０°の撮像タイミング信号１ｄとを用いるものとする。また、撮像タイミング信号１ｃのパルスの山の始端は、発光パルス１ａのパルスの山の始端に一致するものとする。撮像タイミング信号１ｃと撮像タイミング信号１ｄとは、互いに位相が１８０°異なるため、撮像タイミング信号１ｃのパルスの山の終端は、撮像タイミング信号１ｄのパルスの山の始端に一致する。
ここで、撮像タイミング信号１ｃによる撮像時に反射光パルス１ｂの受光によって蓄えられる電荷がＱ１であり、撮像タイミング信号１ｄによる撮像時に反射光パルス１ｂの受光によって蓄えられる電荷がＱ２であるとき、Ｑ１とＱ２との比率に基づいて、上記のＴｄを算出する。なお、Ｑ１とＱ２は、一般に定常的な外乱光により蓄えられる電荷分は差し引いた電荷である
また、図３においては、発光の波形を矩形状のパルス波としているが、実際には矩形状だけではなく、正弦波状の波形を採用しているＴＯＦカメラが知られている。また、撮像タイミングの観点では、精度向上や測定距離の拡大を目的に位相が０°と１８０°だけでなく、９０°と２７０°のタイミングでも撮像するＴＯＦカメラも知られている。
一方、図１０で説明したように、２つのＴＯＦカメラが近距離に位置するために、一方のＴＯＦカメラから発光された参照光の反射光が、他方のＴＯＦカメラの撮像部に影響する場合における、発光パルス２ａ、反射光パルス２ｂ、撮像タイミング信号２ｃ及び２ｄを、図１１の右側に示す。ここで、通常の距離測定原理に係る説明と同様に、発光パルス２ａのパルスの山の幅をＴ０、反射光パルス２ｂの発光パルス２ａに対する遅延をＴｄとする。
ＴＯＦカメラ２０が近距離に２台存在し、これらの発光部２５Ａ及び２５Ｂが同期していない場合、反射光パルス２ｂは、自身の発光部２５から発光された参照光の反射光のみとなることはなく、別のカメラの発光部２５から発光される発光パルスの反射光（ハッチング部）が加わる場合が存在する。これにより、撮像タイミング信号２ｃによる撮像時に反射光パルス１ｂの受光によって蓄えられる電荷Ｑ１の測定の際、撮像タイミング信号２ｃのパルスの山と、反射光パルス２ｂに示されるハッチング部との重なり部分の電荷は、測定値に影響を与える。同様に、撮像タイミング信号２ｄによる撮像時に反射光パルス１ｂの受光によって蓄えられる電荷Ｑ２の測定の際、撮像タイミング信号２ｄのパルスの山と、反射光パルス２ｂに示されるハッチング部との重なり部分の電荷は、測定値に影響を与える。すなわち、別のカメラの発光部２５から発光される参照光の反射光が、Ｑ１及びＱ２の測定値、更にはＱ１とＱ２の電荷比に影響を与えることにより、反射光パルス２ｂの発光パルス２ａに対する時間差であるＴｄの値を正しく求めることが出来なくなる。延いては、ＴＯＦカメラ２０と対象物３０との間の距離を正しく求めることが出来なくなる。
図１２は、従来の撮像装置５００の第１の具体的な構成例である。撮像装置５００は、ＴＯＦカメラ５１０ＡとＴＯＦカメラ５１０Ｂとを備え、それらは、隣接又は近接している。ＴＯＦカメラ５１０Ａは、制御回路５２０Ａ、ＴＯＦイメージセンサ５２５Ａ、レンズ５３０Ａ、及び発光部５４０Ａを備える。図１２に示す例においては、制御回路５２０ＡとＴＯＦイメージセンサ５２５Ａとが同一チップ内に組み込まれている。同様に、ＴＯＦカメラ５１０Ｂは、制御回路５２０Ｂ、ＴＯＦイメージセンサ５２５Ｂ、レンズ５３０Ｂ、及び発光部５４０Ｂを備え、制御回路５２０ＢとＴＯＦイメージセンサ５２５Ｂとは同一チップ内に組み込まれている。
以下、区別する必要が無いときには、ＴＯＦカメラ５１０ＡとＴＯＦカメラ５１０Ｂとを「ＴＯＦカメラ５１０」と総称する。同様に、制御回路５２０Ａと制御回路５２０Ｂとを「制御回路５２０」と総称する。ＴＯＦイメージセンサ５２５ＡとＴＯＦイメージセンサ５２５Ｂとを「ＴＯＦイメージセンサ５２５」と総称する。レンズ５３０Ａとレンズ５３０Ｂとを「レンズ５３０」と総称する。発光部５４０Ａと発光部５４０Ｂとを「発光部５４０」と総称する。
制御回路５２０は、発光部５４０に対し発光タイミング信号を送信し、発光部５４０は、受信した発光タイミング信号に基づいて、参照光を発光する。また、制御回路５２０は、ＴＯＦイメージセンサ５２５に対し、撮像タイミング信号を送信する。参照光が対象物で反射された反射光は、レンズ５３０を経由してＴＯＦイメージセンサ５２５に入射し、ＴＯＦイメージセンサ５２５は、上記の撮像タイミング信号に基づき、反射光を撮像する。
ここで、ＴＯＦイメージセンサ５２５Ａには、発光部５４０Ａにおいて発光した参照光の反射光だけではなく、発光部５４０Ｂにおいて発光した参照光の反射光も入射する。これにより、上述のように、発光部５４０Ａにおいて参照光を発光してから、ＴＯＦイメージセンサ５２５Ａに反射光が入射するまでの時間差の算出に、発光部５４０Ｂにおいて発光した参照光の反射光が影響してしまう。同様に、ＴＯＦイメージセンサ５２５Ｂには、発光部５４０Ｂにおいて発光した参照光の反射光だけではなく、発光部５４０Ａにおいて発光した参照光の反射光も入射する。これにより、上述のように、発光部５４０Ｂにおいて参照光を発光してから、ＴＯＦイメージセンサ５２５Ｂに反射光が入射するまでの時間差の算出に、発光部５４０Ａにおいて発光した参照光の反射光が影響してしまう。
図１３は、従来の撮像装置５５０の第２の具体的な構成例である。撮像装置５５０は、ＴＯＦカメラ５６０ＡとＴＯＦカメラ５６０Ｂとを備え、それらは、隣接又は近接している。ＴＯＦカメラ５６０Ａは、センサ制御回路５７０Ａ、ＴＯＦイメージセンサ５７５Ａ、レンズ５８０Ａ、及び発光部５９０Ａを備える。図１３に示す例においては、センサ制御回路５７０ＡとＴＯＦイメージセンサ５７５Ａとは異なるチップに組み込まれている。同様に、ＴＯＦカメラ５６０Ｂは、センサ制御回路５７０Ｂ、ＴＯＦイメージセンサ５７５Ｂ、レンズ５８０Ｂ、及び発光部５９０Ｂを備え、センサ制御回路５７０ＢとＴＯＦイメージセンサ５７５Ｂとは異なるチップ内に組み込まれている。
以下、区別する必要が無いときには、ＴＯＦカメラ５６０ＡとＴＯＦカメラ５６０Ｂとを「ＴＯＦカメラ５６０」と総称する。同様に、センサ制御回路５７０Ａとセンサ制御回路５７０Ｂとを「センサ制御回路５７０」と総称する。ＴＯＦイメージセンサ５７５ＡとＴＯＦイメージセンサ５７５Ｂとを「ＴＯＦイメージセンサ５７５」と総称する。レンズ５８０Ａとレンズ５８０Ｂとを「レンズ５８０」と総称する。発光部５９０Ａと発光部５９０Ｂとを「発光部５９０」と総称する。
センサ制御回路５７０は、発光部５９０に対し発光タイミング信号を送信し、発光部５９０は、受信した発光タイミング信号に基づいて、参照光を発光する。また、センサ制御回路５７０は、ＴＯＦイメージセンサ５７５に対し、撮像タイミング信号を送信する。参照光が対象物で反射された反射光は、レンズ５８０を経由してＴＯＦイメージセンサ５７５に入射し、ＴＯＦイメージセンサ５７５は、上記の撮像タイミング信号に基づき、反射光を撮像する。
ここで、ＴＯＦイメージセンサ５７５Ａには、発光部５９０Ａにおいて発光した参照光の反射光だけではなく、発光部５９０Ｂにおいて発光した参照光の反射光も入射する。これにより、上述のように、発光部５９０Ａにおいて参照光を発光してから、ＴＯＦイメージセンサ５７５Ａに反射光が入射するまでの時間差の算出に、発光部５９０Ｂにおいて発光した参照光の反射光が影響してしまう。同様に、ＴＯＦイメージセンサ５７５Ｂには、発光部５９０Ｂにおいて発光した参照光の反射光だけではなく、発光部５９０Ａにおいて発光した参照光の反射光も入射する。これにより、上述のように、発光部５９０Ｂにおいて参照光を発光してから、ＴＯＦイメージセンサ５７５Ｂに反射光が入射するまでの時間差の算出に、発光部５９０Ａにおいて発光した参照光の反射光が影響してしまう。
一般にＴＯＦカメラでは、上記の発光時間であるＴ０は１０〜数十ｎｓであり、１回の発光で得られる露光は小さいため、数千〜数万回の発光及び撮像を行っている。そこで、ＴＯＦカメラを複数台用いる際に、ＴＯＦカメラと対象物との間の距離をより正確に求めるため、ＴＯＦカメラ同士の間で、参照光の発光周波数を変えたり、乱数を用いて発光間隔を変えたりする手法が、従来知られている。しかし、この手法を用いた場合、他のカメラからの参照光の反射による干渉の影響は小さくなるものの、影響を常時小さくすることを保証するものではない。
また、別の手法として、各ＴＯＦカメラをケーブル等で接続し、全ＴＯＦカメラを同期する手段を備えると共に、図１４に示すように、フレームレート内において、個々のカメラの間で、発光／撮像タイミングを分割する手法が、従来知られている。しかし、この手法を用いた場合、ＴＯＦカメラの台数が増加するに従って、フレームレートが長くなってしまうとともに、複数のＴＯＦカメラの撮像タイミングの同時性が悪化してしまう。
この点、特許文献１は、空間領域をモニターし、自動運転設備の危険領域を保護するための装置として、１つの照明装置を２つの画像記録ユニットで共用する装置を開示している。しかし、特許文献１で開示される発明においては、第２の画像記録ユニットは、あくまで三角測量用に用いるものであり、ＴＯＦカメラを用いてカメラと対象物との距離を測定するものではなかった。
また、特許文献２は、複数のＴＯＦカメラが光源を持ち、他のＴＯＦカメラからの変調光が検出される程度によって、自身のＴＯＦカメラの記録モードを変更する技術を開示している。しかし、自身のＴＯＦカメラの記録モードを、画像記録動作や測定動作を中断するように変更した場合、撮像自体が行われなかったり、ビデオストリーム中に、画像記録動作の中断による欠損部分が発生したりすることとなる。また、自身のＴＯＦカメラの記録モードを、参照光の周波数を変更するよう変更した場合、上記の繰り返しとなるが、参照光の反射による干渉の影響を常時小さくすることは保証されない。
そこで、本発明は、複数の撮像部を用いて複数の撮像を行うことができ、これらの撮像部と対象物との間の距離を、より正確に測定することが可能な撮像装置を提供することを目的とする。
本発明に係る撮像装置は、複数の撮像部（例えば、後述のＴＯＦイメージセンサ１０３、１５３、１７５、１８４）を有する撮像装置（例えば、後述の撮像装置１００、１５０、１７０、１８０）であって、参照光を発光する１つの距離測定用の発光部（例えば、後述の発光部１０７、１５７、１７７、１８６）と、前記参照光の反射光を撮像すると共に、撮像のタイミングを共有する複数の撮像部と、を備える。
上記の撮像装置においては、前記複数の撮像部は、マスタとなる第１の撮像部（例えば、後述のＴＯＦイメージセンサ１０３Ａ、１７５Ａ）と、スレーブとなる第２の撮像部（例えば、後述のＴＯＦイメージセンサ１０３Ｂ、１７５Ｂ）とを備え、前記第１の撮像部の制御部（例えば、後述の制御回路１０１Ａ、１７１Ａ）は、前記発光部（例えば、後述の発光部１０７、１７７）に対して、発光タイミング信号を出力すると共に、前記第２の撮像部の制御部（例えば、後述の制御回路１０１Ｂ、１７１Ｂ）に対して、撮像タイミング信号を出力し、前記発光部は、前記第１の撮像部の制御部から入力した発光タイミング信号に基づいて発光し、前記第２の撮像部が、前記第１の撮像部の制御部から入力した撮像タイミング信号に基づいて撮像を行ってもよい。
上記の撮像装置においては、発光タイミング信号と撮像タイミング信号とを出力するセンサ制御部（例えば、後述のセンサ制御回路１５１、１８１）を更に備え、前記発光部（例えば、後述の発光部１５７、１８６）は、前記センサ制御部から入力する前記発光タイミング信号に基づいて前記参照光を発光し、前記複数の撮像部（例えば、後述のＴＯＦイメージセンサ１５３、１８４）の各々は、前記センサ制御部から入力する前記撮像タイミング信号に基づいて撮像を行ってもよい。
上記の撮像装置においては、前記発光タイミング信号、及び／又は前記撮像タイミング信号の出力部又は入力部が、遅延調整手段（例えば、後述の位相調整器１７４、１８３）を備えてもよい。
本発明に係る撮像方法は、複数の撮像部（例えば、後述のＴＯＦイメージセンサ１０３、１５３、１７５、１８４）を有する撮像装置による撮像方法であって、１つの距離測定用の発光部（例えば、後述の発光部１０７、１５７、１７７、１８６）が、参照光を発光し、複数の撮像部が、前記参照光の反射光を撮像すると共に、撮像のタイミングを共有する。
本発明によれば、複数の撮像部を用いて複数の撮像を行うことができ、これらの撮像部と対象物との間の距離を、より正確に測定することができる。
本発明の第１実施形態に係る撮像装置の構成を示す図である。 本発明の第１実施形態に係る撮像装置における処理を示すフローチャートである。 本発明の第１実施形態に係る撮像装置による効果を示す図である。 本発明の第１実施形態に係る撮像装置による効果を示す図である。 本発明の第２実施形態に係る撮像装置の構成を示す図である。 本発明の第２実施形態に係る撮像装置における処理を示すフローチャートである。 本発明の第１の変形例に係る撮像装置の構成を示す図である。 本発明の第２の変形例に係る撮像装置の構成を示す図である。 相互監視可能な２つの系を有する装置の一般的な構成例を示す図である。 従来のＴＯＦカメラを複数用いた場合の反射光による影響を示す図である。 ＴＯＦカメラの距離測定原理と、他のＴＯＦカメラに由来する反射光の影響とを示す図である。 従来の撮像装置の構成例を示す図である。 従来の撮像装置の構成例を示す図である。 複数のＴＯＦカメラを用いた場合の発光／撮像のタイミング例を示す図である。
以下、本発明の実施形態について図１〜図８を参照しながら詳述する。
〔第１実施形態〕
本発明の第１の実施形態に係る撮像装置１００は、図１に示すように、マスタの制御回路１０１Ａと、スレーブの制御回路１０１Ｂと、制御回路１０１Ａの制御対象となるＴＯＦイメージセンサ１０３Ａと、制御回路１０１Ｂの制御対象となるＴＯＦイメージセンサ１０３Ｂとを有する（本明細書では、「ＴＯＦイメージセンサ１０３Ａ」を、「撮像部１０３Ａ」と呼称することもある。同様に、「ＴＯＦイメージセンサ１０３Ｂ」を、「撮像部１０３Ｂ」と呼称することもある）。更に、撮像装置１００は、ＴＯＦイメージセンサ１０３Ａに対応するレンズ１０５Ａ、ＴＯＦイメージセンサ１０３Ｂに対応するレンズ１０５Ｂ、及び、発光部１０７を備える。
マスタの制御回路１０１Ａは、発光部１０７に対し発光タイミング信号を送信し、発光部１０７は、受信した発光タイミング信号に基づき参照光を発光する。また、マスタの制御回路１０１Ａは、ＴＯＦイメージセンサ１０３Ａ及びスレーブの制御回路１０１Ｂに対し、撮像タイミング信号を送信する。スレーブの制御回路１０１Ｂは、マスタの制御回路１０１Ａから受信した撮像タイミング信号を、ＴＯＦイメージセンサ１０３Ｂに送信する。発光部１０７で発光した参照光が対象物で反射した反射光は、レンズ１０５Ａを経由して、ＴＯＦイメージセンサ１０３Ａに入射する。ＴＯＦイメージセンサ１０３Ａは、上記の撮像タイミング信号に基づき、反射光を撮像する。同時に、発光部１０７で発光した参照光が対象物で反射した反射光は、レンズ１０５Ｂを経由して、ＴＯＦイメージセンサ１０３Ｂに入射する。ＴＯＦイメージセンサ１０３Ｂは、上記の撮像タイミング信号に基づき、反射光を撮像する。すなわち、ＴＯＦイメージセンサ１０３ＡとＴＯＦイメージセンサ１０３Ｂとは、発光部１０７で発光した参照光の反射光を共用すると共に、ＴＯＦイメージセンサ１０３Ａにおける撮像タイミングと、ＴＯＦイメージセンサ１０３Ｂにおける撮像タイミングとは同期している。
次に、図２に示すフローチャートを参照しながら、上記の撮像装置１００の動作について詳述する。
ステップＳ１１において、マスタの制御回路１０１Ａは、発光部１０７に対し、発光タイミング信号を送信し、自身が制御するＴＯＦイメージセンサ１０３Ａ及びスレーブの制御回路１０１Ｂに対し、位相０°における撮像タイミング信号を送信する。なお、これらの発光タイミング信号の送信及び撮像タイミング信号の送信は、同時に実施される。
ステップＳ１２において、スレーブの制御回路１０１Ｂは、マスタの制御回路１０１Ａから受信した位相０°における撮像タイミング信号を、自身が制御するＴＯＦイメージセンサ１０３Ｂに対し、送信する。
ステップＳ１３において、発光部１０７が、マスタの制御回路１０１Ａから受信した発光タイミング信号に基づき、参照光を発光すると同時に、ＴＯＦイメージセンサ１０３Ａと１０３Ｂの各々は、参照光が対象物で反射した反射光を、上記の位相０°における撮像タイミング信号に基づき撮像する。なお、図２に示すフローチャートでは明示していないが、これらのステップＳ１１〜Ｓ１３のステップは、規定回数（通常は数千回）連続して繰り返し行う場合が多い。
ステップＳ１４において、マスタの制御回路１０１Ａ及びスレーブの制御回路１０１Ｂの各々は、位相０°の撮像タイミングで撮像したＴＯＦイメージセンサ１０３Ａと１０３Ｂの各々より、上記の電荷Ｑ１の値を取得する。
一般の多くのＴＯＦカメラでは、反射光が微弱であるため、１回の撮像では、十分な比率差のあるＱ１とＱ２の電荷が得られないことに伴い、高い距離計測の精度が保たれない。そこで、上記のように、ステップＳ１１〜Ｓ１３を規定回数連続して繰り返し実施し、電荷を多く貯めた後に、ステップＳ１４において制御回路の各々がＱ１を得る場合が多い。
ステップＳ１５において、マスタの制御回路１０１Ａは、発光部１０７に対し、発光タイミング信号を送信し、自身が制御するＴＯＦイメージセンサ１０３Ａ及びスレーブの制御回路１０１Ｂに対し、位相１８０°における撮像タイミング信号を送信する。なお、これらの撮像タイミング信号の送信は同時に実施される。
ステップＳ１６において、スレーブの制御回路１０１Ｂは、マスタの制御回路１０１Ａから受信した、位相１８０°における撮像タイミング信号を、自身が制御するＴＯＦイメージセンサ１０３Ｂに対し、送信する。
ステップＳ１７において、発光部１０７が、参照光の発光を終了すると同時に、ＴＯＦイメージセンサ１０３Ａと１０３Ｂの各々は、参照光が対象物で反射した反射光を、上記の位相１８０°における撮像タイミング信号に基づき撮像する。なお、図２に示すフローチャートでは明示していないが、これらのステップＳ１５〜Ｓ１７のステップは、ステップＳ１１〜Ｓ１３と同一の規定回数だけ連続して繰り返し行う場合が多い。
ステップＳ１８において、マスタの制御回路１０１Ａ及びスレーブの制御回路１０１Ｂの各々は、位相１８０°の撮像タイミングで撮像したＴＯＦイメージセンサ１０３Ａと１０３Ｂの各々より、上記の電荷Ｑ２の値を取得する。
ステップＳ１１〜Ｓ１３と同様に、ステップＳ１５〜Ｓ１７を規定回数連続して繰り返し実施し、電荷を多く貯めた後に、ステップＳ１８において制御回路の各々がＱ２を得る場合が多い。
ステップＳ１９において、マスタの制御回路１０１Ａ及びスレーブの制御回路１０１Ｂの各々は、取得したＱ１とＱ２より求めた発光から反射光を受光するまでの時間差に基づき、対象物とＴＯＦイメージセンサ１０３Ａ及び１０３Ｂとの間の距離を算出する。
〔第１実施形態による効果〕
上記の構成により、隣接する撮像部が１つの発光部の発光により撮像を行なうため、従来の撮像部が個々に発光部を有して、そのそれぞれを発光させることに由来する反射光の影響を受けることがなくなり、複数の撮像部を用いてもより正確に撮像部と対象物との間の距離を測定することができる。
また、発光部の数を低減することにより、発光部による発熱、撮像装置自体の大きさ及びコストを低減することができる。
更に、現状においては、微弱な反射光も感度良く受光する必要があるため、画素サイズを小さくすることが難しく、ＴＯＦ撮像用のイメージセンサの画像素子は微細化が進んでいない。このため、図３に示すように、高い分解能で、より広い撮像範囲を撮像するためには、撮像範囲を分割して複数の撮像部で撮像する必要がある。
具体的には、図３の左図に示すように、撮像装置１００Ａが、レンズ１０５Ａ〜１０５Ｄの４つのレンズと、レンズ１０５Ａ〜１０５Ｄの各々に対応するイメージセンサ１０３Ａ〜１０３Ｄ（不図示）、及び制御回路１０１Ａ〜１０１Ｄ（不図示）を備える場合、レンズ１０５Ａとイメージセンサ１０３Ａとの組により、図３の右図に示すＡの領域が撮像される。同様に、レンズ１０５Ｂとイメージセンサ１０３Ｂとの組により、図３の右図に示すＢの領域が撮像される。同様に、レンズ１０５Ｃとイメージセンサ１０３Ｃとの組により、図３の右図に示すＣの領域が撮像される。同様に、レンズ１０５Ｄとイメージセンサ１０３Ｄとの組により、図３の右図に示すＤの領域が撮像される。これにより、１組のレンズとイメージセンサを用いて撮像する場合に比較して、より広範囲の領域が撮像される。また、制御回路１０１Ａ〜制御回路１０１Ｄにより、レンズ１０５とイメージセンサ１０３の４つの組は、互いに参照光を共用すると共に、撮像タイミングが互いに同期しているため、４つの撮像部では反射光の影響のない撮像となり、４つの撮像部のデータを結合することで高い分解能で、より広い撮像範囲の画像データの取得が可能となる。
あるいは、図４に示すように、ほぼ同じ範囲を複数の撮像部で撮像することによって、片方の撮像部が不良となっても、正しい撮像を継続することが可能となる。更に、複数の撮像部により撮像された画像データの相互比較を行うことによって、撮像部の不良が発生した場合に、不良の検出が可能となる。これにより、撮像漏れが許されない撮像装置や、高い故障検出が求められる撮像装置への本実施形態の適用ができる。
具体的には、図４の左図に示すように、撮像装置１００Ｂが、レンズ１０５Ａ及び１０５Ｂと、レンズ１０５Ａ及びレンズ１０５Ｂの各々に対応するイメージセンサ１０３Ａ及び１０３Ｂ（不図示）、及び制御回路１０１Ａ及び１０１Ｂ（不図示）を備える場合、レンズ１０５Ａとイメージセンサ１０３Ａとの組により、図４の右図に示すＡの領域が撮像される。同様に、レンズ１０５Ｂとイメージセンサ１０３Ｂとの組により、図４の右図に示すＢの領域が撮像される。Ａの領域の画像において、図示するように画素に欠損がある場合は、レンズ１０５Ａ、イメージセンサ１０３Ａ、及び制御回路１０１Ａのいずれかに不良があることが検知される。同時に、Ｂの領域の画像を用いてＡの領域の画像を補完することにより、仮に、レンズ１０５Ａ、イメージセンサ１０３Ａ、及び制御回路１０１Ａのいずれかに上記のような撮像部の不良が存在しても、撮像漏れを防ぐことが可能となる。
また本発明の方式では、複数の撮像部が同時に撮像を行うため、得られるデータに時間的な同時性があり、データの結合時や、相互比較時において撮像タイミングの差異への配慮が不要となる。
〔第２実施形態〕
本発明の第２の実施形態に係る撮像装置１５０は、図５に示すように、センサ制御回路１５１と、センサ制御回路１５１の制御対象として、ＴＯＦイメージセンサ１５３Ａと、ＴＯＦイメージセンサ１５３Ｂとを有する（本明細書では、「ＴＯＦイメージセンサ１５３Ａ」を、「撮像部１５３Ａ」と呼称することもある。同様に、「ＴＯＦイメージセンサ１５３Ｂ」を、「撮像部１５３Ｂ」と呼称することもある）。更に、撮像装置１５０は、ＴＯＦイメージセンサ１５３Ａに対応するレンズ１５５Ａ、ＴＯＦイメージセンサ１５３Ｂに対応するレンズ１５５Ｂ、及び、発光部１５７を備える。
センサ制御回路１５１は、発光部１５７に対し発光タイミング信号を送信し、発光部１５７は、受信した発光タイミング信号に基づき参照光を発光する。また、センサ制御回路１５１は、ＴＯＦイメージセンサ１５３Ａ及びＴＯＦイメージセンサ１５３Ｂに対し、撮像タイミング信号を送信する。発光部１５７で発光した参照光が対象物で反射した反射光は、レンズ１５５Ａを経由して、ＴＯＦイメージセンサ１５３Ａに入射する。ＴＯＦイメージセンサ１５３Ａは、上記の撮像タイミング信号に基づき、反射光を撮像する。同時に、発光部１５７で発光した参照光が対象物で反射した反射光は、レンズ１５５Ｂを経由して、ＴＯＦイメージセンサ１５３Ｂに入射する。ＴＯＦイメージセンサ１５３Ｂは、上記の撮像タイミング信号に基づき、反射光を撮像する。すなわち、ＴＯＦイメージセンサ１５３ＡとＴＯＦイメージセンサ１５３Ｂとは、発光部１５７で発光した参照光の反射光を共用すると共に、ＴＯＦイメージセンサ１５３Ａにおける撮像タイミングと、ＴＯＦイメージセンサ１５３Ｂにおける撮像タイミングとは同期している。
次に、図６に示すフローチャートを参照しながら、上記の撮像装置１５０の動作について詳述する。
ステップＳ２１において、センサ制御回路１５１は、発光部１５７に対し、発光タイミング信号を送信し、複数のＴＯＦイメージセンサ１５３Ａ及び１５３Ｂの各々に対し、位相０°における撮像タイミング信号を送信する。なお、これらの発光タイミング信号の送信及び撮像タイミング信号の送信は、同時に実施される。
ステップＳ２２において、発光部１５７が、発光タイミング信号に基づき参照光を発光すると同時に、ＴＯＦイメージセンサ１５３Ａと１５３Ｂの各々は、参照光が対象物で反射した反射光を、上記の位相０°における撮像タイミング信号に基づき撮像する。なお、図６に示すフローチャートでは明示していないが、これらのステップＳ２１〜Ｓ２２のステップは、規定回数（通常は数千回）連続して繰り返し行う場合が多い。
ステップＳ２３において、センサ制御回路１５１は、位相０°の撮像タイミングで撮像したＴＯＦイメージセンサ１５３Ａと１５３Ｂの各々より、上記の電荷Ｑ１の値を取得する。
一般の多くのＴＯＦカメラでは、反射光が微弱であるため、１回の撮像では、十分な比率差のあるＱ１とＱ２の電荷が得られないことに伴い、高い距離計測の精度が保たれない。そこで、上記のように、ステップＳ２１〜Ｓ２２を規定回数連続して繰り返し実施し、電荷を多く貯めた後に、ステップＳ２３においてセンサ制御回路１５１がＱ１を得る場合が多い。
ステップＳ２４において、センサ制御回路１５１は、発光部１０７に対し、発光タイミング信号を送信し、複数のＴＯＦイメージセンサ１５３Ａ及び１５３Ｂの各々に対し、位相１８０°における撮像タイミング信号を送信する。なお、これらの撮像タイミング信号の送信は、同時に実施される。
ステップＳ２５において、発光部１５７が参照光の発光を終了すると同時に、ＴＯＦイメージセンサ１５３Ａと１５３Ｂの各々は、参照光が対象物で反射した反射光を、上記の位相１８０°における撮像タイミング信号に基づき撮像する。なお、図６に示すフローチャートでは明示していないが、これらのステップＳ２４〜Ｓ２５のステップは、ステップＳ２１〜Ｓ２２と同一の規定回数だけ連続して繰り返し行う場合が多い。
ステップＳ２６において、センサ制御回路１５１は、位相１８０°の撮像タイミングで撮像したＴＯＦイメージセンサ１５３Ａと１５３Ｂの各々より、上記の電荷Ｑ２の値を取得する。
ステップＳ２１〜Ｓ２２と同様に、ステップＳ２４〜Ｓ２５を規定回数連続して繰り返し実施し、電荷を多く貯めた後に、ステップＳ２６においてセンサ制御回路１５１がＱ２を得る場合が多い。
ステップＳ２７において、センサ制御回路１５１は、取得したＱ１とＱ２より求めた発光から反射光を受光するまでの時間差に基づき、対象物とＴＯＦイメージセンサ１５３Ａ及び１５３Ｂとの間の距離を算出する。
〔第２実施形態による効果〕
上記の構成により、第２実施形態においても、第１実施形態による効果と同様の効果を得ることができる。
〔第３実施形態〕
図７に、第３の実施形態を示す。第３の実施形態である撮像装置１７０は、第１の実施形態の撮像装置１００と同様に、マスタの制御回路１７１Ａと、スレーブの制御回路１７１Ｂと、マスタの制御回路１７１Ａの制御対象となるＴＯＦイメージセンサ１７５Ａと、スレーブの制御回路１７１Ｂの制御対象となるＴＯＦイメージセンサ１７５Ｂとを有する（本明細書では、「ＴＯＦイメージセンサ１７５Ａ」を、「撮像部１７５Ａ」と呼称することもある。同様に、「ＴＯＦイメージセンサ１７５Ｂ」を、「撮像部１７５Ｂ」と呼称することもある）。更に、撮像装置１７０は、ＴＯＦイメージセンサ１７５Ａに対応するレンズ１７６Ａ、ＴＯＦイメージセンサ１７５Ｂに対応するレンズ１７６Ｂ、及び、発光部１７７を備える。これらの基本的な機能については、第１の実施形態における撮像装置１００と同一であるため、その説明を省略する。
マスタの制御回路１７１Ａは、発光タイミング信号及び撮像タイミング信号を出力する出力部１７２を備えるが、第１の実施形態に係る撮像装置１００とは異なり、出力部１７２は、３つの位相調整器（Ｐｈａｓｅ Ｓｈｉｆｔｅｒ：Ｐ．Ｓ．）１７４Ａ、１７４Ｂ、１７４Ｃを備える。位相調整器１７４Ａは、マスタの制御回路１７１Ａの出力部１７２からＴＯＦイメージセンサ１７５Ａに出力される撮像タイミング信号の位相を調整することにより、撮像タイミング信号の遅延を調整する手段である。位相調整器１７４Ｂは、マスタの制御回路１７１Ａの出力部１７２から発光部１７７に出力される発光タイミング信号の位相を調整することにより、発光タイミング信号の遅延を調整する手段である。位相調整器１７４Ｃは、マスタの制御回路１７１Ａの出力部１７２から、スレーブの制御回路１７１Ｂに出力される撮像タイミング信号の位相を調整することにより、撮像タイミング信号の遅延を調整する手段である。
また、スレーブの制御回路１７１Ｂは、撮像タイミング信号を入力する入力部１７３を備えるが、第１の実施形態に係る撮像装置１００とは異なり、入力部１７３は、位相調整器１７４Ｄを備える。位相調整器１７４Ｄは、マスタの制御回路１７１Ａから、スレーブの制御回路１７１Ｂの入力部１７３に入力される撮像タイミング信号の位相を調整することにより、撮像タイミング信号の遅延を調整する手段である。
第１の実施形態においては、図２のフローチャートのステップＳ１３において、参照光の発光と反射光の撮像とを同時に実施することを理想とする。また、ステップＳ１６において、参照光の発光終了と反射光の撮像とを同時に実施することを理想とする。しかし、撮像装置で用いられている配線の長さや、部品の特性のバラ付き、使用温度、経年劣化等に起因する各信号のタイミングのずれがあるため、実際には、参照光の発光（又は発光終了）と反射光の撮像との間には、微妙な時間的差異があった。第３の実施形態においては、上記の位相調整器を用いることにより、参照光の発光（又は発光終了）と反射光の撮像は、理想的に同時に実施される。
なお、上記の位相調整器１７４Ｃと１７４Ｄはいずれか一方のみが設置されれば足りる。また、位相調整器１７４Ａ、１７４Ｂ、１７４Ｃを経由するタイミング信号のうち、いずれか１つの信号に、他のタイミング信号のタイミングを合わせれば、遅延は発生しないため、位相調整器１７４Ａ、１７４Ｂ、１７４Ｃのうちいずれか１つは省略することが出来る。
遅延の調整は、装置の使用前に予め実施しておいてもよく、又は、装置の使用中に動的に実行してもよい。
〔第３実施形態による効果〕
上記の構成により、撮像装置で用いられている配線の長さや、部品の特性のバラ付き、使用温度、経年劣化等に起因する各信号のタイミングのずれが調整可能となり、これにより、参照光の発光（又は発光終了）と、撮像とを、理想的に同時に実施できる。
〔第４実施形態〕
図８に、第４の実施形態を示す。第４の実施形態である撮像装置１８０は、第２の実施形態の撮像装置１５０と同様に、センサ制御回路１８１、及び、センサ制御回路１８１の制御対象として、ＴＯＦイメージセンサ１８４Ａと、ＴＯＦイメージセンサ１８４Ｂとを有する（本明細書では、「ＴＯＦイメージセンサ１８４Ａ」を、「撮像部１８４Ａ」と呼称することもある。同様に、「ＴＯＦイメージセンサ１８４Ｂ」を、「撮像部１８４Ｂ」と呼称することもある）。更に、撮像装置１８０は、ＴＯＦイメージセンサ１８４Ａに対応するレンズ１８５Ａ、ＴＯＦイメージセンサ１８４Ｂに対応するレンズ１８５Ｂ、及び、発光部１８６を備える。これらの基本的な機能については、第２の実施形態における撮像装置１５０と同一であるため、その説明を省略する。
センサ制御回路１８１は、発光タイミング信号及び撮像タイミング信号を出力する出力部１８２を備えるが、第２の実施形態に係る撮像装置１５０とは異なり、出力部１８２は、３つの位相調整器（Ｐｈａｓｅ Ｓｈｉｆｔｅｒ：Ｐ．Ｓ．）１８３Ａ、１８３Ｂ、１８３Ｃを備える。位相調整器１８３Ａは、センサ制御回路１８１の出力部１８２から、ＴＯＦイメージセンサ１８４Ａに出力される撮像タイミング信号の位相を調整することにより、撮像タイミング信号の遅延を調整する手段である。位相調整器１８３Ｂは、センサ制御回路１８１の出力部１８２から発光部１８６に出力される発光タイミング信号の位相を調整することにより、発光タイミング信号の遅延を調整する手段である。位相調整器１８３Ｃは、センサ制御回路１８１の出力部１８２から、ＴＯＦイメージセンサ１８４Ｂに出力される撮像タイミング信号の位相を調整することにより、撮像タイミング信号の遅延を調整する手段である。
第２の実施形態においては、図６のフローチャートのステップＳ２２において、参照光の発光と反射光の撮像とを同時に実施することを理想とする。また、ステップＳ２４において、参照光の発光終了と反射光の撮像とを同時に実施することを理想とする。しかし、撮像装置で用いられている配線の長さや、部品の特性のバラ付き、使用温度、経年劣化等に起因する各信号のタイミングのずれがあるため、実際には、参照光の発光（又は発光終了）と反射光の撮像との間には、微妙な時間的差異があった。第４の実施形態においては、上記の位相調整器を用いることにより、参照光の発光（又は発光終了）と反射光の撮像が、理想的に同時に実施される。
なお、位相調整器１８３Ａ、１８３Ｂ、１８３Ｃを経由するタイミング信号のうち、いずれか１つの信号に、他のタイミング信号のタイミングを合わせれば、遅延は発生しないため、位相調整器１８３Ａ、１８３Ｂ、１８３Ｃのうちいずれか１つは省略することが出来る。
遅延の調整は、装置の使用前に予め実施しておいてもよく、又は、装置の使用中に動的に実行してもよい。
〔第４実施形態による効果〕
上記の構成により、第４実施形態においても、第３実施形態による効果と同様の効果を得ることができる。
〔その他の変形例〕
第１実施形態である、図１に記載の撮像装置１００においては、制御回路、ＴＯＦイメージセンサ、及びレンズの個数は各々２個ずつとなっているが、これには限定されず、任意の複数個とすることが可能である。
同様に、第２実施形態である、図５に記載の撮像装置１５０においては、ＴＯＦイメージセンサ、及びレンズの個数は各々２個ずつとなっているが、これには限定されず、任意の複数個とすることが可能である。
また、上記の第１〜第４実施形態においては、複数の撮像部が同一の筺体内に備わっていたが、これには限定されない。例えば、複数の撮像部が各々別ユニットとなっており、撮像タイミング信号が配線やネットワークによって授受されてもよい。
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
撮像装置１００、１５０、１７０、１８０による撮像方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、撮像装置１００、１５０、１７０、１８０に備わるコンピュータにインストールされる。また、これらのプログラムは、リムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。更に、これらのプログラムは、ダウンロードされることなくネットワークを介したＷｅｂサービスとしてユーザのコンピュータに提供されてもよい。
１００、１５０、１７０、１８０ 撮像装置
１０１ 制御回路（制御部）
１０３、１５３、１７５、１８４ ＴＯＦイメージセンサ（撮像部）
１０７、１５７、１７７、１８６ 発光部
１５１、１８１ センサ制御回路（センサ制御部）
１７４、１８３ 位相調整器

Claims (5)

  1. 複数の撮像部を有する撮像装置であって、
    参照光を発光する１つの距離測定用の発光部と、
    前記参照光の反射光を撮像すると共に、撮像のタイミングを共有する複数の撮像部と、
    を備える撮像装置。
  2. 前記複数の撮像部は、マスタとなる第１の撮像部と、スレーブとなる第２の撮像部とを備え、
    前記第１の撮像部の制御部は、前記発光部に対して、発光タイミング信号を出力すると共に、前記第２の撮像部の制御部に対して、撮像タイミング信号を出力し、
    前記発光部は、前記第１の撮像部の制御部から入力した発光タイミング信号に基づいて発光し、
    前記第２の撮像部が、前記第１の撮像部の制御部から入力した撮像タイミング信号に基づいて撮像を行う、請求項１に記載の撮像装置。
  3. 発光タイミング信号と撮像タイミング信号とを出力するセンサ制御部を更に備え、
    前記発光部は、前記センサ制御部から入力する前記発光タイミング信号に基づいて前記参照光を発光し、
    前記複数の撮像部の各々は、前記センサ制御部から入力する前記撮像タイミング信号に基づいて撮像を行う、請求項１に記載の撮像装置。
  4. 前記発光タイミング信号及び／又は前記撮像タイミング信号の出力部又は入力部が、遅延調整手段を備える、請求項２又は３に記載の撮像装置。
  5. 複数の撮像部を有する撮像装置による撮像方法であって、
    １つの距離測定用の発光部が、参照光を発光し、
    複数の撮像部が、前記参照光の反射光を撮像すると共に、撮像のタイミングを共有する、撮像方法。
JP2016218766A 2016-11-09 2016-11-09 撮像装置及び撮像方法 Active JP6333921B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016218766A JP6333921B2 (ja) 2016-11-09 2016-11-09 撮像装置及び撮像方法
DE102017009983.9A DE102017009983B4 (de) 2016-11-09 2017-10-26 Bilderfassungsvorrichtung und Bilderfassungsverfahren
US15/794,408 US10313655B2 (en) 2016-11-09 2017-10-26 Image capture device and image capture method
CN201711086084.5A CN108063937B (zh) 2016-11-09 2017-11-07 摄像装置和摄像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016218766A JP6333921B2 (ja) 2016-11-09 2016-11-09 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
JP2018077122A true JP2018077122A (ja) 2018-05-17
JP6333921B2 JP6333921B2 (ja) 2018-05-30

Family

ID=62003365

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016218766A Active JP6333921B2 (ja) 2016-11-09 2016-11-09 撮像装置及び撮像方法

Country Status (4)

Country Link
US (1) US10313655B2 (ja)
JP (1) JP6333921B2 (ja)
CN (1) CN108063937B (ja)
DE (1) DE102017009983B4 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022504249A (ja) * 2018-10-04 2022-01-13 イーリス－ゲゼルシャフト ミット ベシュレンクテル ハフツング インフラレッド アンド インテリジェント センサーズ イメージングセンサ

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10451713B2 (en) * 2016-09-16 2019-10-22 Analog Devices, Inc. Interference handling in time-of-flight depth sensing
JP6773724B2 (ja) * 2018-06-13 2020-10-21 ファナック株式会社 精度情報を出力する測距装置
JP6717887B2 (ja) * 2018-07-12 2020-07-08 ファナック株式会社 距離補正機能を有する測距装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344800A (ja) * 2001-05-18 2002-11-29 Minolta Co Ltd 同期撮影方法および撮影システム
JP2004239989A (ja) * 2003-02-04 2004-08-26 Hitachi Ltd 広視野角画像撮影装置
JP2011530097A (ja) * 2008-08-03 2011-12-15 マイクロソフト インターナショナル ホールディングス ビイ．ヴイ． ローリングカメラシステム
JP2013174446A (ja) * 2012-02-23 2013-09-05 Toshiba Corp ３次元情報検出装置および３次元情報検出方法
JP2013544455A (ja) * 2010-09-24 2013-12-12 マイクロソフト コーポレーション 広角視野アクティブ照明撮像システム
US8988662B1 (en) * 2012-10-01 2015-03-24 Rawles Llc Time-of-flight calculations using a shared light source
JP2016502657A (ja) * 2012-11-08 2016-01-28 ブルーテックニックス ゲーエムベーハー 少なくとも２つのＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔカメラによる記録方法
JP2016058995A (ja) * 2014-09-12 2016-04-21 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005056265A1 (de) 2005-11-14 2007-05-16 Pilz Gmbh & Co Kg Vorrichtung und Verfahren zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage
TWI411123B (zh) * 2007-01-09 2013-10-01 Epistar Corp 發光裝置
JP4737573B2 (ja) * 2009-02-05 2011-08-03 富士フイルム株式会社 ３次元画像出力装置及び方法
CN102378920B (zh) 2009-02-27 2014-01-08 松下电器产业株式会社 测距设备
US20120007542A1 (en) * 2010-07-11 2012-01-12 Daniel Jammer No emissions service station for electric vehicles
JP6046631B2 (ja) 2010-11-19 2016-12-21 ボストン サイエンティフィック サイムド，インコーポレイテッドＢｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ Ｓｃｉｍｅｄ，Ｉｎｃ． 腎神経の検出切除装置
CN103477186B (zh) 2011-04-07 2016-01-27 松下知识产权经营株式会社 立体摄像装置
EP2594959B1 (en) * 2011-11-17 2017-01-04 Heptagon Micro Optics Pte. Ltd. System and method for multi TOF camera operation using phase hopping
CN102495520A (zh) * 2011-12-14 2012-06-13 天津大学 自会聚式多视点三维数据采集系统及方法
JP6045417B2 (ja) * 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
DE102013007886B3 (de) * 2013-05-08 2014-09-25 Audi Ag Time-of-Flight-System mit räumlich voneinander getrennten Time-of-Flight-Empfangseinrichtungen und Verfahren zur Abstandsmessung von einem Objekt
JP6372788B2 (ja) 2014-08-26 2018-08-15 カシオ計算機株式会社 撮像装置、撮像システム、撮像方法及びプログラム
DE102014118387A1 (de) * 2014-12-12 2016-06-16 Valeo Schalter Und Sensoren Gmbh Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs durch synchrone Ansteuerung von Leuchteinheiten, Bedienanordnung, Kraftfahrzeug sowie Verfahren

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344800A (ja) * 2001-05-18 2002-11-29 Minolta Co Ltd 同期撮影方法および撮影システム
JP2004239989A (ja) * 2003-02-04 2004-08-26 Hitachi Ltd 広視野角画像撮影装置
JP2011530097A (ja) * 2008-08-03 2011-12-15 マイクロソフト インターナショナル ホールディングス ビイ．ヴイ． ローリングカメラシステム
JP2013544455A (ja) * 2010-09-24 2013-12-12 マイクロソフト コーポレーション 広角視野アクティブ照明撮像システム
JP2013174446A (ja) * 2012-02-23 2013-09-05 Toshiba Corp ３次元情報検出装置および３次元情報検出方法
US8988662B1 (en) * 2012-10-01 2015-03-24 Rawles Llc Time-of-flight calculations using a shared light source
JP2016502657A (ja) * 2012-11-08 2016-01-28 ブルーテックニックス ゲーエムベーハー 少なくとも２つのＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔカメラによる記録方法
JP2016058995A (ja) * 2014-09-12 2016-04-21 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022504249A (ja) * 2018-10-04 2022-01-13 イーリス－ゲゼルシャフト ミット ベシュレンクテル ハフツング インフラレッド アンド インテリジェント センサーズ イメージングセンサ
JP7459074B2 (ja) 2018-10-04 2024-04-01 イーリス－ゲゼルシャフト ミット ベシュレンクテル ハフツング インフラレッド アンド インテリジェント センサーズ イメージングセンサ

Also Published As

Publication number Publication date
US20180131922A1 (en) 2018-05-10
DE102017009983A1 (de) 2018-05-09
CN108063937A (zh) 2018-05-22
US10313655B2 (en) 2019-06-04
DE102017009983B4 (de) 2020-03-12
CN108063937B (zh) 2019-12-24
JP6333921B2 (ja) 2018-05-30

Similar Documents

Publication Publication Date Title
JP6333921B2 (ja) 撮像装置及び撮像方法
US10972637B2 (en) Systems and methods for synchronizing sensor capture
US10838044B2 (en) Electromagnetic wave detection apparatus and information acquisition system
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
US10113868B2 (en) Multiple synchronized optical sources for time-of-flight range finding systems
WO2010098454A1 (ja) 距離測定装置
EP2594959A1 (en) System and method for multi TOF camera operation using phase hopping
US20010046317A1 (en) Three-dimensional measurement device and three-dimensional measurement method
EP1946376B1 (en) Apparatus for and method of measuring image
JP2016502657A (ja) 少なくとも２つのＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔカメラによる記録方法
US10416704B2 (en) Method and structure for determining global clock among systems
CN112261283B (zh) 一种高速相机的同步采集方法、装置及系统
JP2008102000A (ja) 強度変調光を用いた空間情報検出装置
JP3695188B2 (ja) 形状計測装置および形状計測方法
WO2016191097A1 (en) Reduction in camera to camera interference in depth measurements using spread spectrum
JP2006300616A (ja) 空間情報検出システム
CN104635207A (zh) 使用合成波激光测距的位置确定
JP2013113670A (ja) レーザレーダシステム、レーザ測距装置および制御装置
JP2019158525A (ja) 光学式安全センサ
JP2020051874A (ja) 表面測定装置及び表面測定方法
JP2023001122A (ja) 撮像装置
US11470261B2 (en) Three-dimensional distance measuring method and device
JP2003254858A (ja) 光パルス試験器
KR102490523B1 (ko) 다중 신호를 이용한 회전형 라이다와 카메라의 동기화 방법 및 그 장치
JP2015052585A (ja) 距離測定装置および距離測定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180425

R150 Certificate of patent or registration of utility model

Ref document number: 6333921

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150