JP2021025833A - 距離画像撮像装置、及び距離画像撮像方法 - Google Patents

距離画像撮像装置、及び距離画像撮像方法 Download PDF

Info

Publication number
JP2021025833A
JP2021025833A JP2019142536A JP2019142536A JP2021025833A JP 2021025833 A JP2021025833 A JP 2021025833A JP 2019142536 A JP2019142536 A JP 2019142536A JP 2019142536 A JP2019142536 A JP 2019142536A JP 2021025833 A JP2021025833 A JP 2021025833A
Authority
JP
Japan
Prior art keywords
distance
charge
light
charge storage
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019142536A
Other languages
English (en)
Other versions
JP7463671B2 (ja
Inventor
知行 赤堀
Tomoyuki Akahori
知行 赤堀
優 大久保
Masaru Okubo
優 大久保
邦広 畠山
Kunihiro Hatakeyama
邦広 畠山
高橋 聡
Satoshi Takahashi
聡 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Brookman Technology Inc
Original Assignee
Toppan Printing Co Ltd
Brookman Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd, Brookman Technology Inc filed Critical Toppan Printing Co Ltd
Priority to JP2019142536A priority Critical patent/JP7463671B2/ja
Priority to CN202080054290.1A priority patent/CN114175618B/zh
Priority to PCT/JP2020/029199 priority patent/WO2021020496A1/ja
Priority to EP20847013.8A priority patent/EP4009073A4/en
Priority to TW109125942A priority patent/TWI780462B/zh
Publication of JP2021025833A publication Critical patent/JP2021025833A/ja
Priority to US17/586,447 priority patent/US11982750B2/en
Application granted granted Critical
Publication of JP7463671B2 publication Critical patent/JP7463671B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】装置内の光学的な構成を変えることなく、また、データベースを用いることなく、フレア現象による影響を抑制することができる距離画像撮像装置、及び距離画像撮像方法を提供する。【解決手段】測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、を備え、前記距離画像処理部は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、前記蓄積タイミングを制御するタイミング制御部を有する。【選択図】図1

Description

本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定する、タイム・オブ・フライト(Time of Flight、以下「TOF」という)方式の距離画像撮像装置がある。距離画像撮像装置では、撮像装置と同様に、距離を測定するための光を検出する画素が二次元の行列状に複数配置され、被写体との間の2次元の距離の情報や、被写体の画像を取得(撮像)することができる。
このような距離画像撮像装置を用いて、遠距離にある物体までの距離を精度良く測定しようとする場合、振り分け回数(露光量)を増やす方法がある。しかし、遠距離にある物体とは別に、近距離にも別の物体が存在する場合がある。このような状況において、遠距離、及び近距離にある両方の物体に、同時に光を照射させると、近距離にある物体からの反射光が、遠距離にある物体からの反射光よりも大きな強度で受光される。このような大きな強度の反射光が受光されると、距離画像撮像装置内のレンズなどの光学系において、フレア現象と称される多重反射が発生する。このフレア現象が、遠距離にある物体の距離を測定するための光を検出する画素の受光量に影響を与え、測定する距離に誤差が生じる要因となっていた。
この対策として、距離画像撮像装置内の光学設計と光学素材、測定環境を作り込むことにより、フレア現象を低減させ、或いは回避することが可能である。しかし、その一方で、レンズに特殊な加工が必要となり、コストが上昇したり、測定環境が制限されたりする問題があった。
別の対策として、画素の受光量から、フレア現象による受光成分を除去する処理を行うことが考えられる。特許文献1では、基準電荷量比のデータベースを用いて、フレア現象による受光成分を取り除く技術が開示されている。基準電荷量比は、フレアが発生していない場合の理想的な環境で対象物を測定して得た、距離毎の電荷量の比である。
特許第6298236号公報
しかしながら、特許文献1の技術では、基準電荷量比のデータベースを作成する必要がある。フレア現象による受光成分を精度よく除去するためには、フレアが発生しない理想的な環境を構築した上で、細かく距離を刻んでサンプリングした詳細なデータベースを作成しなければならない。このため、データベースを作成する手間がかかるという問題があった。
本発明は、上記の課題に基づいてなされたものであり、装置内の光学的な構成を変えることなく、また、理想的な環境での距離と電荷量の比との関係を示すデータベースを作成することなく、フレア現象による影響を抑制することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的としている。
本発明の距離画像撮像装置は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、を備え、前記距離画像処理部は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、前記蓄積タイミングを制御するタイミング制御部を有する。
本発明の距離画像撮像装置では、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、前記タイミング制御部は、前記測定モードが遠距離モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、少なくともフレア光受光期間を、前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、前記非蓄積期間の経過後、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、前記フレア光受光期間と前記反射光受光期間とは、互いに重複しない期間である。
本発明の距離画像撮像装置では、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、前記タイミング制御部は、前記測定モードが中距離モードである場合、フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第1電荷蓄積部、及び第2電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、前記フレア光受光期間と前記反射光受光期間とは、少なくとも一部が互いに重複する期間であり、前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記電荷量からフレア光に起因するフレア光成分を抽出し、抽出したフレア光成分を前記電荷量から除いた値に基づいて、前記被写体までの距離を測定する。
本発明の距離画像撮像装置では、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、前記タイミング制御部は、前記測定モードとして、前記中距離モード、及び中距離外光モードにて測定を行い、前記測定モードが中距離外光モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、フレア光に起因するフレア光成分を抽出し、前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、外光に起因する外光成分を抽出し、抽出した前記フレア光成分、及び前記外光成分を用いて、前記被写体までの距離を測定する。
本発明の距離画像撮像装置では、前記タイミング制御部は、前記測定モードが前記中距離外光モードである場合、前記光パルスが前記オフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、フレア光受光期間を前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量と、前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量とを合成することにより、前記測定空間に存在する被写体までの距離を測定する。
本発明の距離画像撮像装置では、前記距離画像処理部は、前記中距離モードにおいて、前記第1電荷蓄積部に蓄積された電荷量を定数倍した値を、前記第2電荷蓄積部に蓄積された電荷量に含まれる、フレア光に起因するフレア光成分として抽出する。
本発明の距離画像撮像装置では、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部からなり、前記タイミング制御部は、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第3電荷蓄積部、及び第4電荷蓄積部に振り分けて蓄積させ、前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間である。
本発明の距離画像撮像装置では、測定を制御する測定制御部を更に備え、前記測定制御部は、前記測定モードを第1通常モードとして前記被写体までの距離を測定させ、前記第1通常モードにおいて、電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記被写体よりも近距離にある近距離物体が、前記測定空間に存在するか否かを判定し、前記近距離物体が前記測定空間に存在する場合、前記測定モードを変更して、再度の測定を行い、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、前記タイミング制御部は、前記測定モードが前記第1通常モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、前記光パルスが照射されるオン状態となった後の所定の反射光受光期間に、前記第2電荷蓄積部、及び第3電荷蓄積部に、順に前記電荷を蓄積させる蓄積周期を、所定の積算回数繰り返す。
本発明の距離画像撮像装置では、前記測定制御部は、前記第1通常モードにおいて、前記第2電荷蓄積部に蓄積された電荷量が所定の閾値以上である場合、前記近距離物体が、前記測定空間に存在すると判定する。
本発明の距離画像撮像方法は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、前記蓄積タイミングを制御するタイミング制御部と、を備える距離画像撮像装置による距離画像撮像方法であって、前記タイミング制御部が、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて前記蓄積タイミングを制御する工程、を有する。
本発明によれば、装置内の光学的な構成を変えることなく、また、データベースを用いることなく、フレア現象による影響を抑制することができる。
第1の実施形態の距離画像撮像装置1の概略構成を示したブロック図である。 第1の実施形態の距離画像撮像装置1に用いられる撮像素子の概略構成を示したブロック図である。 第1の実施形態の距離画像撮像装置1に用いられる撮像素子の受光領域に配置された画素321の構成の一例を示した回路図である。 第1の実施形態の遠距離モードにおける画素321を駆動するタイミングを示すタイミングチャートである。 第1の実施形態の中距離モードにおける画素321を駆動するタイミングを示すタイミングチャートである。 第1の実施形態の中距離モードにおける画素321を駆動するタイミングを示すタイミングチャートである。 第1の実施形態の中距離外光モードにおける画素321を駆動するタイミングを示すタイミングチャートである。 第1の実施形態の中距離モードと中距離外光モードのフレーム合成を説明する図である。 第1の実施形態の中距離モードの変形例を説明する図である。 第1の実施形態の中距離モードの変形例を説明する図である。 第1の実施形態の中距離モードにおける効果を説明する図である。 第1の実施形態の中距離モードにおける効果を説明する図である。 第1の実施形態の中距離モードにおける効果を説明する図である。 第1の実施形態の中距離モードにおける効果を説明する図である。 第1の実施形態の中距離モードにおける効果を説明する図である。 第1の実施形態の中距離モードにおける効果を説明する図である。 第1の実施形態の距離画像撮像装置1における処理の流れを示すフローチャートである。 第2の実施形態の距離画像撮像装置1における画素321を駆動するタイミングを示すタイミングチャートである。 従来の測定における画素を駆動するタイミングを示すタイミングチャートである。 実施形態におけるフレア光の概念を説明する図である。 従来の測定においてフレア光が受光された場合の精度の劣化を説明する図である。
以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。
<第1の実施形態>
まず、第1の実施形態について説明する。
図1は、本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図1に示した構成の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備える。なお、図1には、距離画像撮像装置1において距離を測定する対象物である被写体Sも併せて示している。
光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体Sが存在する撮影対象の空間に光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。光源部2は、光源装置21と、拡散板22とを備える。
光源装置21は、被写体Sに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm〜940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光を発光する。
拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体Sに照射する面の広さに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして出射され、被写体Sに照射される。
受光部3は、距離画像撮像装置1において距離を測定する対象の被写体Sによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。受光部3は、レンズ31と、距離画像センサ32とを備える。
レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素に受光(入射)させる。
距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域に複数の画素を備える。距離画像センサ32のそれぞれの画素の中に、1つの光電変換素子と、この1つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
距離画像センサ32は、タイミング制御部41からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ32は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ32には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する1フレーム分の画素信号を出力する。
距離画像処理部4は、距離画像撮像装置1を制御し、被写体Sまでの距離を演算する。距離画像処理部4は、タイミング制御部41と、距離演算部42と、測定制御部43とを備える。
タイミング制御部41は、測定制御部43の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスPOの照射を制御する信号や、反射光RLを複数の電荷蓄積部に振り分ける信号、1フレームあたりの振り分け回数を制御する信号などである。振り分け回数とは、電荷蓄積部CS(図3参照)に電荷を振り分ける処理を繰返す回数である。
距離演算部42は、距離画像センサ32から出力された画素信号に基づいて、被写体Sまでの距離を演算した距離情報を出力する。距離演算部42は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスPOを照射してから反射光RLを受光するまでの遅延時間Td(図12A参照)を算出する。距離演算部42は、算出した遅延時間Tdに応じて被写体Sまでの距離を演算する。
測定制御部43は、測定環境に応じて、複数の測定モードから1つの測定モードを選択する。測定モードは、測定する環境毎に設けられ、光パルスPOを照射するタイミングと、反射光RLを複数の電荷蓄積部に振り分けるタイミングとが互いに異なる関係で規定される。測定する環境は、測定の対象とする距離の範囲、及び測定の精度が劣化する要因となるフレア光を考慮するか否か等に応じて区分される。測定モードの詳細については、後で詳しく説明する。
このような構成によって、距離画像撮像装置1では、光源部2が被写体Sに照射した近赤外の波長帯域の光パルスPOが被写体Sによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体Sとの距離を測定した距離情報を出力する。
なお、図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
次に、距離画像撮像装置1において撮像素子として用いられる距離画像センサ32の構成について説明する。図2は、本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。
図2に示すように、距離画像センサ32は、例えば、複数の画素321が配置された受光領域320と、制御回路322と、振り分け動作を有した垂直走査回路323と、水平走査回路324と、画素信号処理回路325とを備える。
受光領域320は、複数の画素321が配置された領域であって、図2では、8行8列に二次元の行列状に配置された例を示している。画素321は、受光した光量に相当する電荷を蓄積する。制御回路322は、距離画像センサ32を統括的に制御する。制御回路322は、例えば、距離画像処理部4のタイミング制御部41からの指示に応じて、距離画像センサ32の構成要素の動作を制御する。なお、距離画像センサ32に備えた構成要素の制御は、タイミング制御部41が直接行う構成であってもよく、この場合、制御回路322を省略することも可能である。
垂直走査回路323は、制御回路322からの制御に応じて、受光領域320に配置された画素321を行ごとに制御する回路である。垂直走査回路323は、画素321の電荷蓄積部CSそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路325に出力させる。この場合、垂直走査回路323は、光電変換素子により変換された電荷を画素321の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路323は、「画素駆動回路」の一例である。
画素信号処理回路325は、制御回路322からの制御に応じて、それぞれの列の画素321から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理(例えば、ノイズ抑圧処理やA/D変換処理など)を行う回路である。
水平走査回路324は、制御回路322からの制御に応じて、画素信号処理回路325から出力される信号を、水平信号線に順次出力させる回路である。これにより、1フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部4に順次出力される。
以下の説明においては、画素信号処理回路325がA/D変換処理を行い、画素信号がデジタル信号であるものとして説明する。
ここで、距離画像センサ32に備える受光領域320内に配置された画素321の構成について説明する。図3は、本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光領域320内に配置された画素321の構成の一例を示した回路図である。図3には、受光領域320内に配置された複数の画素321のうち、1つの画素321の構成の一例を示している。画素321は、3つの画素信号読み出し部を備えた構成の一例である。
画素321は、1つの光電変換素子PDと、ドレインゲートトランジスタGDと、対応する出力端子Oから電圧信号を出力する3つの画素信号読み出し部RUとを備える。画素信号読み出し部RUのそれぞれは、読み出しゲートトランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットゲートトランジスタRTと、ソースフォロアゲートトランジスタSFと、選択ゲートトランジスタSLとを備える。それぞれの画素信号読み出し部RUでは、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSが構成されている。
なお、図3においては、3つの画素信号読み出し部RUの符号「RU」の後に、「1」、「2」または「3」の数字を付与することによって、それぞれの画素信号読み出し部RUを区別する。また、同様に、3つの画素信号読み出し部RUに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部RUを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部RUを区別して表す。
図3に示した画素321において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、読み出しゲートトランジスタG1と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットゲートトランジスタRT1と、ソースフォロアゲートトランジスタSF1と、選択ゲートトランジスタSL1とを備える。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2および画素信号読み出し部RU3も同様の構成である。電荷蓄積部CS1は「第1電荷蓄積部」の一例である。電荷蓄積部CS2は「第2電荷蓄積部」の一例である。電荷蓄積部CS3は「第3電荷蓄積部」の一例である。
光電変換素子PDは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子PDの構造は任意であってよい。光電変換素子PDは、例えば、P型半導体とN型半導体とを接合した構造のPNフォトダイオードであってもよいし、P型半導体とN型半導体との間にI型半導体を挟んだ構造のPINフォトダイオードであってもよい。また、光電変換素子PDは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
画素321では、光電変換素子PDが入射した光を光電変換して発生させた電荷を3つの電荷蓄積部CSのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路325に出力する。
距離画像センサ32に配置される画素の構成は、図3に示したような、3つの画素信号読み出し部RUを備えた構成に限定されるものではなく、複数の画素信号読み出し部RUを備えた構成の画素であればよい。つまり、距離画像センサ32に配置される画素に備える画素信号読み出し部RU(電荷蓄積部CS)の数は、2つであってもよいし、4つ以上であってもよい。
また、図3に示した構成の画素321では、電荷蓄積部CSを、フローティングディフュージョンFDと電荷蓄積容量Cとによって構成する一例を示した。しかし、電荷蓄積部CSは、少なくともフローティングディフュージョンFDによって構成されればよく、画素321が電荷蓄積容量Cを備えない構成であってもよい。
また、図3に示した構成の画素321では、ドレインゲートトランジスタGDを備える構成の一例を示したが、光電変換素子PDに蓄積されている(残っている)電荷を破棄する必要がない場合には、ドレインゲートトランジスタGDを備えない構成であってもよい。
次に、距離画像撮像装置1における画素321の駆動(制御)方法について図12Aを用いて説明する。図12Aは、従来の距離画像撮像装置における画素を駆動する駆動信号のタイミングを示したタイミングチャートである。
図12Aでは、光パルスPOを照射するタイミングを「Light」、反射光が受光されるタイミングを「REFRECTION」、駆動信号TX1のタイミングを「G1」、駆動信号TX2のタイミングを「G2」、駆動信号TX3のタイミングを「G3」、駆動信号RSTDのタイミングを「GD」、の項目名でそれぞれ示している。また、距離画像撮像装置における一連の受光動作タイミングを「Camera」の項目名で示している。「Camera」では、読み出しゲートトランジスタG1、G2、G3、及びドレインゲートトランジスタGDがオン状態となるタイミングを、それぞれ、「G1」、「G2」、「G3」、及び「GD」で示している。なお、駆動信号TX1は、読み出しゲートトランジスタG1を駆動させる信号である。駆動信号TX2、TX3についても同様である。
図12Aに示すように、光パルスPOが照射時間Toで照射され、遅延時間Td遅れて反射光RLが距離画像センサ32に受光されるとする。垂直走査回路323は、光パルスPOの照射に同期させて、電荷蓄積部CS1、CS2、及びCS3の順に、電荷を蓄積させる。
まず、垂直走査回路323は、読み出しゲートトランジスタG1をオン状態にする。これにより、光電変換素子PDにより光電変換された電荷が、読み出しゲートトランジスタG1を介して電荷蓄積部CS1に蓄積される。その後、垂直走査回路323は、読み出しゲートトランジスタG1をオフ状態にする。これにより、電荷蓄積部CS1への電荷の転送が停止される。このようにして、垂直走査回路323は、電荷蓄積部CS1に電荷を蓄積させる。
次に、垂直走査回路323は、電荷蓄積部CS1への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタG2をオン状態とし、電荷蓄積部CS2への電荷の蓄積を開始させる。以降の電荷蓄積部CS2に電荷を蓄積させる処理の流れは、電荷蓄積部CS1に電荷を蓄積させる処理の流れと同様であるため、その説明を省略する。
一方、光源部2は、読み出しゲートトランジスタG1がオフ状態となったタイミング、つまり読み出しゲートトランジスタG2がオン状態となったタイミングで、光パルスPOを照射する。光源部2が光パルスPOを照射する照射時間Toは、蓄積期間Taと同じ長さである。ここで、読み出しゲートトランジスタG1がオン状態となり、電荷蓄積部CS1に電荷が蓄積された期間(蓄積期間Ta)は、「外光蓄積期間」の一例である。
次に、垂直走査回路323は、電荷蓄積部CS2への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタG3をオン状態とし、電荷蓄積部CS3への電荷の蓄積を開始させる。以降の電荷蓄積部CS3に電荷を蓄積させる処理の流れは、電荷蓄積部CS1に電荷を蓄積させる処理の流れと同様であるため、その説明を省略する。
次に、垂直走査回路323は、電荷蓄積部CS3への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタGDをオン状態にし、電荷の排出を行う。これにより、光電変換素子PDにより光電変換された電荷がドレインゲートトランジスタGDを介して破棄される。
上述したような、垂直走査回路323による電荷蓄積部CSへ電荷の蓄積と光電変換素子PDが光電変換した電荷の破棄とが、1フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置1に受光された光量に相当する電荷が、電荷蓄積部CSのそれぞれに蓄積される。水平走査回路324は、電荷蓄積部CSのそれぞれに蓄積された、1フレーム分の電荷量に相当する電気信号を、距離演算部42に出力する。
光パルスPOを照射するタイミングと、電荷蓄積部CSのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1には、光パルスPOを照射する前の背景光などの外光成分に相当する電荷量が保持される。また、電荷蓄積部CS2、及びCS3には、反射光RL、及び外光成分に相当する電荷量が振り分けられて保持される。電荷蓄積部CS2、及びCS3に振り分けられる電荷量の配分(振り分け比率)は、光パルスPOが被写体Sに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdに応じた比率となる。
距離演算部42は、この原理を利用して、以下の(1)式により、遅延時間Tdを算出する。
Td=To×(Q3−Q1)/(Q2+Q3−2×Q1) …(1)
ここで、Toは光パルスPOが照射された期間、Q1は電荷蓄積部CS1に蓄積された電荷量、Q2は電荷蓄積部CS2に蓄積された電荷量、Q3は電荷蓄積部CS3に蓄積された電荷量、を示す。なお、(1)式では、電荷蓄積部CS2、及びCS3に蓄積される電荷量のうち、外光成分に相当する成分が、電荷蓄積部CS1に蓄積された電荷量と同量であることを前提とする。
距離演算部42は、(1)式で求めた遅延時間に、光速(速度)を乗算させることにより、被写体Sまでの往復の距離を算出する。そして、距離演算部42は、上記で算出した往復の距離を1/2とすることにより、被写体Sまでの距離を求める。
ここで、フレア光について図12B、図12Cを用いて説明する。
図12Bは、フレア光の概念を説明する図である。
図12Bに示すように、光パルスPOを照射し得る測定対象とする測定空間Eのうち、距離画像撮像装置1からの距離が比較的遠い位置にある(以下、遠距離にある、などと記載する)物体Bが被写体である場合を考える。
被写体までの距離が遠距離である場合、距離画像撮像装置1からの距離が比較的近い位置にある物体を測定する場合と比較して反射光RLの光量が低下する。反射光RLの光量が低下すると、測定する距離の精度が劣化する要因となる。このため、被写体までの距離が遠距離である場合には、振り分け回数を増やして露光量(距離画像センサ32が受光する光量)を増加させ、測定の精度を向上させることが考えられる。
しかしながら、図12Bの断面拡大図に示すように、受光された光の一部が、レンズ31を介して距離画像センサ32に到達する際に、距離画像撮像装置1内で多重反射する場合がある。この場合、物体からの反射光が本来の結像する位置とは異なる位置に光(フレア光)が受光されてしまう。このようなフレア光が、測定の精度を劣化させる要因となり得る。
特に、遠距離にある被写体(物体B)とは別に、距離画像撮像装置1との距離が比較的近い位置(以下、近距離などという)に別の物体Aがある場合、露光量を増やすと、物体Aからの反射光RLの光量が増大する。この場合、物体Aからの反射光RLに由来するフレア光の光量が大きくなり、測定の精度を大きく劣化させる要因となってしまう。
図12Cは、従来の測定においてフレア光が受光された場合を説明する図である。図12Cにおける「FLARE_A」は、物体A(近距離にある物体)からの反射光等に由来するフレア光を示す。「REFRECTION_B」は、物体B(遠距離にある被写体)からの反射光を示す。その他、「Light」等の項目は、図12Aと同様であるためその説明を省略する。
図12Cに示すように、光パルスPOが照射時間Toで照射され、遅延時間Tb遅れてフレア光が、遅延時間Td遅れて反射光RLが、それぞれ距離画像センサ32に受光されるとする。この場合、電荷蓄積部CS2、及びCS3には、反射光RL、及び外光成分に相当する電荷量に加え、フレア光に相当する電荷量が蓄積される。このような、フレア光が混在する電荷量に(1)式を適用させたとしても、精度よく距離を演算することは困難である。
この対策として、本実施形態では、複数の測定モードを規定する。測定モードのそれぞれは、光パルスPOの照射タイミングに対し、電荷を電荷蓄積部に振り分けるタイミングを互いに異なるタイミングとする。
例えば、測定モードは、測定対象とする距離の範囲に応じて規定される。測定対象とする距離の範囲とは、光パルスPOを照射してから反射光RLを受光するまでの遅延時間Tdに応じて演算される距離に応じて区分される。距離の範囲は、例えば、距離画像撮像装置1からの距離に応じて区分される、遠距離と中距離と近距離との3つの範囲である。例えば、光パルスPOの照射時間Toが10nsである場合、近距離は概ね0〜75cm、中距離は概ね75cm〜2.25m、遠距離は概ね2.25m以上となる範囲である。
また、測定モードは、フレア光に対する対策を講じるか否かに応じて規定される。被写体とは異なる物体が近距離に存在する場合、フレア光に対する対策を講じるものとする。一方、被写体とは異なる物体が近距離に存在しない場合、フレア光に対する対策を講じないものとする。
本実施形態では、測定モードとして、例えば、遠距離モード、中距離モード、中距離外光モード、通常モード1(第1通常モード)、通常モード2(第2通常モード)、をそれぞれ規定する。
遠距離モードは、近距離に被写体とは別の物体が存在し得る状況において、遠距離にある被写体までの距離を精度よく測定するモードである。すなわち、遠距離モードは、遠距離にある被写体に対し、フレア光に対する対策を講じて測定を行うモードである。
中距離モードは、近距離に被写体とは別の物体が存在し得る状況において、中距離にある被写体までの距離を精度よく測定するモードである。すなわち、中距離モードは、中距離にある被写体に対し、フレア光に対する対策を講じて測定を行うモードである。
中距離外光モードは、中距離モードにおいて測定を行う際の、外光に相当する電荷量を測定するモードである。中距離外光モードは、中距離モードで測定する際、外光を考慮する場合に用いられるモードである。
通常モード1は、近距離に被写体とは別の物体が存在しないと想定される状況において、遠距離にある被写体までの距離を測定するモードである。すなわち、通常モード1は、遠距離にある被写体に対し、フレア光に対する対策を講じないで測定を行うモードである。通常モード1は、従来の測定を行うモードである。
通常モード2は、近距離にある物体までの距離を測定するモードである。通常モード2は、従来の測定を行うモードであり、通常モード1よりも露光量を抑えた(すなわち、振り分け回数が少ない)モードである。
以下、遠距離モード、中距離モード、及び中距離外光モードについて順に説明する。
(遠距離モード)
まず、遠距離モードについて図4を用いて説明する。図4は、第1の実施形態の遠距離モードにおける画素321を駆動するタイミングを示すタイミングチャートである。図4における「Camera」の項目では、「G1」から「G2」に至る間において、ドレインゲートトランジスタGDがオン状態となるタイミングを「GD2」で示している。その他の「Light」等の項目については、図12Cと同様であるため、その説明を省略する。
図4の例に示すように、光パルスPOが照射時間Toで照射され、遅延時間Tb遅れてフレア光が、遅延時間Td遅れて反射光RLが、それぞれ距離画像センサ32に受光されるとする。
遠距離モードでは、被写体である物体Bとフレア光が生じる要因となる物体Aとで、距離画像撮像装置1からの距離が離れている状況を想定している。すなわち、遅延時間Tbと比較して、遅延時間Tdとが大きく、フレア光と反射光RLとが、同時に受光されることがないことを前提とする。遠距離モードでは、上記を前提とした上で、光パルスPOが照射されるタイミングと、電荷蓄積部CSに電荷を蓄積するタイミングとを調整することにより、フレア光に由来する電荷を蓄積しないようにする。
具体的に、まず、垂直走査回路323は、光パルスPOが照射されるタイミングに先んじて、蓄積期間Taの間、読み出しゲートトランジスタG1をオン状態にし、電荷蓄積部CS1に、外光に相当する電荷を蓄積させる。
次に、垂直走査回路323は、ドレインゲートトランジスタGDをオン状態にし、電荷の排出を行う。これにより、光電変換素子PDが光電変換した電荷が破棄(排出)されるようにして、この間に受光したフレア光が電荷蓄積部CSに蓄積されないようにする。
垂直走査回路323は、少なくともフレア光が受光される期間(フレア光受光期間)を、光電変換された電荷が破棄(排出)される期間、つまり電荷が蓄積されない「非蓄積期間」とする。
遠距離モードにおいて、「フレア光受光期間」と、「反射光受光期間」は、互いに重複しない期間である。
「フレア光受光期間」とは、光パルスPOの照射が開始された時間から遅延時間Tbだけ遅れた時間から始まり、光パルス照射時間To(照射期間)経過するまでの期間である。つまり、「フレア光受光期間」とは、光パルスPOの照射時間Toから遅延時間Tb、遅れた期間である。ここで、遅延時間Tbは「パルス光遅延時間」の一例である。
「反射光受光期間」は、光パルスPOの照射が開始された時間から遅延時間Tdだけ遅れた時間から始まり、光パルス照射時間To(照射期間)までの期間である。つまり、「反射光受光期間」は、光パルスPOの照射時間Toから遅延時間Td、遅れた期間である。ここで、遅延時間Tdは「反射光遅延時間」の一例である。
次に、垂直走査回路323は、ドレインゲートトランジスタGDをオフ状態に戻したタイミングで、読み出しゲートトランジスタG2、及びG3を、順に、蓄積期間Taの間、オン状態とし、反射光RLを電荷蓄積部CS2、CS3に振り分けて蓄積させる。これにより、電荷蓄積部CS1には外光に相当する電荷が蓄積され、電荷蓄積部CS2、CS3には反射光RLと外光に相当する電荷が蓄積される。したがって、遠距離モードにおいては、電荷蓄積部CS1〜CS3が蓄積した電荷量に相当する電気信号に(1)式を適用することで、フレア光に影響されることなく、距離を演算することができる。
図4の例では、垂直走査回路323は、読み出しゲートトランジスタG1をオフ状態とした時点から、光パルスPOの照射が開始された時点より期間TX経過するまでの間、ドレインゲートトランジスタGDをオン状態とする。期間TXは、照射時間Toと遅延時間Tbの合計の値以上、且つ遅延時間Td以下((To+Tb)≦TX≦Tdの期間である。
このように、遠距離モードでは、フレア光が受光される期間に電荷が蓄積されないように、且つ、反射光が受光される期間に電荷が蓄積されるように蓄積タイミングを制御する。これにより、近距離に被写体とは異なる別の物体Aが存在し得る状況であっても、遠距離にある物体Bまでの距離を精度よく測定することが可能となる。
(中距離モード)
次に、中距離モードについて図5A、及び図5Bを用いて説明する。図5A、図5Bは、第1の実施形態の中距離モードにおける画素321を駆動するタイミングを示すタイミングチャートである。図5A、図5Bにおける「Light」等の項目については、図12Cと同様であるため、その説明を省略する。
なお、中距離モードは、後述するように、外光のみに相当する電荷を蓄積させる電荷蓄積部CSを有していない。つまり、電荷蓄積部CSのそれぞれに蓄積された電荷量に含まれる外光成分を抽出し、外光成分を除去した上で距離を算出することができない。このため、外光成分が距離を演算した結果に与える影響が比較的小さい環境、例えば外光の光量が小さい環境において、中距離モード単独で測定を行うことが可能となる。外光の光量が大きく、外光成分を除去しなければ、距離の演算精度が劣化してしまう環境では、後述する中距離外光モードにて、或いは任意の方法にて外光を受光し、1フレーム分の外光に相当する電荷量を別途求めた上で距離を算出する必要がある。
図5Aの例に示すように、光パルスPOが照射時間Toで照射され、遅延時間Tb遅れてフレア光が、遅延時間Td遅れて反射光RLが、それぞれ距離画像センサ32に受光されるとする。
中距離モードでは、遠距離モードと比較して、被写体である物体Bと、フレア光が生じる要因となる物体Aとで、距離画像撮像装置1からの距離が近い状況を想定している。すなわち、遅延時間Tbと、遅延時間Tdとの差が、遠距離モードにおいて想定されている差と比較して小さい値であり、フレア光と反射光RLとが、同時に受光される期間が存在することを前提とする。中距離モードでは、上記を前提とした上で、光パルスPOが照射されるタイミングと、電荷蓄積部CSに電荷を蓄積するタイミングとを調整することにより、フレア光に由来する電荷量を抽出できるようにする。
垂直走査回路323は、フレア光に相当する電荷が、電荷蓄積部CS1、及びCS2に振り分けられて(跨って)蓄積されるようにする。また、垂直走査回路323は、反射光RLに相当する電荷が、電荷蓄積部CS2、及びCS3に振り分けられて蓄積されるようにする。つまり、垂直走査回路323は、「フレア光受光期間」に受光部3に入射された光量に相当する電荷を、電荷蓄積部CS1、及びCS2に振り分けて蓄積させる。また、垂直走査回路323は、「反射光受光期間」に受光部3に入射された光量に相当する電荷を、電荷蓄積部CS2、及びCS3に振り分けて蓄積させる。
中距離モードにおいて、「フレア光受光期間」と「反射光受光期間」とは、少なくとも一部が互いに重複する。
「フレア光受光期間」とは、光パルスPOの照射が開始された時間から遅延時間Tbだけ遅れた時間から始まり、光パルス照射時間To(照射期間)経過するまでの期間である。つまり、「フレア光受光期間」とは、光パルスPOの照射時間Toから遅延時間Tb、遅れた期間である。ここで、遅延時間Tbは「パルス光遅延時間」の一例である。
「反射光受光期間」は、光パルスPOの照射が開始された時間から遅延時間Tdだけ遅れた時間から始まり、光パルス照射時間To(照射期間)までの期間である。つまり、「反射光受光期間」は、光パルスPOの照射時間Toから遅延時間Td、遅れた期間である。ここで、遅延時間Tdは「反射光遅延時間」の一例である。
具体的に、垂直走査回路323は、まず、読み出しゲートトランジスタG1をオン状態にして、電荷蓄積部CS1への電荷の蓄積を行う。
光源部2は、読み出しゲートトランジスタG1がオン状態に変化した時点から、期間TY経過した時点で、光パルスPOの照射を開始する。光パルスPOの照射が開始された時点(照射開始時)から遅延時間Tb経過した時点で、フレア光が距離画像撮像装置1に到達し、フレア光が受光され始める。
垂直走査回路323は、光パルスPOの照射が開始された時点から期間TZ経過するまで、読み出しゲートトランジスタG1をオン状態にして、電荷蓄積部CS1への電荷の蓄積を行う。ここで、期間TYと期間TZを合計した値は、蓄積期間Taに相当する期間である。垂直走査回路323は、期間TZが、遅延時間Tb以上(TZ≧Tb)となるように調整する。これにより、電荷蓄積部CS1の蓄積期間Taに、フレア光の受光が開始される「フレア光受光開始時」を含めることができ、電荷蓄積部CS1にフレア光に相当する電荷を蓄積させることができる。
次に、垂直走査回路323は、電荷蓄積部CS1への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタG2、G3を、順に、蓄積期間Taの間、オン状態とし、電荷を電荷蓄積部CS2、CS3に蓄積させる。これにより、電荷蓄積部CS1、CS2にはフレア光と外光に相当する電荷が、振り分けられて蓄積される。また、電荷蓄積部CS2、CS3には反射光RLと外光に相当する電荷が振り分けられて蓄積される。
距離演算部42は、電荷蓄積部CS1に蓄積された、フレア光に相当する電荷量に基づいて、電荷蓄積部CS2に蓄積された電荷量のうち、フレア光に起因するフレア光成分を抽出する。距離演算部42は、以下の(2)式により、電荷蓄積部CS2に蓄積された電荷量のフレア光成分Q2fを算出する。
Q2f=K×Q1 …(2)
ここで、Q2fは電荷蓄積部CS2に蓄積された電荷量のうちフレア光成分に相当する電荷量、Q1は電荷蓄積部CS1に蓄積された電荷量、Kは定数、を示す。定数Kは、電荷蓄積部CS1の蓄積期間Taが終了したタイミングと、フレア光の受光が開始されたタイミングとの時期的な関係に応じて一意に決定される定数である。
ここで、定数Kを決定する方法について、図5Bを用いて説明する。図5Bでは、蓄積期間Ta、及び照射時間Toが、共に、13クロック(13ck)で構成されている場合の例が示されている。また、図5Bでは、中距離モードにおいて、読み出しゲートトランジスタG1がオン状態となった時点から、10クロック(10ck)後に光パルスPOの照射が開始される例を示している。
図5Bに示すように、光パルスPOの照射が開始された時点から1クロック(Tb;1ck)後にフレア光の受光が開始された場合、電荷蓄積部CS1には、13クロック分のフレア光のうち2クロック分の受光量に相当する電荷が蓄積される。また、電荷蓄積部CS2には、13クロック分のフレア光のうち11クロック分の受光量に相当する電荷が蓄積される。この場合、以下の(3)式が成立する。
Q2f=11/2×Q1f …(3)
ここで、Q2fは電荷蓄積部CS2に蓄積された電荷量に含まれるフレア光成分の電荷量、である。Q1fは、電荷蓄積部CS1に蓄積された電荷量に含まれるフレア光成分の電荷量、である。外光が所望の距離の演算結果に影響を与えないような環境(例えば、外光の光量が小さい環境)であれば、電荷量Q1fは、電荷蓄積部CS1に蓄積された電荷量、つまり(2)式の電荷量Q1であると見なすことが可能である。また、(3)式の「11/2」は、(2)式の定数Kに相当する。
このように、定数Kは、電荷蓄積部CS1の蓄積期間Taが終了するタイミングと、フレア光の受光が開始されるタイミングとの時間的な関係により決定される。フレア光の受光が開始されるタイミングは、近距離にあるフレア光が生じる要因となる物体A(近距離物体)までの距離に応じて決まる。つまり、定数Kは、近距離物体までの距離に応じて決定される定数である。
距離画像撮像装置1は、近距離物体までの距離を、例えば、通常モード2にて測定する。この場合、距離画像撮像装置1は、中距離モードによる測定の前又は後に、通常モード2にて近距離物体までの距離を測定する。また、この場合、距離画像撮像装置1は、予め、近距離物体までの距離と定数Kとを対応づけたテーブルを記憶しておく。
そして、距離演算部42は、通常モード2にて測定した近距離物体までの距離に基づいてテーブルを参照し、測定した近距離物体までの距離に対応する定数Kを取得する。距離演算部42は、取得した定数K、及び中距離モードで取得した電荷蓄積部CS1、CS2の電荷量を(2)式に適用させる。これにより、距離演算部42は、電荷蓄積部CS2が蓄積した電荷量に含まれるフレア光成分を抽出することができる。
距離演算部42は、抽出したフレア光成分を、電荷蓄積部CS2が蓄積した電荷量から差し引くことにより、電荷蓄積部CS2が蓄積した反射光RLに相当する電荷量を算出する。距離演算部42は、算出した電荷量を(1)式の電荷量Q2に適用することにより遅延時間Tdを算出し、算出した遅延時間Tdを用いて物体Bまでの距離を演算することが可能である。このとき、外光に相当する電荷量((1)式の電荷量Q1に相当する電荷量)は0(ゼロ)である。このようにして求めた物体Bまでの距離には、フレア光成分の影響が除去されているため、フレア光に由来する距離の精度劣化を抑制することが可能である。なお、上述したように、外光の光量が大きい環境では外光に相当する電荷量を除外して距離の演算を行う必要があるため、後述する中距離外光モードにて、或いは任意の方法にて外光を受光し、1フレーム分の外光に相当する電荷量を別途求める必要がある。
(中距離外光モード)
次に、中距離外光モードについて、図6を用いて説明する。図6は、第1の実施形態の中距離モードにおける画素321を駆動するタイミングを示すタイミングチャートである。図6における「Light」等の項目については、図12Cと同様であるため、その説明を省略する。また、図6における光パルスPOの照射、フレア光、及び反射光RLの受光のそれぞれのタイミング関係は、図5Aと同様であるため、その説明を省略する。
中距離外光モードでは、電荷蓄積部CS1をオン状態とするタイミングを、蓄積期間Ta早める点において中距離モードと相違する。一方、中距離外光モードでは、光パルスPOを照射するタイミング、及び電荷蓄積部CS2、CS3をオン状態とするタイミングを、中距離モードと同じタイミングとする。
電荷蓄積部CS1をオン状態とするタイミングを蓄積期間Ta早めることにより、中距離外光モードでは、電荷蓄積部CS1に外光に相当する電荷量を蓄積させる。また、光パルスPOを照射するタイミング、及び電荷蓄積部CS2、CS3をオン状態とするタイミングを、中距離モードと同じタイミングとすることにより、中距離モードと同様の振り分け比率にて、電荷蓄積部CS2にフレア光と反射光RLに相当する電荷を蓄積させると共に、電荷蓄積部CS3に反射光RLに相当する電荷を蓄積させる。
(中距離モードによる距離算出方法)
ここで、中距離モード、及び中距離外光モードの測定結果を用いて、中距離にある被写体としての物体Bまでの距離を算出する方法について、図7を用いて説明する。図7は、第1の実施形態の距離画像撮像装置1が、中距離モード、及び中距離外光モードの測定結果を用いて距離を算出する処理を説明する図である。
図7に示すように、距離画像撮像装置1は、中距離モードによる1フレーム分の測定(処理F1)、及び中距離外光モードによる1フレーム分の測定(処理F2)を交互に繰り返す。
距離画像撮像装置1は、処理F1による処理結果のうち少なくとも電荷量Q1gfをフレームメモリに記憶させ、中距離モードによる測定結果を一時的に保持する(処理F4)。処理F1による処理結果には、1フレーム分の振り分け比率に応じたフレア光と外光に相当する電荷量Q1gf、1フレーム分の振り分け比率に応じたフレア光及び反射光RLと外光に相当する電荷量Q2grf、及び1フレーム分の振り分け比率に応じた反射光RLと外光に相当する電荷量Q3grを含む。
距離画像撮像装置1は、処理F2による処理結果のうち少なくとも電荷量Q1gをフレームメモリに記憶させ、中距離外光モードによる測定結果を一時的に保持する(処理F3)。処理F2による処理結果には、1フレーム分の外光に相当する電荷量Q1g、1フレーム分の振り分け比率に応じたフレア光及び反射光RLと外光に相当する電荷量Q2grf、及び1フレーム分の振り分け比率に応じた反射光RLと外光に相当する電荷量Q3grを含む。
距離画像撮像装置1は、処理F3による処理結果と、処理F1による処理結果とを用いて、中距離モードと中距離外光モードとの二つの測定結果を合成する(処理F5)。
フレームメモリに、処理F3による処理結果のうち、中距離外光モードの電荷量Q1gのみが記憶されている場合、当該電荷量Q1gと、処理F1による処理結果としての中距離モードの電荷量Q1gf、電荷量Q2grf、及び、電荷量Q3grを用いて合成を行う。
フレームメモリに、中距離外光モードの電荷量Q1g、電荷量Q2grf、及び、電荷量Q3grが記憶されている場合には、当該電荷量Q1g、Q2grf、Q3gr、及び、中距離モードの電荷量Q1gfを用いて合成を行う。
或いは、フレームメモリに、中距離外光モードの電荷量Q1g、電荷量Q2grf、及び、電荷量Q3grが記憶されている場合において、中距離モードの電荷量Q1gf、電荷Q2grf、及び、電荷量Q3grを用いて合成を行うようにしてもよい。この場合、処理F5による合成結果には、中距離外光モードによる1フレーム分の外光に相当する電荷量Q1g、中距離モードによる1フレーム分の振り分け比率に応じたフレア光と外光に相当する電荷量Q1gf、中距離モードと中距離外光モードによる2フレーム分の振り分け比率に応じたフレア光及び反射光RLと外光に相当する電荷量を合成(例えば、平均)した値、及び、中距離モードと中距離外光モード2フレーム分の振り分け比率に応じた反射光RLと外光に相当する電荷量を合成(例えば、平均)した値が含まれる。
距離画像撮像装置1は、処理F4による処理結果と、処理F2による処理結果とを用いて、中距離モードと中距離外光モードとの二つの測定結果を合成する(処理F6)。処理F6による合成結果には、処理F5による合成結果と同様の結果が含まれる。
距離画像撮像装置1は、処理F5(又は処理F6)により算出した合成結果を、以下の(4)式を適用することにより、光パルスPOが物体Bに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdを算出する。
Td=To×Q3r/(Q2r+Q3r) …(4)
ここで、Toは光パルスPOが照射された期間、Q3rは、電荷蓄積部CS3に蓄積された電荷量Q3のうちの反射光成分であり、Q2rは、電荷蓄積部CS2に蓄積された電荷量Q2のうちの反射光成分を示す。
電荷量Q3rは、電荷蓄積部CS3に蓄積された電荷量Q3のうちの外光成分の電荷量をQ3gとすると、以下の(5)式により示される。
Q3r=Q3−Q3g …(5)
電荷量Q2rは、電荷蓄積部CS2に蓄積された電荷量Q2のうちの外光成分の電荷量をQ2g、フレア光成分をQ2fとすると、以下の(6)式により示される。
Q2r=Q2−Q2g−Q2f …(6)
電荷量Q2g、及び電荷量Q3gは、中距離外光モードにて電荷蓄積部CS1に蓄積された電荷量と同量である。また、電荷量Q2fは、中距離モードにて抽出された電荷蓄積部CS1に蓄積された電荷量のうちのフレア光成分の定数K倍である。
(中距離外光モードの変形例)
ここで、中距離外光モードの変形例について説明する。本変形例では、図12Aに示すような従来の測定タイミングにて、光パルスPOを照射させずに測定を行う。これにより、電荷蓄積部CS1〜CS3のそれぞれに、外光の光量に相当する1フレーム分の電荷を蓄積させることができる。室内など、屋外と比較して外光の光量の変化が少ない環境で測定を行う場合に、本変形例による測定が行われることが望ましい。また、本変形例による測定を定期的に繰り返し行い、外光の光量が更新されることが望ましい。
(定数Kの算出方法の変形例)
ここで、定数Kの算出方法の変形例について、図8A、及び図8B(以下図8A等という)を用いて説明する。本変形例では、予め測定した結果を用いて、定数Kを算出する。
図8A等は、定数Kの算出方法の変形例について説明する図である。図8A等には、画素ごとの測定結果(距離)をヒストグラムにて示している。図8A等の横軸は距離(Distance[m])、縦軸は画素の数(Count)を示している。図8A等では、物体Bを壁とし、壁までの距離を測定している。
図8A等には、物体B(Wallと記載)までの距離を、近距離物体A(Objectと記載)が測定領域に存在する場合(Wall+Object)と、存在しない場合(Wall)との両方で測定した結果が示されている。図8Aにはフレア光を除去する前(補正なし)の測定結果、図8Bにはフレア光を除去した後(フレア補正)の測定結果がそれぞれ示されている。
図8Aに示すように、物体Bのみ(Wall)の測定では、距離1.2m付近に、ヒストグラムのピークが現れる。すなわち、物体Bまでの距離は、1.2m付近である。
一方、物体Bと近距離物体(Wall+Object)の測定では、近距離物体までの距離(0.3m〜0.4m)を示すピークと、距離1.0m付近のピークが現れる。距離1.0m付近のピークは、物体Bの反射光に近距離物体Aに由来するフレア光が混じることで、物体Bまでの距離が実際の距離よりも短く計測されてしまうことを示している。
図8Bでは、図8Aの1.0m付近のピークが、1.2m付近にシフトするような、定数Kを探索し、探索した定数Kを用いてフレア光成分を除去した後、距離を演算した結果を示している。このように統計的な手法を用いて定数Kを算出することにより、より精度よく距離を演算することが可能となる。
ここで、本変形例による効果を、図9A〜図9Fを用いて説明する。図9A〜図9Fは、中距離モードによる測定の効果を説明する図である。
図9A、図9Bには、物体Bのみを撮影した距離画像と、物体Bと近距離物体とを撮影した距離画像とを用いて、画素ごとの距離の差分を画素値とした画像(差分画像)が示されている。図9Aはフレア光成分を除去する前(補正なし)、図9Bはフレア光成分を除去した後(フレア補正)の差分画像である。図9A、図9Bの横軸は水平方向の画素(Pixel(H))、縦軸は垂直方向の画素(Pixel(V))、差分画像の右側には差分値の指標がグレースケールで示され、グレーが明るくなるにしたがい、差分が大きくなることを示している。
なお、符号D1、D2については、後述する図で説明する。
図9Aに示すように、補正を行わない場合、物体B(壁)全体が明るいグレーとなり、距離に差分があることが示されている。特に、近距離物体の周辺(近距離物体の左右方向、及び下側)の領域において、より明るいグレーとなっており、この領域における距離の差分が大きく算出されている。一方、図9Bに示すように、フレア補正を行った場合、物体B(壁)全体が暗いグレーとなり、距離の差分が全体的にゼロに近づいている。
図9C、図9Dには、図9A、図9Bの垂直方向断面(符号D1)の画素と距離との関係を示している。図9Cはフレア光成分を除去する前(補正なし)、図9Dはフレア光成分を除去した後(フレア補正)の距離画像を用いた結果を示している。図9C、図9Dの横軸は画素(Pixel)、縦軸は距離(Distance[m])を示している。
図9Cに示すように、補正を行わない場合、近距離物体Aがない場合(点線)と、近距離物体Aがある場合(実線)とで30cm〜40cmの差分が発生している。一方、図9Dに示すように、フレア補正を行った場合、近距離物体Aがない場合(点線)と、近距離物体Aがある場合(実線)とが近距離物体が存在しない領域においてほとんど重なり、差分が低減されている。
図9E、図9Fには、図9A、図9Bの垂直方向断面(符号D2)の画素と距離との関係を示している。図9Eはフレア光成分を除去する前(補正なし)、図9Fはフレア光成分を除去した後(フレア補正)の距離画像を用いた結果を示している。図9E、図9Fの横軸は画素(Pixel)、縦軸は距離(Distance[m])を示している。
図9Eに示すように、補正を行わない場合、近距離物体Aがない場合(点線)と、近距離物体Aがある場合(実線)とで30cm〜40cmの差分が発生し、特に、近距離物体Aの位置(60Pixel近傍)に近づくにつれ、差分が大きくなっている。一方、図9Fに示すように、フレア補正を行った場合、近距離物体Aがない場合(点線)と、近距離物体Aがある場合(実線)とがほとんど重なり、近距離物体Aに近い領域であっても差分大きくなることがない。
ここで、第1の実施形態の距離画像撮像装置1における処理の流れを、図10を用いて説明する。
ステップS100:
距離画像撮像装置1は、まず、通常モード1にて測定を行う。距離画像撮像装置1は、測定結果(被写体である物体Bまでの距離DB、及び電荷蓄積部CSに蓄積された電荷量など)を記憶する。
ステップS101:
距離画像撮像装置1は、通常モード1の測定結果から、電荷蓄積部CS2に蓄積された電荷量Q2にフレア光成分が有るか否かを判定する。距離画像撮像装置1は、電荷量Q2(例えば、全画素における電荷量Q2の平均値)が予め定めた所定の閾値以上である場合、電荷量Q2にフレア光成分が有ると判定する。距離画像撮像装置1は、電荷量Q2にフレア光成分が有ると判定した場合、ステップS102の処理を行う。一方、距離画像撮像装置1は、電荷量Q2にフレア光成分がないと判定した場合、ステップS100に戻り、通常モード1による測定を継続する。
ステップS102:
距離画像撮像装置1は、通常モード2にて測定を行う。通常モード2では、通常モード1と比較して振り分け回数を減らし、露光量を抑えているため遠距離の被写体の距離は測定されず(測定することができず)、近距離物体Aまでの距離のみが測定される。距離画像撮像装置1は、測定結果(近距離物体Aまでの距離DAなど)を記憶させる。
ステップS103:
距離画像撮像装置1は、フレア光成分を除去するための再度の測定を、遠距離モードにて行うか、中距離モードにて行うか判定する。距離画像撮像装置1は、距離DAと距離DBとの距離の差分(絶対値)が、所定の閾値以上である場合、再度の測定を遠距離モードとする。一方、距離画像撮像装置1は、距離DAと距離DBとの距離の差分(絶対値)が、所定の閾値未満である場合、再度の測定を中距離モードとする。距離画像撮像装置1は、再度の測定を遠距離モードとする場合、ステップS104に示す処理を行う。距離画像撮像装置1は、再度の測定を中距離モードとする場合、ステップS106に示す処理を行う。
ステップS104:
距離画像撮像装置1は、遠距離モードにて測定を行う。遠距離モードでの測定は、例えば、通常モード1の振り分け回数と同じ振り分け回数にて行う。
ステップS105:
距離画像撮像装置1は、遠距離モードを所定のフレーム数(例えば、30フレーム分)繰り返した後、近距離物体Aが存在し続けているか否か判定する。これは、近距離物体Aが移動体である場合など、近距離物体Aと被写体との関係が変化した場合に、遠距離モードから、通常モード1に戻すものである。距離画像撮像装置1は、通常モード1の測定結果から、電荷蓄積部CS2に蓄積された電荷量Q2にフレア光成分が有るか否かを判定する。フレア光成分が有るか否かの判定は、ステップS101に示す処理と同様の方法であってよい。距離画像撮像装置1は、電荷量Q2にフレア光成分が有ると判定した場合、ステップS104の処理に戻り、遠距離モードによる測定を継続する。一方、距離画像撮像装置1は、電荷量Q2にフレア光成分がないと判定した場合、ステップS100に戻り、通常モード1による測定に回帰する。
ステップS106:
距離画像撮像装置1は、中距離モードにて測定を行う。中距離モードでの測定は、例えば、通常モード1の振り分け回数と同じ振り分け回数にて行う。距離画像撮像装置1は、電荷蓄積部CS1〜CS3に蓄積された電荷量を記憶し、ステップS107に示す処理を行う。
ステップS107:
距離画像撮像装置1は、中距離モードの測定結果から、電荷蓄積部CS2に蓄積された電荷量Q2にフレア光成分が有るか否かを判定する。これは、ステップS101にてフレア光成分が有ると判定された場合であっても、近距離物体Aが移動体であり、一時的に測定領域を横切った場合など、中距離モードで再度の測定を行った際にフレア光成分がなくなっていた場合に対応するものである。電荷量Q2にフレア光成分が有るか否かを判定する方法は、ステップS101と同様である。距離画像撮像装置1は、電荷量Q2にフレア光成分が有ると判定した場合、ステップS107の処理を行う。一方、距離画像撮像装置1は、電荷量Q2にフレア光成分がないと判定した場合、ステップS108の処理を行う。
ステップS108:
距離画像撮像装置1は、中距離モードの測定結果(電荷蓄積部CS1〜CS3に蓄積された電荷量)を用いて、電荷量Q2に含まれるフレア光成分を除去し、物体Bまでの距離を算出する。なお、本フローチャートでは記載を省略しているが、距離画像撮像装置1は、中距離モードの測定結果に、中距離外光モードにて測定した外光成分を用いて、物体Bまでの距離を算出する。距離画像撮像装置1は、ステップS106の処理に戻り、中距離モードによる測定を継続する。
ステップS109:
距離画像撮像装置1は、中距離モードの測定結果(電荷蓄積部CS1〜CS3に蓄積された電荷量)を用いて、フレア光の電荷量Q2のフレア光成分を除去することなく、物体Bまでの距離を算出する。この場合の距離の算出方法は、従来の算出方法と同様である。距離画像撮像装置1は、ステップS100に戻り、通常モード1による測定に回帰する。
なお、上述したフローチャートでは、それぞれの測定モードにおける1回の測定が、1フレーム分の測定結果であってもよいし、複数フレーム分の測定結果を平均(例えば、移動平均)したものであってもよい。
以上説明したように、第1の実施形態に係る距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備える。光源部2は、測定空間Eに光パルスPOを照射する。受光部3は、入射した光に応じた電荷を発生する光電変換素子PD、及び前記電荷を蓄積する複数の電荷蓄積部CSを具備する画素と、光パルスPOの照射に同期させた所定の蓄積タイミングで、電荷蓄積部CSのそれぞれに電荷を振り分けて蓄積させる垂直走査回路323(画素駆動回路)と、を有する。距離画像処理部4は、電荷蓄積部CSのそれぞれに蓄積された電荷量に基づいて、測定空間Eに存在する被写体Sまでの距離を測定する。距離画像処理部4は、タイミング制御部41を有する。タイミング制御部41は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、蓄積タイミングを制御する。これにより、第1の実施形態の距離画像撮像装置1では、測定対象とする距離の範囲に応じて測定モードを選択することができる。このため、遠距離にある物体を測定する際にフレア光の影響がある場合に、蓄積タイミングを変更させてフレア光の影響を低減させることが可能である。したがって、装置内の光学的な構成を変えることなく、また、データベースを用いることなく、フレア現象による影響を抑制することができる。
また、第1の実施形態の距離画像撮像装置1では、タイミング制御部41は、測定モードが遠距離モードである場合、フレア光を受光せず、フレア光の光量に相当する電荷を蓄積しないように、蓄積タイミングを調整する。これにより、フレア光成分の排除を行うことができ、上述した効果と同様の効果を奏する。
また、第1の実施形態の距離画像撮像装置1では、タイミング制御部41は、測定モードが中距離モードである場合、フレア光に相当する電荷が電荷蓄積部CS1とCS2とに振り分けて蓄積されるように、蓄積タイミングを調整する。これにより、フレア光成分の除去を行うことができ、上述した効果と同様の効果を奏する。
また、第1の実施形態の距離画像撮像装置1では、タイミング制御部41は、測定モードが中距離モードである場合、別途測定した外光に相当する電荷量を用いて外光成分の除去を行う。これにより、フレア光成分の除去及び外光成分の除去を行うことができ、上述した効果と同様の効果を奏する。
また、第1の実施形態の距離画像撮像装置1では、タイミング制御部41は、測定モードが中距離モードである場合、中距離外光モードにて外光に相当する電荷が電荷蓄積部CSに蓄積されるように、蓄積タイミングを調整する。これにより、所謂フレーム合成を行うことにより、容易にフレア光成分の除去及び外光成分の除去を行うことができ、上述した効果と同様の効果を奏する。
また、第1の実施形態の距離画像撮像装置1では、距離演算部42は、測定モードが中距離モードである場合、電荷蓄積部CS1に蓄積された電荷量に定数Kを乗算した値を、電荷蓄積部CS2に蓄積された電荷量に含まれるフレア光成分とする。これにより、フレア光成分の除去を行うことができ、上述した効果と同様の効果を奏する。
また、第1の実施形態の距離画像撮像装置1では、例えば、図10のフローに示すように、フレア光の有無を判定した結果に応じて、測定モードを動的に変化させながら測定する。これにより、近距離物体が一時的に測定空間Eを横切った場合であっても、測定モードを切り替えて再度の測定を行うことができ、上述した効果と同様の効果を奏する。
(第2の実施形態)
次に、第2の実施形態について説明する。本実施形態では、画素が4つの電荷蓄積部CS1〜CS4を備える点において、上述した実施形態と相違する。
図11は、第2の実施形態における画素321を駆動するタイミングを示すタイミングチャートである。図11における「Light」等の項目については、図12Cと同様であるため、その説明を省略する。また、図11における光パルスPOの照射、フレア光、及び反射光RLの受光のそれぞれのタイミング関係は、図5Aと同様であるため、その説明を省略する。
図11に示すように、本実施形態では、電荷蓄積部CS1〜CS4を順にオン状態とすることにより、中距離モードと中距離外光モードとに対応する動作を同時に行う。これにより、電荷蓄積部CS1には外光の光量に相当する1フレーム分の電荷量が蓄積される。電荷蓄積部CS2、CS3には、フレア光の光量に相当する1フレーム分の電荷量が、振り分け比率に応じてそれぞれ蓄積される。電荷蓄積部CS3、CS4には、反射光RLの光量に相当する1フレーム分の電荷量が、振り分け比率に応じてそれぞれ蓄積される。
距離演算部42は、電荷蓄積部CS2に蓄積された電荷量、及び近距離物体までの距離に基づいて定数Kを決定する。距離演算部42は、定数Kを用いて、電荷蓄積部CS3に蓄積された電荷量のうちのフレア光成分を抽出する。距離演算部42は、抽出したフレア光成分を、電荷蓄積部CS3から除去することにより、電荷蓄積部CS3に蓄積された反射光RLに相当する電荷量を算出する。距離演算部42は、電荷蓄積部CS3に蓄積された反射光RLに相当する電荷量、及び、電荷蓄積部CS1、CS4に蓄積された電荷量を用いて、物体までの距離を演算する。
以上説明したように、第2の実施形態に係る距離画像撮像装置1では、画素321が4つの電荷蓄積部CSを備える。これにより、中距離モード、及び中距離外光モードによる測定を同時に行うことができ、所謂フレーム合成などの複雑な処理を行わずに、精度よく距離を算出することが可能である。
上述した実施形態における距離画像撮像装置1の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1…距離画像撮像装置
2…光源部
3…受光部
32…距離画像センサ
321…画素
323…垂直走査回路
4…距離画像処理部
41…タイミング制御部
42…距離演算部
43…測定制御部
CS…電荷蓄積部
PO…光パルス

Claims (10)

  1. 測定対象の空間である測定空間に光パルスを照射する光源部と、
    入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
    前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、
    を備え、
    前記距離画像処理部は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、前記蓄積タイミングを制御するタイミング制御部を有する、
    距離画像撮像装置。
  2. 前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、
    前記タイミング制御部は、前記測定モードが遠距離モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、少なくともフレア光受光期間を、前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、前記非蓄積期間の経過後、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、
    前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、
    前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、
    前記フレア光受光期間と前記反射光受光期間とは、互いに重複しない期間である、
    請求項1に記載の距離画像撮像装置。
  3. 前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、
    前記タイミング制御部は、前記測定モードが中距離モードである場合、フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第1電荷蓄積部、及び第2電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、
    前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、
    前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、
    前記フレア光受光期間と前記反射光受光期間とは、少なくとも一部が互いに重複する期間であり、
    前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記電荷量からフレア光に起因するフレア光成分を抽出し、抽出したフレア光成分を前記電荷量から除いた値に基づいて、前記被写体までの距離を測定する、
    請求項1に記載の距離画像撮像装置。
  4. 前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、
    前記タイミング制御部は、前記測定モードとして、前記中距離モード、及び中距離外光モードにて測定を行い、前記測定モードが中距離外光モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、
    前記距離画像処理部は、
    前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、フレア光に起因するフレア光成分を抽出し、
    前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、外光に起因する外光成分を抽出し、
    抽出した前記フレア光成分、及び前記外光成分を用いて、前記被写体までの距離を測定する、
    請求項3に記載の距離画像撮像装置。
  5. 前記タイミング制御部は、前記測定モードが前記中距離外光モードである場合、前記光パルスが前記オフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、フレア光受光期間を前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、
    前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量と、前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量とを合成することにより、前記測定空間に存在する被写体までの距離を測定する、
    請求項4に記載の距離画像撮像装置。
  6. 前記距離画像処理部は、前記中距離モードにおいて、前記第1電荷蓄積部に蓄積された電荷量を定数倍した値を、前記第2電荷蓄積部に蓄積された電荷量に含まれる、フレア光に起因するフレア光成分として抽出する、
    請求項3から請求項5のいずれか一項に記載の距離画像撮像装置。
  7. 前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部からなり、
    前記タイミング制御部は、
    前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、
    フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第3電荷蓄積部、及び第4電荷蓄積部に振り分けて蓄積させ、
    前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、
    前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間である、
    請求項1に記載の距離画像撮像装置。
  8. 測定を制御する測定制御部を更に備え、
    前記測定制御部は、
    前記測定モードを第1通常モードとして前記被写体までの距離を測定させ、
    前記第1通常モードにおいて、電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記被写体よりも近距離にある近距離物体が、前記測定空間に存在するか否かを判定し、
    前記近距離物体が前記測定空間に存在する場合、前記測定モードを変更して、再度の測定を行い、
    前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、
    前記タイミング制御部は、
    前記測定モードが前記第1通常モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、前記光パルスが照射されるオン状態となった後の所定の反射光受光期間に、前記第2電荷蓄積部、及び第3電荷蓄積部に、順に前記電荷を蓄積させる蓄積周期を、所定の積算回数繰り返す、
    請求項1に記載の距離画像撮像装置。
  9. 前記測定制御部は、前記第1通常モードにおいて、前記第2電荷蓄積部に蓄積された電荷量が所定の閾値以上である場合、前記近距離物体が、前記測定空間に存在すると判定する、
    請求項8に記載の距離画像撮像装置。
  10. 測定対象の空間である測定空間に光パルスを照射する光源部と、
    入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
    前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、
    前記蓄積タイミングを制御するタイミング制御部と、
    を備える距離画像撮像装置による距離画像撮像方法であって、
    前記タイミング制御部が、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて前記蓄積タイミングを制御する工程、
    を有する距離画像撮像方法。
JP2019142536A 2019-08-01 2019-08-01 距離画像撮像装置、及び距離画像撮像方法 Active JP7463671B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019142536A JP7463671B2 (ja) 2019-08-01 2019-08-01 距離画像撮像装置、及び距離画像撮像方法
CN202080054290.1A CN114175618B (zh) 2019-08-01 2020-07-30 距离图像摄像装置以及距离图像摄像方法
PCT/JP2020/029199 WO2021020496A1 (ja) 2019-08-01 2020-07-30 距離画像撮像装置、及び距離画像撮像方法
EP20847013.8A EP4009073A4 (en) 2019-08-01 2020-07-30 REMOTE IMAGE CAPTURE APPARATUS AND REMOTE IMAGE CAPTURE METHOD
TW109125942A TWI780462B (zh) 2019-08-01 2020-07-31 距離影像攝像裝置及距離影像攝像方法
US17/586,447 US11982750B2 (en) 2019-08-01 2022-01-27 Distance-image capturing apparatus and distance-image capturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019142536A JP7463671B2 (ja) 2019-08-01 2019-08-01 距離画像撮像装置、及び距離画像撮像方法

Publications (2)

Publication Number Publication Date
JP2021025833A true JP2021025833A (ja) 2021-02-22
JP7463671B2 JP7463671B2 (ja) 2024-04-09

Family

ID=74230355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019142536A Active JP7463671B2 (ja) 2019-08-01 2019-08-01 距離画像撮像装置、及び距離画像撮像方法

Country Status (6)

Country Link
US (1) US11982750B2 (ja)
EP (1) EP4009073A4 (ja)
JP (1) JP7463671B2 (ja)
CN (1) CN114175618B (ja)
TW (1) TWI780462B (ja)
WO (1) WO2021020496A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185967A1 (ja) * 2021-03-05 2022-09-09 凸版印刷株式会社 距離画像撮像装置及び距離画像撮像方法
WO2022254795A1 (ja) * 2021-05-31 2022-12-08 日立Astemo株式会社 画像処理装置、および、画像処理方法
WO2023228981A1 (ja) * 2022-05-24 2023-11-30 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022189184A (ja) * 2021-06-10 2022-12-22 ソニーセミコンダクタソリューションズ株式会社 測距センサ、測距装置及び測距方法
WO2023171345A1 (ja) * 2022-03-11 2023-09-14 株式会社小糸製作所 光電変換回路、及び光電変換装置
WO2024014547A1 (ja) * 2022-07-15 2024-01-18 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001116516A (ja) * 1999-08-11 2001-04-27 Asahi Optical Co Ltd 3次元画像検出装置
WO2008152647A2 (en) * 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus
JP2010096730A (ja) * 2008-10-20 2010-04-30 Honda Motor Co Ltd 測距システム及び測距方法
WO2010098454A1 (ja) * 2009-02-27 2010-09-02 パナソニック電工株式会社 距離測定装置
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックIpマネジメント株式会社 距離画像生成装置及び距離画像生成方法
WO2016075885A1 (ja) * 2014-11-11 2016-05-19 パナソニックIpマネジメント株式会社 距離検出装置及び距離検出方法
JP2017133853A (ja) * 2016-01-25 2017-08-03 株式会社リコー 測距装置
WO2017170568A1 (ja) * 2016-03-30 2017-10-05 国立大学法人静岡大学 画素回路及び撮像素子
JP2018009917A (ja) * 2016-07-15 2018-01-18 株式会社リコー 測距装置、移動体、ロボット、3次元計測装置及び測距方法
JP6298236B2 (ja) * 2013-02-22 2018-03-20 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5705807A (en) * 1994-10-24 1998-01-06 Nissan Motor Co., Ltd. Photo detecting apparatus for detecting reflected light from an object and excluding an external light componet from the reflected light
EP1152261A1 (en) * 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP5343055B2 (ja) * 2010-09-13 2013-11-13 本田技研工業株式会社 撮像装置および撮像方法
JP6459069B2 (ja) * 2013-08-23 2019-01-30 パナソニックIpマネジメント株式会社 測距システム
WO2015104870A1 (ja) * 2014-01-08 2015-07-16 三菱電機株式会社 画像生成装置
JP2016189557A (ja) * 2015-03-30 2016-11-04 ソニー株式会社 撮像素子およびその駆動方法、並びに電子機器
US10250833B2 (en) * 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
CN112969030B (zh) * 2015-06-17 2023-04-28 松下知识产权经营株式会社 摄像装置
CN107852470B (zh) * 2015-08-04 2020-11-03 松下半导体解决方案株式会社 固体摄像装置的驱动方法
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN107710275A (zh) * 2016-05-23 2018-02-16 索尼公司 电子装置、电子装置控制方法和程序
KR101832364B1 (ko) * 2017-02-22 2018-04-04 경희대학교 산학협력단 재귀 반사 필름을 이용한 거리 측정 장치 및 방법
JP2018185179A (ja) * 2017-04-25 2018-11-22 株式会社リコー 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法
CN111226434B (zh) * 2017-10-20 2022-05-31 国立大学法人静冈大学 距离图像测定装置以及距离图像测定方法
US11333763B2 (en) * 2017-12-22 2022-05-17 Sony Semiconductor Solutions Corporation Signal generation apparatus
US11867842B2 (en) * 2017-12-22 2024-01-09 Sony Semiconductor Solutions Corporation Pulse generator and signal generation apparatus
JP2019142536A (ja) 2018-02-20 2019-08-29 レンゴー株式会社 トレイ
US11336854B2 (en) * 2019-03-01 2022-05-17 Brookman Technology, Inc. Distance image capturing apparatus and distance image capturing method using distance image capturing apparatus
JP7016183B2 (ja) * 2019-03-20 2022-02-04 株式会社ブルックマンテクノロジ 距離画像撮像装置、および距離画像撮像方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001116516A (ja) * 1999-08-11 2001-04-27 Asahi Optical Co Ltd 3次元画像検出装置
WO2008152647A2 (en) * 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus
JP2010096730A (ja) * 2008-10-20 2010-04-30 Honda Motor Co Ltd 測距システム及び測距方法
WO2010098454A1 (ja) * 2009-02-27 2010-09-02 パナソニック電工株式会社 距離測定装置
JP6298236B2 (ja) * 2013-02-22 2018-03-20 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックIpマネジメント株式会社 距離画像生成装置及び距離画像生成方法
WO2016075885A1 (ja) * 2014-11-11 2016-05-19 パナソニックIpマネジメント株式会社 距離検出装置及び距離検出方法
JP2017133853A (ja) * 2016-01-25 2017-08-03 株式会社リコー 測距装置
WO2017170568A1 (ja) * 2016-03-30 2017-10-05 国立大学法人静岡大学 画素回路及び撮像素子
JP2018009917A (ja) * 2016-07-15 2018-01-18 株式会社リコー 測距装置、移動体、ロボット、3次元計測装置及び測距方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185967A1 (ja) * 2021-03-05 2022-09-09 凸版印刷株式会社 距離画像撮像装置及び距離画像撮像方法
WO2022254795A1 (ja) * 2021-05-31 2022-12-08 日立Astemo株式会社 画像処理装置、および、画像処理方法
WO2023228981A1 (ja) * 2022-05-24 2023-11-30 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法

Also Published As

Publication number Publication date
US11982750B2 (en) 2024-05-14
EP4009073A4 (en) 2023-07-12
CN114175618B (zh) 2024-06-14
WO2021020496A1 (ja) 2021-02-04
JP7463671B2 (ja) 2024-04-09
US20220146684A1 (en) 2022-05-12
CN114175618A (zh) 2022-03-11
EP4009073A1 (en) 2022-06-08
TWI780462B (zh) 2022-10-11
TW202112122A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
WO2021020496A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
US10764518B2 (en) Pixel structure
JP4981780B2 (ja) 測距システム及び測距方法
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
JP7363899B2 (ja) 距離画像撮像装置及び距離画像撮像方法
US20230358863A1 (en) Range imaging device and range imaging method
CN116710803A (zh) 距离图像摄像装置以及距离图像摄像方法
CN114829970A (zh) 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法
JP2024078837A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023228981A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2024082236A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2022138832A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP7469779B2 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2024100760A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023033170A1 (ja) 距離画像撮像装置及び距離画像撮像方法
JP2023156731A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023180900A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022112388A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022191793A (ja) 距離画像撮像装置及び距離画像撮像方法
JP2022183614A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2024084303A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022162392A (ja) 距離画像撮像装置、及び距離画像撮像方法
CN118158506A (zh) 距离图像摄像装置以及距离图像摄像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220720

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20230529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311

R150 Certificate of patent or registration of utility model

Ref document number: 7463671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150