JP2021025833A - 距離画像撮像装置、及び距離画像撮像方法 - Google Patents
距離画像撮像装置、及び距離画像撮像方法 Download PDFInfo
- Publication number
- JP2021025833A JP2021025833A JP2019142536A JP2019142536A JP2021025833A JP 2021025833 A JP2021025833 A JP 2021025833A JP 2019142536 A JP2019142536 A JP 2019142536A JP 2019142536 A JP2019142536 A JP 2019142536A JP 2021025833 A JP2021025833 A JP 2021025833A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- charge
- light
- charge storage
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 101
- 238000005259 measurement Methods 0.000 claims abstract description 149
- 238000012545 processing Methods 0.000 claims abstract description 72
- 230000003287 optical effect Effects 0.000 claims abstract description 47
- 238000009825 accumulation Methods 0.000 claims abstract description 44
- 238000006243 chemical reaction Methods 0.000 claims abstract description 25
- 230000001360 synchronised effect Effects 0.000 claims abstract description 6
- 230000003111 delayed effect Effects 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 5
- 238000000034 method Methods 0.000 description 34
- 238000004364 calculation method Methods 0.000 description 26
- 238000009826 distribution Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 15
- 238000012937 correction Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000001678 irradiating effect Effects 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 238000009792 diffusion process Methods 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 206010027336 Menstruation delayed Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
まず、第1の実施形態について説明する。
図1は、本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図1に示した構成の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備える。なお、図1には、距離画像撮像装置1において距離を測定する対象物である被写体Sも併せて示している。
図12Bは、フレア光の概念を説明する図である。
図12Bに示すように、光パルスPOを照射し得る測定対象とする測定空間Eのうち、距離画像撮像装置1からの距離が比較的遠い位置にある(以下、遠距離にある、などと記載する)物体Bが被写体である場合を考える。
以下、遠距離モード、中距離モード、及び中距離外光モードについて順に説明する。
まず、遠距離モードについて図4を用いて説明する。図4は、第1の実施形態の遠距離モードにおける画素321を駆動するタイミングを示すタイミングチャートである。図4における「Camera」の項目では、「G1」から「G2」に至る間において、ドレインゲートトランジスタGDがオン状態となるタイミングを「GD2」で示している。その他の「Light」等の項目については、図12Cと同様であるため、その説明を省略する。
遠距離モードにおいて、「フレア光受光期間」と、「反射光受光期間」は、互いに重複しない期間である。
「フレア光受光期間」とは、光パルスPOの照射が開始された時間から遅延時間Tbだけ遅れた時間から始まり、光パルス照射時間To(照射期間)経過するまでの期間である。つまり、「フレア光受光期間」とは、光パルスPOの照射時間Toから遅延時間Tb、遅れた期間である。ここで、遅延時間Tbは「パルス光遅延時間」の一例である。
「反射光受光期間」は、光パルスPOの照射が開始された時間から遅延時間Tdだけ遅れた時間から始まり、光パルス照射時間To(照射期間)までの期間である。つまり、「反射光受光期間」は、光パルスPOの照射時間Toから遅延時間Td、遅れた期間である。ここで、遅延時間Tdは「反射光遅延時間」の一例である。
次に、中距離モードについて図5A、及び図5Bを用いて説明する。図5A、図5Bは、第1の実施形態の中距離モードにおける画素321を駆動するタイミングを示すタイミングチャートである。図5A、図5Bにおける「Light」等の項目については、図12Cと同様であるため、その説明を省略する。
中距離モードにおいて、「フレア光受光期間」と「反射光受光期間」とは、少なくとも一部が互いに重複する。
「フレア光受光期間」とは、光パルスPOの照射が開始された時間から遅延時間Tbだけ遅れた時間から始まり、光パルス照射時間To(照射期間)経過するまでの期間である。つまり、「フレア光受光期間」とは、光パルスPOの照射時間Toから遅延時間Tb、遅れた期間である。ここで、遅延時間Tbは「パルス光遅延時間」の一例である。
「反射光受光期間」は、光パルスPOの照射が開始された時間から遅延時間Tdだけ遅れた時間から始まり、光パルス照射時間To(照射期間)までの期間である。つまり、「反射光受光期間」は、光パルスPOの照射時間Toから遅延時間Td、遅れた期間である。ここで、遅延時間Tdは「反射光遅延時間」の一例である。
光源部2は、読み出しゲートトランジスタG1がオン状態に変化した時点から、期間TY経過した時点で、光パルスPOの照射を開始する。光パルスPOの照射が開始された時点(照射開始時)から遅延時間Tb経過した時点で、フレア光が距離画像撮像装置1に到達し、フレア光が受光され始める。
次に、中距離外光モードについて、図6を用いて説明する。図6は、第1の実施形態の中距離モードにおける画素321を駆動するタイミングを示すタイミングチャートである。図6における「Light」等の項目については、図12Cと同様であるため、その説明を省略する。また、図6における光パルスPOの照射、フレア光、及び反射光RLの受光のそれぞれのタイミング関係は、図5Aと同様であるため、その説明を省略する。
ここで、中距離モード、及び中距離外光モードの測定結果を用いて、中距離にある被写体としての物体Bまでの距離を算出する方法について、図7を用いて説明する。図7は、第1の実施形態の距離画像撮像装置1が、中距離モード、及び中距離外光モードの測定結果を用いて距離を算出する処理を説明する図である。
距離画像撮像装置1は、処理F1による処理結果のうち少なくとも電荷量Q1gfをフレームメモリに記憶させ、中距離モードによる測定結果を一時的に保持する(処理F4)。処理F1による処理結果には、1フレーム分の振り分け比率に応じたフレア光と外光に相当する電荷量Q1gf、1フレーム分の振り分け比率に応じたフレア光及び反射光RLと外光に相当する電荷量Q2grf、及び1フレーム分の振り分け比率に応じた反射光RLと外光に相当する電荷量Q3grを含む。
フレームメモリに、処理F3による処理結果のうち、中距離外光モードの電荷量Q1gのみが記憶されている場合、当該電荷量Q1gと、処理F1による処理結果としての中距離モードの電荷量Q1gf、電荷量Q2grf、及び、電荷量Q3grを用いて合成を行う。
フレームメモリに、中距離外光モードの電荷量Q1g、電荷量Q2grf、及び、電荷量Q3grが記憶されている場合には、当該電荷量Q1g、Q2grf、Q3gr、及び、中距離モードの電荷量Q1gfを用いて合成を行う。
或いは、フレームメモリに、中距離外光モードの電荷量Q1g、電荷量Q2grf、及び、電荷量Q3grが記憶されている場合において、中距離モードの電荷量Q1gf、電荷Q2grf、及び、電荷量Q3grを用いて合成を行うようにしてもよい。この場合、処理F5による合成結果には、中距離外光モードによる1フレーム分の外光に相当する電荷量Q1g、中距離モードによる1フレーム分の振り分け比率に応じたフレア光と外光に相当する電荷量Q1gf、中距離モードと中距離外光モードによる2フレーム分の振り分け比率に応じたフレア光及び反射光RLと外光に相当する電荷量を合成(例えば、平均)した値、及び、中距離モードと中距離外光モード2フレーム分の振り分け比率に応じた反射光RLと外光に相当する電荷量を合成(例えば、平均)した値が含まれる。
ここで、中距離外光モードの変形例について説明する。本変形例では、図12Aに示すような従来の測定タイミングにて、光パルスPOを照射させずに測定を行う。これにより、電荷蓄積部CS1〜CS3のそれぞれに、外光の光量に相当する1フレーム分の電荷を蓄積させることができる。室内など、屋外と比較して外光の光量の変化が少ない環境で測定を行う場合に、本変形例による測定が行われることが望ましい。また、本変形例による測定を定期的に繰り返し行い、外光の光量が更新されることが望ましい。
ここで、定数Kの算出方法の変形例について、図8A、及び図8B(以下図8A等という)を用いて説明する。本変形例では、予め測定した結果を用いて、定数Kを算出する。
図8A等は、定数Kの算出方法の変形例について説明する図である。図8A等には、画素ごとの測定結果(距離)をヒストグラムにて示している。図8A等の横軸は距離(Distance[m])、縦軸は画素の数(Count)を示している。図8A等では、物体Bを壁とし、壁までの距離を測定している。
図8A等には、物体B(Wallと記載)までの距離を、近距離物体A(Objectと記載)が測定領域に存在する場合(Wall+Object)と、存在しない場合(Wall)との両方で測定した結果が示されている。図8Aにはフレア光を除去する前(補正なし)の測定結果、図8Bにはフレア光を除去した後(フレア補正)の測定結果がそれぞれ示されている。
一方、物体Bと近距離物体(Wall+Object)の測定では、近距離物体までの距離(0.3m〜0.4m)を示すピークと、距離1.0m付近のピークが現れる。距離1.0m付近のピークは、物体Bの反射光に近距離物体Aに由来するフレア光が混じることで、物体Bまでの距離が実際の距離よりも短く計測されてしまうことを示している。
図9A、図9Bには、物体Bのみを撮影した距離画像と、物体Bと近距離物体とを撮影した距離画像とを用いて、画素ごとの距離の差分を画素値とした画像(差分画像)が示されている。図9Aはフレア光成分を除去する前(補正なし)、図9Bはフレア光成分を除去した後(フレア補正)の差分画像である。図9A、図9Bの横軸は水平方向の画素(Pixel(H))、縦軸は垂直方向の画素(Pixel(V))、差分画像の右側には差分値の指標がグレースケールで示され、グレーが明るくなるにしたがい、差分が大きくなることを示している。
なお、符号D1、D2については、後述する図で説明する。
ステップS100:
距離画像撮像装置1は、まず、通常モード1にて測定を行う。距離画像撮像装置1は、測定結果(被写体である物体Bまでの距離DB、及び電荷蓄積部CSに蓄積された電荷量など)を記憶する。
ステップS101:
距離画像撮像装置1は、通常モード1の測定結果から、電荷蓄積部CS2に蓄積された電荷量Q2にフレア光成分が有るか否かを判定する。距離画像撮像装置1は、電荷量Q2(例えば、全画素における電荷量Q2の平均値)が予め定めた所定の閾値以上である場合、電荷量Q2にフレア光成分が有ると判定する。距離画像撮像装置1は、電荷量Q2にフレア光成分が有ると判定した場合、ステップS102の処理を行う。一方、距離画像撮像装置1は、電荷量Q2にフレア光成分がないと判定した場合、ステップS100に戻り、通常モード1による測定を継続する。
距離画像撮像装置1は、通常モード2にて測定を行う。通常モード2では、通常モード1と比較して振り分け回数を減らし、露光量を抑えているため遠距離の被写体の距離は測定されず(測定することができず)、近距離物体Aまでの距離のみが測定される。距離画像撮像装置1は、測定結果(近距離物体Aまでの距離DAなど)を記憶させる。
距離画像撮像装置1は、フレア光成分を除去するための再度の測定を、遠距離モードにて行うか、中距離モードにて行うか判定する。距離画像撮像装置1は、距離DAと距離DBとの距離の差分(絶対値)が、所定の閾値以上である場合、再度の測定を遠距離モードとする。一方、距離画像撮像装置1は、距離DAと距離DBとの距離の差分(絶対値)が、所定の閾値未満である場合、再度の測定を中距離モードとする。距離画像撮像装置1は、再度の測定を遠距離モードとする場合、ステップS104に示す処理を行う。距離画像撮像装置1は、再度の測定を中距離モードとする場合、ステップS106に示す処理を行う。
距離画像撮像装置1は、遠距離モードにて測定を行う。遠距離モードでの測定は、例えば、通常モード1の振り分け回数と同じ振り分け回数にて行う。
ステップS105:
距離画像撮像装置1は、遠距離モードを所定のフレーム数(例えば、30フレーム分)繰り返した後、近距離物体Aが存在し続けているか否か判定する。これは、近距離物体Aが移動体である場合など、近距離物体Aと被写体との関係が変化した場合に、遠距離モードから、通常モード1に戻すものである。距離画像撮像装置1は、通常モード1の測定結果から、電荷蓄積部CS2に蓄積された電荷量Q2にフレア光成分が有るか否かを判定する。フレア光成分が有るか否かの判定は、ステップS101に示す処理と同様の方法であってよい。距離画像撮像装置1は、電荷量Q2にフレア光成分が有ると判定した場合、ステップS104の処理に戻り、遠距離モードによる測定を継続する。一方、距離画像撮像装置1は、電荷量Q2にフレア光成分がないと判定した場合、ステップS100に戻り、通常モード1による測定に回帰する。
距離画像撮像装置1は、中距離モードにて測定を行う。中距離モードでの測定は、例えば、通常モード1の振り分け回数と同じ振り分け回数にて行う。距離画像撮像装置1は、電荷蓄積部CS1〜CS3に蓄積された電荷量を記憶し、ステップS107に示す処理を行う。
距離画像撮像装置1は、中距離モードの測定結果から、電荷蓄積部CS2に蓄積された電荷量Q2にフレア光成分が有るか否かを判定する。これは、ステップS101にてフレア光成分が有ると判定された場合であっても、近距離物体Aが移動体であり、一時的に測定領域を横切った場合など、中距離モードで再度の測定を行った際にフレア光成分がなくなっていた場合に対応するものである。電荷量Q2にフレア光成分が有るか否かを判定する方法は、ステップS101と同様である。距離画像撮像装置1は、電荷量Q2にフレア光成分が有ると判定した場合、ステップS107の処理を行う。一方、距離画像撮像装置1は、電荷量Q2にフレア光成分がないと判定した場合、ステップS108の処理を行う。
距離画像撮像装置1は、中距離モードの測定結果(電荷蓄積部CS1〜CS3に蓄積された電荷量)を用いて、電荷量Q2に含まれるフレア光成分を除去し、物体Bまでの距離を算出する。なお、本フローチャートでは記載を省略しているが、距離画像撮像装置1は、中距離モードの測定結果に、中距離外光モードにて測定した外光成分を用いて、物体Bまでの距離を算出する。距離画像撮像装置1は、ステップS106の処理に戻り、中距離モードによる測定を継続する。
距離画像撮像装置1は、中距離モードの測定結果(電荷蓄積部CS1〜CS3に蓄積された電荷量)を用いて、フレア光の電荷量Q2のフレア光成分を除去することなく、物体Bまでの距離を算出する。この場合の距離の算出方法は、従来の算出方法と同様である。距離画像撮像装置1は、ステップS100に戻り、通常モード1による測定に回帰する。
次に、第2の実施形態について説明する。本実施形態では、画素が4つの電荷蓄積部CS1〜CS4を備える点において、上述した実施形態と相違する。
図11は、第2の実施形態における画素321を駆動するタイミングを示すタイミングチャートである。図11における「Light」等の項目については、図12Cと同様であるため、その説明を省略する。また、図11における光パルスPOの照射、フレア光、及び反射光RLの受光のそれぞれのタイミング関係は、図5Aと同様であるため、その説明を省略する。
2…光源部
3…受光部
32…距離画像センサ
321…画素
323…垂直走査回路
4…距離画像処理部
41…タイミング制御部
42…距離演算部
43…測定制御部
CS…電荷蓄積部
PO…光パルス
Claims (10)
- 測定対象の空間である測定空間に光パルスを照射する光源部と、
入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、
を備え、
前記距離画像処理部は、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて、前記蓄積タイミングを制御するタイミング制御部を有する、
距離画像撮像装置。 - 前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、
前記タイミング制御部は、前記測定モードが遠距離モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、少なくともフレア光受光期間を、前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、前記非蓄積期間の経過後、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、
前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、
前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、
前記フレア光受光期間と前記反射光受光期間とは、互いに重複しない期間である、
請求項1に記載の距離画像撮像装置。 - 前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、
前記タイミング制御部は、前記測定モードが中距離モードである場合、フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第1電荷蓄積部、及び第2電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、
前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、
前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間であり、
前記フレア光受光期間と前記反射光受光期間とは、少なくとも一部が互いに重複する期間であり、
前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記電荷量からフレア光に起因するフレア光成分を抽出し、抽出したフレア光成分を前記電荷量から除いた値に基づいて、前記被写体までの距離を測定する、
請求項1に記載の距離画像撮像装置。 - 前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、
前記タイミング制御部は、前記測定モードとして、前記中距離モード、及び中距離外光モードにて測定を行い、前記測定モードが中距離外光モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、
前記距離画像処理部は、
前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、フレア光に起因するフレア光成分を抽出し、
前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、外光に起因する外光成分を抽出し、
抽出した前記フレア光成分、及び前記外光成分を用いて、前記被写体までの距離を測定する、
請求項3に記載の距離画像撮像装置。 - 前記タイミング制御部は、前記測定モードが前記中距離外光モードである場合、前記光パルスが前記オフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、フレア光受光期間を前記電荷蓄積部の何れにも前記電荷を蓄積させない非蓄積期間とし、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、
前記距離画像処理部は、前記中距離モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量と、前記中距離外光モードにおいて前記電荷蓄積部のそれぞれに蓄積された電荷量とを合成することにより、前記測定空間に存在する被写体までの距離を測定する、
請求項4に記載の距離画像撮像装置。 - 前記距離画像処理部は、前記中距離モードにおいて、前記第1電荷蓄積部に蓄積された電荷量を定数倍した値を、前記第2電荷蓄積部に蓄積された電荷量に含まれる、フレア光に起因するフレア光成分として抽出する、
請求項3から請求項5のいずれか一項に記載の距離画像撮像装置。 - 前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部からなり、
前記タイミング制御部は、
前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、
フレア光受光期間に前記受光部に入射された光量に相当する電荷を、前記第2電荷蓄積部、及び第3電荷蓄積部に振り分けて蓄積させ、反射光受光期間に前記受光部に入射された光量に相当する電荷を、前記第3電荷蓄積部、及び第4電荷蓄積部に振り分けて蓄積させ、
前記フレア光受光期間は、前記光パルスが照射されている期間である照射期間から、所定のパルス光遅延時間、遅れた期間であり、
前記反射光受光期間は、前記照射期間から、前記パルス光遅延時間よりも大きい反射光遅延時間、遅れた期間である、
請求項1に記載の距離画像撮像装置。 - 測定を制御する測定制御部を更に備え、
前記測定制御部は、
前記測定モードを第1通常モードとして前記被写体までの距離を測定させ、
前記第1通常モードにおいて、電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記被写体よりも近距離にある近距離物体が、前記測定空間に存在するか否かを判定し、
前記近距離物体が前記測定空間に存在する場合、前記測定モードを変更して、再度の測定を行い、
前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部からなり、
前記タイミング制御部は、
前記測定モードが前記第1通常モードである場合、前記光パルスが照射されないオフ状態である外光蓄積期間に前記第1電荷蓄積部に前記電荷を蓄積させ、前記光パルスが照射されるオン状態となった後の所定の反射光受光期間に、前記第2電荷蓄積部、及び第3電荷蓄積部に、順に前記電荷を蓄積させる蓄積周期を、所定の積算回数繰り返す、
請求項1に記載の距離画像撮像装置。 - 前記測定制御部は、前記第1通常モードにおいて、前記第2電荷蓄積部に蓄積された電荷量が所定の閾値以上である場合、前記近距離物体が、前記測定空間に存在すると判定する、
請求項8に記載の距離画像撮像装置。 - 測定対象の空間である測定空間に光パルスを照射する光源部と、
入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積タイミングで前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離画像処理部と、
前記蓄積タイミングを制御するタイミング制御部と、
を備える距離画像撮像装置による距離画像撮像方法であって、
前記タイミング制御部が、測定対象とする距離の範囲に応じて予め定めた測定モードに応じて前記蓄積タイミングを制御する工程、
を有する距離画像撮像方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019142536A JP7463671B2 (ja) | 2019-08-01 | 2019-08-01 | 距離画像撮像装置、及び距離画像撮像方法 |
CN202080054290.1A CN114175618B (zh) | 2019-08-01 | 2020-07-30 | 距离图像摄像装置以及距离图像摄像方法 |
PCT/JP2020/029199 WO2021020496A1 (ja) | 2019-08-01 | 2020-07-30 | 距離画像撮像装置、及び距離画像撮像方法 |
EP20847013.8A EP4009073A4 (en) | 2019-08-01 | 2020-07-30 | REMOTE IMAGE CAPTURE APPARATUS AND REMOTE IMAGE CAPTURE METHOD |
TW109125942A TWI780462B (zh) | 2019-08-01 | 2020-07-31 | 距離影像攝像裝置及距離影像攝像方法 |
US17/586,447 US11982750B2 (en) | 2019-08-01 | 2022-01-27 | Distance-image capturing apparatus and distance-image capturing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019142536A JP7463671B2 (ja) | 2019-08-01 | 2019-08-01 | 距離画像撮像装置、及び距離画像撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021025833A true JP2021025833A (ja) | 2021-02-22 |
JP7463671B2 JP7463671B2 (ja) | 2024-04-09 |
Family
ID=74230355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019142536A Active JP7463671B2 (ja) | 2019-08-01 | 2019-08-01 | 距離画像撮像装置、及び距離画像撮像方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11982750B2 (ja) |
EP (1) | EP4009073A4 (ja) |
JP (1) | JP7463671B2 (ja) |
CN (1) | CN114175618B (ja) |
TW (1) | TWI780462B (ja) |
WO (1) | WO2021020496A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022185967A1 (ja) * | 2021-03-05 | 2022-09-09 | 凸版印刷株式会社 | 距離画像撮像装置及び距離画像撮像方法 |
WO2022254795A1 (ja) * | 2021-05-31 | 2022-12-08 | 日立Astemo株式会社 | 画像処理装置、および、画像処理方法 |
WO2023228981A1 (ja) * | 2022-05-24 | 2023-11-30 | 凸版印刷株式会社 | 距離画像撮像装置、及び距離画像撮像方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022189184A (ja) * | 2021-06-10 | 2022-12-22 | ソニーセミコンダクタソリューションズ株式会社 | 測距センサ、測距装置及び測距方法 |
WO2023171345A1 (ja) * | 2022-03-11 | 2023-09-14 | 株式会社小糸製作所 | 光電変換回路、及び光電変換装置 |
WO2024014547A1 (ja) * | 2022-07-15 | 2024-01-18 | Toppanホールディングス株式会社 | 距離画像撮像装置、及び距離画像撮像方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001116516A (ja) * | 1999-08-11 | 2001-04-27 | Asahi Optical Co Ltd | 3次元画像検出装置 |
WO2008152647A2 (en) * | 2007-06-15 | 2008-12-18 | Ben Gurion University Of The Negev Research And Development Authority | Three-dimensional imaging method and apparatus |
JP2010096730A (ja) * | 2008-10-20 | 2010-04-30 | Honda Motor Co Ltd | 測距システム及び測距方法 |
WO2010098454A1 (ja) * | 2009-02-27 | 2010-09-02 | パナソニック電工株式会社 | 距離測定装置 |
WO2015107869A1 (ja) * | 2014-01-14 | 2015-07-23 | パナソニックIpマネジメント株式会社 | 距離画像生成装置及び距離画像生成方法 |
WO2016075885A1 (ja) * | 2014-11-11 | 2016-05-19 | パナソニックIpマネジメント株式会社 | 距離検出装置及び距離検出方法 |
JP2017133853A (ja) * | 2016-01-25 | 2017-08-03 | 株式会社リコー | 測距装置 |
WO2017170568A1 (ja) * | 2016-03-30 | 2017-10-05 | 国立大学法人静岡大学 | 画素回路及び撮像素子 |
JP2018009917A (ja) * | 2016-07-15 | 2018-01-18 | 株式会社リコー | 測距装置、移動体、ロボット、3次元計測装置及び測距方法 |
JP6298236B2 (ja) * | 2013-02-22 | 2018-03-20 | スタンレー電気株式会社 | 距離画像生成装置および距離画像生成方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5705807A (en) * | 1994-10-24 | 1998-01-06 | Nissan Motor Co., Ltd. | Photo detecting apparatus for detecting reflected light from an object and excluding an external light componet from the reflected light |
EP1152261A1 (en) * | 2000-04-28 | 2001-11-07 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
JP5343055B2 (ja) * | 2010-09-13 | 2013-11-13 | 本田技研工業株式会社 | 撮像装置および撮像方法 |
JP6459069B2 (ja) * | 2013-08-23 | 2019-01-30 | パナソニックIpマネジメント株式会社 | 測距システム |
WO2015104870A1 (ja) * | 2014-01-08 | 2015-07-16 | 三菱電機株式会社 | 画像生成装置 |
JP2016189557A (ja) * | 2015-03-30 | 2016-11-04 | ソニー株式会社 | 撮像素子およびその駆動方法、並びに電子機器 |
US10250833B2 (en) * | 2015-04-20 | 2019-04-02 | Samsung Electronics Co., Ltd. | Timestamp calibration of the 3D camera with epipolar line laser point scanning |
CN112969030B (zh) * | 2015-06-17 | 2023-04-28 | 松下知识产权经营株式会社 | 摄像装置 |
CN107852470B (zh) * | 2015-08-04 | 2020-11-03 | 松下半导体解决方案株式会社 | 固体摄像装置的驱动方法 |
KR20170098089A (ko) * | 2016-02-19 | 2017-08-29 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
CN107710275A (zh) * | 2016-05-23 | 2018-02-16 | 索尼公司 | 电子装置、电子装置控制方法和程序 |
KR101832364B1 (ko) * | 2017-02-22 | 2018-04-04 | 경희대학교 산학협력단 | 재귀 반사 필름을 이용한 거리 측정 장치 및 방법 |
JP2018185179A (ja) * | 2017-04-25 | 2018-11-22 | 株式会社リコー | 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法 |
CN111226434B (zh) * | 2017-10-20 | 2022-05-31 | 国立大学法人静冈大学 | 距离图像测定装置以及距离图像测定方法 |
US11333763B2 (en) * | 2017-12-22 | 2022-05-17 | Sony Semiconductor Solutions Corporation | Signal generation apparatus |
US11867842B2 (en) * | 2017-12-22 | 2024-01-09 | Sony Semiconductor Solutions Corporation | Pulse generator and signal generation apparatus |
JP2019142536A (ja) | 2018-02-20 | 2019-08-29 | レンゴー株式会社 | トレイ |
US11336854B2 (en) * | 2019-03-01 | 2022-05-17 | Brookman Technology, Inc. | Distance image capturing apparatus and distance image capturing method using distance image capturing apparatus |
JP7016183B2 (ja) * | 2019-03-20 | 2022-02-04 | 株式会社ブルックマンテクノロジ | 距離画像撮像装置、および距離画像撮像方法 |
-
2019
- 2019-08-01 JP JP2019142536A patent/JP7463671B2/ja active Active
-
2020
- 2020-07-30 EP EP20847013.8A patent/EP4009073A4/en active Pending
- 2020-07-30 WO PCT/JP2020/029199 patent/WO2021020496A1/ja unknown
- 2020-07-30 CN CN202080054290.1A patent/CN114175618B/zh active Active
- 2020-07-31 TW TW109125942A patent/TWI780462B/zh active
-
2022
- 2022-01-27 US US17/586,447 patent/US11982750B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001116516A (ja) * | 1999-08-11 | 2001-04-27 | Asahi Optical Co Ltd | 3次元画像検出装置 |
WO2008152647A2 (en) * | 2007-06-15 | 2008-12-18 | Ben Gurion University Of The Negev Research And Development Authority | Three-dimensional imaging method and apparatus |
JP2010096730A (ja) * | 2008-10-20 | 2010-04-30 | Honda Motor Co Ltd | 測距システム及び測距方法 |
WO2010098454A1 (ja) * | 2009-02-27 | 2010-09-02 | パナソニック電工株式会社 | 距離測定装置 |
JP6298236B2 (ja) * | 2013-02-22 | 2018-03-20 | スタンレー電気株式会社 | 距離画像生成装置および距離画像生成方法 |
WO2015107869A1 (ja) * | 2014-01-14 | 2015-07-23 | パナソニックIpマネジメント株式会社 | 距離画像生成装置及び距離画像生成方法 |
WO2016075885A1 (ja) * | 2014-11-11 | 2016-05-19 | パナソニックIpマネジメント株式会社 | 距離検出装置及び距離検出方法 |
JP2017133853A (ja) * | 2016-01-25 | 2017-08-03 | 株式会社リコー | 測距装置 |
WO2017170568A1 (ja) * | 2016-03-30 | 2017-10-05 | 国立大学法人静岡大学 | 画素回路及び撮像素子 |
JP2018009917A (ja) * | 2016-07-15 | 2018-01-18 | 株式会社リコー | 測距装置、移動体、ロボット、3次元計測装置及び測距方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022185967A1 (ja) * | 2021-03-05 | 2022-09-09 | 凸版印刷株式会社 | 距離画像撮像装置及び距離画像撮像方法 |
WO2022254795A1 (ja) * | 2021-05-31 | 2022-12-08 | 日立Astemo株式会社 | 画像処理装置、および、画像処理方法 |
WO2023228981A1 (ja) * | 2022-05-24 | 2023-11-30 | 凸版印刷株式会社 | 距離画像撮像装置、及び距離画像撮像方法 |
Also Published As
Publication number | Publication date |
---|---|
US11982750B2 (en) | 2024-05-14 |
EP4009073A4 (en) | 2023-07-12 |
CN114175618B (zh) | 2024-06-14 |
WO2021020496A1 (ja) | 2021-02-04 |
JP7463671B2 (ja) | 2024-04-09 |
US20220146684A1 (en) | 2022-05-12 |
CN114175618A (zh) | 2022-03-11 |
EP4009073A1 (en) | 2022-06-08 |
TWI780462B (zh) | 2022-10-11 |
TW202112122A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021020496A1 (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
US10764518B2 (en) | Pixel structure | |
JP4981780B2 (ja) | 測距システム及び測距方法 | |
JP7016183B2 (ja) | 距離画像撮像装置、および距離画像撮像方法 | |
JP7363899B2 (ja) | 距離画像撮像装置及び距離画像撮像方法 | |
US20230358863A1 (en) | Range imaging device and range imaging method | |
CN116710803A (zh) | 距离图像摄像装置以及距离图像摄像方法 | |
CN114829970A (zh) | 飞行时间成像电路、飞行时间成像系统和飞行时间成像方法 | |
JP2024078837A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
WO2023228981A1 (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
WO2023234253A1 (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP2024082236A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
WO2022138832A1 (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP7469779B2 (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP2023147558A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
WO2024100760A1 (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
WO2023033170A1 (ja) | 距離画像撮像装置及び距離画像撮像方法 | |
JP2023156731A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP2023180900A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP2022112388A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP2022191793A (ja) | 距離画像撮像装置及び距離画像撮像方法 | |
JP2022183614A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP2024084303A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP2022162392A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
CN118158506A (zh) | 距离图像摄像装置以及距离图像摄像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220720 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20230529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7463671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |