JP2020020680A - 光源装置、撮像装置、センシングモジュール - Google Patents

光源装置、撮像装置、センシングモジュール Download PDF

Info

Publication number
JP2020020680A
JP2020020680A JP2018144924A JP2018144924A JP2020020680A JP 2020020680 A JP2020020680 A JP 2020020680A JP 2018144924 A JP2018144924 A JP 2018144924A JP 2018144924 A JP2018144924 A JP 2018144924A JP 2020020680 A JP2020020680 A JP 2020020680A
Authority
JP
Japan
Prior art keywords
light emitting
image sensor
light emission
emitting element
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018144924A
Other languages
English (en)
Inventor
翔太 渡邊
Shota Watanabe
翔太 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018144924A priority Critical patent/JP2020020680A/ja
Priority to CN201980049608.4A priority patent/CN112469959B/zh
Priority to US17/255,829 priority patent/US20210176389A1/en
Priority to EP19843576.0A priority patent/EP3832252B1/en
Priority to PCT/JP2019/023866 priority patent/WO2020026615A1/ja
Publication of JP2020020680A publication Critical patent/JP2020020680A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/40Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/42Arrays of surface emitting lasers
    • H01S5/423Arrays of surface emitting lasers having a vertical cavity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0011Arrangements for eliminating or compensation of measuring errors due to temperature or weight
    • G01B5/0014Arrangements for eliminating or compensation of measuring errors due to temperature or weight due to temperature
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/04Processes or apparatus for excitation, e.g. pumping, e.g. by electron beams
    • H01S5/042Electrical excitation ; Circuits therefor
    • H01S5/0428Electrical excitation ; Circuits therefor for applying pulses to the laser
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/06Arrangements for controlling the laser output parameters, e.g. by operating on the active medium
    • H01S5/068Stabilisation of laser output parameters
    • H01S5/0683Stabilisation of laser output parameters by monitoring the optical output parameters
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/02Structural details or components not essential to laser action
    • H01S5/022Mountings; Housings
    • H01S5/0233Mounting configuration of laser chips
    • H01S5/0234Up-side down mountings, e.g. Flip-chip, epi-side down mountings or junction down mountings
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/06Arrangements for controlling the laser output parameters, e.g. by operating on the active medium
    • H01S5/062Arrangements for controlling the laser output parameters, e.g. by operating on the active medium by varying the potential of the electrodes
    • H01S5/06209Arrangements for controlling the laser output parameters, e.g. by operating on the active medium by varying the potential of the electrodes in single-section lasers
    • H01S5/06216Pulse modulation or generation
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/10Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region
    • H01S5/18Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities
    • H01S5/183Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL]
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/10Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region
    • H01S5/18Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities
    • H01S5/183Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL]
    • H01S5/18305Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL] with emission through the substrate, i.e. bottom emission

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Semiconductor Lasers (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】レーザ光を対象物に照射して測距や物体認識等を行う場合にイメージセンサ側で検出に適した撮像が行われるようにする。【解決手段】光源装置100は、複数のレーザ発光素子2と、駆動部3を備える。駆動部は、レーザ発光素子から出射され被写体Sによって反射された光を受光して撮像するイメージセンサによる撮像データに基づいて設定された、レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する。【選択図】図1

Description

本技術は光源装置、撮像装置、センシングモジュールに関し、特に光源装置から出射する光の反射光を撮像装置で撮像し、距離や形状などのセンシングを行う技術分野に関する。
複数のレーザ発光素子を配置した多灯レーザとしての光源装置を発光させ、検出の対象物による反射光を撮像装置で撮像することにより、対象物までの距離や対象物の3D(three-dimensional:3次元)形状推定を行う距離計測装置の技術が知られている。
下記特許文献1には、複数の発光素子の電流量制御に関する技術が開示されている。
下記特許文献2には、複数の発光素子の温度による光量変化を補正する技術が開示されている。
特開2015−184287号公報 特開2006−2201751号公報
ところで、上記のような距離計測装置において、レーザ発光素子の製造ばらつき、温度の変動、光学系の特性などにより、撮像装置側で得られる画像上の輝点の輝度が均一にならない。
そのため、暗い点に併せて露出(ゲイン・露光時間)を調整すると、明るい点が飽和してしまい、正確な座標を得ることができない。
同様に、明るい点に併せて露出を調整すると、暗い点が写らず、同じく正確な座標を得ることができない。
また、多灯光源を均一に光らせるために、発光素子の電流量・タイミングを制御する技術は存在するが、これらは光路上の光学素子は対象物の反射率を考慮することができず、結果として得られる画像上の輝度において、ばらつきの成分の影響を排除することができない。
そこで本技術は、光源装置からレーザ光を出射し、対象物からの反射光を撮像装置で受光・撮像する場合に、センシングのための適切な撮像データが得られるようにすることを目的とする。
本技術に係る光源装置は、複数のレーザ発光素子と、前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサによる撮像データに基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する駆動部とを備える。
例えば光源装置から出射した光を被写体に反射させ、反射光をイメージセンサで受光・撮像することで、測距や物体認識等を行うことを想定する。このような場合において、複数のレーザ発光素子から均一なパラメータでレーザ照射駆動を行っても、イメージセンサに受光される際には、各レーザ発光素子の特性ばらつきや光経路の事情により、必ずしも均一な受光レベルとはならない。あくまでも、イメージセンサ側で、各種検出に適した状態で受光ができるようにしたい。そこでイメージセンサによる撮像データに基づいて発光パラメータが設定されるようにする。
なお所定単位とは、1つのレーザ発光素子の単位であったり、ブロック化された複数のレーザ発光素子の単位などである。
上記した本技術に係る光源装置においては、前記駆動部は、前記イメージセンサによる撮像データにおける反射光の像の輝度を用いて可変設定された前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動することが考えられる。
即ちイメージセンサで撮像された画像に写る、光源の対象物による反射光の像の輝度を基準として、発光パラメータへフィードバックするシステムとする。
上記した本技術に係る光源装置においては、前記駆動部は、前記イメージセンサによる撮像データの各画素の輝度ばらつきを抑制する方向に可変設定された、前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動することが考えられる。
即ち所定単位毎(例えば個々)のレーザ発光素子の発光パラメータを個別に設定するが、それは、イメージセンサ側で得られる撮像データの各画素の輝度ばらつきを抑制する方向に設定されたものとする。
例えば撮像データにおいて輝度が高い画素に対応するレーザ発光素子のパワーを抑える方向であったり、輝度が低い画素に対応するレーザ発光素子のパワーを上げる方向でのパラメータ設定変更が行われる。
上記した本技術に係る光源装置においては、前記レーザ発光素子は、垂直共振器面発光レーザであることが考えられる。
即ちVCSEL(Vertical Cavity Surface Emitting LASER)と呼ばれる光源装置を想定する。
上記した本技術に係る光源装置においては、前記イメージセンサによる撮像データに基づいて、前記所定単位毎に対応する発光パラメータを生成する制御部を備えることが考えられる。
即ち光源装置内(例えば後編装置としてのチップ内)において、イメージセンサ側の撮像データを解析して、所定単位毎のレーザ発光素子に対応する発光パラメータを生成する制御部を設けるようにする。
上記した本技術に係る光源装置においては、前記制御部は、前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給することが考えられる。
即ちイメージセンサによる撮像データに基づいて、レーザ発光素子の発光パラメータとイメージセンサのセンサパラメータが生成されるようにする。
上記した本技術に係る光源装置においては、前記駆動部は、発光パラメータに応じて、前記所定単位毎にレーザ発光素子の駆動タイミングを制御することが考えられる。
即ち駆動部は、所定単位のレーザ発光素子毎に、発光を行う時点又は時間を可変制御する。
この場合、前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光期間長が可変制御されるようにすることが考えられる。
即ち駆動部は、所定単位のレーザ発光素子毎に、発光期間長が必ずしも均一でないように可変制御する。
また、前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光開始タイミングが可変制御されるようにすることが考えられる。
即ち駆動部は、所定単位のレーザ発光素子毎に、発光開始タイミングが必ずしも同じタイミングでないように可変制御する。
また、前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光終了タイミングが可変制御されるようにすることが考えられる。
即ち駆動部は、所定単位のレーザ発光素子毎に、発光終了タイミングが必ずしも同じタイミングでないように可変制御する。
上記した本技術に係る光源装置においては、前記駆動部は、発光パラメータに応じて、前記レーザ発光素子の所定単位毎の駆動電流量を制御することが考えられる。
即ち駆動部はレーザ発光素子の発光パワーを可変制御する。
また上記した本技術に係る光源装置においては、前記駆動部は、発光パラメータに応じて、前記イメージセンサの1フレーム期間における前記レーザ発光素子の発光回数を制御することが考えられる。
即ち駆動部は1フレーム期間でのレーザ発光素子の発光回数を可変制御する。
上記した本技術に係る光源装置においては、前記レーザ発光素子の近傍温度を検出する温度センサを備え、前記駆動部は、前記温度センサの検出値に基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動することが考えられる。
即ち駆動部は温度変化に応じても、レーザ発光素子の発光タイミング、駆動電流量、或いは1フレーム内の発光回数を可変制御するようにする。
本技術に係る撮像装置は、光源装置の複数のレーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成し、前記光源装置に供給する制御部とを備える。
光源装置から出射した光を被写体に反射させ、反射光をイメージセンサで受光・撮像することで測距や物体認識を行う。このときにイメージセンサ側で例えばばらつきの少ない受光ができるようにレーザ発光素子の所定単位毎に発光パラメータを設定する。
また上記した本技術に係る撮像装置においては、前記制御部は、前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、前記イメージセンサは、センサパラメータに基づいて撮像動作を行うことが考えられる。
即ちイメージセンサによる撮像データに基づいて、レーザ発光素子の発光パラメータとイメージセンサのセンサパラメータが生成されるようにする。
本技術に係るセンシングモジュールは、複数のレーザ発光素子と、複数の前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成する制御部と、前記所定単位毎の発光パラメータに応じて各レーザ発光素子を駆動する駆動部とを備える。
例えば測距や物体認識等を行うセンシングモジュールを構成する。この場合において、所定単位毎にレーザ発光素子の発光パラメータを設定することで、イメージセンサ側の撮像データにおいて適切な露光・撮像ができるようになる。
上記した本技術に係るセンシングモジュールにおいては、前記制御部は、前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、前記イメージセンサは、センサパラメータに基づいて撮像動作を行うことが考えられる。
即ちイメージセンサによる撮像データに基づいて、レーザ発光素子の発光パラメータとイメージセンサのセンサパラメータが生成されるようにする。
また上記した本技術に係るセンシングモジュールにおいては、前記制御部は、前記駆動部が、複数の前記レーザ発光素子につき同じ発光パラメータで発光駆動した状態で、前記イメージセンサにより得られる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成することが考えられる。
つまり全レーザ発光素子を同じ状態で発光駆動させて、その際におけるイメージセンサによる撮像画像を解析して、所定単位のレーザ発光素子毎の発光パラメータを生成する。
上記した本技術に係るセンシングモジュールにおいては、前記制御部は、前記レーザ発光素子の近傍の温度センサの検出結果に基づいて、前記レーザ発光素子の発光パラメータを可変制御することが考えられる。
レーザ発光素子は温度特性を有し、温度によって出力が変化する。そこで温度に応じた動的な発光パラメータ調整も行う。
また上記した本技術に係るセンシングモジュールにおいては、前記制御部は、対象物の検出中におけるイメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光パラメータを可変することが考えられる。
イメージセンサ7側での受光レベルには対象物との距離や対象物の反射率も影響する。そこで、対象物に対する検出中もイメージセンサで得られる撮像データを解析し、発光パラメータ調整を行う。
本技術によれば、イメージセンサ側での撮像画像上の輝度を所望の値に制御することができるようになる。これにより距離や形状のセンシングのための正確な座標検出ができ、センシング性能を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態の測距装置の構成例を示した図である。 STL(Structured Light)方式による測距手法の説明図である。 実施の形態の光源装置の回路構成例を示した図である。 実施の形態の光源装置が備える駆動回路の変形例を示した図である。 実施の形態の光源装置の変形例としての回路構成を示した図である。 実施の形態の光源装置の基板構成例を示した図である。 実施の形態の光源装置の他の基板構成例を示した図である。 実施の形態の光源装置のさらに他の基板構成例を示した図である。 実施の形態の光源装置が備える温度センサの配置例を示した図である。 実施の形態の光源装置が備える発光部の構造例を示した図である。 実施の形態の光源装置が備える発光部の他の構造例を示した図である。 実施の形態の発光期間と露光期間の関係の説明図である。 発光動作による温度上昇の説明図である。 第1の実施の形態の複数発光動作の説明図である。 実施の形態の複数発光に対応するイメージセンサの構成例のブロック図である。 実施の形態の複数発光に対応するイメージセンサの動作タイミングの説明図である。 第1の実施の形態の複数発光動作の変形例の説明図である。 第2の実施の形態の温度に応じた適応的な複数発光動作の説明図である。 第2の実施の形態の第1例のフローチャートである。 第2の実施の形態の第2例のフローチャート及び閾値の説明図である。 第3の実施の形態の面内で異なる露光回数の説明図である。 第4の実施の形態の発光パラメータの個別設定の説明図である。 第4の実施の形態の調整対象となる変動要素の説明図である。 第4の実施の形態の発光駆動の調整例の説明図である。 第4の実施の形態の静的制御の例の説明図である。 第4の実施の形態の動的制御の例の説明図である。 第4の実施の形態のパラメータ調整処理の第1例のフローチャートである。 第4の実施の形態の静的キャリブレーション処理例Iのフローチャートである。 第4の実施の形態の静的キャリブレーション処理例IIのフローチャートである。 第4の実施の形態の静的キャリブレーション処理例IIIのフローチャートである。 第4の実施の形態のパラメータ調整処理の第2例のフローチャートである。 第4の実施の形態のパラメータ調整処理の第3例のフローチャートである。
以下、実施の形態を次の順序で説明する。
<1.測距装置の全体構成>
<2.測距手法について>
<3.発光駆動に係る回路構成>
<4.基板構成のバリエーション>
<5.VCSELの構造例>
<6.第1の実施の形態:複数回発光>
<7.第2の実施の形態:温度に応じた適応的な複数回発光>
<8.第3の実施の形態:面内で異なる回数露光>
<9.第4の実施の形態:発光パラメータの個別設定>
<10.パラメータ設定処理例>
<11.まとめ及び変形例>
<1.測距装置の全体構成>
図1は本技術に係る実施の形態としての測距装置1の構成例を示している。
なお、この例では、測距装置1は、光源装置100と撮像装置101を有する構成としている。
図示のように測距装置1は、光源装置100として発光部2、駆動部3、電源回路4、発光側光学系5、温度検出部10を備え、撮像装置101として撮像側光学系6、イメージセンサ7、画像処理部8を備えている。また測距装置1は制御部9を備えている。
制御部9は光源装置100に含まれる場合、撮像装置101に含まれる場合、或いは、光源装置100や撮像装置101とは別体に構成される場合がある。
発光部2は、複数の光源により光を発する。後述するように、本例の発光部2は、各光源としてVCSELによるレーザ発光素子2a(以下、単に「発光素子2a」ともいう)を有しており、それら発光素子2aが例えばマトリクス状等の所定態様により配列されて構成されている。
駆動部3は、発光部2を駆動するための電気回路を有して構成される。
電源回路4は、例えば測距装置1に設けられた不図示のバッテリ等からの入力電圧(後述する入力電圧Vin)に基づき、駆動部3の電源電圧(後述する駆動電圧Vd)を生成する。駆動部3は、該電源電圧に基づいて発光部2を駆動する。
発光部2より発せられた光は、発光側光学系5を介して測距対象としての被写体Sに照射される。そして、このように照射された光の被写体Sからの反射光は、撮像側光学系6を介してイメージセンサ7の撮像面に入射する。
イメージセンサ7は、例えばCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子とされ、上記のように撮像側光学系6を介して入射する被写体Sからの反射光を受光し、電気信号に変換して出力する。
イメージセンサ7は、受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての画像信号を、後段の画像処理部8に出力する。
また、本例のイメージセンサ7は、フレーム同期信号Fsを駆動部3に出力する。これにより駆動部3は、発光部2における発光素子2aをイメージセンサ7のフレーム周期に応じたタイミングで発光させることが可能とされる。
画像処理部8は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。画像処理部8は、イメージセンサ7から入力されるデジタル信号(画像信号)に対して、各種の画像信号処理を施す。
制御部9は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有するマイクロコンピュータ、或いはDSP等の情報処理装置を備えて構成され、発光部2による発光動作を制御するための駆動部3の制御や、イメージセンサ7による撮像動作に係る制御を行う。
制御部9は、測距部9aとしての機能を有する。測距部9aは、画像処理部8を介して入力される画像信号(つまり被写体Sからの反射光を受光して得られる画像信号)に基づき、被写体Sまでの距離を測定する。本例の測距部9aは、被写体Sの三次元形状の特定を可能とするために、被写体Sの各部について距離の測定を行う。
ここで、測距装置1における具体的な測距の手法については後に改めて説明する。
また、制御部9は、電源回路4に対する制御を行う構成とされる場合もある。
温度検出部10は、発光部2の温度を検出する。温度検出部10としては、例えばダイオードを用いて温度検出を行う構成を採ることができる。
温度検出部10による検出信号は、制御部53によって検知されて必要な制御が行われる。但し破線で示すように、温度検出部10の検出信号を駆動部3が検知して、駆動部3が発光部2の発光素子2aの駆動を可変する構成も考えられる。
なお、温度検出部10の構成、及び温度検出部10による温度検出結果に応じて制御部9が実行する具体的な処理については後に改めて説明する。
<2.測距手法について>
測距装置1における測距手法としては、例えばSTL(Structured Light:構造化光)方式やToF(Time of Flight:光飛行時間)方式による測距手法を採用することができる。
STL方式は、例えばドットパターンや格子パターン等の所定の明/暗パターンを有する光を照射された被写体Sを撮像して得られる画像に基づいて距離を測定する方式である。
図2は、STL方式の説明図である。
STL方式では、例えば図2Aに示すようなドットパターンによるパターン光Lpを被写体Sに照射する。パターン光Lpは、複数のブロックBLに分割されており、各ブロックBLにはそれぞれ異なるドットパターンが割当てられている(ブロックB間でドットパターンが重複しないようにされている)。
図2Bは、STL方式の測距原理についての説明図である。
ここでは、壁Wとその前に配置された箱BXとが被写体Sとされ、該被写体Sに対してパターン光Lpが照射された例としている。図中の「G」はイメージセンサ7による画角を模式的に表している。
また、図中の「BLn」はパターン光Lpにおける或るブロックBLの光を意味し、「dn」はイメージセンサ7による撮像画像に映し出されるブロックBLnのドットパターンを意味している。
ここで、壁Wの前の箱BXが存在しない場合、撮像画像においてブロックBLnのドットパターンは図中の「dn’」の位置に映し出される。すなわち、箱BXが存在する場合と箱BXが存在しない場合とで、撮像画像においてブロックBLnのパターンが映し出される位置が異なるものであり、具体的には、パターンの歪みが生じる。
STL方式は、このように照射したパターンが被写体Sの物体形状によって歪むことを利用して被写体Sの形状や奥行きを求める方式となる。具体的には、パターンの歪み方から被写体Sの形状や奥行きを求める方式である。
STL方式を採用する場合、イメージセンサ7としては、例えばグローバルシャッタ方式によるIR(Infrared:赤外線)イメージセンサが用いられる。そして、STL方式の場合、測距部9aは、発光部2がパターン光を発光するように駆動部3を制御すると共に、画像処理部8を介して得られる画像信号についてパターンの歪みを検出し、パターンの歪み方に基づいて距離を計算する。
続いて、ToF方式は、発光部2より発された光が対象物で反射されてイメージセンサ7に到達するまでの光の飛行時間(時間差)を検出することで、対象物までの距離を測定する方式である。
ToF方式として、いわゆるダイレクトToF方式を採用する場合、イメージセンサ7としてはSPAD(Single Photon Avalanche Diode)を用い、また発光部2はパルス駆動する。この場合、測距部9aは、画像処理部8を介して入力される画像信号に基づき、発光部2より発せられイメージセンサ7により受光される光について発光から受光までの時間差を計算し、該時間差と光の速度とに基づいて被写体Sの各部の距離を計算する。
なお、ToF方式として、いわゆるインダイレクトToF方式(位相差法)を採用する場合、イメージセンサ7としては例えばIRイメージセンサが用いられる。
<3.発光駆動に係る回路構成>
図3は、図1に示した発光部2と駆動部3と電源回路4とを有して構成された光源装置100の回路構成例を示している。なお、図3では光源装置100の回路構成例と共に、図1に示したイメージセンサ7と制御部9を併せて示している。
本例では、発光部2と駆動部3と電源回路4は共通の基板(後述する基板B)上に形成されている。ここでは、少なくとも発光部2を含み、発光部2と共通の基板上に形成される構成単位を光源装置100と呼んでいる。
図示のように光源装置100は、発光部2と駆動部3と電源回路4と共に温度検出部10を備えている。
発光部2は、前述したようにVCSELとしての発光素子2aを複数備えている。図3では図示の都合から発光素子2aの数を「4」としているが、発光部2における発光素子2aの数はこれに限らず、少なくとも2以上とされればよい。
電源回路4は、DC/DCコンバータ40を備え、直流電圧による入力電圧Vinに基づき、駆動部3が発光部2の駆動に用いる駆動電圧Vd(直流電圧)を生成する。
駆動部3は、駆動回路30と駆動制御部31とを備えている。
駆動回路30は、発光素子2aごとにスイッチング素子Q1及びスイッチSWを有すると共に、スイッチング素子Q2と定電流源30aとを有している。
スイッチング素子Q1及びスイッチング素子Q2にはFET(field-effect transistor)が用いられ、本例ではPチャンネル型のMOSFET(MOS:metal-oxide-semiconductor)が用いられている。
各スイッチング素子Q1は、DC/DCコンバータ40の出力ライン、すなわち駆動電圧Vdの供給ラインに対して並列の関係に接続され、スイッチング素子Q2は、スイッチング素子Q1に対して並列接続されている。
具体的に、各スイッチング素子Q1及びスイッチング素子Q2は、ソースがDC/DCコンバータ40の出力ラインに接続されている。各スイッチング素子Q1のドレインは、発光部2における発光素子2aのうちそれぞれ対応する一つの発光素子2aのアノードと接続されている。
図示のように各発光素子2aのカソードはグランド(GND)に接続されている。
スイッチング素子Q2は、ドレインが定電流源30aを介してグランドに接続され、ゲートがドレインと定電流源30aとの接続点に接続されている。
各スイッチング素子Q1のゲートは、それぞれ対応する一つのスイッチSWを介してスイッチング素子Q2のゲートに接続されている。
上記構成による駆動回路30においては、スイッチSWがONとされたスイッチング素子Q1が導通し、導通したスイッチング素子Q1に接続された発光素子2aに駆動電圧Vdが印加され、該発光素子2aが発光する。
このとき、発光素子2aには駆動電流Idが流れるが、上記構成による駆動回路30においてはスイッチング素子Q1とスイッチング素子Q2がカレントミラー回路を構成しており、駆動電流Idの電流値は定電流源30aの電流値に応じた値とされる。
駆動制御部31は、駆動回路30におけるスイッチSWのON/OFF制御を行うことで、発光素子2aのON/OFFを制御する。
駆動制御部31は、発光素子2aのON/OFF制御のタイミングやレーザパワー(駆動電流Idの電流値)等を制御部9からの指示に基づき決定する。例えば駆動制御部31は発光パラメータとしてこれらを指定する値を制御部9から受信し、それに応じて発光素子2aの駆動制御を行う。
また駆動制御部31にはイメージセンサ7よりフレーム同期信号Fsが供給されており、これにより駆動制御部31は発光素子2aのONタイミングやOFFタイミングをイメージセンサ7のフレーム周期に同期させることが可能とされている。
なお駆動制御部31がフレーム同期信号Fsや露光タイミングを示す信号をイメージセンサ7に送信する構成とされる場合もある。
さらに、制御部9がフレーム同期信号Fs発光と露光のタイミングを示す信号を駆動制御部31及びイメージセンサ7に送信する構成とされる場合もある。
ここで、図3では、スイッチング素子Q1を発光素子2aのアノード側に設けた構成を例示したが、図4に示す駆動回路30Aのように、スイッチング素子Q1を発光素子2aのカソード側に設けた構成とすることもできる。
この場合、発光部2における各発光素子2aは、アノードがDC/DCコンバータ40の出力ラインに接続されている。
カレントミラー回路を構成するスイッチング素子Q1及びスイッチング素子Q2には、Nチャンネル型のMOSFETが用いられる。スイッチング素子Q2は、ドレイン及びゲートが定電流源30aを介してDC/DCコンバータ40の出力ラインに接続され、ソースは定電流源30aを介してグランドに接続される。
各スイッチング素子Q1は、ドレインが対応する発光素子2aのカソードに接続され、ソースがグランドに接続される。各スイッチング素子Q1のゲートは、それぞれ対応するスイッチSWを介してスイッチング素子Q2のゲートとドレインに接続される。
この場合も駆動制御部31がスイッチSWのON/OFF制御を行うことで、発光素子2aをON/OFFさせることができる。
図5は、変形例としての光源装置100Aの構成例を示している。
光源装置100Aは、電源回路4に代えて電源回路4Aが設けられ、また駆動部3に代えて駆動部3Aが設けられている。
電源回路4Aは、複数のDC/DCコンバータ40を有する(図の例では二つ)。一方のDC/DCコンバータ40には入力電圧Vin1が、他方のDC/DCコンバータ40には入力電圧Vin2が供給される。駆動部3Aは、それぞれが異なるDC/DCコンバータ40から駆動電圧Vdを入力する複数の駆動回路30を備えている。図示のように各駆動回路30においては、定電流源30aに代えて可変電流源30bが設けられている。可変電流源30bは、電流値が可変の電流源とされる。
この場合、発光部2における発光素子2aは、それぞれON/OFF制御される駆動回路30が異なる複数の発光素子群に分けられる。
この場合の駆動制御部31は、各駆動回路30におけるスイッチSWのON/OFF制御を行う。
この光源装置100Aのように、少なくともDC/DCコンバータ40と駆動回路30の組を複数系統に分けた構成とすることで、系統ごとに発光素子2aの駆動電流Idを異なる値とすることができる。例えば、系統ごとに駆動電圧Vdの電圧値、及び可変電流源30bの電流値を異ならせることで、系統ごとに駆動電流Idの値を異ならせることができる。また、DC/DCコンバータ40が駆動電流Idについて定電流制御を行う構成であれば、各DC/DCコンバータ40間でそれぞれ定電流制御の目標値を異ならせることで、系統ごとに駆動電流Idの値を異ならせることもできる。
図5のような構成を採る場合には、発光部2における発光強度分布や温度分布等に応じて系統ごとに駆動電圧Vdや駆動電流Idの値を異ならせることが考えられる。例えば、発光部2における温度が高い箇所に対応した系統について駆動電流Idを増やし且つ駆動電圧Vdを上げる等が考えられる。
<4.基板構成のバリエーション>
ここで、光源装置100としては、図6乃至図8に示す構成とすることができる。
光源装置100としては、図6Aに示すように、発光部2としての回路が形成されたチップCh2と、駆動部3としての回路が形成されたチップCh3と、電源回路4が形成されたチップCh4とを同一の基板B上に形成した構成とすることができる。
また、駆動部3と電源回路4は、同一のチップCh34に形成することもでき、その場合、光源装置100は、図6Bに示すようにチップCh2とチップCh34とを同一の基板B上に形成した構成とすることもできる。
また、チップChに対して他のチップChを搭載した構成とすることもできる。
その場合、光源装置100としては、例えば図7Aのように、チップCh2を搭載したチップCh3とチップCh4とを基板B上に形成した構成や、図7BのようにチップCh2とチップCh4とを搭載したチップCh3を基板B上に形成した構成、或いは、図7CのようにチップCh2を搭載したチップCh34を基板B上に形成した構成とすることができる。
また、光源装置100は、イメージセンサ7を含む構成とすることもできる。
例えば、図8Aでは、チップCh2、チップCh3、チップCh4と共に、イメージセンサ7としての回路が形成されたチップCh7を同一の基板B上に形成した光源装置100の構成を例示している。
また、図8Bでは、チップCh2を搭載したチップCh34とチップCh7とを同一の基板B上に形成した光源装置100の構成を例示している。
なお、前述した光源装置100Aについても、図6乃至図8で説明したものと同様の構成を採ることが可能である。
ここで、温度検出部10について、ダイオード等の温度検出素子は、例えば図6A、図6B、図8AのようにチップCh2が基板B上に形成されている場合には、基板BにおけるチップCh2の近傍位置(例えば基板B上におけるチップCh2の側方位置等)に形成すればよい。
また、図7A乃至図7Cや図8BのようにチップCh2が他のチップChに搭載された構成においては、温度検出素子は該他のチップChにおけるチップCh2の近傍位置(例えばチップCh2の真下となる位置等)に形成すればよい。
温度検出部10は、ダイオード等の温度検出素子を有する温度センサ10aを複数有する構成とすることもできる。
図9は、温度検出部10が複数の温度センサ10aを有する場合における各温度センサ10aの配置例を示している。
この図9の例では、複数の温度センサ10aを一箇所に集中して位置させず、発光素子2aが配列される面に平行な面内において離散的に配置している。具体的に、複数の温度センサ10aは、例えば縦2×横2=4個等の所定個数の発光素子2aで成る発光ブロックごとに一つずつ配置することができる。このとき、各温度センサ10aは、発光素子2aが配列される面に平行な面内において等間隔に配置することもできる。
なお、図9では、9個の発光素子2aに対し4個の温度センサ10aを配置した例を示しているが、発光素子2a、温度センサ10aの配置数はこれに限定されるものではない。
図9の例のように複数の温度センサ10aを離散的に配置することで、発光部2の面内温度分布を検出することが可能となる。また、発光面におけるエリアごとの温度を検出し分けることができ、さらには、温度センサ10aの配置数を増やすことで発光素子2aごとの温度を検出し分けることも可能である。
<5.VCSELの構造例>
続いて、発光部2が形成されたチップCh2の構造例について図10及び図11を参照して説明しておく。
図10は、図6A、図6B、図8Aのように基板B上に形成される場合のCh2の構造例を示し、図11は、図7A乃至図7Cや図8Bのように他のチップCh上に搭載される場合のCh2の構造例を示している。
なお、図10、図11では一例として、駆動回路30が発光素子2aのアノード側に挿入された場合(図3参照)に対応した構造例を示す。
図10に示すように、チップCh2は、各発光素子2aに対応する部分がメサMとして形成されている。
チップCh2は、その基板として半導体基板20が用いられ、半導体基板20の下層側にはカソード電極Tcが形成されている。半導体基板20には、例えばGaAs(ヒ化ガリウム)基板が用いられる。
半導体基板20上において、各メサMには、下層側から上層側にかけて順に第一多層膜反射鏡層21、活性層22、第二多層膜反射鏡層25、コンタクト層26、及びアノード電極Taが形成されている。
第二多層膜反射鏡層25の一部(具体的には下端部)には、電流狭窄層24が形成されている。また、活性層22を含み、第一多層膜反射鏡層21と第二多層膜反射鏡層25とに挟まれた部分が共振器23とされる。
第一多層膜反射鏡層21は、N型導電性を示す化合物半導体で形成され、第二多層膜反射鏡層25はN型導電性を示す化合物半導体で形成されている。
活性層22は、レーザ光を発生させるための層とされ、電流狭窄層24は、活性層22に効率よく電流を注入し、レンズ効果をもたらす層とされる。
電流狭窄層24は、メサMを形成後に、酸化されていない状態で選択酸化が行われ、中心部の酸化領域(又は選択酸化領域という)24aと、酸化領域24aの周囲の酸化されていない未酸化領域24bとを有する。電流狭窄層24においては、これら酸化領域24aと未酸化領域24bとにより電流狭窄構造が形成され、未酸化領域24bとしての電流狭窄領域に電流が導電する。
コンタクト層26は、アノード電極Taとのオーミック接触を確実にするために設けられている。
アノード電極Taは、コンタクト層26上において、基板Bを平面視した際に例えば環状(リング状)等の中央部が開口された形状により形成されている。コンタクト層26において、上部にアノード電極Taが形成されてない部分は開口部26aとされている。
活性層22で発生した光は、共振器23内を往復した後、開口部26aを介して外部に出射される。
ここで、チップCh2におけるカソード電極Tcは、基板Bにおける配線層に形成されたグランド配線Lgを介してグランドに接続される。
また、図中において、パッドPaは、基板B上に形成されたアノード電極用のパッドを表している。このパッドPaは、基板Bの配線層に形成された配線Ldを介して、駆動回路30が有する何れか一つのスイッチング素子Q1のドレインと接続されている。
図中では、一つの発光素子2aのみについて、アノード電極Taが、チップCh2上に形成されたアノード配線La、ボンディングワイヤBWを介して一つのパッドPaに接続されることを示しているが、基板Bには発光素子2aごとのパッドPa及び配線Ldが形成され、またチップCh2上には発光素子2aごとのアノード配線Laがそれぞれ形成されており、個々の発光素子2aのアノード電極Taは、それぞれ対応するアノード配線La及びボンディングワイヤBWを介して対応するパッドPaに接続される。
続いて、図11の場合、チップCh2としては裏面照射型のチップCh2を用いる。すなわち、図10の例のように半導体基板20の上層側方向(表面方向)に光を出射するのではなく、半導体基板20の裏面方向に光を出射するタイプのチップCh2を用いる。
この場合、アノード電極Taには、光出射用の開口は形成されず、コンタクト層26に開口部26aは形成されない。
駆動部3(駆動回路30)が形成されたチップCh3(又はチップCh34:以下、図11の説明において同様)においては、発光素子2aごとに、アノード電極Taとの電気的接続を行うためのパッドPaが形成されている。チップCh3の配線層には、パッドPaごとに配線Ldが形成されている。図示は省略したが、これら配線Ldにより、各パッドPaは、チップCh3内に形成された駆動回路30における対応する一つのスイッチング素子Q1のドレインと接続される。
また、チップCh2において、カソード電極Tcは、それぞれ配線Lc1、配線Lc2を介して電極Tc1、電極Tc2と接続されている。電極Tc1、電極Tc2は、それぞれチップCh3に形成されたパッドPc1、パッドPc2と接続するための電極とされる。
チップCh3の配線層には、パッドPc1と接続されたグランド配線Lg1、パッドPc2と接続されたグランド配線Lg2が形成されている。図示は省略したが、これらグランド配線Lg1、Lg2はグランドに接続されている。
チップCh2における各アノード電極TaとチップCh3における各パッドPaとの接続、及びチップCh2における電極Tc1、電極Tc2とチップCh3におけるパッドPc1、パッドPc2との接続はそれぞれ半田バンプHbを介して行われている。
つまり、この場合におけるチップCh2のチップCh3に対する実装は、いわゆるフリップチップ実装により行われている。
<6.第1の実施の形態:複数回発光>
第1の実施の形態の動作として、光源装置100における複数回発光について説明する。ここで言う複数回とは、撮像装置101側の1フレーム、即ちイメージセンサ7における1枚の画像の露光、撮像の期間である1フレームにおいて、発光部2が複数回の発光を行うという意味である。
まず発光部2とイメージセンサ7において、発光と露光が同期されていることについて説明する。
図12は発光部2の発光素子2aの発光期間Tpとイメージセンサの露光期間Trを示している。ここでは1フレーム期間Tfに1回の発光及び1回の露光を行う例としている。
1フレーム期間Tfにおいて、露光期間Trの長さはイメージセンサ7側で可変である。例えば輝度が足りない場合は長く、また飽和を避けるためには短くすると行った調整は可能である。
但し本実施の形態の測距装置1の場合、露光期間Trと発光期間Tpは同期制御されることが前提となる。これは、測距装置1としては、あくまでレーザ光の被写体Sからの反射光を撮像したいためであり、換言すれば、発光部2からのレーザ光以外の周囲光はノイズであるためである。つまり発光期間Tpではないときに露光を行うことは避けたい。
そのため例えば図示のように発光期間Tpと露光期間Trは略一致されるようにしている。このため駆動部3とイメージセンサ7との間では図1に示したように同期信号Fsが用いられて、発光期間Tpと露光期間Trが規定される。
なお発光期間Tpと露光期間Trが完全に一致することが望ましいが、図12では、発光期間Tpより露光期間Trがわずかに長くなっている。これは若干のマージンを持つようにして、発光期間Tpをカバーして露光を行うようにした一例である。発光期間Tpにおいて露光を行うが、発光期間Tp以外はなるべく露光を行わないことが望ましいことには変わりはないためマージン期間を短くしている。
また場合によっては、露光されない無駄なレーザ出力期間が若干生ずることにはなるが、発光期間Tpよりも露光期間Trを短くしてもよい。つまり露光期間Tr中は継続して発光しているようにするものである。
このように、必ずしも発光期間Tpと露光期間Trが完全に一致する必要はないが、説明上は、発光期間Tpと露光期間Trが対応して略一致するように設定されることを、「同期」している状態であるとする。
このような同期がとられることを前提とすると、その期間の調整には制限が生ずる場合がある。
図13は発光期間Tpの波形に対応させて、イメージセンサ7での露光及び電荷蓄積の状態、及び発光素子2aの温度を示している。
図示のように、発光期間Tpでは発光素子2aの温度は上昇していき、発光が止まるとともに発光素子2aの温度は低下していく。これは発光期間Tpが長くなるほど、温度上昇が顕著なることを示している。
ここで撮像データの輝度が足りないような状況を考える。何らかの事情で検出のために必要な画素で輝度値が低く、良好なセンシングができないような場合である。
このような場合、露光期間Trを長くすることが考えられるが、すると同期制御のため、発光素子2aの発光期間Tfも長くすることになる。換言すれば発光期間Tpも長くしなければ露光期間Trを長くする意味が生じない。
発光素子2aで長時間発光を続けた場合、発光部2では発熱により温度が上昇し、発光効率の低下、ならびに高温による発振停止に陥ってしまうおそれがある。
このような事情から、光源側の発熱により露光する時間長の上限が決まってしまい、このため十分な露光ができず、撮像データから正確な座標検出ができないことなどによりセンシング精度が低下する場合も生じる。
そこで本実施の形態では、所望の露光時間を実現しつつ、光源の温度上昇を抑えることができるようにする。
即ち1回の撮像データを得るために、発光部2では1フレームにおいて複数回の発光を行い、イメージセンサ7でその複数回の反射光を蓄積することによって生成された、1枚の撮像データ(画像)を用いて被写体Sの測距や3D形状を推定するようにする。
換言すれば、所望の露光時間を実現するにあたり、光源の発熱を抑えるために複数回の発光に分割し、露光タイミングを同期させることによって、得られる画像を同等とするものである。
図14に複数回発光の動作を示している。
図14では発光素子2aにおいて1フレーム期間Tfに、発光期間Tp1、Tp2として2回の発光を行う例を示している。例えば発光期間Tp1、Tp2を合わせた期間長が、図13の発光期間Tpに略相当する長さであるとする。
イメージセンサ7側では、この発光期間Tp1、Tp2に同期して露光期間Tr1、Tr2が設定され、露光及び電荷蓄積を行う。図では電荷が蓄積される様子を実線で示している。
発光素子2aの温度については、上述のように発光中に上昇し発光停止と共に低下するため、発光期間Tp1、Tp2の期間に上昇するが、発光期間Tp1、Tp2の終了とともに低下する。発光期間Tp1、Tp2が比較的短いことから、温度上昇が比較的早く終了して温度低下にうつることが繰り返されることになる。
これにより、発光部2の温度上昇は抑えられ、かつイメージセンサ7側では十分な時間の電荷蓄積ができる。従って撮像データに輝度不足があったとしてもそれを解消できる。
分割的な露光を行うために、イメージセンサ7では、例えば図15のような構成を採ることが考えられる。
イメージセンサ7は、光電変換部51、電荷保持部52、読出制御部53、読出アンプ54、初期化ゲート55,56、転送ゲート57、読出ゲート58、A/D変換器59を有するものとする。
光電変換部51には被写体からの反射光を露光する光電変換素子が配列されている。光電変換部51に対しては、初期化ゲート55により電圧VDDの供給のオン/オフが制御され初期化が行われる構成とされている。
光電変換部51から読み出される電荷(光電子)は転送ゲート57を介して電荷保持部52に供給される。電荷保持部52は、光電変換部51の各光電変換素子(各画素)の電荷を一時的に保持する。電荷保持部52に対しては、初期化ゲート56により電圧VDDの供給のオン/オフが制御され初期化が行われる構成とされている。
電荷保持部52で保持された各画素の電荷は転送ゲート58を介して読み出され、読出ゲート58で増幅(ゲインコントロール)の処理を施された後、A/D変換器59でデジタルデータに変換され、1フレームの撮像データDTとして図1の画像処理部8に出力される。
ここで読出制御部53が各ゲートを図16のように制御することで、図14のような複数回発光に対応した露光が実現される。
読出制御部53は、まず時点t0に、初期化ゲート55,56により光電変換部51及び電荷保持部52を初期化させる。
初期化後、露光期間Tr1としての光電変換部51での露光が行われる。
時点t1で読出制御部53は転送ゲート57を制御して、光電変換部51において露光期間Tr1に蓄積された各画素の電荷を電荷保持部52に転送させる。
但しこのとき読出制御部53は、読出ゲート58については開けないことで、光電変換部51から転送された電荷は電荷保持部52に保持されるようにしている。
その後、時点t2で読出制御部53は、初期化ゲート55を制御して光電変換部51を初期化させる。このとき電荷保持部52については初期化しない。
この光電変換部5の初期化後、露光期間Tr2としての光電変換部51での露光が行われる。
時点t3で読出制御部53は転送ゲート57を制御して、光電変換部51において露光期間Tr2に蓄積された各画素の電荷を電荷保持部52に転送させる。電荷保持部52では、露光期間Tr1に加えて露光期間Tr2の電荷が保持されることになる。
読出制御部53は時点t4で読出ゲート58を制御して、電荷保持部52に保持された各画素の電荷を読出アンプ54に出力させる。
以上の動作により、露光期間Tr1,Tr2という2回の露光による電荷が、1枚の画像を構成する1フレームの撮像データDTの各画素データとして出力されることになる。
なお、露光期間Tr1と露光期間Tr2間(時点t1から時点t2)に発生した光電子は、時点t2で初期化ゲート55を解放することにより、電荷保持部52へは蓄積せず、電圧VDDラインへ捨てる。この制御により、電荷保持部52に蓄積される電荷は、発光期間Tp1,Tp2に発生した光電子のみとなり、得られる画像は、発光期間Tp1,Tp2の期間を連続させた場合と同等になる。
一方で、発光期間Tp1,Tp2で分割されることで発光素子2aの発光継続時間は短くなるため、発熱による温度上昇のピークは下がり、発光効率が改善する。
ところで図14では1フレーム期間Tfに2回の発光及び露光を行う例を述べたが、もちろん2回に限られるものではない。
図17には1フレーム期間Tfに3回の発光が行われる場合を示している。即ち発光素子2aでは発光期間Tp1、Tp2、Tp3の発光が行われ、イメージセンサ7では露光期間Tr1、Tr2、Tr3の露光が行われる。
この場合、発光素子2aの温度については、発光期間Tp1、Tp2、Tp3がそれぞれ比較的短いことから、温度上昇が比較的早く終了して温度低下にうつる。従って温度上昇はより効果的に抑制される。
例えば仮に1フレーム期間Tfでの総発光期間長(図17のTp1+Tp2+Tp3)が、図14の総発光期間長(図14のTp1+Tp2)と同等だとすると、温度上昇は図17の3回発光の方が図14の2回発光の場合よりも抑えられることになる。
つまり、1回の発光期間を短くし、1フレーム期間Tfにおける発光回数を増やすほど、温度上昇の抑制には有利になると考えられる。
従って、1フレーム期間Tfにおいて4回、5回、さらにはより多数の回数で分割的に発光及び露光を行うことが考えられる。例えば50回、100回、或いはそれ以上といった回数も想定される。
このような1フレーム期間Tfにおける複数回発光及び複数回露光は、測距装置1のセンシング中に常時行うようにすることが考えられる。このようにすることで、常時温度上昇を抑制できるセンシングが可能となる。
また、1フレーム期間Tfにおける1回の継続的な発光及び露光と、1フレーム期間Tfにおける複数回発光及び複数回露光を切り替えることも考えられる。
例えば或る所定の露光時間長以内の露光で撮像が良好にできる場合は、1フレーム期間Tfにおける1回の継続的な発光及び露光を行う。
一方で、光量が足りないなどにより露光時間を長くしたい場合は、1フレーム期間Tfにおける複数回発光及び複数回露光に切り替えて、1フレーム期間Tf内での露光時間量を長くしつつ、発光部2側の温度上昇が大きくならないようにすることも考えられる。
さらに1フレーム期間Tfにおける複数回発光及び複数回露光を行う場合に、その回数を切り替えることも考えられる。
例えば上記のように常時1フレーム期間Tfにおける複数回発光及び複数回露光を行う場合、或いは1フレーム期間Tfにおける1回発光及び露光から切り替えて複数回発光及び露光を行うような各場合において、必要に応じて例えば2回発光・露光と、3回発光・露光の切替を行うような動作である。
例えば露光時間を或る閾値以内の値にするときは2回発光・露光とし、その閾値以上に長くしたいときは3回発光・露光とするなどである。もちろん、2回、3回というのは一例で、それ以上の回数が実行されるものでもよい。
また1フレーム期間Tfにおける複数回発光・露光は、特に温度上昇を抑制することから、次に説明するように、温度状況に応じて切替制御を行うことも考えられる。
また、以上の複数回発光制御の際に、1フレーム期間Tfにおける複数回発光について、発光期間Tp1,Tp2の間隔(非発光期間の長さ)を制御するようにすることも考えられる。非発光期間は温度が低下する期間であるため、温度の低下が確実に行われるように、発光間隔を制御しても良い。
例えば発光間隔(非発光期間)として、最低限の長さを確保するようにしたり、温度検出部10による温度の検出信号を確認して、所定温度以下になったことを条件として次の発光期間Tpに移るなどである。
もちろんこのような非発光期間の制御は、発光期間Tp1,Tp2・・・の各タイミングを規定するパラメータ制御によっても可能である。
<7.第2の実施の形態:温度に応じた適応的な複数回発光>
以下、第2の実施の形態として、温度に応じて適応的な複数回発光・露光を制御する例を説明する。
まず温度に応じた適応的な複数回発光の第1例を説明する。
図18Aは、先に図13に示したような、1フレーム期間Tfにおける1回の発光・露光を行う場合を示している。即ち1フレーム期間Tfに発光期間Tp、露光期間Trとして継続的な発光・露光を行う。発光素子2aの温度の上昇は比較的高い。
これに対して図18Bは、温度に応じて発光・露光が中断及び再開されることで、発光素子2aの温度の上昇を抑制した状態を示している。
即ち図18Bにおいては1フレーム期間Tfにおいて、発光期間Tp1、Tp2、Tp3、露光期間Tr1、Tr2、Tr3として3回の分割的な発光・露光が行われている。
特に駆動部3又は制御部9は、発光期間Tp1において温度検出部10による温度を監視し、発光素子2aの駆動を制御する。
例えば発光素子2aの温度が温度閾値th1に達したことをもって、駆動部3による発光素子2aの発光は中断される。その後、発光素子2aの温度が温度閾値th2にまで低下したことが検知されたら、駆動部3による発光素子2aの発光が再開される。即ち発光期間Tp2が開始される。
発光期間Tp2も同様に、発光素子2aの温度が、温度閾値th1に達したことをもって中断される。またその後発光素子2aの温度が温度閾値th2にまで低下したことを検知したら、発光を再開させる。即ち発光期間Tp3が開始される。
ここで、例えば図18Aの発光期間Tpの長さを発光期間長TpGとするとき、図18Bの発光期間Tp1、Tp2、Tp3は、Tp1+Tp2+Tp3=TpGとなるようにする。即ち、発光期間長TpGが設定されている場合において、分割的な発光の総期間長が、その発光期間長TpGとなるようにする。
このため、発光期間Tp3については、発光期間Tp1、Tp2、Tp3の合計の発光時間が発光期間長TpGに達したことをもって終了されるようにしている。
もちろんこの図18Bの場合、各発光期間Tp1、Tp2、Tp3に同期して、イメージセンサ7での露光期間Tr1、Tr2、Tr3が制御される。
なお、図では3回の発光・露光が行われる例としたが、あくまで温度状況に応じて発光の中断、再開、及び発光期間長TpGの管理が行われるため、3回とは限られず、そのときの温度状況で発光・露光の回数は変動することも考えられる。
このような発光の中断・再開の制御は、温度検出部10による検出信号に応じて、例えば駆動部3内のロジック回路等で制御が行われるようにし、そのタイミングをイメージセンサ7に伝えるようにてもよいし、制御部9によって温度検出部10による温度の検出信号を監視し、駆動部3及びイメージセンサ7を同期制御するようにしてもよい。
図19では、例えば制御部9が1フレーム期間Tf内での発光の中断、再開、終了のタイミング制御を行う場合の処理例を示す。同等の処理を駆動部3が行っても良い。
制御部9は図19のステップS101で、まず1フレーム期間Tfにおける総発光時間となる発光期間長TpGを設定する。
そして制御部9は、フレーム同期信号により1フレームの開始タイミングを検知するたびに、ステップS102からS103に進む。
ステップS103で制御部9は、発光部2の発光を開始させるように駆動部3に指示する。また制御部9はステップS104で発光時間のカウントを開始する。
ステップS105で制御部9は、カウントしている発光時間の値が、発光期間長TpGに達したか否かを確認する。
カウントしている発光時間の値が発光期間長TpGに達していなければ、制御部9はステップS106で、温度検出部10による温度の検出信号を確認し、現在の温度(発光素子2aの温度)TMPが温度閾値th1以上となったか否かを確認する。
現在の温度TMPが温度閾値th1に達していない場合は、制御部9はステップS105,S106の監視を続ける。
現在の温度TMPが温度閾値th1以上となったことを検知した場合は、制御部9はステップS106からS107に進み、発光中断制御を行う。即ち駆動部3に発光部2の発光を中断させると共に、イメージセンサ7に露光の中断を指示する。
発光中断制御を行った後は、制御部9はステップS108で、温度検出部10による温度の検出信号を確認し、現在の温度TMPが温度閾値th2以下となったか否かを確認する。現在の温度TMPが温度閾値th2以下に下がるまでは、そのまま中断状態が続けられることになる。
現在の温度TMPが温度閾値th2以下となったことを検知した場合は、制御部9はステップS108からS109に進み、発光再開制御を行う。即ち駆動部3に発光部2の発光を再開させると共に、イメージセンサ7に露光の再開を指示する。
そして制御部9はステップS105,S106の監視に戻る。
ステップS105でカウントしている発光時間の値が、発光期間長TpGに達したことを検知したら、制御部9はステップS110に進み、現在のフレーム期間Tf内での発光・露光を終了させるように駆動部3及びイメージセンサ7に指示する。
そして制御部9は発光時間のカウンタをリセットし、ステップS102に戻って、次のフレームの開始タイミングを待機する。
なおこの待機期間において、ステップS112でセンシング終了となったら、その時点でこの図19の制御を終える。
また例えば輝度不足その他の何らかの条件により、露光時間を長くしたいなどの状況が生じた場合、それに応じて制御部9は発光期間長TpGを変更することになる。制御部9は各種事情で発光期間長TpGを変更することになった場合は、ステップS113からS101に戻り、発光期間長TpGの設定変更を行う。
以上の図19の制御が行われることで、図18Bに示したように、温度状況に応じて1回の発光継続時間が制御され、これによって1フレーム期間Tfにおける複数回の発光・露光が行われる動作が実行されることになる。
なお、以上の動作の場合、温度が温度閾値th1以上に高くなることが頻発する状況では、1フレーム期間内に総発光時間が発光期間長TpGに達することができないような状況が生ずる可能性がある。そのようなことが生じないように温度閾値th1,th2が適切な設定されることが望ましい。或いは、測距装置1として、撮像の1フレーム期間Tfが必ずしも固定でなくてもよいということを考えれば、1フレーム期間Tfが変動されるようにして、現在の温度TMPに応じた図19の制御を優先させてもよい。
続いて、温度に応じた適応的な複数回発光を行う処理の第2例を説明する。
これは、1フレーム期間Tfにおける1回発光、2回発光、3回発光を温度状況に応じて切り替える例である。
図20Aに制御部9による制御例を説明する。
制御部9はステップS150で、1フレーム期間Tfにおける1回発光として発光及び露光を開始させる。例えば図13のような動作を実行させる。
なお、このような開始時点で後述するフラグFT1、FT2はオフとされている。フラグFT1は2回発光を行っている状態を示すフラグで、フラグFT2は3回発光を行っている状態を示すフラグである。
制御部9はステップS151ではセンシングの終了を監視する。
制御部9はステップS152で、温度検出部10による温度の検出信号により現在の温度TMP(発光素子2aの温度)を確認する。
そして制御部9はステップS153,S154,S155,S156で、現在の温度又はフラグ状況を監視する処理を行う。
ステップS153では、フラグFT2がオフのときに、現在の温度TMPが或る温度閾値thT20以上となっているか否かを確認する。
ステップS154では、フラグFT2がオンであるか否かを確認する。
ステップS155では、フラグFT1がオフのときに、現在の温度TMPが或る温度閾値thT10以上となっているか否かを確認する。
ステップS156では、フラグFT1がオンであるか否かを確認する。
フラグFT1がオフで現在の温度TMPが或る温度閾値thT10より高い場合は、制御部9はステップS155からS164に進み、1フレーム期間Tfに2回発光を行う動作に切り替える制御を行う。
即ち制御部9は、次のフレームから、駆動部3には図14のような発光期間Tp1,TP2の2回発光を実行するように指示し、イメージセンサ7には露光期間Tr1,Tr2の2回露光を行うように指示する。
そしてステップS165で制御部9は、フラグFT1をオンとする。
このフラグFT1がオンの期間は、制御部9はステップS153又はS156の監視を行うことになる。
2回発光に切り替えることによって、温度上昇が抑えられることから、現在の温度TMPが低下することが考えられる。
そのためフラグFT1がオンの場合、制御部9はステップS156からS166に進み、現在の温度TMPが温度閾値th10u以下となったか否かを判断する。
ここで温度閾値th10uとは、図20Bに示すように、2回発光への移行のための温度閾値th10より若干低い温度とする。
もし現在の温度TMPが温度閾値th10u以下となっていたら、制御部9はステップS167に進み、1フレーム期間Tfにおける1回発光に切り替える制御を行う。
即ち制御部9は、次のフレームから、駆動部3には図13のような発光期間Tpの1回発光を実行するように指示し、イメージセンサ7には露光期間Trの露光を行うように指示する。
そしてステップS168で制御部9は、フラグFT1をオフとする。
なお、温度閾値th10uが温度閾値th10より若干低い温度とされていることで、2回発光と1回発光が頻繁に切り替わるような事態が防止される。
フラグFT1がオンで2回発光を行っている期間においても温度がさらに上昇することもあり得る。そこで制御部9はステップS153で、現在の温度TMPが温度閾値th20以上となったか否かを監視している。
温度閾値th20とは、図20Bに示すように、温度閾値th10よりもさらに高い温度とする。
現在の温度TMPが温度閾値th20より高くなったら、制御部9はステップS153からS160に進み、1フレーム期間Tfにおける3回発光に切り替える制御を行う。
即ち制御部9は、次のフレームから、駆動部3には図17のような発光期間Tp1,Tp2,Tp3の3回発光を実行するように指示し、イメージセンサ7には露光期間Tr1,Tr2,Tr3の3回露光を行うように指示する。
そしてステップS161で制御部9は、フラグFT2をオンとする。
このフラグFT2がオンの期間は、制御部9はステップS154の監視を行うことになる。
3回発光に切り替えることによって、さらに温度上昇が抑えられることから、現在の温度TMPが低下することが考えられる。
そのためフラグFT2がオンの場合、制御部9はステップS154からS162に進み、現在の温度TMPが温度閾値th20u以下となったか否かを判断する。
ここで温度閾値th20uとは、図20Bに示すように、3回発光への移行のための温度閾値th20より若干低い温度とする。
もし現在の温度TMPが温度閾値th20u以下となっていたら、制御部9はステップS163でフラグFT2をオフとし、さらにステップS164に進んで、1フレーム期間Tfにおける2回発光に切り替える制御を行う。つまり3回発光から2回発光に戻す。このときフラグFT1がオフであればステップS165でオンとすることになる。
なお、温度閾値th20uが温度閾値th20より若干低い温度とされていることで、3回発光と2回発光が頻繁に切り替わるような事態が防止される。
以上のように、温度状況に応じて、1フレーム期間Tfにおける発光・露光の回数が1回,2回,3回のうちで切り替えられる。そしてセンシング終了の時点で制御部9はステップS151からこの図20Aの処理を終了させる。
このようにすることで、複数回発光による温度上昇の抑制が効果的に実行される。また温度上昇が大きくないときは、1回発光・露光が行われることで、センシング動作の制御はシンプルなものとなる。
以上の第2の実施の形態としては、測距装置1において、1回の画像を得るために行う複数回の発光乃至露光を行うタイミングの、発光間隔、1回あたりの発光継続時間、発光回数を制御することにより、光源の発熱を抑え、電力効率を改善することができる。
<8.第3の実施の形態:面内で異なる回数露光>
第3の実施の形態として、イメージセンサ7の露光面に応じて異なる回数の発光・露光が行われる例を説明する。
図21Aでは、オプティカル波形として示すように、発光部2では例えば1フレーム期間Tfに4回の発光(発光期間Tp1,Tp2,Tp3,Tp4)が行われる例を示している。
また発光動作に合わせて、画素G1、画素G2の露光動作として電荷蓄積量の上昇の様子を示している。
画素G1では、発光期間Tp1,Tp2に合わせて、露光期間Tr1,Tr2の露光を行っている。ところが発光期間Tp3,Tp4には露光を行っていない。
画素G2では、発光期間Tp1,Tp2,Tp3,Tp4に合わせて、露光期間Tr1,Tr2、Tr3,Tr4の露光を行っている。
ここで画素G1は例えば図21Bに示すように、イメージセンサ7(光電変換部51)の撮像面の中央付近であって、比較的感度が高い画素であるとする。
一方で画素G2は例えば撮像面の画面端部近傍であって、比較的感度が低い画素であるとする。
感度が高い画素G1では、露光時間を長くすると飽和してしまうような場合、一律で露光時間を短くすると、画素G2で輝度が足りないといった事態が起こることがある。
そこで、画素に応じて、複数回発光に対して何回露光するかを設定できるようにする。これにより画素の感度に差がある場合でも、どの画素でも良好な輝度範囲となる撮像データが得られるようにすることができる。
なお、画素の感度は、画素の特性だけでなく、発光素子2aの特性も影響する。例えば発光部2の中央付近は温度上昇の度合いが端部よりも大きい。VCSELとしてのレーザ発光素子は温度が高いほどパワーが低下するという特性がある。そのため中央部に配置される発光素子2aほど光量が低下することもある。
例えばこのような事情により、イメージセンサ7の撮像面の中央付近で輝度が低下することもあり得る。そのような場合、中央付近の画素G1は露光回数を増やすということも考えられる。
また図21Aでは、画素G3としての例も示しており、この場合、露光期間Tr3では、発光期間Tp3の途中で露光を終えるようにしている。
このように、発光期間にあわせた露光だけでなく、或る発光期間の途中で露光を終了させることで、輝度の均一化を図るような制御も可能である。
以上のように、測距装置1において、光源装置100の複数回の発光に同期した中で、1回あたりの露光継続時間や露光回数をイメージセンサ7の撮像面の中で画素1つ1つ、乃至、いくつかの画素含むブロック毎に個別に制御することによって、イメージセンサ7で撮像される画像上に写る光源の被写体Sによる反射光の像の輝度を制御するように構成することができる。
<9.第4の実施の形態:発光パラメータの個別設定>
続いて第4の実施の形態として、発光パラメータの個別設定について述べる。
光源装置100で多数の発光素子2aを発光させ、その反射光を撮像装置101で撮像することにより距離を測定する測距装置1において、レーザ(発光素子2a)の製造ばらつき、温度の変動、光学系の特性により、必ずしも得られる画像上の輝点の輝度が均一にならない。
例えば図22Aは、発光素子X、Yとして、スタートタイミングTst、エンドタイミングTedで規定される発光期間Tpだけ発光させるとする。イメージセンサ7側では、これに同期した露光期間Trで露光を行う。なおこの場合も「同期」の意味は上述のとおりである。
ここで、発光素子X、Yとは、多数の発光素子2aのうちで、説明上で参照する或る2つの発光素子2aのサンプルであるとする。
この図22Aでは、発光素子X、Yに対して、同じパラメータで駆動制御しているにもかかわらず、製造ばらつきや温度分布、寄生抵抗などにより発光強度PW1,PW2を等しくできないことを示している。
このような発光強度のばらつきに加えて、さらに図23に示すようにイメージセンサ7に届く光量に影響を与える要素がある。
即ち発光側光学系5の透過率の空間分布、測距装置1から被写体Sまでの距離や被写体Sの反射率、撮像側光学系6の透過率の空間分布、イメージセンサ7の感度の入射角依存などである。
このような状況で照らされた被写体Sの反射光をイメージセンサ7で撮像した様子を図22Bに模式的に示している。図示のように、各画素(又は各画素ブロック毎)に明るさのばらつきとして見えてしまうようになる。
そのため、暗い点に合わせて露出(ゲイン・露光時間)を調整すると、明るい点が飽和してしまい、正確な座標を得ることができない。
同様に、明るい点に合わせて露出を調整すると、暗い点が写らず、同じく正確な座標を得ることができない。
そこで第4の実施の形態としては、多灯光源の1つ1つ、乃至、複数からなるブロック毎に、点灯開始時刻・点灯終了時刻、或いは電流量を、状況に応じて異なるように制御することにより、撮像された画像上の反射光の輝度を、所望の量に調整する。
特にその際、電流のON/OFFのタイミングや電流量を決定するために、2次元的に分布した光源を、2次元イメージとしてイメージセンサ7で撮像し、その像における明るさが所望の状態になるように各光源のブロック毎の電流或いは発光時間、又はその両方を制御するようにする。
この場合、発光部2からイメージセンサ7の光路上に発光側光学系5、被写体S、撮像側光学系6が入るため、多灯光源の製造ばらつきのみならず、上記光路上の各構成要素に起因する変動分も考慮した制御が可能となる。
そして本実施の形態の考え方は、発光部2において所望の明るさで光る、ということを目指すのではなく、イメージセンサ7側で所望の写り方をする、ということを目指して制御する。
図22Cは発光素子X、Yの発光タイミングを個別に制御する一例を示している。
発光素子XはスタートタイミングTst1、エンドタイミングTed1により発光制御する。発光素子YはスタートタイミングTst2、エンドタイミングTed2により発光制御する。これにより発光素子X、Yの発光期間TpX、TpYの長さが異なるものとなる。
このように、発光素子2a毎(もしくは所定のブロック毎)に、発光期間Tpの長さを設定することで、図22Dに示すように、イメージセンサ7で撮像される撮像データの画素間(又は画素ブロック間)で、輝度のばらつきが生じないようにする。
換言すれば、撮像データの画素間での輝度ばらつきが生じないように、発光素子X、Yの発光タイミングを制御するものとなる。
図22Cの例は一例である。
図24に各種の制御例を示す。
図24Aは、比較のために示したもので、発光素子X、Yを同一のスタートタイミングTst、エンドタイミングTedで発光させる例である。
図24Bは、発光素子X、YのスタートタイミングTst1,Tst2をずらし、またエンドタイミングTed1,Ted2をずらした例である。この場合、タイミングをずらす量によって、発光素子X、Yの発光期間TpX,TpYを異なるようにすることができる。
なお、特に撮像データ上で輝度ばらつきに問題ない場合は、スタートタイミングTst1、エンドタイミングTed1に対してスタートタイミングTst2、エンドタイミングTed2を同じ量だけずらすことで、発光期間TpX,TpYを同一にすることもできる。発光素子X、Yにおいて発光の開始・終了のタイミングをずらすことで、駆動部3のチップ内での電源配線における急激な電流変化を回避することができるという利点が得られる。
図24Cは、発光素子X、YにおいてスタートタイミングTstは共通とするが、エンドタイミングTed1,Ted2を必要に応じて異なるタイミングとする例である。
発光期間TpX,TpYを異なるようにすることで、イメージセンサ7側での輝度のばらつきを低減することができる。
また、このようにエンドタイミングTedを調整することにより、光学系(5,6)の透過率の空間分布を相殺するような射出が可能ともなる。さらに被写体Sの反射率の空間分布を相殺するような射出が可能ともなる。さらには測距装置1と被写体Sとの距離の違いを相殺するような射出が可能となる。
図24Dは、発光素子X、YにおいてスタートタイミングTst1,Tst2を固定的にずらしつつ、エンドタイミングTed1,Ted2を必要に応じて異なるタイミングとする例である。
これによっても、上記図24C、図24Bで述べた効果を得ることができる。
なお、図示していないが、発光素子X、Yでは、エンドタイミングTedを共通としてスタートタイミングTst1,Tst2を必要に応じて可変するような制御も考えられる。
さらに、発光素子X、Yで、発光タイミングを同一とするか異なるものとするかにかかわらず、出力レーザパワー(駆動電流量)を異なるようにすることも考えられる。
さらにパラメータ設定としては、先に第1〜第3の実施の形態で述べたような1フレーム期間Tfにおける複数回発光・露光を行うようにすることも考えられる。
複数回発光を行うようにすることで、露光時間が足りない場合に、上述のように温度上昇を抑制しつつ受光光量を上げることができる。従って、発光パラメータによるタイミング制御としては、複数回発光のためのタイミング設定も想定される。
以上のような第4の実施の形態の動作としては、レーザ発光のために駆動部3に与えるパラメータを、イメージセンサ7側の撮像データに応じて可変制御するということになるが、そのパラメータ制御の手法としては、静的パラメータ制御と動的パラメータ制御が考えられる。
静的パラメータ制御とは、固定的な状況に応じてキャリブレーションを行い、パラメータ設定を行うものである。
例えば図25に示すように、まず発光素子X、Yを同じパラメータで発光させる。即ちレーザパワー、スタートタイミングTst、エンドタイミングTedとして同じ値(同じ発光期間Tp)により発光駆動する。
この場合でも、発光素子2aの個々のばらつき、光学系、被写体により、撮像データでの輝度のばらつきが生ずる。そこで、輝度ばらつきを解消するように、発光素子X、Yのパラメータを個別に設定する。例えば電流値を異なるものとしたり、タイミングパラメータを変更して発光期間TpX,TpYを異なるものとする。
一方、動的パラメータ制御とは、センシング中に変化する状況に応じて適応的にパラメータ可変設定を行うものである。
例えば図26に示すように、まず発光部2の初期の温度分布に応じて発光素子X、Yのパラメータを決めて発光させる。なお静的パラメータ制御を行った後であれば、初期の温度分布に応じたパラメータ設定は、それに含まれて行われていると考えることができる。
その後、センシング中に温度変化により輝度ばらつきが生じた場合、輝度ばらつきを解消するように、発光素子X、Yのパラメータを個別に設定する。例えば電流値を異なるものとしたり、タイミングパラメータを変更して発光期間TpX,TpYを異なるものとする。
なお、いずれの場合も、発光パラメータにより発光素子X、Yにおいて発光期間Tpが異なるようにする場合、上述の発光期間と露光期間の同期の点を考えれば、露光期間Trも、それに応じて個別に異なるようにすることが想定される。
但しイメージセンサ7側で、露光期間を個別画素(又はブロック画素)毎に可変制御できない場合は、一番早い複数の発光素子2aに対するパラメータのうちで一番早いスタートタイミングTstから一番遅いエンドタイミングTedまでの期間を露光するように露光期間を設定することが考えられる。
<10.パラメータ設定処理例>
以下、第4の実施の形態におけるパラメータ設定処理例を説明する。以下説明する処理例は制御部9が行う処理であるとする。上述したように制御部9は駆動部3と別体のものでも駆動部3内に設けられるものでもかまわない。
まず図27の処理例では、制御部9はステップS10で静的キャリブレーションとして、上述の静的パラメータ制御を行う。
そして制御部9はステップS11で、静的キャリブレーションにより調整されたパラメータに基づいて発光部2の発光及びイメージセンサ7による撮像が開始されるように、駆動部3及びイメージセンサ7を制御する。
センシングの終了の際には、制御部9はステップS12から処理を終える。
つまりこの図27の処理は、静的パラメータ制御のみを行う処理例である。
ステップS10の静的キャリブレーションとしての処理例I、II、IIIを、それぞれ図28、図29、図30で説明する。
まず図28で静的キャリブレーション処理例Iを説明する。
ステップS200で制御部9は、駆動部3及びイメージセンサ7に対して初期パラメータをセットする。これは、複数の発光素子2aに、全て共通のレーザパワー及び発光期間Tpを指定するパラメータである。
なお、初期パラメータとしては、発光期間Tpの長さが同一であれば、スタートタイミングTst及びエンドタイミングTedをずらしたパラメータとしてもよい。
また初期パラメータとしてはイメージセンサ7側の撮像信号に与えるゲインや露光期間Trもある。上述のように露光期間Trは発光期間Tpと同期したものとなる。
そして制御部9はステップS201で発光制御を行う。即ち制御部9は駆動部3に発光を開始させるとともに、イメージセンサ7において発光に同期した露光を開始させる。
これにより撮像装置101側で撮像データが得られ、制御部9は、撮像データの情報、即ち画素或いは画素ブロック毎の輝度データを確認できる状態となる。
そこでステップS202で制御部9は、撮像データの各画素の輝度の値を取得する。
ステップS203で制御部9は、測距センシングに必要な全ての画素において画素値(輝度値)が検知可能であるか否かを確認する。
なおセンシングに必要な全ての画素とは、レーザ発光による反射光を受光すべき画素の全部という意味で、必ずしも物理的にイメージセンサ7に設けられる全ての画素を指すものではない。以下、図28,図29,図30の説明では、「全ての画素」や「全画素」はこのような意味で用いる。
このステップS203では、制御部9は、全ての画素において少なくともイメージセンサ7のダイナミックレンジ内での受光が実現できているか否かを確認する。
即ち画素値が飽和していることなく、またノイズに埋もれておらず適切な画素値が得られていれば、少なくともセンシング動作が可能であるため、ダイナミックレンジ内であればよいとするものである。
ただし、ステップS203では、より厳しく、全ての画素内が所定の輝度値の範囲内にあることを条件としてもよい。
もし全ての画素が適正に検知可能(飽和しておらず、またノイズに埋もれてもいない)であれば、センシングは可能であるため、制御部9はステップS207として現在のパラメータを記憶して、静的キャリブレーションを終える。例えば初期パラメータで問題ない場合は、その初期パラメータのままで静的キャリブレーションを終えることになる。
一方、全部又は一部の画素において適正な画素検知ができない場合(或いは一部又は全部の画素の輝度値が適切な範囲内とはなっていないとした場合)は、制御部9はステップS204に進み、センサパラメータが調整可能であるか否かを判断する。
ここでは例えばイメージセンサ7における撮像信号に与えるゲインを調整可能であるか否かを判定する。
なお、この場合に露光時間Trを調整することも考えられるが、露光時間Trを調整する場合は、同時に発光期間Tpも合わせて変更することになる。但しこの場合の発光時間Tpの制御は、個別の発光素子2aに対するものではなく、全発光素子2aに対して共通に行うことを想定している。
ゲイン又は露光期間としてセンサパラメータの調整が可能な場合は、制御部9はステップS205に進み、ゲイン又は露光期間の一方又は両方を可変する。
その状態でステップS201、S202、S203の処理を行い、適正な画素検知が実現できたか否かを判定する。
この時点で、ステップS203において全画素の適正な検知が可能になったということは、特に個々の発光素子2aのパラメータを個別に制御するまでもなく、調整ができたことになる。
その場合、制御部9はステップS207で、センサパラメータ調整後の状態のパラメータを、静的キャリブレーション後のパラメータとして記憶する。
ステップS203で全画素検知可能とは判定されない場合において、ステップS204でセンサパラメータの変更不可とされる場合もある。例えばゲインや露光時間が、可変範囲として予め決められた上限又は下限に達している場合である。
そのような場合は、センサパラメータ調整として共通制御できないため、制御部9はステップS206に進み、個別の発光パラメータ調整を行うことになる。
即ち制御部9は、図22Cや図24で示したように発光パラメータを可変する。特には、撮像データの輝度のばらつきに応じて発光パラメータ設定を行う。
例えば輝度が足りない画素(又は画素ブロック)に対応する発光素子2aについては、発光期間Tpが長くなるようにし、また輝度が高すぎる(或いは飽和している)画素(又は画素ブロック)に対応する発光素子2aについては、発光期間Tpが短くなるように、発光パラメータ設定を行う。
また1フレーム期間Tfにおける複数回発光(及び露光)を行うようなパラメータ設定も想定される。
レーザパワーを個別に制御できる構成の場合は、レーザパワーのパラメータを個別に設定してもよい。
そしてその設定したパラメータによりステップS201、S202、S203の処理を行い、適切な画素検知が実現できたか否かを判定する。
特に個別に発光パラメータが設定されることで、飽和画素や輝度不足画素は適切に解消できる。もちろん、再度ステップS203→S204→S206として個別パラメータ設定が行われる場合もあるが、その場合は、個別の発光パラメータ設定及び撮像データの確認が繰り返される。
ステップS203で全画素の輝度が適正に検知可能となった時点で、制御部9はステップS207に進み、その時点の発光パラメータ及びセンサパラメータを、静的キャリブレーション結果のパラメータとして記憶する。
このような処理により、撮像データにおいて画素毎の輝度ばらつきが生じている場合には、まず全体的なパラメータ調整を行い、それでもばらつきが解消できなかったときに個別パラメータ設定が行われることになる。
パラメータ設定が簡易な全体制御が優先されることで処理負荷が軽減される。一方で、大幅なばらつきには個別設定が行われることで対応できる。
次に図29で静的キャリブレーション処理例IIを説明する。なお、すでに処理例Iと同様の処理については同一のステップ番号を付して重複説明を避ける。
これは、センサパラメータの調整より発光パラメータの調整を優先する例である。
ステップS203で全ての画素の輝度値が適正に検知可能とはなっていないと判定された場合、制御部9はステップS210で、発光パラメータ調整が可能か否かを確認する。そして可能であればステップS211に進み、発光パラメータについて全体調整又は個別調整を行う。そしてステップS201,S202,S203の処理を行う。
ステップS210に進んだ時点で、すでに発光パラメータ調整ができない(調整限界となっている場合)は、制御部9はステップS212に進み、センサパラメータ調整を行う。この場合は、イメージセンサ7におけるゲイン調整を行うことになる。
他の処理は処理例Iと同様である。
この図29の処理例IIの場合は、まず個別パラメータ設定が行われるため、撮像データ上での輝度ばらつきが大きい場合でも、効率よく、輝度ばらつきを均一化するようにパラメータ設定が可能である。イメージセンサ7のゲイン調整は補助的に用いられる。増幅時のノイズなどの事情でイメージセンサのゲイン調整をあまり行いたくない場合の処理として好適である。
図30で静的キャリブレーション処理例IIIを説明する。ステップS200〜S207は図28と同様としている。但しステップS203Aとして、ステップS203より厳しい条件としている。即ち単に全ての画素が適正に検知可能というのではなく、全ての画素の輝度値が所定の範囲内という条件としている。これは、ばらつきがより少なくなるまでパラメータ調整を行うことを意味する。
そしてこの処理例IIIでは、ステップS207で静的キャリブレーション結果のパラメータを記憶した後、さらにステップS220〜S223でレーザパワー設定についてのパラメータ調整を行う。
まず制御部9はステップS220で、全ての発光素子2aについて、レーザパワーが1ステップ低下されるように、発光パラメータを変更する。
なお、ここでいう1ステップとは、このステップS220の処理について設定した1段階の下げ幅という意味で、必ずしも設定可能なレーザパワー(駆動電流値)の分解能でいう可変幅に限られるものではない。
そして制御部9はステップS221で、変更した発光パラメータにより発光素子2aが発光するように駆動部3を制御し、ステップS222では、その発光に対応して撮像された撮像データの各画素の輝度値を取得する。
そして制御部9はステップS223で、全ての画素が、所定値以上の輝度値で検知されているか否かを判定する。所定値とは、画像検出・測距センシングに問題ないレベルの輝度値とする。
検知できている場合は、ステップS207に戻り、直前のステップS220で低下させたレーザパワーを含む現在のパラメータを記憶する。
その上で、ステップS220で制御部9は、さらにレーザパワーを1ステップ低下させ、ステップS221,S222,S223の処理を行う。
即ち、ステップSステップS223で全ての画素において所定以上の輝度値が検知されている限り、レーザパワーを下げていく。
もしステップS223で一部の画素で輝度値が所定値未満となったら、その時点で処理を終える。
このとき記憶されているパラメータは、一部の画素で輝度値が所定値未満となる直前であって、全ての画素で輝度値が所定値以上となる場合のパラメータである。つまり、可能な限りレーザパワーを下げた状態を示すパラメータとなっている。
従ってこの図30の処理では、静的キャリブレーションとしては、撮像データの各画素での輝度ばらつきをできる限り抑えた(ステップS203Aで適切とした範囲まで抑えた)うえで、できる限りレーザパワーを低下させるものである。
なお、ステップS223で閾値とする所定値は、検出不能となる値よりある程度のマージンをもって設定されていることが望ましい。
このような処理により、適切なセンシングができる範囲で、できるだけレーザパワーを低下させ、消費電力の削減及び発光効率の向上を図ることができる。
なお図30では、図28の処理を基本としてステップS220〜S223を追加したものとしたが、図29の処理を基本としてステップS220〜S223を追加した処理例も考えられる。
以上の静的キャリブレーション処理例I、II、IIIは、図27のパラメータ設定処理の第1例におけるステップS10として説明したが、このような静的キャリブレーション処理例I、II、IIIを採用できるパラメータ設定処理としての第2例を続いて説明する。
図31はパラメータ設定処理としての第2例を示している。
この処理例では、制御部9はステップS10として静的キャリブレーションを行った後、ステップS21で温度測定を行う。即ち制御部9は温度検出部10による温度の検出信号により現在の温度TMPを確認する。
そしてステップS22で温度対応キャリブレーションを行う。
その後ステップS23で、静的キャリブレーション、さらに温度対応キャリブレーションにより調整されたパラメータに基づいて、発光部2の発光及びイメージセンサ7による撮像が開始されるように、駆動部3及びイメージセンサ7を制御する。
センシング中は、ステップS21,S22,S23を継続的に実行し、センシングの終了の際には、制御部9はステップS12から処理を終える。
つまりこの図31の処理は、静的パラメータ制御に加えて動的パラメータ制御として温度キャリブレーションを行う例である。
ステップS22の温度キャリブレーションとしては、例えば現在の温度TMPに応じて、レーザパワー(駆動電流量)を制御する。
温度が高くなるほど発光効率が落ちることに対応するため、温度上昇に応じて駆動電流量を多くし、発光光量を維持することが考えられる。
なお、この温度対応キャリブレーションでは、全ての発光素子2aについて全体制御として駆動電流量を変化させてもよいが、温度分布に応じて、個別に(ブロック毎に)駆動電流量を制御するものでもよい。
さらにこの場合、上述した1フレーム内の分割的な複数回発光を行うようにパラメータを設定しても良い。
特に温度上昇に応じたものであるため、なるべくそれ以上の温度上昇を避けるために、1フレーム期間Tfにおける複数回発光・露光を行うようにすることで、光量を確保しつつ温度上昇を促進させないという点で好適である。
次にパラメータ設定処理としての第3例を図32で説明する。
ステップS10、S21、S22、S23は図31と同様である。この例では制御部9はステップS24で、撮像データに写った明るさに応じて、発光パラメータ、センサパラメータの一方又は両方の調整を行うものとした例である。
センシング中は、ステップS21,S22,S23,S24を継続的に実行し、センシングの終了の際には、制御部9はステップS12から処理を終える。
つまりこの図32の処理は、静的パラメータ制御に加えて動的パラメータ制御として温度キャリブレーションと被写体Sの反射率に応じたキャリブレーションを行う例である。
発光パラメータ調整としては、被写体Sの反射率や距離の変化に応じて、飽和しない範囲で発光期間やレーザパワーを制御する。これは発光素子2aの全体に対する調整も、個別の調整も考えられる。例えば被写体Sの一部で反射率が高い場合に、それに対応する発光素子2aについて発光期間Tpを短くするなどである。
センサパラメータ調整としては、被写体Sの反射率や距離の変化に応じて、飽和しない範囲でゲイン調整、露光期間調整を行う。
以上の各種の処理例により、静的パラメータ制御、動的パラメータ制御が行われ、これにより輝度ばらつきの少ない撮像データを得、センシング精度を上げることができる。
<11.まとめ及び変形例>
以上の実施の形態では次のような効果が得られる。
実施の形態の光源装置100では、複数のレーザ発光素子2aと、レーザ発光素子2aから出射され被写体Sによって反射された光を受光して撮像するイメージセンサ7による撮像データに基づいて設定された、レーザ発光素子2aの所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子2aを駆動する駆動部3を備えている。
つまり本実施の形態の光源装置100は、個々のレーザ発光素子の出射レーザパワーを均一化するように発光パラメータを調整するのではなく、レーザ照射の結果としてイメージセンサ7の各画素で受光される受光レベルが適切なものとなるように(例えばばらつきを抑えるように)、複数のレーザ発光素子の所定単位毎の(例えば個々の、或いはブロック毎の)発光パラメータを制御する。
従って個々のレーザ発光素子の出射レーザパワーは必ずしも均一化されないが、イメージセンサ側での撮像画像上の輝度を所望の値に制御することができるようになる。これはイメージセンサ7において、必要な検出のための撮像を適切に行うように調整できることを意味する。例えば測距や対象の3D形状推定などのための撮像が的確にできるようになり、もって測距センサの性能を向上させることができる。
駆動部3については、所定単位の発光素子2a毎にそれぞれ設定された発光パラメータで駆動することができ構成であることで、イメージセンサ側の事情に応じて柔軟にレーザ制御が可能となっている。
実施の形態の駆動部3は、イメージセンサ7による撮像データにおける反射光の像の輝度を用いて可変設定された所定単位毎の発光パラメータに応じて、個々のレーザ発光素子を駆動するものとした。
即ちイメージセンサ7で撮像された画像に写る、光源の対象物(被写体S)による反射光の像の輝度を基準として、発光パラメータへフィードバックするシステムとした。
これにより例えば、
・各レーザ発光素子2aのそれぞれの特性ばらつき
・発光側光学系5の光学特性の分布
・対象物(被写体S)の反射特性の分布
・対象物(被写体S)までの距離
・撮像側光学系6の光学特性の分布
・イメージセンサ7の入射角に応じた感度の差
等に応じた制御が可能となる。例えばこれらの影響を打ち消すように制御し、イメージセンサ7で撮像される画像上に写る光源の対象物による反射光の像の輝度が、一様に近づくように制御する測距システムが実現できる。
実施の形態の駆動部3は、イメージセンサ7による撮像データの各画素の輝度ばらつきを抑制する方向に可変設定された、所定単位毎の発光パラメータに応じて、個々のレーザ発光素子を駆動するものである。
例えば撮像データにおいて輝度が高い画素に対応するレーザ発光素子2aのパワーを抑える方向であったり輝度が低い画素に対応するレーザ発光素子2aのパワーを上げる方向でのパラメータ設定変更が行われる。
イメージセンサ7による撮像データに基づいて輝度ばらつきを抑制する方向に各発光パラメータが設定されることで、イメージセンサ7による撮像画像上の輝度を所望の値に制御することができるようになり、有限のダイナミックレンジを持つイメージセンサ7において、検出のための撮像を適切に行うことができる。
このため、例えば露出を暗い点に合わせて設定しても明るい点に合わせて設定しても正しく撮影することができず、正確な座標を得ることができないというような状況を克服することができる。
特にはイメージセンサ7による撮像データの画素における輝度について、イメージセンサ7のダイナミックレンジ内に収まる均一化、さらにはより精度の高い均一化を実現することも可能であり、それは測距センサとしての検出精度の向上につながる。
また、本技術を適用した結果として、「従来手法では暗く写ってしまっていた輝点」に対応する光源の出力を相対的にあげることにつながり、SN比 (signal-noise ratio)を向上させることができる。その結果、イメージセンサ7の露出設定の1つであるゲインを上げてもノイズとの分離が可能である為、露出設定を高ゲインに振ることができる。即ち、露光時間を短く設定しやすくなり、よって、レーザ発光時間も短くすることができ、全体として低消費電力を促進できるという効果もある。
実施の形態のレーザ発光素子2aは、VCSEL(垂直共振器面発光レーザ)であるとした。そしてVCSELとしてのレーザ発光素子2aについて、所定単位毎の駆動を実現するように駆動部3が形成されている。このような構成を設けることで、測距装置1を構成する光源装置100として、フレキシブルな発光を実現し、特に本実施の形態の場合、イメージセンサ7側の事情に応じた制御が可能となる。
なお本開示の技術はVCSELに限らず、他の種のレーザ発光素子を備えた光源装置にも適用できる。
実施の形態では、イメージセンサ7による撮像データに基づいて、所定単位毎に対応する発光パラメータを生成する制御部9を備えているようにしてもよい。
例えば光源装置100内(例えば光源装置100としてのチップ内)において制御部9を設けるようにする。
制御部9が光源装置100としての発光部2,駆動部3と一体化されている(例えば同一チップ内)ようにすることで、所定単位毎の発光パラメータの設定・転送に有利な構成とすることができる。
実施の形態の制御部9は、イメージセンサ7による撮像データに基づいて、イメージセンサ7のセンシング動作を規定するセンサパラメータを生成し、イメージセンサ7に供給する処理も行う(図27,図28,図29,図30,図31,図32参照)。
即ちイメージセンサ7による撮像データに基づいて、発光素子2aの発光パラメータとイメージセンサ7のセンサパラメータの両方が調整されるようにしている。
これによりレーザ発光素子2aの制御だけでなく、イメージセンサ7側の制御、例えばゲインや露光時間の調整による効果も加えて、撮像データの各画素でのばらつきを効果的に低減でき、適切な撮像データが得られるようにすることができる。
またレーザ発光素子2aの発光期間Tpと露光期間Trの同期をとる場合において、発光期間Tpが変化される場合も、同様に露光期間Trについても制御することで、発光と露光の同期を適切にとることができる。
実施の形態の駆動部3は、発光パラメータに応じて、所定単位毎にレーザ発光素子の駆動タイミングを制御する(図22、図24、図25参照)。
これによりレーザ発光素子2aの所定単位毎について、イメージセンサ7側での受光輝度を可変調整できる。従って検出に適した受光状態に制御できる。
実施の形態の駆動部3は、所定単位毎に駆動タイミングを制御することで、所定単位毎にレーザ発光素子2aの発光期間長が可変制御されるようにする例を述べた。
即ち駆動部3は、所定単位のレーザ発光素子2a毎に、発光期間長が必ずしも均一でないように可変制御する。
レーザ発光素子の発光期間の長短により、イメージセンサ7側での受光輝度を調整することができる。従って検出に適した受光状態に制御できる。
特に所定単位毎に光学パワーが均一にできない場合でも、1回の発光期間長により光学エネルギーを揃えるようにすることができる。
また、発光期間長の長短により、光学系の透過率の空間分布を相殺する射出を実現することもできる。
また、発光期間長の長短により、被写体の反射率の違いを相殺する射出を実現することもできる。
また、発光期間長の長短により、被写体との距離の違い相殺する射出を実現することもできる。
実施の形態の駆動部3は、所定単位毎に駆動タイミングを制御することで、所定単位毎にレーザ発光素子2aの発光開始タイミング(スタートタイミングTst)が可変制御されるようにする例を述べた。
即ち駆動部3は、所定単位のレーザ発光素子2a毎に、発光開始タイミングが必ずしも同じタイミングでないように可変制御する。
レーザ発光素子の発光開始タイミングをずらすことで、発光期間長を変化させることもできる。
またレーザ発光素子の発光開始タイミングをずらすことによれば駆動部3内の回路配線における瞬間的な電流量の増大を低減できることにもなり、駆動部3における急激な電流変化による悪影響も低減できる。例えば急激な電源負荷変動による動作の不安定化を防止できる。
実施の形態の駆動部3は、所定単位毎に駆動タイミングを制御することで、所定単位毎にレーザ発光素子2aの発光終了タイミング(エンドタイミングTed)が可変制御されるようにする例を述べた。
即ち駆動部3は、所定単位のレーザ発光素子2a毎に、発光終了タイミングが必ずしも同じタイミングでないように可変制御する。
レーザ発光素子の発光終了タイミングをずらすことによっても発光期間長を変化させることができる。
実施の形態の駆動部3は、発光パラメータに応じて、レーザ発光素子2aの所定単位毎の駆動電流量を制御する例を述べた。
即ちレーザ発光素子2aの発光パワーを可変制御する。
これによりレーザ発光素子2aの所定単位毎について、イメージセンサ7側での受光輝度を可変調整できる。従って検出に適した受光状態に制御できる。
実施の形態では駆動部3は、発光パラメータに応じて、イメージセンサの1フレーム期間におけるレーザ発光素子2aの発光回数を制御する例も述べた。
1フレーム期間内におけるレーザ発光回数により、露光されるレーザエネルギーを調整したり、さらには温度上昇を抑えた駆動が可能になる。従って発光回数制御もイメージセンサ側での適切な受光状態を得るための手法として用いることができる。
実施の形態では、レーザ発光素子2aの近傍温度を検出する温度センサ10a(温度検出部10)を備え、駆動部3は、温度センサ10aの検出値に基づいて設定された、レーザ発光素子2aの所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子2aを駆動する例を述べた。
即ち駆動部は温度変化に応じても、レーザ発光素子の発光タイミング、駆動電流量、或いは1フレーム内の発光回数を可変制御するようにする(図31参照)。
これにより温度に応じた特性変化(レーザパワーの変化)の影響がイメージセンサの撮像データに生じることを低減できる。
実施の形態の撮像装置101は、光源装置100の複数のレーザ発光素子2aから出射され被写体Sによって反射された光を受光して撮像するイメージセンサ7と、イメージセンサ7による撮像データに基づいて、レーザ発光素子2aの所定単位毎の発光動作を規定する発光パラメータを生成し、光源装置100(駆動部3)に供給する制御部9を備える例を挙げている。制御部9が撮像装置101内に設けられる例である。
これにより、イメージセンサ7側での撮像画像上の輝度を所望の値に制御することができ、例えば測距や対象の3D形状推定などのための撮像が的確にできる撮像装置101を提供できる。
実施の形態の測距装置1はセンシングモジュールとして構成することができる。
このセンシングモジュールは、複数のレーザ発光素子2aと、複数のレーザ発光素子2aから出射され被写体Sによって反射された光を受光して撮像するイメージセンサ7と、イメージセンサ7による撮像データに基づいて、レーザ発光素子2aの所定単位毎の発光動作を規定する発光パラメータを生成する制御部9と、所定単位毎の発光パラメータに応じて各レーザ発光素子を駆動2aする駆動部2を備える。
これにより例えば測距や物体認識等を行うセンシングモジュールが実現され、しかも、この場合において、所定単位毎にレーザ発光素子の発光パラメータを設定することで、イメージセンサ側の撮像データにおいて適切な露光・撮像ができるようになる。
実施の形態の測距装置1における制御部9は、駆動部3が、複数のレーザ発光素子2aにつき同じ発光パラメータで発光駆動した状態で、イメージセンサ7により得られる撮像データに基づいて、レーザ発光素子2aの所定単位毎の発光動作を規定する発光パラメータを生成する例を述べた。即ち図28,図29,図30のような静的パラメータ制御である。
これにより静的キャリブレーションとしての発光パラメータ設定が実行できる。つまり、各レーザ発光素子のそれぞれの特性ばらつき、出射側光学系5の光学特性(例えば透過率の空間分布)、イメージセンサ側光学系6の光学特性(例えば透過率の空間分布)など、静的な条件によって生じる、撮像データの各画素の輝度ばらつきを低減するような発光パラメータの生成が実現できる。
また制御部9は、レーザ発光素子2aの近傍の温度センサ10aの検出結果に基づいて、レーザ発光素子の発光パラメータを可変制御する例を述べた(図31参照)。
これにより発光動作中の温度変化に対応した動的キャリブレーションとしての発光パラメータ設定が実行できる。例えばVCSELとしてのレーザ発光素子2aは、温度上昇により出力レーザパワーが低下する。そこで、温度上昇に応じて、発光パラメータを制御することも行うようにし、これによってイメージセンサ7による撮像データの画素ばらつきが広がらないようにする。
特にレーザ発光素子2aの出射面とされた面方向に温度分布が生ずることが多い。例えば面中央程高温になりやすい。そのような面方向の温度分布は、イメージセンサ側の中央付近の画素の輝度の低下にもなる。そこで、温度に応じて所定単位のレーザ発光素子毎に電流量や発光期間長の制御でレーザ出力パワーを調整できるようにすれば、温度変化によらずにイメージセンサ7側の適切な撮像状態を維持できることになる。
また制御部9は、対象物(被写体S)の検出中におけるイメージセンサ7による撮像データに基づいて、レーザ発光素子2aの所定単位毎の発光パラメータを可変する例を述べた(図32参照)。
これによっても動的キャリブレーションとしての発光パラメータ設定が実行できる。つまり、検出の対象物までの距離や、対象物の反射率、反射率分布等によって生じる、撮像データの各画素の輝度ばらつきを低減するような発光パラメータの可変設定が実現できる。
なお本開示の技術は実施の形態の構成、処理例に限られるものではなく、各種の変形例が想定される。
また、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
(1)
複数のレーザ発光素子と、
前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサによる撮像データに基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する駆動部と、を備えた
光源装置。
(2)
前記駆動部は、前記イメージセンサによる撮像データにおける反射光の像の輝度を用いて可変設定された前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動する
上記(1)に記載の光源装置。
(3)
前記駆動部は、前記イメージセンサによる撮像データの各画素の輝度ばらつきを抑制する方向に可変設定された、前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動する
上記(1)又は(2)に記載の光源装置。
(4)
前記レーザ発光素子は、垂直共振器面発光レーザである
上記(1)乃至(3)のいずれかに記載の光源装置。
(5)
前記イメージセンサによる撮像データに基づいて、前記所定単位毎に対応する発光パラメータを生成する制御部を備えた
上記(1)乃至(4)のいずれかに記載の光源装置。
(6)
前記制御部は、
前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給する
上記(5)に記載の光源装置。
(7)
前記駆動部は、発光パラメータに応じて、前記所定単位毎にレーザ発光素子の駆動タイミングを制御する
上記(1)乃至(6)のいずれかに記載の光源装置。
(8)
前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光期間長が可変制御されるようにする
上記(7)に記載の光源装置。
(9)
前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光開始タイミングが可変制御されるようにする
上記(7)又は(8)に記載の光源装置。
(10)
前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光終了タイミングが可変制御されるようにする
上記(7)乃至(9)のいずれかに記載の光源装置。
(11)
前記駆動部は、発光パラメータに応じて、前記レーザ発光素子の所定単位毎の駆動電流量を制御する
上記(1)乃至(10)のいずれかに記載の光源装置。
(12)
前記駆動部は、発光パラメータに応じて、前記イメージセンサの1フレーム期間における前記レーザ発光素子の発光回数を制御する
上記(1)乃至(11)のいずれかに記載の光源装置。
(13)
前記レーザ発光素子の近傍温度を検出する温度センサを備え、
前記駆動部は、前記温度センサの検出値に基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する
上記(1)乃至(12)のいずれかに記載の光源装置。
(14)
光源装置の複数のレーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、
前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成し、前記光源装置に供給する制御部と、を備えた
撮像装置。
(15)
前記制御部は、
前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、
前記イメージセンサは、センサパラメータに基づいて撮像動作を行う
上記(14)に記載の撮像装置。
(16)
複数のレーザ発光素子と、
複数の前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、
前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成する制御部と、
前記所定単位毎の発光パラメータに応じて各レーザ発光素子を駆動する駆動部と、を備えた
センシングモジュール。
(17)
前記制御部は、
前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、
前記イメージセンサは、センサパラメータに基づいて撮像動作を行う
上記(16)に記載のセンシングモジュール。
(18)
前記制御部は、
前記駆動部が、複数の前記レーザ発光素子につき同じ発光パラメータで発光駆動した状態で、前記イメージセンサにより得られる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成する
上記(16)又は(17)に記載のセンシングモジュール。
(19)
前記制御部は、
前記レーザ発光素子の近傍の温度センサの検出結果に基づいて、前記レーザ発光素子の発光パラメータを可変制御する
上記(16)乃至(18)のいずれかに記載のセンシングモジュール。
(20)
前記制御部は、
対象物の検出中におけるイメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光パラメータを可変する
上記(16)乃至(19)のいずれかに記載のセンシングモジュール。
1…測距装置、2…発光部、2a…発光素子、3…駆動部、4…電源回路、5…発光側光学系、6…撮像側光学系、7…イメージセンサ、8…画像処理部、9…制御部、9a…測距部、10…温度検出部、10a…温度センサ、100…光源装置、101…撮像装置
特開2015−184287号公報 特開2006−201751号公報
<5.VCSELの構造例>
続いて、発光部2が形成されたチップCh2の構造例について図10及び図11を参照して説明しておく。
図10は、図6A、図6B、図8Aのように基板B上に形成される場合のチップCh2の構造例を示し、図11は、図7A乃至図7Cや図8Bのように他のチップCh上に搭載される場合のチップCh2の構造例を示している。
なお、図10、図11では一例として、駆動回路30が発光素子2aのアノード側に挿入された場合(図3参照)に対応した構造例を示す。
第一多層膜反射鏡層21は、N型導電性を示す化合物半導体で形成され、第二多層膜反射鏡層25は型導電性を示す化合物半導体で形成されている。

Claims (20)

  1. 複数のレーザ発光素子と、
    前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサによる撮像データに基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する駆動部と、を備えた
    光源装置。
  2. 前記駆動部は、前記イメージセンサによる撮像データにおける反射光の像の輝度を用いて可変設定された前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動する
    請求項1に記載の光源装置。
  3. 前記駆動部は、前記イメージセンサによる撮像データの各画素の輝度ばらつきを抑制する方向に可変設定された、前記所定単位毎の発光パラメータに応じて、各レーザ発光素子を駆動する
    請求項1に記載の光源装置。
  4. 前記レーザ発光素子は、垂直共振器面発光レーザである
    請求項1に記載の光源装置。
  5. 前記イメージセンサによる撮像データに基づいて、前記所定単位毎に対応する発光パラメータを生成する制御部を備えた
    請求項1に記載の光源装置。
  6. 前記制御部は、
    前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給する
    請求項5に記載の光源装置。
  7. 前記駆動部は、発光パラメータに応じて、前記所定単位毎にレーザ発光素子の駆動タイミングを制御する
    請求項1に記載の光源装置。
  8. 前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光期間長が可変制御されるようにする
    請求項7に記載の光源装置。
  9. 前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光開始タイミングが可変制御されるようにする
    請求項7に記載の光源装置。
  10. 前記駆動部は、前記所定単位毎に前記駆動タイミングを制御することで、前記所定単位毎にレーザ発光素子の発光終了タイミングが可変制御されるようにする
    請求項7に記載の光源装置。
  11. 前記駆動部は、発光パラメータに応じて、前記レーザ発光素子の所定単位毎の駆動電流量を制御する
    請求項1に記載の光源装置。
  12. 前記駆動部は、発光パラメータに応じて、前記イメージセンサの1フレーム期間における前記レーザ発光素子の発光回数を制御する
    請求項1に記載の光源装置。
  13. 前記レーザ発光素子の近傍温度を検出する温度センサを備え、
    前記駆動部は、前記温度センサの検出値に基づいて設定された、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータに応じて、各レーザ発光素子を駆動する
    請求項1に記載の光源装置。
  14. 光源装置の複数のレーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、
    前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成し、前記光源装置に供給する制御部と、を備えた
    撮像装置。
  15. 前記制御部は、
    前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、
    前記イメージセンサは、センサパラメータに基づいて撮像動作を行う
    請求項14に記載の撮像装置。
  16. 複数のレーザ発光素子と、
    複数の前記レーザ発光素子から出射され被写体によって反射された光を受光して撮像するイメージセンサと、
    前記イメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成する制御部と、
    前記所定単位毎の発光パラメータに応じて各レーザ発光素子を駆動する駆動部と、を備えた
    センシングモジュール。
  17. 前記制御部は、
    前記イメージセンサによる撮像データに基づいて、前記イメージセンサのセンシング動作を規定するセンサパラメータを生成し、前記イメージセンサに供給するとともに、
    前記イメージセンサは、センサパラメータに基づいて撮像動作を行う
    請求項16に記載のセンシングモジュール。
  18. 前記制御部は、
    前記駆動部が、複数の前記レーザ発光素子につき同じ発光パラメータで発光駆動した状態で前記イメージセンサにより得られる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光動作を規定する発光パラメータを生成する
    請求項16に記載のセンシングモジュール。
  19. 前記制御部は、
    前記レーザ発光素子の近傍の温度センサの検出結果に基づいて、前記レーザ発光素子の発光パラメータを可変制御する
    請求項16に記載のセンシングモジュール。
  20. 前記制御部は、
    対象物の検出中におけるイメージセンサによる撮像データに基づいて、前記レーザ発光素子の所定単位毎の発光パラメータを可変する
    請求項16に記載のセンシングモジュール。
JP2018144924A 2018-08-01 2018-08-01 光源装置、撮像装置、センシングモジュール Pending JP2020020680A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018144924A JP2020020680A (ja) 2018-08-01 2018-08-01 光源装置、撮像装置、センシングモジュール
CN201980049608.4A CN112469959B (zh) 2018-08-01 2019-06-17 光源装置、成像装置和感测模块
US17/255,829 US20210176389A1 (en) 2018-08-01 2019-06-17 Light source device, image capturing device, and sensing module
EP19843576.0A EP3832252B1 (en) 2018-08-01 2019-06-17 Light source device, imaging device, and sensing module
PCT/JP2019/023866 WO2020026615A1 (ja) 2018-08-01 2019-06-17 光源装置、撮像装置、センシングモジュール

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018144924A JP2020020680A (ja) 2018-08-01 2018-08-01 光源装置、撮像装置、センシングモジュール

Publications (1)

Publication Number Publication Date
JP2020020680A true JP2020020680A (ja) 2020-02-06

Family

ID=69232486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018144924A Pending JP2020020680A (ja) 2018-08-01 2018-08-01 光源装置、撮像装置、センシングモジュール

Country Status (5)

Country Link
US (1) US20210176389A1 (ja)
EP (1) EP3832252B1 (ja)
JP (1) JP2020020680A (ja)
CN (1) CN112469959B (ja)
WO (1) WO2020026615A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021235143A1 (ja) 2020-05-21 2021-11-25 ソニーセミコンダクタソリューションズ株式会社 電子機器

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230204727A1 (en) * 2020-02-21 2023-06-29 Sony Semiconductor Solutions Corporation Distance measurement device and distance measurement method
EP4314881A1 (en) 2021-03-26 2024-02-07 Sony Semiconductor Solutions Corporation Illumination device and method for time-of-flight cameras
CN117269972A (zh) * 2022-06-14 2023-12-22 深圳市速腾聚创科技有限公司 激光雷达设备及其测距调节方法
CN117793539B (zh) * 2024-02-26 2024-05-10 浙江双元科技股份有限公司 一种基于可变周期的图像获取方法及光学传感装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415241B1 (en) * 1998-09-21 2002-07-02 Fuji Photo Optical Co., Ltd. Distance measurement system
JP3749638B2 (ja) * 1998-09-21 2006-03-01 フジノン株式会社 測距装置
JP2004301771A (ja) * 2003-03-31 2004-10-28 Sunx Ltd 寸法測定装置
JP4355616B2 (ja) * 2004-06-08 2009-11-04 キヤノン株式会社 撮像装置及びその制御方法
JP2006201751A (ja) 2004-12-21 2006-08-03 Seiko Epson Corp 発光装置、画像形成装置、表示装置、及び発光素子の駆動方法
US20110292406A1 (en) * 2008-10-28 2011-12-01 3Shape A/S Scanner with feedback control
US10244181B2 (en) * 2009-02-17 2019-03-26 Trilumina Corp. Compact multi-zone infrared laser illuminator
JP2011135379A (ja) * 2009-12-24 2011-07-07 Samsung Techwin Co Ltd 撮像装置、撮像方法及びプログラム
JP5662046B2 (ja) * 2010-03-31 2015-01-28 パナソニック デバイスSunx株式会社 変位センサ
JP2012209501A (ja) * 2011-03-30 2012-10-25 Sony Corp 補正回路、駆動回路、発光装置、および電流パルス波形の補正方法
JP6009753B2 (ja) * 2011-10-26 2016-10-19 株式会社トプコン 画像測定装置
JP6355066B2 (ja) * 2013-08-29 2018-07-11 株式会社リコー センサ装置及び画像形成装置
JP6547104B2 (ja) * 2013-10-23 2019-07-24 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 動的構造化光を用いた三次元深度マッピング
JP2015184287A (ja) 2014-03-20 2015-10-22 パイオニア株式会社 発光装置
CN106662433B (zh) * 2014-06-27 2019-09-06 新加坡恒立私人有限公司 结构化光成像系统及方法
WO2016021238A1 (ja) * 2014-08-05 2016-02-11 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
JP6868570B2 (ja) * 2015-12-21 2021-05-12 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
JP7056131B2 (ja) * 2017-12-15 2022-04-19 オムロン株式会社 画像処理システム、画像処理プログラム、および画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021235143A1 (ja) 2020-05-21 2021-11-25 ソニーセミコンダクタソリューションズ株式会社 電子機器

Also Published As

Publication number Publication date
US20210176389A1 (en) 2021-06-10
WO2020026615A1 (ja) 2020-02-06
CN112469959A (zh) 2021-03-09
EP3832252A1 (en) 2021-06-09
CN112469959B (zh) 2023-06-30
EP3832252B1 (en) 2024-05-22
EP3832252A4 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
WO2020026615A1 (ja) 光源装置、撮像装置、センシングモジュール
US20230194672A1 (en) Apparatus and method
WO2020044818A1 (ja) 光源装置、調整方法、センシングモジュール
WO2020039777A1 (ja) 光源装置、温度検出方法、センシングモジュール
CN112640232B (zh) 光源设备和感测模块
WO2020026616A1 (ja) 光源装置、イメージセンサ、センシングモジュール
US20220276381A1 (en) Laser drive device, sensing module, and timing adjustment method
JPWO2019225224A1 (ja) 時間計測装置
FR3097332A1 (fr) Circuit de commande à grande vitesse et à forte puissance d’émetteur de lumière optique
JP2020038854A (ja) 光源装置、検出方法、センシングモジュール
WO2020026608A1 (ja) 光源装置、駆動方法、センシングモジュール
WO2023074436A1 (ja) 発光装置及び測距装置
CN109698911B (zh) 调整双极性结型晶体管像素的方法和相关影像传感器装置
JP4719071B2 (ja) 検出センサ
JPWO2020129521A1 (ja) 発光駆動回路および発光装置
JPH114374A (ja) 撮像装置
JP2007147693A (ja) 動画静止画共用赤外アクティブ測距装置及び動画静止画共用赤外アクティブ測距方法
JP2013003438A (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180807