JP2021081290A - 測距装置及び測距方法 - Google Patents

測距装置及び測距方法 Download PDF

Info

Publication number
JP2021081290A
JP2021081290A JP2019208374A JP2019208374A JP2021081290A JP 2021081290 A JP2021081290 A JP 2021081290A JP 2019208374 A JP2019208374 A JP 2019208374A JP 2019208374 A JP2019208374 A JP 2019208374A JP 2021081290 A JP2021081290 A JP 2021081290A
Authority
JP
Japan
Prior art keywords
unit
reliability
distance measuring
distance
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019208374A
Other languages
English (en)
Inventor
祥二 市木
Shoji Ichiki
祥二 市木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2019208374A priority Critical patent/JP2021081290A/ja
Priority to PCT/JP2020/042211 priority patent/WO2021100593A1/ja
Priority to EP20889866.8A priority patent/EP4063914A4/en
Priority to US17/767,917 priority patent/US20240103166A1/en
Publication of JP2021081290A publication Critical patent/JP2021081290A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】測距結果を補正可能な測距装置及び測距方法を提供する。【解決手段】本開示の一実施形態による測距装置は、物体までの距離を示す距離データを算出する測距部と、距離データの信頼度を算出する信頼度算出部とを兼ねる信号処理部、物体の動きを検出する動き検出部、及び、動き検出部での検出結果に基づいて距離データ又は信頼度を補正する補正部を備える。【選択図】図１

Description

本開示は、測距装置及び測距方法に関する。
近年、配送ロボットやドローンなどの移動体の自律移動が注目を集めている。移動体が自律移動するには、移動体自体とその周囲の物体との間の距離を絶えず測定し、移動ルートを策定するための環境地図を生成する必要がある。
特開２０１９−７５８２６号公報
移動体とその周囲の物体との間の距離を測定する場合においては、移動体と物体の相対移動速度等によっては、測距結果の確からしさを十分に検証できないことがある。この場合、正しい環境地図を生成することができない事態にもなりかねない。
本開示は、上記の事情に鑑み、測距結果を補正可能な測距装置及び測距方法を提供する。
本開示の一態様による測距装置は、物体までの距離を示す距離データを算出する測距部と、距離データの信頼度を算出する信頼度算出部と、物体の動きを検出する動き検出部と、動き検出部での検出結果に基づいて、信頼度を補正する信頼度補正部と、を備える。
本開示の他の態様による測距方法は、物体までの距離を示す距離データを算出し、距離データの信頼度を算出し、物体の動きを検出し、物体の動きの検出結果に基づいて、信頼度を補正する。
本開示の第１の実施形態による測距装置の機能を説明するための一例の機能ブロック図である。 第１の実施形態に適用可能な測距センサの一例の構成を示すブロック図である。 第１の実施形態に適用可能な測距センサの一例の動作を説明するタイムチャートである。 第１の実施形態に適用可能な動き検出センサの一例の構成を示すブロック図である。 第１の実施形態に適用可能な動き検出センサが含む固体撮像素子の一例の構成を示すブロック図である。 第１の実施形態に適用可能な固体撮像素子の画素一例の構成を示すブロック図である。 第１の実施形態に適用可能な固体撮像素子の画素の詳細を示す一例の回路図である。 第１の実施形態に適用可能な固体撮像素子の画素内のアドレスイベント検出部を示す一例の回路図である。 第１の実施形態に適用可能なアドレスイベント検出部の動作を説明するための図である。 第１の実施形態による測距方法を示す一例のフローチャートである。 第１の実施形態に適用可能な測距センサにより生成される深度マップの一例を示す模式図である。 深度マップに基づいて生成される信頼度マップの一例を示す模式図である。 第１の実施形態に適用可能な動き検出センサからの検出結果を用いて信頼度マップを補正することにより得られた補正された信頼度マップの一例を示す模式図である。 比較例による測距方法を説明するための説明図である。 比較例による測距方法を説明するための説明図である。 比較例による測距方法を説明するための説明図である。 比較例による測距方法を説明するための説明図である。 第１の実施形態による測距方法の効果を説明するための説明図である。 第１の実施形態による測距方法の変形例を説明するための説明図である。 第２の実施形態による測距装置の機能を説明するための一例の機能ブロック図である。 第３の実施形態による測距装置の機能を説明するための一例の機能ブロック図である。 本開示による技術が適用され得る車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、添付図面を参照しながら、本開示の限定的でない例示の実施形態について説明する。なお、以下の各実施形態において、同一又は対応する部位又は部品については、同一又は対応する参照符号を付し、重複する説明を省略する。
（第１の実施形態）
［第１の実施形態による測距装置の構成］
図１は、本開示の第１の実施形態による測距装置の機能を説明するための一例の機能ブロック図である。この測距装置は、移動体とその周囲の物体との間の距離を測定することができる。また、この測距装置は、測定結果に基づいて移動体の移動ルートを策定することも可能である。
図１に示されるように、測距装置１０は、信号処理部１２、動き検出部１４、及び信頼度補正部１６を有している。また、本実施形態による測距装置１０には、深度マップフィルタ処理部２２、地図生成部２４、及び障害物検出部２６が設けられている。さらに、本実施形態においては、測距装置１０に対して測距センサ３２及び動き検出センサ３４が電気的に接続されている。
図１において、測距センサ３２は、間接飛行時間（ｉＴｏＦ）方式により測距を行い、距離情報を出力するｉＴｏＦセンサである。測距センサ３２から出力された距離情報は、測距装置１０に入力され、信号処理部１２に供給される。信号処理部１２は、測距センサ３２から供給された距離情報に基づき深度マップを生成すると共に、深度マップの信頼度を示す信頼度マップを生成する。信号処理部１２で生成された深度マップは、深度マップフィルタ処理部２２に供給される。また、信号処理部１２で生成された信頼度マップは、信頼度補正部１６に供給される。
動き検出センサ３４は、測距センサ３２の測距領域と対応する領域における物体の動きを検出する。動き検出センサ３４で検出された、物体の動きに関する情報（動き情報）は、動き検出部１４に供給される。動き検出部１４は、動き検出センサ３４から供給された動き情報に基づき、測距センサ３２の測距領域内で移動する物体の領域を検出する。動き検出部１４は、動き情報に基づき検出された移動する物体の移動領域（物体移動領域）を示すデータ（物体移動領域データ）を、信頼度補正部１６に供給する。
信頼度補正部１６は、信号処理部１２から供給された信頼度マップを、動き検出部１４から供給された物体移動領域データに基づき補正する。例えば、信頼度補正部１６は、信頼度マップにおける、物体移動領域データに対応する領域の信頼度を、より低い信頼度に変更することで、信頼度マップを補正する。これに限らず、信頼度補正部１６は、物体移動領域に対して、その旨を示すタグを付してもよい。信頼度補正部１６は、補正後の信頼度マップである補正された信頼度マップを深度マップフィルタ処理部２２に供給する。
深度マップフィルタ処理部２２は、信号処理部１２から供給された深度マップに対して、信頼度補正部１６から供給された補正された信頼度マップに基づくフィルタ処理を施す。例えば、深度マップフィルタ処理部２２は、補正された信頼度マップに基づき、深度マップに対して、物体による影響を低減させるようなフォーマットに変換するフィルタ処理を施す。
例えば、深度マップフィルタ処理部２２は、補正された信頼度マップに基づき、深度マップに対して、物体移動領域のデプス値を無効データとするフィルタ処理を施す。深度マップフィルタ処理部２２によりフィルタ処理が施されたフィルタ処理済み深度マップは、地図生成部２４及び障害物検出部２６に供給される。
地図生成部２４は、深度マップフィルタ処理部２２から供給されたフィルタ処理済み深度マップに基づき、環境地図を生成する。また、障害物検出部２６は、深度マップフィルタ処理部２２から供給されたフィルタ処理済み深度マップに基づき、障害物を検出する。障害物検出部２６は、さらに、検出された障害物に基づき、例えば行動を計画し、実際の行動に移すための制御情報を生成することができる。
このように、第１の実施形態による測距装置１０によれば、測距結果に基づく信頼度マップを、動き検出の結果に基づく物体移動領域データにより補正し、補正された信頼度マップを用いて深度マップを修正している。そのため、測距装置１０（測距センサ３２）と物体との間の相対的な速度に応じたモーションブラーの発生に、適切に対処することが可能である。
以下、測距装置１０の各部を詳述する。
＜測距センサの構成・動作＞
次に、第１の実施形態に適用可能な測距センサ３２の構成及び動作について説明する。図２は、第１の実施形態に適用可能な測距センサ３２の一例の構成を示すブロック図である。図２において、測距センサ３２は、光源部３２５、受光部３２６、及び駆動部３２７を有している。光源部３２５は、赤外光領域又は近赤外光領域の波長を有する光を発する発光素子を含む。このような発光素子としては、赤外光発光ダイオード（ＬＥＤ）や、面発光型赤外光半導体レーザー（ＶＣＳＥＬ）アレイ素子などが例示される。受光部３２６は、それぞれ光源部３２５が発する赤外光領域の光に感度を有する受光素子を含む複数の画素がマトリクス状に配置された画素アレイを含む。
駆動部３２７は、測距装置１０から供給される制御信号に基づき、光源部３２５を駆動するための光源駆動信号を生成し、生成した光源駆動信号を光源部３２５へ出力する。光源駆動信号は、パルス幅変調（ＰＷＭ）により所定のデューティ比を有するパルス波に変調された信号であってよい。パルス波としての光源駆動信号の周波数は、例えば２０〜３０ＭＨｚであって良く、１００ＭＨｚ程度であっても良い。光源部３２５は、駆動部３２７から光源駆動信号を入力し、光源駆動信号に基づいて当該デューティ比で光を出射する。
また、駆動部３２７は、光源駆動信号に加えて受光部３２６を駆動するための受光駆動信号を生成し、生成した受光駆動信号を受光部３２６へ出力する。受光駆動信号は、光源駆動信号と同じデューティ比を有し、光源駆動信号に対して同位相の及び位相が異なる複数の受光パルス信号を含む。本実施形態では、駆動部３２７は、光源駆動信号に対してそれぞれ０°、９０°、１８０°、２７０°の位相差を有する４つの受光パルス信号を受光部３２６へ出力する。受光部３２６は、駆動部３２７から受光駆動信号を入力し、後述するように、これに基づいて動作する。
＜信号処理部の動作＞
次に、測距装置１０の信号処理部１２（図１）について説明する。信号処理部１２は、測距センサ３２から測距信号を入力し、入力した測距信号に対して所定の処理を行い、物体との距離を示す距離データを算出する。
具体的には、図３に示されるように、光源部３２５（図２）から出射光が発せられると、出射光は移動体の周囲の物体で反射され、反射光として受光部３２６により受光される。この反射光は、光の飛行時間のため出射光に対して所定時間ΔＴ（ｔ０−ｔ１）遅れて受光部３２６に到達する。これにより、出射光の１つパルスに対する反射光に応じた電荷が受光部３２６にて生成される。ここで、受光部３２６には、出射光と同期した（位相差０°）の受光パルス信号φ０が入力され、これにより、生成された電荷のうち、反射光の受光期間（ｔ１−ｔ２）と受光パルス信号φ０との重複期間に対応する電荷量Ｃ０が（測距信号として）出力される。
同様にして、位相差１８０°の受光パルス信号φ１８０により電荷量Ｃ１８０が出力され、位相差９０°の受光パルス信号φ９０により電荷量Ｃ９０が出力され、位相差２７０°の受光パルス信号φ２７０により電荷量Ｃ２７０が出力される。
信号処理部１２は、測距センサ３２から測距信号を入力すると、これらの測距信号に対して以下の式に従い、距離データを算出する。電荷量Ｃ０、Ｃ１８０、Ｃ９０、及びＣ２７０から、式（１）及び式（２）に示される差分Ｉと差分Ｑとが求められる。
Ｉ＝Ｃ０−Ｃ１８０ ・・・・・（１）
Ｑ＝Ｃ９０−Ｃ２７０ ・・・・・（２）
さらに、これら差分Ｉ及びＱから、位相差Phase（０≦Phase＜２π）が式（３）により算出される。
Phase＝tan−1（Ｑ／Ｉ） ・・・・・（３）
以上より、距離データDistanceが、式（４）により算出される。
Distance＝c×Phase／４πｆ ・・・・・（４）
ここで、ｃは光速を示し、ｆは出射光の周波数を示す。
信号処理部１２は、この距離データDistanceを各画素について求め、画素配列に対応した配列で並べることにより、移動体と移動体の周囲の物体との相対距離を示す深度マップを生成する。深度マップは、深度マップフィルタ処理部２２へ出力される。
また、信号処理部１２は、深度マップにおける画素間の距離データに対し、所定のアルゴリズムに基づく処理を行うことにより、距離データの確からしさを示す信頼度マップを生成する。信頼度マップは、信号処理部１２から信頼度補正部１６へ出力される。
なお、上述の電荷量Ｃ０、Ｃ１８０、Ｃ９０、及びＣ２７０の合計は、画素で生成された総電荷量に相当するため、信号処理部１２は、この総和に基づいて画像（輝度マップ）を形成することもできる。
＜動き検出センサの構成＞
次に、図４〜図９を参照しながら、第１の実施形態に適用可能な動き検出センサ３４について説明する。第１の実施形態では、動き検出センサ３４として、ＤＶＳ(Dynamic Vision Sensor)が適用される。ＤＶＳの詳細については、後述する。
図４は、第１の実施形態に適用可能な動き検出センサ３４の一例の構成を示すブロック図である。動き検出センサ３４は、光学系３４２、固体撮像素子３４４、記憶部３４６、及び制御部３４８を有する。光学系３４２は、１又は複数のレンズと、オートフォーカス機構や絞り機構などの各機構とを含み、物体からの光を動き検出センサ３４の受光面に導く。
固体撮像素子３４４は、図５に示されるように、行駆動回路１１０、制御回路１１１、アービタ１１２、列駆動回路１１３、及び画素アレイ部１１４を有する。図６を参照しながら後述するように、画素アレイ部１１４は、マトリックス状に配列された複数の画素を有する。固体撮像素子３４４は、複数の画素のうち輝度変化を検出した画素からイベント検出信号を出力する。
記憶部３４６は、固体撮像素子３４４から出力されるイベント検出信号を記憶する。記憶部３４６は、フラッシュメモリやハード・ディスク・ドライブといった不揮発性の記憶媒体、又はＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶媒体により実現され得る。制御部３４８は、例えばプロセッサを含み、固体撮像素子３４４を制御して、固体撮像素子３４４に撮像動作を実行させる。
図５は、第１の実施形態に適用可能な固体撮像素子３４４の一例の構成を示すブロック図である。図５において、画素アレイ部１１４に含まれる画素の各々は、受光される光の光量（受光光量）に応じたアナログ信号を画素信号として生成する。また、画素の各々は、受光光量の変化量が所定の閾値を超えたかを判定し、超えたと判定した場合に（アドレスイベントの発生を検出した場合に）、リクエストをアービタ１１２へ出力する。
アービタ１１２は、各画素からのリクエストを調停し、調停結果に基づいて、リクエストに対する応答を画素に送信する。応答を受け取った画素は、アドレスイベント発生の検出を示すイベント検出信号を行駆動回路１１０及び制御回路１１１へ出力する。
行駆動回路１１０は、画素のそれぞれを駆動して画素信号を列駆動回路１１３へ出力させる。列駆動回路１１３は、列ごとに設けられるアナログ・デジタル変換器（ＡＤＣ）と、この列ごとに設けられたＡＤＣを行方向にスキャンする駆動回路とを含む。列駆動回路１１３は、ＡＤＣを行方向にスキャンし、各ＡＤＣによりアナログ信号から変換されたディジタル信号である画素信号を行単位で出力する。
列駆動回路１１３から出力された画素信号（ディジタル信号）は、制御回路１１１へ出力され、ここでＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Auto Gain Control）処理などの所定の信号処理を経る。また、制御回路１１１は、イベント検出信号に対して画像認識処理を行う。制御回路１１１は、その処理の結果を示すデータとイベント検出信号とを記憶部３４６（図４）へ出力する。
図６は、画素アレイ部１１４の一例を示すブロック図である。図６に示されるように、画素アレイ部１１４は、マトリックス状に配列された複数の画素２０を含む。各画素２０は、アドレスイベント検出部３０、受光部４０、及び画素信号生成部４１を有する。
受光部４０は、後述するように受光素子を含み、入射された光を光電変換して電荷を生成する。受光部４０は、行駆動回路１１０の制御のもと、画素信号生成部４１及びアドレスイベント検出部３０のいずれかに、生成した電荷を供給する。
画素信号生成部４１は、受光部４０から供給された電荷の電荷量に応じた電圧の信号を画素信号ＳＩＧとして生成する。画素信号生成部４１は、生成した画素信号ＳＩＧを、垂直信号線ＶＳＬを介して列駆動回路１１３へ出力する。
アドレスイベント検出部３０は、受光部４０から供給された電荷の変化量が閾値を超えたか否かを判定し、判定結果に基づきアドレスイベントの有無を検出する。例えば、アドレスイベント検出部３０は、電荷の変化量が所定のＯＮ閾値を超えた場合に、アドレスイベントの発生を検出したと判断する。
アドレスイベント検出部３０は、アドレスイベントの発生を検出すると、アービタ１１２（図６）に対して、アドレスイベントの検出を示すイベント検出信号の送信についてのリクエストを提出する。アドレスイベント検出部３０は、このリクエストに対する応答をアービタ１１２から受け取ると、アドレス検出信号を行駆動回路１１０及び制御回路１１１へ出力する。
図７は、第１の実施形態に適用可能な固体撮像素子３４４の画素の詳細を示す一例の回路図である。図７を参照しながら、画素信号生成部４１と受光部４０の具体的な構成を説明する。画素信号生成部４１は、リセットトランジスタ４１０、増幅トランジスタ４１１、選択トランジスタ４１２、及び浮遊拡散層４１３を含む。リセットトランジスタ４１０、増幅トランジスタ４１１、及び選択トランジスタ４１２は、例えばＮ型のＭＯＳ（Metal Oxide Semiconductor）トランジスタにより実現される。
画素信号生成部４１において、浮遊拡散層４１３は電荷を蓄積し、蓄積した電荷量に応じた電圧を生成する。リセットトランジスタ４１０は、行駆動回路１１０から供給されるリセット信号ＲＳＴに従い浮遊拡散層４１３をリセットする。増幅トランジスタ４１１は、浮遊拡散層４１３の電圧を増幅する。選択トランジスタ４１２は、行駆動回路１１０からの選択信号ＳＥＬに従い、増幅トランジスタ４１１により増幅された電圧の信号を画素信号ＳＩＧとして、垂直信号線ＶＳＬを通して列駆動回路１１３へ出力する。
受光部４０は、転送トランジスタ４００、ＯＦＧ（Over Flow Gate）トランジスタ４０１、及び受光素子４０２を有している。転送トランジスタ４００及びＯＦＧトランジスタ４０１は、例えばＮ型のＭＯＳトランジスタにより実現される。
転送トランジスタ４００のゲートには、行駆動回路１１０（図６）から転送信号ＴＲＧが供給される。ＯＦＧトランジスタ４０１のゲートには、行駆動回路１１０から制御信号ＯＦＧが供給される。受光素子４０２は、入射光を光電変換して電荷を生成し、光電流を出力する。転送トランジスタ４００は、転送信号ＴＲＧが供給されると、受光素子４０２から画素信号生成部４１の浮遊拡散層４１３へ電荷を転送する。ＯＦＧトランジスタ４０１は、制御信号ＯＦＧが供給されると、受光素子４０２により生成された電気信号をアドレスイベント検出部３０へ出力する。
図８は、第１の実施形態に適用可能な固体撮像素子の画素内のアドレスイベント検出部を示す一例の回路図である。図８に示されるように、アドレスイベント検出部３０は、電流電圧変換部３００、バッファアンプ３１０、減算部３２０、及び量子化器３３０を有している。
電流電圧変換部３００は、共にＮ型ＭＯＳトランジスタであるトランジスタ３０１及び３０３と、Ｐ型ＭＯＳトランジスタであるトランジスタ３０２と、を有している。トランジスタ３０１のソースは、図７に示す受光部４０のＯＦＧトランジスタ４０１のドレインに接続され、トランジスタ３０１のドレインが電源端子に接続される。トランジスタ３０２（Ｐ型）及びトランジスタ３０３（Ｎ型）は、電源端子と接地端子との間において、直列に接続される。また、トランジスタ３０２のドレインとトランジスタ３０３のドレインとの接続点は、トランジスタ３０１のゲートとバッファアンプ３１０の入力端子とに接続される。また、トランジスタ３０２のゲートには所定のバイアス電圧Ｖbiasが印加される。さらに、トランジスタ３０３のゲートは、トランジスタ３０１のソースと、受光部４０のＯＦＧトランジスタ４０１のドレインとに接続されている。
共にＮ型であるトランジスタ３０１及び３０３はソースフォロワを形成している。これらのループ状に接続された２つのソースフォロワにより、受光素子４０２（図７）から出力される光電流は、その対数の電圧信号に変換される。また、トランジスタ３０２は、一定の電流をトランジスタ３０３へ出力する。
受光素子４０２（図７）から出力された光電流が電流電圧変換部３００により電圧信号に変換され、この電圧信号は、次いでバッファアンプ３１０を介して減算部３２０へ出力される。
減算部３２０は、容量Ｃ１を有するキャパシタ３２１と、容量Ｃ２を有するキャパシタ３２２と、スイッチ部３２３と、インバータ３２４と、を有している。
キャパシタ３２１については、一端（便宜上、入力端という）が、バッファアンプ３１０の出力端子に接続され、他端（便宜上、出力端という）が、インバータ３２４の入力端子に接続される。キャパシタ３２２は、インバータ３２４に対して並列に接続される。スイッチ部３２３は、行駆動信号に従ってオンとオフの間で切り替わる。インバータ３２４は、キャパシタ３２１を介して入力された電圧信号を反転する。インバータ３２４は、反転した信号を、量子化器３３０へ出力する。
スイッチ部３２３がオンになると、バッファアンプ３１０の出力信号である電圧信号Ｖinitがキャパシタ３２１の入力端に入力され、当該入力端が仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、キャパシタ３２１に蓄積される電荷Ｑinitは、キャパシタ３２１の容量Ｃ１に基づき、次式（５）により表される。一方、キャパシタ３２２の両端は、スイッチ部３２３により短絡されるため、その蓄積電荷がゼロとなる。
Ｑinit＝Ｃ1×Ｖinit ・・・（５）
次に、スイッチ部３２３がオフなり、キャパシタ３２１の入力端の電圧が変化してＶafterになったとする。この場合、キャパシタ３２１に蓄積される電荷Ｑafterは、次式（６）により表される。
Ｑafter＝Ｃ1×Ｖafter ・・・・・（６）
一方、キャパシタ３２２に蓄積される電荷Ｑ２は、インバータ３２４の出力電圧をＶoutとすると、次式（７）により表される。
Ｑ2＝−Ｃ2×Ｖout ・・・・・（７）
このとき、キャパシタ３２１及び３２２の総電荷量は変化しないため、次式（８）の関係が成立する。
Ｑinit＝Ｑafter＋Ｑ2 ・・・・・（８）
式（５）〜式（８）から次式（９）が得られる。
Ｖout＝−(Ｃ1／Ｃ2)×(Ｖafter−Ｖinit) ・・・・・（９）
式（９）は、電圧信号の減算動作を表し、減算結果の利得は、キャパシタ３２１及び３２２の容量の比Ｃ１／Ｃ２となる。通常、利得を最大化することが望まれるため、キャパシタ３２１の容量Ｃ１を大きく、また、キャパシタ３２２の容量Ｃ２を小さく設計することが好ましい。一方、キャパシタ３２２の容量Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがある。そのため、キャパシタ３２２の容量Ｃ２の削減は、ノイズを許容することができる範囲に制限される。また、減算部３２０を含むアドレスイベント検出部３０が各画素２０に搭載されるため、キャパシタ３２１及び３２２の容量Ｃ１及びＣ２には、面積上の制約がある。これらを考慮して、キャパシタ３２１及び３２２の容量Ｃ１及びＣ２の値が決定される。
量子化器３３０は、ＯＮ閾値及びＯＦＦ閾値の２つの閾値を用いて、（＋）イベント、（−）イベント及びイベント検出無し、の３状態を検出する。そのため、量子化器３３０は、１．５ビット量子化器と呼ばれる。
次に、図８に加えて図９も参照しながら、上述の構成を有するアドレスイベント検出部３０の動作を説明する。初めに、減算部３２０のスイッチ部３２３はオンになっており、キャパシタ３２２がリセットされ、減算部３２０の電圧Ｖdiffがリセットレベルになっている。まず受光素子４０２により受光される光量が増加する場合においては、図９に示す時点ｔ0においてスイッチ部３２３がオフになると、電流電圧変換部３００の出力電圧Ｖｏが増加していく。時点ｔ1で、リセットレベルに対する差分である電圧Ｖdiffが負方向にＯＮ閾値を超えると、量子化器３３０から（＋）イベント検出を示すイベント検出信号が出力される。これに応じて、行駆動回路１１０によりスイッチ部３２３がオンに切り替えられ、減算部３２０の電圧Ｖdiffがリセットレベルに戻る。行駆動回路１１０は、減算部３２０の電圧Ｖdiffをリセットレベルとした直後に、スイッチ部３２３をオフに切り替える。受光素子４０２により受光される光量が増加する間は、このような動作が繰り返される。
次に、時点ｔ2において受光素子４０２により受光される光量が減少し始める場合においては、電流電圧変換部３００の出力電圧Ｖｏもまた減少していく。時点ｔ3において、その時点での出力電圧Ｖｏと、時点ｔ3の直前に閾値（この場合はＯＮ閾値）を超えたと判定された際の出力電圧Ｖｏと、の差分が正方向にＯＦＦ閾値を超えている。したがって、量子化器３３０から、（−）イベント検出を示すイベント検出信号が出力される。これに応じて、行駆動回路１１０によりスイッチ部３２３がオンに切り替えられ、減算部３２０の出力がリセットレベルとされる。行駆動回路１１０は、減算部３２０の出力をリセットレベルとした直後に、スイッチ部３２３をオフに切り替える。
アドレスイベント検出部３０は、上述したように電流電圧変換部３００の出力電圧Ｖｏの差分をＯＮ閾値及びＯＦＦ閾値と比較することで、受光素子４０２により受光される光量の変化に応じたイベント検出信号を出力することができる。
なお、図９において、電圧Ｖｏ’は、電流電圧変換部３００の出力電圧Ｖｏを階段関数で示している。量子化器３３０は、電圧Ｖｏ’における立ち上がりと立ち下がりとを検出しているといえる。
＜動き検出センサの動作＞
上述の構成を有する動き検出センサ３４においては、制御部３４８（図４）によりアドレスイベントの検出開始が指示されると、行駆動回路１１０（図５、図６）は、制御信号ＯＦＧにより、全ての画素２０のＯＦＧトランジスタ４０１（図７）をオンにする。これにより、受光素子４０２で生成される電荷がアドレスイベント検出部３０へ出力される。
ある画素２０において、アドレスイベント検出部３０によりアドレスイベントが検出されると、行駆動回路１１０は、当該画素２０のＯＦＧトランジスタ４０１をオフにする。これにより、受光素子４０２からアドレスイベント検出部３０への電荷の供給が停止される。また、行駆動回路１１０は、転送信号ＴＲＧにより、その画素２０の転送トランジスタ４００をオンにする。これにより、受光素子４０２で生成される電荷が浮遊拡散層４１３へ転送される。
このように固体撮像素子３４４は、アドレスイベントを検出した画素２０により生成された電荷を選択的に列駆動回路１１３へ出力する。すなわち、全ての画素２０を走査することなく、アドレスイベントを検出した画素２０のみからイベント検出信号が列駆動回路１１３へ出力される。
列駆動回路１１３へ出力されたイベント検出信号は、制御回路１１１へ出力され、制御回路１１１により所定の処理を経て、固体撮像素子３４４の出力信号として記憶部３４６（図４）へ出力される。この出力信号には、イベント検出信号だけでなく、アドレスイベントの発生を検出した（すなわち所定の閾値を超える光量変化を検出した）画素２０の位置（座標）、検出した時点を示すタイムスタンプ、その画素２０における光量変化の方向（明から暗、又は暗から明）を示すポラリティ情報などが含まれる。
上述のＤＶＳが適用された動き検出センサ３４においては、固体撮像素子３４４の全ての画素２０が走査されることなく、アドレスイベントを検出した画素２０のみからイベント検出信号が列駆動回路１１３へ出力される。このため、全画素を走査する場合に比べ、動き検出センサ３４は、アドレスイベントの発生を高速に検出できる。具体的には、動き検出センサ３４は、上述の測距センサ３２の動作に匹敵する速度で動作可能である。また、アドレスイベントを検出した画素２０のみからイベント検出信号が列駆動回路１１３へ出力されるため、動き検出部１４は、固体撮像素子３４４の消費電力や、画像処理の処理量の低減といった効果も発揮し得る。また、ＤＶＳには、低レイテンシー、低帯域、高ダイナミックレンジといった移動体に対する高応答性の実現、低負荷コスト、及び環境ロバスト性という特徴もある。
＜動き検出部の動作＞
動き検出部１４（図１）は、動き検出センサ３４の記憶部３４６から、固体撮像素子３４４から出力された出力信号を入力する。具体的には、測距センサ３２において駆動部３２７から受光部３２６へ出力される各受光パルス信号と同期して、動き検出センサ３４が記憶部３４６を参照し、記憶部３４６に記憶される、固体撮像素子３４４からの出力信号を取得する。その後、動き検出部１４は、取得した出力信号に基づいて、画素２０のマップの中で、物体移動領域を推定する。物体移動領域があると推定される場合、動き検出部１４は、物体移動領域を特定し、物体移動領域データを生成する。
＜信頼度補正部の動作＞
信頼度補正部１６は、信号処理部１２から信頼度マップに関するデータを入力し、動き検出部１４から物体移動領域データを入力する。これらのデータに基づき、信頼度補正部１６は、信頼度マップに物体移動領域を合成する。具体的には、物体移動領域に該当する画素の位置が信頼度マップの画素の位置に関連付けられ、信号処理部１２から入力された信頼度マップにおける当該画素の信頼度の値が低下される。例えば、信頼度補正部１６は、当該画素の信頼度の値をゼロに変更して良い。また、信頼度補正部１６は、当該画素に、物体移動領域に対応することを示すタグを付けても良い。
このようにして、動き検出部１４により検出された物体移動領域に基づいて補正された信頼度マップが得られる。補正された信頼度マップは、深度マップフィルタ処理部２２に出力される。深度マップフィルタ処理部２２は、例えば、補正された信頼度マップに基づき、深度マップに対して、物体による影響を低減させるようなフォーマットに変換するフィルタ処理を施す。また、この処理結果に基づき、地図生成部２４において、測距装置１０が搭載される移動体の周囲の環境地図が生成され、障害物検出部２６において、測距装置１０が搭載される移動体の周囲の障害物が検出され得る。
なお、本実施形態においては、動き検出センサ３４内の固体撮像素子３４４における画素数は、測距センサ３２内の受光部３２６の画素アレイにおける画素数と同一であり、前者の複数の画素と、後者の複数の画素とは予め関連付けられている。
以上のように構成される測距装置１０の動作及び効果は、測距方法についての以下の説明から理解される。
［第１の実施形態による測距方法］
次に、図１０を参照しながら、第１の実施形態による測距方法について説明する。この測距方法は、上述の測距装置１０を用いて行われ得る。
図１０を参照すると、まず、測距センサ３２からの測距信号と、動き検出センサ３４からの出力信号とが互いに同期して読み出される（ステップＳ１）。具体的には、測距センサ３２の受光部３２６に対して、出射光との位相差がそれぞれ０°、１８０°、９０°、２７０°である４つの受光パルス信号φ０、φ１８０、φ９０、φ２７０（図３）が入力されると、各受光パルス信号に応じた測距信号が信号処理部１２へ出力される。一方、動き検出部１４は、動き検出センサ３４の記憶部３４６を参照し、記憶部３４６に記憶されている、固体撮像素子３４４からの出力信号を受光パルス信号に同期して読み出す。
次いで、ステップＳ２において、４つの測距信号を入力した信号処理部１２は、各画素について距離データを算出し、距離データが画素に対応して配列される深度マップを生成する。また、信号処理部１２によって、深度マップだけでなく、距離データに基づく信頼度マップもまた生成される。所定のアルゴリズムに従って、画素ごとの距離データの信頼度を求め、求めた信頼度を画素に対応させて配列することにより信頼度マップが生成される。
図１１は、信号処理部１２により生成される深度マップの一例を説明するための説明図である。図１１に示す深度マップＤＭは、説明の便宜上、８行８列の深度マップであり、図中の最小の（単位）四角形の各々は画素を示している。各画素における数値は、例えば、測距装置１０が搭載される移動体の周辺の物体における、その画素によって捉えられた部分と、移動体との間の距離を示す距離データを表している。図１１の例では、４行４列、４行５列、５行４列、及び５行５列の４つの画素の距離データが１０となっており、当該画素の周囲の１２個の画素、すなわち、３行の３列、４列、５列、及び６列の画素、４行の３列及び６列の画素、５行の３列及び６列の画素、並びに６行の３列、４列、５列、及び６列の画素の各画素の距離データが１となっている。また、図１１の例では、一部のみが示されているが、他の画素での距離データは１００である。
図１２は、図１１の深度マップＤＭに対応する、信号処理部１２により生成される信頼度マップの一例を説明するための説明図である。図示の信頼度マップＲＭにおいては、“Ｌ”で示される４行４列の画素の距離データの信頼度が低く、他の画素の距離データの信頼度は高いという結果が得られている。すなわち、図１１の深度マップＤＭにおいて、８つの画素（３行３列、３行４列、３行５列、３行６列、４行３列、４行６列、５行３列、５行６列、６行３列、６行４列、６行５列、及び６行６列）は、周囲の画素の距離データよりも低い距離データを有していることから、信頼度は低いとも推定され得るが、信号処理部１２により算出された距離データに基づく信頼度かぎりにおいては、信頼度は低くないと判断されている。（以上、ステップＳ２）
図１０に戻り、ステップＳ２に続いて（又はステップＳ２と並列的に）、ステップＳ３において、動き検出部１４は、動き検出センサ３４の記憶部３４６から取得した、固体撮像素子３４４からの出力信号に基づき、物体移動領域を推定する。具体的には、動き検出部１４は、記憶部３４６から取得した、固体撮像素子３４４からの出力信号を積算する。すなわち、動き検出部１４は、受光パルス信号φ０、φ１８０、φ９０、φ２７０の各々の出力期間に属する出力信号（イベント検出信号）を積算する。これにより、動き検出部１４は物体移動領域を推定することができる。物体移動領域は、固体撮像素子３４４の画素マップ中における、アドレスイベントを検出した画素（所定の閾値を超える光量変化を検出した画素）が存在する範囲である。
推定の結果、物体移動領域がない場合は（ステップＳ４：Ｎｏ）、測距装置１０による処理はステップＳ７へ進み、深度マップフィルタ処理部２２において、ステップＳ２で生成された信頼度マップを用いて、深度マップに対してフィルタ処理が施される（ステップＳ７）。その後、測距装置１０による処理は、後述するステップＳ８へ進む。
一方、物体移動領域がある場合には（ステップＳ４：Ｙｅｓ）、ステップＳ５において、信号処理部１２で生成される、距離データに基づく信頼度マップが、物体移動領域に基づいて、信頼度補正部１６により補正される。具体的には、信号処理部１２から信頼度補正部１６へ信頼度マップが入力され、動き検出部１４から物体移動領域データが入力される。信頼度補正部１６は、このデータを信頼度マップに合成することにより、信頼度マップを補正する。
図１３は、補正された信頼度マップの一例を説明するための説明図である。図１３に示す補正された信頼度マップＣＲＭでは、もとの信頼度マップＲＭ（図１２）に比べて、信頼度が低いことを示す“Ｌ”で示される画素の数が増えている。注目すべきは、図１１の深度マップＤＭにおいて距離データが１であった８つの画素（３行３列、３行４列、３行５列、３行６列、４行３列、４行６列、５行３列、５行６列、６行３列、６行４列、６行５列、及び６行６列）の信頼度が低いという結果になっている点である。すなわち、深度マップＤＭに基づく信頼度マップＲＭにおいては、信頼度が低くはないと判定された８つの画素は、動き検出部１４により物体移動領域に該当すると推定され、これに基づいて、信頼度が低下されていることが分かる。換言すれば、測距センサ３２からの測距信号に基づく距離データと、これに基づく信頼度とからは、物体が移動していたために生じた誤りを把握できなかったが、動き検出センサ３４のイベント検出信号に基づき動き検出部１４により推定されて物体移動領域により、誤りが判明したと言うことができる。このような効果については、後に詳述する。
なお、具体的には、信頼度が低いと判断された画素については、信頼度の値が低下されてよく、また信頼度が低いことを示す所定のタグが付されても良い。また、図１３中、空欄の画素は、信頼度が高いことを示している。
次いで、本実施形態では、深度マップフィルタ処理部２２において、補正された信頼度マップに基づいて、深度マップに対してフィルタ処理が施される（ステップＳ６）。さらに続けて、フィルタ処理を経た深度マップに基づいて、地図生成部２４により、測距装置１０が搭載された移動体の周囲における環境地図が生成され、かつ／又は障害物検出部２６により、信頼度が低いと判断された画素に対応した空間に障害物があると検出される（ステップＳ７）。
［第１の実施形態による測距方法の効果］
次に、図１４Ａから図１６までを参照しながら、第１の実施形態による測距方法が奏する効果を、比較例による測距方法と対比させて説明する。比較例は、測距センサ３２が使用される例である。なお、以下の説明は、第１の実施形態による測距装置１０（図１）が奏する効果についての説明を兼ねる。また、以下の説明においては、便宜上、測距装置１０は、移動体としてのドローンに搭載されているものとする。ここで、ドローンは、遠隔操作又は自律的移動制御により水平移動や昇降移動が可能な飛行体を指す。また、ドローンは主に無人飛行体であるが、有人飛行体であっても良い。
図１４Ａ及び図１４Ｂ、ならびに、図１５Ａ及び図１５Ｂは、比較例による測距方法の効果を説明するための説明図である。図１４Ａ及び図１４Ｂは、移動体に搭載される測距装置により、位置が固定的とされた物体までの距離を測定する場合の例を示している。
図１４Ａを参照すると、ドローン１は、飛行中に、周囲の物体としての電線ＥＷに近づいている。ドローン１に搭載されている測距センサ３２（図１４Ａにおいて省略）は、光源部３２５（図２）からパルス状に出射光を出射するとともに、電線ＥＷで反射された反射光を受光している。受光した反射光により受光部３２６で生成された電荷が、位相差０°、９０°、１８０°、２７０°の受光パルス信号に対応して出力される。ここで、各受光パルス信号に対応して出力された各画素の電荷により画像が生成された（或いは輝度マップが生成された）と仮定すると、その画像は図１４Ｂの下側に示すように、位相差に応じて異なることとなる。これは、図１４Ｂの上側に示すように、ドローン１が電線ＥＷに（特に高速で）接近している一方で、位相ずれによって電荷の出力タイミングが遅くなるためである。具体的には、位相のずれとともに電線ＥＷが徐々に太くなるように見える。測距センサ３２からの測距信号に基づいて、図中に模式的に示すような深度マップＤＭが生成される場合には、例えば電線ＥＷの輪郭部ＷＥＡにおいて距離データが正しくないおそれがある。また、深度マップＤＭに基づく信頼度マップＲＭにおいても、例えば電線ＥＷの輪郭部ＷＥＡにおける信頼度が低下しているおそれがある。すなわち、測距センサ３２からの測距信号だけでは、電線ＥＷに接近しているために太く見えていることが把握できずに、電線ＥＷがまだ遠くにあると誤認される場合がある。
図１５Ａ及び図１５Ｂは、移動体に搭載される測距装置により、移動する物体までの距離を測定する場合の例を示している。
図１５Ａでは、周囲の物体としてのボールＢが、飛行しているドローン１の前方を横切っている。この場合においても、図１５Ｂの上側に示すようにボールＢが移動している一方で、受光パルス信号が位相ごとにずれているため、図１５Ｂの下側に示すように、画像中のボールＢの位置がずれることとなる。このようなずれは、一般的な撮像センサにおけるモーションブラーに相当する。このようなモーションブラーが発生すると、深度マップＤＭにおいて、特にボールＢの輪郭部ＢＥＡが正しく測距されているか否かが判断され得ず、信頼度マップＲＭにおいても、輪郭部ＢＥＡについての信頼度の低下が把握され得ない場合がある。その結果、ボールＢがドローン１の近くにあるにもかかわらず、遠くにあると誤認されることになりかねない。
次に、第１の実施形態による測距方法の効果について説明する。図１６は、第１の実施形態による測距方法の効果を説明するための説明図である。
第１の実施形態による測距方法によれば、図１６に示されるように、受光パルス信号φ０、φ１８０、φ９０、φ２７０に対応して、受光部３２６で生成された電荷が出力されるのに同期して、動き検出センサ３４の記憶部３４６が参照され、記憶部３４６に記憶される出力信号が動き検出部１４へ読み出される。動き検出部１４は、読み出した出力信号を積算することにより、受光パルス信号φ０、φ１８０、φ９０、φ２７０に対応する画像Ｉｍ０、Ｉｍ９０、Ｉｍ１８０、Ｉｍ２７０を生成する。画像Ｉｍ０、Ｉｍ９０、Ｉｍ１８０、Ｉｍ２７０中において、読み出した出力信号に含まれる、所定の閾値を超える光量変化を検出した画素の位置、タイムスタンプ、ポラリティに基づいて、物体移動領域ＯＭＲ０、ＯＭＲ９０、ＯＭＲ１８０、ＯＭＲ２７０が特定される（特に区別する必要が無い場合、単に物体移動領域ＯＭＲと記す）。なお、図１６に示す物体移動領域ＯＭＲにおいて、実線部分（各物体移動領域ＯＭＲの右側）は、ポラリティが暗から明に変化したことを表し、点線部分（各物体移動領域ＯＭＲの左側）は、ポラリティが明から暗に変化したことを表している。
移動体の周囲で移動する物体が、動き検出センサ３４の固体撮像素子３４４により撮像される場合、ある瞬間にその物体の中央部からの光を所定の光量で受光した画素は、その物体が移動していても、次の瞬間においてほぼ同量の光量で光を受光し得る。その一方で、その物体の輪郭部からの光を受光した画素においては、次の瞬間には受光する光の光量が大きく変化する。これは、物体の移動に伴って、その物体の輪郭部がその画素から他の画素へ移動するためである。すなわち、その画素が受光する光が、物体の輪郭部からの光から背景などからの光へと変化することにより、光量が大きく変化する。反対に、ある画素が、ある瞬間に背景からの光を受光していた場合において、その背景に物体が進入してくるときには、次の瞬間にはその物体の輪郭部からの光を受光することになるため、入射光量が大きく変化する。これらのような急激な光量変化を検出し、そのためにアドレスイベントを検出した画素（及びその周辺の画素）は、移動する物体によるモーションブラーの影響下にあることが推測される。
例えば特許文献１（特開２０１９−７５８２６号公報）に開示されるように、モーションブラーそのものを低減する方法がこれまでにも提案されているが、モーションブラーを十分に取り除くことには限界がある。しかしながら、本開示の実施形態による測距装置１０及び測距方法によれば、アドレスイベントを検出した画素から物体移動領域ＯＭＲが特定され、物体移動領域ＯＭＲが信頼度マップに対応付けられて、信頼度マップが補正される。これにより、モーションブラーの影響を受けた画素領域の信頼度を低下させることができる。すなわち、測距センサで生じ得るモーションブラーそのものを低減する場合と比較して、モーションブラーが発生した領域を特定し、その領域の信頼度を低下させることにより、信頼度マップ全体としての確からしさを向上できる。
また、そのような信頼度マップを用いれば、地図生成部２４によって、移動体の周囲に関する、信頼度の高い環境地図が生成され得る。また、そのような信頼度マップを用いれば、障害物検出部２６によって障害物を検出することもできるため、障害物を容易に回避することも可能となる。
［第１の実施形態の測距方法の変形例］
次に、図１７を参照しながら、第１の実施形態の測距方法の変形例を説明する。この変形例では、測距センサ３２（図２）の駆動部３２７によって光源部３２５からパルス状に出射される出射光の周期（又は繰り返し周波数）が所定の期間ごとに変更される。図１７に示される期間Ｐ１では、繰り返し周波数ｆ１で出射される出射光の１つのパルスに対して、位相差がそれぞれ０°、１８０°、９０°、２７０°である４つの受光パルス信号ｆ１φ０、ｆ１φ１８０、ｆ１φ９０、ｆ１φ２７０が受光部３２６に出力される。次の期間Ｐ２では、繰り返し周波数ｆ２で出射される出射光の一つのパルスに対して、位相差がそれぞれ０°、１８０°、９０°、２７０°である４つの受光パルス信号ｆ２φ０、ｆ２φ１８０、ｆ２φ９０、ｆ２φ２７０が受光部３２６に出力される。これら８つの受光パルス信号により受光部３２６から出力される電荷量に基づいて測距信号が生成され、信号処理部１２において、距離データが算出され、深度マップ及び信頼度マップが生成される。
一方、動き検出部１４によって、受光パルス信号ｆ１φ０、ｆ１φ９０、ｆ１φ１８０、ｆ１φ２７０、ｆ２φ０、ｆ２φ９０、ｆ２φ１８０、ｆ２φ２７０に対応する画像ｆ１Ｉｍ０、ｆ１Ｉｍ９０、ｆ１Ｉｍ１８０、ｆ１Ｉｍ２７０、ｆ２Ｉｍ０、ｆ２Ｉｍ９０、ｆ２Ｉｍ１８０、ｆ２Ｉｍ２７０が生成され、それぞれの画像において、物体移動領域ｆ１ＯＭＲ０、ｆ１ＯＭＲ９０、ｆ１ＯＭＲ１８０、ｆ１ＯＭＲ２７０、ｆ２ＯＭＲ０、ｆ２ＯＭＲ９０、ｆ２ＯＭＲ１８０、ｆ２ＯＭＲ２７０が特定される。
これらの物体移動領域ｆ１ＯＭＲ０、ｆ１ＯＭＲ９０、ｆ１ＯＭＲ１８０、ｆ１ＯＭＲ２７０、ｆ２ＯＭＲ０、ｆ２ＯＭＲ９０、ｆ２ＯＭＲ１８０、ｆ２ＯＭＲ２７０に基づいて、信頼度マップＲＭが補正される。
本変形例においては、最初の受光パルス信号ｆ１φ０と最後の受光パルス信号ｆ２φ２７０との間の受光パルス信号の時間差が大きくなるため、図１７に示す、対応する画像（輝度マップ）のずれΔもまた大きくなる。このため、先の比較例との類推から、測距センサ３２においては、モーションブラーの影響が増大するおそれがある。
しかし、本開示による測距装置及び測距方法によれば、８つの受光パルス信号に対応して、物体移動領域が特定され、これに基づき、信頼度マップが補正されるため、上記の説明から理解されるように、モーションブラーの発生に対処することができる。
なお、物体移動領域ｆ１ＯＭＲ０、ｆ１ＯＭＲ９０、ｆ１ＯＭＲ１８０、ｆ１ＯＭＲ２７０、ｆ２ＯＭＲ０、ｆ２ＯＭＲ９０、ｆ２ＯＭＲ１８０、ｆ２ＯＭＲ２７０において、実線部分（各物体移動領域ＯＭＲ０、ＯＭＲ９０、ＯＭＲ１８０、ＯＭＲ２７０の右側）は、ポラリティが暗から明に変化したことを表し、点線部分（各物体移動領域ＯＭＲ０、ＯＭＲ９０、ＯＭＲ１８０、ＯＭＲ２７０の左側）は、ポラリティが明から暗に変化したことを表している。また、周波数ｆ１は例えば１００ＭＨｚであり、周波数ｆ２は例えば１０ＭＨｚであって良い。繰り返し周波数を変えることにより、測距装置１０の（近くから遠くまでの）測距範囲を拡大することが可能となる。
（第２の実施形態）
次に、図１８を参照しながら、本開示の第２の実施形態による測距装置について説明する。図示のとおり、第２の実施形態による測距装置１０Ａは、信号処理部１２、動き検出部１４０、及び信頼度補正部１６を有し、深度マップフィルタ処理部２２、地図生成部２４、及び障害物検出部２６を有することができる。さらに、本実施形態による測距装置１０Ａに対し測距センサ３２及び高速カメラ３４Ａが電気的に接続されている。すなわち、第１の実施形態による測距装置１０における動き検出センサ３４（ＤＶＳ）の代わりに高速カメラ３４Ａが適用され、動き検出部１４の代わりに動き検出部１４０を有する点で、第２の実施形態による測距装置１０Ａは、第１の実施形態による測距装置１０と相違する。他の構成は、２つの実施形態において共通する。
ここで、高速カメラ３４Ａとしては、測距センサ３２の光源部３２５から出射される出射光のパルス周波数に比べて、高速撮像が可能なカメラ（例えば、受光パルス信号が入力されるごとに１フレームの画像を撮像可能なカメラ）を使用することができる。具体的には、高速カメラ３４Ａとして、１０００ｆｐｓ(frame per second)から１００００ｆｐｓといったフレームレートを有するカメラを使用することができる。また、高速カメラ３４Ａを使用する場合、動き検出部１４にはフレームデータが入力される。動き検出部１４は、フレームデータに対して、所定のアルゴリズムに基づく処理を行って、所定以上の動きが発生しモーションブラーが生じていると考えられる画素領域を特定する。
例えば、動き検出部１４は、既知の動きベクトル検出の技術を用いて、物体移動領域を検出することができる。動き検出部１４は、例えば、対象フレームにおける、Ｍ画素×Ｎ画素の対象ブロックに対して、対象フレームより時間的に前の参照フレーム内のＭ画素×Ｎ画素の参照ブロックを所定範囲で移動させながら、対象ブロックと参照ブロックとの間でパターンマッチングを行う。動き検出部１４は、このパターンマッチングにより対象ブロックと参照ブロックとの差分を算出し、最小の差分が検出された参照ブロックの位置に基づき動きベクトルを検出する。動き検出部１４は、例えば、この動きベクトルの大きさが所定以上の場合に、対象ブロックが物体移動領域を含むと判定できる。このようにして、動き検出部１４により物体移動領域が求められる。これに基づき、信頼度補正部１６は、信号処理部１２から入力した信頼度マップを補正することができる。なお、本実施形態による測距装置に設けられた深度マップフィルタ処理部２２、地図生成部２４、及び障害物検出部２６は、第１の実施形態による測距装置１０における対応する構成と同様に動作することができる。
以上説明したとおり、第２の実施形態による測距装置１０Ａによれば、高速カメラ３４Ａを適用することにより特定された物体移動領域に基づいて、信頼度マップが補正される。このため、第１の実施形態による測距装置１０と同様に、モーションブラーの影響を受けた画素領域の信頼度を低下させることが可能となる。また、そのような信頼度マップを用いれば、地図生成部２４によって、移動体の周囲に関する、信頼度の高い環境地図を生成することが可能となる。また、そのような信頼度マップを用いれば、障害物検出部２６によって障害物を検出することもできるため、障害物を容易に回避することも可能となる。また、高速カメラ３４Ａによれば、物体の画像を取得することも可能となる。
（第３の実施形態）
［第３の実施形態による測距装置の構成］
次に、本開示の第３の実施形態による測距装置について説明する。図１９は、第３の実施形態による測距装置の機能を説明するための一例の機能ブロック図である。図示のとおり、第３の実施形態による測距装置１０Ｂは、信号処理部１２Ｂと動き検出部１４１とを有している。また、本実施形態による測距装置１０Ｂには、地図生成部２４及び障害物検出部２６が設けられている。さらに、本実施形態においても、測距装置１０Ｂに対して測距センサ３２及び動き検出センサ３４が電気的に接続されている。
［第３の実施形態による測距方法］
上記の測距装置１０Ｂにおいては、動き検出部１４により生成された物体移動領域データが、信号処理部１２Ｂへ入力される。信号処理部１２Ｂにおいては、物体移動領域データに基づき、深度マップに対して、物体による影響を低減させるようなフォーマットに変換するフィルタ処理が行われる。すなわち、物体移動領域に該当する画素の距離データが補正される。さらに、フィルタ処理後の深度マップに対して、距離データに基づく信頼度マップに適用される。この後に地図生成部２４及び障害物検出部２６において行われる処理は、第１の実施形態による測距装置１０における対応する構成での処理と同じである。
第３の実施形態による測距装置及び測距方法においては、動き検出部１４により生成された物体移動領域データが深度マップに反映されるため、モーションブラーの影響を受けた画素領域を把握することができる。このため、測距装置１０Ｂ（測距センサ３２）と物体との間の相対的な速度に応じたモーションブラーの発生に、適切に対処することが可能である。
以上、幾つかの実施形態を参照しながら、本開示を説明したが、本開示は上述の実施形態に限定されることなく、種々に変更・変形することができる。
第１から第３の実施形態における測距装置においては、動き検出センサ３４内の固体撮像素子３４４における画素数は、測距センサ３２内の受光部３２６の画素アレイにおける画素数と同一であり、前者の複数の画素と、後者の複数の画素とは予め関連付けられている。しかし、測距センサ３２内の受光部３２６の画素アレイの画素数と、動き検出センサ３４内の固体撮像素子３４４の画素数とは一致していなくても良い。ここで、固体撮像素子３４４の画素数が多い場合には、例えば、測距センサ３２内の受光部３２６の画素アレイの一つの画素に、固体撮像素子３４４の複数の画素２０を関連付けても良い。反対に、受光部３２６の画素アレイの画素数が多い場合には、固体撮像素子３４４の一つの画素に、受光部３２６の画素アレイの複数の画素を関連付けて良い。
また、上述の実施形態による測距装置１０（１０Ａ、１０Ｂ）においては、測距センサ３２及び動き検出センサ３４が測距装置１０に電気的に接続されていたが、これに限らず、測距センサ３２及び動き検出センサ３４は、測距装置１０に一体化されても良い。また、測距センサ３２と、測距装置１０の信号処理部１２とが一体化されても良く、測距センサ３２の駆動部３２７が信号処理部１２に設けられていても良い。同様に、動き検出センサ３４が動き検出部１４と一体化されていても良く、動き検出センサ３４の制御部３４８及び記憶部３４６のいずれか又は双方が動き検出部１４に設けられていても良い。
第１の実施形態による測距方法及びその変形例に関し、信頼度補正部１６において、物体移動領域に該当する画素の距離データを、当該画素の周囲の画素の距離データに基づいて補正することも可能である。例えば、その画素を挟む２つの画素における距離データを所定の方式で補間することにより、当該画素の距離データを補正しても良い。なお、信頼度補正部１６の機能を信号処理部１２が有する場合においては、信号処理部において、同様に距離データを補正しても良い。また、第２の実施形態による測距装置１０Ａにおいては、動き検出部１４０により検出された動きベクトルを用いて距離データを保存しても良い。
また、第１の実施形態による測距方法は、適宜変更又は変形することにより、第２ないし第３の実施形態による測距装置を用いて実施することができることは勿論である。
なお、第１から第３の実施形態による測距装置は、例えば特定用途向け集積回路（ＡＳＩＣ）、プログラマブル・ゲート・アレイ（ＰＧＡ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を始めとするハードウェアを備えるプロセッサにより実現され得る。また、第１から第３の実施形態による測距装置は、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータとして構成されても良い。さらに、第１から第３の実施形態による測距装置内の信号処理部１２、動き検出部１４、及び信頼度補正部１６などが個別のプロセッサにより実現されても良い。これらの場合であっても、第１から第３の実施形態による測距装置は全体としてプロセッサにより実現され得る。プロセッサは、プログラムや各種データに従って、上述の第１の実施形態による測距方法を実行することができる。プログラムや各種データは、ハード・ディスク・ドライブや、サーバ、半導体メモリなどの非一時的なコンピュータ可読記憶媒体から有線又は無線でダウンロードされ得る。
したがって、本開示による測距装置は、ハードウェアを備えるプロセッサを備え、当該プロセッサが、物体までの距離を示す距離データを算出し、前記距離データの信頼度を算出し、前記物体の動きを検出し、前記動き検出部での検出結果に基づいて、前記距離データ又は前記信頼度のいずれかを補正するように構成されると表現されても良い。
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図２１は、撮像部１２０３１の設置位置の例を示す図である。
図２１では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２１０１ないし１２１０５に適用され得る。具体的には、撮像部１２１０１ないし１２１０５として、第１ないし第３の実施形態（変形例を含む）による測距装置を適用することができる。これにより、測距結果に基づく信頼度マップが、動き検出の結果に基づく物体移動領域データにより補正され、補正された信頼度マップを用いることにより深度マップが修正され得るため、車両１２１００と、その周囲の物体との間の相対的な速度に応じたモーションブラーの発生に、適切に対処することが可能となる。
なお、上記において、一実施形態による測距装置及び測距方法が奏する種々の効果が記載されているが、そのような効果は、本開示の測距装置及び測距方法を限定するものでは無い。また、種々の効果のすべてが発揮されなくても良い。また、本開示の測距装置及び測距方法により、ここに記載されていない付加的な効果が発揮されても良い。
本開示は以下のような構成も取ることができる。
（１）
物体までの距離を示す距離データを算出する測距部と、
前記距離データの信頼度を算出する信頼度算出部と、
前記物体の動きを検出する動き検出部と、
前記動き検出部での検出結果に基づいて、前記距離データ又は前記信頼度を補正する補正部と、
を備える測距装置。
この構成によれば、物体までの距離を示す距離データと、その信頼度とのいずれかが、動き検出部の検出結果により補正されるため、距離データ又は信頼度に物体の動きを反映させることができる。
（２）
前記測距部は、
光源の発光に応じて位相ごとに受光を行い、該位相ごとの受光により出力された該位相ごとの受光信号に基づいて前記距離データを算出する、（１）に記載の測距装置。
これによれば、該位相ごとの受光により出力された該位相ごとの受光信号に基づいて距離データが算出されるため、精度の高い測距が可能となる。
（３）
前記測距部は、
光源の発光に応じて、マトリックス状に配列された複数の画素で位相ごとに受光を行い、該位相ごとの受光により前記複数の画素から出力された該位相ごとの受光信号に基づいて画素ごとの前記距離データを算出し、当該画素ごとの前記距離データに基づいて深度マップを生成する、（１）に記載の測距装置。
この構成によれば、この測距装置が搭載される移動体と、その周囲の物体との距離を３次元的に把握することができる。
（４）
前記動き検出部は、
前記物体の動きを検出した検出結果に基づき、前記複数の画素の配列における物体移動領域を特定する、（３）に記載の測距装置。
これにより、本測距装置の周囲の物体の動きを２次元的に把握することできる。
（５）
前記測距部は、前記複数の画素ごとの距離データの信頼度を算出し、前記複数の画素の配列に対応する信頼度マップを生成し、
前記補正部は、前記信頼度を補正する場合において、前記物体移動領域に基づき前記信頼度マップを補正する、（４）に記載の測距装置。
これによれば、この測距装置が搭載される移動体の周囲において、物体が動いた領域が反映された信頼度マップを取得できる。
（６）
前記測距部は、前記複数の画素ごとの距離データの信頼度を算出し、前記複数の画素の配列に対応する信頼度マップを生成し、
前記補正部は、前記信頼度を補正する場合において、前記物体移動領域に対応する画素の前記信頼度の値を下げることにより前記信頼度マップを補正する、（４）に記載の測距装置。
このようにしても、この測距装置が搭載される移動体の周囲において、物体が動いた領域が反映された信頼度マップを取得できる。
（７）
前記測距部は、前記複数の画素ごとの距離データの信頼度を算出し、前記複数の画素の配列に対応する信頼度マップを生成し、
前記補正部は、前記信頼度を補正する場合において、前記物体移動領域に対応する画素に対し、信頼度が低いことを示すタグを対応付けることにより前記信頼度マップを補正する、（４）に記載の測距装置。
このようにしても、この測距装置が搭載される移動体の周囲において、物体が動いた領域が反映された信頼度マップを取得できる。
（８）
前記補正部は、前記距離データを補正する場合において、前記物体移動領域に対応する画素の前記距離データを補正する、（４）に記載の測距装置。
これによれば、測定誤差による不確かな距離データを補正できる。
（９）
前記動き検出部は、
光を受光した複数の受光素子のうち、受光した光の光量の変化が所定の閾値を超えた受光素子から出力される検出信号に基づいて前記物体の動きを検出する、（１）から（８）のいずれかに記載の測距装置。
これによれば、物体が動いた領域を高速かつ効率的に把握できる。
（１０）
前記動き検出部は、
光を受光した複数の受光素子のうち、受光した光の光量の変化が所定の閾値を超えた受光素子の位置を特定し、前記複数の画素に対応する画素マップにおける、前記物体が動いた物体移動領域を特定する、（３）に記載の測距装置。
これによれば、物体が動いた領域を２次元的に把握できる。
（１１）
光源からの出射光の単位時間当たりの出射回数よりも大きいフレームレートで撮像可能なカメラを更にそなえ、
前記動き検出部は、前記カメラからのフレームデータに基づいて、前記物体の動きを検出する、（１）に記載の測距装置。
このようにしても、動き検出部は、物体の動きを検出できる。
（１２）
前記補正部により補正された前記信頼度に基づいて前記深度マップをフィルタリングする深度マップフィルタ処理部を更に備える、（３）に記載の測距装置。
これによれば、この測距装置が搭載される移動体の周囲における環境地図を生成し易くなり、障害物の検出も容易化され得る。
（１３）
前記補正部により補正された前記信頼度に基づいて深度マップフィルタ処理部によりフィルタリングされたフィルタリング後の深度マップに基づいて、前記物体を含む環境地図を生成する地図生成部を更に備える、（１０）に記載の測距装置。
これによれば、環境地図が容易に生成され得る。
（１４）
前記補正部により補正された前記信頼度に基づいて深度マップフィルタ処理部によりフィルタリングされたフィルタリング後の深度マップに基づいて、当該測距装置の周囲の障害物を検出する障害物検出部を更に備える、（１０）に記載の測距装置。
これによれば、障害物を容易に検出し得る。
（１５）
物体までの距離を示す距離データを算出し、
前記距離データの信頼度を算出し、
前記物体の動きを検出し、
前記物体の動きの検出結果に基づいて、前記信頼度を補正する、測距方法。
（１６）
光源からの出射光で照射された前記物体から反射される光を受光し、当該光に応じた電荷を生成し、前記出射光に対して所定の位相ずれをそれぞれ有する複数の駆動信号により前記電荷をそれぞれ出力する測距センサを更に備え、
前記測距部は、前記測距センサからの前記電荷に基づいて前記距離データを算出する、（１）に記載の測距装置。
このような測距センサによれば、出射光に対して所定の位相ずれをそれぞれ有する複数の駆動信号により電荷がそれぞれ出力され、これらの電荷に基づいて距離データが算出されるため、精度の高い測距が可能となる。
（１７）
前記物体からの光を受光する複数の画素を有し、前記光を受光した前記複数の画素のうち、受光した前記光の光量が所定の閾値を超えた画素から検出信号を出力する光学センサを更に備え、
前記動き検出部は、前記光学センサから出力される前記検出信号に基づいて前記物体の動きを検出する、（１）から（３）のいずれかに記載の測距装置。
このような光学センサによれば、全ての画素を走査することなく、アドレスイベントを検出した画素のみからイベント検出信号が出力されるため、高速にアドレスイベントの発生を検出できる。限定はされないが、（２）の測距センサとともに用いた場合に、当該測距センサにおいて複数の駆動信号により出力される電荷の出力速度（頻度）に相当する速度で物体からの反射光を受光できる。
（１８）
前記動き検出部は、前記検出信号を出力した画素の位置に基づき、前記光学センサの前記複数の画素に対応する画素マップにおける、前記物体が動いた物体移動領域を特定する、（４）に記載の測距装置。
これによれば、この測距装置が搭載される移動体から見た場合に、周囲において、どの領域で物体が移動しているかを把握することができる。
１ ドローン
１０、１０Ａ、１０Ｂ 測距装置
１２、１２Ｂ 信号処理部
１４、１４０、１４１ 動き検出部
１６ 信頼度補正部
２２ 深度マップフィルタ処理部
２４ 地図生成部
２６ 障害物検出部
３２ 測距センサ
３２５ 光源部
３２６ 受光部
３２７ 駆動部
３４ 動き検出センサ
３４２ 光学系
３４４ 固体撮像素子
３４６ 記憶部
３４８ 制御部
１１０ 行駆動回路
１１１ 制御回路
１１２ アービタ
１１３ 列駆動回路
１１４ 画素アレイ部
２０ 画素
３０ アドレスイベント検出部
４０ 受光部
４１ 画素信号生成部
４１０ リセットトランジスタ
４１１ 増幅トランジスタ
４１２ 選択トランジスタ
４１３ 浮遊拡散層
ＳＥＬ 選択信号
ＶＳＬ 垂直信号線
４００ 転送トランジスタ
４０１ ＯＦＧトランジスタ
４０２ 受光素子
３００ 電流電圧変換部
３１０ バッファアンプ
３２０ 減算部
３３０ 量子化器
３２１ キャパシタ
３２２ キャパシタ
３２３ スイッチ部
３２４ インバータ
１２１００ 車両
１２０００ 車両制御システム
１２００１ 通信ネットワーク
１２０３０ 車外情報検出ユニット
１２０５０ 統合制御ユニット
１２０５１ マイクロコンピュータ
１２０５３ 車載ネットワークＩ／Ｆ

Claims (15)

  1. 物体までの距離を示す距離データを算出する測距部と、
    前記距離データの信頼度を算出する信頼度算出部と、
    前記物体の動きを検出する動き検出部と、
    前記動き検出部での検出結果に基づいて、前記距離データ又は前記信頼度を補正する補正部と、
    を備える測距装置。
  2. 前記測距部は、
    光源の発光に応じて位相ごとに受光を行い、該位相ごとの受光により出力された該位相ごとの受光信号に基づいて前記距離データを算出する、請求項１に記載の測距装置。
  3. 前記測距部は、
    光源の発光に応じて、マトリックス状に配列された複数の画素で位相ごとに受光を行い、該位相ごとの受光により前記複数の画素から出力された該位相ごとの受光信号に基づいて画素ごとの前記距離データを算出し、当該画素ごとの前記距離データに基づいて深度マップを生成する、請求項１に記載の測距装置。
  4. 前記動き検出部は、
    前記物体の動きを検出した検出結果に基づき、前記複数の画素の配列における物体移動領域を特定する、請求項３に記載の測距装置。
  5. 前記測距部は、前記複数の画素ごとの距離データの信頼度を算出し、前記複数の画素の配列に対応する信頼度マップを生成し、
    前記補正部は、前記信頼度を補正する場合において、前記物体移動領域に基づき前記信頼度マップを補正する、請求項４に記載の測距装置。
  6. 前記測距部は、前記複数の画素ごとの距離データの信頼度を算出し、前記複数の画素の配列に対応する信頼度マップを生成し、
    前記補正部は、前記信頼度を補正する場合において、前記物体移動領域に対応する画素の前記信頼度の値を下げることにより前記信頼度マップを補正する、請求項４に記載の測距装置。
  7. 前記測距部は、前記複数の画素ごとの距離データの信頼度を算出し、前記複数の画素の配列に対応する信頼度マップを生成し、
    前記補正部は、前記信頼度を補正する場合において、前記物体移動領域に対応する画素に対し、信頼度が低いことを示すタグを対応付けることにより前記信頼度マップを補正する、請求項４に記載の測距装置。
  8. 前記補正部は、前記距離データを補正する場合において、前記物体移動領域に対応する画素の前記距離データを補正する、請求項４に記載の測距装置。
  9. 前記動き検出部は、
    光を受光した複数の受光素子のうち、受光した光の光量の変化が所定の閾値を超えた受光素子から出力される検出信号に基づいて前記物体の動きを検出する、請求項１に記載の測距装置。
  10. 前記動き検出部は、
    光を受光した複数の受光素子のうち、受光した光の光量の変化が所定の閾値を超えた受光素子の位置を特定し、前記複数の画素に対応する画素マップにおける、前記物体が動いた物体移動領域を特定する、請求項３に記載の測距装置。
  11. 光源からの出射光の単位時間当たりの出射回数よりも大きいフレームレートで撮像可能なカメラを更にそなえ、
    前記動き検出部は、前記カメラからのフレームデータに基づいて、前記物体の動きを検出する、請求項１に記載の測距装置。
  12. 前記補正部により補正された前記信頼度に基づいて前記深度マップをフィルタリングする深度マップフィルタ処理部を更に備える、請求項３に記載の測距装置。
  13. 前記補正部により補正された前記信頼度に基づいて深度マップフィルタ処理部によりフィルタリングされたフィルタリング後の深度マップに基づいて、前記物体を含む環境地図を生成する地図生成部を更に備える、請求項１０に記載の測距装置。
  14. 前記補正部により補正された前記信頼度に基づいて深度マップフィルタ処理部によりフィルタリングされたフィルタリング後の深度マップに基づいて、当該測距装置の周囲の障害物を検出する障害物検出部を更に備える、請求項１０に記載の測距装置。
  15. プロセッサが、
    物体までの距離を示す距離データを算出し、
    前記距離データの信頼度を算出し、
    前記物体の動きを検出し、
    前記物体の動きの検出結果に基づいて、前記距離データ又は前記信頼度を補正する、
    測距方法。
JP2019208374A 2019-11-19 2019-11-19 測距装置及び測距方法 Pending JP2021081290A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019208374A JP2021081290A (ja) 2019-11-19 2019-11-19 測距装置及び測距方法
PCT/JP2020/042211 WO2021100593A1 (ja) 2019-11-19 2020-11-12 測距装置及び測距方法
EP20889866.8A EP4063914A4 (en) 2019-11-19 2020-11-12 TELEMETRY DEVICE AND METHOD FOR TELEMETRY
US17/767,917 US20240103166A1 (en) 2019-11-19 2020-11-12 Distance measuring device and distance measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019208374A JP2021081290A (ja) 2019-11-19 2019-11-19 測距装置及び測距方法

Publications (1)

Publication Number Publication Date
JP2021081290A true JP2021081290A (ja) 2021-05-27

Family

ID=75964816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019208374A Pending JP2021081290A (ja) 2019-11-19 2019-11-19 測距装置及び測距方法

Country Status (4)

Country Link
US (1) US20240103166A1 (ja)
EP (1) EP4063914A4 (ja)
JP (1) JP2021081290A (ja)
WO (1) WO2021100593A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102378920B (zh) * 2009-02-27 2014-01-08 松下电器产业株式会社 测距设备
JP6140935B2 (ja) * 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
US9129155B2 (en) * 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
WO2017025885A1 (en) * 2015-08-07 2017-02-16 King Abdullah University Of Science And Technology Doppler time-of-flight imaging
JP2017086648A (ja) * 2015-11-13 2017-05-25 ソニー株式会社 手術システム、手術用制御方法、およびプログラム
JP2017150893A (ja) * 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
WO2019054099A1 (ja) 2017-09-14 2019-03-21 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置
JP7214363B2 (ja) * 2018-04-27 2023-01-30 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム

Also Published As

Publication number Publication date
WO2021100593A1 (ja) 2021-05-27
EP4063914A1 (en) 2022-09-28
EP4063914A4 (en) 2022-12-21
US20240103166A1 (en) 2024-03-28

Similar Documents

Publication Publication Date Title
JP7284714B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP7141440B2 (ja) 固体撮像素子
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
CN113396579B (zh) 事件信号检测传感器和控制方法
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
JP7044107B2 (ja) 光センサ、及び、電子機器
JP7148269B2 (ja) 固体撮像素子および撮像装置
EP3865911B1 (en) Sensor fusion system, synchronization control device, and synchronization control method
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
JP2020053827A (ja) 固体撮像素子、および、撮像装置
JPWO2019239722A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2021093610A (ja) 固体撮像素子、および、撮像装置
WO2020129657A1 (ja) センサ及び制御方法
CN110832346A (zh) 电子装置和电子装置的控制方法
WO2021010174A1 (ja) 受光装置、および、受光装置の駆動方法
WO2022153746A1 (ja) 撮像装置
WO2021100593A1 (ja) 測距装置及び測距方法
US20220074797A1 (en) Imaging device and calibration method
JP2022105924A (ja) 撮像装置および測距システム
WO2022137993A1 (ja) コンパレータ及び固体撮像素子
WO2022014222A1 (ja) 撮像装置および撮像方法
WO2021246107A1 (ja) 固体撮像装置、固体撮像装置の制御方法および移動体
JP2022007152A (ja) 光検出装置および測距システム