JP2020118514A - 測距方法、測距装置、車載装置、移動体、測距システム - Google Patents

測距方法、測距装置、車載装置、移動体、測距システム Download PDF

Info

Publication number
JP2020118514A
JP2020118514A JP2019008763A JP2019008763A JP2020118514A JP 2020118514 A JP2020118514 A JP 2020118514A JP 2019008763 A JP2019008763 A JP 2019008763A JP 2019008763 A JP2019008763 A JP 2019008763A JP 2020118514 A JP2020118514 A JP 2020118514A
Authority
JP
Japan
Prior art keywords
distance
evaluation value
image
matching evaluation
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019008763A
Other languages
English (en)
Other versions
JP7238422B2 (ja
Inventor
洋義 関口
Hiroyoshi Sekiguchi
洋義 関口
秀昂 宮島
Hidetaka Miyajima
秀昂 宮島
大内田　茂
Shigeru Ouchida
茂 大内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019008763A priority Critical patent/JP7238422B2/ja
Priority to EP20151291.0A priority patent/EP3686631A1/en
Priority to US16/745,391 priority patent/US11366229B2/en
Publication of JP2020118514A publication Critical patent/JP2020118514A/ja
Application granted granted Critical
Publication of JP7238422B2 publication Critical patent/JP7238422B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/345—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using triangular modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】それぞれの測距方式の利点を従来よりも活かして融合できる測距方法等を提供すること。【解決手段】取得手段３７が、対象物に照射される送信波と対象物からの反射波の合成により得たうなり信号から信号成分を取り出すステップと、生成手段３８が、複数の画像データのマッチング評価値を生成するステップと、前記信号成分と前記マッチング評価値の融合を、前記マッチング評価値から距離画像を生成する前に融合手段３９が行い、融合された前記信号成分と前記マッチング評価値から画素ごとに距離情報が設定された距離画像を生成するステップと、を有することを特徴とする測距方法を提供する。【選択図】図１２

Description

本発明は、測距方法、測距装置、車載装置、移動体、及び測距システムに関する。
従来からステレオカメラにおいて画素ごと視差を計算する視差計算アルゴリズムが知られている。視差計算アルゴリズムでは、視差空間を探索して視差空間でコストが最小となる視差を整数視差dとして得て、次いで、サブピクセルを推定しサブピクセルを考慮した視差Ｄと距離Ｚとの対応式（Z=BF/D）により各画素に対する距離を計算する（Ｂは基線長、Ｆは焦点距離）。しかし、この視差空間においてコストを求めると、視差Ｄが小さい（距離Ｚが大きい）遠方領域において、距離分解能を確保することが難しいこと、及び、視差計算結果のばらつき（分散）が距離の分散に大きく影響を与えることが知られている。
例えば、ステレオカメラは車載業界を初めとする様々な業界で応用が期待されているが、今後は自動運転の開発に伴って更に遠方での測距性能を要求される可能性がある。
そこで、空間分解能は高いが遠方の距離分解能が低いステレオカメラによる測距値と、空間分解能は低いが距離分解能は高いＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）と呼ばれるＴＯＦ（Time Of Flight）方式の測距値、又は、ミリ波レーダ若しくはソナーを用いたＦＣＭ（Fast Chirp Modulation）やＦＭＣＷ（Frequency Modulation Continuous Wave）方式の測距値を融合する試みがある（例えば、特許文献１参照。）。特許文献１には、テクスチャの少ない領域の視差画像の濃度をＬＩＤＡＲの距離情報を使って増加させるフュージョン方法が開示されている。
しかしながら、特許文献１に開示された技術では、それぞれの測距方式の利点を活かして融合しているとは言えないという問題がある。従来は、ステレオカメラがブロックマッチング等で距離画像を出力した後に、ＬＩＤＡＲ、ＦＣＭ又はＦＭＣＷ方式による距離情報を後発的に追加する融合方法が一般的であった。この融合方法では、遠方を撮像したステレオカメラの距離画像にそもそも多くの誤差が含まれているため、ＬＩＤＡＲ、ＦＣＭ又はＦＭＣＷ方式の距離情報を融合しても精度の向上に限界があった。
すなわち、空間分解能は低いが距離分解能は高いＬＩＤＡＲ、ＦＣＭ又はＦＭＣＷ方式と、空間分解能は高いが遠方距離分解能が低いステレオカメラとの融合が十分でなく、互いの利点を活かしているとまでは言えない可能性がある。
本発明は、上記課題に鑑み、それぞれの測距方式の利点を従来よりも活かして融合できる測距方法等を提供することを目的とする。
上記課題に鑑み、本発明は、取得手段が、対象物に照射される送信波と対象物からの反射波の合成により得たうなり信号から信号成分を取り出すステップと、生成手段が、複数の画像データのマッチング評価値を生成するステップと、前記信号成分と前記マッチング評価値の融合を、前記マッチング評価値から距離画像を生成する前に融合手段が行い、融合された前記信号成分と前記マッチング評価値から画素ごとに距離情報が設定された距離画像を生成するステップと、を有することを特徴とする測距方法を提供する。
それぞれの測距方式の利点を従来よりも活かして融合できる測距方法等を提供することができる。
送信波、受信波、及び、反射波のモデルを示す図の一例である。 送信波と受信波の周波数を模式的に示す図である。 ＦＭＣＷ方式において時間に対する送信波と受信波の周波数とうなり信号の波形を示す図の一例である。 １方向に複数の物体がある場合の送信波、及び反射波のモデルを示す図の一例である。 ３つの物体がある場合における送信波と受信波２８の周波数のずれを説明する図の一例である。 ノイズを含む周波数スペクトルを模式的に示す図の一例である。 移動体の一例である車両に搭載された測距システムの一例を示す図である。 ミリ波レーダ測距部とステレオ画像演算部が別体に構成された測距システムの一例を示す図である。 ミリ波レーダ測距部によるミリ波の照射範囲について説明する図の一例である。 ステレオ画像演算部によるステレオ画像の撮像範囲を説明するための図である。 単眼カメラからステレオ画像を生成する方法を説明する図の一例である。 測距システムの一例の概略構成図である。 データ融合部の機能をブロック状に示す機能ブロック図の一例である。 物体の方向を説明する図の一例である。 右カメラにより撮像された基準画像と、左カメラにより撮像された比較画像における、注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）のコストとして、ＳＡＤを算出する例を示した図である。 ある注目している画素の視差ごとのＳＡＤの一例を示す図である。 伝播コストＬｒ（ｐ，ｄ）の算出におけるｒ方向を示す図である。 うなり信号をフーリエ変換して得られる周波数スペクトルの一例を示す図である。 データ融合部が視差画像から求めた距離と、ＦＣＭ方式で検出された距離を融合する手順を示す一例のフローチャート図である。 画像データとミリ波レーダの反射波の到来方向の対応の一例を示す図である。 データ融合部の機能をブロック状に示す機能ブロック図の一例である（実施例２）。 データ融合部が視差画像のステレオマッチングコストと、周波数スペクトルを融合する手順を示す一例のフローチャート図である。 視差空間におけるステレオマッチングコストと距離空間のステレオマッチングコストの変換を説明する図である。 融合コストカーブの生成を説明する図の一例である。 データ融合部の機能をブロック状に示す機能ブロック図の一例である（実施例３）。 データ融合部が視差画像のステレオマッチングコストと、うなり信号の時間空間のスペクトルを融合する手順を示す一例のフローチャート図である。 時間空間のステレオマッチングコストと融合コストカーブの一例を示す図である。 データ融合部の機能をブロック状に示す機能ブロック図の一例である（実施例４）。 うなり信号の周波数スペクトルから変換された時間空間の周波数スペクトルの一例である。 。時間空間における距離画像の距離と、ＦＣＭ方式で検出された距離を融合する手順を示す一例のフローチャート図である。 測距システムの一例を示す図である。 ミリ波レーダ測距部又はステレオ画像演算部に異常がある場合の、ＥＣＵの制御例を示すフローチャート図の一例である。 ミリ波レーダ測距部又はステレオ画像演算部に異常が生じた場合の表示例を示す図である。 画像データとミリ波の照射位置とステレオマッチングコストを模式的に示す図である。 周波数スペクトルとステレオマッチングコストの融合例を説明する図の一例である。 距離画像提供システムの概略構成図の一例である。 距離画像提供システムの機能ブロック図の一例である。
以下、本発明を実施するための形態について図面を参照しながら説明する。
＜用語について＞
対応点を探す事をマッチングといい、そのマッチングの度合いをコストという。コストはマッチングの度合いの「評価値」であり、「非類似度」や「類似度」とも表現される。非類似度が低ければより一致している事を示し、類似度が高ければより一致している事を示す指標である。「非類似度」「類似度」を合わせて「一致度」とも表現することもある。
距離分解能とは物体までの距離の違いを識別できる能力である。Ｚ方向の距離分解能が例えば１０ｃｍの場合、原点から１２ｃｍにある物体と２１ｃｍにある物体（９ｃｍしか違いがない）を識別できず同じ物体（同じ距離）と判断される。
空間分解能とは二次元の任意の方向の距離の違いを識別する能力である。Ｘ，Ｙ平面において例えば空間分解能が５ｃｍの場合、距離が４ｃｍしか離れていない２つの物体を識別できず同じ物体と判断される。空間分解能を角度分解能と称してもよい。
マッチング評価値はブロックマッチングにおけるマッチングの度合いである。本実施形態ではステレオマッチングコストという用語で説明される。
融合とは複数のものが一つになることをいう。融合を「フュージョン」という場合がある。
＜従来技術に関する補足＞
上記したように、ステレオカメラによる測距値と、ＬｉＤＡＲ、ＦＣＭ又はＦＭＣＷ方式による測距値とを融合することが検討されている。まず、物体からの反射波を受光して距離を計測するＴｏＦ方式（LiDAR）では受光量が微弱になることにより、遠方の物体又は反射率の低い物体までの測距が困難になる場合が起きやすい。
そこで、ステレオカメラによる測距値とＦＣＭやＦＭＣＷ方式による測距値を融合することが検討されている。ＦＣＭやＦＭＣＷ方式は、送信波と受信波（反射波）で周波数がわずかに異なることで生じる合成波のうなり信号の周波数を距離に換算する方式である。
しかしながら、ＦＣＭやＦＭＣＷ方式では、太陽光や他車からの送信波による混信などにより受信波にノイズ成分が乗る場合がある。この場合、うなり信号をフーリエ変換した周波数スペクトルにノイズが表れ、測距値の精度を低下させるという不都合があった。
＜ＦＣＭ方式について＞
本実施形態の課題について補足するため、ＦＣＭ方式による測距方法を説明する。図１は、送信波２７、受信波２８、及び、反射波２９のモデルを示す。ミリ波送受信装置２５が送信した送信波２７が物体２６で反射した反射波２９が、受信波２８として受信されている。ミリ波送受信装置２５と物体との距離はＲである。
図２は、送信波と受信波の周波数を模式的に示す。ＦＣＭ方式で使用する送信波は、時間の経過に応じて周波数が直線的に増大する。このような時間的に周波数が変化する信号をチャープ信号という。図２（ａ）に示すように振幅が一定のまま、時間と共に送信波２７と受信波２８の周波数が増大している。なお、受信波２８は物体２６に反射して戻ってくる時間であるΔｔだけ遅れて測定される。このため、送信波２７と受信波２８の周波数がわずかに異なることになり、うなり信号が発生する。
図２（ｂ）は時間に対する送信波２７と受信波２８を示す。送信波２７の送信を開始してからΔｔだけ遅れて受信波２８が測定される。送信波２７は時間に対し一定速度で増大するので、Δｔの遅れがある場合の周波数のずれΔｆは一定である。なお、周波数が変化している時間はＴであり、最小の周波数と最大の周波数の周波数差はＦである。ＴとＦは既知（制御値）である。したがって、Δｆを観測できればΔｔに変換できる。Δｔが分かれば物体までの距離に変換できる。
送信波２７と受信波２８の周波数がΔｆずれているので、送信波２７と受信波２８が重ね合わされるとうなり信号が生じる。うなり信号は細かな振動を包括する大きな振動をいうが、周波数のずれΔｆが一定なら大きな振動の周波数も一定である。また、うなり信号の周波数は周波数のずれΔｆに等しくなることが知られている。
うなり信号をフーリエ変換して周波数成分（信号成分の一例）を取り出すことができる周波数スペクトルにはうなり信号の周波数にパワーのピークが現れるので、周波数のずれΔｆを検出するにはうなり信号をフーリエ変換すればよい。図２（ｃ）はフーリエ変換により得られた周波数のずれΔｆを模式的に示す。
続いてΔｆを距離Ｒに変換する方法を説明する。まず、距離ＲとΔｔには以下の関係がある。ただし、Ｃは空気中の光速である。
Δｔ＝２Ｒ/Ｃ …（１）
次に、ΔｔとΔｆには、図２（ｂ）の図から明らかなように以下の関係がある
Δｔ：Δｆ＝Ｔ：Ｆ
これを変形して、以下の式が得られる。
Δｆ＝Ｆ×Δｔ/Ｔ …（２）
式（１）を式（２）に代入すると下式が得られる。
Δｆ＝２ＲＦ/ＣＴ …（３）
Ｒ＝ＣＴΔｆ/２Ｆ …（４）
したがって、式（４）にフーリエ変換で求めたΔｆを代入することで距離Ｒに変換できる。
ＦＭＣＷはＦＣＭを連続的に行う方式であり、原理はＦＣＭと同様である。図３はＦＭＣＷ方式において時間に対する送信波２７と受信波２８の周波数とうなり信号の波形２４を示す。ＦＭＣＷ方式では比較的ゆっくりと周波数が繰り返し遷移する。相対速度の認識力とマルチターゲットの認識力についてはＦＣＭの方が高いとされている。
続いて、図４を用いて、１方向に複数の物体がある場合を説明する。図４は、１方向に複数の物体２６がある場合の送信波２７、及び反射波２９のモデルを示す。図４では、３つの物体２６があり、ミリ波送受信装置２５から各物体２６までの距離をそれぞれＲ１，Ｒ２，Ｒ３とする。このような場合、距離Ｒ１，Ｒ２、Ｒ３に対応したΔｆ（Δｆ１、Δｆ２、Δｆ３とする）が観測される。
図５（ａ）は３つの物体がある場合における送信波２７と受信波２８の周波数のずれを説明する図である。物体ごとに距離Ｒ１、Ｒ２、Ｒ３が異なるので、送信波２７が送信されてから受信波２８が受信されるまでの時間Δｔ１、Δｔ２、Δｔ３も異なる。このため、送信波２７と３つの受信波２８の周波数のずれΔｆ１、Δｆ２、Δｆ３も物体ごとに生じる。
送信波２７と受信波２８を重ね合わせて得られるうなり信号には３つの周波数のずれΔｆ１、Δｆ２、Δｆ３が含まれるため、複雑な形状となるがフーリエ変換により容易に取り出すことができる。図５（ｂ）に示すように、フーリエ変換によりΔｆ１、Δｆ２、Δｆ３にパワーのピーク５９が得られている。
３つの物体２６までの距離Ｒｋ（ｋ：１、２、３）はΔｆ１、Δｆ２、Δｆ３を使って式（４）と同様に求めることができる。
Ｒｋ＝ＣＴΔｆｋ/２Ｆ …（５）
実際の測距ではフーリエ変換で得た周波数スペクトルからΔｆ１、Δｆ２、Δｆ３を探すことになるが、Δｆ１、Δｆ２、Δｆ３の実際の周波数は不明である。このため、パワーが閾値以上となる周波数をΔｆとする処理が一般に行われている。
しかし、受信波２８に太陽光や他車からの送信波２７による混信などのノイズが乗ると、うなり信号をフーリエ変換した周波数スペクトルにもノイズのピークが現れる。
図６はノイズを含む周波数スペクトルを模式的に示す。図６では、物体２６からの反射波により生じるΔｆ１、Δｆ２、Δｆ３のピーク５９とは別に、ノイズによる２つのピーク６０（Δｆnoise）が現れている。パワーが閾値以上となる周波数をミリ波送受信装置２５が決定するとピーク６０を検出するおそれがあり、物体２６の数や物体までの距離の精度が低下するおそれがある。
本実施例では、図６で説明した不都合をステレオカメラによる測距値と、ＦＣＭ方式による測距値を融合することで改善する測距システムについて説明する。
全体的な手順は以下のようになる。各画素の視差値から画素ごとに距離が分かるので、式（４）により、周波数のずれΔｆを推定できる。周波数スペクトルではこの周波数のずれΔｆの近くにピークがあると期待できるので、測距システムは推定したΔｆの近くで周波数スペクトルのピークを検出する。すなわち、うなり信号がフーリエ変換された周波数スペクトルにおいて周波数範囲を限定する。こうすることで、ノイズによるピークを取り出しにくくなり、物体の数や距離の精度の低下を抑制して距離の精度を向上できる。
また、本実施形態では、ステレオカメラによる測距値と、ＦＣＭ方式による測距値の融合を、ステレオカメラによる測距値から距離画像を生成することよりも前に行うことで、遠方でも測距値の分散が小さくかつ空間分解能が高い距離画像が得られる。
＜測距システムの適用例＞
図７を用いて、測距システム１００の適用例について説明する。図７は、移動体の一例である車両に搭載された測距システム１００を示す図である。図７では、移動体２００のフロントウィンドウの内側中央位置に、測距システム１００が取り付けられている。測距システム１００は、ミリ波レーダ測距部１１０とステレオ画像演算部１２０とを有する。測距システム１００は測距する装置であるため測距装置ということができる。ミリ波レーダ測距部１１０とステレオ画像演算部１２０はいずれも前方が測距範囲となるように設置されている。ミリ波レーダ測距部１１０は、ステレオ画像演算部１２０が有するステレオカメラ（２つの撮像部）の間（好ましくは中央）に配置されるものとする。ミリ波レーダ測距部１１０は、上記のようにＦＣＭ方式で物体までの距離と方向を測距する。
また、図７では、ミリ波レーダ測距部１１０とステレオ画像演算部１２０が一体的に構成された測距システム１００を示したが、ミリ波レーダ測距部１１０とステレオ画像演算部１２０は別体に構成されてもよい。
図８は、ミリ波レーダ測距部１１０とステレオ画像演算部１２０が別体に構成された測距システム１００の一例を示す。図７では、ミリ波レーダ測距部１１０が例えばフロントグリルの内側に搭載され、ステレオ画像演算部１２０が車室内側の前方（例えばルームミラーの裏側近く）に配置されている。本実施形態では、ミリ波レーダ測距部１１０から出力される距離情報が、ステレオ画像演算部１２０の距離情報と融合されればよく、図７，図８に示す形状や構成に限られない。
＜ミリ波レーダ測距部のレーザの照射範囲＞
図９は、ミリ波レーダ測距部１１０によるミリ波の照射範囲について説明する図の一例である。図９（ａ）は、移動体２００を上方から見た上面図であり、図９（ｂ）は、移動体２００を側方から見た側面図である。
図９（ａ）に示すように、ミリ波レーダ測距部１１０は、移動体２００の進行方向の前方の所定範囲にミリ波を照射する。なお、ミリ波はレーダ（光）と捉えてもよいし電磁波と捉えてもよい。
また、図９（ｂ）に示すように、ミリ波レーダ測距部１１０は、移動体２００の進行方向の前方の所定範囲に向かってミリ波を照射する。どの程度遠方までミリ波が到達するかはミリ波レーダ測距部１１０の出力によるが数百メートル程度の範囲で測距可能である。近い側の検出範囲は１メートル未満から検出可能であるが、通常、これほどの近距離領域では測距の必要性が低いため適宜、距離を検出する範囲が設定されていてよい。
ミリ波レーダ測距部１１０は、仰角方向に所定の指向性を有するようにミリ波を照射する。これにより、ミリ波レーダ測距部１１０の設置位置を基準として、近傍から遠方までの照射範囲を照射することができる。
＜ステレオ画像演算部の撮像範囲＞
図１０は、ステレオ画像演算部１２０によるステレオ画像の撮像範囲を説明するための図である。図１０（ａ）は、移動体２００の上面図である。ステレオ画像演算部１２０は、２つの撮像装置（カメラ）が移動体２００の進行方向の前方に光軸を向けて設置されており、進行方向の所定範囲の画像を撮像する。ミリ波の照射範囲とステレオカメラの撮像範囲は少なくとも一部が重複している。
図１０（ｂ−１）と図１０（ｂ−２）は、ステレオカメラにより撮像された基準画像（右カメラの画像データ）と比較画像（左カメラの画像データ）を示す。右カメラ１１と左カメラ１２は互いに、所定の間隔を介して水平に設置されている。このため、基準画像と比較画像は重複部分を有するが、撮像画像内のオブジェクトの位置が、左右方向にずれることになる。
ステレオ画像演算部１２０は、基準画像と比較画像の各オブジェクトのずれ量（これが視差となる）を算出することで、距離画像を生成し出力する。
また、右カメラ１１と左カメラ１２のいずれかを省略して、単眼カメラによりステレオ画像を取得してもよい。図１１を用いて単眼カメラからステレオ画像を生成する方法を説明する。
図１１（ａ）に示すようにステレオ画像演算部１２０は右カメラ１１と左カメラ１２を有している。まず、大量の基準画像と比較画像を用意し、深層学習（ディープラーニング）により基準画像から比較画像を学習させるか、又は、比較画像から基準画像を学習させる。以下では、基準画像から比較画像を学習させるものとして説明する。
ＤＮＮ（Deep Neural Network）１２１の入力層に基準画像の各画素値が入力される。中間層は１つ以上の畳み込み層、１つ以上のプーリング層、ニューラルネットワーク、及び、encoder decoder networkが組み合わせて構築される。これらは二次元フィルタの係数として表される。出力層は推定される比較画像の各画素値を出力する。出力層が出力する画素値と実際の比較画像の画素値の差を誤差逆伝播法で二次元フィルタの係数に反映させる（学習する）。十分な数の基準画像と比較画像で二次元フィルタの係数を調整することがＤＮＮ１２１の学習に相当する。なお、二次元フィルタの初期値はオートエンコーダで学習するとよい。
図１１（ｂ）は学習後に車載される単眼カメラ演算部１２２とＤＮＮ１２１の一例を示す。車載された段階では、単眼カメラ演算部１２２が基準画像のみを出力する。ＤＮＮ１２１は比較画像を出力する出力器となる。基準画像はＤＮＮ１２１に入力され、推定された比較画像を出力する。このようにして得られる比較画像は、左カメラ１２で撮像された比較画像と違いがあるものの、距離画像を生成することができる品質であることが実際に確認されている。単眼カメラ演算部１２２は基準画像と推定された比較画像でブロックマッチングを行う。
したがって、本実施形態では右カメラ１１と左カメラ１２のいずれか一方があればよく、ステレオカメラが搭載されることは必須でない。
＜構成例＞
図１２は、測距システムの一例の概略構成図を示す。測距システム１００は、ミリ波レーダ測距部１１０とステレオ画像演算部１２０とを有する。ミリ波レーダ測距部１１０は送信アンテナ３１、受信アンテナ３２、発生器３４、ミキサ３３、ＡＤＣ３５、方向演算部３６、及びＦＦＴ部３７を有している。
発生器３４はチャープ信号を繰り返し発生させる。ダイレクトディジタルシンセサイズ（ＤＤＳ）技術を用いて、ＤＳＰ（Digital Signal Processor）とＤＡコンバータによってデジタル的に生成してもよいし、ＶＣＯ（電圧制御発振器）に対し直線的に変化する制御信号を与えることでアナログ回路が生成してもよい。
発生器３４が生成した送信波は送信アンテナ３１とミキサ３３に分配され、送信アンテナ３１から送信される。受信アンテナ３２は物体が反射した反射波（チャープ信号）を受信して、ミキサ３３に送出する。
ミキサ３３は送信波と受信波を重ね合わせて（合成して）合成波を生成する。合成波にはうなり信号が含まれる。ＡＤＣ３５は合成波をＡＤ変換して、デジタルの合成波に変換する。ＦＦＴ部３７はデジタルの合成波にフーリエ変換を施し、合成波の周波数スペクトルを生成する。
ステレオ画像演算部１２０は右カメラ１１、左カメラ１２、評価部３８、データ融合部３９、及び、伝播部４０を有する。右カメラ１１が撮像した基準画像と、左カメラ１２が撮像した比較画像はそれぞれ評価部３８に出力される。評価部３８は基準画像と比較画像にブロックマッチングを施して画素ごとに視差が算出された視差画像を生成する。
データ融合部３９は、視差画像が有する視差を距離に変換して周波数スペクトルから取り出すうなり信号の周波数の範囲を限定し、この周波数の範囲からパワーが極大値となるΔｆを決定する。そして、式（４）を用いてΔｆから距離Ｒを算出する。この距離Ｒ（正確にはステレオ画像演算部１２０の座標系に変換された距離Ｌ２）と、画素が有する視差から変換された距離Ｌ１を融合して距離画像に格納する。融合方法は後述する。
伝播部４０は距離画像にＳＧＭ伝播方式などのデンスアルゴリズムを適用して高密度距離画像を生成する。
図１２では一例として、距離画像と基準画像がＥＣＵ２０（Electronic Control Unit：電子制御ユニット）に送出されている。ＥＣＵ２０は移動体の電子制御ユニットである。なお、車載された測距システム１００を車載装置という。ＥＣＵ２０は、測距システム１００が出力する距離画像と基準画像を用いて各種の運転支援を行う。基準画像については種々のパターンマッチングを行い先行車両、歩行者、白線、信号機の状態の認識等を行う。
運転支援は移動体によって様々であるが、例えば、対象物の横位置が自分である移動体の車幅と重なる場合、距離と相対速度から算出されるＴＴＣ(Time To Collision)に応じて警報や制動などを行う。また、衝突までの停止が困難な場合、衝突を回避する方向にステアリングを操舵する。
また、ＥＣＵ２０は、車速に応じた車間距離で先行車に追従走行する全車速車間距離制御を行う。先行車が停車したら移動体も停車させ、先行車が発進したら移動体も発進する。また、ＥＣＵ２０が白線認識などを行う場合、走行レーンの中央を走行するように操舵するレーンキーピング制御や走行レーンから逸脱するおそれがあると走行方向を走行レーンに向けて変更する逸脱防止制御等を行うことができる。
また、停車時に進行方向に障害物がある場合、急発進を抑制することができる。例えば、シフトレバーの操作位置により判断される進行方向に障害物があり、かつ、アクセルペダルの操作量が大きい場合、エンジン出力を制限したり警告したりすることで被害を軽減する。
図１３はデータ融合部３９の機能をブロック状に示す機能ブロック図の一例である。データ融合部３９は距離変換部４１、周波数変換部４２、周波数範囲限定部４３、うなり信号周波数決定部４４、距離逆変換部４５、及び、視差画像距離融合部４６、を有している。なお、データ融合部３９が有する各機能はＣＰＵがプログラムを実行して実現するものでもよいし、ＦＰＧＡやＡＳＩＣ等のハードウェア回路により実現されてもよい。
距離変換部４１は評価部３８が出力した視差画像の各画素が有する視差を、ミリ波レーダ測距部１１０から見た距離Ｒに変換する。周波数変換部４２は、式（４）を用いて距離Ｒを送信波と受信波の周波数のずれに対応する周波数のずれΔｆに変換する。周波数範囲限定部４３はフーリエ変換をうなり信号に施して得た周波数スペクトルに対し、閾値以上のピークを検出する周波数範囲を、周波数変換部４２が変換した周波数の近くに限定する。うなり信号周波数決定部４４は、周波数スペクトルにおいて周波数範囲限定部４３が限定した周波数範囲の中から、閾値以上のパワーを有し、かつ、極大値を決定する。
距離逆変換部４５は、うなり信号周波数決定部が決定した周波数のずれΔｆを式（４）で距離Ｒに変換し、この距離Ｒをステレオ画像演算部１２０から見た距離Ｌ２に変換する。視差画像距離融合部４６は視差画像が有する画素ごとの距離Ｌ１と、距離逆変換部４５が変換した距離Ｌ２を融合する。
＜ミリ波レーダが検出する物体の方向について＞
続いて、図１４を用いて、ＦＣＭ方式における物体の方向の検出方法を説明する。図１４は物体の方向を説明する図である。図１４（ａ）はミリ波送受信装置２５と物体２６の一例の上面図を示す。ＦＣＭ方式は、水平面を使用して反射された反射波の到来方向θ（角度θという場合がある）を推定する。例えば移動体の進行方向を０度とすれば、θは水平方向の物体２６の角度（到来方向）である。
図１４（ｂ）は複数の受信アンテナ３２を用いたθの算出方法を示す。受信波２８の到来方向θはアレイアンテナにより検出できる。図１４（ｂ）ではＮ個の受信アンテナ３２が間隔ｄで一直線上に配置されている。到来方向θから受信波２８が到来した場合、物体２６と受信アンテナ３２の距離が十分に離れていれば到来伝播は平面となる。各受信アンテナ３２が受信する受信波の経路差ｌ（エル）はｄsinθの整数倍で表すことができる。経路差は受信波２８の遅延ｒになって現れるため、各受信アンテナ３２で受信される受信波２８の遅延量が分かれば到来方向θを推定することができる。
ｌ＝ｄsinθ
ｒ＝ｌ/Ｃ＝（d/Ｃ）sinθ
θ＝arcsin（ｒ・Ｃ/ｄ）…（６）
＜ブロックマッチングによる整数視差の演算＞
図１５を用いてブロックマッチングによる整数視差の演算について説明する。図１５は、右カメラ１１により撮像された基準画像４２０と、左カメラ１２により撮像された比較画像４１０における、注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）のコストとして、ＳＡＤ（Sum of Absolute Difference）を算出する例を示した図である。なお、ＳＡＤの計算式を（数１）に示す。
基準画像４２０と比較画像４１０では、撮像位置が異なるため、撮像画像上の同じ位置の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）であっても、同じオブジェクトを指し示すことはなく、左右方向にずれた位置を指し示すことになる。このため、ブロックサイズを１×１画素とした場合のＳＡＤである、基準画像４２０上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値と、比較画像４１０上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値との差分値は、大きな値となる。
ここで、比較画像４１０上の注目している画素ｐを１画素分、右方向にシフトさせる。つまり、視差ｄ＝１としたときのＳＡＤを算出する。具体的には、比較画像４１０上の注目している画素ｐ＝（Ｐｘ３＋１，Ｐｙ５）の輝度値と、基準画像４２０上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値との差分値を算出する。なお、図１５の例では、ｄ＝１の場合も、ＳＡＤは大きな値となる。
以下、同様に、ｄ＝２、３、・・・と変化させていき、それぞれにおいてＳＡＤを算出する。図１５の例では、ｄ＝３の場合に、基準画像４２０の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）が指し示すオブジェクトと比較画像４１０の注目している画素ｐ＝（Ｐｘ３＋３，Ｐｙ５）が指し示すオブジェクトとが同じとなる。このため、ｄ＝３とした場合のＳＡＤは、ｄ＝３とした場合以外のＳＡＤと比べて小さくなる。
図１６（ａ）は、ある注目している画素ｐの視差ごとのＳＡＤの一例を示す。ＳＡＤがステレオマッチングコストＣ（ｐ，ｄ）の一例となる。この注目している画素ｐではｄ＝３において、ＳＡＤが最小なため、視差ｄは３であると算出される。
図１６（ｂ）は、別の注目している画素ｐの視差ごとのＳＡＤの一例を示す。図１６（ｂ）では視差ｄの変化に対するＳＡＤの変化が小さいため、距離演算部１４が視差を抽出することができない。このように、ブロックマッチングだけでは、視差を特定することができない画素の視差を顕在化させるためにはＳＧＭ伝播方式が有効である。
なお、図１６のように視差ごとのＳＡＤ（ステレオマッチングコストＣ（ｐ，ｄ））が算出されたら、小数視差を求めることが好適である。小数視差を求める方法として高次多項式推定（６次）、高次多項式推定（４次）、又はパラボラフィッティング等を使用する算出方法がある。以下では簡単のため整数視差ｄを使って説明する。
Figure 2020118514
 ＳＡＤは、上記のように、輝度値の差の絶対値を計算しその和を相関値とする演算である。画素ブロックが類似するほど値が小さくなる。
また、ブロックマッチングではＳＡＤ以外に、ＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross Correlation）、ＺＮＣＣ（Zero means Normalized Cross Correlation）などの演算方法を採用してよい。
Figure 2020118514
 ＳＳＤは輝度値の差の二乗を計算し、その和を相関値とする演算である。画素ブロックが類似するほど値が小さくなる。
Figure 2020118514
 ＮＣＣは分子で，輝度値の内積を計算する。似た輝度値であれば内積の値が大きくなる。分母は分子の数値を正規化するための数値であり、画素ブロックが類似するほど値が大きくなる。ＮＣＣは最大で１，最小で０の値を取る。ＮＣＣは正規化相互相関ともいう。
Figure 2020118514
 ＺＮＣＣは平均値を引いた後の正規化相互相関である。周波数的に考えると直流成分を取り除くことに相当し、明るさに違いのある画像の比較に有効である。
この他、ＺＳＡＤ（Zero means Sun of Absolute Difference）又はＺＳＳＤ（Zero means Sum of Squared Difference）を用いてもよい。ＺＳＡＤは平均値を引いた後のＳＡＤであり、ＺＳＳＤは平均値を引いた後のＳＳＤである。
＜伝播部による伝播について＞
伝播部４０は、画素ごとに得たステレオマッチングコストＣ（ｐ，ｄ）を下式（７）に基づいて伝播コストＬｒ（ｐ，ｄ）を算出する。
Figure 2020118514
 ここで、上式（７）は、ＳＧＭを用いた伝播コストＬｒの一般的な式である。また、上式（７）においてＰ１、Ｐ２は固定のパラメータである。
上式（７）のもと、伝播部４０では、画像データのステレオマッチングコストＣ（ｐ，ｄ）に、図１７に示されているｒ方向の各画素領域における伝播コストＬｒの最小値を加算することで、伝播コストＬｒ（ｐ，ｄ）を求める。なお、図１７は、伝播コストＬｒ（ｐ，ｄ）の算出におけるｒ方向を示す図である。
図１７に示すように、伝播部４０は、画像データのｒ方向（例えば、ｒ１３５方向）の一番端の画素領域において第１伝播コストＬｒ（例えば、Ｌｒ１３５（ｐ−２ｒ，ｄ））を求める。続いて、ｒ方向に沿って第１伝播コストＬｒ（Ｌｒ１３５（ｐ−ｒ，ｄ））を求める。本実施形態において、伝播部４０はこれらの処理を繰り返すことで得られる伝播コストＬｒ（例えば、Ｌｒ１３５（ｐ，ｄ））を、８方向について算出し、伝播コストＬｒ０（ｐ，ｄ）〜Ｌｒ３１５（ｐ，ｄ）を得る。
伝播部４０は求めた８方向の伝播コストＬｒ０（ｐ，ｄ）〜Ｌｒ３１５（ｐ，ｄ）に基づいて、式（８）により合成コストＳ（ｐ，ｄ）を算出する。なお、８方向としたのは一例であって、４方向でも２方向でもよい。
Figure 2020118514
 ＜うなり信号の周波数範囲の限定＞
続いて、図１８、図１９を用いてうなり信号の周波数範囲の限定方法を説明する。図１８はうなり信号をフーリエ変換して得られる周波数スペクトルの一例である。図１８（ａ）は反射波にノイズが乗ってない状態を示し、図１８（ｂ）は反射波にノイズが乗った状態を示す。図１９はデータ融合部３９が視差画像から求めた距離Ｌ１と、ＦＣＭ方式で検出された距離Ｒを融合する手順を示す一例のフローチャート図である。
（Ｓ１）。
距離変換部４１は視差画像が有する画素の視差を距離Ｌ１に変換する。物体が検出された方向の画素(図２０参照)の視差を距離Ｌ１に変換すればよい。１枚の画像データの全ての画素の視差を距離Ｌ１に変換してもよい。視差ｄと距離Ｌ１には以下の関係がある。ピンホールカメラモデルの場合、距離Ｌ１は以下のようにして算出される。
Ｌ１＝（Ｂ×Ｆ/p)/ｄ …（９）
ただし、Ｂは基線長、Ｆは焦点距離、pは画素ピッチ、Ｄは視差である。
ステレオ画像演算部１２０から見た場合、距離Ｌ１はＸＹＺ空間で表されるが、ミリ波レーダ測距部１１０からみると距離ＲはＲθφ極座標空間で表されるので、ミリ波レーダ測距部１１０で得られる距離Ｒとステレオ画像演算部１２０で得られる距離Ｌ１には、Ｌ=Ｒcosθの関係がある。
このため、式（９）の距離Ｌ１はＲθφ極座標空間で距離Ｒに換算される。
Ｒ＝Ｌ/cosθ …（１０）
（Ｓ２）
次に、周波数変換部４２は式（１０）で換算した距離Ｒを周波数のずれΔｆに変換する。変換式は式（４）でよい。
Δｆ＝(２Ｆ/ＣＴ)×(Ｌ/cosθ)
＝２ＦＢｆ/（ＣＴpＤcosθ） …（１１）
（Ｓ３）
次に、周波数範囲限定部４３は求めた周波数のずれΔｆの近くの周波数に、うなり信号の周波数を限定する。例えば、範囲を決めるパラメータをαとして「Δｆ±α」を、周波数スペクトルのピークを検出する範囲に制限する。αは適宜決定される設計値である。固定値でもよいし、可変値でもよい。固定値の場合、平均的なΔｆの半値幅などとし、可変値の場合、例えば周波数スペクトルにいくつかあるピーク値の平均の半分程度とする。
図１８（ａ）では限定された周波数範囲を矢印５８で示す。したがって、仮に、図１８（ｂ）に示すようなノイズによるピーク６０が周波数スペクトルに存在しても、ノイズを物体からの反射波によるうなり信号のピークであると誤検出することを抑制できる。
（Ｓ４）
次に、うなり信号周波数決定部４４は、周波数スペクトルにおいて周波数範囲限定部４３が限定した周波数範囲の中から、閾値以上のパワーを有し、かつ、極大値を決定する。この極大値がある周波数が求める周波数のずれΔｆである。この閾値は物体があることで生じたうなり信号があると推定してよいパワー値である。
（Ｓ５）
次に、距離逆変換部４５は、うなり信号周波数決定部４４が決定した周波数のずれΔｆを式（４）で距離Ｒに変換し、式（１０）を使ってこの距離Ｒをステレオ画像演算部１２０から見た距離Ｌ２に変換する。
（Ｓ６）
次に、視差画像距離融合部４６は視差画像が有する画素ごとの距離Ｌ１と、距離逆変換部が変換した距離Ｌ２を融合する。融合の処理について説明する。
図２０は、画像データ（例えば基準画像）５５とミリ波レーダの反射波の到来方向θの対応の一例を示す図である。ミリ波レーダでは水平方向のみでしか物体の方向を特定できないとして説明する。仰角方向にも物体の位置を特定できる場合は、画像データの画素範囲を更に制限して融合できる。
反射波の到来方向θと画素のＸ座標の対応は固定であるため、出荷時のキャリブレーションなどにより、到来方向θとＸ座標の関係が対応付けられている。例えば、到来方向θの分解能が５度でミリ波レーダの走査範囲が左右それぞれ４０度とすると、８０度/５度＝１６より、画像データ５５を水平方向に１６等分しておけばよい。図２０では到来方向θに対応するある範囲５６を点線枠で示す。
したがって、到来方向θが決まれば、水平方向の画素列が定まる。図２０では画素列が１列であるが複数の画素列が含まれうる。視差画像距離融合部４６は範囲５６に含まれる全ての画素の距離Ｌ１について距離Ｌ２との融合を行う。ただし、画素列の数が多い場合は、中央のいくつかの画素列でのみ融合してもよい。また、基準画像で行った物体認識などにより物体があると分かっている領域にだけ行ってもよい。
距離Ｌ１と距離Ｌ２の融合には、例えば以下のような方法がある。
(i) ＦＣＭ方式で求めた距離Ｌ２によりブロックマッチングで求めた距離Ｌ１を強制的に置き換える。
(ii) ミリ波レーダで求めた距離Ｌ２とブロックマッチングで求めた距離Ｌ１の信頼性が高い方を採用する。
(iii) 距離Ｌ１，Ｌ２に距離に応じて重み付けする。
(i)の方法は距離Ｌ２の信頼性の方が常に高いと言える場合に有効である。(ii)の方法では、物体との距離によって最適な距離を選択できる。例えば、閾値を４０〔ｍ〕とし、ミリ波レーダで求めた距離Ｌ２が４０〔ｍ〕以下であれば距離Ｌ１を優先し、距離Ｌ２が４０〔ｍ〕超であれば距離Ｌ２で距離Ｌ１を置き換える。(iii)の方法は、信頼度に応じて距離Ｌ１と距離Ｌ２の両方を距離画像に活かすことができる。例えばｐ＋ｑ＝１、ｑ＝Ｌ２/１５０とする。１５０はミリ波レーダで測距可能な遠方の最大値の一例である。距離Ｌ２が大きいほどｑが大きくなる。融合で求める距離をｐＬ１＋ｑＬ２とすると、距離Ｌ２が小さいとステレオマッチングによる距離Ｌ１の重み付けを大きくでき、距離Ｌ２が大きいとミリ波レーダによる距離Ｌ２の重み付けを大きくできる。
＜まとめ＞
以上説明したように、本実施例の測距システムは、ミリ波レーダにより求めた測距値を、ブロックマッチングによりもとめた測距値が距離画像に変換される前に、ブロックマッチングによりもとめた測距値と融合できる。したがって、遠方でも測距値の分散が小さくかつ空間分解能が高い距離画像が得られる。また、うなり信号がフーリエ変換された周波数スペクトルにおいて周波数範囲を、ブロックマッチングによりもとめた測距値で限定するので、ノイズによるピークを取り出しにくくなり、物体の数や距離の精度を向上できる。
本実施例では、評価部３８が生成したステレオマッチングコストとミリ波レーダ測距部１１０が生成した周波数スペクトルを融合させて距離画像を生成する測距システム１００について説明する。
図２１は本実施例においてデータ融合部３９の機能をブロック状に示す機能ブロック図の一例である。本実施例のデータ融合部３９は距離空間変換部６１、周波数変換部６２、コストカーブ融合部６３、最小値決定部６４、及び、周波数距離変換部６５を有している。なお、データ融合部３９が有する各機能はＣＰＵがプログラムを実行して実現するものでもよいし、ＦＰＧＡやＡＳＩＣ等のハードウェア回路により実現されてもよい。
距離空間変換部６１は、評価部３８から視差画像を取得するが、この視差画像には画素ごとに視差空間のマッチングコストが設定されている。つまり、ステレオマッチングコストが最小値となる視差だけでなく各視差ごとのステレオマッチングコストが保持されている。距離空間変換部６１は画素ごとにこの視差空間に式（９）、式（１０）を適用してミリ波レーダ測距部１１０の距離空間に変更する。なお、遠方で距離間が長くなるので、適宜、補間してよい。
周波数変換部６２は、距離空間のステレオマッチングコストに式（４）を適用して周波数空間のステレオマッチングコストに変換する。つまり、ステレオマッチングコストの横軸を、周波数スペクトルの横軸の物理量である周波数に合わせる。
コストカーブ融合部６３は周波数空間のステレオマッチングコストとうなり信号の周波数スペクトルを融合して、融合コストカーブを生成する。最小値決定部６４は、周波数空間の融合コストカーブにおいて値が最小となる周波数を決定する。周波数距離変換部６５は、決定した周波数を式（４）で距離Ｒに変換し、更に式（１０）で距離Ｒをステレオ画像演算部１２０から見た距離Ｌ２に変換する。この距離が各画素に格納され距離画像となる。
＜コストカーブを使った距離の融合＞
続いて、図２２〜図２４を用いてステレオマッチングコストと周波数スペクトルの融合について説明する。図２２はデータ融合部３９が視差画像のステレオマッチングコストと、周波数スペクトルを融合する手順を示す一例のフローチャート図である。図２２の処理は受信波の到来方向θに対応する画素ごとに実行される。
（Ｓ１１）
まず、距離空間変換部６１は評価部３８が生成した各画素の視差空間のステレオマッチングコストを、距離空間のコストカーブに変換する。この変換について図２３を用いて説明する。
図２３は、視差空間におけるステレオマッチングコストと距離空間のステレオマッチングコストの変換を説明する図である。なお、この距離空間の距離はステレオ画像演算部１２０から見た距離Ｌ１である。図２３（ａ）はブロックマッチング（又はＳＧＭ伝播方式でもよい）により得られる、シフト量（視差）を横軸にしたステレオマッチングコストＣ（ｐ，ｄ）を示す。図２３（ａ）では探索範囲を６４画素とする。ｐは注目画素、ｄは基準画像と比較画像のシフト量（探索視差）である。
図２３（ｂ）は距離空間におけるステレオマッチングコストＣ（ｐ，ｄ）を示す。図２３（ａ）の視差ｄから距離Ｌ１への変換方法は、図１９のステップＳ１で説明した。図２３（ｂ）に示すように、距離空間では、ステレオマッチングコストＣ（ｐ，ｄ）が得られる距離Ｌ１に疎密が生じる。これは距離Ｌ１を算出する式（９）の分母に視差ｄが含まれているため、距離Ｌ１がＤに反比例し、Ｄが０に近いと距離Ｌ１が大きく変化するためである。
このため、一般的なブロックマッチングは遠距離側で粗いコスト伝播をしているのと同義になり、遠距離で高精度を得ることが困難になる。
そこで、図２３（ｃ）に示すように、距離空間のステレオマッチングコストを補間することが有効である。距離空間変換部６１は距離空間のステレオマッチングコストを補間する。図２３（ｃ）では丸がステレオマッチングで得たコストであり、四角形が補間で得たコストである。補間方法は、曲線近似に適した方法であればよく、例えば放物線fitting、高次多項式、スプライン曲線などを適用できる。図２３（ｃ）では、補間により例えば０．５メートルごとにステレオマッチングコストＣ（ｐ，ｄ）が算出されている。なお、図２３（ｃ）のoffsetは距離Ｒを０．５メートルごとに求めるための端数である。
（Ｓ１２）
図２２に戻って説明する。次に、周波数変換部６２は距離空間のステレオマッチングコストを周波数空間のステレオマッチングコスト（コストカーブ）に変換する。式（１０）により距離Ｌ１をＲθφ極座標空間の距離Ｒに変換する。式（１０）のθは受信波の到来方向である。そして、式（４）を使って、距離Ｒを周波数空間に変換する。
（Ｓ１３）
次に、コストカーブ融合部６３は周波数空間のステレオマッチングコストと、うなり信号の周波数スペクトルを融合して融合コストカーブを生成する。
図２４は融合コストカーブの生成を説明する図の一例である。図２４（ａ）に周波数空間のステレオマッチングコストを示す。図２４（ｂ）はうなり信号の周波数スペクトルを示す。図２４（ｂ）ではΔｆ１に１つのピークが確認される。このΔｆ１の周波数でステレオマッチングコストが最小値（又は極小値）を取れば視差画像において物体までの距離を精度よく検出できたと言える。
しかしながら、単に周波数スペクトルと周波数空間のステレオマッチングコストを足し合わせると、Δｆ１でステレオマッチングコストが極大値を取ってしまい、Δｆ１を決定することが困難になる。そこで、コストカーブ融合部６３はゼロを基準に周波数スペクトルを反転させ、周波数空間のステレオマッチングコストと足し合わせる。
図２４（ｃ）はゼロを基準に反転させた周波数スペクトルを示す。図２４（ｃ）の周波数スペクトルを図２４（ａ）の周波数空間のステレオマッチングコストに足し合わせると、Δｆ１で最小値（又は極小値）を取りやすい融合コストカーブが得られる。図２４（ｄ）は融合コストカーブを模式的に示す。
（Ｓ１４）
図２２に戻って説明する。続いて、最小値決定部６４は周波数空間の融合コストカーブにおいて値が最小となる周波数を決定する。図２４（ｄ）に示したように、周波数のずれΔｆ１が決定される。
（Ｓ１５）
そして、周波数距離変換部６５は、式（４）を用いてステップＳ１４で決定した周波数のずれΔｆを距離Ｒに変換する。距離ＲはＲθφ極座標空間の距離なので、式（１０）を使ってステレオ画像演算部１２０の距離空間の距離Ｌ２に変換する。データ融合部３９は受信波の到来方向θに対応する全ての画素において図２２の処理を実行する。それぞれの画素の距離を画像データに格納して距離画像とする。
＜まとめ＞
以上説明したように、本実施例の測距システム１００は、ミリ波レーダにより求めた測距値を、ブロックマッチングによりもとめた測距値が距離画像に変換される前に、ブロックマッチングによりもとめた測距値と融合できる。したがって、遠方でも測距値の分散が小さくかつ空間分解能が高い距離画像が得られる。また、ステレオマッチングコストにうなり信号の周波数スペクトルを融合して最小値を決定するので、ステレオマッチングコストが平坦でも最小値を決定しやすくなる。
本実施例では、評価部３８が生成したステレオマッチングコストとミリ波レーダ測距部１１０が生成した周波数スペクトルを融合させて距離画像を生成する測距システム１００について説明する。本実施例では実施例２と異なり、時間軸を利用する。
図２５は本実施例においてデータ融合部３９の機能をブロック状に示す機能ブロック図の一例である。本実施形態のデータ融合部３９は時間空間変換部１（符号は７１）、時間空間変換部２（符号は７２）、コストカーブ融合部７３、最小値決定部７４、及び、時間距離変換部７５を有している。なお、データ融合部３９が有する各機能はＣＰＵがプログラムを実行して実現するものでもよいし、ＦＰＧＡやＡＳＩＣ等のハードウェア回路により実現されてもよい。
時間空間変換部１は、評価部３８から視差画像を取得するが、この視差画像には画素ごとに視差空間のマッチングコストが設定されている。つまり、ステレオマッチングコストが最小値となる視差だけでなく各視差ごとのステレオマッチングコストが保持されている。時間空間変換部１は画素ごとにこの視差空間を時間空間のステレオマッチングコストに変更する。時間空間変換部２は周波数スペクトルの周波数を時間空間のスペクトルに変更する。すなわち、時間成分のスペクトルに変換する。時間と周波数には以下の関係がある。
ｔ＝１/ｆ …（１２）
コストカーブ融合部６３は時間空間のステレオマッチングコストとうなり信号の時間空間のスペクトルを融合して、融合コストカーブを生成する。最小値決定部７４は、時間空間の融合コストカーブにおいて値が最小となる周波数を決定する。時間距離変換部７５は、決定した時間を距離Ｒに変換し、距離Ｒをステレオ画像演算部１２０から見た距離Ｌ２に変換する。この距離が各画素に格納され距離画像となる。
＜コストカーブを使った距離の融合＞
続いて、図２６、図２７を用いてステレオマッチングコストと周波数スペクトルの融合について説明する。図２６はデータ融合部３９が視差画像のステレオマッチングコストと、うなり信号の時間空間のスペクトルを融合する手順を示す一例のフローチャート図である。図２６の処理は受信波の到来方向θに対応する画素ごとに実行される。
（Ｓ２１）
まず、時間空間変換部１は評価部３８が生成した各画素の視差空間のステレオマッチングコストを、時間空間のコストカーブに変換する。視差ｄを式（９）で距離Ｌ１に変換し、次いで、この距離Ｌ１を式（１０）で距離Ｒに変換する。そして、距離Ｒを式（１）で時間ｔに変換する。
本実施例においても時間ｔに対するステレオマッチングコストに疎密が生じるので、図２３（ｃ）で説明したように、適宜補間するとよい。図２７（ａ）は、時間空間のステレオマッチングコストの一例を示す。図２３（ｃ）と比較すると横軸が時間になっている。
（Ｓ２２）
図２６に戻って説明する。次に、時間空間変換部２は式（１２）の関係を利用して、うなり信号の周波数スペクトルを時間空間のスペクトルに変換する。
（Ｓ２３）
次に、コストカーブ融合部７３は時間空間のステレオマッチングコストと、うなり信号の時間空間のスペクトルを融合して融合コストカーブを生成する。図２４にて説明したように、うなり信号の時間空間のスペクトルはゼロを基準に反転させる。図２７（ｂ）は融合コストカーブを模式的に示す。
（Ｓ２４）
図２６に戻って説明する。続いて、最小値決定部７４は時間空間の融合コストカーブにおいて値が最小となる時間ｔを決定する。
（Ｓ２５）
そして、時間距離変換部７５は、式（１）を用いてステップＳ２４で決定した時間ｔを距離Ｒに変換し、式（１０）を用いて距離Ｒをステレオ画像演算部１２０から見た距離Ｌ２に変換する。データ融合部３９は到来方向θに対応する画素において図２６の処理を実行する。それぞれの画素の距離を画像データに格納して距離画像とする。
＜まとめ＞
以上説明したように、本実施例の測距システム１００は、ミリ波レーダにより求めた測距値を、ブロックマッチングによりもとめた測距値が距離画像に変換される前に、ブロックマッチングによりもとめた測距値と融合できる。したがって、遠方でも測距値の分散が小さくかつ空間分解能が高い距離画像が得られる。また、ステレオマッチングコストにうなり信号の周波数スペクトルを融合して最小値を決定するので、ステレオマッチングコストが平坦でも最小値を決定しやすくなる。
本実施例では実施例１と同様の処理を時間軸で行う測距システム１００について説明する。
図２８はデータ融合部３９の機能をブロック状に示す機能ブロック図の一例である。データ融合部３９は時間空間変換部３（符号は８１），時間空間変換部４（符号は８２）、時間範囲限定部８３、うなり信号時間決定部８４、距離逆変換部８５、及び、視差画像距離融合部８６、を有している。なお、データ融合部３９が有する各機能はＣＰＵがプログラムを実行して実現するものでもよいし、ＦＰＧＡやＡＳＩＣ等のハードウェア回路により実現されてもよい。
時間空間変換部３は評価部３８が出力した視差画像の各画素が有する視差を、時間に変換する。すなわち、式（９）で視差ｄを距離Ｌ１に変換し、式（１０）で距離Ｌ１を距離Ｒに変換し、式（１）で距離Ｒを時間ｔに変換する。
時間空間変換部４は式（１２）を使って周波数スペクトルの周波数を時間空間のスペクトルに変更する。
時間範囲限定部８３は時間空間のスペクトルに対し、閾値以上のピークを検出する時間範囲を、時間変換部３が変換した時間の近くに限定する。うなり信号時間決定部８４は、時間空間のスペクトルにおいて時間範囲限定部８３が限定した時間範囲の中から、閾値以上のパワーを有し、かつ、極大値を決定する。
距離逆変換部８５は、うなり信号時間決定部８４が決定した時間を式（１）で距離Ｒに変換し、この距離Ｒを式（１０）でステレオ画像演算部１２０から見た距離Ｌ２に変換する。視差画像距離融合部８６は視差画像が有する画素ごとの距離Ｌ１と、距離逆変換部が変換した距離Ｌ２を融合する。
＜動作手順＞
続いて、図２９、図３０を用いてうなり信号の周波数範囲の限定方法を説明する。図２９はうなり信号の周波数スペクトルから変換された時間空間の周波数スペクトルの一例である。図２９（ａ）は反射波にノイズが乗ってない状態を示し、図２９（ｂ）は反射波にノイズが乗った状態を示す。図３０は時間空間における距離画像の距離Ｌ１と、ＦＣＭ方式で検出された距離Ｒを融合する手順を示す一例のフローチャート図である。
（Ｓ４１〜Ｓ４３）。
時間空間変換部３は視差画像が有する視差ｄを式（９）で距離Ｌ１に変換する。また、距離Ｌ１を式（１０）で距離Ｒに変換する。また、式（１）で距離Ｒを時間ｔに変換する。
（Ｓ４４）
時間空間変換部４は、式（１２）の関係を使って、うなり信号の周波数スペクトルを時間空間のスペクトルに変換する。
（Ｓ４５）
次に、時間範囲限定部８３は視差画像から求めた時間の近くに、ピークが決定される時間の範囲を限定する。例えば、時間の範囲を決めるパラメータをβとして「ｔ±β」から、周波数スペクトルのピークを検出する。βは適宜決定される設計値である。固定値でもよいし、可変値でもよい。固定値の場合、平均的なピーク値の半値幅などとし、可変値の場合、例えば時間空間のスペクトルが有するいくつかのピーク値の平均の半分程度とする。
図２９（ａ）では限定された時間範囲を矢印５８で示す。したがって、仮に、図２９（ｂ）に示すようなノイズによるピーク５７が周波数スペクトルに存在しても、ノイズによるピークを物体のピークであると誤検出することを抑制できる。
（Ｓ４６）
うなり信号時間決定部８４は、時間空間のスペクトルにおいて時間範囲限定部８３が限定した時間範囲の中から、閾値以上のパワーを有し、かつ、極大値を決定する。この閾値は物体があることで生じたうなり信号があると推定してよいパワー値である。
（Ｓ４７、Ｓ４８）
距離逆変換部８５は、式（１）を使ってステップＳ４６で決定した時間ｔをθφＲ座標系の距離Ｒに変換する。また、式（１０）を使って距離Ｒをステレオ画像演算部１２０の座標系の距離Ｌ２に変換する。
（Ｓ４９）
次に、視差画像距離融合部８６は視差画像が有する画素ごとの距離Ｌ１と、距離逆変換部８５が変換した距離Ｌ２を融合する。融合の処理については実施例１と同様でよい。
＜まとめ＞
以上説明したように、本実施例の測距システムは、ミリ波レーダにより求めた測距値を、ブロックマッチングによりもとめた測距値が距離画像に変換される前に、ブロックマッチングによりもとめた測距値と融合できる。したがって、遠方でも測距値の分散が小さくかつ空間分解能が高い距離画像が得られる。また、うなり信号がフーリエ変換された時間空間のスペクトルにおいて時間範囲を、ブロックマッチングによりもとめた時間で限定するので、ノイズによるピークを取り出しにくくなり、物体の数や距離の精度を向上できる。
本実施例では、測距システム１００に異常が生じた場合にフェールセーフ処理を行うと共に、異常が生じた旨を表示することができる測距システム１００について説明する。
図３１は、本実施例の測距システムの一例を示す。なお、図３１の説明において、図１２において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
本実施例の測距システム１００は異常監視部１（符号は３０１）と異常監視部２（符号は３０２）を有している。異常監視部１はミリ波レーダ測距部１１０に生じる異常を監視する。例えば、ＦＦＴ部３７が検出する周波数スペクトルが変化しない時間が一定時間以上継続した場合に異常があると判断する。この他、周波数が仕様外の値を取ることが一定時間以上継続した場合、又は、ＦＦＴ部３７等が規定値以上の温度に達した場合、などに異常を検出してもよい。異常監視部１は異常がある旨をＥＣＵ２０に通知する。
異常監視部２はステレオ画像演算部１２０に生じる異常を監視する。例えば、基準画像又は比較画像の画素値が変化しない時間が一定時間以上継続した場合に異常があると判断する。この他、画素値が仕様外の値を取ることが一定時間以上継続した場合、又は、評価部３８が規定値以上の温度に達した場合、などに異常を検出してもよい。異常監視部２は異常がある旨をＥＣＵ２０に通知する。
ＥＣＵ２０は異常監視部１，２から異常の通知を取得すると共に、異常監視部１が無応答であることからミリ波レーダ測距部１１０の異常を検出する。また、ＥＣＵ２０は異常監視部２又はミリ波レーダ測距部１１０が無応答であることからステレオ画像演算部１２０の１１０の異常を検出する。例えば、ＥＣＵ２０はミリ波レーダ測距部１１０又はミリ波レーダ測距部１１０と、通信できないこと、所定の電圧が入ってこないこと（電源オフ）、などを検出する。
・ミリ波レーダ測距部１１０に異常がある場合は、ＥＣＵ２０はステレオ画像演算部１２０が生成する距離画像により運転支援を継続できる。
・ステレオ画像演算部１２０に異常がある場合は、ＥＣＵ２０はＦＦＴ部３７から周波数スペクトルと物体の方向を取得し、周波数スペクトルから距離情報を求めることで、ＥＣＵ２０は運転支援を継続できる。周波数スペクトルでなく距離情報を取得してもよい。
こうすることで、ミリ波レーダ測距部１１０とステレオ画像演算部１２０のどちらかが正常であれば、融合はできないがＥＣＵ２０が距離画像又は距離情報を利用して運転支援を継続することができる（フェールセーフすることができる）。
図３２は、ミリ波レーダ測距部１１０又はステレオ画像演算部１２０に異常がある場合の、ＥＣＵ２０の制御例を示すフローチャート図の一例である。図３２の処理は、移動体の走行中は繰り返し実行される。
まず、ＥＣＵ２０はミリ波レーダ測距部１１０とステレオ画像演算部１２０の両方に異常が検出されたか否かを判断する（Ｓ１０１）。異常はミリ波レーダ測距部１１０が検出したものでも、異常監視部１、２が検出したものでも、ＥＣＵ２０が検出したものでもよい。
ステップＳ１０１の判断がＹｅｓの場合、ＥＣＵ２０はミリ波レーダ測距部１１０とステレオ画像演算部１２０に異常がある旨を表示装置２１に表示する（Ｓ１０２）。表示例を図３３に示す。
ステップＳ１０１の判断がＮｏの場合、ＥＣＵ２０はミリ波レーダ測距部１１０の異常が検出されたか否かを判断する（Ｓ１０３）。異常は異常監視部１が検出したものでも、ＥＣＵ２０が検出したものでもよい。
ステップＳ１０３の判断がＹｅｓの場合、ＥＣＵ２０はステレオ画像演算部１２０の距離画像だけで運転支援を行う（Ｓ１０４）。すなわち、データ融合部３９は単に、ステレオマッチングコストを距離に変換して距離画像を生成する。異常の検出前からＥＣＵ２０は距離画像で運転支援しているため、処理に変更はない。
次に、ＥＣＵ２０はミリ波レーダ測距部１１０に異常がある旨を表示装置２１に表示する（Ｓ１０５）。表示例を図３３に示す。
続いて、ＥＣＵ２０はステレオ画像演算部１２０の異常が検出されたか否かを判断する（Ｓ１０６）。異常は異常監視部２が検出したものでも、ＥＣＵ２０が検出したものでもよい。
ステップＳ１０６の判断がＹｅｓの場合、ＥＣＵ２０はミリ波レーダ測距部１１０の距離情報だけで運転支援を行う（Ｓ１０７）。すなわち、ＦＦＴ部３７は周波数スペクトルを距離情報に変換して方向と共に外部であるＥＣＵ２０に出力する。ＥＣＵ２０は距離画像でなく、物体までの方位（照射方向）と距離に基づいて運転支援を開始する。
次に、ＥＣＵ２０はステレオ画像演算部１２０に異常がある旨を表示装置２１に表示する（Ｓ１０８）。表示例を図３３に示す。
こうすることで、ＥＣＵ２０はミリ波レーダ測距部１１０に異常が生じても、ステレオ画像演算部１２０に異常が生じても、継続して運転支援が可能になる。
図３３はミリ波レーダ測距部１１０又はステレオ画像演算部１２０に異常が生じた場合の表示例を示す図である。
図３３（ａ）はミリ波レーダ測距部１１０とステレオ画像演算部１２０に異常が生じた場合に表示装置２１に表示される、ミリ波レーダ測距部１１０とステレオ画像演算部１２０に異常が生じた旨の表示例を示す。図３３（ａ）では「警告 レーダとカメラセンサに異常が生じました。運転支援を終了します。」と表示されている。これにより、移動体の乗員はミリ波レーダ測距部１１０とステレオ画像演算部１２０に異常があるため、運転支援が継続されないことを把握できる。
図３３（ｂ）はミリ波レーダ測距部１１０に異常が生じた場合に表示装置２１に表示される、ミリ波レーダ測距部１１０に異常が生じた旨の表示例を示す。図３３（ｂ）では「警告 レーダに異常が生じました。カメラセンサで運転支援を継続します。」と表示されている。これにより、移動体の乗員はミリ波レーダ測距部１１０に異常があるが、運転支援が継続されることを把握できる。
図３３（ｃ）はステレオ画像演算部１２０に異常が生じた場合に表示装置２１に表示される、ステレオ画像演算部１２０に異常が生じた旨の表示例を示す。図３３（ｃ）では「警告 カメラセンサに異常が生じました。レーダで運転支援を継続します。」と表示されている。これにより、移動体の乗員はステレオ画像演算部１２０に異常があるが、運転支援が継続されることを把握できる。
本実施例では、ステレオ画像演算部１２０による測距値と、ミリ波レーダ測距部１１０による測距値との融合を部分的に行う測距システム１００について説明する。実施例２，３では反射波の到来方向θに対応する画素のステレオマッチングコストに対し、周波数スペクトルを融合した。
本実施例では図３４に示すように、周波数スペクトルを反射波の到来方向に対応する全ての画素で行うのではなく、周波数スペクトルとステレオマッチングコストの状態に応じて行う。
図３４は画像データとミリ波の照射位置とステレオマッチングコストを模式的に示す図である。図３４では例として２つの画素４０１，４０２が示されている。反射波の到来方向θにより画像データの画素列が特定されている。画素４０１のステレオマッチングコストＣ（ｐ，Ｚ）は図示するようになだらかであり（極値がない）、画素４０２のステレオマッチングコストＣ（ｐ，Ｚ）は下に凸である（極値が明確）。したがって、画素４０１ではステレオマッチングコストＣ（ｐ，Ｚ）の極小値を見つけにくいが、画素４０１では極小値を見つけやすい。
図３５は周波数スペクトルとステレオマッチングコストＣ（ｐ，Ｚ）の融合例を説明する図の一例である。実施例２と同様に視差画像の視差は周波数に変換されている。
図３５（ａ）は画素４０１のステレオマッチングコストと周波数スペクトルの融合例を示し、図３５（ｂ）は画素４０２のステレオマッチングコストと周波数スペクトルの融合例を示す。図３５（ａ）の周波数スペクトルでは１つのピークが明確である。このため、ステレオマッチングコストと周波数スペクトルが融合された融合コストカーブでは、極小値が明確になっている。なお、実施例２にて説明したようにピークは上下に反転されてから融合される。
一方、図３５（ｂ）のようなステレオマッチングコストは、周波数スペクトルが複数のピークを有する場合に融合することが有効である。図３５（ｂ）では周波数スペクトルに２つのピークが得られている。このような波形は複数の物体が存在する場合に生じうる。図３５（ｂ）ではステレオマッチングコストと周波数スペクトルの融合により、極小値が明確になっている。
したがって、ステレオ画像演算部１２０は、以下のように融合するかどうかを制御する。
・ステレオマッチングコストが平坦で、かつ、周波数スペクトルのピークが１つの場合、周波数スペクトルとステレオマッチングコストを融合する。
・周波数スペクトルが複数のピークを有し、ステレオマッチングコストの極小値が１つの場合、周波数スペクトルとステレオマッチングコストを融合する。
換言すると、ステレオマッチングコストが平坦で、かつ、周波数スペクトルが複数のピークを有する場合、融合の効果が得られにくいので融合を省略できる。また、ステレオマッチングコストの極小値が明確で、かつ、周波数スペクトルのピークも１つの場合は、すでに物体を確実に捕らえている可能性が高いので投票を省略できる（この場合は確認の意味を込めて融合してもよい）。
ステレオマッチングコストが平坦かどうかは、例えば、最小値と最大値の差を閾値と比較して判断できる。この差が十分に大きい場合は極小値が明確と言える。周波数スペクトルが複数のピークを有するかどうかは、例えば、閾値以上の極大値が２つ以上あるか否かなどにより判断できる。
本実施例ではサーバ装置が少なくとも一部の処理を実行する距離画像提供システムについて説明する。実施例１〜５において測距システム１００が行った処理はサーバ装置が行うこともできる。
図３６は、距離画像提供システム５０の概略構成図を示す。図３６に示すように、移動体２００に車載された測距システム１００はネットワークＮを介してサーバ装置５１と通信する。測距システム１００は周波数スペクトル、方向、基準画像及び比較画像をサーバ装置５１に送信し、サーバ装置５１は実施例１〜５の処理を行って距離画像を生成し、測距システム１００に送信する。
図３７は本実施例の距離画像提供システム５０の機能ブロック図の一例である。まず、ミリ波レーダ測距部１１０の機能は変更がないが、ミリ波レーダ測距部１１０は周波数スペクトルと方向を通信装置５２に送出する。ステレオ画像演算部１２０は評価部３８とデータ融合部３９を有する必要がなくなり、右カメラ１１と左カメラ１２は基準画像と比較画像を通信装置５２に送出する。通信装置５２は周波数スペクトル、方向、基準画像及び比較画像をサーバ装置５１に送信する。
サーバ装置５１は通信装置５３、評価部３８とデータ融合部３９を有し、実施例１〜５の処理を行って距離画像（三次元高密度高分解能距離画像）を作成する。サーバ装置５１の通信装置５３は距離画像を移動体２００に送信する。
移動体２００は距離画像と基準画像をＥＣＵ２０に送出することで、ＥＣＵ２０は実施例１〜５と同様に運転支援することができる。
このように本実施例では、移動体２００とサーバ装置５１が通信して距離画像を生成できるので、測距システム１００の構成を簡略化でき、測距システム１００のコストを低減できる。
なお、サーバ装置５１は距離画像を、情報を送信した移動体２００とは別の移動体に送信してもよい。例えば、渋滞中に先頭の移動体２００が照射方向、距離情報、基準画像及び比較画像をサーバ装置５１に送信すると、サーバ装置５１は後続の移動体２００に距離画像を送信する。これにより、後続の移動体２００も先頭の移動体２００の状況を把握できる。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、測距システム１００が搭載される移動体２００としては車両や自動車を挙げることができるが、測距システム１００は移動体に広く適用できる。例えば、少なくとも一部において人間が操作しなくても自律的に移動する移動体に有効である。例えば、飛行機、ドローン、船舶、ロボット等に適用できる。
また、ミリ波レーダの波長については、測距に適した波長域の電波を使用すればよく、可視光、赤外光、紫外光（人体に影響がない範囲で）でもよいし、光を電磁波と捉えてもよい。
また、本実施形態では、距離分解能の高い測距方式としてミリ波レーダを説明したが、ＬｉＤＡＲ又は超音波（音波、ソナー）などを用いてもよい。
また、本実施形態では、ステレオカメラが２つの撮像部を有すると説明したが、３つ以上の撮像部を有していてもよい。また、２つの撮像部は水平方向に離間する他、垂直方向に離間してもよい。また、撮像部は可視光を撮像するだけでなく、近赤外、赤外、などの範囲の光を撮像してもよい。また、偏波フィルタを介して撮像してもよい。
なお、ＦＦＴ部３７は取得手段の一例であり、評価部３８は生成手段の一例であり、データ融合部３９は融合手段の一例であり、異常監視部３０１は第一の異常検出部の一例であり、異常監視部３０２は第二の異常検出部の一例であり、ミリ波レーダ測距部１１０が提供する機能は第一の機能の一例であり、ステレオ画像演算部１２０が提供する機能は第二の機能の一例である。
１００ 測距システム
１１０ レーザレーダ測距部
１２０ ステレオ画像演算部
２００ 移動体
Hern´n Badino他、「Integrating LIDAR into Stereo for Fast and Improved Disparity Computation」、China、2011 International Conference on 3D Imaging, Modeling, Processing, Visualization and Transmission、16th May 2011

Claims (14)

  1. 取得手段が、対象物に照射される送信波と対象物からの反射波の合成により得たうなり信号から信号成分を取り出すステップと、
    生成手段が、複数の画像データのマッチング評価値を生成するステップと、
    前記信号成分と前記マッチング評価値の融合を、前記マッチング評価値から距離画像を生成する前に融合手段が行い、融合された前記信号成分と前記マッチング評価値から画素ごとに距離情報が設定された距離画像を生成するステップと、
    を有することを特徴とする測距方法。
  2. 前記融合手段は、前記マッチング評価値に基づいて、前記信号成分の極大値を決定する範囲を限定し、前記範囲で極大値を取る前記信号成分から対象物までの距離を求めることを特徴とする請求項１に記載の測距方法。
  3. 前記信号成分は前記うなり信号の周波数成分であり、
    前記融合手段は、前記マッチング評価値を周波数に変換し、
    変換した周波数で前記うなり信号の周波数成分の範囲を限定し、前記周波数成分の範囲から極大値を有する周波数を決定し、
    決定した周波数を距離に変換して、前記距離画像を生成することを特徴とする請求項１又は２に記載の測距方法。
  4. 前記信号成分は前記うなり信号の周波数成分であり、
    前記融合手段は、前記マッチング評価値を時間に変換し、
    前記うなり信号の周波数成分を時間成分に変換し、
    前記マッチング評価値から変換された時間で前記うなり信号の時間成分の範囲を限定し、前記時間成分の範囲から極大値を有する時間を決定し、
    決定した時間を距離に変換して、前記距離画像を生成することを特徴とする請求項１又は２に記載の測距方法。
  5. 前記生成手段は、複数の視差に対する前記マッチング評価値を生成し、
    前記融合手段は、前記マッチング評価値の横軸である視差と、前記信号成分の横軸を同じ物理量に合わせて、前記マッチング評価値と前記信号成分を融合し、
    融合して得られたカーブが極小値を示す前記物理量に基づいて対象物までの距離を求めることを特徴とする請求項１に記載の測距方法。
  6. 前記信号成分は前記うなり信号の周波数成分であり、
    前記融合手段は、前記マッチング評価値の横軸である視差を周波数に変換し、
    周波数に対する前記マッチング評価値と前記信号成分を融合し、
    融合して得られたカーブが極小値を示す周波数に基づいて対象物までの距離を求めることを特徴とする請求項５に記載の測距方法。
  7. 前記信号成分は前記うなり信号の周波数成分であり、
    前記融合手段は、前記マッチング評価値の横軸である視差を時間に変換し、
    周波数に対する前記信号成分を、時間に対する前記周波数成分に変換し、
    時間に対する前記マッチング評価値と前記信号成分を融合し、
    融合して得られたカーブが極小値を示す時間に基づいて対象物までの距離を求めることを特徴とする請求項５に記載の測距方法。
  8. 前記融合手段は、前記マッチング評価値が平坦で、前記うなり信号の周波数成分のピークが１つの場合、前記マッチング評価値と前記信号成分を融合し、
    前記うなり信号の周波数成分が複数のピークを有し、前記マッチング評価値の極小値が１つの場合、前記マッチング評価値と前記信号成分を融合することを特徴とする請求項５〜７のいずれか１項に記載の測距方法。
  9. 送信波の送信、反射波の受信及び前記うなり信号に関する処理を行う第一の機能の異常を検出する第一の異常検出部と、
    画像データの撮像と前記画像データの処理に関する処理を行う第二の機能の異常を検出する第二の異常検出部と、
    前記第一の異常検出部又は前記第二の異常検出部の少なくとも一方が異常を検出した旨を表示装置に表示することを特徴とする請求項１〜８のいずれか１項に記載の測距方法。
  10. 前記第一の異常検出部が前記第一の機能の異常を検出した場合、前記融合手段は、複数の画像データの前記マッチング評価値から、前記画像データの画素に距離情報が対応付けられた前記距離画像を生成し、
    前記第二の異常検出部が前記第二の機能の異常を検出した場合、前記第一の機能は前記信号成分に基づく距離情報を外部に出力することを特徴とする請求項９に記載の測距方法。
  11. 対象物に照射される送信波と対象物からの反射波の合成により得たうなり信号から信号成分を取り出す取得手段と、
    複数の画像データのマッチング評価値を生成する生成手段と、
    前記信号成分と前記マッチング評価値の融合を、前記マッチング評価値から距離画像を生成する前に行い、融合された前記信号成分と前記マッチング評価値から画素ごとに距離情報が設定された距離画像を生成する融合手段と、
    を有することを特徴とする測距装置。
  12. 対象物に照射される送信波と対象物からの反射波の合成により得たうなり信号から信号成分を取り出す取得手段と、
    複数の画像データのマッチング評価値を生成する生成手段と、
    前記信号成分と前記マッチング評価値の融合を、前記マッチング評価値から距離画像を生成する前に行い、融合された前記信号成分と前記マッチング評価値から画素ごとに距離情報が設定された距離画像を生成する融合手段と、を有し、
    前記距離画像を移動体の制御ユニットに送出する車載装置。
  13. 対象物に照射される送信波と対象物からの反射波の合成により得たうなり信号から信号成分を取り出す取得手段と、
    複数の画像データのマッチング評価値を生成する生成手段と、
    前記信号成分と前記マッチング評価値の融合を、前記マッチング評価値から距離画像を生成する前に行い、融合された前記信号成分と前記マッチング評価値から画素ごとに距離情報が設定された距離画像を生成する融合手段と、
    前記距離画像を使って移動体を制御する制御ユニットと、
    を有する移動体。
  14. 対象物に送信波を送信し、対象物からの反射波を受信する測距部と、
    撮像部と、
    前記送信波と前記反射波の合成により得たうなり信号から信号成分を取り出す取得手段と、
    複数の画像データのマッチング評価値を生成する生成手段と、
    前記信号成分と前記マッチング評価値の融合を、前記マッチング評価値から距離画像を生成する前に行い、融合された前記信号成分と前記マッチング評価値から画素ごとに距離情報が設定された距離画像を生成する融合手段と、
    を有することを特徴とする測距システム。
JP2019008763A 2019-01-22 2019-01-22 測距方法、測距装置、車載装置、移動体、測距システム Active JP7238422B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019008763A JP7238422B2 (ja) 2019-01-22 2019-01-22 測距方法、測距装置、車載装置、移動体、測距システム
EP20151291.0A EP3686631A1 (en) 2019-01-22 2020-01-10 Range finding method, range finding apparatus, and range finding system
US16/745,391 US11366229B2 (en) 2019-01-22 2020-01-17 Range finding method, range finding apparatus, and range finding system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019008763A JP7238422B2 (ja) 2019-01-22 2019-01-22 測距方法、測距装置、車載装置、移動体、測距システム

Publications (2)

Publication Number Publication Date
JP2020118514A true JP2020118514A (ja) 2020-08-06
JP7238422B2 JP7238422B2 (ja) 2023-03-14

Family

ID=69159576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019008763A Active JP7238422B2 (ja) 2019-01-22 2019-01-22 測距方法、測距装置、車載装置、移動体、測距システム

Country Status (3)

Country Link
US (1) US11366229B2 (ja)
EP (1) EP3686631A1 (ja)
JP (1) JP7238422B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022142602A (ja) * 2021-03-16 2022-09-30 独立行政法人国立高等専門学校機構 電磁波レーダ装置および電磁波レーダ装置の学習方法
US11885709B2 (en) 2021-08-26 2024-01-30 Transtron Inc. Engine test method, computer-readable recording medium, and engine test apparatus

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7238422B2 (ja) * 2019-01-22 2023-03-14 株式会社リコー 測距方法、測距装置、車載装置、移動体、測距システム
US11143753B2 (en) * 2019-05-09 2021-10-12 GM Global Technology Operations LLC Range extension with segmentation
CN113644981B (zh) * 2021-06-24 2022-10-14 广东工业大学 一种产生频谱平坦的毫米波噪声的系统和方法
CN117930224B (zh) * 2024-03-19 2024-06-18 山东科技大学 一种基于单目视觉深度估计的车辆测距方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234513A (ja) * 2005-02-23 2006-09-07 Toyota Central Res & Dev Lab Inc 障害物検出装置
JP2014006123A (ja) * 2012-06-22 2014-01-16 Toyota Motor Corp 物体検出装置、情報処理装置、物体検出方法
WO2017057056A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2018021776A (ja) * 2016-08-02 2018-02-08 株式会社リコー 視差演算システム、移動体及びプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4402400B2 (ja) * 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
CN100573191C (zh) * 2004-04-28 2009-12-23 松下电器产业株式会社 超声波测距装置
EP2026097A1 (en) * 2007-08-08 2009-02-18 Harman Becker Automotive Systems GmbH Vehicle illumination system
JP5549230B2 (ja) 2010-01-13 2014-07-16 株式会社リコー 測距装置、測距用モジュール及びこれを用いた撮像装置
JP5809390B2 (ja) 2010-02-03 2015-11-10 株式会社リコー 測距・測光装置及び撮像装置
US9267797B2 (en) 2010-06-22 2016-02-23 Ricoh Company, Ltd. Range-finding device and imaging apparatus
JP5742152B2 (ja) 2010-09-28 2015-07-01 株式会社リコー 撮像装置
JP5382087B2 (ja) * 2011-11-02 2014-01-08 株式会社デンソー レーダ装置
JP6275370B2 (ja) 2012-04-11 2018-02-07 三菱電機株式会社 レーダ装置
US9134402B2 (en) * 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
JP6476831B2 (ja) 2013-12-26 2019-03-06 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
US8886387B1 (en) * 2014-01-07 2014-11-11 Google Inc. Estimating multi-vehicle motion characteristics by finding stable reference points
JP6528447B2 (ja) 2014-02-25 2019-06-12 株式会社リコー 視差演算システム及び距離測定装置
JP2016001170A (ja) 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理プログラム、及び、処理方法
JP6805534B2 (ja) 2015-07-02 2020-12-23 株式会社リコー 視差画像生成装置、視差画像生成方法及び視差画像生成プログラム、物体認識装置、機器制御システム
JP6825569B2 (ja) * 2015-09-30 2021-02-03 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
EP3413267B1 (en) 2016-02-05 2023-06-28 Ricoh Company, Ltd. Object detection device, device control system, objection detection method, and program
EP3223034B1 (en) * 2016-03-16 2022-07-20 Ricoh Company, Ltd. Object detection apparatus and moveable apparatus
WO2017169491A1 (ja) * 2016-03-30 2017-10-05 富士フイルム株式会社 撮像装置及びフォーカス制御方法
KR101877388B1 (ko) * 2016-07-21 2018-07-11 엘지전자 주식회사 차량용 라이다 장치
JP6776692B2 (ja) * 2016-07-25 2020-10-28 株式会社リコー 視差演算システム、移動体及びプログラム
WO2018196001A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Sensing assembly for autonomous driving
EP3514759A1 (en) 2018-01-23 2019-07-24 Ricoh Company, Ltd. Image processing method, image processing apparatus, on-board device, moving body, and system
JP2020003236A (ja) 2018-06-25 2020-01-09 株式会社リコー 測距装置、移動体、測距方法、測距システム
JP7238422B2 (ja) * 2019-01-22 2023-03-14 株式会社リコー 測距方法、測距装置、車載装置、移動体、測距システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234513A (ja) * 2005-02-23 2006-09-07 Toyota Central Res & Dev Lab Inc 障害物検出装置
JP2014006123A (ja) * 2012-06-22 2014-01-16 Toyota Motor Corp 物体検出装置、情報処理装置、物体検出方法
WO2017057056A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2018021776A (ja) * 2016-08-02 2018-02-08 株式会社リコー 視差演算システム、移動体及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022142602A (ja) * 2021-03-16 2022-09-30 独立行政法人国立高等専門学校機構 電磁波レーダ装置および電磁波レーダ装置の学習方法
US11885709B2 (en) 2021-08-26 2024-01-30 Transtron Inc. Engine test method, computer-readable recording medium, and engine test apparatus

Also Published As

Publication number Publication date
JP7238422B2 (ja) 2023-03-14
US20200233087A1 (en) 2020-07-23
EP3686631A1 (en) 2020-07-29
US11366229B2 (en) 2022-06-21

Similar Documents

Publication Publication Date Title
JP7238422B2 (ja) 測距方法、測距装置、車載装置、移動体、測距システム
US10891751B2 (en) Range image generating method, range image generating apparatus, and on-board device having range image generating function
US10962638B2 (en) Vehicle radar sensing system with surface modeling
US10962641B2 (en) Vehicle radar sensing system with enhanced accuracy using interferometry techniques
US10545229B2 (en) Systems and methods for unified mapping of an environment
CN108139476B (zh) 信息处理设备、信息处理方法和程序
US11378654B2 (en) Recurrent super-resolution radar for autonomous vehicles
US12000951B2 (en) Robust radar-centric perception system
JP5363094B2 (ja) 信号処理装置、及びレーダ装置
WO2017181642A1 (en) Systems and methods for radar-based localization
JP7176406B2 (ja) 画像処理方法、画像処理装置、車載装置、移動体、システム
US11762084B2 (en) Vehicle radar system
JP2020003236A (ja) 測距装置、移動体、測距方法、測距システム
KR20150127188A (ko) 물체 분류를 위한 편파측정 레이더 및 이를 이용한 물체 분류 방법
KR20190060341A (ko) 레이더 및 카메라 융합 시스템 및 그것을 이용한 타겟 탐지 방법
US11346922B2 (en) Object recognition apparatus and object recognition method
JP2011099683A (ja) 物体検出装置
JP2017227510A (ja) レーダ装置および物標検知方法
Cui et al. 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars
US20220308205A1 (en) Partially-Learned Model for Speed Estimates in Radar Tracking
JP2021518557A (ja) 移動する物体の材料組成を識別するための方法およびシステム
US20170254881A1 (en) Apparatus for detecting axial misalignment
Ram Fusion of inverse synthetic aperture radar and camera images for automotive target tracking
JP7233340B2 (ja) 物標検出装置
EP3540467B1 (en) Range finding system, range finding method, in-vehicle device, and vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R151 Written notification of patent or utility model registration

Ref document number: 7238422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151