JP2013190421A - 車両において通行物体位置検出を向上する方法 - Google Patents

車両において通行物体位置検出を向上する方法 Download PDF

Info

Publication number
JP2013190421A
JP2013190421A JP2013027937A JP2013027937A JP2013190421A JP 2013190421 A JP2013190421 A JP 2013190421A JP 2013027937 A JP2013027937 A JP 2013027937A JP 2013027937 A JP2013027937 A JP 2013027937A JP 2013190421 A JP2013190421 A JP 2013190421A
Authority
JP
Japan
Prior art keywords
image
symmetry
target object
sensor
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013027937A
Other languages
English (en)
Other versions
JP5689907B2 (ja
Inventor
Einecke Nils
アイネッケ ニル
Rebhan Sven
レブハン スヴェン
Morimichi Nishigaki
モリミチ ニシガキ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2013190421A publication Critical patent/JP2013190421A/ja
Application granted granted Critical
Publication of JP5689907B2 publication Critical patent/JP5689907B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system

Abstract

【課題】
レーダセンサのような物体位置センサの検出結果を改善する方法およびシステムを提供する。
【解決手段】
自車両周辺の対象物体（５１）の位置を検出すべく、例えばレーダセンサのような物体位置センサ（２）を用いて前記対象物体に関する第１の位置（６）の情報を受信するステップと、例えばカメラのような画像センサ（３）により検出される前記対象物体を含む画像（７）を受信するステップと、前記第１の位置（６）を前記画像（７）上に投影するステップと、前記画像（７）内の対称性探索に基づいて前記対象物体の精密化された第２の位置（２５）を計算することにより前記第１の位置（６）を精密化するステップと、を備える。
【選択図】 図１

Description

本発明は、車両用のコンピュータビジョン、特に、自動車分野における自動物体検出に関する（「自動車」は、任意の陸上車両（land vehicle）、航空機（air vehicle）、または、海洋艇（sea vehicle）を等しく意味するものとする）。より正確には、本発明は、ドライバー補助システムの分野に属する。
ホスト車両（自車両、host vehicle）に実装された、レーダセンサを備える物体位置検出システムにより、当該ホスト車両の近傍の他の車両を検出し、これら車両の横方向位置および縦方向位置などの情報を得ることは知られている。ここで「近傍」とは、ホスト車両の周囲の領域であって当該ホスト車両が備える１つ以上のセンサによってカバーされる領域をいう。
レーダセンサがこの情報をどのように測定するかに依存して、横方向位置の情報は非常に不正確な場合があり、かつ、車幅の範囲内で変化し得る。したがって、殆どの用途では、横方向位置を更に正確に推定する必要がある。ここで「位置」とは、センサの入力フィールド内にある物体の、ホスト車両の位置に対する相対的な位置のことをいう。
既存のシステムは、例えばカルマンフィルタを用いて、測定した位置を時間経過に沿って積算する。このため、車両の実際の横方向位置と当該システムにより推定される位置との間の時間的なずれが増大するという問題が発生する。しかしながら、このような時間的なズレの増大は、横方向の動きを利用する用途では特に不利となる。
特許文献１には、車両用の物体認識システムが記載されている。このシステムは、レーダを用いて大まかな検出を行い、検出車両の輪郭をエッジ検出によって決定する。また、車線検出および自由領域検出についても記載されている。このシステムは、エッジに基づく物体境界検出を用いて、物体の左右上下の境界を検出する。
特許文献２には、道路車両用の物体測位システムが記載されている。このシステムは、レーダ手段を用いて車両を検出し、当該検出された物体の特徴をカメラを用いて抽出する。
米国特許第６５９０５２１号明細書 米国特許出願公開第２００４／０１７８９４５号明細書
本発明の目的は、レーダセンサのような物体位置センサの検出結果を改善するための方法およびシステムを提供することである。
この目的は、独立請求項の特徴によって達成される。本発明の有利な更なる拡張が従属請求項の主題である。
本発明の第１の態様は、自車両の環境内に存在する対象物体の位置を検出する方法であって、
−例えばレーダセンサのような物体位置センサを用いて前記対象物体に関する第１の位置の情報を受信するステップと、
−例えばカメラのような画像センサにより検出される、前記対象物体を含む画像を受信するステップと、
−前記第１の位置を前記画像上に投影するステップと、
−前記画像内の対称性探索に基づいて前記対象物体の精密化された第２の位置を計算することにより前記第１の位置を精密化するステップと、
を備える方法、である。
本発明の更なる態様は、自車両の環境内に存在する対象物体の位置を検出する装置であって、
−例えばレーダセンサのような物体位置センサを用いて検出される前記対象物体の第１の位置を受信する手段と、
−例えばカメラのような画像センサにより検出される、前記対象物体を含む画像を受信する手段と、
−前記第１の位置を前記画像上に投影する手段と、
−前記画像内の対称性探索に基づいて前記対象物体の第２の位置を計算することにより前記第１の位置を精密化する手段と、
を備える装置、である。
本発明の更なる他の態様は、自車両の環境内にある対象物体の位置を検出するシステムであって、
−前記対象物体の第１の位置を検出するための物体位置センサ、例えばレーダセンサと、
−前記対象物体を含む画像を検出するための画像センサ、例えばカメラと、
−前記第１の位置を前記画像上に投影するとともに、前記画像内の対称性探索に基づいて前記対象物体の第２の位置を計算することにより前記第１の位置を精密化するための装置と
を備えるシステム、である。
本発明の更なる他の態様は、そのようなシステムを備える、陸上車両、航空機、または、海洋艇、好ましくは自動車またはオートバイである。当該システムは、自動車の音響的及び又は視覚的な指示手段、及び又は車両のアクチュエータ（ステアリング、ブレーキング、加速器等）に供給される信号を出力するものとすることができる。
第１の位置および第２の位置は、前記対象物体の横方向位置であって、好ましくは前記自車両に対する対象車両の相対的な角度または方向を反映する位置である。
好ましくは、対称性探索は、前記対象物体の検出された画像の対称軸を特定することを含む。
前記対称性探索は、好ましくは水平な対称性探索領域内で行われ、前記対称性探索領域は、前記第１の位置に応じて前記画像内に配置され、好ましくは前記第１の位置を中心にして配置される、
前記対称性探索領域内に対称ウインドウが配置され、好ましくは当該対象ウインドウのサイズは前記対象物体のサイズに対応しており、前記対称ウインドウのコンテンツと前記対称ウインドウのミラー反転されたコンテンツとの間で、相関値が算出される、
これにより、前記対称性探索領域内の異なる位置の前記対称ウインドウに関して相関値を計算することができる。当該計算された相関値の中で少なくとも１つのピークを検出することができる。
前記対称性探索は、前記対称ウインドウを水平方向に折り返して当該ウインドウのミラー反転像と重ね、前記対称ウインドウの各位置ごとの対称値計算に用いる類似性尺度として局所正規化コスト関数を使用することにより、行うことができる。
前記局所正規化コスト関数は、累積正規化相互相関（ＳＮＣＣ）、累積絶対値誤差（ＳＡＤ）を伴う局所平均・分散正規化（ＭＶＮ）画像、累積絶対値誤差（ＳＡＤ）を伴うランク変換（ＲＴ）画像、または、ハミング距離を伴うセンサス変換画像とすることができる。
前記対称性探索を、例えば位相限定相関（ＰＯＣ）にしたがって、周波数領域で行い、前記対称ウインドウ（６１）と当該ウインドウのミラー反転像との間の水平偏移を算出することができる。
前記対称性探索領域は、前記物体位置センサによって検出される自車両と対象物体との間の距離と、前記対象物体の物理的な幅の平均値とにより規定することができる。
前記対称性探索領域は、画像当たりの最大計算コストが物体の距離によってではなく物体の数のみによって拘束されるように、所定の分解能までダウンサンプリングされるものとすることができる。
好ましくは、前記第１の位置は、前記対象物体が非静止物体と見なされる場合にのみ精密化され、又は、前記第１の位置は、前記自車両に対する前記対象物体の関連性に応じて精密化され、例えば、前記第１の位置は、前記対象物体が自身の車線および／または隣接する車線に属すると見なされる場合にのみ精密化される。
好ましくは、前記対象物体が前記画像において部分的に又は完全に遮られているか否かは、好ましくは前記物体位置センサにより検出される他の物体の位置を前記画像に投影し、前記自車両までの距離推定値を用いて、その可能性のある遮蔽部分を評価することによって評価される。
好ましくは、前記対称性探索は、前記第１の位置の誤った精密化を防止するための少なくとも１つの一貫性チェックによって管理される。
一貫性チェックは、前記対称性探索が前記第２の位置のための複数の有効な解、例えば複数の対称性ピークをもたらすかどうかを評価するものとすることができる。
好ましくは、前記対称性探索によって得られる対称性ピークは、該対称性ピークが所定の閾値を下回る場合、又は、所定の閾値を上回る前記対称性ピーク付近の領域が前記対象物体の期待される幅の所定の割合よりも広い場合には、前記第１の位置を精密化する際に考慮されないものとする。
好ましくは、検出された対称性ピークは、さらに、これらピークの過去の位置を評価する一貫性チェックに合格しなければならない。
好ましくは、検出された対称性ピークの位置は、対称性ピーク付近の局所加重平均を計算することにより安定化される。
好ましくは、前記第２の位置は、空間時間的な安定化のため検出位置を経時的に監視するカルマンフィルタに組み込まれる。
好ましくは、前記第１の位置または前記第２の位置がカルマンフィルタに組み込まれ、前記カルマンフィルタのノイズパラメータは、前記第２の位置が前記カルマンフィルタによって処理される場合には、低ノイズ構成に動的に適合され、又は、例えば位置精密化を行えないという理由から、前記第１の位置が前記カルマンフィルタにより処理される場合には、より高いノイズ構成に動的に適合される。
本発明の思想は、コンピュータビジョンの手法、特に対称性に基づく位置検出手法を用いて、レーダセンサにより検出される車両などの物体の位置検出を改善することである。本発明は、レーダセンサにより検出される車両の、横方向位置推定を改善することを目的とする。
好適には、本発明は、カメラとレーダ装置とを備える高機能車両に関する。通常、レーダ検出では、横方向の位置精度が十分ではない。したがって、本発明は、カメラ画像を更に用いて横方向位置を改善する。
好適には、カメラ画像に対称性検出を適用して、レーダ検出の正確な横方向位置を見つけることができる。対称性フィルタリングでは、まず、検知距離（レーダデータから利用できる）と、既知の車両平均幅とによって、フィルタサイズを決定する。次に、レーダにより検出された位置から始まる画像探索領域に、このフィルタを適用する。当該探索領域は、好ましくは車両の幅に応じたものとする。すなわち、この探索領域は、当該レーダの横方向の位置精度限界により規定される領域の全体を包含している。最大応答位置が、実際の横方向位置と見なされる。
上記の処理は、累積正規化相互相関（ＳＮＣＣ）に基づく正規化対称検出、ランク変換、または、センサス変換を用いることにより良好な結果を得ることができる。エラーを局所的に等化して異常値の影響を大きく減らすことができるためである。
レーダセンサが検出した車両の横方向位置推定についての、この対称性による改善効果は、物体が十分に見えるときあるいは少なくとも物体が所定の比率を超えて遮られていないときに特に良好となる。したがって、検出したピーク（最大対称応答）を評価するための更なる一貫性チェックを実行し、かつ、検出結果を時間経過に沿って平滑化することが有益である。
言い換えれば、本発明は、例えばカルマンフィルタを用いた強力な時間フィルタリングを適用するのではなく、位置測定を改善することによって、不正確な横方向位置検出の問題を解決することを目的とする。
レーダセンサにより測定された位置は、ホスト車両に搭載されたカメラの画像空間へ投影され、当該空間において対称性検出手法を用いることで精密化（refine）される。車両は、通常、横軸に沿って強い対称性を有するため、この手法は位置測定の改善に適している。対称性検出手法を用いると、検出した車両におけるロバストな特徴点を検出することができる。そして、検出した当該特徴点を元の３Ｄ空間へ投影することにより、より正確な検出車両の横方向位置を得ることができ、強力な時間フィルタリングが不要になる。
以下、添付図面を参照して、本発明を更に説明する。
本発明の一実施形態に係るシステムを示すブロック図である。 本発明の一実施形態に係る、位置を検出するための方法のフロー図である。 本発明の特定の態様に係る画像処理を示す図である。 本発明の一実施形態に係る、横方向位置を改善するための方法のフロー図である。 本発明の特定の実施形態に係る対称性探索を示す図である。 本発明の特定の実施形態に係る対称性探索の更なる態様を示す図である。 本発明に係る、相関曲線中のピークの特定を示す図である。 本発明に係る、相関曲線中のピークの特定を示す図である 本発明に係る、相関曲線中のピークの特定を示す図である 正規化相互相関（ＮＣＣ）の処理フローを示す図である 累積正規化相互相関（ＳＮＣＣ）の処理フローを示す図である 本発明の一実施形態の概略図である。 本発明の更なる実施形態の概略図である。
図１は、本発明の一実施形態に係るシステム１を示している。本システムは、レーダセンサ２、カメラ３、慣性センサ（車両の並進加速度および回転加速度を測定する）４、および、コンピュータデバイス９を備える。
図１０は、本発明の実施形態１００の平面図または鳥瞰図を示している。レーダセンサ２、カメラ３、慣性センサ４、および、コンピュータデバイス９は、ホスト車両１０１（「自車両（ego-vehicle）」）に実装されるのが好ましい。
ホスト車両（自車両、host vehicle）１０１は、任意の陸上車両、航空機、または、海洋艇、並びに、これらの任意の組み合わせとすることができる。本発明は、例えば、自動車、オートバイ、または、スクーターに使用することができる。図１０の実施形態１００のホスト車両１０１は、好ましくは自動車である。当該ホスト車両１０１は、前面１０２、後面１０３、左側面１０４、及び右側面１０５を有する。この自動車は、好ましくは４つの車輪１０６を備えている。
符号１０７は、車両１０１の主走行方向を示す矢印である。主走行方向は、前方であることが好ましい。当該主走行方向の反対方向は、好ましくは、後方走行方向１０８に対応する。ホスト車両１０１は、前面１０２から後面１０３へと延びる縦軸１１０を有することが好ましい。縦軸１１０は、好ましくはホスト車両の対称軸である。図１０に示されるように、主走行方向１０７および後方走行方向１０８は縦軸１１０と平行である。
レーダセンサ２は、ホスト車両の周囲、特に近傍の他車両または通行物体（歩行者など）を検出できるように、ホスト車両１０１に設けられる。レーダセンサ２により検出される物体を、対象物体１０９と称する。図１０において、対象物体１０９は、主走行方向１０７においてホスト車両１０１の前方にある車両である。図１０の概略図は原寸に比例した縮尺とはなっていない。例えば、縮小された対象物体１０９は遠く離れた対象物体を示している。
レーダセンサ２は、対象物体１０９の、ホスト車両１０１及びレーダセンサ２に対する相対位置データを出力する。当該位置データは、レーダセンサ２の座標系により、又はホスト車両の座標系により定義される。この位置データは、（相対的な）縦方向位置５と（相対的な）横方向位置６とを含んでいる。用語「縦方向」は、ホスト車両の主走行方向１０７に関連して定義することもできるし、あるいは、特に止まっているホスト車両の場合には、ホスト車両の縦軸１１０に関連して定義することもできる。したがって、「横方向位置」は、対象物体の、ホスト車両の走行軸までの距離を示すものとなる。図１０の実施形態において、縦方向位置５は、ホスト車両１０１またはレーダ２と、縦軸１１０上への対象車両１０９の投影との間の距離であり、横方向位置６は、対象車両１０９と縦軸１１０との間の距離である。
レーダセンサ２は、相対位置に加えて、対象車両または対象物体の速度１４も検出するものとすることができる。前記速度１４を検出するための方法は、当該技術分野において良く知られている。
レーダセンサ２は、本発明の特定の一実施形態の一部である。より一般的には、本発明は、対象車両の縦方向位置５および横方向位置６を決定するために物体位置センサを使用する。物体位置センサは、一般に、波動を発する送信器を備える。波動は、対象車両によって散乱されあるいは反射される。物体位置センサの受信器は、対象車両によって反射されて戻ってくる波動を受信する。受信された波動は公知の技術を用いて処理され、物体位置センサの座標系において、対象車両または対象物体の上記縦方向位置５および横方向位置６が決定される。
システム１は、電波を用いて対象車両の位置を決定するレーダセンサ２のほか、これに代えて又はこれに加えて、レーザーレーダとも称されるライダー（lidar）、超音波センサ、または、ソナーのような、他の物体位置センサを備えることができる。ライダーはレーザ光を発し、超音波センサは超音波領域の音波を発し、ソナーは超低周波数から超音波周波数までの範囲を取り得る音波を発する。
縦方向位置５は、好ましくは、（レーダビームがホスト車両の走行方向と平行である場合には）レーダ２から対象車両までの検出距離である。また、横方向位置６は、対象車両の（ホスト車両の走行方向１０７に対する）角度Ａまたは方向を反映したものとなる図１０には、縦方向位置５と角度Ａとが示されている。
上述した縦方向位置５は、レーダ２を通る縦軸１１０、又は、より一般的にはシステム１またはシステム１が実装されるホスト車両１０１を通る縦軸１１０に沿った位置とすることができる。横方向位置６は、縦軸１１０に対して垂直な軸に沿った位置とすることができる。この縦軸は、単一のレーダビームの主軸または複数のレーダビームの主軸とすることが好ましい。好ましい実施形態として、レーダ２は、縦方向位置５がホスト車両の前後軸に沿う位置またはホスト車両の対称軸に沿う位置となるように、ホスト車両に実装される。
いずれの場合も、デバイス９は、図１に示す座標変換モジュール１２を備えており、当該モジュールにより、位置データをレーダセンサ２の座標系とホスト車両１０１の座標系との間で変換する。ホスト車両１０１の座標系は、縦軸１１０によって規定される直交座標系であることが好ましい。
図１１は、本発明の一実施形態１１５を示している。本実施形態では、レーダ２は、第１のレーダビーム１１７と第２のレーダビーム１１８とを出力する。
この図は、レーダセンサ２が対象物体１０９の縦方向位置５および横方向位置６をどのようにして決定するかを示している。第１のレーダビーム１１７の発信源１２０は、第２のレーダビーム１１８の発信源１２１から距離ｄだけ離れて設けられている。物体１０９とレーダ２との間の第１の距離Ｄ１は、第１のビーム１１７により検出される。したがって、この距離Ｄ１は、物体１０９と第１のレーダビーム１１７の発信源１２０との間の距離に対応する。同様に、物体１０９とレーダ２との間の第２の距離Ｄ２、すなわち、物体１０９と発信源１２１との間の第２の距離Ｄ２は、第２のビーム１１８により検出される。次に、縦方向位置５が、三辺測量と縦軸１１０上への投影とによって決定される。横方向位置６は、三辺測量と縦軸１１０に直交する軸上への投影とによって決定される。
カメラ３、または、より一般的には画像センサ３は、ホスト車両の周囲の画像７をとらえる既知のデバイスである。カメラ３は、単一の画像を取得するものとしてもよいし、ビデオの連続フレームを形成する一連の画像を取得するものとしてもよい。
レーダ２とカメラ３とは、それら双方の検出領域の大部分が互いに重なり合うように、ホスト車両に実装される。重なり合いの程度が大きければ、レーダセンサにより検出される対象車両の測位について、より大きな改善効果が期待できる。
レーダの一つ又は複数のビームの対称軸と、カメラの入力フィールドの対称軸は、好ましくは平行であり、より好ましくはコパラレル（co-parallel）である。図１１の実施形態１１５において、レーダ１１６の検出軸はカメラの検出軸１１９と平行である。
レーダセンサ２とカメラ３とは、ホスト車両前方の対象車両または対象物体の位置を検出するため、ホスト車両の前面領域に実装されるのが好ましい。そのような場合、縦方向位置５および横方向位置６は、ホスト車両の縦軸および横軸に対応するものとすると都合がよい。
あるいは、レーダセンサ２とカメラ３とを、ホスト車両の後面１０３すなわち後部領域、又は側部領域に配置することができる。この場合、ホスト車両の背後又は横軸に沿う方向に存在する対象車両または対象物体を、それぞれ検出することが可能となる。レーダセンサ２とカメラ３とをホスト車両の左側面１０４または右側面１０５に配置することもできる。
慣性センサ４は、ホスト車両に固定され、ホスト車両の速度に関するデータ８を生成する（当該データは、当該センサの加速度検出を積分することによって得られる）。前記データ８は、例えば専用のラインを介してコンピュータデバイス９へ送信される。慣性センサ４は、ホスト車両の速度を決定できるように、加速度計を用いたモーションセンサにより構成することができる。好ましくは、慣性センサ４は、さらに、ジャイロスコープのような回転センサを備える。これにより、ホスト車両の速度、すなわち、ホスト車両の動きの方向と速さとを、コンピュータデバイス９により検出することが可能となる。
図１のシステム１は、さらに、検出されたデータをコンピュータデバイス９へ送信するためのバス１０を備える。バスは、車両内の構成要素を接続するために通常用いられているＣＡＮバスすなわちコントローラ・エリア・ネットワークバスであることが好ましい。バス１０は、レーダ２、カメラ３、および、慣性センサ４をコンピュータデバイス９に接続する。コンピュータデバイス９は、縦方向位置５および横方向位置６などのレーダセンサ２により検出される物体に関する情報、ホスト車両の速度８などのホスト車両に関する情報、および、カメラ３によってとらえられる一画像７または一連の画像を、バス１０を介して受信する。他の方法として、専用の送信ラインを設けて、検出データをコンピュータデバイス９へ送信することもできる。
図１に示すブロック図は、コンピュータデバイス９の３つのユニットまたはモジュール、すなわち、横方向位置改善モジュール１１、座標変換モジュール１２、および、カルマンフィルタモジュール１３を示している。
横方向位置改善モジュール１１は、レーダセンサ２によって検出された物体の縦方向位置５および横方向位置６、レーダのタイムフレームに応じたカメラ画像７、並びにホスト車両の速度８を受信する。横方向位置改善モジュール１１は、レーダ２により与えられる横方向位置６よりも正確な、物体の横方向位置を推定する。
横方向位置改善モジュール１１は、レーダ２によって検出された大まかな位置に基づいて、カメラ画像７内で物体の対称軸を見つけ出す。
座標変換モジュール１２は、レーダ座標系と画像座標系との間で位置座標を変換する際に使用される。このプロセスは、レーダ２とカメラ３とを校正して得られるパラメータによって決定される。
カルマンフィルタモジュール１３は、統計的に最適な推定値を算出するための公知のカルマンフィルタ手法を使用して、レーダ２と慣性センサ４の測定値、及び横方向位置改善の結果から、物体の位置、速度、および、加速度を推定する。
図２は、横方向位置改善モジュール１１により行われる方法の各ステップを示すフローチャートである。
方法２０では、まず、静止物体を特定する第１のステップ２１を行う。レーダ２によって検出される各物体は、移動物体又は静止物体として分類される。このステップは随意的な工程である。
このステップは、移動物体または静止物体を特定するために使用される。このステップは、例えば特定されて処理されるべき物体が非静止物体のみである場合、すなわち、移動車両のような静的でない物体のみである場合に行われ得る。ホスト車両の環境中に存在する家屋や木のような他の要素は自動的に無視される。
一方、このステップは、例えばホスト車両の速度と同様の速度でホスト車両と同じ方向へ走行している車両だけを選択するために、ホスト車両に対して移動する物体または動かない物体を特定するのに用いることもできる。典型的には、ホスト車両の前方または後方を走行している一つまたは複数の車両を特定するのに用いられる。
ホスト車両に対して動かないあるいは静止している物体は、ホスト車両に対する物体の相対速度が所定の閾値未満、例えば２０ｋｍ／ｈ未満、１０ｋｍ／ｈ未満、または、５ｋｍ／ｈ未満であるかどかをチェックすることによって特定することができる。慣性センサ４によって検出されるホスト車両の速度、および／または、レーダ２によって検出される物体の速度１４は、静止物体の特定において考慮することができる。
次に、レーダ２によって検出され且つ好適にはホスト車両に対して動かない物体であるとして分類された物体に対応する領域が、カメラからの画像７において特定される。対象領域計算ステップ２２において、各レーダ検出物体ごとに対象領域（ROI、region of interest）と呼ばれる領域が計算される。この対象領域は、検出されるべき物体に応じた所定のサイズおよび形状を有する。対象領域のサイズは、特定されるべきものとして期待される物体を表している。
検出されるべき物体は車両であることが好ましい。車両特定の場合には、対象領域は、車両に関する典型的な値を反映した所定の幅および高さを有する長方形とすることが好ましい。一例として、１．８ｍの幅および１．４ｍの高さを選択することができる。
図３は、レーダによって検出された３つの物体の３つの対象領域３１、３２、３３を示している。図３から分かるように、対象領域のサイズは、物体の縦方向位置５に応じて縮小される。対象領域３１は、画像７上の、レーダ２によって検出した位置５、６により規定される位置に挿入される。
縦方向位置５と横方向位置６とによって規定されるレーダ２で検出された物体位置は、カメラ３の画像空間上に投影される。レーダ２により検出される位置をカメラ３の画像７上へ投影する際には、カメラ３に対するレーダ２の相対的な実装位置、または、レーダおよびカメラの検出領域の相対位置が考慮される。カメラの校正パラメータに基づいて対象領域も計算される。
座標変換モジュール１２は、距離空間内の物体に対応する画像７中の対象領域を算出するために使用される。上述の相対実装位置または相対検出領域位置を反映するためのデータ、および、カメラの校正パラメータは、コンピュータデバイス９の記憶ユニット１４に保存しておくことが好ましい。
横方向位置改善方法２０の遮蔽チェックステップ２３では、検出された物体が任意の他の物体によって遮られあるいは隠されているかどうかがチェックされる。物体における遮蔽は、以下のようにしてチェックすることができる。物体の対象領域と、その左右に設けた余白とから成る長方形領域を取得して、この領域が、考慮中の物体よりもホスト車両に近い他の任意の物体の対象領域と重なり合うかどうかをチェックする。重なり合う場合には、物体が遮られていると見なされる。
図３は、遮蔽チェックステップ２３を示している。図３は、カメラにより検出される画像７内に存在する画像３０と、レーダ２により検出された物体の対象領域３１、３２、３３とを示している。対象領域３１に対応する物体について、遮蔽の可能性を判定するため、対象領域３１が左余白３４分だけ左に延ばされるとともに、右余白３５分だけ右に延ばされ、その結果として遮蔽チェック領域３６が形成される。
２つの対象領域３２、３３は、考慮中の物体よりもホスト車両に近いことが特定されている。対象領域３３は、遮蔽チェック領域３６と重なり合わない。逆に、遮蔽チェック領域３６は対象領域３２と重なり合う。したがって、遮蔽チェック領域３６に関連付けられている物体は、遮蔽された物体と見なされる。
また、重なり合いの割合は、例えば、遮蔽チェック領域３６のうちの、近い方の対象領域３２、３３によって隠され又は遮られている部分の割合を計算することによって、決定することができる。他の対象領域３２、３３によって少なくとも部分的に遮られた遮蔽チェック領域３６を有する物体は、以降の処理が行われないことが好ましい。重なり部分の割合が所定の閾値を上回る遮蔽チェック領域３６、例えば１０％、２０％、または、５０％を上回る重なり割合を有する遮蔽チェック領域３６を持つ物体については、方法２０における以降の処理を行わない方が有益である。
図４には、横方向位置改善ステップ２４の詳細が示されている。このステップは、所定の位置範囲内にあることが特定された全ての非静止物体２１および非遮蔽物体２３に関して実行されることが好ましい。
まず、相関計算ステップ４１において、画像５０において対称性探索領域５３を決定する。物体５１についての対称性探索領域５３は、当該物体についての対象領域５２を広げた領域である。図５に示すように、対称性探索領域５３は、好ましくは対象領域５２を所定の比率だけ左右に広げた領域とする。図５の実施形態では、探索範囲、すなわち対称性探索領域５３は、物体５１の対象領域５２の３倍の幅を持つ。
次に、対象領域５２と同じサイズの、図６に示す対称ウインドウ６１が、対称性探索領域５３内に配置される。対称ウインドウ６１により囲まれる画像と、当該画像を左右反転したコピー画像との相関関係が、ステップ４１において計算される。対称性探索領域５３内における対称ウインドウ６１の各配置位置ごとに、対称ウインドウ６１内の画像と、当該画像の垂直対称画像、すなわち、左右をミラー反転した画像との相関が計算される。
対称性探索領域５３において対称ウインドウの位置を移動させつつ、対称ウインドウ６１の各位置ごとに相関値Ｃを計算する。横方向位置に関して必要とされる精度によっては、相関値Ｃを対称ウインドウ６１の各位置ごとに計算する必要はない。代わりに、対称ウインドウ６１の対称性探索領域５３内における離散的な位置、例えば一定間隔で離れた位置についてのみ、相関値Ｃを計算するものとしてもよい。
対称ウインドウ６１内の画像が左右対称であるときには、高い相関値が得られるはずである。
相関性を把握する方法は本技術分野において良く知られている。好ましくは、相関の尺度は以下の局所正規化コスト関数のうちのいずれかに基づくものとする。
−正規化相互相関（NCC、normalized cross-correlation）
−累積正規化相関（summed normalized correlation）とも称される累積正規化相互相関（SNCC、summed normalized cross-correlation）
−局所平均・分散正規化した画像（local mean and variance normalized image）に対する累積絶対値誤差（SAD、sum of absolute difference）または累積二乗誤差（SSD、sum of squared difference）
−ランク変換した画像に対する累積絶対値誤差（SAD）または累積二乗誤差（SSD）
−センサス変換画像についてのハミング距離
正規化相互相関（NCC）は、ピクセル輝度についてのバイアスと線形利得を考慮する標準的な適合コスト関数である。正規化相互相関（NCC）は、２つの画像ＩＬ，ＩＲからの２つのパッチに対し次式で定義される。
Figure 2013190421
 ここで、
Figure 2013190421
上記方程式において、ｘは、左側のパッチのアンカーポイントのピクセル位置であり、ｐ（ｘ）は、左画像パッチのピクセル座標のセットであり、また、ｐ（ｘ＋ｄ）は、右画像パッチのピクセル座標のセットである。すなわち、ｄは、左画像パッチと右画像パッチとの間の視差を示す。また、｜ｐ（ｘ）｜は、ｐ（ｘ）の要素の数である。
図８は、２つの画像パッチＰ１，Ｐ２におけるＮＣＣの処理フローを示している。最初に、各パッチごとに平均値および標準偏差が算出される。次に、パッチの値が、平均値および標準偏差を用いて正規化される。最後に、マッチングスコアが算出される。
相関尺度には、累積正規化相関（SNCC）を用いることが好ましい。累積正規化相関は、例えば、参考文献１又は参考文献２に開示されている。これらの文献は参照することにより本願に組み入れられる。
累積正規化相関（SNCC）は、画像相関計算のためのコスト関数である。累積正規化相関は、第１の段階で、非常に小さいフィルタを用いて正規化相互相関（NCC）を行うとともに、第２の段階で、その結果得られる相関係数を合計する２段階フィルタリングである。
図９に累積正規化相互相関（SNCC）を示す。第１のステップでは、画像パッチ（Ａ）が複数の部分画像に分けられる（Ｂ）。図９の左上の挿入図（Ｂ’）に描かれているように、これらの部分画像は、互いに重なり合っていてもよい。また、一方のパッチ内の各部分画像が他方のパッチ内に対応する部分画像を有するように、２つのパッチが同じ態様で分割される（Ｃ）。第２のステップでは、それぞれの対応する部分画像ペアがＮＣＣ計算へ渡される（Ｄ）。図９の各ＮＣＣボックスを図８に示す処理に置き換えることができる。各ＮＣＣ計算により、それぞれの部分画像ペアごとに局所類似性スコアが算出される。第３のステップにおいて、これらのスコアが積算されて総マッチングスコアが算出されて（Ｅ）、最終的に類似性評価が行われる（Ｆ）。
あるいは、前述したように、相関尺度は、既知の累積絶対値誤差（SAD）法または累積二乗誤差（SSD）法と既知の局所平均・分散正規化とに基づいたものとすることができる。累積絶対値誤差（SAD）は、例えば、画像ブロック間の類似性を測定するためのアルゴリズムである。累積絶対値誤差は、元となるブロック内の各ピクセルと、比較に用いられるブロック内の対応するピクセルとの間で、絶対値誤差を計算する。
上述した相関評価のための「ランク変換」コスト関数は、各ピクセルの輝度を一定範囲の近傍における輝度に置き換えるという考えに基づくものである。これにより、画像間で発生し得る明暗変化の大部分を除去し、他のコスト関数と比べて、奥行きが不連続となるエッジ部分のぼやけを低減するのである。実際のランク変換は単なる画像処理であり、通常はその後に累積絶対値誤差（SAD）または累積二乗誤差（SSD）による更なる計算が行われる。
「センサス変換」コスト関数は、ランク変換の拡張であり、ピクセルをランクで置き換えるのではなく、ピクセルを、アンカーピクセルよりも輝度の小さい近傍のピクセルを表す２値のフィンガープリントに置き換えるものである。この場合のマッチングコストは、そのような２つのフィンガープリント間のハミング距離である。
ランク変換およびセンサス変換は、参考文献３に更に詳しく記載されている。この文献は、参照することにより本願に組み入れられる。
あるいは、対称性探索は、周波数領域において、例えば位相限定相関（ＰＯＣ）によって行われるものとしてもよい。位相限定相関は、対称ウインドウ６１のコンテンツと、その垂直ミラー反転画像との間の、水平方向のシフト量を計算するために使用される。対称ウインドウ６１のコンテンツおよびそのミラー反転画像は、いずれも、メッシュ状パターンに配列されたピクセルで構成される。位相限定相関では、対称ウインドウ６１により規定される画像と、当該画像のミラー反転画像に対し、個別に、全てのメッシュのピクセル情報パターンがフーリエ変換される。その後、フーリエ変換面上で位相限定処理が行われ、双方のパターン間のマッチングポイントが決定される。
相関計算ステップ４１の後、ピーク検出ステップ４２が実行され、算出された相関曲線６２のピーク（複数）を検出する。これらのピークは、物体５１の対称軸の候補である。探索ウインドウ６３を相関曲線６２にわたって掃引することにより、全ての候補ピークが特定される。ピークは、探索ウインドウ６３の中心における相関が探索ウインドウ６３全体の中の最大値であるときに検出されたものとされる。探索ウインドウ６３のサイズは、対象領域５２に対し特定の比率で決定されている。本実施形態では、当該サイズは、対象領域の幅の半分である。実際に、このステップにおいて複数のピークが検出され得る。図６では、相関曲線６２が２つのピーク６４、６５を有する場合が示されている。
これらのピーク６４、６５は、それぞれ、ピーク検証ステップ４３において検証される。図７ａ、７ｂ、７ｃは、その例を示している。この検証は、以下の２つの基準を用いて行われる。
第１に、ピーク６４、６５における相関が閾値Ｔよりも大きくなければならない。第２に、ピーク６４、６５を含み且つ当該閾値よりも大きい相関曲線の部分が、ＲＯＩの幅の特定の比率よりも小さい。特定の実施形態では、当該比率を１．５にすることができる。
図７ａ、７ｂ、７ｃは、上記基準を視覚化するための幾つかの典型的な相関曲線を示している。第１の基準は、対称性ピークの確かさが十分に高いことを検証し、また、第２の基準は、質の悪いテクスチャに起因するピークを除去することである。これらの基準を満たさないピークは、ピークのリストから除去される。このように、２つの基準を満たさない場合にそのピークをリストから除去するのが好ましいが、他の方法として、２つの基準のうちの一方のみが満たされない場合に、そのピークを除去するものとすることもできる。
図７ａは、両基準が満たされている例を示している。図７ｂでは、ピークが所定の閾値Ｔを上回っていないため、第１の基準が満たされていない。図７ｃでは、第２の基準は観測されない。
ピーク検証ステップ４３を行った後に、ピークが残っていない場合には、物体の横方向位置は更新されず又は補正されないが、レーダ２によって測定された横方向位置６が代わりに使用される。
次の一貫性チェックステップ４４は、ピークが物体５１の過去の位置と一致するかどうかをチェックする。これを行うため、画像中のピークの横方向位置が、座標変換モジュール１２を使用して、レーダ座標系内の元の横方向位置へと変換される。次に、最後のタイムフレーム（複数）における横方向位置のメジアンが計算され、該メジアンに最も近いピークの横方向位置が決定される。例えば、最後の５つのタイムフレームを使用してメジアンを計算できる。メジアンと、最も近い横方向位置との間の差が閾値よりも小さい場合には、そのピークは次のステップへ移行する。そうでない場合には、他のピークの横方向位置の一貫性が更に処理される。これらの残りのピークは、以下の基準を用いてチェックされる。すなわち、このモジュールによって更新された最後の横方向位置に最も近いピークの横方向位置が特定され、それらの間の差が閾値より小さい場合には、そのピークは次のステップへ移行する。物体５１の最後の位置が更新されなかった場合、すなわち、上記の差が閾値よりも大きい場合には、物体の横方向位置は更新されず、レーダが検出した位置６が、代わりに使用される。
ピーク安定化ステップ４５は、横方向位置のジッタを防止するために行われる。ピークを中心とする特定の範囲内で、当該ピーク付近の横方向位置の加重平均が以下のように計算される。本発明の特定の実施形態では、当該範囲は対象領域の幅の１／４である。
Figure 2013190421
ここで、
−ｘ＊は、画像内における安定化後の横方向位置であり、ｃ（ｘ）は、横方向位置ｘでの相関値である。
−ｘＰは、ピークの横方向位置である。
−Ｎ（ｘＰ）は、ｘＰを中心とする範囲である。
このように、横方向位置は、特に同様の高さの少数のピークが接近して現れてそれらの間で最大値が頻繁に入れ換わる場合でも、時間と共に安定化される。画像座標内の安定化された横方向位置は、座標変換モジュール１２によってレーダ座標へと変換されて、最初にレーダによって推定された横方向位置６は、このモジュールにおいて精密化された横方向位置２５により更新される。
システム１はカルマンフィルタモジュール１３を更に備える。そのようなカルマンフィルタは、当該技術分野において良く知られており、例えば、参考文献４に記載されている。
カルマンフィルタモジュール１３は、物体の横方向位置を受け取ると共に、当該横方向位置が横方向位置改善モジュール１１において更新されたか否かを示すフラグを受け取る。横方向位置の誤差ノイズは、当該横方向位置が横方向位置改善モジュール１１により更新さたときには、レーダ横方向位置６より小さくなっていると考えられるので、カルマンフィルタのノイズパラメータは、横方向位置の供給元が与える上記フラグすなわちインジケータに対して動的に適合される。
１ システム
２ レーダセンサ／物体位置センサ
３ カメラ／画像センサ
４ 慣性センサ
５ 縦方向位置
６ 横方向位置
７ カメラからの画像
８ 慣性センサからのデータ
９ コンピュータデバイス
１０ バス
１１ 横方向位置改善モジュール
１２ 座標変換モジュール
１３ カルマンフィルタモジュール
１４ 記憶ユニット
２０ 横方向位置改善の方法
２１ 静止物体特定ステップ
２２ 対象領域計算ステップ
２３ 遮蔽チェックステップ
２４ 横方向位置改善ステップ
２５ 精密化された横方向位置
３０ 画像
３１，３２，３３ 対象領域
３４ 左余白
３５ 右余白
３６ 遮蔽チェック領域
４１ 相関計算ステップ
４２ ピーク検出ステップ
４３ ピーク検証ステップ
４４ 一貫性チェックステップ
５０ 画像
５１ 物体
５２ 対象領域
５３ 対称性探索領域
６１ 対称ウインドウ
６２ 相関曲線
６３ 探索ウインドウ
６４，６５ ピーク
１００ 図１０の実施形態
１０１ ホスト車両
１０２ 前面
１０３ 後面
１０４ 左側面
１０５ 右側面
１０６ 車輪
１０７ 主走行方向
１０８ 後方走行方向
１０９ 対象物体
１１０ 縦軸
１１５ 図１１の実施形態
１１６ レーダの検出軸
１１７ 第１のレーダビーム
１１８ 第２のレーダビーム
１１９ カメラの検出軸
１２０ 第１のレーダビームの発信源
１２１ 第２のレーダビームの発信源
〔参考文献〕
参考文献１：“A two-stage correlation method for stereoscopic depth estimation”, Einecke, N. and Eggert, J. (2010), in Proceedings of the International Conference on Digital Image Computing: Techniques and Applications (DICTA), pages 227-234.
参考文献２：欧州特許出願公開第２３８６９９８号明細書
参考文献３：Zabih, R. and Woodfill, J. (1994). Non-parametric local transforms for computing visual correspondence. In Proceedings of Third European Conference on Computer Vision (ECCV), pages 151-158.
参考文献４：Kalman, R. E. (1960). A new approach to linear filtering and prediction problems. Transactions of the ASME - Journal of Basic Engineering, 82(1):35-45.
本発明の一実施形態に係るシステムを示すブロック図である。 本発明の一実施形態に係る、位置を検出するための方法のフロー図である。 本発明の特定の態様に係る画像処理を示す図である。 本発明の一実施形態に係る、横方向位置を改善するための方法のフロー図である。 本発明の特定の実施形態に係る対称性探索を示す図である。 本発明の特定の実施形態に係る対称性探索の更なる態様を示す図である。 本発明に係る、相関曲線中のピークの特定を示す図である。 本発明に係る、相関曲線中のピークの特定を示す図である。 本発明に係る、相関曲線中のピークの特定を示す図である。 正規化相互相関（ＮＣＣ）の処理フローを示す図である。 累積正規化相互相関（ＳＮＣＣ）の処理フローを示す図である。 本発明の一実施形態の概略図である。
レーダの一つ又は複数のビームの対称軸と、カメラの入力フィールドの対称軸は、好ましくは平行であり、より好ましくはコパラレル（co-parallel）である。図１０の実施形態１０１において、レーダ２の検出軸はカメラ３の検出軸と平行である。
ホスト車両に対して動かないあるいは静止している物体は、ホスト車両に対する物体の相対速度とホスト車両の速度との絶対値の差が所定の閾値未満、例えば２０ｋｍ／ｈ未満、１０ｋｍ／ｈ未満、または、５ｋｍ／ｈ未満であるかどかをチェックすることによって特定することができる。慣性センサ４によって検出されるホスト車両の速度、および／または、レーダ２によって検出される物体の速度１４は、静止物体の特定において考慮することができる。
上述した相関評価のための「ランク変換」コスト関数は、各ピクセルの輝度を一定範囲の近傍における輝度に置き換えるという考えに基づくものである。これにより、画像間で発生し得る明暗変化の大部分を除去するのである。実際のランク変換は単なる画像処理であり、通常はその後に累積絶対値誤差（SAD）または累積二乗誤差（SSD）による更なる計算が行われる。
図７ａは、両基準が満たされている例を示している。図７ｂでは、ピークが所定の閾値
Ｔを上回っていないため、第１の基準が満たされていない。図７ｃでは、第２の基準が満たされていない。
１ システム
２ レーダセンサ／物体位置センサ
３ カメラ／画像センサ
４ 慣性センサ
５ 縦方向位置
６ 横方向位置
７ カメラからの画像
８ 慣性センサからのデータ
９ コンピュータデバイス
１０ バス
１１ 横方向位置改善モジュール
１２ 座標変換モジュール
１３ カルマンフィルタモジュール
１４ 記憶ユニット
２０ 横方向位置改善の方法
２１ 静止物体特定ステップ
２２ 対象領域計算ステップ
２３ 遮蔽チェックステップ
２４ 横方向位置改善ステップ
２５ 精密化された横方向位置
３０ 画像
３１，３２，３３ 対象領域
３４ 左余白
３５ 右余白
３６ 遮蔽チェック領域
４１ 相関計算ステップ
４２ ピーク検出ステップ
４３ ピーク検証ステップ
４４ 一貫性チェックステップ
５０ 画像
５１ 物体
５２ 対象領域
５３ 対称性探索領域
６１ 対称ウインドウ
６２ 相関曲線
６３ 探索ウインドウ
６４，６５ ピーク
１００ 図１０の実施形態
１０１ ホスト車両
１０２ 前面
１０３ 後面
１０４ 左側面
１０５ 右側面
１０６ 車輪
１０７ 主走行方向
１０８ 後方走行方向
１０９ 対象物体
１１０ 縦軸
〔参考文献〕
参考文献１：“A two-stage correlation method for stereoscopic depth estimation”, Einecke, N. and Eggert, J. (2010), in Proceedings of the International Conference on Digital Image Computing: Techniques and Applications (DICTA), pages 227-234.
参考文献２：欧州特許出願公開第２３８６９９８号明細書
参考文献３：Zabih, R. and Woodfill, J. (1994). Non-parametric local transforms for computing visual correspondence. In Proceedings of Third European Conference on Computer Vision (ECCV), pages 151-158.
参考文献４：Kalman, R. E. (1960). A new approach to linear filtering and prediction problems. Transactions of the ASME - Journal of Basic Engineering, 82(1):35-45.

Claims (23)

  1. 自車両の環境内に存在する対象物体（５１）の位置を検出する方法であって、
    −例えばレーダセンサのような物体位置センサ（２）を用いて前記対象物体に関する第１の位置（６）の情報を受信するステップと、
    −例えばカメラのような画像センサ（３）により検出される、前記対象物体を含む画像（７）を受信するステップと、
    −前記第１の位置（６）を前記画像（７）上に投影するステップと、
    −前記画像（７）内の対称性探索に基づいて前記対象物体の精密化された第２の位置（２５）を計算することにより前記第１の位置（６）を精密化するステップと、
    を備える方法。
  2. 前記第１の位置（６）および前記第２の位置（２５）は、前記対象物体の横方向位置であって、好ましくは前記自車両に対する対象車両の相対的な角度または方向を反映する位置である、請求項１に記載の方法。
  3. 前記対称性探索は、前記対象物体（５１）の検出された画像の対称軸を特定することを含む、請求項１に記載の方法。
  4. 前記対称性探索は、好ましくは水平な対称性探索領域（５３）内で行われ、
    前記対称性探索領域（５３）は、前記第１の位置（６）に応じて前記画像（７）内に配置され、好ましくは前記第１の位置（６）を中心にして配置される、
    請求項１に記載の方法。
  5. 前記対称性探索領域（５３）内に対称ウインドウ（６１）が配置され、好ましくは当該対象ウインドウのサイズは前記対象物体（５１）のサイズに対応しており、
    前記対称ウインドウ（６１）のコンテンツと前記対称ウインドウ（６１）のミラー反転されたコンテンツとの間で、相関値が算出される、
    請求項４に記載の方法。
  6. 前記対称性探索領域（５３）内において異なる位置の前記対称ウインドウ（６１）に関して相関値が計算され、
    当該計算された相関値の中で少なくとも１つのピークが検出される、請求項５に記載の方法。
  7. 前記対称性探索は、前記対称ウインドウ（６１）を水平方向に折り返して当該ウインドウのミラー反転像と重ね、前記対称ウインドウ（６１）の各位置ごとの対称値計算に用いる類似性尺度として局所正規化コスト関数を使用することにより行われる、請求項４に記載の方法。
  8. 前記局所正規化コスト関数は、累積正規化相互相関（ＳＮＣＣ）、累積絶対値誤差（ＳＡＤ）を伴う局所平均・分散正規化（ＭＶＮ）画像、累積絶対値誤差（ＳＡＤ）を伴うランク変換（ＲＴ）画像、または、ハミング距離を伴うセンサス変換画像である、請求項７に記載の方法。
  9. 前記対称性探索は、例えば位相限定相関（ＰＯＣ）にしたがって、周波数領域で行われ、前記対称ウインドウ（６１）と当該ウインドウのミラー反転像との間の水平偏移が算出される、請求項４に記載の方法。
  10. 前記対称性探索領域（５３）は、前記物体位置センサ（２）によって検出される自車両と対象物体（５１）との間の距離と、前記対象物体（５１）の物理的な幅の平均値とにより規定される、請求項４に記載の方法。
  11. 前記対称性探索領域（５３）は、画像当たりの最大計算コストが物体の距離によってではなく物体の数のみによって拘束されるように、所定の分解能までダウンサンプリングされる、請求項４に記載の方法。
  12. 前記第１の位置（６）は、前記対象物体（５１）が非静止物体と見なされる場合（２１）にのみ精密化され、又は、前記第１の位置（６）は、前記自車両に対する前記対象物体（５１）の関連性に応じて精密化され、例えば、前記第１の位置（６）は、前記対象物体（５１）が自身の車線および／または隣接する車線に属すると見なされる場合にのみ精密化される請求項１に記載の方法。
  13. 前記対象物体（５１）が前記画像（７）において部分的に又は完全に遮られているか否かは、好ましくは前記物体位置センサ（２）により検出される他の物体の位置を前記画像（７）に投影し、前記自車両までの距離推定値を用いて、その可能性のある遮蔽部分を評価することによって評価される（２３）、請求項１に記載の方法。
  14. 前記対称性探索は、前記第１の位置（６）の誤った精密化を防止するための少なくとも１つの一貫性チェックによって管理される、請求項１に記載の方法。
  15. 一貫性チェックは、前記対称性探索が前記第２の位置（２５）のための複数の有効な解、例えば複数の対称性ピークをもたらすかどうかを評価する、請求項１４に記載の方法。
  16. 前記対称性探索によって得られる対称性ピークは、該対称性ピークが所定の閾値を下回る場合、又は、所定の閾値を上回る前記対称性ピーク付近の領域が前記対象物体（５１）の期待される幅の所定の割合よりも広い場合には、前記第１の位置を精密化する際に考慮されない、請求項１４または請求項１５に記載の方法。
  17. 検出された対称性ピークは、さらに、これらピークの過去の位置を評価する一貫性チェックに合格しなければならない、請求項１４に記載の方法。
  18. 検出された対称性ピークの位置は、対称性ピーク付近の局所加重平均を計算することにより安定化される、請求項１に記載の方法。
  19. 前記第２の位置（２５）は、空間時間的な安定化のため検出位置を経時的に監視するカルマンフィルタ（１３）に組み込まれる、請求項１に記載の方法。
  20. 前記第１の位置（６）または前記第２の位置（２５）がカルマンフィルタ（１３）に組み込まれ、前記カルマンフィルタ（１３）のノイズパラメータは、前記第２の位置（２５）が前記カルマンフィルタ（１３）によって処理される場合には、低ノイズ構成に動的に適合され、又は、例えば位置精密化を行えないという理由から、前記第１の位置（６）が前記カルマンフィルタ（１３）により処理される場合には、より高いノイズ構成に動的に適合される、請求項１に記載の方法。
  21. 自車両の環境内に存在する対象物体（５１）の位置を検出する装置（９）であって、
    −例えばレーダセンサのような物体位置センサ（２）を用いて検出される前記対象物体の第１の位置（６）を受信する手段と、
    −例えばカメラのような画像センサ（３）により検出される、前記対象物体を含む画像（７）を受信する手段と、
    −前記第１の位置（６）を前記画像（７）上に投影する手段と、
    −前記画像（７）内の対称性探索に基づいて前記対象物体の第２の位置（２５）を計算することにより前記第１の位置（６）を精密化する手段と、
    を備える装置（９）。
  22. 自車両の環境内にある対象物体（５１）の位置を検出するシステム（１）であって、
    −前記対象物体の第１の位置（６）を検出するための物体位置センサ（２）、例えばレーダセンサと、
    −前記対象物体を含む画像（７）を検出するための画像センサ（３）、例えばカメラと、
    −前記第１の位置（６）を前記画像（７）上に投影するとともに、前記画像（７）内の対称性探索に基づいて前記対象物体の第２の位置（２５）を計算することにより前記第１の位置（６）を精密化するための装置（９）と
    を備えるシステム（１）。
  23. 請求項２２に記載のシステム（１）を備える、陸上車両、航空機、または、海洋艇、好ましくは自動車またはオートバイ。
JP2013027937A 2012-03-14 2013-02-15 車両において通行物体位置検出を向上する方法 Expired - Fee Related JP5689907B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP12159423.8 2012-03-14
EP12159423.8A EP2639781A1 (en) 2012-03-14 2012-03-14 Vehicle with improved traffic-object position detection

Publications (2)

Publication Number Publication Date
JP2013190421A true JP2013190421A (ja) 2013-09-26
JP5689907B2 JP5689907B2 (ja) 2015-03-25

Family

ID=45928661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013027937A Expired - Fee Related JP5689907B2 (ja) 2012-03-14 2013-02-15 車両において通行物体位置検出を向上する方法

Country Status (3)

Country Link
US (1) US9313462B2 (ja)
EP (1) EP2639781A1 (ja)
JP (1) JP5689907B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015175751A (ja) * 2014-03-17 2015-10-05 スタンレー電気株式会社 距離画像生成装置、物体検出装置および物体検出方法
CN105992959A (zh) * 2013-12-06 2016-10-05 西门子公司 用于确定至少两个传感器的布置的方法和传感器网络
JP2017523381A (ja) * 2015-05-23 2017-08-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 慣性および画像センサを用いたセンサ融合
JP2017530896A (ja) * 2014-08-04 2017-10-19 ジェンテックス コーポレイション 慣性センサを利用するドライバ支援システム
JP2018037737A (ja) * 2016-08-29 2018-03-08 株式会社Ｓｏｋｅｎ 周辺監視装置及び周辺監視方法
KR20180041525A (ko) * 2016-10-14 2018-04-24 주식회사 만도 차량의 물체 트래킹 시스템 및 그 제어 방법
KR20180045662A (ko) * 2016-10-26 2018-05-04 주식회사 만도 센서 융합을 통한 차량의 횡방향 거리 측정 장치 및 방법
KR20180095320A (ko) * 2017-02-17 2018-08-27 옴니센서(주) 가중치 적용 칼만 필터를 이용한 레이더 신호 처리 장치 및 그를 이용한 표적 검출 시스템
JP2018205879A (ja) * 2017-05-31 2018-12-27 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム
KR20190051601A (ko) * 2017-11-07 2019-05-15 현대자동차주식회사 차량의 센서 데이터 연계 장치 및 방법
JP2019133671A (ja) * 2019-02-07 2019-08-08 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム
US10565732B2 (en) 2015-05-23 2020-02-18 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
JP2020035449A (ja) * 2013-12-03 2020-03-05 ビューレイ・テクノロジーズ・インコーポレイテッドＶｉｅｗＲａｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｉｎｃ． 位相相関を用いた非剛体変形の存在下での医用画像のシングル及びマルチのモダリティ位置合わせ
WO2021002325A1 (ja) * 2019-07-02 2021-01-07 株式会社デンソー 車載センサ装置
US11284811B2 (en) 2016-06-22 2022-03-29 Viewray Technologies, Inc. Magnetic resonance volumetric imaging
US11378629B2 (en) 2016-06-22 2022-07-05 Viewray Technologies, Inc. Magnetic resonance imaging

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229596A1 (en) * 2007-03-16 2012-09-13 Michael Kenneth Rose Panoramic Imaging and Display System With Intelligent Driver's Viewer
US8957807B2 (en) * 2011-12-14 2015-02-17 Ford Global Technologies, Llc Internal multi-axis G sensing used to align an automotive forward radar to the vehicle's thrust axis
US9746554B2 (en) * 2013-04-09 2017-08-29 Valeo Radar Systems, Inc. Radar imaging system and related techniques
KR101417659B1 (ko) * 2013-07-11 2014-07-09 현대자동차주식회사 차량 전방의 협로 검출 장치 및 그 방법
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
US10254395B2 (en) * 2013-12-04 2019-04-09 Trimble Inc. System and methods for scanning with integrated radar detection and image capture
PL3493443T3 (pl) 2013-12-06 2021-01-11 Alcatel Lucent Sposób i urządzenie do dynamicznego konfigurowania fec lub arq jako ochrona przed hałasem impulsowym na linii komunikacyjnej
KR101727162B1 (ko) * 2014-02-27 2017-04-14 한국전자통신연구원 관제 서비스 제공 장치 및 그 방법
DE102014003221A1 (de) * 2014-03-05 2015-09-10 Audi Ag Verfahren zur maßstabskorrekten Skalierung einer Aufnahme eines Kamerasensors
JP6265149B2 (ja) * 2014-08-27 2018-01-24 株式会社デンソー 検出装置
DE102014118035B4 (de) 2014-12-05 2022-11-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen einer Abschattung einer Sensoreinrichtung eines Kraftfahrzeugs durch ein Objekt, Recheneinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
KR101692628B1 (ko) * 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
US10133947B2 (en) * 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
US10302741B2 (en) * 2015-04-02 2019-05-28 Texas Instruments Incorporated Method and apparatus for live-object detection
FR3036204B1 (fr) * 2015-05-11 2018-06-15 Valeo Schalter Und Sensoren Gmbh Procede et systeme de compensation d'erreurs pour un systeme de detection d'objets embarque sur un vehicule automobile
CA3011209A1 (en) * 2016-01-19 2017-07-27 Nissan Motor Co., Ltd. Display device control method and display device
US10145951B2 (en) * 2016-03-30 2018-12-04 Aptiv Technologies Limited Object detection using radar and vision defined image detection zone
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US10571913B2 (en) * 2016-08-05 2020-02-25 Aptiv Technologies Limited Operation-security system for an automated vehicle
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10025311B2 (en) * 2016-10-28 2018-07-17 Delphi Technologies, Inc. Automated vehicle sensor control system
KR20180060784A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 비정상 객체 판단 방법 및 장치
IT201700050502A1 (it) * 2017-05-10 2018-11-10 Ducati Motor Holding Spa Motocicletta con dispositivo di rilevamento di un veicolo che sopraggiunge dal retro
EP3415943A1 (en) * 2017-06-13 2018-12-19 Veoneer Sweden AB Error estimation for a vehicle environment detection system
US20190065878A1 (en) * 2017-08-22 2019-02-28 GM Global Technology Operations LLC Fusion of radar and vision sensor systems
CN109343049B (zh) * 2017-11-10 2022-04-26 毫末智行科技有限公司 跟踪可移动目标的方法和装置
US11041941B2 (en) * 2018-02-26 2021-06-22 Steradian Semiconductors Private Limited Method and device for calibrating a radar object detection system
DE102018122092A1 (de) * 2018-09-11 2020-03-12 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen zumindest eines Positionsparameters eines Objekts in einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt, Fahrerassistenzsystem und Kraftfahrzeug
FR3087932A1 (fr) * 2018-10-26 2020-05-01 Psa Automobiles Sa Procede de determination du caractere identique d’objets detectes par des capteurs differents dans l’environnement d’un vehicule automobile
US11835948B2 (en) 2018-12-03 2023-12-05 Motional Ad Llc Systems and methods for improving vehicle operations using movable sensors
JP2020091672A (ja) * 2018-12-06 2020-06-11 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 鞍乗型車両のライダー支援システムのための処理装置及び処理方法、鞍乗型車両のライダー支援システム、及び、鞍乗型車両
US11630197B2 (en) * 2019-01-04 2023-04-18 Qualcomm Incorporated Determining a motion state of a target object
US11131776B2 (en) * 2019-08-19 2021-09-28 Gm Global Technology Operations, Llc Method and apparatus for Kalman filter parameter selection using map data
CN110611791B (zh) * 2019-08-26 2021-06-22 安徽四创电子股份有限公司 一种水域探测监控系统
CN110646792B (zh) * 2019-11-04 2022-04-12 中国人民解放军空军工程大学 一种基于观察哨数字望远镜的雷达搜索窗口设置方法
CN111369541B (zh) * 2020-03-06 2022-07-08 吉林大学 一种智能汽车恶劣天气条件下车辆检测方法
US11418773B2 (en) * 2020-04-21 2022-08-16 Plato Systems, Inc. Method and apparatus for camera calibration
CN111860161B (zh) * 2020-06-16 2023-11-10 成都浩孚科技有限公司 一种目标遮挡检测方法
DE102020210749A1 (de) * 2020-08-25 2022-03-03 Continental Automotive Gmbh Verfahren zur Ausführung durch ein Sensorsystem für eine Verkehrsinfrastruktureinrichtung und Sensorsystem
CN114167404A (zh) * 2020-09-11 2022-03-11 华为技术有限公司 目标跟踪方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001099930A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 周辺監視センサ
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP2004053278A (ja) * 2002-07-16 2004-02-19 Nissan Motor Co Ltd 前方車両追跡システムおよび前方車両追跡方法
JP2004534947A (ja) * 2001-06-23 2004-11-18 ルーカス インダストリーズ リミテッド 路上車用の物体の位置探知システム
AT501882B1 (de) * 2005-06-03 2007-06-15 Advanced Comp Vision Gmbh Acv Verfahren zum erkennen von gegenständen
JP2007163317A (ja) * 2005-12-14 2007-06-28 Fujitsu Ten Ltd レーダー装置
JP2008089402A (ja) * 2006-10-02 2008-04-17 Konica Minolta Holdings Inc 情報処理システム、プログラムおよび情報処理方法
JP2010218246A (ja) * 2009-03-17 2010-09-30 Toyota Motor Corp 物体識別装置
JP2011002266A (ja) * 2009-06-17 2011-01-06 Nec Corp 目標追尾処理器及びそれに用いる誤差共分散行列の補正方法
JP2011158409A (ja) * 2010-02-03 2011-08-18 Mitsubishi Electric Corp 目標追尾装置及びコンピュータプログラム及び目標追尾方法
JP2011243194A (ja) * 2010-05-14 2011-12-01 Honda Research Institute Europe Gmbh 対応点探索のための画像処理方法
JP4883246B2 (ja) * 2009-12-08 2012-02-22 トヨタ自動車株式会社 物体検出装置及び物体検出方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3325500A (en) * 1999-03-24 2000-10-09 Nikon Corporation Position determining device, position determining method and exposure device, exposure method and alignment determining device, and alignment determining method
US6570840B1 (en) * 2000-04-26 2003-05-27 Optical Disc Corporation Figure of merit in optical recording structures
DE10030258A1 (de) * 2000-06-20 2002-01-03 Daimler Chrysler Ag Verfahren zur Abstandsregelung eines Fahrzeugs zu einem vorausfahrenden Fremdfahrzeug und Abstandsregelsystem
US6961449B2 (en) * 2001-01-16 2005-11-01 University Of Massachusetts Lowell Method of correlation of images in biometric applications
US6842538B2 (en) * 2001-03-23 2005-01-11 Shih-Jong J. Lee Automatic detection of alignment or registration marks
US7012952B2 (en) * 2001-08-01 2006-03-14 Qualcomm Incorporated Method and apparatus for adjusting delay in systems with time-burst pilot and fractionally spaced equalizers
JP2003135445A (ja) * 2001-10-31 2003-05-13 Toshiba Corp Ｘ線ｃｔ装置、ｘ線ｃｔ装置アライメント方法、及びｘ線ｃｔ装置アライメントサービス提供システム
EP1453098B1 (en) * 2001-12-05 2013-09-18 Hamamatsu Photonics K.K. Light detection device, imaging device and distant image acquisition device
WO2003060827A1 (en) * 2002-01-18 2003-07-24 Kent Ridge Digital Labs Method and apparatus for determining symmetry in 2d and 3d images
KR20040050569A (ko) * 2002-12-10 2004-06-16 한국전자통신연구원 피두셜 마크의 중심 위치 측정방법
JPWO2005008753A1 (ja) * 2003-05-23 2006-11-16 株式会社ニコン テンプレート作成方法とその装置、パターン検出方法、位置検出方法とその装置、露光方法とその装置、デバイス製造方法及びテンプレート作成プログラム
EP1694821B1 (en) * 2003-12-11 2017-07-05 Strider Labs, Inc. Probable reconstruction of surfaces in occluded regions by computed symmetry
US8064660B2 (en) * 2004-02-27 2011-11-22 National University Of Singapore Method and system for detection of bone fractures
US7876455B2 (en) * 2004-08-03 2011-01-25 TechnoDream21 Co., Ltd. Three-dimensional shape measuring method and apparatus for the same
JP2007104171A (ja) * 2005-10-03 2007-04-19 Omron Corp 前方監視装置
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
US8160758B2 (en) * 2006-05-22 2012-04-17 Honeywell International Inc. Methods and systems for radar aided aircraft positioning for approaches and landings
CA2631004C (en) * 2007-05-09 2016-07-19 Universite De Sherbrooke Image reconstruction methods based on block circulant system matrices
US7666915B2 (en) * 2007-09-24 2010-02-23 Headwaters Technology Innovation, Llc Highly dispersible carbon nanospheres in a polar solvent and methods for making same
US8284190B2 (en) * 2008-06-25 2012-10-09 Microsoft Corporation Registration of street-level imagery to 3D building models
US8193967B2 (en) * 2008-12-10 2012-06-05 The United States Of America As Represented By The Secretary Of The Army Method and system for forming very low noise imagery using pixel classification
US7796829B2 (en) * 2008-12-10 2010-09-14 The United States Of America As Represented By The Secretary Of The Army Method and system for forming an image with enhanced contrast and/or reduced noise
US8933986B2 (en) * 2010-05-28 2015-01-13 Qualcomm Incorporated North centered orientation tracking in uninformed environments
US8704887B2 (en) * 2010-12-02 2014-04-22 GM Global Technology Operations LLC Multi-object appearance-enhanced fusion of camera and range sensor data
US8730091B2 (en) * 2011-05-10 2014-05-20 Raytheon Company Target identification for a radar image

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001099930A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 周辺監視センサ
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP2004534947A (ja) * 2001-06-23 2004-11-18 ルーカス インダストリーズ リミテッド 路上車用の物体の位置探知システム
JP2004053278A (ja) * 2002-07-16 2004-02-19 Nissan Motor Co Ltd 前方車両追跡システムおよび前方車両追跡方法
AT501882B1 (de) * 2005-06-03 2007-06-15 Advanced Comp Vision Gmbh Acv Verfahren zum erkennen von gegenständen
JP2007163317A (ja) * 2005-12-14 2007-06-28 Fujitsu Ten Ltd レーダー装置
JP2008089402A (ja) * 2006-10-02 2008-04-17 Konica Minolta Holdings Inc 情報処理システム、プログラムおよび情報処理方法
JP2010218246A (ja) * 2009-03-17 2010-09-30 Toyota Motor Corp 物体識別装置
JP2011002266A (ja) * 2009-06-17 2011-01-06 Nec Corp 目標追尾処理器及びそれに用いる誤差共分散行列の補正方法
JP4883246B2 (ja) * 2009-12-08 2012-02-22 トヨタ自動車株式会社 物体検出装置及び物体検出方法
JP2011158409A (ja) * 2010-02-03 2011-08-18 Mitsubishi Electric Corp 目標追尾装置及びコンピュータプログラム及び目標追尾方法
JP2011243194A (ja) * 2010-05-14 2011-12-01 Honda Research Institute Europe Gmbh 対応点探索のための画像処理方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020035449A (ja) * 2013-12-03 2020-03-05 ビューレイ・テクノロジーズ・インコーポレイテッドＶｉｅｗＲａｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｉｎｃ． 位相相関を用いた非剛体変形の存在下での医用画像のシングル及びマルチのモダリティ位置合わせ
CN105992959A (zh) * 2013-12-06 2016-10-05 西门子公司 用于确定至少两个传感器的布置的方法和传感器网络
US10782402B2 (en) 2013-12-06 2020-09-22 Siemens Mobility GmbH Method for determining a position of at least two sensors, and sensor network
JP2015175751A (ja) * 2014-03-17 2015-10-05 スタンレー電気株式会社 距離画像生成装置、物体検出装置および物体検出方法
JP2017530896A (ja) * 2014-08-04 2017-10-19 ジェンテックス コーポレイション 慣性センサを利用するドライバ支援システム
US10565732B2 (en) 2015-05-23 2020-02-18 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
JP2017523381A (ja) * 2015-05-23 2017-08-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 慣性および画像センサを用いたセンサ融合
US11284811B2 (en) 2016-06-22 2022-03-29 Viewray Technologies, Inc. Magnetic resonance volumetric imaging
US11892523B2 (en) 2016-06-22 2024-02-06 Viewray Technologies, Inc. Magnetic resonance imaging
US11768257B2 (en) 2016-06-22 2023-09-26 Viewray Technologies, Inc. Magnetic resonance imaging
US11378629B2 (en) 2016-06-22 2022-07-05 Viewray Technologies, Inc. Magnetic resonance imaging
WO2018043028A1 (ja) * 2016-08-29 2018-03-08 株式会社デンソー 周辺監視装置及び周辺監視方法
JP2018037737A (ja) * 2016-08-29 2018-03-08 株式会社Ｓｏｋｅｎ 周辺監視装置及び周辺監視方法
US10885354B2 (en) 2016-08-29 2021-01-05 Denso Corporation Perimeter monitoring device and perimeter monitoring method
KR20180041525A (ko) * 2016-10-14 2018-04-24 주식회사 만도 차량의 물체 트래킹 시스템 및 그 제어 방법
KR20180045662A (ko) * 2016-10-26 2018-05-04 주식회사 만도 센서 융합을 통한 차량의 횡방향 거리 측정 장치 및 방법
KR102488922B1 (ko) * 2016-10-26 2023-01-17 주식회사 에이치엘클레무브 센서 융합을 통한 차량의 횡방향 거리 측정 장치 및 방법
KR20180095320A (ko) * 2017-02-17 2018-08-27 옴니센서(주) 가중치 적용 칼만 필터를 이용한 레이더 신호 처리 장치 및 그를 이용한 표적 검출 시스템
KR101967812B1 (ko) * 2017-02-17 2019-04-11 옴니센서(주) 가중치 적용 칼만 필터를 이용한 레이더 신호 처리 장치 및 그를 이용한 표적 검출 시스템
US10634779B2 (en) 2017-05-31 2020-04-28 Honda Motor Co., Ltd. Target recognition system, target recognition method, and storage medium
JP2018205879A (ja) * 2017-05-31 2018-12-27 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム
KR102371616B1 (ko) 2017-11-07 2022-03-07 현대자동차주식회사 차량의 센서 데이터 연계 장치 및 방법
US11328516B2 (en) 2017-11-07 2022-05-10 Hyundai Motor Company Apparatus and method for associating sensor data in vehicle
KR20190051601A (ko) * 2017-11-07 2019-05-15 현대자동차주식회사 차량의 센서 데이터 연계 장치 및 방법
JP2019133671A (ja) * 2019-02-07 2019-08-08 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム
WO2021002325A1 (ja) * 2019-07-02 2021-01-07 株式会社デンソー 車載センサ装置
JP2021009098A (ja) * 2019-07-02 2021-01-28 株式会社デンソー 車載センサ装置
JP7196789B2 (ja) 2019-07-02 2022-12-27 株式会社デンソー 車載センサ装置

Also Published As

Publication number Publication date
US9313462B2 (en) 2016-04-12
EP2639781A1 (en) 2013-09-18
US20130335569A1 (en) 2013-12-19
JP5689907B2 (ja) 2015-03-25

Similar Documents

Publication Publication Date Title
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
US11348266B2 (en) Estimating distance to an object using a sequence of images recorded by a monocular camera
US11620837B2 (en) Systems and methods for augmenting upright object detection
CN108028023B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
JP4919036B2 (ja) 移動物体認識装置
EP1361543B1 (en) Determining object motion from optical flow analysis
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
JP4052291B2 (ja) 車両用画像処理装置
JP2018060422A (ja) 物体検出装置
WO2019065970A1 (ja) 車両用外界認識装置
CN108629225B (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
JP5256482B2 (ja) 測距装置
WO2020036039A1 (ja) ステレオカメラ装置
JP7064400B2 (ja) 物体検知装置
JP6429101B2 (ja) 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体
JP7322576B2 (ja) 情報処理装置、撮像装置および移動体
JP2019160251A (ja) 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
CN116587978A (zh) 一种基于车载显示屏的碰撞预警方法及系统

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140612

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141205

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150129

R150 Certificate of patent or registration of utility model

Ref document number: 5689907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees