JP2021113763A - 物標検出システム、物標検出方法、及びコンピュータが実行可能なプログラム - Google Patents

物標検出システム、物標検出方法、及びコンピュータが実行可能なプログラム Download PDF

Info

Publication number
JP2021113763A
JP2021113763A JP2020007042A JP2020007042A JP2021113763A JP 2021113763 A JP2021113763 A JP 2021113763A JP 2020007042 A JP2020007042 A JP 2020007042A JP 2020007042 A JP2020007042 A JP 2020007042A JP 2021113763 A JP2021113763 A JP 2021113763A
Authority
JP
Japan
Prior art keywords
image
radar
characteristic value
highest intensity
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020007042A
Other languages
English (en)
Other versions
JP7515262B2 (ja
Inventor
将広 星
Masahiro Hoshi
将広 星
幸伸 時枝
Yukinobu Tokieda
幸伸 時枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JRC Mobility Inc
Original Assignee
JRC Mobility Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JRC Mobility Inc filed Critical JRC Mobility Inc
Priority to JP2020007042A priority Critical patent/JP7515262B2/ja
Priority claimed from JP2020007042A external-priority patent/JP7515262B2/ja
Publication of JP2021113763A publication Critical patent/JP2021113763A/ja
Application granted granted Critical
Publication of JP7515262B2 publication Critical patent/JP7515262B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】レーダ信号の実像と偽像を高精度に判別することが可能な物標検出システム、物標検出方法、及びコンピュータが実行可能なプログラムを提供すること。【解決手段】本実施の形態に係る物標検出システムは、周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得するレーダと、周辺を撮像して画像情報を取得するカメラと、前記レーダから出力されるレーダ信号について、各方位における最高強度点を決定するピークサーチ手段と、前記カメラから出力される画像情報に応じた画像上に各方位における最高強度点をプロットするプロット手段と、前記画像上の各最高強度点の近傍の輝度特性値を算出する輝度特性値算出手段と、前記算出された輝度特性値に基づいて、前記画像上の各最高強度点が実像か偽像かを判定する実像・偽像判定手段と、を備えている。【選択図】図1

Description

本発明は、物標検出システム、物標検出方法、及びコンピュータが実行可能なプログラムに関する。
例えば、レーダで受信される信号(以降、「レーダ信号」と称する)には、物標(ターゲットとする物体)からの信号以外にもクラッタ・マルチパス・サイドローブ等による偽像(「不要成分」ともいう)が含まれることがある。例えば、一般的な道路環境において、レーダ計測を実施した場合、路面反射によって生じるクラッタ成分、構造物を介したマルチパスやサイドローブによる偽像が発生し、物標の検出を困難にする。
従来のクラッタ抑圧手法として、例えば、CFAR(Constant False Alarm Rate)処理がある。CFAR処理は、動的閾値処理によってクラッタとターゲットを判別することを目的とした手法である。CFAR処理には大別して以下の2種類の手法がある。(1)CA−CFARは、小さい演算量で実現できるが、閾値計算にターゲットが含まれることがあるので、実像の見逃しが発生する可能性がある。(2)OS−CFARは、閾値計算にターゲットが含まれる確率が小さいので、安定した閾値を得ることができるが、演算量が大きくなる。
実像と偽像の信号特性が大きく異なる場合、CFAR処理で有効にクラッタ成分を抑圧することができるが、反射強度の高い壁等によって生じるサイドローブやマルチパスによって生じる偽像は、実像と同等の強度情報や速度情報を持つことがあるため、これらが偽像成分であることを判別し、抑制することは困難である。
このように、レーダ信号に対してCFAR処理等の信号処理のみでは、実像と偽像を高精度に判別することは困難である。
特開平11−352216号公報
本発明は、上記に鑑みてなされたものであって、レーダ信号の実像と偽像を高精度に判別することが可能な物標検出システム、物標検出方法、及びコンピュータが実行可能なプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得するレーダと、周辺を撮像して画像情報を取得するカメラと、前記レーダから出力されるレーダ信号について、各方位における最高強度点を決定するピークサーチ手段と、前記カメラから出力される画像情報に応じた画像上に各方位における最高強度点をプロットするプロット手段と、前記画像上の各最高強度点の近傍の輝度特性値を算出する輝度特性値算出手段と、前記算出された輝度特性値に基づいて、前記画像上の各最高強度点が実像か偽像かを判別する実像・偽像判定手段と、を備えたことを特徴とする。
また、本発明の一態様によれば、前記ピークサーチ手段は、前記レーダから出力されるレーダ信号について、距離毎に方位方向ピークサーチを実行し、当該方位方向ピークサーチ後のレーダ信号に対して、方位毎に距離方向ピークサーチを実行することで、前記各方位における最高強度点を決定することにしてもよい。
また、本発明の一態様によれば、前記レーダは、ミリ波レーダであることにしてもよい。
また、前記カメラは、単眼カメラであることにしてもよい。
また、前記輝度特性値は、輝度分散値又は輝度勾配であり、前記実像・偽像判定手段は、前記輝度特性値が閾値以上の場合に、前記最高強度点を実像と判別することにしてもよい。
また、本発明の一態様によれば、前記プロット手段は、前記画像上に最高強度点をプロットする場合は、各最高強度点は、それぞれの反射距離における高さゼロからの反射波であると仮定して、路面と接地している画像上の対応座標を算出してプロットすることにしてもよい。
また、上述した課題を解決し、目的を達成するために、本発明は、レーダが、周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得する工程と、カメラが、周辺を撮像して画像情報を取得する工程と、ピークサーチ手段が、前記レーダから出力されるレーダ信号について、各方位における最高強度点を決定する工程と、プロット手段が、前記カメラから出力される画像情報に応じた画像上に各方位における最高強度点をプロットする工程と、輝度特性値算出手段が、前記画像上の各最高強度点の近傍の輝度特性値を算出する工程と、実像・偽像判定手段が、前記算出された輝度特性値に基づいて、前記画像上の各最高強度点が実像か偽像かを判別する工程と、を含むことを特徴とする。
また、上述した課題を解決し、目的を達成するために、本発明は、コンピュータを、周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得するレーダから出力されるレーダ信号について、各方位における最高強度点を決定するピークサーチ手段、周辺を撮像して画像情報を取得するカメラから出力される画像情報に応じた画像上に各方位における最高強度点をプロットするプロット手段、前記画像上の各最高強度点の近傍の輝度特性値を算出する輝度特性値算出手段、前記算出された輝度特性値に基づいて、前記画像上の各最高強度点が実像か偽像かを判定する実像・偽像判定手段として機能させるためのコンピュータが実行可能なプログラムであることを特徴とする。
本発明によれば、レーダ信号の実像と偽像を高精度に判別することが可能な物標検出システム、物標検出方法、及びコンピュータが実行可能なプログラムを提供することを目的とする。
図1は、本実施の形態に係る物標検出システムの概略の構成例を示す図である。 図2は、本実施の形態に係る物標検出システムの概略の動作フローの一例を示す図である。 図3は、検証条件(位置関係)を説明するための図である。 図4は、レーダで取得したレーダ信号の一例を示す図である。 図5は、方位毎の距離方向のピークサーチを説明するための図である。 図6は、マルチパス環境での各方位に発生する偽像成分を説明するための図である。 図7は、右側倉庫のサイドローブと反射信号を示す図である。 図8は、画像上にレーダ信号の各方位における最高強度点をプロットした例を示す図である。 図9は、実像を捉えた信号と偽像を捉えた信号を説明するための図である。 図10は、算出した輝度分散値を方位毎に画像上にプロットした結果を示す図である。 図11は、輝度分散値の評価例を示す図である。 図12は、本実施の形態の適用結果の第1の例を示す図である。 図13は、本実施の形態の適用結果の第2の例を示す図である。 図14は、本実施の形態の適用結果の第3の例を示す図である。 図15は、本実施の形態の適用結果の第4の例を示す図である。
以下に、この発明にかかる物標検出システム、物標検出方法、及びコンピュータが実行可能なプログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、下記実施の形態における構成要素には、当業者が容易に想定できるものまたは実質的に同一のものが含まれる。本発明の構成要素は、本明細書の図面に一般に示してあるが、様々な構成で広く多様に配置して設計してもよいことは容易に理解できる。したがって、本発明のシステム及び装置の実施形態についての以下のより詳細な説明は、特許請求の範囲に示す本発明の範囲を限定するものではなく、単に本発明の選択した実施形態の一例を示すものである。本明細書は、参照により公知技術が組み込まれる。そのため、当業者は、公知技術を援用することで、特定の細目の1つ以上が無くても、または他の方法、部品、材料でも本発明を実現できることが理解できる。
[1.本発明の原理]
上述したように、レーダ信号に対する信号処理のみでは実像と偽像を高精度に判別することは困難である。
そこで、本発明では、レーダ信号に加えて、画像情報という判断材料を追加することで、実像と偽像を高精度に判別する。
本発明では、レーダによりレーダ信号を取得すると共に、カメラにより画像情報を取得する。レーダ信号により検知した偽像位置と同位置の画像上には不要な成分が写り込む可能性が低いという性質を利用して、検出したレーダ信号を画像上にプロットすることで、各レーダ信号が物標からの信号か否かを判別する。
具体的には、撮像した画像上にレーダ信号をプロットする場合は、各レーダ信号はそれぞれの反射距離における高さゼロからの反射信号であると仮定して、物標が路面と接地している画像上の点にレーダ信号をプロットする。画像上にプロットした各レーダ信号付近で画像の輝度分散値を取得し、取得した輝度分散値から各レーダ信号が実像であるか偽像であるかを分類する。
レーダ信号が実像である場合は、画像上で物標と路面の切り替わり部分の輝度を評価することになるので、輝度分散値が大きい傾向となる。他方、偽像のレーダ信号をプロットしても画像上では何もない路面部分の輝度評価をする確率が高まるため、輝度分散値が小さい傾向となる。このように、各レーダ信号に紐づく画像上の輝度分散値を評価することで、実像と偽像を高精度に判別することが可能となる。
[2.本実施の形態の物標検出システムの構成例]
図1を参照して、本実施の形態の物標検出システムの構成例及びその動作例を説明する。図1は、本実施の形態に係る物標検出システム1の概略の構成例を示す図である。図2は、本実施の形態に係る物標検出システム1の概略の動作フローの一例を示す図である。
図1を参照して、本実施の形態に係る物標検出システム1の構成を説明する。図1に示すように、本実施の形態に係る物標検出システム1は、物標検出装置10と、レーダ20と、カメラ30とを備えている。
レーダ20は、周囲にレーダ波を送信して、対象物によって反射された反射波を受信して、レーダ信号として物標検出装置10に出力する。レーダ20は、例えば、FM−CW方式のミリ波レーダ(79GHz帯、帯域幅4GHz、MIMOレーダ(送信アンテナ3個、受信アンテナ6個)であり、検出範囲は、水平角が−75度〜75度、仰角が−3度〜3度である。
レーダ20は、複数の送信アンテナを備える送信器からレーダ波を周囲に送信し、対象物によって反射された反射波を複数の受信アンテナを備える受信器で受信することによって対象物の距離、方位、相対速度、及び信号強度を検知するためのセンサである。
レーダ20から出力されるレーダ信号は、例えば、レーダ20が備える信号処理回路において反射波が処理された対象物の1または複数の代表位置を示す点または点列からなる信号であっても良く、あるいは、未処理の反射波を示す信号であっても良い。本例では、レーダ20から出力されるレーダ信号は、上述の信号処理回路において、公知のFM−CW方式で算出した対象物の距離、方位、及び相対速度、信号強度の情報を含んでいるものとする。なお、未処理の受信波がレーダ信号として用いられる場合には、物標検出装置10においてこれらの信号処理が実行される。
カメラ30は、周囲を撮像した画像情報を物標検出装置10に出力する。カメラ30は、可視光を受光することによって対象物の外形情報である画像情報として出力するためのセンサである。カメラ30は、例えば、単眼カメラであり、例えば、CMOSグローバルシャッタセンサ(例えば、有効画素数:1920ピクセル×1200ピクセル,フレームレート:41.6fps、インターフェース:USB3.0)とメガピクセル対応CCTVレンズ(例えば、画角:86.71×61.44、焦点距離6mm)の組み合わせで構成することができ、例えば、検出範囲は、水平角が−43.36度〜43.36度、仰角が−30.72度〜30.72度である。
カメラ30から出力される画像情報は、時系列的に連続する複数のフレーム画像によって構成されており、各フレーム画像は画素データにより表されている。画素データは、モノクロの画素データまたはカラーの画素データである。
物標検出装置10は、信号点抽出部16と、ピークサーチ部11と、プロット部12と、輝度特性値算出部13と、実像・偽像判定部14と、物標情報出力部15と、を備えている。
信号点抽出部16は、レーダ20から出力されるレーダ信号に対して、信号点抽出処理を施す。ピークサーチ部11は、信号点抽出処理後のレーダ信号について、各方位における最高強度点を決定する(図4〜図6参照)。具体的には、ピークサーチ11は、信号点抽出処理後のレーダ信号に対して、距離毎に方位方向ピークサーチを実行する方位方向ピークサーチ部11aと、方位方向ピークサーチ後のレーダ信号に対して、方位毎に距離方向ピークサーチを実行して、最高強度点を決定する距離方向ピークサーチ部11bとを備えている。距離方向ピークサーチ部11bは、当該方位の最高強度点が虚像と判断された場合は、当該方位の次に強度の高い信号点を決定する。
プロット部12は、カメラ30から出力される画像情報に応じた画像上にレーダ信号の各方位における最高強度点をプロットする(図8参照)。画像上に最高強度点をプロットする場合は、レーダ信号はそれぞれの反射距離における高さゼロからの反射信号であると仮定して、物標が路面と接地している画像上の対応座標を算出して、最高強度点をプロットする。
輝度特性値算出部13は、画像上の各最高強度点の近傍の輝度特性値を算出する(図9〜図10参照)。輝度特性値は、輝度の変化の程度を表す特性値であり、例えば、輝度分散値や輝度勾配である。
実像・偽像判定部14は、輝度特性値に基づいて、画像上の最高強度点が実像か偽像かを判別して、実像の結果を出力する(図11〜図15参照)。具体的には、実像・偽像判定部14は、輝度特性値(輝度分散値又は輝度勾配)が閾値以上の場合は、最高強度点が実像であると判別し、閾値以上でない場合は、最高強度点が偽像であると判別する。
最高強度点が偽像と判別された場合には、当該方位の次の強度点について取得して、実像・偽像の判別が行われ、実像と判別されるまで、ピークサーチ部11、プロット部12、輝度特性値算出部13、実像・偽像判定部14で同じ処理が繰り返し実行される。すなわち、レーダ信号の各方位について、実像が検出されるまで処理が行われ、ある方位における検出点の閾値の判定を全て行っても、閾値を満たす該当点が無ければ、その方位には実像は無いものと判断して、別の方位の判定に移る。
物標情報出力部15は、実像・偽像判定部14の出力結果に基づいて、物標情報を出力する。
物標検出装置10は、CPU(プロセッサ)、DSP、RAM、ROMやフラッシュメモリ等の不揮発性メモリ、I/O、モニタ等を搭載している。物標検出装置10の各機能は、CPUがROMまたはフラッシュメモリ等の不揮発メモリに記憶されているプログラムを実行することにより実現される。このプログラムが実行されることにより、プログラムに対応する方法が実行される。
CPUがプログラムを実行することにより、信号点抽出部16と、ピークサーチ部11と、プロット部12と、輝度特性値算出部13と、実像・偽像判定部14と、物標情報出力部15の機能を実現する。
物標検出装置10を構成するこれらの要素を実現する手法は、ソフトウェアに限るものではなく、その一部または全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
図2を参照して、図1の物標検出システム1の全体の動作を説明する。図2において、レーダ20は、周囲にレーダ波を送信してその反射波を受信してレーダ信号を物標検出装置10に出力する(ステップS1)。カメラ30は、周囲を撮像して2次元の画像情報を出力する(ステップS2)。レーダ信号と画像情報のフレームは時刻同期がとれているものとする。
ピークサーチ部11は、レーダ信号について各方位の最高強度点を決定する(ステップS3)。プロット部12は、カメラ30から出力される画像上にレーダ信号の各方位の最高強度点をプロットして、レーダ信号と画像情報の紐付けを行う(ステップS4)。画像上に最高強度点をプロットする場合は、各レーダ信号はそれぞれの反射距離における高さゼロからの反射波であると仮定して、物標が路面と接地している画像上の対応座標を算出して、最高強度点をプロットする。
輝度特性値算出部13は、画像上の各最高強度点の近傍の輝度特性値(例えば、輝度分散値、輝度勾配)を算出する(ステップS5)。輝度特性値として、輝度分散値を使用する場合は、例えば、画像上で最高強度点付近のROI(Region Of Interest)を定義し、ROI内の輝度分散値を計算して算出することができる。
実像・偽像判定部14は、各輝度特性値に基づいて、画像上の最高強度点が実像か偽像かを判別して、判別結果を物標情報出力部15に出力する(ステップS6)。具体的には、輝度特性値が閾値以上の場合は最高強度点が実像であると判別し、閾値以上でない場合は、最高強度点が偽像であると判別する。
最高強度点が偽像と判別された場合には、ステップS3に戻り、当該方位の次に強度の高い信号点を取得して実像・偽像の判別が行われ、実像と判定されるまで、ステップS3〜S6の処理を繰り返し実行する。すなわち、レーダ信号の各方位について、実像が検出されるまで処理が行われ、ある方位における検出点の閾値の判定を全て行っても、閾値を満たす該当点が無ければ、その方位には実像は無いものと判断して、別の方位の判定に移る。
物標情報出力部15は、実像・偽像判定部14の実像の出力結果に基づいて、物標についての物標情報を出力する(ステップS7)。
[3.本実施の形態の物標検出システムの検証結果]
図3〜図15を参照して、本実施の形態の物標検出システム1の有用性についての検証結果を説明する。
図3は、検証条件(位置関係)を説明するための図である。図3を参照して検証条件について説明する。図3において、歩行者を3人、位置関係を図3(A)に示すように、構造物と倉庫に囲まれた環境とする。歩行者3人を3m間隔で並べて、センサ(レーダ20、カメラ30)の奥行方向5〜15m地点を往復動作する。当該環境は、建物に囲まれたマルチパスが発生しやすい環境である。図3(B)、(C)は、当該環境の画像を示す図であり、歩行者の3人は矢印方向を歩行する。
図4は、図3の環境において、レーダ20で取得したレーダ信号の一例を示す図である。図4において、目標となる構造物や倉庫の壁表面の信号と歩行者の信号だけを抽出したいが、選択的に必要な信号だけを抽出するのは困難である。
本実施の形態では、ピークサーチ部11は、信号点抽出処理後のレーダ信号に対して、距離毎に方位方向ピークサーチを実行し、次に、方位毎の距離方向ピークサーチを実行して、各方位の最大強度点の座標を算出する。図5は、方位毎の距離方向ピークサーチを説明するための図である。
マルチパス環境では、各方位に偽像成分が発生することがあり、検出目標(物標)を検出できないことがある。図6は、マルチパス環境での各方位に発生する偽像成分を説明するための図である。図6において、最大強度点と検出目標(歩行者、構造物、倉庫等)が異なる場合がある。
路面のクラッタの他、反射強度の高い壁のサイドロープによる偽像等も多く発生する。図7は、右側の倉庫のサイドローブと反射信号を示している。本実施の形態では、目標となる歩行者や建物以外の信号を抑圧する手法を提案する。
プロット部50は、カメラ30から出力される画像情報に応じた画像上にレーダ信号の各方位における最高強度点をプロットする。図8は、画像上にレーダ信号の各方位における最高強度点をプロットした例を示す図である。図8において、レーダ信号の各方位の最大強度点を画像上にプロットすると、何もない箇所に偽像成分を検出していることが分かる。
図9は、実像を捉えた信号と偽像を捉えた信号を説明するための図である。本実施の形態では、実像を捉えた信号と偽像を捉えた信号にはどのような差があるかに着目した。上述したように、実際に物体が存在する場所には、必ず大きな輝度分散が存在する。クラッタ成分箇所周辺の輝度分散値は低い可能性がある。そこで、輝度分散値を利用して、物体が存在しない箇所の信号成分を除外する。すなわち、偽像の検出点の場合は、輝度分散値が小さい、実像の検出点の場合は、輝度分散値が大きいと判断することができる。図9において、縁石と歩行者の最高強度点は実像、道路の最高強度点は偽像を示している。
本実施の形態では、輝度特性値算出部13は、画像上の各最高強度点の近傍の輝度分散値を算出する。例えば、画像上で最高強度点付近のROIを定義し、ROI内の輝度分散値を計算し、全方位の最大輝度分散値で正規化した値を輝度分散値として算出する。図10は、算出した輝度分散値を方位毎に画像上にプロットした結果を示す図である。図10において、横軸は方位(縦の点線)、縦軸は輝度分散値(折れ線グラフ)を示している。
実像・偽像判定部14は、輝度分散値が閾値以上の場合は最高強度点が実像であると判定し、閾値以上でない場合は最高強度点が偽像であると判定して、偽像を抑圧する。最高強度点が偽像と判定された場合には、当該方位の次に強度が高い信号点を取得して実像・偽像の判定を行い、実像と判定されるまで処理を繰り返し、レーダ信号の各方位について、実像が検出されるまで処理を繰り返すことで、各方位毎の実像を検出する(対象の信号がなくなった場合は、当該方位の実像なしと判断する)。
図11は、輝度分散値の評価例を示す図である。図11において、クラッタ成分を検出した地点の輝度分散値が低くなっており、本実施の形態の実像・偽像の判定方法は有効であることが確認された。
図12〜図15は、本実施の形態による物標検出システム1の偽像成分の抑圧方法の適用結果を示す図である。図12は適用結果の第1の例を示す図である。図12において、クラッタ成分を抑圧する効果が確認できた。また、偽像を検出した方位において、正しい反射点を取得できるようになった。
図13は、適用結果の第2の例を示す図である。図13において、倉庫の後方にある偽像を検出した方位において、正しく倉庫の距離信号を取得でき、また、倉庫のサイドロープを検出していた方位において、クラッタ成分を抑圧できた。
図14は、適用結果の第3の例を示す図である。図14において、図13と同様に、サイドロープ信号の除外、倉庫の正しい距離の検出に成功した。
図15は、適用結果の第4の例を示す図である。図15において、構造物後方のサイドローブを誤検出していた方位において、正しい壁からの信号を検出できた。その他、余分なクラッタ成分を抑圧できた。
以上の検証結果により、本実施の形態の物標検出システム1は、実像と偽像を精度良く判別することができ、偽像成分の抑圧に有用であることが確認された。
以上説明したように、本実施の形態によれば、周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得するレーダ20と、周辺を撮像して画像情報を取得するカメラ30と、レーダ20から出力されるレーダ信号について、各方位における最高強度点を決定するピークサーチ部11と、カメラ30から出力される画像情報に応じた画像上に各方位における最高強度点をプロットするプロット部12と、画像上の各最高強度点の近傍の輝度特性値を算出する輝度特性値算出部13と、前記算出された輝度特性値に基づいて、画像上の各最高強度点が実像か偽像かを判別する実像・偽像判定部14と、を備えているので、レーダ信号の実像・偽像を高精度に判別することが可能となる。
本実施の形態の物標検出システム1は、例えば、車載用、小型モビリティ用、防犯用、航空用、歩行者の安全監視用等の各種用途で好適に使用可能である。
1 物標検出システム
10 物標検出装置
11 ピークサーチ部
12 プロット部
13 輝度特性値算出部
14 実像・偽像判定部
15 物標情報出力部
16 信号点抽出部
20 レーダ
30 カメラ

Claims (8)

  1. 周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得するレーダと、
    周辺を撮像して画像情報を取得するカメラと、
    前記レーダから出力されるレーダ信号について、各方位における最高強度点を決定するピークサーチ手段と、
    前記カメラから出力される画像情報に応じた画像上に各方位における最高強度点をプロットするプロット手段と、
    前記画像上の各最高強度点の近傍の輝度特性値を算出する輝度特性値算出手段と、
    前記算出された輝度特性値に基づいて、前記画像上の各最高強度点が実像か偽像かを判別する実像・偽像判定手段と、
    を備えたことを特徴とする物標検出システム。
  2. 前記ピークサーチ手段は、前記レーダから出力されるレーダ信号について、距離毎に方位方向ピークサーチを実行し、当該方位方向ピークサーチ後のレーダ信号に対して、方位毎に距離方向ピークサーチを実行することで、前記各方位における最高強度点を決定することを特徴とする請求項1に記載の物標検出システム。
  3. 前記レーダは、ミリ波レーダであることを特徴とする請求項1又は請求項2に記載の物標検出システム。
  4. 前記カメラは、単眼カメラであることを特徴とする請求項1〜請求項3のいずれか1つに記載の物標検出システム。
  5. 前記輝度特性値は、輝度分散値又は輝度勾配であり、
    前記実像・偽像判定手段は、前記輝度特性値が閾値以上の場合に、前記最高強度点を実像と判定し、前記輝度特性値が閾値以上でない場合に、前記最高強度点を偽像と判定することを特徴とすることを特徴とする請求項1〜請求項4のいずれか1つに記載の物標検出システム。
  6. 前記プロット手段は、前記画像上に最高強度点をプロットする場合は、各最高強度点は、それぞれの反射距離における高さゼロからの反射波であると仮定して、路面と接地している画像上の対応座標を算出してプロットすることを特徴とする請求項1〜請求項5のいずれか1つに記載の物標検出システム。
  7. レーダが、周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得する工程と、
    カメラが、周辺を撮像して画像情報を取得する工程と、
    ピークサーチ手段が、前記レーダから出力されるレーダ信号について、各方位における最高強度点を決定する工程と、
    プロット手段が、前記カメラから出力される画像情報に応じた画像上に各方位における最高強度点をプロットする工程と、
    輝度特性値算出手段が、前記画像上の各最高強度点の近傍の輝度特性値を算出する工程と、
    実像・偽像判定手段が、前記算出された輝度特性値に基づいて、前記画像上の各最高強度点が実像か偽像かを判別する工程と、
    を含むことを特徴とする物標検出方法。
  8. コンピュータを、
    周辺にレーダ波を送信して、対象物によって反射された反射波を受信してレーダ信号を取得するレーダから出力されるレーダ信号について、各方位における最高強度点を決定するピークサーチ手段、
    周辺を撮像して画像情報を取得するカメラから出力される画像情報に応じた画像上に各方位における最高強度点をプロットするプロット手段、
    前記画像上の各最高強度点の近傍の輝度特性値を算出する輝度特性値算出手段、
    前記算出された輝度特性値に基づいて、前記画像上の各最高強度点が実像か偽像かを判定する実像・偽像判定手段として機能させるためのコンピュータが実行可能なプログラム。
JP2020007042A 2020-01-20 物標検出システム、物標検出方法、及びコンピュータが実行可能なプログラム Active JP7515262B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020007042A JP7515262B2 (ja) 2020-01-20 物標検出システム、物標検出方法、及びコンピュータが実行可能なプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020007042A JP7515262B2 (ja) 2020-01-20 物標検出システム、物標検出方法、及びコンピュータが実行可能なプログラム

Publications (2)

Publication Number Publication Date
JP2021113763A true JP2021113763A (ja) 2021-08-05
JP7515262B2 JP7515262B2 (ja) 2024-07-12

Family

ID=

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0261581A (ja) * 1988-08-29 1990-03-01 Oki Electric Ind Co Ltd レーダの偽像除去装置
WO2005026769A1 (ja) * 2003-09-11 2005-03-24 Mitsubishi Denki Kabushiki Kaisha レーダ装置
JP2006047057A (ja) * 2004-08-03 2006-02-16 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2007263986A (ja) * 2007-07-24 2007-10-11 Denso Corp 方位検出装置
JP2013002927A (ja) * 2011-06-15 2013-01-07 Honda Elesys Co Ltd 障害物検知装置及びコンピュータプログラム
KR101758576B1 (ko) * 2016-11-21 2017-07-17 인하대학교 산학협력단 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
US20180120842A1 (en) * 2016-10-27 2018-05-03 Uber Technologies, Inc. Radar multipath processing
JP2019158692A (ja) * 2018-03-15 2019-09-19 東芝電波プロダクツ株式会社 精測進入レーダ及び表示システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0261581A (ja) * 1988-08-29 1990-03-01 Oki Electric Ind Co Ltd レーダの偽像除去装置
WO2005026769A1 (ja) * 2003-09-11 2005-03-24 Mitsubishi Denki Kabushiki Kaisha レーダ装置
JP2006047057A (ja) * 2004-08-03 2006-02-16 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2007263986A (ja) * 2007-07-24 2007-10-11 Denso Corp 方位検出装置
JP2013002927A (ja) * 2011-06-15 2013-01-07 Honda Elesys Co Ltd 障害物検知装置及びコンピュータプログラム
US20180120842A1 (en) * 2016-10-27 2018-05-03 Uber Technologies, Inc. Radar multipath processing
KR101758576B1 (ko) * 2016-11-21 2017-07-17 인하대학교 산학협력단 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
JP2019158692A (ja) * 2018-03-15 2019-09-19 東芝電波プロダクツ株式会社 精測進入レーダ及び表示システム

Similar Documents

Publication Publication Date Title
JP4359710B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
EP2071280B1 (en) Normal information generating device and normal information generating method
CN111753609A (zh) 一种目标识别的方法、装置及摄像机
JP5580621B2 (ja) エコー信号処理装置、レーダ装置、エコー信号処理方法、およびエコー信号処理プログラム
KR102001594B1 (ko) 비가시공간 투시 레이더-카메라 융합형 재난 추적 시스템 및 방법
KR101666466B1 (ko) 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법
JP2017156219A (ja) 追尾装置、追尾方法およびプログラム
JP4880925B2 (ja) 設定装置
JP5718726B2 (ja) 車両周辺監視装置
CN112911249B (zh) 目标对象的跟踪方法、装置、存储介质及电子装置
JP2008164545A (ja) 移動目標検出装置、移動目標検出方法および移動目標検出プログラム
WO2022135594A1 (zh) 目标物体的检测方法及装置、融合处理单元、介质
JP2016085602A (ja) センサ情報統合方法、及びその装置
JP2003217099A (ja) 車載型周辺監視装置
JP4754283B2 (ja) 監視システム及び設定装置
JP2006171944A (ja) 複合型防犯センサ
JP6585668B2 (ja) 物体検出装置
JP6602286B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7515262B2 (ja) 物標検出システム、物標検出方法、及びコンピュータが実行可能なプログラム
JP2021113763A (ja) 物標検出システム、物標検出方法、及びコンピュータが実行可能なプログラム
JP4394029B2 (ja) 目標検出装置
JP2019066326A (ja) 車両の周辺監視装置と周辺監視方法
JP2021135149A (ja) 動的物標検出システム、動的物標検出方法、及びコンピュータが実行可能なプログラム
KR20240021670A (ko) 미확인 객체들의 종류를 기초로 학습된 인공지능 모델을 사용한 미확인 객체 모니터링 방법
JP7461160B2 (ja) 3次元情報推定システム、3次元情報推定方法、及びコンピュータが実行可能なプログラム

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20230116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240529

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240618