JP2020016597A - レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法 - Google Patents

レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法 Download PDF

Info

Publication number
JP2020016597A
JP2020016597A JP2018140973A JP2018140973A JP2020016597A JP 2020016597 A JP2020016597 A JP 2020016597A JP 2018140973 A JP2018140973 A JP 2018140973A JP 2018140973 A JP2018140973 A JP 2018140973A JP 2020016597 A JP2020016597 A JP 2020016597A
Authority
JP
Japan
Prior art keywords
radar
radar data
detection image
data
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018140973A
Other languages
English (en)
Inventor
偉傑 劉
Iketsu Ryu
偉傑 劉
安木　慎
Shin Yasuki
慎 安木
中川　洋一
Yoichi Nakagawa
洋一 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2018140973A priority Critical patent/JP2020016597A/ja
Priority to PCT/JP2019/027755 priority patent/WO2020022110A1/ja
Priority to US17/263,413 priority patent/US20210311169A1/en
Priority to CN201980049689.8A priority patent/CN112470033A/zh
Priority to EP19839834.9A priority patent/EP3819669A4/en
Publication of JP2020016597A publication Critical patent/JP2020016597A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】機械学習モデルを用いることで、レーダデータに基づく物体判別を高精度に行うことができるようにする。【解決手段】各方位および各距離における反射強度および速度の各情報を含むレーダデータを取得し、そのレーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、そのレーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する。特に、観測エリア全体のレーダデータから物体領域を検出して、観測エリア全体のレーダデータから物体領域のレーダデータを抽出して、その物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。【選択図】図２

Description

本発明は、レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置およびレーダデータ処理方法、ならびにレーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置および物体判別方法に関するものである。
近年、車両の走行時の安全性を高めるため、レーダを用いて、車両の周囲に存在する車両や歩行者などの移動体を検知する技術が普及している。また、ＩＴＳ（Intelligent Transport System：高度道路交通システム）において、交差点などの事故の起きやすい場所に、レーダを備えた路側機、いわゆるインフラレーダを設置して、周辺に存在する移動体をレーダにより検知して、ＩＴＳ通信（路車間通信や路歩間通信）により、車載端末や歩行者端末に衝突の危険性を通知する技術の実用化が推進されている。
このようなレーダを用いた物体検知では、レーダ装置から出力されるレーダデータ（反射強度やドップラー速度）に基づいて、車両の周囲に存在する移動体を検知することができるが、この他に、レーダデータに基づいて、検知した移動体が車両と人物とのいずれであるかを判別する物体判別（物体認識）が望まれる。
このようなレーダデータに基づく物体判別に関する技術として、従来、電波の反射率が車両と人物とで異なるという特性を利用して、車両と人物とを判別する技術が知られている（特許文献１参照）。
特許第５２０６５７９号公報
しかしながら、前記従来の技術では、電波の反射率が、電波の方向や物体の材質などの影響で変化することで、車両と人物とを適切に判別できない場合が多く、特に、人物が車両の近傍に居る場合には、人物を車両の一部と誤認識するという問題があった。
一方、カメラの撮影画像を解析することにより物体を判別する画像認識の技術が広く普及している。この画像認識では、撮影画像から物体領域の特徴量を抽出して、その特徴量に基づいて物体を判別するが、近年、この画像認識に機械学習モデル、特に深層学習モデルを利用することで、判別性能を飛躍的に向上させることができるようになっている。このため、レーダデータに基づく物体判別に機械学習モデルを利用することができると、高精度な物体判別が可能になることが期待される。
そこで、本発明は、機械学習モデルを用いることで、レーダデータに基づく物体判別を高精度に行うことができるレーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法を提供することを主な目的とする。
本発明のレーダデータ処理装置は、レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置であって、前記レーダデータを画像化する制御部を備え、前記制御部は、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成する構成とする。
また、本発明の物体判別装置は、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置であって、前記レーダデータに基づいて物体を判別する制御部を備え、前記制御部は、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する構成とする。
また、本発明のレーダデータ処理方法は、情報処理装置において、レーダ装置から出力されるレーダデータを処理するレーダデータ処理方法であって、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成する構成とする。
また、本発明の物体判別方法は、情報処理装置において、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別方法であって、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する構成とする。
本発明によれば、レーダデータを画像化したレーダ検出画像を取得するため、画像認識用の機械学習モデルを用いて物体判別を行うことができるようになり、レーダデータに基づく物体判別を高精度に行うことができる。
第１実施形態に係る物体判別装置１の概略構成を示すブロック図 第１実施形態に係る物体判別装置１で行われる物体判別時の処理の概要を示す説明図 第１実施形態に係るレーダ装置２から出力されるレーダデータの特徴を示す説明図 第１実施形態に係る物体判別装置１で行われる学習時の処理の概要を示す説明図 第１実施形態に係る物体判別装置１の物体判別時の動作手順を示すフロー図 第１実施形態に係るデータ処理（図５のＳＴ１０４）の動作手順を示すフロー図 第１実施形態に係る物体判別装置１における学習データ生成時および深層学習モデル構築時の動作手順を示すフロー図 第２実施形態に係る物体判別装置１の概略構成を示すブロック図 第２実施形態に係る物体判別装置１の物体判別時の動作手順を示すフロー図 第２実施形態に係るデータ処理（図９のＳＴ１１１）の動作手順を示すフロー図 第２実施形態に係る物体判別装置１における学習データ生成時および深層学習モデル構築時の動作手順を示すフロー図 第３実施形態に係る物体判別装置１の概略構成を示すブロック図 第３実施形態に係る物体判別装置１の物体判別時の動作手順を示すフロー図 第４実施形態に係る物体判別装置１の概略構成を示すブロック図 第４実施形態に係る物体判別装置１の物体判別時の動作手順を示すフロー図
前記課題を解決するためになされた第１の発明は、レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置であって、前記レーダデータを画像化する制御部を備え、前記制御部は、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成する構成とする。
これによると、レーダデータを画像化したレーダ検出画像を取得するため、画像認識用の機械学習モデルを用いて物体判別を行うことができるようになり、レーダデータに基づく物体判別を高精度に行うことができる。
また、第２の発明は、前記制御部は、観測エリア全体の前記レーダデータから検出された物体領域の位置情報に基づいて、観測エリア全体の前記レーダデータから物体領域のレーダデータを抽出し、前記物体領域のレーダデータに基づいて、物体領域の前記レーダ検出画像を生成する構成とする。
これによると、機械学習モデルが物体領域のレーダ検出画像を対象にして物体判別を行えばよいため、機械学習モデルの処理負荷を軽減することができる。
また、第３の発明は、前記制御部は、観測エリア全体の前記レーダデータに基づいて、観測エリア全体の前記レーダ検出画像を生成する構成とする。
これによると、物体判別に加えて物体検出が可能な機械学習モデルを用いることで、物体検出および物体判別を高精度にかつ効率よく行うことができる。
また、第４の発明は、前記制御部は、前記物体領域の距離に応じたサイズで、物体領域の前記レーダ検出画像を生成する構成とする。
これによると、物体領域のレーダデータの情報量に応じて、サイズが異なるレーダ検出画像を生成するため、物体判別を高精度に行うことができる。
また、第５の発明は、前記制御部は、複数の時刻の前記レーダデータに基づいて、前記レーダ検出画像を生成する構成とする。
これによると、複数の時刻のレーダデータがレーダ検出画像に格納されるため、物体判別の精度を向上させることができる。
また、第６の発明は、前記制御部は、前記レーダ検出画像のサイズが均一となるように、前記レーダ検出画像における物体領域の周囲に余白領域を設定する構成とする。
これによると、検出された物体領域の大きさに関係なく、レーダ検出画像のサイズが均一となるため、機械学習モデルで一様に処理することができる。また、拡大縮小のように元のレーダデータが改変されることがないため、物体判別を高精度に行うことができる。
また、第７の発明は、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置であって、前記レーダデータに基づいて物体を判別する制御部を備え、前記制御部は、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する構成とする。
これによると、レーダデータを画像化したレーダ検出画像に基づいて、画像認識用の機械学習モデルを用いて物体判別を行うため、レーダデータに基づく物体判別を高精度に行うことができる。
また、第８の発明は、情報処理装置において、レーダ装置から出力されるレーダデータを処理するレーダデータ処理方法であって、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成する構成とする。
これによると、第１の発明と同様に、レーダデータを画像化したレーダ検出画像を取得するため、画像認識用の機械学習モデルを用いて物体判別を行うことができるようになり、レーダデータに基づく物体判別を高精度に行うことができる。
また、第９の発明は、情報処理装置において、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別方法であって、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する構成とする。
これによると、第７の発明と同様に、レーダデータを画像化したレーダ検出画像に基づいて、画像認識用の機械学習モデルを用いて物体判別を行うため、レーダデータに基づく物体判別を高精度に行うことができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
図１は、第１実施形態に係る物体判別装置１の概略構成を示すブロック図である。
この物体判別装置１（レーダデータ処理装置、情報処理装置）は、レーダ装置２から出力されるレーダデータに基づいて、観測エリア内に存在する物体の属性（種類）を判別するものであり、例えば、路側機（インフラレーダ）に搭載されて、周囲に存在する物体（移動体）の判別結果が、衝突の危険性の判定や通知の制御に用いられ、また、車両に搭載されて、周囲に存在する物体の判別結果が衝突回避のための制御に用いられる。
この物体判別装置１では、物体の属性として、物体が車両と人物とのいずれであるかを判別する。さらに、車両が４輪車と２輪車とのいずれであるかを判別し、また、４輪車が大型車と小型車とのいずれであるかを判別する。
レーダ装置２は、ミリ波帯などの電波を放射すると共に物体で反射された電波を検出して、レーダデータ（測定データ）を出力する。このレーダデータには、各方位および各距離（レンジ）における反射強度（反射波の強度に関する情報）およびドップラー速度（物体の速度に関する情報）が含まれる。
物体判別装置１は、データ入力部１１と、制御部１２と、記憶部１３と、データ出力部１４と、を備えている。
データ入力部１１では、レーダ装置２から出力されるレーダデータが入力される。データ出力部１４では、制御部１２で生成した物体判別結果を出力する。
記憶部１３は、レーダ装置２から入力されるレーダデータや、制御部１２を構成するプロセッサで実行されるプログラムなどを記憶する。
制御部１２は、物体検出部２１と、データ処理部２２と、物体判別部２３と、学習データ生成部２４と、学習処理部２５と、を備えている。データ処理部２２は、領域データ抽出部３１と、画像生成部３２と、を備えている。この制御部１２は、プロセッサで構成され、制御部１２の各部は、記憶部１３に記憶されたプログラムをプロセッサで実行することで実現される。
なお、本実施形態では、物体判別装置１が、物体検出部２１と、データ処理部２２と、物体判別部２３とを備えるものとしたが、これらの各部をそれぞれ別の装置で構成してもよい。また、物体判別装置１が、学習データ生成部２４と、学習処理部２５とを備えるものとしたが、これらを物体判別装置とは別の装置で構成してもよい。
次に、第１実施形態に係る物体判別装置１で行われる処理について説明する。図２は、物体判別装置１で行われる物体判別時の処理の概要を示す説明図である。図３は、レーダ装置２から出力されるレーダデータの特徴を示す説明図である。図４は、物体判別装置１で行われる学習時の処理の概要を示す説明図である。
図２に示すように、レーダ装置２では、レーダデータとして、各方位および各距離（レンジ）における反射強度およびドップラー速度を出力する。なお、図２では、反射強度を画像化したヒートマップと、ドップラー速度を画像化したヒートマップとを示している。このヒートマップでは、方位と距離（レンジ）とで規定される極座標系のレーダデータを、Ｘ−Ｙ直交座標系に変換して画像化しており、観測エリアが扇形状に表示される。
物体判別装置１では、まず、物体検出部２１において、観測エリア全体のレーダデータから物体領域を検出する。次に、データ処理部２２の領域データ抽出部３１において、物体検出部２１で検出した物体領域の位置情報に基づいて、観測エリア全体のレーダデータから物体領域のレーダデータを抽出する。次に、画像生成部３２において、物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。次に、物体判別部２３において、物体領域のレーダ検出画像に基づいて、物体領域の物体の属性を判別する。
ここで、画像生成部３２で生成される物体領域のレーダ検出画像は、物体領域のレーダデータを画像化したものである。具体的には、物体領域のレーダデータに含まれる反射強度、ドップラー速度、および距離（レンジ）の各情報を、レーダ検出画像における対応する位置の画素の複数のチャンネルに格納する。例えば、ＲＧＢのフォーマットでレーダ検出画像を生成する場合、Ｒのチャンネルにドップラー速度の情報を格納し、Ｇのチャンネルに反射強度の情報を格納し、Ｂのチャンネルに距離（レンジ）の情報を格納する。
また、図３（Ａ）に示すように、レーダデータは、方位および距離（レンジ）で区画されたセル単位で生成される。このレーダデータでは、距離の分解能は一定であるが、方位の分解能が、距離に応じて異なり、近距離（例えば３ｍ）では方位の分解能が高くなり、遠距離（例えば８０ｍ）では方位の分解能が低くなる。このため、図３（Ｂ）に示すように、同じ大きさの物体Ａ，Ｂでは、物体領域に含まれるセル数が、距離（レンジ）の軸方向では同一であるが、方位の軸方向では距離に応じて異なる。すなわち、遠距離では方位の軸方向のセル数が少なくなり、近距離では方位の軸方向のセル数が多くなる。
一方、図２に示したように、観測エリア全体のレーダデータから物体領域のレーダデータを抽出すると、距離（レンジ）の情報が消失し、物体の大きさを判別することができなくなる。そこで、本実施形態では、反射強度およびドップラー速度の各情報の他に、距離（レンジ）の情報をレーダ検出画像に格納する。
また、レーダ検出画像では、反射強度およびドップラー速度のヒートマップと同様に、Ｘ−Ｙ直交座標系で生成すればよい。この場合、領域データ抽出部３１において、レーダデータの極座標系をＸ−Ｙ直交座標系に変換する座標変換を行う。なお、レーダ検出画像の座標系は特に限定されるものではなく、Ｘ−Ｙ直交座標系の他に、レーダデータと同じように、方位と距離（レンジ）とで規定される極座標系としてもよい。
また、物体判別部２３は、機械学習モデル、特に深層学習モデルを用いて、物体領域のレーダ検出画像から物体領域の物体の属性を判別する。すなわち、物体領域のレーダ検出画像を深層学習モデルに入力して、深層学習モデルで物体判別を行い、深層学習モデルから出力される物体判別結果を取得する。この深層学習モデルには、画像認識用の深層学習モデルが用いられる。なお、画像認識用の深層学習モデルとしては、ＣＮＮ（畳み込みニューラルネットワーク：convolutional neural network）が好適である。
また、画像生成部３２では、物体検出部２１で検出された物体領域の大きさに関係なく、物体判別部２３の深層学習モデルで一様に処理可能なように、レーダ検出画像のサイズを揃える。このとき、拡大縮小の処理を行うと、元のレーダデータが改変されてしまうため、想定される最大の物体領域のサイズに基づいて、レーダ検出画像のサイズを設定し、そのサイズになるように、物体領域（レーダデータを格納した領域）の周囲に余白領域を設定する。
また、図４に示すように、学習時には、物体検出部２１において、レーダ装置２から過去に出力された学習用の観測エリア全体のレーダデータから物体領域を検出する。次に、領域データ抽出部３１において、物体検出部２１で検出した物体領域の位置情報に基づいて、学習用の観測エリア全体のレーダデータから学習用の物体領域のレーダデータを抽出する。次に、画像生成部３２において、学習用の物体領域のレーダデータに基づいて、学習用の物体領域のレーダ検出画像を生成する。
学習データ生成部２４では、画像生成部３２で生成した学習用の物体領域のレーダ検出画像と、そのレーダ検出画像に含まれる物体の属性に関する物体判別結果（ラベル）とを対応付けた学習データを生成する。この物体判別結果は、作業者が目視で判断して入力したものである。このとき、例えば、学習用のレーダデータに対応するカメラの撮影画像を目視で確認して、学習用のレーダ検出画像から判別される物体の属性を取得すればよい。
学習処理部２５では、学習データ生成部２４で生成した学習データを用いて、深層学習モデルに対する学習処理を実行して、学習結果として、深層学習モデルのモデルパラメータ（設定情報）を取得して、そのモデルパラメータを物体判別部２３の深層学習モデルに適用して、学習済みの深層学習モデルを構築する。
次に、第１実施形態に係る物体判別装置１における物体判別時の動作手順について説明する。図５は、物体判別装置１の物体判別時の動作手順を示すフロー図である。図６は、データ処理（図５のＳＴ１０４）の動作手順を示すフロー図である。
物体判別装置１では、図５に示すように、まず、制御部１２において、レーダ装置２から出力された観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ１０１）。次に、物体検出部２１において、観測エリア全体のレーダデータから物体領域を検出する（ＳＴ１０２）。
次に、制御部１２において、１つの物体領域Ｒｉ（ｉ＝１〜Ｎ）を選定する（ＳＴ１０３）。
次に、データ処理部２２において、データ処理を行う（ＳＴ１０４）。具体的には、領域データ抽出部３１において、観測エリア全体のレーダデータから物体領域のレーダデータを抽出し、画像生成部３２において、物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。
次に、物体判別部２３において、画像生成部３２で生成した物体領域のレーダ検出画像を、学習済みの深層学習モデルに入力して、その深層学習モデルにおいて物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１０５）。
次に、全ての物体領域の処理が終了したか否かを判定する（ＳＴ１０６）。ここで、全ての物体領域の処理が終了していない場合には（ＳＴ１０６でＮｏ）、ＳＴ１０３に戻り、次の物体領域を選定して、その物体領域の処理を行う。
一方、全ての物体領域の処理が終了した場合には（ＳＴ１０６でＹｅｓ）、制御部１２において、物体判別部２３で取得した物体領域ごとの物体判別結果および位置情報を出力する（ＳＴ１０７）。
データ処理（ＳＴ１０４）では、図６に示すように、まず、データ処理部２２において、物体検出部２１で検出した物体領域の位置情報を取得する（ＳＴ２０１）。次に、物体領域の位置情報に基づいて、物体領域を取り囲む外接矩形の領域を確定する（ＳＴ２０２）。次に、レーダ検出画像の余白領域（物体領域以外の領域）のセル値を設定する（ＳＴ２０３）。
次に、領域データ抽出部３１において、物体領域（外接矩形）内の１つセルＣｊ（ｊ＝１〜Ｍ）を選定する（ＳＴ２０４）。そして、観測エリア全体のレーダデータから、選定したセルＣｊの反射強度、ドップラー速度、およびレンジを取得する（ＳＴ２０５）。
次に、画像生成部３２において、セルＣｊの反射強度、ドップラー速度、およびレンジに基づいて、そのセルＣｊに対応する位置の画素の画素値（ＲＧＢの各チャンネルの値）を設定する（ＳＴ２０６）。すなわち、Ｒ値ｒｊにセルＣｊの反射強度を設定し、Ｇ値ｇｊにセルＣｊのドップラー速度を設定し、Ｂ値ｂｊにセルＣｊのレンジを設定する。
次に、全てのセルの処理が終了したか否かを判定する（ＳＴ２０７）。ここで、全てのセルの処理が終了していない場合には（ＳＴ２０７でＮｏ）、ＳＴ２０４に戻り、次のセルを選定して、そのセルの処理を行う。
一方、全てのセルの処理が終了した場合には（ＳＴ２０７でＹｅｓ）、次に、画像生成部３２において、各画素の画素値に基づいて、物体領域のレーダ検出画像を生成する（ＳＴ２０８）。
次に、第１実施形態に係る物体判別装置１の学習時の動作手順について説明する。図７は、物体判別装置１における学習データ生成時および深層学習モデル構築時の動作手順を示すフロー図である。
物体判別装置１では、図７（Ａ）に示すように学習データ生成時には、まず、制御部１２において、レーダ装置２から過去に出力された学習用の観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ３０１）。次に、物体検出部２１において、学習用の観測エリア全体のレーダデータから物体領域を検出する（ＳＴ３０２）。
次に、制御部１２において、１つの物体領域Ｒｉ（ｉ＝１〜Ｎ）を選定する（ＳＴ３０３）。
次に、データ処理部２２において、データ処理を行う（ＳＴ３０４）。具体的には、領域データ抽出部３１において、学習用の観測エリア全体のレーダデータから学習用の物体領域のレーダデータを抽出して、画像生成部３２において、学習用の物体領域のレーダデータに基づいて、学習用の物体領域のレーダ検出画像を生成する。この処理は、物体判別時（図６参照）と同様である。
次に、全ての物体領域の処理が終了したか否かを判定する（ＳＴ３０５）。ここで、全ての物体領域の処理が終了していない場合には（ＳＴ３０５でＮｏ）、ＳＴ３０３に戻り、次の物体領域を選定して、その物体領域の処理を行う。
一方、全ての物体領域の処理が終了した場合には（ＳＴ３０５でＹｅｓ）、次に、学習データ生成部２４において、各物体領域の物体判別結果（ラベル）を取得する（ＳＴ３０６）。この物体判別結果は、作業者が目視で判断して入力したものである。
次に、画像生成部３２で取得した各物体領域のレーダ検出画像と、物体判別結果（ラベル）とを対応付けた学習データを生成する（ＳＴ３０７）。
このようにして学習データを生成するが、この学習データはできるだけ大量に生成することが望ましい。このため、場所や時間が異なる大量のレーダレーダ（ヒートマップ）を集めて、学習用のレーダ検出画像を大量に生成するようにするとよい。
なお、図７に示す例では、観測エリア全体のレーダデータ（ヒートマップ）に含まれる全ての物体領域を対象にして学習データを生成するようにしたが、一部の物体領域のみを対象にして学習データを生成するようにしてもよい。
また、物体判別装置１では、図７（Ｂ）に示すように深層学習モデル構築時には、まず、学習処理部２５において、学習データ生成部２４で生成した学習データを用いて、深層学習モデルに対する学習処理を実行して、学習結果として、深層学習モデルのモデルパラメータ（設定情報）を取得する（ＳＴ３０８）。
次に、モデルパラメータを物体判別部２３の深層学習モデルに適用して、学習済みの深層学習モデルを構築する（ＳＴ３０９）。
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図８は、第２実施形態に係る物体判別装置１の概略構成を示すブロック図である。
第１実施形態では、検出された物体領域の物体を判別する物体判別を深層学習モデルで行うようにしたが、本実施形態では、物体判別の他に、物体領域を検出する物体検出を深層学習モデルで行うようにする。
物体判別装置１の制御部１２は、データ処理部４１と、物体検出判別部４２と、学習データ生成部２４と、学習処理部２５と、を備えている。
データ処理部４１は、画像生成部４３を備えている。この画像生成部４３は、観測エリア全体のレーダデータに基づいて、観測エリア全体のレーダ検出画像を生成する。
物体検出判別部４２は、画像生成部４３で生成した観測エリア全体のレーダ検出画像を学習済みの深層学習モデルに入力して、深層学習モデルで物体検出と物体判別とを行い、深層学習モデルから出力される物体判別結果を取得する。この深層学習モデルには、探索機能付き深層学習モデルを用いられる。この探索機能付き深層学習モデルとしては、Ｆａｓｔｅｒ Ｒ‐ＣＮＮ（regions with convolutional neural network）が好適である。
次に、第２実施形態に係る物体判別装置１の物体判別時の動作手順について説明する。図９は、物体判別装置１の物体判別時の動作手順を示すフロー図である。図１０は、データ処理（図９のＳＴ１１１）の動作手順を示すフロー図である。
物体判別装置１では、図９に示すように、まず、制御部１２において、レーダ装置２から出力された観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ１０１）。
次に、データ処理部２２において、データ処理を行う（ＳＴ１１１）。具体的には、画像生成部４３において、観測エリア全体のレーダデータに基づいて、観測エリア全体のレーダ検出画像を生成する。
次に、物体検出判別部４２において、画像生成部４３で生成した観測エリア全体のレーダ検出画像を、学習済みの深層学習モデルに入力して、深層学習モデルにおいて物体検出および物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１１２）。
次に、検出した物体ごとの物体判別結果および位置情報を出力する（ＳＴ１０７）。
データ処理（ＳＴ１１１）では、図１０に示すように、まず、データ処理部２２において、１つセルＣｊ（ｊ＝１〜Ｍ）を選定する（ＳＴ２０４）。そして、観測エリア全体のレーダデータから、選定したセルＣｊの反射強度、ドップラー速度、およびレンジを取得する（ＳＴ２０５）。
次に、画像生成部３２において、セルＣｊの反射強度、ドップラー速度、およびレンジに基づいて、そのセルＣｊに対応する位置の画素の画素値（ＲＧＢの各チャンネルの値）を設定する（ＳＴ２０６）。すなわち、Ｒ値ｒｊにセルＣｊの反射強度を設定し、Ｇ値ｇｊにセルＣｊのドップラー速度を設定し、Ｂ値ｂｊにセルＣｊのレンジを設定する。
次に、全てのセルの処理が終了したか否かを判定する（ＳＴ２０７）。ここで、全てのセルの処理が終了していない場合には（ＳＴ２０７でＮｏ）、ＳＴ２０４に戻り、次のセルを選定して、そのセルの処理を行う。
一方、全てのセルの処理が終了した場合には（ＳＴ２０７でＹｅｓ）、次に、画像生成部３２において、各画素の画素値に基づいて、観測エリア全体のレーダ検出画像を生成する（ＳＴ２０８）。
次に、第２実施形態に係る物体判別装置１の学習時の動作手順について説明する。図１１は、物体判別装置１における学習データ生成時および深層学習モデル構築時の動作手順を示すフロー図である。
物体判別装置１では、図１１（Ａ）に示すように学習データ生成時には、まず、制御部１２において、レーダ装置２から過去に出力された学習用の観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ３０１）。
次に、データ処理部４１において、データ処理を行う（ＳＴ３１１）。具体的には、画像生成部４３において、学習用の観測エリア全体のレーダデータに基づいて、学習用の観測エリア全体のレーダ検出画像を生成する。この処理は、物体判別時（図１０参照）と同様である。
次に、学習データ生成部２４において、物体領域の物体判別結果（ラベル）を取得する（ＳＴ３１２）。この物体判別結果は、作業者が目視で判断して入力したものである。なお、学習用の観測エリア全体のレーダデータに、複数の物体領域が含まれる場合には、各物体領域の物体判別結果（ラベル）を取得する。
次に、画像生成部３２で取得した学習用の観測エリア全体のレーダ検出画像と、物体判別結果（ラベル）とを対応付けた学習データを生成する（ＳＴ３１３）。
また、物体判別装置１では、図１１（Ｂ）に示すように深層学習モデル構築時には、まず、学習処理部２５において、学習データ生成部２４で生成した学習データを用いて、深層学習モデルに対する学習処理を実行して、学習結果として、深層学習モデルのモデルパラメータ（設定情報）を取得する（ＳＴ３１４）。
次に、モデルパラメータを物体検出判別部４２の深層学習モデルに適用して、学習済みの深層学習モデルを構築する（ＳＴ３１５）。
（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１２は、第３実施形態に係る物体判別装置１の概略構成を示すブロック図である。
第１実施形態では、物体領域のレンジ（距離）に関係なく、物体領域のレーダ検出画像を同一サイズで生成するようにしたが、物体領域の距離（レンジ）に応じて、物体領域のレーダデータの情報量（セル数）が大きく異なる（図３参照）。
そこで、本実施形態では、物体領域の距離（レンジ）に応じて、物体領域のレーダデータを異なるサイズで画像化して、サイズが異なるレーダ検出画像を生成する。特に本実施形態では、遠距離と近距離との２通りに場合分けしてレーダデータを画像化する。
物体判別装置１の制御部１２は、物体検出部２１と、分配部５１と、第１のデータ処理部５２と、第２のデータ処理部５３と、第１の物体判別部５４と、第２の物体判別部５５と、学習データ生成部２４と、学習処理部２５と、を備えている。
分配部５１は、物体検出部２１で検出した物体領域の距離（レンジ）に基づいて、レーダデータの処理を第１のデータ処理部５２と第２のデータ処理部５３とに振り分ける。具体的には、物体領域の距離が所定値以上となる遠距離の場合には、レーダデータの処理を第１のデータ処理部５２に行わせ、物体領域の距離が所定値未満となる近距離の場合には、レーダデータの処理を第２のデータ処理部５３に行わせる。
第１のデータ処理部５２は、物体領域が遠距離である場合に、レーダデータを処理するものであり、第１の領域データ抽出部６１と、第１の画像生成部６２と、を備えている。この第１のデータ処理部５２では、物体領域のレーダデータを抽出して、サイズが小さいレーダ検出画像を生成する。
第２のデータ処理部５３は、物体領域が近距離である場合に、レーダデータを処理するものであり、第２の領域データ抽出部６３と、第２の画像生成部６４と、を備えている。この第２のデータ処理部５３では、物体領域のレーダデータを抽出して、サイズが大きいレーダ検出画像を生成する。
なお、第１の領域データ抽出部６１および第２の領域データ抽出部６３で行われる処理は、第１実施形態の領域データ抽出部３１と同様であり、第１の画像生成部６２および第２の画像生成部６４で行われる処理は、第１実施形態の画像生成部３２と同様である。
第１の物体判別部５４は、第１のデータ処理部５２で生成したサイズが小さいレーダ検出画像を対象にして、第１の深層学習モデルを用いて物体判別を行う。
第２の物体判別部５５は、第２のデータ処理部５３で生成したサイズが大きいレーダ検出画像を対象にして、第２の深層学習モデルを用いて物体判別を行う。
なお、本実施形態では、物体領域の距離（レンジ）に応じて、２通りに場合分けしてレーダデータを画像化するようにしたが、３通り以上に場合分けしてレーダデータを画像化するようにしてもよい。
次に、第３実施形態に係る物体判別装置１の物体判別時の動作手順について説明する。図１３は、物体判別装置１の物体判別時の動作手順を示すフロー図である。
物体判別装置１では、まず、制御部１２において、レーダ装置２から出力された観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ１０１）。次に、物体検出部２１において、観測エリア全体のレーダデータから物体領域を検出する（ＳＴ１０２）。
次に、制御部１２において、１つの物体領域Ｒｉ（ｉ＝１〜Ｎ）を選定する（ＳＴ１０３）。
次に、分配部５１において、物体領域Ｒｉの中心点のレンジ値がしきい値以上か否かを判定する（ＳＴ１２１）。
ここで、物体領域Ｒｉの中心点のレンジ値がしきい値以上である、すなわち物体領域Ｒｉが遠距離である場合には（ＳＴ１２１でＹｅｓ）、第１のデータ処理部５２において、データ処理を行う（ＳＴ１２２）。具体的には、第１の領域データ抽出部６１において、観測エリア全体のレーダデータから物体領域のレーダデータを抽出して、第１の画像生成部６２において、物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。なお、このデータ処理は、第１実施形態（図６参照）と同様である。
次に、第１の物体判別部５４において、第１の画像生成部６２で生成した物体領域のレーダ検出画像を、学習済みの深層学習モデルに入力して、その深層学習モデルにおいて物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１２３）。
一方、物体領域Ｒｉの中心点のレンジ値がしきい値未満である、すなわち物体領域Ｒｉが近距離である場合には（ＳＴ１２１でＮｏ）、第２のデータ処理部５３において、データ処理を行う（ＳＴ１２４）。具体的には、第２の領域データ抽出部６３において、観測エリア全体のレーダデータから物体領域のレーダデータを抽出して、第２の画像生成部６４において、物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。なお、このデータ処理は、第１実施形態（図６参照）と同様である。
次に、第２の物体判別部５５において、第２の画像生成部６４で生成した物体領域のレーダ検出画像を、学習済みの深層学習モデルに入力して、その深層学習モデルにおいて物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１２５）。
次に、全ての物体領域の処理が終了したか否かを判定する（ＳＴ１０６）。ここで、全ての物体領域の処理が終了していない場合には（ＳＴ１０６でＮｏ）、ＳＴ１０３に戻り、次の物体領域を選定して、その物体領域の処理を行う。
一方、全ての物体領域の処理が終了した場合には（ＳＴ１０６でＹｅｓ）、制御部１２において、第１の物体判別部５４または第２の物体判別部５５で取得した物体領域ごとの物体判別結果および位置情報を出力する（ＳＴ１０７）。
なお、物体判別装置１の学習時の動作手順は、第１実施形態（図７参照）と略同様であるが、本実施形態では、第１の物体判別部５４と第２の物体判別部５５とで処理対象となるレーダ検出画像のサイズが異なるため、各々に対応したサイズで学習用のレーダ検出画像を生成する。
（第４実施形態）
次に、第４実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１４は、第４実施形態に係る物体判別装置１の概略構成を示すブロック図である。
レーダ装置２では、ビーム走査周期に対応する間隔（例えば５０ｍｓ）で、各時刻の観測エリア全体のレーダデータが出力され、この各時刻の観測エリア全体のレーダデータから抽出された各時刻の物体領域のレーダデータを画像化すると、高速なフレームレート（例えば２０ｆｐｓ）でレーダ検出画像が生成されるが、このような高速なフレームレートのレーダ検出画像は、物体判別では必ずしも必要ない。
そこで、本実施形態では、複数の時刻の観測エリア全体のレーダデータからそれぞれ抽出された複数の時刻の物体領域のレーダデータを合成（統合）して、合成されたレーダデータを画像化して、物体領域のレーダ検出画像を生成する。これにより、物体判別の精度を向上させることができる。
物体判別装置１の制御部１２は、物体検出部２１と、データ処理部７１と、物体判別部２３と、学習データ生成部２４と、学習処理部２５と、を備えている。データ処理部７１は、領域データ抽出部３１と、データ合成部７２と、画像生成部３２と、を備えている。
データ合成部７２は、領域データ抽出部３１で取得した複数の時刻の物体領域のレーダデータを合成（統合）して、物体領域の合成レーダデータを生成する。
このとき、複数の時刻のレーダデータにおける各セルのデータを、レーダ検出画像における対応する位置の異なる画素の画素値に設定する。これにより、元のレーダデータを、改変せずにそのままレーダ検出画像に格納することができる。この場合、レーダ検出画像の画素数が増大し、例えば、４つの時刻のレーダデータを合成すると、４倍の画素数のレーダ検出画像を生成することができる。
また、複数の時刻のレーダデータにおける各セルのデータを統計処理して、各セルの代表値（最大値、平均値など）を取得して、その代表値を、レーダ検出画像における対応する位置の画素値に設定するようにしてもよい。
次に、第４実施形態に係る物体判別装置１の物体判別時の動作手順について説明する。図１５は、物体判別装置１の物体判別時の動作手順を示すフロー図である。
物体判別装置１では、まず、制御部１２において、レーダ装置２から出力された観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ１０１）。次に、物体検出部２１において、観測エリア全体のレーダデータから物体領域を検出する（ＳＴ１０２）。
次に、制御部１２において、１つの物体領域Ｒｉ（ｉ＝１〜Ｎ）を選定する（ＳＴ１０３）。
次に、データ処理部２２の領域データ抽出部３１において、観測エリア全体のレーダデータから物体領域のレーダデータを抽出する（ＳＴ１３１）。
次に、データ合成部７２において、所定数の時刻のレーダデータが揃ったか否かを判定する（ＳＴ１３２）。
ここで、所定数の時刻のレーダデータが揃っていない場合には（ＳＴ１３２でＮｏ）、現時刻の物体領域のレーダデータを記憶部１３に一時的に蓄積する（ＳＴ１３３）。そして、ＳＴ１０６に進む。
一方、所定数の時刻のレーダデータが揃った場合には（ＳＴ１３２でＹｅｓ）、データ合成部７２において、記憶部１３に蓄積された過去の時刻の物体領域のレーダデータを取得して、その過去の時刻の物体領域のレーダデータと、領域データ抽出部３１で取得した現時刻の物体領域のレーダデータとを合成する（ＳＴ１３４）。
次に、画像生成部３２において、データ合成部７２で取得した物体領域の合成レーダデータに基づいて、物体領域のレーダ検出画像を生成する（ＳＴ１３５）。
次に、物体判別部２３において、画像生成部３２で生成した物体領域のレーダ検出画像を、学習済みの深層学習モデルに入力して、その深層学習モデルにおいて物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１０５）。
次に、全ての物体領域の処理が終了したか否かを判定する（ＳＴ１０６）。ここで、全ての物体領域の処理が終了していない場合には（ＳＴ１０６でＮｏ）、ＳＴ１０３に戻り、次の物体領域を選定して、その物体領域の処理を行う。
一方、全ての物体領域の処理が終了した場合には（ＳＴ１０６でＹｅｓ）、次に、物体判別結果を出力するタイミングか否かを判定する（ＳＴ１３６）。具体的には、例えば、４つの時刻のレーダデータを合成する場合は、フレーム順番が４の倍数の時に出力するタイミングであると判定する。
ここで、物体判別結果を出力するタイミングでない場合には（ＳＴ１３６でＮｏ）、ＳＴ１０１に戻り、次の時刻の処理を行う。
一方、物体判別結果を出力するタイミングである場合には（ＳＴ１３６でＹｅｓ）、制御部１２において、物体判別部２３で取得した物体領域ごとの物体判別結果および位置情報を出力する（ＳＴ１０７）。
なお、物体判別装置１の学習時の動作手順は、第１実施形態（図７参照）と同様であるが、本実施形態では、複数の時刻のレーダデータを合成した上でレーダ検出画像を生成するため、学習用のレーダ検出画像に、複数の時刻の学習用のレーダデータを合成した上で画像化したものを用いるようにしてもよいが、複数の時刻のレーダデータを合成せずに、１つの時刻の学習用のレーダデータをそのまま画像化したものでもよい。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
本発明に係るレーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法は、機械学習モデルを用いることで、レーダデータに基づく物体判別を高精度に行うことができる効果を有し、レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置およびレーダデータ処理方法、ならびにレーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置および物体判別方法などとして有用である。
１ 物体判別装置（レーダデータ処理装置、情報処理装置）
２ レーダ装置
１１ データ入力部
１２ 制御部
１３ 記憶部
１４ データ出力部

Claims (9)

  1. レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置であって、
    前記レーダデータを画像化する制御部を備え、
    前記制御部は、
    各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、
    前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成することを特徴とするレーダデータ処理装置。
  2. 前記制御部は、
    観測エリア全体の前記レーダデータから検出された物体領域の位置情報に基づいて、観測エリア全体の前記レーダデータから物体領域のレーダデータを抽出し、
    前記物体領域のレーダデータに基づいて、物体領域の前記レーダ検出画像を生成することを特徴とする請求項１に記載のレーダデータ処理装置。
  3. 前記制御部は、
    観測エリア全体の前記レーダデータに基づいて、観測エリア全体の前記レーダ検出画像を生成することを特徴とする請求項１に記載のレーダデータ処理装置。
  4. 前記制御部は、
    前記物体領域の距離に応じたサイズで、物体領域の前記レーダ検出画像を生成することを特徴とする請求項２に記載のレーダデータ処理装置。
  5. 前記制御部は、
    複数の時刻の前記レーダデータに基づいて、前記レーダ検出画像を生成することを特徴とする請求項１に記載のレーダデータ処理装置。
  6. 前記制御部は、前記レーダ検出画像のサイズが均一となるように、前記レーダ検出画像における物体領域の周囲に余白領域を設定することを特徴とする請求項１に記載のレーダデータ処理装置。
  7. レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置であって、
    前記レーダデータに基づいて物体を判別する制御部を備え、
    前記制御部は、
    各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、
    前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、
    前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得することを特徴とする物体判別装置。
  8. 情報処理装置において、レーダ装置から出力されるレーダデータを処理するレーダデータ処理方法であって、
    各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、
    前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成することを特徴とするレーダデータ処理方法。
  9. 情報処理装置において、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別方法であって、
    各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、
    前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、
    前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得することを特徴とする物体判別方法。
JP2018140973A 2018-07-27 2018-07-27 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法 Pending JP2020016597A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018140973A JP2020016597A (ja) 2018-07-27 2018-07-27 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法
PCT/JP2019/027755 WO2020022110A1 (ja) 2018-07-27 2019-07-12 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法
US17/263,413 US20210311169A1 (en) 2018-07-27 2019-07-12 Radar data processing device, object determination device, radar data processing method, and object determination method
CN201980049689.8A CN112470033A (zh) 2018-07-27 2019-07-12 雷达数据处理装置、物体判别装置、雷达数据处理方法以及物体判别方法
EP19839834.9A EP3819669A4 (en) 2018-07-27 2019-07-12 RADAR DATA PROCESSING DEVICE, OBJECT DETERMINATION DEVICE, RADAR DATA PROCESSING METHODS, AND OBJECT DETERMINATION METHODS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018140973A JP2020016597A (ja) 2018-07-27 2018-07-27 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法

Publications (1)

Publication Number Publication Date
JP2020016597A true JP2020016597A (ja) 2020-01-30

Family

ID=69180413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018140973A Pending JP2020016597A (ja) 2018-07-27 2018-07-27 レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法

Country Status (5)

Country Link
US (1) US20210311169A1 (ja)
EP (1) EP3819669A4 (ja)
JP (1) JP2020016597A (ja)
CN (1) CN112470033A (ja)
WO (1) WO2020022110A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021117169A (ja) * 2020-01-29 2021-08-10 日本無線株式会社 目標検出装置及び目標検出プログラム
CN114141057A (zh) * 2021-11-25 2022-03-04 交通运输部公路科学研究所 一种交叉路口车辆碰撞预警测评方法、装置及系统
KR102369967B1 (ko) * 2021-08-05 2022-03-04 한화시스템 주식회사 학습 데이터 생성 방법, 학습 방법 및 표적 탐지 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210088629A1 (en) * 2019-09-25 2021-03-25 Raytheon Company Detecting an unmanned aerial vehicle using passive radar
EP3992665A1 (en) * 2020-11-02 2022-05-04 Aptiv Technologies Limited Methods and systems for determining a direction of arrival of a radar detection
GB202100683D0 (en) * 2021-01-19 2021-03-03 Five Ai Ltd Radar perception
JP2022138425A (ja) * 2021-03-10 2022-09-26 オムロン株式会社 物体位置検出装置及び方法
WO2023053718A1 (ja) * 2021-10-01 2023-04-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、学習装置及び学習方法、並びにコンピュータプログラム
JP7391278B2 (ja) * 2021-11-05 2023-12-04 三菱電機株式会社 レーダ画像から関心領域を自動検出するための学習方法、及び自動検出装置
CN113820694B (zh) * 2021-11-24 2022-03-01 腾讯科技（深圳）有限公司 一种仿真测距的方法、相关装置、设备以及存储介质
US20230258794A1 (en) * 2022-02-17 2023-08-17 Gm Cruise Holdings Llc Object detection and state estimation from deep learned per-point radar representations

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003028959A (ja) * 2001-07-17 2003-01-29 Kawasaki Heavy Ind Ltd 目標抽出方法
JP2008204103A (ja) * 2007-02-19 2008-09-04 Yokohama National Univ 画像認識システム
JP2015125498A (ja) * 2013-12-25 2015-07-06 一般財団法人 リモート・センシング技術センター 擬似カラー化画像処理システム
JP2017049208A (ja) * 2015-09-04 2017-03-09 日本電気株式会社 ポラリメトリｓａｒ装置および観測方法
US20170307735A1 (en) * 2016-04-22 2017-10-26 Mohsen Rohani Object detection using radar and machine learning
JP2018048862A (ja) * 2016-09-20 2018-03-29 株式会社東芝 レーダ信号処理装置、レーダ信号処理方法、およびレーダ信号処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS526579B2 (ja) 1971-08-13 1977-02-23
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US9233659B2 (en) * 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
US10042047B2 (en) * 2014-09-19 2018-08-07 GM Global Technology Operations LLC Doppler-based segmentation and optical flow in radar images
KR20170011882A (ko) * 2015-07-24 2017-02-02 엘지전자 주식회사 차량용 레이더, 및 이를 구비하는 차량
US10762440B1 (en) * 2015-09-24 2020-09-01 Apple Inc. Sensor fusion and deep learning
US20180314253A1 (en) * 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data
US10942256B2 (en) * 2017-06-05 2021-03-09 Metawave Corporation Intelligent metamaterial radar for target identification
KR20220044416A (ko) * 2020-10-01 2022-04-08 가부시키가이샤 에바라 세이사꾸쇼 가스 용해액 공급 장치
US20230213646A1 (en) * 2022-01-04 2023-07-06 Qualcomm Incorporated Machine learning based object detection using radar information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003028959A (ja) * 2001-07-17 2003-01-29 Kawasaki Heavy Ind Ltd 目標抽出方法
JP2008204103A (ja) * 2007-02-19 2008-09-04 Yokohama National Univ 画像認識システム
JP2015125498A (ja) * 2013-12-25 2015-07-06 一般財団法人 リモート・センシング技術センター 擬似カラー化画像処理システム
JP2017049208A (ja) * 2015-09-04 2017-03-09 日本電気株式会社 ポラリメトリｓａｒ装置および観測方法
US20170307735A1 (en) * 2016-04-22 2017-10-26 Mohsen Rohani Object detection using radar and machine learning
JP2018048862A (ja) * 2016-09-20 2018-03-29 株式会社東芝 レーダ信号処理装置、レーダ信号処理方法、およびレーダ信号処理プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021117169A (ja) * 2020-01-29 2021-08-10 日本無線株式会社 目標検出装置及び目標検出プログラム
JP7469053B2 (ja) 2020-01-29 2024-04-16 日本無線株式会社 目標検出装置及び目標検出プログラム
KR102369967B1 (ko) * 2021-08-05 2022-03-04 한화시스템 주식회사 학습 데이터 생성 방법, 학습 방법 및 표적 탐지 장치
CN114141057A (zh) * 2021-11-25 2022-03-04 交通运输部公路科学研究所 一种交叉路口车辆碰撞预警测评方法、装置及系统

Also Published As

Publication number Publication date
US20210311169A1 (en) 2021-10-07
CN112470033A (zh) 2021-03-09
EP3819669A4 (en) 2021-08-25
EP3819669A1 (en) 2021-05-12
WO2020022110A1 (ja) 2020-01-30

Similar Documents

Publication Publication Date Title
WO2020022110A1 (ja) レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法
US20210312214A1 (en) Image recognition method, apparatus and non-transitory computer readable storage medium
US7602946B2 (en) Motion detection apparatus and motion detection method
JP2005310140A (ja) オブジェクトの認識及び／又は追跡方法
CN108154149B (zh) 基于深度学习网络共享的车牌识别方法
JPH08185521A (ja) 移動体カウント装置
JP2000048209A (ja) 画像処理方法及び装置
US20150264255A1 (en) Method and a guided imaging unit for guiding a user to capture an image
CN112037927A (zh) 与被追踪人关联的同行人确定方法、装置及电子设备
JP2021111273A (ja) 学習モデルの生成方法、プログラム及び情報処理装置
CN108665495A (zh) 图像处理方法及装置、移动终端
KR102107207B1 (ko) 이미지 검색 방법, 및 이미지 검색 방법을 실행시키는 프로그램이 기록된 기록 매체
CN113935349A (zh) 一种扫描二维码的方法、装置、电子设备及存储介质
EP0456192A2 (en) Image processing method and apparatus therefor
US9536137B2 (en) Object detection apparatus
CN116107902A (zh) 测试数据的回灌方法和装置、测试数据的回灌系统
WO2018143277A1 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
JP6542407B1 (ja) 読取システム、読取方法、プログラム、及び記憶媒体
CN114359766A (zh) 重叠区域的确定方法、目标检测方法、装置、设备和介质
KR101737619B1 (ko) 얼굴 인식 장치 및 방법
JP4561756B2 (ja) 車番特定装置、車番特定システム、コンピュータプログラム及び車番特定方法
CN111537954A (zh) 一种实时高动态融合定位方法及装置
Ramani et al. Smart parking system based on optical character recognition
JP6443144B2 (ja) 情報出力装置、情報出力プログラム及び情報出力方法、並びに情報出力システム
JPH1139477A (ja) 対応点探索装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221115