JP2019207158A - 物体認識装置および物体認識方法 - Google Patents

物体認識装置および物体認識方法 Download PDF

Info

Publication number
JP2019207158A
JP2019207158A JP2018102605A JP2018102605A JP2019207158A JP 2019207158 A JP2019207158 A JP 2019207158A JP 2018102605 A JP2018102605 A JP 2018102605A JP 2018102605 A JP2018102605 A JP 2018102605A JP 2019207158 A JP2019207158 A JP 2019207158A
Authority
JP
Japan
Prior art keywords
data
correlation
object data
received
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018102605A
Other languages
English (en)
Other versions
JP6576511B1 (ja
Inventor
森　正憲
Masanori Mori
正憲 森
典由 山科
Noriyoshi Yamashina
典由 山科
公司 飯田
Koji Iida
公司 飯田
立岩真一
Shinichi Tateiwa
真一 立岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2018102605A priority Critical patent/JP6576511B1/ja
Priority to DE112019002753.0T priority patent/DE112019002753T5/de
Priority to CN201980035006.3A priority patent/CN112204423B/zh
Priority to PCT/JP2019/004204 priority patent/WO2019230055A1/ja
Priority to US17/050,890 priority patent/US11790660B2/en
Application granted granted Critical
Publication of JP6576511B1 publication Critical patent/JP6576511B1/ja
Publication of JP2019207158A publication Critical patent/JP2019207158A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/32—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force responsive to a speed condition, e.g. acceleration or deceleration
    • B60T8/321—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force responsive to a speed condition, e.g. acceleration or deceleration deceleration
    • B60T8/3255—Systems in which the braking action is dependent on brake pedal data
    • B60T8/3275—Systems with a braking assistant function, i.e. automatic full braking initiation in dependence of brake pedal velocity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】関連時刻が同じ複数の物体データからなる検出データ群に含まれる全ての物体データが受信されるタイミングと、データ処理が開始されるタイミングとの関係を考慮した物体認識装置等を得る。【解決手段】物体認識装置は、今回の処理時刻において、検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、相関決定可能とみなされた物体データと予測データとを個別に対応付けし、相関決定可能とみなされなかった物体データを保留物体データとし、今回の処理時刻以降の次回の処理時刻において、検出データ群の中の残りの物体データが受信されている状態であれば、残りの物体データとともに保留物体データと、予測データとを個別に対応付けする。【選択図】図１

Description

本発明は、自車に搭載した単数または複数のセンサから受信した物体データを処理する物体認識装置および物体認識方法に関する。
従来の物体認識装置（例えば、特許文献１参照）は、自車に搭載され、物体の状態に関する情報を物体データとして検出する単数または複数のセンサから受信した物体データを処理することで、自車の周辺物体を認識するように構成されている。具体的には、特許文献１に記載の物体認識装置は、今回の処理時刻において、前回の処理時刻から今回の処理時刻までの期間に受信された物体データごとに関連時刻を関連付け、このような物体データを処理することによって、今回の処理時刻での物体の状態値を推定するように構成されている。
上述した物体認識装置の適用例として、自動運転システム等の車両制御システムが挙げられる。車両制御システムは、物体認識装置が物体を認識した結果を用いて、自動ブレーキ、車間維持制御などの様々な車両制御を行うように構成されている。
特許第６１６９１４６号公報
ここで、特許文献１では、関連時刻が同じ複数の物体データからなる検出データ群に含まれる全ての物体データを物体認識装置が受信するタイミングと、物体認識装置がデータ処理を開始するタイミングとの関係について特に言及されていない。したがって、このような関係を考慮して、物体認識装置の構成をより工夫する余地がある。
本発明は、上記を鑑みてなされたものであり、関連時刻が同じ複数の物体データからなる検出データ群に含まれる全ての物体データが受信されるタイミングと、データ処理が開始されるタイミングとの関係を考慮した物体認識装置および物体認識方法を得ることを目的とする。
本発明における物体認識装置は、関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した検出データ群に含まれる複数の物体データに個別に対応する各物体の航跡データを生成する物体認識装置であって、センサから検出データ群を受信し、受信した検出データ群に関連時刻を関連付けるデータ受信部と、各物体について、関連時刻における航跡データの予測値である予測データを生成する予測処理部と、各物体について、関連時刻における物体データと関連時刻における予測データとを個別に対応付ける相関処理部と、各物体について、関連時刻における対応する物体データおよび予測データを用いて、関連時刻における航跡データを生成する更新処理部と、を備え、相関処理部は、今回の処理時刻において、検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、相関決定可能とみなされた物体データと予測データとを個別に対応付けし、相関決定可能とみなされなかった物体データを保留物体データとし、今回の処理時刻以降の次回の処理時刻において、検出データ群の中の残りの物体データが受信されている状態であれば、残りの物体データとともに保留物体データと、予測データとを個別に対応付けするものである。
本発明における物体認識方法は、関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した検出データ群に含まれる複数の物体データに個別に対応する各物体の航跡データを生成する物体認識方法であって、センサから検出データ群を受信し、受信した検出データ群に関連時刻を関連付けるデータ受信ステップと、各物体について、関連時刻における航跡データの予測値である予測データを生成する予測処理ステップと、各物体について、関連時刻における物体データと関連時刻における予測データとを個別に対応付ける相関処理ステップと、各物体について、関連時刻における対応する物体データおよび予測データを用いて、関連時刻における航跡データを生成する更新処理ステップと、を備え、相関処理ステップでは、今回の処理時刻において、検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、相関決定可能とみなされた物体データと予測データとを個別に対応付けし、相関決定可能とみなされなかった物体データを保留物体データとし、今回の処理時刻以降の次回の処理時刻において、検出データ群の中の残りの物体データが受信されている状態であれば、残りの物体データとともに保留物体データと、予測データとを個別に対応付けするものである。
本発明によれば、関連時刻が同じ複数の物体データからなる検出データ群に含まれる全ての物体データが受信されるタイミングと、データ処理が開始されるタイミングとの関係を考慮した物体認識装置および物体認識方法を得ることができる。
本発明の実施の形態１における物体認識装置を備えた車両制御システムの構成を示すブロック図である。 本発明の実施の形態１における物体認識装置が検出データ群に含まれる全ての物体データを受信するタイミングと、物体認識装置がデータ処理を開始するタイミングとの関係を示す説明図である。 本発明の実施の形態１における物体認識装置によって行われるデータ処理の一連の動作を示すフローチャートである。 本発明の実施の形態１における物体データの受信と相関決定の第１のパターンを示す説明図である。 本発明の実施の形態１における物体データの受信と相関決定の第２のパターンを示す説明図である。 本発明の実施の形態１における物体データの受信と相関決定の第３のパターンを示す説明図である。 本発明の実施の形態１における物体データの受信と相関決定の第４のパターンを示す説明図である。 本発明の実施の形態１における物体データの受信と相関決定の第５のパターンを示す説明図である。 本発明の実施の形態１における物体データの受信と相関決定の第６のパターンを示す説明図である。 本発明の実施の形態２における物体認識装置によって行われるデータ処理の一連の動作を示すフローチャートである。
以下、本発明による物体認識装置および物体認識方法を、好適な実施の形態にしたがって図面を用いて説明する。なお、図面の説明においては、同一部分または相当部分には同一符号を付し、重複する説明を省略する。
実施の形態１．
図１は、本発明の実施の形態１における物体認識装置３を備えた車両制御システムの構成を示すブロック図である。
図１において、車両制御システムは、Ｎ個（Ｎは２以上の整数）のセンサ１と、車両情報センサ２と、物体認識装置３と、情報報知装置４と、車両制御装置５とを備える。なお、図１では、Ｎ個のセンサ１の符号「１」の末尾にそれぞれ（１），・・・，（Ｎ）を付して、Ｎ個のセンサ１を区別して表記している。
センサ１は、自車に搭載されている。センサ１は、検出可能な範囲に存在する自車周辺の物体に関する情報を、物体データとして検出し、その物体データを物体認識装置３に送信する。物体データには、例えば、物体までの距離、物体の方位角または物体の相対速度等の物体に関する情報が含まれる。
センサ１として、例えば、物体から放射された光、電磁波等の検出波を受信し、受信した検出波に対して信号処理、画像処理等の処理が行われることで、その物体に関する情報を検出するタイプのセンサを用いればよい。センサ１として、物体に検出波を照射し、その物体から反射した検出波を受信し、受信した検出波に対して処理が行われることで、その物体に関する情報を検出するタイプのセンサを用いてもよい。具体的には、センサ１として、例えば、ミリ波レーダ、レーザレーダ、超音波センサ、赤外線センサ、光学カメラ等を用いることができる。
センサ１の自車への搭載位置、およびセンサ１の検出範囲は、既知であるものとする。また、センサ１の自車への搭載位置等は任意に設定することができる。
センサ１によって検出される物体データの数は、そのセンサ１の検出範囲に存在する物体の数と同数である。すなわち、センサ１において、検出範囲に１つの物体が存在する場合、センサ１によって検出される物体データの数は１である。また、センサ１において、検出範囲に複数の物体が存在する場合、センサ１によって検出される物体データの数は、その検出範囲に存在する複数の物体の数と同数である。
車両情報センサ２は、自車に関する情報を自車データとして検出し、その自車データを物体認識装置３に送信する。なお、自車データには、例えば、自車の速度、車輪速、ステアリング角、ヨーレート等の情報が含まれる。車両情報センサ２は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いて、自車の緯度、経度または進行方向を、自車データとして検出するように構成されていてもよい。
物体認識装置３は、関連時刻が同じである複数の物体データからなる検出データ群をセンサ１から受信し、受信した検出データ群に含まれる複数の物体データに個別に対応する各物体の航跡データを生成する。
物体認識装置３は、時刻計測部３１、データ受信部３２、データ記憶部３３、予測処理部３４、相関処理部３５および更新処理部３６を備える。物体認識装置３は、例えば、演算処理を実行するマイクロコンピュータと、プログラムデータ、固定値データ等のデータを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、格納されているデータを更新して順次書き換えられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、データを送受信する通信機と、時間を計測するタイマによって実現される。
時刻計測部３１は、物体認識装置３において時刻を計測する。データ受信部３２は、Ｎ個のセンサ１のそれぞれから物体データを受信し、車両情報センサ２から自車データを受信する。データ受信部３２は、必要に応じて、自車データを用いて、物体データを加工する。データ受信部３２は、物体データの送信元であるセンサ１によってその物体データが検出された時刻である関連時刻を確定し、確定した関連時刻を、その物体データに関連付ける。なお、関連時刻を確定する具体的な方法は、特許文献１に開示されている。
このように、データ受信部３２は、センサ１から検出データ群を受信し、受信した検出データ群に含まれる物体データに関連時刻を関連付ける。データ受信部３２は、関連時刻を関連付けた物体データを、相関処理部３５および予測処理部３４にそれぞれ出力する。
ここで、関連時刻が同じ複数の物体データからなる検出データ群に含まれる全ての物体データを物体認識装置３が受信するタイミングと、物体認識装置３がデータ処理を開始するタイミングとの関係について、図２を参照しながら説明する。図２は、本発明の実施の形態１における物体認識装置３が検出データ群に含まれる全ての物体データを受信するタイミングと、物体認識装置３がデータ処理を開始するタイミングとの関係を示す説明図である。
なお、図２では、物体認識装置３がデータ処理を開始する時刻（以下、処理時刻と称す）Ｔｋの一例として、処理時刻Ｔ０〜Ｔ４が図示されている。また、図２では、或る１つのセンサ１が、検出範囲に存在する５つの物体＃１〜＃５に個別に対応する５つの物体データ＃１〜＃５を同じ時刻に検出し、検出した物体データ＃１〜＃５からなる検出データ群をデータ受信部３２に送信する一連の処理を繰り返し行う場合を例示している。
さらに、図２では、対応する関連時刻がそれぞれ異なる複数の検出データ群Ｇの一例として、Ｇ１〜Ｇ４が図示されている。検出データ群Ｇ１は、関連時刻Ｔｓ１に対応する物体データ＃１〜＃５からなる。検出データ群Ｇ２は、関連時刻Ｔｓ２に対応する物体データ＃１〜＃５からなる。検出データ群Ｇ３は、関連時刻Ｔｓ３に対応する物体データ＃１〜＃５からなる。検出データ群Ｇ４は、関連時刻Ｔｓ４に対応する物体データ＃１〜＃５からなる。
センサ１は、同じ時刻に検出した物体データ＃１〜＃５からなる検出データ群Ｇを物体認識装置３に送信する。特に、センサ１は、ＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）などの車載ネットワークを介して物体認識装置３にデータ送信を行うように構成される場合、センサ１は、物体単位でＣＡＮフレームまたはＩＰパケットを構成し、物体ごとに物体データを送信する。具体的には、図２に示すように、センサ１は、検出データ群Ｇを送信する際、この群に含まれる物体データ＃１〜＃５を１つずつ順番にデータ受信部３２に送信する。
このように、センサ１は、検出データ群Ｇを送信する際に、物体データ＃１〜＃５を１つずつ順番に送信すると、データ受信部３２は、これらの物体データ＃１〜＃５を１つずつ順番に受信する。データ受信部３２は、受信したこれらの物体データ＃１〜＃５に同じ関連時刻を関連付ける。
上述の場合、第１のケースとして、処理時刻Ｔｋよりも先に検出データ群Ｇに含まれる全ての物体データ＃１〜＃５が受信された状態となっているケースが考えられる。このケースでは、検出データ群Ｇの中の処理時刻Ｔｋよりも先に受信した物体データ＃１〜＃５は、処理時刻Ｔｋで関連時刻と関連付けられる。
第１のケースの具体例では、図２に示すように、処理時刻Ｔ１よりも先に検出データ群Ｇ１に含まれる全ての物体データ＃１〜＃５が受信されている。この場合、物体データ＃１〜＃５は、処理時刻Ｔ１で関連時刻Ｔｓ１と関連付けられる。
第２のケースとして、処理時刻Ｔｋよりも先に検出データ群Ｇに含まれる全ての物体データ＃１〜＃５が受信されていない状態となっているケースが考えられる。このケースでは、検出データ群Ｇの中の処理時刻Ｔｋよりも先に受信した物体データは、処理時刻Ｔｋで関連時刻と関連付けられ、検出データ群Ｇの中の処理時刻Ｔｋよりも後で受信した残りの物体データは、処理時刻Ｔｋよりも後の処理時刻で関連時刻と関連付けられる。
第２のケースの具体例では、図２に示すように、処理時刻Ｔ２よりも先に検出データ群Ｇ２に含まれる物体データ＃１〜＃３が受信され、処理時刻Ｔ２よりも後に検出データ群Ｇ２に含まれる残りの物体データ＃４，＃５が受信されている。この場合、物体データ＃１〜＃３は、処理時刻Ｔ２で関連時刻Ｔｓ２と関連付けられ、物体データ＃４，＃５は、処理時刻Ｔ３で関連時刻Ｔｓ２と関連付けられる。
ここで、比較例として、図２に示す状況において、今回の処理時刻Ｔｋにおいて、或るセンサから送信される検出データ群の中の全ての物体データが受信されていなければ、全ての物体データが受信されるまで、この検出データ群の処理が待機される場合を考える。この場合、検出データ群の中の全ての物体データが受信された以降の処理時刻において、この検出データ群の処理が開始される。
したがって、このような比較例では、検出データ群の中の全ての物体データが受信されるまで待機となるので、この検出データ群の処理が遅れ、結果として、物体認識装置３の出力の応答性が低下することが考えられる。このような出力の応答性の低下が発生すると、緊急自動ブレーキなどの予防安全システムの動作が遅れる可能性がある。
そこで、本実施の形態１では、物体認識装置は、今回の処理時刻Ｔｋにおいて、検出データ群の中の一部の物体データが受信された場合であっても、全ての物体データの受信が完了するまで待機することなく、航跡データが更新されるように構成されている。したがって、物体認識装置３の出力の応答性を確保することができる。
図１の説明に戻り、データ記憶部３３は、必要に応じて、データ受信部３２が受信した物体データを記憶する。
予測処理部３４は、後述する更新処理部３６によって出力される航跡データと、データ受信部３２から入力される関連時刻を入力として、その関連時刻における航跡データを予測し、その予測結果を予測データとして生成する。なお、関連時刻における航跡データを予測する方法としては、公知の技術を適用すればよく、ここでは当該方法の詳細な説明を省略する。
なお、航跡データには、センサ１によって検出された物体の状態値が含まれる。物体の状態値とは、センサ１によって検出された物体の位置、速度、加速度、種別等の情報である。
相関処理部３５は、データ受信部３２によって出力される物体データと、予測処理部３４によって出力される予測データを入力として、物体データと予測データの対応関係を決定する。相関処理部３５は、決定した対応関係とともに、物体データと予測データとをまとめた相関データを更新処理部３６に出力する。
更新処理部３６は、相関処理部３５によって出力される相関データを入力として、相関データに含まれる、対応する物体データおよび予測データを用いて、航跡データを更新する。更新処理部３６は、その航跡データを予測処理部３４、情報報知装置４および車両制御装置５に出力する。
情報報知装置４は、更新処理部３６によって出力される航跡データを入力として、その航跡データに従って情報を視覚的ないし聴覚的に報知する。例えば、情報報知装置４は、航跡データから、自車と前方車両との衝突を予想した場合、警報器が警報を鳴らすように制御したり、ディスプレイがその旨を表示するように制御したりする。
車両制御装置５は、更新処理部３６によって出力される航跡データを入力として、その航跡データに従って車両の動作を制御する。例えば、車両制御装置５は、航跡データから、自車と前方車両との衝突を回避できないと判断した場合、ブレーキを作動させる制御を行う。
次に、本実施の形態１における物体認識装置３によって行われるデータ処理の動作について、図３を参照しながら説明する。図３は、本発明の実施の形態１における物体認識装置３によって行われるデータ処理の一連の動作を示すフローチャートである。なお、物体認識装置３は、或る動作周期で、以下の動作を繰り返し行う。図３では、上述した処理時刻Ｔｋでデータ処理が開始される場合について示している。
ステップＳ１０１において、データ受信部３２は、各センサ１について、前回の処理時刻Ｔｋ−１から今回の処理時刻Ｔｋまでの間に受信した物体データをチェックする。その後、処理がステップＳ１０２へと進む。
ステップＳ１０２において、データ受信部３２は、各センサ１について、以下の関連時刻確定処理を行い、その後、処理がステップＳ１０３へと進む。
すなわち、データ受信部３２は、検出データ群Ｇの中で、時系列的に最も先に受信した先頭の物体データに関連付ける関連時刻を確定する。データ受信部３２は、確定した関連時刻をその先頭の物体データに関連付ける。データ受信部３２は、検出データ群Ｇの中の受信した残りの物体データにも先頭の物体データと同じ関連時刻を関連付ける。
以下のステップＳ１０３〜ステップＳ１１３の一連の処理は、各センサ１について行われる。このような処理は、例えば、処理時刻Ｔｋ−１から処理時刻Ｔｋまでの間に受信した物体データの中の、対応する関連時刻が古い物体データを送信したセンサ１から順番に行われる。
ステップＳ１０３において、データ受信部３２は、「使用済」にマークされていない物体データ、すなわち、未使用の物体データが存在するか否かを判定する。なお、未使用の物体データとしては、「使用済」および「保留中」のいずれにもマークされていない物体データ（以下、未マーク物体データと称す）と、「保留中」にのみマークされている物体データ（以下、保留物体データと称す）とが挙げられる。
ステップＳ１０３での判定の結果、未使用の物体データが存在すると判定された場合には、処理がステップＳ１０４へと進み、そうでないと判定された場合には、処理が終了となる。なお、処理時刻Ｔｋ−１から処理時刻Ｔｋまでの間に受信した物体データは、全て未マーク物体データである。
ステップＳ１０４において、予測処理部３４は、各物体について、以下の予測処理を行い、その後、処理がステップＳ１０５へと進む。
すなわち、予測処理部３４は、未使用の物体データに対応する今回の関連時刻よりも前の前回の関連時刻における航跡データを用いて、今回の関連時刻における航跡データの予測値である予測データを生成する。
このように、予測処理部３４は、各物体について、関連時刻における航跡データの予測値である予測データを生成する。
ステップＳ１０５において、データ受信部３２は、検出データ群Ｇの中の物体データを全て受信したか否かを判定する。その判定の結果、検出データ群Ｇの中の物体データを全て受信したと判定された場合には、処理がステップＳ１０６へと進み、そうでないと判定された場合には、処理がステップＳ１０９へと進む。
ここで、検出データ群に含まれる全ての物体データを受信したか否かを判定する方法としては、以下の例が挙げられる。
第１の例として、データ受信部３２は、検出データ群に含まれる物体データの数が固定であることが前提である場合、検出データ群に含まれる最後に送信される物体データを受信したか否かの結果によって、上記の判定を行う。すなわち、データ受信部３２は、検出データ群に含まれる最後に送信される物体データを受信していれば、検出データ群に含まれる全ての物体データを受信したと判定する。一方、データ受信部３２は、検出データ群に含まれる最後に送信される物体データを受信していなければ、検出データ群に含まれる全ての物体データを受信していないと判定する。
第２の例として、検出データ群に含まれる物体データの数が可変であることが前提である場合、センサ１は、検出データ群を送信する前に、その検出データ群に含まれる物体データの数であるデータ数を示すデータを最初に送信する。データ受信部３２は、データ数を示すデータを最初に受信し、そのデータ数の分だけ物体データを受信したか否かの結果によって、上記の判定を行う。すなわち、データ受信部３２は、データ数の分だけ物体データを受信していれば、検出データ群に含まれる全ての物体データを受信したと判定する。一方、データ受信部３２は、データ数の分だけ物体データを受信していなければ、検出データ群に含まれる全ての物体データを受信していないと判定する。
第３の例として、センサ１は、検出データ群に含まれる最後に送信する物体データにフラグを付与する。データ受信部３２は、フラグが付与された物体データを受信したか否かの結果によって、上記の判定を行う。すなわち、データ受信部３２は、フラグが付与された物体データを受信していれば、検出データ群に含まれる全ての物体データを受信したと判定する。一方、データ受信部３２は、フラグが付与された物体データを受信していなければ、検出データ群に含まれる全ての物体データを受信していないと判定する。
ステップＳ１０６において、相関処理部３５は、各物体について、以下の相関決定を行い、その後、処理がステップＳ１０７へと進む。
すなわち、相関処理部３５は、関連時刻における物体データと関連時刻における予測データとを個別に対応付けることで、物体データと予測データとの対応関係を決定する。
なお、相関処理部３５は、物体データと予測データとの対応関係を、例えば、ＳＮＮ（Ｓｉｍｐｌｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）アルゴリズム、ＭＨＴ（Ｍｕｌｔｉｐｌｅ Ｈｙｐｏｔｈｅｓｉｓ Ｔｒａｃｋｉｎｇ）アルゴリズム、ＧＮＮ（Ｇｌｏｂａｌ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）アルゴリズム、ＪＰＤＡ（Ｊｏｉｎｔ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）アルゴリズムなどを用いて決定する。
このように、相関処理部３５は、各物体について、関連時刻における物体データと関連時刻における予測データとを個別に対応付ける。
ステップＳ１０７において、更新処理部３６は、各物体について、ステップＳ１０６で対応関係を決定した物体データおよび予測データを用いて、以下の更新処理を行い、その後、処理がステップＳ１０８へと進む。
すなわち、更新処理部３６は、対応する物体データおよび予測データを用いて、前回の関連時刻における航跡データを更新することで、今回の関連時刻における航跡データを生成する。
なお、更新処理部３６は、例えば、最小二乗法、カルマンフィルタ、粒子フィルタなどを用いて、航跡データを更新する。
このように、更新処理部３６は、各物体について、関連時刻における対応する物体データおよび予測データを用いて、関連時刻における航跡データを生成する。
ステップＳ１０８において、データ受信部３２は、未使用の物体データを「使用済」にマークする。その後、処理がステップＳ１０３へと戻る。
ステップＳ１０９において、相関処理部３５は、未使用の物体データの中で、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類する。その後、処理がステップＳ１１０へと進む。
ここで、物体データについて、相関決定可能であるとみなす方法としては、以下の例が挙げられる。
すなわち、第１の例（１）として、相関処理部３５は、予測データに対応する通常のゲートよりも小さい小ゲートを設定し、小ゲート内に入る物体データを、相関決定可能であるとみなす。このような小ゲート内に物体データが入れば、後で残りの物体データを受信しても相関結果が変わらないので、小ゲート内に入った物体データが相関決定可能とみなされる。なお、小ゲートの大きさは、航跡データの予測値、すなわち、予測データに含まれる物体の大きさ情報から決定される。
図４Ａ〜図４Ｆは、本発明の実施の形態１における物体データの受信と相関決定の第１〜第６のパターンを示す説明図である。図４Ａに示すパターンは、処理時刻Ｔｋよりも先に受信した物体データが小ゲート内にあり、処理時刻Ｔｋよりも後で受信する物体データが小ゲート外にあるパターンである。図４Ｂは、処理時刻Ｔｋよりも先に受信した物体データと、処理時刻Ｔｋよりも後で受信する物体データとがともに小ゲート内にあり、先に受信した物体データの方が予測データに近いパターンである。
図４Ｃは、処理時刻Ｔｋよりも先に受信した物体データと、処理時刻Ｔｋよりも後で受信する物体データとがともに小ゲート内にあり、後で受信する物体データの方が予測データに近いパターンである。図４Ｄは、処理時刻Ｔｋよりも先に受信した物体データが小ゲート外にあり、処理時刻Ｔｋよりも後で受信する物体データが小ゲート内にあるパターンである。
図４Ｅは、処理時刻Ｔｋよりも先に受信した物体データと、処理時刻Ｔｋよりも後で受信する物体データとがともに小ゲート外にあり、先に受信した物体データの方が予測データに近いパターンである。図４Ｆは、処理時刻Ｔｋよりも先に受信した物体データと、処理時刻Ｔｋよりも後で受信する物体データとがともに小ゲート外にあり、後で受信する物体データの方が予測データに近いパターンである。
図４Ａ〜図４Ｃに示すパターンでは、先に受信した物体データと予測データとの相関は、後で受信する物体データを受信する前に決定される。結果として、図４Ｃに示すパターンでは、相関が間違っている。ただし、小ゲートが十分小さければ、先に受信した物体データと後で受信する物体データとのいずれと相関しても、航跡データの精度に与える影響を無視できる。要すれば、以下の第２の例（２）〜第５の例（５）の少なくとも１つと組み合わせることで、相関の間違いが回避される。
一方、図４Ｄ〜図４Ｆに示すパターンでは、先に受信した物体データが小ゲート内にないので、後で受信する物体データを受信するのを待ってから、予測データとの相関が決定される。この場合、相関が間違っていることがないものの、両方の物体データが受信されるまでは、相関決定が保留される。
第２の例（２）として、相関処理部３５は、予測データに含まれるＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と、受信した物体データに含まれるＩＤとが同じであれば、その物体データが相関決定可能であるとみなす。例えば、各センサで管理しているトラッキング結果が利用される。このように、相関処理部３５は、予測データに含まれるＩＤと同じＩＤを含む物体データを、相関決定が可能であるとみなす。
第３の例（３）として、相関処理部３５は、予測データに含まれる物体種別と、受信した物体データに含まれる物体種別とが同じであれば、その物体データが相関決定可能であるとみなす。物体種別としては、例えば、車、歩行者などが挙げられる。このように、相関処理部３５は、予測データに含まれる種別と同じ種別を含む物体データを、相関決定が可能であるとみなす。
第４の例（４）として、後段システムにとって重要度の高い場合、例えば車間維持制御で追従中であるなどの場合、相関処理部３５は、受信した物体データが相関決定可能であるとみなす。例えば、相関処理部３５は、予測データに対応する物体から自車までの距離が設定閾値以内である物体データを、相関決定が可能であるとみなす。また、例えば、相関処理部３５は、予測データに対応する物体に自車が衝突するまでの衝突予測時間が設定閾値以内である物体データを、相関決定可能であるとみなす。さらに、例えば、相関処理部３５は、自車に搭載される車両制御装置のシステム優先度が設定閾値以上である物体データ、相関決定可能であるとみなす。
第５の例（５）として、相関処理部３５は、識別結果、センサ種類、物体データ信頼度、物体データ検出時間および補間回数のいずれかに基づいて、受信した物体データを、相関決定可能とみなす。例えば、識別結果が車である場合、センサ種類が光学カメラである場合、または、物体データ信頼度が設定閾値以上である場合、相関処理部３５は、物体データを相関決定可能とみなす。
このように、相関処理部３５は、今回の処理時刻Ｔｋにおいて、検出データ群Ｇの中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類する。
ステップＳ１１０において、各物体について、ステップＳ１０６と同様に以下の相関決定を行う。その後、処理がステップＳ１１１へと進む。
すなわち、相関処理部３５は、相関決定可能とみなされた物体データと、予測データとを個別に対応付けることで、物体データと予測データとの対応関係を決定する。
このように、相関処理部３５は、相関決定可能とみなされた物体データと予測データとを個別に対応付けする。また、相関処理部３５は、相関決定可能とみなされなかった物体データを保留物体データとする。今回の処理時刻Ｔｋ以降の次回の処理時刻において、検出データ群Ｇの中の残りの物体データが受信されている状態であれば、残りの物体データとともに保留物体データと、予測データとを個別に対応付けする。
ステップＳ１１１において、更新処理部３６は、各物体について、ステップＳ１１０で対応関係を決定した物体データおよび予測データを用いて、ステップＳ１０７と同様に以下の更新処理を行う。その後、処理がステップＳ１１２へと進む。
すなわち、更新処理部３６は、対応する物体データおよび予測データを用いて、前回の関連時刻における航跡データを更新することで、今回の関連時刻における航跡データを生成する。
ステップＳ１１２において、データ受信部３２は、ステップＳ１０９で相関決定可能とみなされた物体データを「使用済」にマークする。その後、処理がステップＳ１１３へと進む。
ステップＳ１１３において、データ受信部３２は、ステップＳ１０９で相関決定可能とみなされなかった物体データを「保留中」にマークする。データ記憶部３３は、「保留中」にマークされている物体データを記憶する。その後、処理がステップＳ１０３へと戻る。なお、データ受信部３２は、今回の処理時刻Ｔｋよりも後に、データ記憶部３３が記憶する保留物体データと関連時刻が同じ物体データを受信すれば、その保留物体データが相関処理部３５に入力される。
以上、本実施の形態１によれば、物体認識装置は、今回の処理時刻において、検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類するように構成されている。また、物体認識装置は、相関決定可能とみなされた物体データと予測データとを個別に対応付けし、相関決定可能とみなされなかった物体データを保留物体データとするように構成されている。さらに、物体認識装置は、今回の処理時刻以降の次回の処理時刻において、検出データ群の中の残りの物体データが受信されている状態であれば、残りの物体データとともに保留物体データと、予測データとを個別に対応付けするように構成されている。
これにより、関連時刻が同じ複数の物体データからなる検出データ群に含まれる全ての物体データが受信されるタイミングと、データ処理が開始されるタイミングとの関係を考慮して、航跡データを生成することができる。
実施の形態２．
本発明の実施の形態２では、先の実施の形態１に対して、データ処理の方法が異なる物体認識装置３について説明する。なお、本実施の形態２では、先の実施の形態１と同様である点の説明を省略し、先の実施の形態１と異なる点を中心に説明する。
図５は、本発明の実施の形態２における物体認識装置３によって行われるデータ処理の一連の動作を示すフローチャートである。
ここで、本実施の形態２における物体認識装置３は、検出データ群に含まれる全ての物体データを受信していない場合、先の実施の形態１と同様の処理を行う。ただし、相関決定は仮のものとする。また、物体認識装置３は、検出データ群に含まれる全ての物体データを受信した場合、仮決定した相関に関わらず、改めて全ての物体データを用いて相関決定する。つまり、物体認識装置３は、二重系の処理を行う。
ステップＳ２０１〜ステップＳ２０５の処理は、先の図３のステップＳ１０１〜ステップＳ１０５の処理と同様である。
ステップＳ２０６において、相関処理部３５は、各物体について、以下の相関決定を行い、その後、処理がステップＳ２０７へと進む。
すなわち、相関処理部３５は、物体データと予測データとを個別に対応付けることで、物体データと予測データとの対応関係を決定する。仮決定した相関から変更がない場合、具体的には、予測データのゲート内に複数の物体データが入らなかった場合などでは、該当する物体データと航跡データは仮決定のままとすることで処理負荷を低減できる。
ステップＳ２０７の処理は、先の図３のステップＳ１０７の処理と同様である。
ステップＳ２０８において、相関処理部３５は、未使用の物体データの中で、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類する。その後、処理がステップＳ２０９へと進む。
このように、相関処理部３５は、今回の処理時刻Ｔｋにおいて、検出データ群Ｇの中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類する。
ステップＳ２０９において、各物体について、以下の相関仮決定を行い、その後、処理がステップＳ２１０へと進む。
すなわち、相関処理部３５は、相関決定可能とみなされた物体データと、予測データとを個別に対応付けることで、物体データと予測データとの対応関係を仮決定する。
このように、相関処理部３５は、相関決定可能とみなされた物体データと予測データとを個別に仮に対応付けする。また、相関処理部３５は、今回の処理時刻Ｔｋ以降の次回の処理時刻において、検出データ群Ｇの中の残りの物体データが受信されている状態であれば、検出データ群の中の全ての物体データと、予測データとを個別に対応付けする。
ステップＳ２１０の処理は、先の図３のステップＳ１１１の処理と同様である。
以上、本実施の形態２によれば、物体認識装置は、今回の処理時刻において、検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類するように構成されている。また、物体認識装置は、相関決定可能とみなされた物体データと予測データとを個別に仮に対応付けするように構成されている。さらに、物体認識装置は、今回の処理時刻以降の次回の処理時刻において、検出データ群の中の残りの物体データが受信されている状態であれば、検出データ群の中の全ての物体データと、予測データとを個別に対応付けするように構成されている。このように構成した場合であっても、先の実施の形態１と同様の効果が得られる。
なお、実施の形態では、センサ１の個数が複数である場合を例示したが、これに限定されず、センサ１の個数が単数であっても、本発明が成立する。
１ センサ、２ 車両情報センサ、３ 物体認識装置、４ 情報報知装置、５ 車両制御装置、３１ 時刻計測部、３２ データ受信部、３３ データ記憶部、３４ 予測処理部、３５ 相関処理部、３６ 更新処理部。
本発明における物体認識装置は、関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した検出データ群に含まれる複数の物体データに個別に対応する各物体の航跡データを生成する物体認識装置であって、センサから検出データ群を受信し、受信した検出データ群に関連時刻を関連付けるデータ受信部と、各物体について、関連時刻における航跡データの予測値を含む予測データを生成する予測処理部と、各物体について、関連時刻における物体データと関連時刻における予測データとを個別に対応付ける相関処理部と、各物体について、関連時刻における対応する物体データおよび予測データを用いて、関連時刻における航跡データを生成する更新処理部と、を備え、相関処理部は、今回の処理時刻において、検出データ群の中の全ての物体データがデータ受信部で受信されておらず、一部の物体データがデータ受信部で受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、相関決定可能とみなされた物体データと予測データとを個別に対応付けし、相関決定可能とみなされなかった物体データを保留物体データとし、今回の処理時刻以降の次回の処理時刻において、検出データ群の中の残りの物体データがデータ受信部で受信されている状態であれば、残りの物体データとともに保留物体データと、予測データとを個別に対応付けするものである。
本発明における物体認識方法は、関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した検出データ群に含まれる複数の物体データに個別に対応する各物体の航跡データを生成する物体認識方法であって、センサから検出データ群を受信し、受信した検出データ群に関連時刻を関連付けるデータ受信ステップと、各物体について、関連時刻における航跡データの予測値を含む予測データを生成する予測処理ステップと、各物体について、関連時刻における物体データと関連時刻における予測データとを個別に対応付ける相関処理ステップと、各物体について、関連時刻における対応する物体データおよび予測データを用いて、関連時刻における航跡データを生成する更新処理ステップと、を備え、相関処理ステップでは、今回の処理時刻において、検出データ群の中の全ての物体データがデータ受信ステップで受信されておらず、一部の物体データがデータ受信ステップで受信されている状態であれば、一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、相関決定可能とみなされた物体データと予測データとを個別に対応付けし、相関決定可能とみなされなかった物体データを保留物体データとし、今回の処理時刻以降の次回の処理時刻において、検出データ群の中の残りの物体データがデータ受信ステップで受信されている状態であれば、残りの物体データとともに保留物体データと、予測データとを個別に対応付けするものである。

Claims (10)

  1. 関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した前記検出データ群に含まれる前記複数の物体データに個別に対応する各物体の航跡データを生成する物体認識装置であって、
    前記センサから前記検出データ群を受信し、受信した前記検出データ群に前記関連時刻を関連付けるデータ受信部と、
    各物体について、前記関連時刻における前記航跡データの予測値である予測データを生成する予測処理部と、
    各物体について、前記関連時刻における前記物体データと前記関連時刻における前記予測データとを個別に対応付ける相関処理部と、
    各物体について、前記関連時刻における対応する前記物体データおよび前記予測データを用いて、前記関連時刻における前記航跡データを生成する更新処理部と、
    を備え、
    前記相関処理部は、
    今回の処理時刻において、前記検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、前記一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、前記相関決定可能とみなされた物体データと前記予測データとを個別に対応付けし、前記相関決定可能とみなされなかった物体データを保留物体データとし、
    前記今回の処理時刻以降の次回の処理時刻において、前記検出データ群の中の残りの物体データが受信されている状態であれば、前記残りの物体データとともに前記保留物体データと、前記予測データとを個別に対応付けする
    物体認識装置。
  2. 関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した前記検出データ群に含まれる前記複数の物体データに個別に対応する各物体の航跡データを生成する物体認識装置であって、
    前記センサから前記検出データ群を受信し、受信した前記検出データ群に前記関連時刻を関連付けるデータ受信部と、
    各物体について、前記関連時刻における前記航跡データの予測値である予測データを生成する予測処理部と、
    各物体について、前記関連時刻における前記物体データと前記関連時刻における前記予測データとを個別に対応付ける相関処理部と、
    各物体について、前記関連時刻における対応する前記物体データおよび前記予測データを用いて、前記関連時刻における前記航跡データを生成する更新処理部と、
    を備え、
    前記相関処理部は、
    今回の処理時刻において、前記検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、前記一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、前記相関決定可能とみなされた物体データと前記予測データとを個別に仮に対応付けし、
    前記今回の処理時刻以降の次回の処理時刻において、前記検出データ群の中の残りの物体データが受信されている状態であれば、前記検出データ群の中の全ての物体データと、前記予測データとを個別に対応付けする
    物体認識装置。
  3. 前記相関処理部は、
    前記予測データに対応する通常のゲートよりも小さい小ゲートを設定し、前記小ゲート内に入る物体データを、相関決定が可能であるとみなす
    請求項１または２に記載の物体認識装置。
  4. 前記相関処理部は、
    前記予測データに含まれる物体の大きさ情報から、前記小ゲートを設定する
    請求項３に記載の物体認識装置。
  5. 前記相関処理部は、
    前記予測データに含まれるＩＤと同じＩＤを含む物体データを、相関決定が可能であるとみなす
    請求項１から４のいずれか１項に記載の物体認識装置。
  6. 前記相関処理部は、
    前記予測データに含まれる種別と同じ種別を含む物体データを、相関決定が可能であるとみなす
    請求項１から５のいずれか１項に記載の物体認識装置。
  7. 前記相関処理部は、
    前記予測データに対応する物体から自車までの距離が設定閾値以内である、前記予測データに対応する物体に前記自車が衝突するまでの衝突予測時間が設定閾値以内である、あるいは、前記自車に搭載される車両制御装置のシステム優先度が設定閾値以上である、物体データを、相関決定が可能であるとみなす
    請求項１から６のいずれか１項に記載の物体認識装置。
  8. 前記相関処理部は、
    物体種類識別結果、センサ種類、物体データ信頼度、物体データ検出時間および補間回数のいずれかに基づいて、物体データを、相関決定が可能であるとみなす
    請求項１から７のいずれか１項に記載の物体認識装置。
  9. 関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した前記検出データ群に含まれる前記複数の物体データに個別に対応する各物体の航跡データを生成する物体認識方法であって、
    前記センサから前記検出データ群を受信し、受信した前記検出データ群に前記関連時刻を関連付けるデータ受信ステップと、
    各物体について、前記関連時刻における前記航跡データの予測値である予測データを生成する予測処理ステップと、
    各物体について、前記関連時刻における前記物体データと前記関連時刻における前記予測データとを個別に対応付ける相関処理ステップと、
    各物体について、前記関連時刻における対応する前記物体データおよび前記予測データを用いて、前記関連時刻における前記航跡データを生成する更新処理ステップと、
    を備え、
    前記相関処理ステップでは、
    今回の処理時刻において、前記検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、前記一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、前記相関決定可能とみなされた物体データと前記予測データとを個別に対応付けし、前記相関決定可能とみなされなかった物体データを保留物体データとし、
    前記今回の処理時刻以降の次回の処理時刻において、前記検出データ群の中の残りの物体データが受信されている状態であれば、前記残りの物体データとともに前記保留物体データと、前記予測データとを個別に対応付けする
    物体認識方法。
  10. 関連時刻が同じである複数の物体データからなる検出データ群をセンサから受信し、受信した前記検出データ群に含まれる前記複数の物体データに個別に対応する各物体の航跡データを生成する物体認識方法であって、
    前記センサから前記検出データ群を受信し、受信した前記検出データ群に前記関連時刻を関連付けるデータ受信ステップと、
    各物体について、前記関連時刻における前記航跡データの予測値である予測データを生成する予測処理ステップと、
    各物体について、前記関連時刻における前記物体データと前記関連時刻における前記予測データとを個別に対応付ける相関処理ステップと、
    各物体について、前記関連時刻における対応する前記物体データおよび前記予測データを用いて、前記関連時刻における前記航跡データを生成する更新処理ステップと、
    を備え、
    前記相関処理ステップでは、
    今回の処理時刻において、前記検出データ群の中の全ての物体データが受信されておらず、一部の物体データが受信されている状態であれば、前記一部の物体データについて、相関決定可能とみなすものと、相関決定可能とみなさないものとに分類し、前記相関決定可能とみなされた物体データと前記予測データとを個別に仮に対応付けし、
    前記今回の処理時刻以降の次回の処理時刻において、前記検出データ群の中の残りの物体データが受信されている状態であれば、前記検出データ群の中の全ての物体データと、前記予測データとを個別に対応付けする
    物体認識方法。
JP2018102605A 2018-05-29 2018-05-29 物体認識装置および物体認識方法 Active JP6576511B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018102605A JP6576511B1 (ja) 2018-05-29 2018-05-29 物体認識装置および物体認識方法
DE112019002753.0T DE112019002753T5 (de) 2018-05-29 2019-02-06 Objekterkennungsvorrichtung und Objekterkennungsverfahren
CN201980035006.3A CN112204423B (zh) 2018-05-29 2019-02-06 物体识别装置和物体识别方法
PCT/JP2019/004204 WO2019230055A1 (ja) 2018-05-29 2019-02-06 物体認識装置および物体認識方法
US17/050,890 US11790660B2 (en) 2018-05-29 2019-02-06 Object recognition device and object recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018102605A JP6576511B1 (ja) 2018-05-29 2018-05-29 物体認識装置および物体認識方法

Publications (2)

Publication Number Publication Date
JP6576511B1 JP6576511B1 (ja) 2019-09-18
JP2019207158A true JP2019207158A (ja) 2019-12-05

Family

ID=67982857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018102605A Active JP6576511B1 (ja) 2018-05-29 2018-05-29 物体認識装置および物体認識方法

Country Status (5)

Country Link
US (1) US11790660B2 (ja)
JP (1) JP6576511B1 (ja)
CN (1) CN112204423B (ja)
DE (1) DE112019002753T5 (ja)
WO (1) WO2019230055A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021160662A (ja) * 2020-04-02 2021-10-11 三菱電機株式会社 物体認識装置および物体認識方法
JP7460499B2 (ja) 2020-10-02 2024-04-02 株式会社Soken 物体追跡装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7026734B2 (ja) * 2020-06-24 2022-02-28 三菱電機株式会社 物体認識装置、物体認識方法及び車両運転支援システム
CN113030901B (zh) * 2021-04-01 2022-09-20 中国石油大学(华东) 一种结合姿态仪与毫米波雷达的无人船前方多目标跟踪检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012163495A (ja) * 2011-02-08 2012-08-30 Hitachi Ltd センサ統合システム及びセンサ統合方法
JP2014025925A (ja) * 2012-07-24 2014-02-06 Toyota Motor Engineering & Manufacturing North America Inc 車両用コントローラ、車両システム
JP2016004014A (ja) * 2014-06-19 2016-01-12 日本電気株式会社 目標追尾装置、目標追尾方法、プログラム
US9563813B1 (en) * 2011-05-26 2017-02-07 Google Inc. System and method for tracking objects
JP6169146B2 (ja) * 2015-10-16 2017-07-26 三菱電機株式会社 物体認識統合装置および物体認識統合方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5863481B2 (ja) * 2012-01-30 2016-02-16 日立マクセル株式会社 車両用衝突危険予測装置
JP6437238B2 (ja) * 2014-08-12 2018-12-12 Ntn株式会社 後輪転舵制御装置
US9754490B2 (en) * 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
JP6194520B1 (ja) * 2016-06-24 2017-09-13 三菱電機株式会社 物体認識装置、物体認識方法および自動運転システム
US10163015B2 (en) * 2016-11-16 2018-12-25 Ford Global Technologies, Llc Detecting foliage using range data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012163495A (ja) * 2011-02-08 2012-08-30 Hitachi Ltd センサ統合システム及びセンサ統合方法
US9563813B1 (en) * 2011-05-26 2017-02-07 Google Inc. System and method for tracking objects
JP2014025925A (ja) * 2012-07-24 2014-02-06 Toyota Motor Engineering & Manufacturing North America Inc 車両用コントローラ、車両システム
JP2016004014A (ja) * 2014-06-19 2016-01-12 日本電気株式会社 目標追尾装置、目標追尾方法、プログラム
JP6169146B2 (ja) * 2015-10-16 2017-07-26 三菱電機株式会社 物体認識統合装置および物体認識統合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
亀田洋志 ほか: "広域複数レーダによる多目標追尾", 電子情報通信学会論文誌, vol. 第J83-B巻, JPN6019014001, 25 May 2000 (2000-05-25), JP, pages 726 - 738, ISSN: 0004020151 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021160662A (ja) * 2020-04-02 2021-10-11 三菱電機株式会社 物体認識装置および物体認識方法
JP7412254B2 (ja) 2020-04-02 2024-01-12 三菱電機株式会社 物体認識装置および物体認識方法
JP7460499B2 (ja) 2020-10-02 2024-04-02 株式会社Soken 物体追跡装置

Also Published As

Publication number Publication date
WO2019230055A1 (ja) 2019-12-05
CN112204423A (zh) 2021-01-08
JP6576511B1 (ja) 2019-09-18
DE112019002753T5 (de) 2021-03-04
CN112204423B (zh) 2024-03-26
US20210232829A1 (en) 2021-07-29
US11790660B2 (en) 2023-10-17

Similar Documents

Publication Publication Date Title
JP6576511B1 (ja) 物体認識装置および物体認識方法
EP2784762A1 (en) Vehicle identification device
CN107571866B (zh) 用于分析传感器数据的方法
CN109099920B (zh) 基于多传感器关联的传感器目标精确定位方法
US20120136510A1 (en) Apparatus and method for detecting vehicles using laser scanner sensors
US11210937B2 (en) Method for un-signalized intersection traffic flow management
KR20160071161A (ko) 충돌 방지 장치 및 방법
US10793145B2 (en) Object recognition device, object recognition method, and vehicle control system
CN110858453A (zh) 室内停车设施中的自主停车
US11762074B2 (en) Position calibration method for infrastructure sensor apparatus, infrastructure sensor apparatus, a non-transitory computer readable medium storing infrastructure sensor system, and position calibration program
JP2010108343A (ja) 制御対象車両判定装置
JP2009048564A (ja) 車両位置予測装置
JP2006349602A (ja) 車載レーダ装置
JP2006227690A (ja) 衝突防止装置
JP6333437B1 (ja) 物体認識処理装置、物体認識処理方法および車両制御システム
CN115497323B (zh) 基于v2x的车辆协同变道方法及设备
WO2020116266A1 (ja) 車両制御システム
JP2018112461A (ja) 確率算出装置及び確率算出方法
CN115497282B (zh) 信息处理装置、信息处理方法、以及存储介质
US10807567B2 (en) Vehicle proximity tracking
JP6809339B2 (ja) 自動走行制御装置
JP2007153098A (ja) 周辺車両位置検出装置および周辺車両の位置予測方法
US11555913B2 (en) Object recognition device and object recognition method
US10403139B2 (en) Local navigation system for vehicle navigation
US20180326978A1 (en) Method and device for generating an environment model for a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190820

R150 Certificate of patent or registration of utility model

Ref document number: 6576511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250