JP2022543955A - 目標車両の制御方法、装置、電子機器及び記憶媒体 - Google Patents
目標車両の制御方法、装置、電子機器及び記憶媒体 Download PDFInfo
- Publication number
- JP2022543955A JP2022543955A JP2021565971A JP2021565971A JP2022543955A JP 2022543955 A JP2022543955 A JP 2022543955A JP 2021565971 A JP2021565971 A JP 2021565971A JP 2021565971 A JP2021565971 A JP 2021565971A JP 2022543955 A JP2022543955 A JP 2022543955A
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- frame
- target obstacle
- cloud image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000001514 detection method Methods 0.000 claims abstract description 79
- 230000001133 acceleration Effects 0.000 claims description 38
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0022—Gains, weighting coefficients or weighting functions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本願は、目標車両の制御方法、装置、電子機器及び記憶媒体を提供する。ここで、該制御方法は、目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得することと、各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定することと、決定された前記目標障害物の現在位置、信頼度、及び前記目標車両の現在位置姿勢データに基づいて、前記目標車両の走行を制御することと、を含む。
Description
(関連出願の相互参照)
本願は、2020年06月30日に提出された、出願番号が202010619833.1であり、出願名称が「目標車両の制御方法、装置、電子機器及び記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、2020年06月30日に提出された、出願番号が202010619833.1であり、出願名称が「目標車両の制御方法、装置、電子機器及び記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、自動運転技術分野に関し、具体的には、目標車両の制御方法、装置、電子機器及び記憶媒体に関する。
運転支援又は自動運転分野において、レーダーにより点群画像を取得し、点群画像に基づいて、目標障害物が存在するかどうかを決定し、目標障害物が検出された場合、検出された目標障害物の位置に基づいて、車両の走行を制御することができる。例えば、減速して障害物を回避するかどうかを制御する。
本願の実施例は少なくとも、目標車両の制御の解決手段を提供する。
第1態様によれば、本願の実施例は、目標車両の制御方法を提供する。前記制御方法は、
目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得することと、
各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定することと、
決定された前記目標障害物の現在位置、信頼度、及び前記目標車両の現在位置姿勢データに基づいて、前記目標車両の走行を制御することと、を含む。
目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得することと、
各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定することと、
決定された前記目標障害物の現在位置、信頼度、及び前記目標車両の現在位置姿勢データに基づいて、前記目標車両の走行を制御することと、を含む。
本願の実施例において、複数フレームの点群画像により、目標障害物の、複数フレームの点群画像における位置変動を追跡することができる。該方式により、決定された目標障害物が現在位置に出現する信頼度の精度を向上させ、それにより、該信頼度に基づいて車両に対して制御を行う時に、目標車両に対する効果的な制御を実現する。例示的に、目標障害物の誤検出に起因する、頻繁な停車又は衝突ことを避けることができる。
第2態様によれば、本願の実施例は、目標車両の制御装置を提供する。前記制御装置は、
目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得するように構成される取得モジュールと、
各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定するように構成される決定モジュールと、
決定された前記目標障害物の現在位置、信頼度、及び前記目標車両の現在位置姿勢データに基づいて、前記目標車両の走行を制御するように構成される制御モジュールと、を備える。
目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得するように構成される取得モジュールと、
各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定するように構成される決定モジュールと、
決定された前記目標障害物の現在位置、信頼度、及び前記目標車両の現在位置姿勢データに基づいて、前記目標車両の走行を制御するように構成される制御モジュールと、を備える。
第3態様によれば、本願の実施例は、電子機器を提供する。前記電子機器は、プロセッサと、メモリと、バスと、を備え、前記メモリに、前記プロセッサによる実行可能な機器可読命令が記憶されており、電子機器が動作する時に、前記プロセッサと前記メモリとは、バスを介して通信し、前記機器可読命令が前記プロセッサにより実行される時に、第1態様に記載の制御方法のステップを実行する。
第4態様によれば、本願の実施例は、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される時に、第1態様に記載の制御方法のステップを実行する。
本願の上記目的、特徴及び利点をより明確かつ分かりやすくするために、以下、好適な実施例を挙げて、添付図面を参照しながら、以下のように、詳しく説明する。
本願の実施例の技術的解決手段をより明確に説明するために、以下、実施例に必要な図面を簡単に説明する。ここで添付した図面は、明細書に引き入れて本明細書の一部を構成し、本願に合致する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。下記図面は、説明のみの目的で本願の幾つかの実施形態を図示しており、本願を制限するものではないことが理解されるべきである。当業者は、創造的労働を行うことなく、これらの図面に基づいてその他の関連する図面を得ることもできる。
本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本出願の一部の実施例である。一般的には、図面に説明されて示されている本願の実施例のコンポーネントは、多岐にわたる異なる構成で配置及び設計することができる。従って、図面を参照しながら提供される本願の実施例の下記詳細な説明は、特許請求されている本願の範囲を限定するものではなく、本願の選択された実施例を示すためのものに過ぎない。本願の実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本願の保護の範囲に含まれる。
下記図面において、類似した符号及び文字は、類似した要素を表すため、1つの要素が1つの図面において定義されていると、後続の図面において、これに対して定義及び説明を行う必要がないことに留意されたい。
目標車両が走行する過程において、所定の時間間隔に従って、目標車両からの所定の範囲内の点群画像を収集することができ、更に、該点群画像に基づいて、目標車両からの所定の範囲内の目標障害物の位置情報を検出することができる。例えば、点群画像を、障害物に対して検出を行うためのニューラルネットワークに入力し、点群画像に含まれる目標障害物及び該目標障害物の位置情報を出力することができる。例えば、ニューラルネットワークの検出誤差、点群データの検出問題などの種々の要因により、検出された点群画像における目標障害物の位置情報が正確ではないことを考慮して、目標障害物の位置情報を検出すると同時に、該目標障害物の位置情報の信頼度を与え、即ち、該目標障害物の位置情報の正確性の信頼程度を与える。該信頼度が高い場合、該目標障害物の位置情報に基づいて、車両を、減速して障害物を回避するように制御することができる。該信頼度が低い場合、依然として、この前に検出された信頼度が高い目標障害物の位置情報を選択して、車両を、減速して障害物を回避するように制御することができる。従って、検出された目標障害物の信頼度を如何に向上させるかは重要である。本願の実施例は、これに対して検討する。
上記検討によれば、本願は、目標車両の制御方法を提供する。レーダー装置により収集された複数フレームの点群画像を取得し、各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定する。例示的に、各フレームの点群画像に対して検出を行い、該フレームの点群画像に目標障害物が含まれるかどうか、該目標障害物の、該フレームの点群画像における位置情報を決定することができる。このように、複数フレームの点群画像により、目標障害物の、複数フレームの点群画像における位置変動を追跡することができる。該方式により、決定された目標障害物が現在位置に出現する信頼度の精度を向上させ、それにより、該信頼度に基づいて車両に対して制御を行う時に、目標車両に対する効果的な制御を実現する。例示的に、目標障害物の誤検出に起因する、頻繁な停車又は衝突ことを避けることができる。
本実施例を理解しやすくするために、まず、本願の実施例が開示する目標車両の制御方法を詳しく説明する。本願の実施例が提供する制御方法の実行主体は、一般的には、一定のコンピューティング能力を持つコンピュータ機器である。該コンピュータ機器は例えば、端末機器、サーバ又は他の処理機器を含む。端末機器は、ユーザ機器(User Equipment:UE)、移動機器、ユーザ端末、コンピューティング機器、車載機器などであってもよい。幾つかの可能な実現形態において、該制御方法は、プロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。
図1を参照すると、図1は、本願の実施例による目標車両の制御方法を示すフローチャートである。該目標車両の制御方法は、S101~S103を含み、ここで、
S101において、目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得する。
S101において、目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得する。
例示的に、レーダー装置は、レーザーレーダー装置、ミリ波レーダー装置及び超音波レーダー装置などを含んでもよく、ここで、具体的に限定しない。
例示的に、レーザーレーダー装置を例として、レーザーレーダー装置は、360度走査すると、1フレームの点群画像を取得することができる。レーダー装置が目標車両に設けられる場合、目標車両の走行に伴い、レーダー装置は、所定の時間間隔に従って点群画像を収集することができる。該方式によれば、複数フレームの点群画像を取得することができる。
例示的に、ここで、複数フレームの点群画像は、所定の時間間隔に従って収集された連続した複数フレームの点群画像であってもよい。現在フレームの点群画像に対して、連続した複数フレームの点群画像は、現在フレームの点群画像及び所定の時間長内において現在フレームの点群画像の収集時刻の前後に収集された複数フレームの点群画像を含んでもよい。
S102において、各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定する。
例示的に、各フレームの点群画像に対してそれぞれ障害物検出を行うことは、各フレームの点群画像における目標障害物の位置及び信頼度を検出することを含んでもよく、又は、各フレームの点群画像における目標障害物の速度を検出することを含んでもよく、又は、各フレームの点群画像における目標障害物の加速度を検出することを含んでもよい。複数の検出方式により、目標障害物の現在位置及び信頼度を共同決定することができる。
ここで、各フレームの点群画像における目標障害物の現在位置は、目標障害物の、目標車両の所在座標系での現在位置であってもよい。信頼度は、目標障害物が現在位置に出現する可能性である。ここで、目標障害物が現在位置に出現する可能性を決定する時に、現在時刻及び現在時刻の前の所定の時間帯内で収集された複数フレームの点群画像により障害物検出を行うことで、決定することができる。
例示的に、各フレームの点群画像に対して障害物検出を行う場合、該フレームの点群画像に含まれる障害物を検出することができる。目標車両の走行方向における障害物をここでの目標障害物とすることができる。1フレームの点群画像に複数の障害物が含まれる場合、各フレームの点群画像において決定された各障害物に対応する番号に基づいて、複数フレームの点群画像における目標障害物を決定することができる。本願の実施例において、そのうちの1つの目標障害物の信頼度の決定に対して説明する。障害物が複数含まれる場合、複数の目標障害物を決定することができる。各目標障害物に対して、同様な方式で決定することができる。
S103において、決定された目標障害物の現在位置、信頼度、及び目標車両の現在位置姿勢データに基づいて、目標車両の走行を制御する。
更に、目標車両の現在位置及び信頼度を決定した後、該信頼度に基づいて、目標車両が現在位置に出現する可能性を確認することができる。例示的に、目標車両が現在位置に出現する可能性が大きいと決定した場合、目標障害物の現在位置及び目標車両の現在位置姿勢データに基づいて、目標車両の走行を制御することができる。逆に、目標車両が現在位置に出現する可能性が小さいと決定した場合、目標車両の走行を制御する時、目標障害物の現在位置を考慮しなくてもよく、又は、目標障害物の位置情報及び目標車両の現在位置姿勢データに基づいて、目標車両の走行を制御してもよい。
具体的には、決定された目標障害物の現在位置、信頼度、及び目標車両の現在位置姿勢データに基づいて、目標車両の走行を制御する時に、以下を含んでもよい。
(1)目標障害物に対応する信頼度が所定信頼度閾値より高いと決定した場合、目標障害物の現在位置及び目標車両の現在位置姿勢データに基づいて、目標車両と目標障害物との距離情報を決定する。
(2)距離情報に基づいて、目標車両の走行を制御する。
具体的には、目標車両の現在位置姿勢データは、目標車両の現在位置及び目標車両の現在走行方向を含んでもよい。このように、目標車両の現在位置及び目標障害物の現在位置に基づいて、目標障害物と目標車両との現在相対的距離を決定し、更に、目標車両の現在走行方向に基づいて、目標車両と目標障害物との距離情報を決定することができる。該距離情報は、目標車両が元方向及び元速度に従って走行を継続すると、目標障害物に衝突するかどうかを推定するために用いられる。このように、該距離情報に基づいて、目標車両の走行を制御することができる。
例示的に、該距離情報及び予め設定された安全レベルに従って、目標車両の走行を制御することができる。例えば、該距離情報が属する安全距離レベルが低い場合、急ブレーキをかけることができる。該距離情報が属する安全距離レベルが高い場合、元方向に沿って減速して走行することができる。
本願の実施例において、複数フレームの点群画像により、目標障害物の、複数フレームの点群画像における位置変動を追跡することができる。該方式により、決定された目標障害物が現在位置に出現する信頼度の精度を向上させ、それにより、該信頼度に基づいて車両に対して制御を行う時に、目標車両に対する効果的な制御を実現する。例示的に、目標障害物の誤検出に起因する、頻繁な停車又は衝突ことを避けることができる。
信頼度の正確性を向上させるために、本願の実施例による信頼度は、平均検出信頼度、追跡マッチング信頼度、追跡チェーンの有効長さ、速度平滑度及び加速度平滑度のうちの少なくとも2つのパラメータによって決定され、
ここで、平均検出信頼度は、複数フレームの点群画像の検出プロセスにおいて、検出された目標障害物の、各フレームの点群画像における対応する位置の平均信頼程度を表し、追跡マッチング信頼度は、検出された目標障害物と追跡チェーンとのマッチング度を表すことができ、追跡チェーンは、連続した複数フレームの点群画像であってもよく、追跡チェーンの有効長さは、連続した複数フレームの点群画像において目標障害物が検出されたフレーム数を表すことができ、速度平滑度は、目標障害物の速度の、連続した複数フレームの点群画像に対応する時間帯内における速度変動程度を表すことができ、加速度平滑度は、目標障害物の速度の、連続した複数フレームの点群画像に対応する時間帯内における加速度変動程度を表すことができる。
ここで、平均検出信頼度は、複数フレームの点群画像の検出プロセスにおいて、検出された目標障害物の、各フレームの点群画像における対応する位置の平均信頼程度を表し、追跡マッチング信頼度は、検出された目標障害物と追跡チェーンとのマッチング度を表すことができ、追跡チェーンは、連続した複数フレームの点群画像であってもよく、追跡チェーンの有効長さは、連続した複数フレームの点群画像において目標障害物が検出されたフレーム数を表すことができ、速度平滑度は、目標障害物の速度の、連続した複数フレームの点群画像に対応する時間帯内における速度変動程度を表すことができ、加速度平滑度は、目標障害物の速度の、連続した複数フレームの点群画像に対応する時間帯内における加速度変動程度を表すことができる。
上記各パラメータに基づいて障害物の信頼度を決定する時に、各パラメータは、いずれも信頼度と正の相関である。本願の実施例は、上記少なくとも2つのパラメータに基づいて、目標障害物の現在位置の信頼度を決定することを提案する。複数のパラメータにより、目標障害物の、現在位置での信頼度を共同決定し、それにより、決定された目標障害物の、現在位置での信頼度の精度を向上させることができる。
具体的には、目標障害物の信頼度を決定する時に、
少なくとも2つのパラメータに対して加重加算又は乗算を行った後、目標障害物の信頼度を得ることを含んでもよい。
少なくとも2つのパラメータに対して加重加算又は乗算を行った後、目標障害物の信頼度を得ることを含んでもよい。
ここで、
は、変数を表し、
であり、
は、パラメータの総数を表し、
は、
番目のパラメータの所定の重みを表し、
は、番号がjである目標障害物の
番目のパラメータのパラメータ値を表し、
は、番号がjである目標障害物の信頼度を表し、点群画像に1つのみの目標障害物が含まれる場合、ここでのjは1である。
は、変数を表し、
であり、
は、パラメータの総数を表し、
は、
番目のパラメータの所定の重みを表し、
は、番号がjである目標障害物の
番目のパラメータのパラメータ値を表し、
は、番号がjである目標障害物の信頼度を表し、点群画像に1つのみの目標障害物が含まれる場合、ここでのjは1である。
例示的に、各パラメータに対応する所定の重みは、事前設定、例えば、ビッグデータ統計により、各パラメータによる信頼度への影響の重要度を事前に決定することができる。
本願の実施例において、複数のパラメータにより、目標障害物の、現在位置での信頼度を共同決定することを提案する。このように、多面的に目標障害物の信頼度を決定する時に、決定された目標障害物の、現在位置での対応する信頼度の精度を向上させることができる。
以下、上記複数のパラメータの決定プロセスに対してそれぞれ説明する。
一実施形態において、
目標障害物が各フレームの点群画像に出現する検出信頼度に基づいて、目標障害物に対応する平均検出信頼度を決定するという方式に従って、平均検出信頼度を決定することができる。
目標障害物が各フレームの点群画像に出現する検出信頼度に基づいて、目標障害物に対応する平均検出信頼度を決定するという方式に従って、平均検出信頼度を決定することができる。
具体的には、各フレームの点群画像を、予め訓練された、障害物の検出及び追跡のためのニューラルネットワークに入力することができる。該ニューラルネットワークに、各フレームの点群画像における障害物に対して位置検出を行う第1モジュールと、目標障害物を追跡する第2モジュールと、が含まれる。各フレームの点群画像を該ニューラルネットワークに入力した後、第1モジュールにより、該フレームの点群画像における、目標障害物の位置を表す検出枠、及び該検出枠の検出信頼度を得ることができ、また、第2モジュールにより、各フレームの点群画像に含まれる障害物の番号を決定することができ、それにより、目標障害物を決定する。
具体的には、ニューラルネットワークにおける第2モジュールは、連続的に入力された点群画像に含まれる障害物に対して類似度検出を行い、異なるフレームの点群画像における同一の障害物を決定することができ、また、各フレームの点群画像に含まれる障害物に対して番号を付けることができ、異なるフレームの点群画像において、同一の障害物に対応する番号は同じである。このように、異なるフレームの点群画像において、目標障害物を決定することができる。
ここで、
は、番号がjである目標障害物の平均検出信頼度を表し、Lは、複数フレームの点群画像のフレーム数を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する検出信頼度を表す。
は、番号がjである目標障害物の平均検出信頼度を表し、Lは、複数フレームの点群画像のフレーム数を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する検出信頼度を表す。
Lは、所定のフレーム数であってもよく、例えば、L=10と予め設定するとした場合、連続した10フレームの点群画像に対して検出を行うことを表し、t=1は、該10フレームの点群画像のうちの1フレーム目の点群画像を表す。目標車両が走行する過程において、収集された点群画像が次第に多くなり、それに伴い、そのうちの連続した10フレームの点群画像も動的に変動する。t=Lは、現在フレームの点群画像を表し、t=1は、現在フレームの点群画像及び過去の段階で収集された9フレームの点群画像を含む連続した10フレームの点群画像のうちの1フレーム目の点群画像を表す。
特に、レーダー装置が今回の作動プロセスにおいて収集した点群画像のフレーム数は、所定のフレーム数に達していない場合、該Lは、収集開始時刻から現在の時刻までに収集された総フレーム数である。例えば、所定のフレーム数が10フレームであり、現在の時刻で収集された点群画像は、レーダー装置が今回の作動プロセスにおいて収集した7フレーム目の点群画像であり、その場合、目標障害物の、現在位置での信頼度を決定する時に、Lは7である。レーダー装置が今回の作動プロセスにおいて収集した点群画像のフレーム数は所定のフレーム数に達した場合、ここでのLは常に所定のフレーム数に等しい。レーダー装置の今回の作動プロセスは、レーダー装置が今回の点群画像の収集を起動するプロセスである。
特に、所定の時間間隔に従って点群画像を収集する時に、各時刻は、1フレームの点群画像に対応するため、上記t=1は、連続した複数フレームの点群画像に対応する収集時間長内で、1番目の収集時刻に対応する点群画像を表すこともできる。ここでの1番目の収集時刻は、動的に変動するものであり、レーダー装置の今回の作動プロセスにおける開始時刻ではない。
本願の実施例において、目標障害物の信頼度のパラメータに平均検出信頼度が含まれることを提案する。平均検出信頼度は、目標障害物の、複数フレームの点群画像における位置の平均信頼程度を表すことができる。該平均検出信頼度に基づいて目標障害物の信頼度を決定する場合、決定された目標障害物の信頼度の安定性を向上させることができる。
可能な実施形態において、
目標障害物の、各フレームの点群画像における位置情報に基づいて、目標障害物が複数フレームの点群画像にマッチングする追跡対象である追跡マッチング信頼度を決定するという方式に従って、追跡マッチング信頼度を決定する。
目標障害物の、各フレームの点群画像における位置情報に基づいて、目標障害物が複数フレームの点群画像にマッチングする追跡対象である追跡マッチング信頼度を決定するという方式に従って、追跡マッチング信頼度を決定する。
ここで、目標障害物の、各フレームの点群画像における位置情報は、予め訓練されたニューラルネットワークにより決定されてもよい。各フレームの点群画像を該ニューラルネットワークに入力した後、目標障害物を表す検出枠の、該フレームの点群画像における位置情報を検出することができる。
複数フレームの点群画像がレーダー装置により所定の時間間隔に従って収集されたものであることを考慮して、複数フレームの点群画像のうちの隣接する2フレームの点群画像の間の時間間隔が短い。短い時間内で、同一の目標障害物の変位変動程度は、一般的には一定の範囲よりも小さい。これに基づいて、目標障害物が複数フレームの点群画像にマッチングする追跡対象である追跡マッチング信頼度を決定することができる。
具体的には、連続した複数フレームの点群画像にいずれも同一の追跡対象が含まれる場合、該連続した複数フレームの点群画像を該追跡対象に関する追跡チェーンとすることができる。追跡対象の、追跡チェーンにおける隣接する2フレームの点群画像における位置情報の変動は、所定の範囲よりも小さいはずである。これに基づいて、目標障害物の、各フレームの点群画像における位置情報に基づいて、追跡される目標障害物が追跡チェーンにマッチングする追跡対象であるかどうかを判定することができる。換言すれば、追跡チェーンにおける目標障害物が同一の目標障害物であるかどうかを判定する。例えば、追跡チェーンに10フレームの点群画像が含まれ、番号が1である目標障害物に対して、番号が1である目標障害物の、各フレームの点群画像における位置情報に基づいて、該追跡チェーンにおける番号が1である目標障害物が同一の目標障害物であるかどうかを決定することができる。即ち、該目標障害物が該追跡チェーンにマッチングする追跡対象であるかどうかを判定する。ここでの追跡マッチング信頼度は、該番号が1である目標障害物と追跡チェーンとのマッチング程度を表すために用いられる。マッチング度が高いほど、目標障害物が該追跡チェーンにマッチングする追跡対象である可能性が高くなることを表し、逆に、目標障害物が該追跡チェーンにマッチングする追跡対象である可能性が小さくなることを表す。
本願の実施例において、追跡マッチング信頼度により、目標障害物が連続した複数フレームの点群画像に出現する可能性を表す。目標障害物が連続した複数フレームの点群画像に出現する可能性が大きいと決定すれば、該目標障害物が誤検出結果である可能性が小さくなることを表す。これに基づいて、目標障害物と追跡チェーンとの追跡マッチング信頼度を、目標障害物の信頼度を決定するパラメータとし、信頼度の正確度を向上させることができる。
具体的には、目標障害物の、各フレームの点群画像における位置情報に基づいて、目標障害物が複数フレームの点群画像にマッチングする追跡対象である追跡マッチング信頼度を決定する場合、図2に示すように、下記ステップS201~S205を含んでもよい。
S201において、各フレームの点群画像に対して、目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報に基づいて、目標障害物の、該フレームの点群画像における予測位置情報を決定し、該予測位置情報及び目標障害物の、該フレームの点群画像における位置情報に基づいて、目標障害物の、該フレームの点群画像における変位偏差情報を決定する。
上述した、目標障害物の、各フレームの点群画像における位置情報の決定方式によれば、目標障害物の、各フレームの点群画像における位置情報を決定することができる。具体的には、目標障害物の、各フレームの点群画像における検出枠の中心点を表す位置情報を、目標障害物の、該フレームの点群画像における位置情報とすることができる。
2フレームの点群画像、例えば、nフレーム目の点群画像とn+1フレーム目の点群画像との時間間隔、目標障害物の、nフレーム目の点群画像に対応する収集時刻における速度、及び目標障害物の、nフレーム目の点群画像における位置情報が既知のものであるとすると、目標障害物の、n+1フレーム目の点群画像における予測位置情報を予測することができる。ここで、nは、0よりも大きい自然数である。
更に、該目標障害物に対する予測位置情報、及び目標障害物の、該フレームの点群画像における位置情報に基づいて、目標障害物の、該フレームの点群画像における変位偏差情報を決定することができる。該変位偏差情報は、目標障害物と追跡チェーンがマッチングするかどうかを評価するためのパラメータの1つとすることができる。
具体的には、上記S201に対して、目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報に基づいて、目標障害物の、該フレームの点群画像における予測位置情報を決定する場合、図3に示すように、下記S2011~S2012を含んでもよい。
S2011において、各フレームの点群画像に対して、目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報、目標障害物の、1フレーム前の点群画像の1フレーム前の点群画像における位置情報、及び隣接する2フレームの点群画像の間の収集時間間隔に基づいて、目標障害物の、1フレーム前の点群画像に対応する収集時刻における速度を決定する。
S2012において、目標障害物の、1フレーム前の点群画像における位置情報、目標障害物の、1フレーム前の点群画像に対応する収集時刻における速度、及び該フレームの点群画像と1フレーム前の点群画像との収集時間間隔に基づいて、目標障害物の、該フレームの点群画像における予測位置情報を決定する。
具体的には、各フレームの点群画像に対して、目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報(具体的には、検出枠中心点の位置情報である)、目標障害物の、1フレーム前の点群画像の1フレーム前の点群画像における位置情報(具体的には、検出枠中心点の位置情報である)及び隣接する2フレームの点群画像の間の収集時間間隔に基づいて、目標障害物の、該隣接する2フレームの点群画像の間の収集時間間隔内の平均速度を決定し、該平均速度を、目標障害物の、1フレーム前の点群画像に対応する収集時刻における速度とすることができる。
更に、該フレームの点群画像に対応する収集時刻が連続した複数フレームの点群画像のうちのtフレーム目の点群画像を収集する時に対応する時刻であることを例として、目標障害物の、該フレームの点群画像における予測位置情報を決定する場合、下記式(4)により決定することができる。
(4)
(4)
ここで、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における予測位置情報を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像における位置情報を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像を収集する時の速度を表し、
は、tフレーム目の点群画像の収集とt-1フレーム目の点群画像の収集との間の時間間隔を表す。
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における予測位置情報を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像における位置情報を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像を収集する時の速度を表し、
は、tフレーム目の点群画像の収集とt-1フレーム目の点群画像の収集との間の時間間隔を表す。
ここで、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する変位偏差情報を表し、
は、収集された番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における位置情報を表し、Tは、所定のパラメータを表す。
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する変位偏差情報を表し、
は、収集された番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における位置情報を表し、Tは、所定のパラメータを表す。
S202において、目標障害物の、該フレームの点群画像における位置情報を表す検出枠の面積、及び目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報を表す検出枠の面積に基づいて、目標障害物に対応する検出枠差異情報を決定する。
同様に、2フレームの点群画像の間の時間間隔が短い場合、同一の目標障害物の、該2フレームの点群画像における位置情報は近いはずである。従って、目標障害物の、2フレームの点群画像における対応する検出枠差異情報を、目標障害物と追跡チェーンがマッチングするかどうかを評価するためのパラメータの1つとすることができる。
具体的には、下記式(6)により、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像における対応する検出枠の面積を決定することができ、下記式(7)により、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する検出枠の面積を決定することができ、また、下記式(8)により、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する検出枠差異情報を決定することができる。
(6)
(7)
(8)
(6)
(7)
(8)
ここで、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像における対応する検出枠の面積を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像における対応する検出枠の幅を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像における対応する検出枠の高さを表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する検出枠の面積を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する検出枠の幅を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する検出枠の高さを表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する検出枠差異情報を表す。
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像における対応する検出枠の面積を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像における対応する検出枠の幅を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像における対応する検出枠の高さを表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する検出枠の面積を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する検出枠の幅を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する検出枠の高さを表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する検出枠差異情報を表す。
S203において、目標障害物の、該フレームの点群画像における向き角度、及び目標障害物の、1フレーム前の点群画像における向き角度に基づいて、目標障害物に対応する向き角度差異情報を決定する。
同様に、2フレームの点群画像の間の時間間隔が短い場合、同一の目標障害物の、該2フレームの点群画像における向き角度は比較的に近いはずである。従って、目標障害物の、2フレームの点群画像における対応する向き角度差異情報を、目標障害物と追跡チェーンがマッチングするかどうかを評価するためのパラメータの1つとすることができる。
ここで、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する向き角度差異情報を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する向き角度を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像における対応する向き角度を表す。
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する向き角度差異情報を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する向き角度を表し、
は、番号がjである目標障害物の、連続した複数フレームの点群画像のうちのt-1フレーム目の点群画像における対応する向き角度を表す。
例示的に、目標障害物の、連続した複数フレームの点群画像のうちのtフレーム目の点群画像における対応する向き角度は、具体的には、該目標障害物の、tフレーム目の点群画像を収集する時の向き角度である。目標障害物の、点群画像における向き角度は、下記方式に従って決定されてもよい。
まず、三次元空間において、1つの正方向を設定し、例えば、地面に垂直して空を指す方向を正方向とし、続いて、該正方向と、点群画像における目標障害物に対応する検出枠の中心点と車両の連結線とが構成される挟角を、目標障害物の、該フレームの点群画像における向き角度とする。
S204において、変位偏差情報、検出枠差異情報及び向き角度差異情報に基づいて、目標障害物が該フレームの点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度を決定する。
例示的に、変位偏差情報、検出枠差異情報及び向き角度差異情報に基づいて加重加算を行うことができる。例えば、上記得られた
、
及び
に対して加重加算を行うことで、目標障害物が連続した複数フレームの点群画像のうちのtフレーム目の点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度を得ることができる。
、
及び
に対して加重加算を行うことで、目標障害物が連続した複数フレームの点群画像のうちのtフレーム目の点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度を得ることができる。
具体的には、下記式(10)により、目標障害物が連続した複数フレームの点群画像のうちのtフレーム目の点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度を決定することができる。
(10)
(10)
ここで、
は、番号がjである目標障害物が連続した複数フレームの点群画像のうちのtフレーム目の点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度を表し、
は、変位偏差情報の所定の重みを表し、
は、検出枠差異情報の所定の重みを表し、
は、向き角度差異情報の所定の重みを表す。
は、番号がjである目標障害物が連続した複数フレームの点群画像のうちのtフレーム目の点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度を表し、
は、変位偏差情報の所定の重みを表し、
は、検出枠差異情報の所定の重みを表し、
は、向き角度差異情報の所定の重みを表す。
上記方式によれば、目標障害物が各フレームの点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度を得ることができる。
具体的には、目標障害物が各フレームの点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度は、該フレームの点群画像における目標障害物と1フレーム前の点群画像における目標障害物が同一の障害物である信頼度程度を表すことができる。
例えば、追跡チェーンが連続した10フレームの点群画像であり、2フレーム目の点群画像に対して、目標障害物が2フレーム目の点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度は、2フレーム目の点群画像における目標障害物と1フレーム目の点群画像における目標障害物が同一の目標障害物である信頼程度を表す。同様に、3フレーム目の点群画像に対して、目標障害物が3フレーム目の点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度は、3フレーム目の点群画像における目標障害物と2フレーム目の点群画像における目標障害物が同一の目標障害物である信頼程度を表すことができる。
S205において、目標障害物が複数フレームの点群画像のうちの各フレームの点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度に基づいて、目標障害物が複数フレームの点群画像にマッチングする追跡対象である追跡マッチング信頼度を決定する。
式(11)によれば、目標障害物に対応する単一フレームの追跡マッチング信頼度の平均値を求めることで、目標障害物に対応する追跡マッチング信頼度を得ることができることが明らかである。
本願の実施例において、目標障害物の信頼度を決定するパラメータは、追跡マッチング信頼度を含む。追跡マッチング信頼度は、目標障害物が複数フレームの点群画像の追跡対象に属する信頼程度を表すことができる。このように、複数フレームの点群画像に基づいて、目標障害物の信頼度を決定する場合、該パラメータを考慮することで、目標障害物の信頼度の正確度を向上させることができる。
可能な実施形態において、少なくとも2つのパラメータに追跡チェーンの有効長さが含まれる場合、
目標障害物の、各フレームの点群画像における位置情報に基づいて、複数フレームの点群画像の、目標障害物に対する検出漏れのフレーム数を決定し、複数フレームの点群画像に対応する総フレーム数及び検出漏れのフレーム数に基づいて、追跡チェーンの有効長さを決定するという方式に従って、追跡チェーンの有効長さを決定することができる。
目標障害物の、各フレームの点群画像における位置情報に基づいて、複数フレームの点群画像の、目標障害物に対する検出漏れのフレーム数を決定し、複数フレームの点群画像に対応する総フレーム数及び検出漏れのフレーム数に基づいて、追跡チェーンの有効長さを決定するという方式に従って、追跡チェーンの有効長さを決定することができる。
各フレームの点群画像を、予め訓練されたニューラルネットワークに入力する。ニューラルネットワークが正常に動作する場合、該フレームの点群画像に含まれる目標障害物の位置情報を出力することができる。該フレームの点群画像に含まれる目標障害物の位置情報が出力されない場合、該フレームの点群画像が検出漏れの点群画像であると決定することができる。本願の実施例において、複数フレームの点群画像は、短期間内で連続して収集した点群画像である。同一の目標障害物に対応する、連続した複数フレームの点群画像を含む追跡チェーンに対して、先頭フレームの点群画像及び最終フレームの点群画像に目標障害物が含まれる場合、先頭フレームの点群画像と最終フレームの点群画像との間に位置する各フレームの点群画像に一般的には、目標障害物も含まれる。従って、ニューラルネットワークが目標障害物の位置情報を含まない点群画像を出力すると、該点群画像を検出漏れの点群画像とすることができる。
本願の実施例において、追跡チェーンの有効長さを、目標障害物の信頼度を決定するパラメータとすることを提案する。追跡チェーンの有効長さにより、各フレームの点群画像に対して目標障害物検出を行うニューラルネットワークの正確度を決定し、更に、該追跡チェーンの有効長さに基づいて、目標障害物の信頼度を決定する場合、信頼度の正確度を向上させることができる。
もう1つの可能な実施形態において、少なくとも2つのパラメータに速度平滑度が含まれる場合、図4に示すように、下記方式に従って、速度平滑度を決定することができる。具体的には、下記S401~S402を含む。
S401において、目標障害物の、各フレームの点群画像に対応する収集時刻における速度に基づいて、目標障害物の、複数フレームの点群画像に対応する収集時間長内における速度誤差を決定する。
S402において、目標障害物に対応する速度誤差及び事前記憶された標準差プリセット値に基づいて、目標障害物の、複数フレームの点群画像に対応する収集時間長内における速度平滑程度を決定する。
例示的に、カルマンフィルタリングアルゴリズムと類似した方式を用いて、複数の速度に対応する速度誤差を決定することができる。該速度誤差により、複数フレームの点群画像に対応する収集時間長内の目標障害物の速度のノイズを表すことができる。
ここで、
は、番号がjである目標障害物の、複数フレームの点群画像に対応する収集時間長内における速度平滑程度を表し、
は、事前記憶された標準差プリセット値を表し、
は、目標障害物の、複数フレームの点群画像に対応する収集時間長内における速度誤差を表す。
は、番号がjである目標障害物の、複数フレームの点群画像に対応する収集時間長内における速度平滑程度を表し、
は、事前記憶された標準差プリセット値を表し、
は、目標障害物の、複数フレームの点群画像に対応する収集時間長内における速度誤差を表す。
目標障害物に対応する速度平滑程度は、目標障害物の、複数フレームの点群画像に対応する収集時間長内における速度安定程度を表すことができる。速度が、隣接する2フレームの点群画像における目標障害物の位置情報に基づいて決定されるものであるため、速度安定程度が高いほど、隣接する2フレームの点群画像における目標障害物の変位偏差変動が小さくなることを表し、更に、検出された目標障害物の位置が正確になることを表す。
本願の実施例において、速度平滑程度は、目標障害物の速度の変動平滑程度を表すことができ、目標障害物の、連続した複数フレームの点群画像における位置変動状況を表すことができる。このように、検出された目標障害物の位置情報の信頼程度を表すことができる。これに基づいて、該速度平滑程度を、目標障害物の信頼度を決定するパラメータとし、信頼度の正確度を向上させることができる。
もう1つの可能な実施形態において、少なくとも2つのパラメータに加速度平滑度が含まれる場合、図5に示すように、下記方式に従って、加速度平滑度を決定することができ、具体的には、下記S501~S503を含む。
S501において、目標障害物の、各フレームの点群画像に対応する収集時刻における速度、及び隣接する2フレームの点群画像の間の収集時間間隔に基づいて、目標障害物の、該フレームの点群画像に対応する収集時刻における加速度を決定する。
S502において、目標障害物の、各フレームの点群画像に対応する収集時刻における加速度に基づいて、目標障害物の、複数フレームの点群画像に対応する収集時間長内における加速度誤差を決定する。
S503において、目標障害物に対応する加速度誤差及び事前記憶された標準差プリセット値に基づいて、目標障害物の、複数フレームの点群画像に対応する収集時間長内における加速度平滑程度を決定する。
例示的に、目標障害物の、各フレームの点群画像に対応する収集時刻における速度の決定方式は、上記記載を参照する。ここで、詳細な説明を省略する。更に、隣接する2フレームの点群画像の間の収集時間間隔及び目標障害物の、各フレームの点群画像に対応する収集時刻における速度に基づいて、目標障害物の、該フレームの点群画像に対応する収集時刻における加速度を決定することができる。
例示的に、同様に、カルマンフィルタリングアルゴリズムと類似した方式を用いて、複数の加速度に対応する加速度誤差を決定することができる。該加速度誤差により、複数フレームの点群画像に対応する収集時間長内における目標障害物の加速度のノイズを表すことができる。
ここで、
は、番号がjである目標障害物の、複数フレームの点群画像に対応する収集時間長内における加速度平滑程度を表し、
は、事前記憶された標準差プリセット値を表し、
は、目標障害物の、複数フレームの点群画像に対応する収集時間長内における加速度誤差を表す。
は、番号がjである目標障害物の、複数フレームの点群画像に対応する収集時間長内における加速度平滑程度を表し、
は、事前記憶された標準差プリセット値を表し、
は、目標障害物の、複数フレームの点群画像に対応する収集時間長内における加速度誤差を表す。
目標障害物に対応する加速度平滑程度は、目標障害物の、複数フレームの点群画像に対応する収集時間長内における加速度安定程度を表すことができる。該加速度安定程度が高いほど、目標障害物の、連続した複数フレームの点群画像に対応する収集時間長内における速度変動が安定していることを表し、更に、検出された目標障害物の位置が正確になることを表すこともできる。
本願の実施例において、加速度平滑程度は、目標障害物の加速度の変動平滑程度を表すことができ、目標障害物の、連続した複数フレームの点群画像に対応する収集時間長内における速度変動状況を表すことができ、同様に、目標障害物の、連続した複数フレームの点群画像における位置変動状況を表すことができる。このように、検出された目標障害物の位置情報の信頼程度を表すことができる。これに基づいて、該加速度平滑程度を、目標障害物の信頼度を決定するパラメータとし、信頼度の正確度を向上させることができる。
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。
同一の技術的思想によれば、本願の実施例は、目標車両の制御方法に対応する制御装置を更に提供する。本願の実施例における装置による課題を解決するための原理は、本願の実施例における上記制御方法と類似するため、装置の実施は、方法の実施を参照することができる。重複の説明を省略する。
図6を参照すると、図6は、本願の実施例による目標車両の制御装置600を示す概略図である。該制御装置は、
目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得するように構成される取得モジュール601と、
各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定するように構成される決定モジュール602と、
決定された目標障害物の現在位置、信頼度、及び目標車両の現在位置姿勢データに基づいて、目標車両の走行を制御するように構成される制御モジュール603と、を備える。
目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得するように構成される取得モジュール601と、
各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定するように構成される決定モジュール602と、
決定された目標障害物の現在位置、信頼度、及び目標車両の現在位置姿勢データに基づいて、目標車両の走行を制御するように構成される制御モジュール603と、を備える。
可能な実施形態において、信頼度は、平均検出信頼度、追跡マッチング信頼度、追跡チェーンの有効長さ、速度平滑度及び加速度平滑度のうちの少なくとも2つのパラメータによって決定され、
決定モジュール602は具体的には、
少なくとも2つのパラメータに対して加重加算又は乗算を行った後、目標障害物の信頼度を得るように構成される。
決定モジュール602は具体的には、
少なくとも2つのパラメータに対して加重加算又は乗算を行った後、目標障害物の信頼度を得るように構成される。
可能な実施形態において、決定モジュール602は更に、
目標障害物が各フレームの点群画像に出現する信頼度に基づいて、目標障害物に対応する平均検出信頼度を決定するという方式に従って、平均検出信頼度を決定するように構成される。
目標障害物が各フレームの点群画像に出現する信頼度に基づいて、目標障害物に対応する平均検出信頼度を決定するという方式に従って、平均検出信頼度を決定するように構成される。
可能な実施形態において、決定モジュール602は更に、
目標障害物の、各フレームの点群画像における位置情報に基づいて、目標障害物が複数フレームの点群画像にマッチングする追跡対象である追跡マッチング信頼度を決定するという方式に従って、追跡マッチング信頼度を決定するように構成される。
目標障害物の、各フレームの点群画像における位置情報に基づいて、目標障害物が複数フレームの点群画像にマッチングする追跡対象である追跡マッチング信頼度を決定するという方式に従って、追跡マッチング信頼度を決定するように構成される。
可能な実施形態において、決定モジュール602は具体的には、
各フレームの点群画像に対して、目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報に基づいて、目標障害物の、該フレームの点群画像における予測位置情報を決定し、該予測位置情報及び目標障害物の、該フレームの点群画像における位置情報に基づいて、目標障害物の、該フレームの点群画像における変位偏差情報を決定し、
目標障害物の、該フレームの点群画像における位置情報を表す検出枠の面積、及び目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報を表す検出枠の面積に基づいて、目標障害物に対応する検出枠差異情報を決定し、
目標障害物の、該フレームの点群画像における向き角度、及び目標障害物の、1フレーム前の点群画像における向き角度に基づいて、目標障害物に対応する向き角度差異情報を決定し、
変位偏差情報、検出枠差異情報及び向き角度差異情報に基づいて、目標障害物が該フレームの点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度を決定し、
目標障害物が複数フレームの点群画像のうちの各フレームの点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度に基づいて、目標障害物が複数フレームの点群画像にマッチングする追跡対象である追跡マッチング信頼度を決定するように構成される。
各フレームの点群画像に対して、目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報に基づいて、目標障害物の、該フレームの点群画像における予測位置情報を決定し、該予測位置情報及び目標障害物の、該フレームの点群画像における位置情報に基づいて、目標障害物の、該フレームの点群画像における変位偏差情報を決定し、
目標障害物の、該フレームの点群画像における位置情報を表す検出枠の面積、及び目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報を表す検出枠の面積に基づいて、目標障害物に対応する検出枠差異情報を決定し、
目標障害物の、該フレームの点群画像における向き角度、及び目標障害物の、1フレーム前の点群画像における向き角度に基づいて、目標障害物に対応する向き角度差異情報を決定し、
変位偏差情報、検出枠差異情報及び向き角度差異情報に基づいて、目標障害物が該フレームの点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度を決定し、
目標障害物が複数フレームの点群画像のうちの各フレームの点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度に基づいて、目標障害物が複数フレームの点群画像にマッチングする追跡対象である追跡マッチング信頼度を決定するように構成される。
可能な実施形態において、決定モジュール602は具体的には、
各フレームの点群画像に対して、目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報、目標障害物の、1フレーム前の点群画像の1フレーム前の点群画像における位置情報、及び隣接する2フレームの点群画像の間の収集時間間隔に基づいて、目標障害物の、1フレーム前の点群画像に対応する収集時刻における速度を決定し、
目標障害物の、1フレーム前の点群画像における位置情報、目標障害物の、1フレーム前の点群画像に対応する収集時刻における速度、及び該フレームの点群画像と1フレーム前の点群画像との収集時間間隔に基づいて、目標障害物の、該フレームの点群画像における予測位置情報を決定するように構成される。
各フレームの点群画像に対して、目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報、目標障害物の、1フレーム前の点群画像の1フレーム前の点群画像における位置情報、及び隣接する2フレームの点群画像の間の収集時間間隔に基づいて、目標障害物の、1フレーム前の点群画像に対応する収集時刻における速度を決定し、
目標障害物の、1フレーム前の点群画像における位置情報、目標障害物の、1フレーム前の点群画像に対応する収集時刻における速度、及び該フレームの点群画像と1フレーム前の点群画像との収集時間間隔に基づいて、目標障害物の、該フレームの点群画像における予測位置情報を決定するように構成される。
可能な実施形態において、決定モジュール602は更に、
目標障害物の、各フレームの点群画像における位置情報に基づいて、複数フレームの点群画像の、目標障害物に対する検出漏れのフレーム数を決定し、複数フレームの点群画像に対応する総フレーム数及び検出漏れのフレーム数に基づいて、追跡チェーンの有効長さを決定するという方式に従って、追跡チェーンの有効長さを決定するように構成される。
目標障害物の、各フレームの点群画像における位置情報に基づいて、複数フレームの点群画像の、目標障害物に対する検出漏れのフレーム数を決定し、複数フレームの点群画像に対応する総フレーム数及び検出漏れのフレーム数に基づいて、追跡チェーンの有効長さを決定するという方式に従って、追跡チェーンの有効長さを決定するように構成される。
可能な実施形態において、決定モジュール602は更に、
目標障害物の、各フレームの点群画像に対応する収集時刻における速度に基づいて、目標障害物の、複数フレームの点群画像に対応する収集時間長内における速度誤差を決定し、
目標障害物に対応する速度誤差及び事前記憶された標準差プリセット値に基づいて、目標障害物の、複数フレームの点群画像に対応する収集時間長内における速度平滑程度を決定するという方式に従って、速度平滑度を決定するように構成される。
目標障害物の、各フレームの点群画像に対応する収集時刻における速度に基づいて、目標障害物の、複数フレームの点群画像に対応する収集時間長内における速度誤差を決定し、
目標障害物に対応する速度誤差及び事前記憶された標準差プリセット値に基づいて、目標障害物の、複数フレームの点群画像に対応する収集時間長内における速度平滑程度を決定するという方式に従って、速度平滑度を決定するように構成される。
可能な実施形態において、決定モジュール602は更に、
目標障害物の、各フレームの点群画像に対応する収集時刻における速度、及び隣接する2フレームの点群画像の間の収集時間間隔に基づいて、目標障害物の、該フレームの点群画像に対応する収集時刻における加速度を決定し、
目標障害物の、各フレームの点群画像に対応する収集時刻における加速度に基づいて、目標障害物の、複数フレームの点群画像に対応する収集時間長内における加速度誤差を決定し、
目標障害物に対応する加速度誤差及び事前記憶された標準差プリセット値に基づいて、目標障害物の、複数フレームの点群画像に対応する収集時間長内における加速度平滑程度を決定するという方式に従って、加速度平滑度を決定するように構成される。
目標障害物の、各フレームの点群画像に対応する収集時刻における速度、及び隣接する2フレームの点群画像の間の収集時間間隔に基づいて、目標障害物の、該フレームの点群画像に対応する収集時刻における加速度を決定し、
目標障害物の、各フレームの点群画像に対応する収集時刻における加速度に基づいて、目標障害物の、複数フレームの点群画像に対応する収集時間長内における加速度誤差を決定し、
目標障害物に対応する加速度誤差及び事前記憶された標準差プリセット値に基づいて、目標障害物の、複数フレームの点群画像に対応する収集時間長内における加速度平滑程度を決定するという方式に従って、加速度平滑度を決定するように構成される。
可能な実施形態において、制御モジュール603は具体的には、
目標障害物に対応する信頼度が所定信頼度閾値より高いと決定した場合、目標障害物の現在位置及び目標車両の現在位置姿勢データに基づいて、目標車両と目標障害物との距離情報を決定し、
距離情報に基づいて、目標車両の走行を制御するように構成される。
目標障害物に対応する信頼度が所定信頼度閾値より高いと決定した場合、目標障害物の現在位置及び目標車両の現在位置姿勢データに基づいて、目標車両と目標障害物との距離情報を決定し、
距離情報に基づいて、目標車両の走行を制御するように構成される。
装置における各モジュールの処理フロー及び各モジュール間のインタラクションフローに関する説明は、上記方法の実施例における関連説明を参照することができ、ここで、詳細な説明を省略する。
図1における目標車両の制御方法に対応して、本願の実施例は、電子機器700を更に提供する。図7に示すように、図7は、本願の実施例による電子機器700の構造を示す概略図である。前記電子機器は、
プロセッサ71と、メモリ72と、バス73と、を備え、メモリ72は、実行命令を記憶するように構成され、内部メモリ721と、外部メモリ722と、を含み、ここで、内部メモリ721は、内メモリとも呼ばれ、プロセッサ71におけるコンピューティングデータ、及びハードディスクなどの外部メモリ722と交換されるデータを一時的に記憶するように構成され、プロセッサ71は、内部メモリ721を介して外部メモリ722とデータ交換を行う。前記電子機器700が動作する時、前記プロセッサ71と前記メモリ72とは、バス73を介して通信を行い、前記プロセッサ71に下記命令を実行させる。目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得し、各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定し、決定された目標障害物の現在位置、信頼度、及び目標車両の現在位置姿勢データに基づいて、目標車両の走行を制御する。
プロセッサ71と、メモリ72と、バス73と、を備え、メモリ72は、実行命令を記憶するように構成され、内部メモリ721と、外部メモリ722と、を含み、ここで、内部メモリ721は、内メモリとも呼ばれ、プロセッサ71におけるコンピューティングデータ、及びハードディスクなどの外部メモリ722と交換されるデータを一時的に記憶するように構成され、プロセッサ71は、内部メモリ721を介して外部メモリ722とデータ交換を行う。前記電子機器700が動作する時、前記プロセッサ71と前記メモリ72とは、バス73を介して通信を行い、前記プロセッサ71に下記命令を実行させる。目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得し、各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定し、決定された目標障害物の現在位置、信頼度、及び目標車両の現在位置姿勢データに基づいて、目標車両の走行を制御する。
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される時に、上記方法の実施例に記載の目標車両の制御方法のステップを実行する。ここで、該記憶媒体は、揮発性又は不揮発性コンピュータ可読記憶媒体であってもよい。
本願の実施例が提供する目標車両の制御方法のコンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、上記方法の実施例に記載の目標車両の制御方法のステップを実行するように構成され、具体的には、上記方法の実施例を参照することができる。ここで、詳細な説明を省略する。
本願の実施例は、コンピュータプログラムを更に提供する。該コンピュータプログラムは、プロセッサにより実行される時、前記実施例のいずれか1つの方法を実現させる。該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。1つの選択可能な実施例において、コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現化され、もう1つの選択可能な実施例において、コンピュータプログラム製品は、具体的には、例えば、ソフトウェア開発キット(Software Development Kit:SDK)等のようなソフトウェア製品として具現化される。
説明上の便宜及び簡素化を図るために、上記説明されたシステム及び装置の具体的な作動過程は、前記方法の実施例における対応した過程を参照することができることは、当業者にはっきり理解されるべきである。本発明で提供する幾つかの実施例で開示したシステム、装置及び方法は、他の方式によって実現できることを理解すべきである。以上に記載した装置の実施例はただ例示的なものであり、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。また例えば、複数のユニット又はコンポーネントを組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかの通信インタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明した前記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
また、本願の各実施例における各機能ユニットは1つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、2つ又は2つ以上のユニットが1つのユニットに集積されてもよい。
前記機能はソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、プロセッサによる実行可能な不揮発性コンピュータ可読記憶媒体に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現化することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、1台のコンピュータ機器(パソコン、サーバ、又はネットワーク機器など)に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。上述した記憶媒体は、USBメモリ、リムーバブルハードディスク、読み出し専用メモリ(Read-Only Memory:ROM)、ランダムアクセスメモリ(Random Access Memory:RAM)、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
最後に説明しておきたいこととして、上記実施例は本願の具体的な実施形態に過ぎず、本願の技術的解決手段を説明するためのものであり、これを限定するものではなく、本願の保護範囲はこれに制限されるものではない。前記実施例を参照しながら、本願を詳細に説明したが、本技術分野を周知するいかなる当業者であれば、本願で開示された技術的範囲内で、前記実施例に記載の技術的解決手段に対して修正を行うことができるか又は変更を容易に思いつくことができ、又は一部の技術的特徴に対して均等物による置換を行うこともでき、これらの修正、変更又は置換は、対応する技術的解決手段の本質を本願の実施例の技術的解決手段の精神及び範囲から離脱させるものではなく、本願の保護範囲内に含まれるものとすることは、理解すべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。
本願の実施例は、目標車両の制御方法、装置、電子機器及び記憶媒体を開示する。ここで、制御方法は、目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得することと、各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定することと、決定された目標障害物の現在位置、信頼度、及び目標車両の現在位置姿勢データに基づいて、目標車両の走行を制御することと、を含む。上記解決手段において、複数フレームの点群画像により、目標障害物の、複数フレームの点群画像における位置変動を追跡することができる。該方式により、決定された目標障害物が現在位置に出現する信頼度の精度を向上させ、それにより、該信頼度に基づいて車両に対して制御を行う時に、目標車両に対する効果的な制御を実現する。例示的に、目標障害物の誤検出に起因する、頻繁な停車又は衝突ことを避けることができる。
Claims (13)
- 目標車両の制御方法であって、
目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得することと、
各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定することと、
決定された前記目標障害物の現在位置、信頼度、及び前記目標車両の現在位置姿勢データに基づいて、前記目標車両の走行を制御することと、を含む、目標車両の制御方法。 - 前記信頼度は、平均検出信頼度、追跡マッチング信頼度、追跡チェーンの有効長さ、速度平滑度及び加速度平滑度のうちの少なくとも2つのパラメータによって決定され、
目標障害物の信頼度を決定することは、
前記少なくとも2つのパラメータに対して加重加算又は乗算を行った後、前記目標障害物の信頼度を得ることを含むことを特徴とする
請求項1に記載の制御方法。 - 前記目標障害物が各フレームの点群画像に出現する検出信頼度に基づいて、前記目標障害物に対応する平均検出信頼度を決定するという方式に従って、前記平均検出信頼度を決定することを特徴とする
請求項2に記載の制御方法。 - 前記目標障害物の、各フレームの点群画像における位置情報に基づいて、前記目標障害物が前記複数フレームの点群画像にマッチングする追跡対象である追跡マッチング信頼度を決定するという方式に従って、前記追跡マッチング信頼度を決定することを特徴とする
請求項2に記載の制御方法。 - 前記目標障害物の、各フレームの点群画像における位置情報に基づいて、前記目標障害物が前記複数フレームの点群画像にマッチングする追跡対象である追跡マッチング信頼度を決定することは、
各フレームの点群画像に対して、前記目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報に基づいて、前記目標障害物の、該フレームの点群画像における予測位置情報を決定し、該予測位置情報及び前記目標障害物の、該フレームの点群画像における位置情報に基づいて、前記目標障害物の、該フレームの点群画像における変位偏差情報を決定することと、
前記目標障害物の、該フレームの点群画像における位置情報を表す検出枠の面積、及び前記目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報を表す検出枠の面積に基づいて、前記目標障害物に対応する検出枠差異情報を決定することと、
前記目標障害物の、該フレームの点群画像における向き角度、及び前記目標障害物の、前記1フレーム前の点群画像における向き角度に基づいて、前記目標障害物に対応する向き角度差異情報を決定することと、
前記変位偏差情報、前記検出枠差異情報及び前記向き角度差異情報に基づいて、前記目標障害物が該フレームの点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度を決定することと、
前記目標障害物が前記複数フレームの点群画像のうちの各フレームの点群画像にマッチングする追跡対象である単一フレームの追跡マッチング信頼度に基づいて、前記目標障害物が前記複数フレームの点群画像にマッチングする追跡対象である追跡マッチング信頼度を決定することと、を含むことを特徴とする
請求項4に記載の制御方法。 - 各フレームの点群画像に対して、前記目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報に基づいて、前記目標障害物の、該フレームの点群画像における予測位置情報を決定することは、
各フレームの点群画像に対して、前記目標障害物の、該フレームの点群画像の1フレーム前の点群画像における位置情報、前記目標障害物の、前記1フレーム前の点群画像の1フレーム前の点群画像における位置情報、及び隣接する2フレームの点群画像の間の収集時間間隔に基づいて、前記目標障害物の、前記1フレーム前の点群画像に対応する収集時刻における速度を決定することと、
前記目標障害物の、前記1フレーム前の点群画像における位置情報、前記目標障害物の、前記1フレーム前の点群画像に対応する収集時刻における速度、及び該フレームの点群画像と前記1フレーム前の点群画像との収集時間間隔に基づいて、前記目標障害物の、該フレームの点群画像における予測位置情報を決定することと、を含むことを特徴とする
請求項5に記載の制御方法。 - 前記目標障害物の、前記各フレームの点群画像における位置情報に基づいて、複数フレームの点群画像の、前記目標障害物に対する検出漏れのフレーム数を決定し、前記複数フレームの点群画像に対応する総フレーム数及び前記検出漏れのフレーム数に基づいて、前記追跡チェーンの有効長さを決定するという方式に従って、前記追跡チェーンの有効長さを決定することを特徴とする
請求項2に記載の制御方法。 - 前記目標障害物の、各フレームの点群画像に対応する収集時刻における速度に基づいて、前記目標障害物の、前記複数フレームの点群画像に対応する収集時間長内における速度誤差を決定し、
前記目標障害物に対応する速度誤差及び事前記憶された標準差プリセット値に基づいて、前記目標障害物の、前記複数フレームの点群画像に対応する収集時間長内における速度平滑程度を決定するという方式に従って、前記速度平滑度を決定することを特徴とする
請求項2に記載の制御方法。 - 前記目標障害物の、各フレームの点群画像に対応する収集時刻における速度、及び隣接する2フレームの点群画像の間の収集時間間隔に基づいて、前記目標障害物の、該フレームの点群画像に対応する収集時刻における加速度を決定し、
前記目標障害物の、各フレームの点群画像に対応する収集時刻における加速度に基づいて、前記目標障害物の、前記複数フレームの点群画像に対応する収集時間長内における加速度誤差を決定し、
前記目標障害物に対応する加速度誤差及び事前記憶された標準差プリセット値に基づいて、前記目標障害物の、前記複数フレームの点群画像に対応する収集時間長内における加速度平滑程度を決定するという方式に従って、前記加速度平滑度を決定することを特徴とする
請求項2に記載の制御方法。 - 決定された前記目標障害物の現在位置、信頼度、及び前記目標車両の現在位置姿勢データに基づいて、前記目標車両の走行を制御することは、
前記目標障害物に対応する前記信頼度が所定信頼度閾値より高いと決定した場合、前記目標障害物の現在位置及び前記目標車両の現在位置姿勢データに基づいて、前記目標車両と前記目標障害物との距離情報を決定することと、
前記距離情報に基づいて、前記目標車両の走行を制御することと、を含むことを特徴とする
請求項1から9のうちいずれか一項に記載の制御方法。 - 目標車両の制御装置であって、
目標車両が走行する過程において、レーダー装置により収集された複数フレームの点群画像を取得するように構成される取得モジュールと、
各フレームの点群画像に対してそれぞれ障害物検出を行い、目標障害物の現在位置及び信頼度を決定するように構成される決定モジュールと、
決定された前記目標障害物の現在位置、信頼度、及び前記目標車両の現在位置姿勢データに基づいて、前記目標車両の走行を制御するように構成される制御モジュールと、を備える、目標車両の制御装置。 - 電子機器であって、前記電子機器は、プロセッサと、メモリと、バスと、を備え、前記メモリに、前記プロセッサによる実行可能な機器可読命令が記憶されており、電子機器が動作する時に、前記プロセッサと前記メモリとは、バスを介して通信し、前記機器可読命令が前記プロセッサにより実行される時に、請求項1から10のうちいずれか一項に記載の制御方法のステップを実行する、電子機器。
- コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される時に、請求項1から10のうちいずれか一項に記載の制御方法のステップを実行する、コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010619833.1A CN113870347A (zh) | 2020-06-30 | 2020-06-30 | 目标车辆的控制方法、装置、电子设备及存储介质 |
CN202010619833.1 | 2020-06-30 | ||
PCT/CN2021/089399 WO2022001323A1 (zh) | 2020-06-30 | 2021-04-23 | 目标车辆的控制方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022543955A true JP2022543955A (ja) | 2022-10-17 |
Family
ID=78981729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021565971A Pending JP2022543955A (ja) | 2020-06-30 | 2021-04-23 | 目標車両の制御方法、装置、電子機器及び記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220111853A1 (ja) |
JP (1) | JP2022543955A (ja) |
KR (1) | KR20220015448A (ja) |
CN (1) | CN113870347A (ja) |
WO (1) | WO2022001323A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11762079B2 (en) * | 2020-09-30 | 2023-09-19 | Aurora Operations, Inc. | Distributed radar antenna array aperture |
CN115147738B (zh) * | 2022-06-24 | 2023-01-13 | 中国人民公安大学 | 一种定位方法、装置、设备及存储介质 |
WO2024076027A1 (ko) * | 2022-10-07 | 2024-04-11 | 삼성전자 주식회사 | 포인트 클라우드를 생성하는 방법 및 전자 장치 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002274301A (ja) * | 2001-03-19 | 2002-09-25 | Nissan Motor Co Ltd | 障害物検出装置 |
JP2006099715A (ja) * | 2004-09-06 | 2006-04-13 | Daihatsu Motor Co Ltd | 衝突予測方法及び衝突予測装置 |
JP2010166288A (ja) * | 2009-01-15 | 2010-07-29 | Hitachi Ltd | 映像出力方法、映像出力装置、及び監視映像出力システム |
JP2017056935A (ja) * | 2015-09-14 | 2017-03-23 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | 3dセンサにより検出されたオブジェクトの分類 |
WO2017057058A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN111257866A (zh) * | 2018-11-30 | 2020-06-09 | 杭州海康威视数字技术股份有限公司 | 车载摄像头和车载雷达联动的目标检测方法、装置及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104965202B (zh) * | 2015-06-18 | 2017-10-27 | 奇瑞汽车股份有限公司 | 障碍物探测方法和装置 |
CN109509210B (zh) * | 2017-09-15 | 2020-11-24 | 百度在线网络技术(北京)有限公司 | 障碍物跟踪方法和装置 |
CN110426714B (zh) * | 2019-07-15 | 2021-05-07 | 北京智行者科技有限公司 | 一种障碍物识别方法 |
CN110654381B (zh) * | 2019-10-09 | 2021-08-31 | 北京百度网讯科技有限公司 | 用于控制车辆的方法和装置 |
CN111273268B (zh) * | 2020-01-19 | 2022-07-19 | 北京百度网讯科技有限公司 | 自动驾驶障碍物类型的识别方法、装置及电子设备 |
-
2020
- 2020-06-30 CN CN202010619833.1A patent/CN113870347A/zh active Pending
-
2021
- 2021-04-23 KR KR1020217042830A patent/KR20220015448A/ko unknown
- 2021-04-23 JP JP2021565971A patent/JP2022543955A/ja active Pending
- 2021-04-23 WO PCT/CN2021/089399 patent/WO2022001323A1/zh active Application Filing
- 2021-12-23 US US17/560,375 patent/US20220111853A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002274301A (ja) * | 2001-03-19 | 2002-09-25 | Nissan Motor Co Ltd | 障害物検出装置 |
JP2006099715A (ja) * | 2004-09-06 | 2006-04-13 | Daihatsu Motor Co Ltd | 衝突予測方法及び衝突予測装置 |
JP2010166288A (ja) * | 2009-01-15 | 2010-07-29 | Hitachi Ltd | 映像出力方法、映像出力装置、及び監視映像出力システム |
JP2017056935A (ja) * | 2015-09-14 | 2017-03-23 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | 3dセンサにより検出されたオブジェクトの分類 |
WO2017057058A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN111257866A (zh) * | 2018-11-30 | 2020-06-09 | 杭州海康威视数字技术股份有限公司 | 车载摄像头和车载雷达联动的目标检测方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2022001323A1 (zh) | 2022-01-06 |
KR20220015448A (ko) | 2022-02-08 |
US20220111853A1 (en) | 2022-04-14 |
CN113870347A (zh) | 2021-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022543955A (ja) | 目標車両の制御方法、装置、電子機器及び記憶媒体 | |
CN110018489B (zh) | 基于激光雷达的目标追踪方法、装置及控制器和存储介质 | |
CN109782763B (zh) | 一种动态环境下的移动机器人路径规划方法 | |
US10614324B2 (en) | Method and apparatus for identifying static obstacle | |
US11209284B2 (en) | System and method for creating driving route of vehicle | |
CN113715814B (zh) | 碰撞检测方法、装置、电子设备、介质及自动驾驶车辆 | |
US11364899B2 (en) | Driving assistance method and system | |
WO2015155833A1 (ja) | 衝突防止装置 | |
JP6860586B2 (ja) | 物体の動作を予測する方法 | |
CN111201448B (zh) | 用于产生反演传感器模型的方法和设备以及用于识别障碍物的方法 | |
CN108072382A (zh) | 用于自主驾驶车辆的路径确定装置及路径确定方法 | |
US20200086854A1 (en) | Vehicle collision avoidance | |
CN110807439B (zh) | 检测障碍物的方法及装置 | |
CN113432533B (zh) | 一种机器人定位方法、装置、机器人及存储介质 | |
CN112171675B (zh) | 一种移动机器人的避障方法、装置、机器人及存储介质 | |
Nuss et al. | Consistent environmental modeling by use of occupancy grid maps, digital road maps, and multi-object tracking | |
CN111982127A (zh) | LightWeight-3D避障方法 | |
JP6507841B2 (ja) | 先行車両推定装置及びプログラム | |
CN112313536A (zh) | 物体状态获取方法、可移动平台及存储介质 | |
CN111832343A (zh) | 目跟踪方法和装置、存储介质 | |
CN114119724A (zh) | 一种调整用于自动驾驶的高度图的网格间距的方法 | |
CN114812539A (zh) | 地图探索、地图使用方法、装置、机器人和存储介质 | |
CN116597417A (zh) | 一种障碍物运动轨迹确定方法、装置、设备及存储介质 | |
CN112539756B (zh) | 一种长通道识别方法及机器人 | |
US20190361112A1 (en) | Method for mapping the environment of motor vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230711 |