CN117917701A - 识别未知交通对象 - Google Patents
识别未知交通对象 Download PDFInfo
- Publication number
- CN117917701A CN117917701A CN202311364716.5A CN202311364716A CN117917701A CN 117917701 A CN117917701 A CN 117917701A CN 202311364716 A CN202311364716 A CN 202311364716A CN 117917701 A CN117917701 A CN 117917701A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- traffic object
- unknown traffic
- images
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 92
- 230000008859 change Effects 0.000 claims abstract description 61
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 47
- 238000010801 machine learning Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000015654 memory Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 31
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000006399 behavior Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 18
- 230000008901 benefit Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4042—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Transportation (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- Mechanical Engineering (AREA)
- Computing Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及识别未知交通对象,具体涉及用于生成训练数据的方法、系统、车辆和计算机可读存储介质,训练数据用于被配置为识别道路上的至少一个未知交通对象的机器学习(ML)算法。方法包括:从在道路上行驶的自我车辆的传感器系统获取传感器数据,传感器数据包括车辆的周围环境的由车载摄像头捕获的一个或多个图像以及指示自我车辆的速度和/或至少一个外部车辆的速度的信息。方法进一步包括确定至少一个未知交通对象在自我车辆的周围环境中的存在并且确定自我车辆的速度变化和/或至少一个外部车辆的速度变化。在确定的速度变化与确定的至少一个未知交通对象的存在共现的情况下,方法进一步包括选择至少一个未知交通对象的一个或多个图像。
Description
技术领域
本公开涉及用于识别道路上的未知交通对象的方法和系统。更具体地,本公开的实施例和方面涉及对在道路上行驶的自我车辆的周围环境中存在的未知交通对象的识别,以及用于生成针对机器学习算法的训练数据的系统和方法,该机器学习算法用于识别道路上的未知交通对象。
背景技术
在过去几年中,与自主车辆相关的研究和开发活动已经呈爆发式增长,并且正在探索许多不同的方法。越来越多的现代车辆具有先进的驾驶员辅助系统(ADAS)以提高车辆安全性以及更普遍地道路安全性。ADAS是可以在驾驶时帮助车辆驾驶员的电子系统,ADAS例如可以由自适应巡航控制(ACC)防碰撞系统、前向碰撞警告等表示。如今,在与ADAS和自主驾驶(AD)领域两者相关联的许多技术领域内,正在进行研究和开发。ADAS和AD在本文中将被称为与例如由驾驶自动化的SAE J3016级别(0-5)所定义的所有不同自动化级别相对应的通用术语自动驾驶系统(ADS),并且具体地用于级别4和5。
在不久的将来,ADS解决方案预计将应用于大部分投放市场的新车。ADS可以被理解为各种部件的复杂组合,其能够被定义为其中车辆的感知、决策和操作由电子器件和机械执行而不是人类驾驶员或者与人类驾驶员协同工作来执行的系统,并且被定义为将自动化引入道路交通。这包括对车辆的处理、目的地以及对周围环境的了解。虽然自动化系统可以控制车辆,但它允许人类操作员将全部或至少一些职责留给系统。ADS通常组合各种传感器以感知车辆的周围环境,传感器诸如例如雷达、激光雷达、声纳、摄像头、导航系统(例如GPS)、里程表和/或惯性测量单元(IMU),高级控制系统可以基于这些传感器来解释传感信息以识别适当的导航路径以及障碍物、自由空间区域和/或相关标志。
针对自主和半自主车辆的重要要求是无缝地实现对诸如交通标志的路边交通对象的内容的解释。因此,交通标志识别(TSR)技术得到了广泛的发展以用于实现自主驾驶。在其中TSR至关重要的领域中的一个领域是确定驾驶时的当前限速。限速标志在大多数情况下相对容易识别,但对此而言的关键的例外情况是如下交通对象,即,该交通对象并未直接描述具体限速而是隐含地指示适应被嵌入于其定义中的某个速度。
目前,由于这些交通对象的种类极其广泛,因此并没有行之有效的方法来精确地检测这些交通对象并加以分类。更具体地,这些类型的交通对象以各种语言来提供,包括各种符号、信号或特殊字符等,具有仅适用于其各自的地理分区而不符合全球约定标准的定义。因此,由这种交通对象造成的极端变化以及预期交通行为使得精确检测这种交通对象成为一项重大挑战。目前采用的交通标志检测系统以及限速标志检测算法无法解决该挑战。
因此,本领域迫切需要一种用于识别未知交通对象,特别是具有与其定义相关联的预期交通行为的未知交通对象的新的且改进的解决方案。
发明内容
因此,本发明的目的是提供系统、包括这种系统的车辆、方法以及计算机可读存储介质,它们减轻了目前已知的解决方案的缺点中的全部或至少一部分。
更具体地,本发明的目的是减轻与识别在道路上且在车辆的周围环境中的未知交通对象有关的问题。车辆可以包括ADS系统。
这些目的通过如所附独立权利要求中定义的系统、包括这种控制系统的车辆、方法以及计算机可读存储介质来实现。术语示例性在本上下文中将被理解为用作实例、示例或说明。
根据本发明的第一方面,提供了一种用于生成训练数据的方法,训练数据用于被配置为识别道路上的至少一个未知交通对象的机器学习(ML)算法。方法包括:从在道路上行驶的自我车辆的传感器系统获取传感器数据,传感器数据包括车辆的周围环境的由车载摄像头捕获的一个或多个图像以及指示自我车辆的速度和/或至少一个外部车辆的速度的信息。方法进一步包括:基于获取的传感器数据,确定至少一个未知交通对象在自我车辆的周围环境中的存在。此外,方法包括:基于获取的传感器数据,确定自我车辆的速度变化和/或在道路上行驶且存在于自我车辆的周围环境中的至少一个外部车辆的速度变化。速度变化对应于由自我车辆和/或由至少一个外部车辆在至少预定时间段内保持的基本上一致的新的车速。在共现的情况下,即,在确定所确定的速度变化与确定的至少一个未知交通对象在自我车辆的周围环境中的存在共现的情况下,方法进一步包括:选择至少一个未知交通对象的一个或多个图像以形成用于ML算法的训练数据集,ML算法被配置为识别至少一个未知交通对象。如果共现未被确定,则自我车辆可以恢复到获取进一步的传感器数据或者相应地执行任何先前的方法步骤。
根据一些实施例,确定自我车辆和/或至少一个外部车辆的新的车速可以基于车速的实时变化,车速的实时变化基于获取的传感器数据。
在一些实施例中,方法可以进一步包括:将至少一个未知交通对象的选择的一个或多个图像传输到远程服务器和/或将选择的一个或多个图像存储在自我车辆的存储单元中供随后传输到远程服务器。所传输的或所存储的图像可被用于针对至少一个未知交通对象的一个或多个图像生成对应的交通对象识别注释,交通对象识别注释可被用于形成针对ML算法的训练数据集。
在若干个实施例中,方法可以进一步包括:对应于确定的速度变化与确定的至少一个未知交通对象在自我车辆的周围环境中的存在的共现,获取自我车辆的地理定位数据。方法可以进一步包括:将共现与获取的地理定位数据相关联,并且基于置信度标准确定置信度值,置信度值包括计算出的、共现与获取的地理定位数据的关联频率。方法可以进一步包括:如果确定的置信度值超过预定的置信度阈值,则选择至少一个未知交通对象的一个或多个图像以形成用于ML算法的训练数据集,ML算法被配置为识别至少一个未知交通对象。
根据本文中的若干个实施例,自我车辆可以包括自动驾驶系统(ADS),并且方法可以由自我车辆的控制系统或处理单元来执行。
在根据本公开的一些实施例中,方法可以进一步包括:将选择的一个或多个图像存储在自我车辆的存储器单元中,以由自我车辆或自我车辆的处理电路针对至少一个未知交通对象的一个或多个图像自动地生成对应的交通对象识别注释。自动生成的图像注释可被用于形成针对ML算法的训练数据集。
在一些实施例中,方法可以进一步包括:基于至少一个未知交通对象的选择的一个或多个图像,确定至少一个未知交通对象指示建筑物密集区。方法可以进一步包括:针对指示建筑物密集区的至少一个未知交通对象的选择的一个或多个图像来生成对应的交通对象识别注释。
在一些实施例中,方法可以进一步包括:基于注释后的一个或多个图像,指示与HD地图相关联的地图数据内的至少一个建筑物密集区交通对象。
本发明人已经意识到,通过使用包括ML算法的使用的数据驱动方法,可以在识别未知路边交通对象时实现精确性、可扩展性、速度性以及再现性。本公开的数据驱动方法也比任何基于规则的方法或任何基于人类直觉的算法更容易维护。相应地,根据本公开的算法以及方法包括机器学习算法,该机器学习算法能够通过观察道路上的车辆的特定驾驶行为或行为改变(例如速度的变化)来精确且灵活地预测并识别种类繁多的未知路边交通对象。因此,这可以解决在同时地或者在传统水平之外发生的涉及多个环境变量或条件的场景中识别路边交通对象的问题。
此外,可以精确且可重复地识别未知交通对象而无论其变化如何,例如,一些带有诸如房屋或城市的象形图之类的图像指示,而一些仅包括文本和符号。通过使用当前基于逻辑的方法来解决这一极具挑战性的任务。此外,所提出的解决方案的多功能性使所提出的方法以及相应的系统和车辆能够很容易地适应不同国家中的不同交通状况或道路及运输基础设施。
根据本公开的第二方面,提供了一种(非暂时性)计算机可读存储介质,其存储一个或多个程序,一个或多个程序被配置为由处理系统的一个或多个处理器执行,一个或多个程序包括用于执行根据本文中所公开的任何一个实施例的方法的指令。
如本文中所使用的术语“非暂时性”旨在描述排除传播电磁信号的计算机可读存储介质(或“存储器”),但不旨在以其它方式限制短语计算机可读介质或存储器所涵盖的物理计算机可读存储设备的类型。例如,术语“非暂时性计算机可读介质”或“有形的存储器”旨在涵盖不必永久地存储信息的存储设备的类型,包括例如随机存取存储器(RAM)。以非暂时性形式存储在有形的计算机可访问存储介质上的程序指令和数据可以进一步通过传输介质或可以经由通信介质(诸如网络和/或无线链路)传送的信号(诸如电信号、电磁信号或数字信号)来传输。因此,如本文中使用的术语“非暂时性”是对介质本身的限制(即,有形的,而不是信号),而不是对数据存储持久性的限制(例如,RAM对比ROM)。
根据本公开的第三方面,提供了一种包括指令的计算机程序产品,当程序由处理系统的一个或多个处理器执行时,该指令使得处理系统执行根据本文中所公开的方法的任何一个实施例的方法。
根据进一步的第四方面,提供了一种用于生成训练数据的系统,训练数据用于被配置为识别道路上的至少一个未知交通对象的机器学习(ML)算法。系统包括处理电路,处理电路被配置为:从在道路上行驶的自我车辆的传感器系统获取传感器数据,传感器数据包括车辆的周围环境的由车载摄像头捕获的一个或多个图像以及指示自我车辆的速度和/或至少一个外部车辆的速度的信息。处理电路进一步被配置为:基于获取的传感器数据,确定至少一个未知交通对象在自我车辆的周围环境中的存在。此外,处理电路被配置为:基于获取的传感器数据,确定自我车辆的速度变化和/或在道路上行驶且存在于自我车辆的周围环境中的至少一个外部车辆的速度变化。速度变化对应于由自我车辆和/或由至少一个外部车辆在至少预定时间段内保持的基本上一致的新的车速。在确定的速度变化与确定的至少一个未知交通对象在自我车辆的周围环境中的存在共现的情况下,处理电路进一步被配置为:选择至少一个未知交通对象的一个或多个图像以形成用于ML算法的训练数据集,ML算法被配置为识别至少一个未知交通对象。
根据本发明的又一第五方面,提供了一种包括一个或多个车载传感器的车辆,该一个或多个车载传感器被配置为监测车辆的周围环境。车辆进一步包括:定位系统,被配置为监测车辆的姿态,即道路上的车辆的地理位置和行驶方向。车辆进一步包括:根据第四方面以及第四方面的各种实施例的系统。车辆可以进一步包括:ADS系统,用于控制车辆的加速、转向和制动中的一个或多个。
在从属权利要求中定义了不同方面的进一步实施例。
应注意,与第一方面相关联的所有实施例、元件、特征和优点也类似地应用于本公开的第二、第三、第四和第五方面。
本公开的这些以及其它的特征和优点将在以下的详细描述中进一步阐明。
附图说明
本公开的实施例的其它目的、特征和优点将从以下参考附图的详细描述中显现。这些附图并未按比例绘制。
图1示出了根据本公开的若干个实施例的道路以及在道路上行驶的至少一个车辆的示意性俯视图;
图2示出了根据本公开的若干个实施例的车辆的控制系统的示意性框图;
图3是图示出根据本公开的若干个实施例的方法的示意性流程图;
图4示出了包括根据本公开的一些实施例的控制系统的车辆的示意性侧视图。
具体实施方式
本领域技术人员将理解,本文中所解释的步骤、服务和功能可以使用单独的硬件电路、使用与编程微处理器或通用计算机一起工作的软件、使用一个或多个专用集成电路(ASIC:Application Specific Integrated Circuit)和/或使用一个或多个数字信号处理器(DSP:Digital Signal Processor)来实现。还将理解,当采用方法的形式来描述本公开时,本公开还可以体现在一个或多个处理器以及与一个或多个处理器耦接的一个或多个存储器中,其中一个或多个存储器存储一个或多个程序,当由一个或多个处理器执行时,一个或多个程序执行本文中所公开的步骤、服务和功能。
在以下对示例性实施例的描述中,相同的附图标记指代相同或相似的部件。尽管以下的公开内容主要讨论了汽车形式的车辆,但本领域的读者容易意识到,本文中所讨论的教导可应用于其它形式的车辆,例如卡车、公共汽车或工程设备车。
图1以阴影线阴影图案图示出了车辆1的示意性透视俯视图。车辆1可以包括自动驾驶系统(ADS)。车辆1也可以被称为自我车辆。此外,图1示出了与自我车辆1在相同的区域24中行驶的车辆2和车辆3。区域24包括具有至少一条车道(例如车道22a和22b)的道路22。在本上下文中,ADS包括ADAS和AD系统。在一些实施例中,自我车辆的ADS可以包括一个或多个ADS特征,这些ADS特征优选为根据用于道路上车辆的驾驶自动化的SAE J3016级别的级别2的特征或更高级别的特征。在本上下文中,ADS特征可以是自动辅助驾驶(autopilot)特征、拥堵自动辅助驾驶(traffic jam pilot)、高速自动辅助驾驶(highway pilot)或任何其它SAE J3016级别2以上的ADS特征的形式。在各种实施方式中,具有诸如ADS级别0-3的低级别ADS系统的车辆可以是具有ADAS系统的车辆,该ADAS系统能够使用其集成传感器系统等来监控车辆的周围环境,向车辆的驾驶员显示诸如警告信号等的信息。在一些实施例中,自我车辆1可以配备有具有用于自主地控制自我车辆1的转向功能的AD系统的诸如级别4-5的高级别ADS系统。道路上的外部车辆(诸如图1中所示的车辆2或3)可以配备有任何级别的ADS或者完全缺乏这类系统。在一些实施例和实施方式中,在同一区域24中可以同时地或者在不同的时间点处存在有多于一个的自我车辆1,并且因此,来自一个或多个自我车辆1的数据可以被收集并分析。
自我车辆1包括控制系统10,控制系统10可以是单独的实体,或者可以是车辆的整体ADS架构的一部分并且相应地可以是ADS的模块或部件。车辆1的控制系统10包括控制电路11或处理电路11,其被配置为获取包括与车辆1的周围环境有关的信息的数据。车辆还配备有定位系统5,定位系统5与控制系统10通信,被配置为提供对自我车辆1的状态或者姿态(即,道路22上的车辆的地理位置和行驶方向(heading))的估计。
图1中的区域24包括诸如建筑物、房屋、住宅区、绿地、游乐场等的城市基础设施26。
在若干个示例和实施例中,道路22可以是任何类型的道路,例如高速公路、高速路或快速路的一部分。道路也可以是乡村公路、农村道路或任何其它行车道。道路可以具有多条车道,例如同一行驶方向上的一条以上的车道(例如两条或更多条车道22a、22b),或者在每个行驶方向上至少有一条车道(这通常是农村道路的情况)。在区域24中且在道路22上存在至少一个具有未知特征的路边交通对象4。本上下文中的未知交通对象是指如下交通对象,即,该交通对象被在道路22上行驶的自我车辆1检测到但其定义并未被识别出,并且该交通对象不是传统的限速标志或在遇到时可以从自我车辆1可用的已知交通对象列表中识别出的任何其它交通标志。
本上下文中的路边未知交通对象可以被解释为包括未知交通标志、交通信号(例如交通灯、警告信号等)、减速带或与区域24相关联的任何交通对象。在若干个实施例和方面中,区域24可以是建筑物密集区。建筑物密集区24可以与观察特定的交通行为(例如,过往行驶车辆要遵守的特定限速)、涉及人身安全的某些考虑因素(例如,存在儿童游乐场)等相关联。因此,竖立在建筑物密集区24中的一个或多个未知交通对象4可能具有隐含的交通行为,例如嵌入在其交通定义中的某个限速。自我车辆1可能不会被事先告知或提醒区域24是建筑物密集区24。此外,诸如图1中的交通标志4的交通对象4以及其特定含义对于自我车辆1而言可能是未知的。
在一些实施例和方面中,例如,如图2中所示,车辆1的控制系统10可以被配置为基于来自定位系统5的数据(包括用于指示道路部分24上的车辆的姿态(即,位置和方位)的定位数据)、与道路22和区域24相关联的地图数据(如果可用的话)以及通过从感知系统(即,自我车辆1的传感器系统61)获取的传感器数据,确定道路22上的车辆1的地理位置和行驶方向。在若干个实施例中,车辆可以利用适当的基于卫星的定位系统形式的定位系统5,例如GNSS或相应的区域系统中的一个,诸如例如GPS、全球轨道导航卫星系统(GLONASS)、伽利略、北斗等。
定位系统5可以包括HD地图模块或与HD地图模块相关联。HD地图在本上下文中被理解为包括如下数据的地图,即,该数据具有车辆1所行驶的道路的高度精确且真实的表达。更详细而言,HD地图可以被理解为专门为自主驾驶目的而构建的地图。这些地图具有极高的精度,通常达到厘米级。而且,地图通常包含诸如车道在哪里、道路边界在哪里、弯道在哪里、弯道有多大等信息。
在若干个方面和实施例中,如图2中所示的自我车辆1的控制系统10或处理单元10被配置为识别道路22上的至少一个未知交通对象4。在若干个方面和实施例中,自我车辆1的控制系统可以被配置为生成针对机器学习(ML)算法的训练数据,其中ML算法被配置为识别道路22上的至少一个未知交通对象4。控制系统10被配置为从在道路22上行驶的自我车辆1的传感器系统61获取传感器数据。获取的传感器数据可以包括与自我车辆的周围环境中的一个或多个其它外部车辆2、3的状态有关的信息、道路22的一条或多条车道上的车道标记几何形状、道路22上的车道标记类型(例如,实线、虚线、双标记等)、交通标志信息4、诸如减速带或任何其它道路障碍对象的存在或特性的道路屏障物信息等。控制系统10在各方面和实施例中可以包括惯性测量单元(IMU)或与惯性测量单元相关联。IMU可以被理解为被配置为使用一个或多个加速度计来检测线性加速度以及使用一个或多个陀螺仪来检测转速的设备。因此,在一些实施例中,传感器数据可以进一步包括从IMU获取的传感器数据。来自IMU的输出随后被用于估计车辆姿态随时间的变化。在若干个实施例中,传感器数据包括可由作为传感器系统61的一部分的车载摄像头61(未示出)捕获的一个或多个图像。所捕获的图像可以被本地存储在自我车辆1的存储器8中和/或被传输到自我车辆1与其通信的外部网络20(比如云网络20)。本上下文中的摄像头61还包括安装在自我车辆1的若干个部分上的多个车载摄像头61(未示出),以用于捕获自我车辆1的周围环境的图像。在若干个实施例中,控制系统10被配置为获取用于指示自我车辆1的速度和/或存在于自我车辆1的周围环境中且在区域24中的道路22上行驶的至少一个外部车辆2、3的速度的信息。用于指示车速的信息可以由控制系统10的处理电路11通过由自我车辆1的传感器系统61处理所获取的传感器数据来提供。自我车辆1的控制系统10基于获取的传感器数据,确定至少一个未知交通对象4在自我车辆1的周围环境中的存在。此外,控制系统10被配置为基于获取的传感器数据,确定自我车辆1和/或至少一个外部车辆2、3的速度变化。换言之,基于获取的涉及自我车辆1的速度和/或至少一个外部车辆2、3的速度的信息,控制系统10确定与控制系统10先前登记的速度相比,自我车辆1或外部车辆2、3中的任何一个是否已经在特定时间点处改变了其速度。当控制系统10确定了这种速度变化时,进一步确定所确定的速度变化是否对应于针对自我车辆1和/或针对至少一个外部车辆2、3的基本上一致的新的车速。还确定新的车速是否被自我车辆1和/或被至少一个外部车辆2、3保持至少预定时间段。新的车速可以是比先前登记的车速低的速度。新的车速可以在车辆的加速度中没有任何突然变化(例如在车辆加速度中没有任何突发等)情况下保持。新的车速可以是依据与建筑物密集区或住宅区相关联的交通规则的特定速度,并且实际登记的新的车速可以在该特定速度附近的常规公差范围内。
预定的时间段可以基于与类似于先前可能被识别为建筑物密集区或住宅区的区域24的区域的地理扩展相关联的历史数据来决定。预定的时间段可以是超过在区域24中的正常减速带或意外道路障碍或预期交通堵塞的情况下行驶所需的预期时间段的平均时间段。预定的时间段可以基于区域24的地图数据确定。在一些示例中,预定的时间段可以是作为设计参数的任何适当时间段(诸如30秒、60秒、90秒、120秒等),并且例如是由控制系统10决定的,在该时间段期间确定保持新的车速。
保持新的车速达预定的时间段被用作指示参数,该指示参数用于确立速度行为的改变与由所识别的未知交通对象4导致的预期交通行为相关联。例如,控制系统10确定车辆1、2、3中的任何一个在时间戳t1处可以具有V1=80km/小时的平均速度,并且在时间戳t2处保持新的速度V2=50km/小时±ΔV,其中ΔV是V2附近的可接受公差范围。速度从V1到V2的变化被确定为发生在时间戳t1与t2之间,并且被检测到的车辆1、2、3保持达预定的时间段ΔT。
由于检测到的车辆1、2、3的新速度通过控制系统10被确定为不低于车流中的移动车辆的速度水平,并且由于在预定时间段ΔT内没有检测到加速度的突发,因此控制系统10确定V2是区域24中预期的隐含限速。在一些示例中,当ΔT超过通过常规减速带等所需的预定阈值时,那么速度到V2的变化被记录为被自我车辆1和/或被外部车辆2、3遵循的区域24速度限制。随后,控制系统10确定并记录对到V2的速度变化的确定与对未知交通对象4的识别的共现。
在本上下文中,共现或重合被解释为两个或更多个事件一起发生或同时发生。换言之,两个事件的共现描述并包括了两个事件同时发生或者一个事件发生在第一实例中且另一事件发生在不同于第一实例但与第一实例的事件的发生有关的第二实例中。例如,第一事件和第二事件可以同时且在相同地理位置处发生。在一些其它场景中,第一事件可以在第一实例处发生并被登记,但第二事件可以在与第一事件相同的地理位置但在与第一实例不同的时间点处发生。在任何一种情况下,第一事件与第二事件可以被描述为是共现的。如上所解释的诸如第一和第二实例的参数以及与第一和第二事件的发生相关联的地理位置并不需要是精确的参数(例如,精确的时间点),并且可以明显地涵盖涉及针对每个参数的可接受公差范围的场景。如前一示例中所描述的,第一事件可以是识别区域24中的未知交通对象4,并且第二事件可以是确定同一区域24中自我车辆和/或至少一个外部车辆2、3的速度变化。
在参考图1的另一个示例中,自我车辆1可以包括在自主模式下执行驾驶的ADS级别4系统。外部车辆2不包括任何ADS系统,并且外部车辆3包括同样具有感知系统63的ADS级别2或ADS更高级别。自我车辆1的控制系统10确定在自我车辆1刚刚进入的区域24中存在未知路边交通对象4。基于获取的传感器数据,自我车辆1还监测外部车辆2、3中的行为改变,并且确定由于车辆2在道路22上的位置而引起的车辆2中的速度变化,这也可以说是已经识别出存在交通标志4。此外,车辆3中的速度变化还被确定,即使在车辆3已经通过交通标志4之后,也仍然可以由自我车辆1的传感器系统61识别出。在如下情况下,即在通过控制系统10确定所确定的在车辆2和/或车辆3中的速度变化与确定的至少一个未知交通对象4在自我车辆1的周围环境中的存在共现时,控制系统选择所获取的至少一个未知交通对象4的图像中的一个或多个图像。
应领会,识别未知交通标志4的顺序或由控制系统10确定车辆1、2、3的速度变化可以仅基于其中一个参数在另一个参数之前或之后被获取、处理和提供的系统实现。控制系统10可以进一步被配置为从云网络20获取历史速度数据和/或与自我车辆1和/或外部车辆2、3的速度行为的改变相关联的数据。在一些实施例和示例中,自我车辆和/或外部车辆的速度变化可以在识别未知路边交通对象4的存在之前由控制系统10确定。在一些实施例中,对自我车辆1和/或外部车辆2、3的速度变化的确定可以是针对如下观察的触发事件,即,该观察由自我车辆1的传感器系统61执行以用于确定未知交通对象4的存在。在这些示例和场景中的任何一个中,将与确定的顺序无关地确定第一事件与第二事件的共现。在一些实施例中,在自主模式下驾驶的自我车辆1可以被简单地配置为在观察到存在未知路边交通对象(如图1中的交通标志4)时执行行为改变,如使速度变化为低于其当前速度的速度。在这种事件中,还可以观察外部车辆2、3的速度以及速度上的变化,以还确定外部车辆2、3中的行为改变的发生。在一些示例中,驾驶行为上的改变(例如自我车辆1和/或至少一个外部车辆2、3的速度变化)可以包括由车辆的人类驾驶员执行的行为改变,例如降低速度。在通过控制系统10建立对路边交通对象4以及车辆的速度变化的观察的情况下,可以为了识别未知对象4的目的来选择所获取的未知交通标志4的图像。
这些选择出的图像随后可被控制系统10标记为候选者,该候选者将被用于精确识别至少一个未知交通对象4。甚至,在若干个实施例和方面中,所标记的图像可用于形成针对ML算法的训练数据集,该ML算法被配置为识别至少一个未知交通对象4。
相应地,本发明人已经意识到,通过使用包括ML算法的使用的数据驱动方法,可以在识别未知路边交通对象时实现精确性、可扩展性、速度性以及再现性。本公开的数据驱动方法也比任何基于规则的方法或任何基于人类直觉的算法更容易维护。相应地,根据本公开的算法以及方法包括机器学习算法,该机器学习算法能够通过观察道路上的车辆的特定驾驶行为或行为改变来精确且灵活地预测并识别种类繁多的未知路边交通对象。因此,这可以解决在同时地或者在传统水平之外发生的涉及多个环境变量或条件的场景中识别路边交通对象的问题。本上下文中的机器学习算法可以包括基于传统真实世界的数据进行训练、测试和验证的监督机器学习算法,该传统真实世界的数据是通过在各种环境条件下在各种类型的道路上驾驶自我车辆1并在适当的时间段内收集并评估数据集而获取的。在一些示例中,HD地图数据、定位数据、包括摄像头、雷达、激光雷达、GNSS、IMU的各种传感器测量、自我车辆1的周围环境中的其它外部车辆的姿态和驾驶行为、车道标记的几何形状和类型、交通标志和交通信息、道路屏障、天气预报等可以被可选地用作用于训练ML算法的输入数据。
在若干个实施例和方面中,确定自我车辆1和/或至少一个外部车辆2、3的新的车速可以基于车速的实时变化,车速的实时变化基于获取的传感器数据确定。
附加地或可替换地,可以基于从远程服务器15获取的车速变化的历史数据来确定新的车速,远程服务器15被包括在与自我车辆1和/或至少一个外部车辆(例如图1中的车辆3)通信的云网络20中或者与云网络20进行通信。历史数据可以由与远程服务器15通信的车队收集,并且随后在确定区域24中存在未识别的交通对象4时,由自我车辆1的控制系统10来查询并获取。实时数据和/或历史数据可以协同使用或单独使用。在示例中,自我车辆1可以是在某个时间点在区域24中行驶的唯一车辆而不存在任何其它外部车辆2、3。在这样的场景下,一旦识别出该区域中的未知交通标志4,则自我车辆1就可以向外部网络20发送查询,以基于先前(例如,在自我车辆1的当前通过时间之前的特定时间段或时间戳期间)获取并存储在远程服务器15中的历史数据,提取区域24中的平均速度降低或速度变化。如果已经针对通过区域24的相同地理位置的车辆登记了改变后的速度行为,则该事件也可以被记录为对速度变化的确定与对该区域中未知交通标志4的识别的共现。
在若干个实施例中,自我车辆1可以将至少一个未知交通对象4的所选择的一个或多个图像传输到远程服务器15。在若干个实施例中,自我车辆1可以将所选择的一个或多个图像存储在自我车辆1的存储器单元8中供随后传输到远程服务器15。所选择的一个或多个图像可被用于针对至少一个未知交通对象4的一个或多个图像生成对应的交通对象识别注释。所生成的注释可以用于形成针对ML算法的训练数据集。换言之,将未知交通对象4的已被选择为用于识别至少一个交通对象4的候选者的被标记图像发送到远程服务器15,在远程服务器15处,它们将被手动注释(例如,通过人工操作员)或自动注释。
在一些示例中,神经网络算法可被用于产生自动注释。带注释的图像对应于所识别的未知交通对象4,并且可被用于训练ML算法,该ML算法被配置为识别至少一个未知交通对象4。
在一些实施例中,控制系统10可以进一步被配置为对应于确定的速度变化与确定的至少一个未知交通对象4在区域24中的存在共现,从定位系统5获取自我车辆1的地理定位数据。控制系统10还可以被配置为将该共现与获取的地理定位数据相关联。换言之,每次确定了这种共现时,收集并登记当发现未知交通对象4的事件与速度行为改变到新速度的事件协同发生时的地理位置。应领会,多于一个的自我车辆1可以同时存在于同一区域24中,即,由对于相同地理位置具有相同时间戳的每个自我车辆1记录的各事件的共现。因此,每个车辆可以确定未知交通对象4存在事件与速度变化事件的共现,并且还可以单独地收集并登记相关联的地理定位数据。类似地,各事件的共现以及相关联的地理位置可以由可在不同的时间处存在于道路22上且在区域24中的一个或多个自我车辆1中的每一个确定并登记,即针对相同的地理位置具有不同的时间戳的各事件的共现。自我车辆1的控制系统10还可以被配置为基于置信度标准确定置信度值,置信度值包括计算出的、共现与获取的地理定位数据的关联频率。换言之,由控制系统10计算特定地理位置与确定未知交通对象4的存在的事件和由在区域24中行驶的自我车辆1和/或至少一个外部车辆2、3所适应的新的车速的共现之间的关联复现率。当控制系统10确定所确定的置信度值超过了预定的置信度阈值时,控制系统10随后选择至少一个未知交通对象4的一个或多个图像。所标记的一个或多个图像随后被用于生成图像注释以及对至少一个未知交通对象4的识别。在若干个实施例中,所标记的一个或多个图像被用于形成针对ML算法的训练数据集,该ML算法被配置为识别至少一个未知交通对象4。这样,通过对来自若干个来源的数据进行地理聚合,使得所收集的数据和所生成的图像注释的精确性以及可靠性得到了显著的提高。
在一些实施例中,置信度值可以仅被计算为表示共现与获取的地理定位数据的关联频率,而与登记这种事件的自我车辆1的数量或这种登记的时间戳无关。换言之,共现或关联可以由区域24中的单个自我车辆1或多个自我车辆1在具有单个时间戳的单个实例中或者在具有不同时间戳的若干个实例中登记。只要在未知交通对象4的确定事件与速度变化的共现之间确定了关联并将其与地理位置相关联,则在置信度值的计算中就将其考虑在内。
附加地或可替换地,置信度值的计算可以基于在具有相同时间戳的特定实例下由预定数量的自我车辆1登记的、未知交通对象4的确定事件与速度行为的改变的共现的重现率。附加地或可替换地,置信度值的计算可以基于预定数量的自我车辆1对事件的共现的登记达预定次数,即,在具有可能超过阈值的不同时间戳的两个或更多个实例中登记。
附加地或可替换地,置信度标准可以包括至少单个实例,其中针对预定数量的自我车辆1和/或至少一个外部车辆2、3在一定范围的子区域(例如,具有预定半径且被包括在区域24中)中改变速度的行为而登记了事件的共现。因此,可以基于在特定实例下且在具有预定地理扩展的子区域内适应并保持新的车速的、预定数量的自我车辆1和/或一个或多个外部车辆2、3来计算置信度值。
在一些实施例中,控制系统10可以被配置为将一个或多个所选择的图像(即,所标记的图像)存储在自我车辆1的存储器单元8中,以针对至少一个未知交通对象的一个或多个图像生成对应的交通对象识别注释,并且用于形成针对ML算法的训练数据集。换言之,自我车辆1被配置为通过车辆的控制系统10的处理电路11来自动生成与至少一个未知交通对象4相对应的图像注释,并且不需要将所标记的图像传输到远程服务器以用于场外处理。
在若干个实施例中,控制系统10可以进一步被配置为基于至少一个未知交通对象4的所选择的一个或多个图像,确定至少一个未知交通对象4指示建筑物密集区24。此外,控制系统10可以被配置为针对用于指示建筑物密集区24的至少一个未知交通对象的一个或多个图像来生成对应的交通对象识别注释。这样,所提出的系统和方法提供了如下优点,其中自我车辆1利用速度变化与确定的至少一个未知交通对象4在区域4中的存在的所确定的共现,确立区域24是建筑物密集区24或住宅区24的特征。
在一些实施例中,控制系统10还可以被配置为基于注释后的一个或多个图像,指示与HD地图相关联的地图数据内的至少一个建筑物密集区交通对象4。因此,所提出的系统和方法还提供如下优点,即以自动方式来用识别出的建筑物密集区交通对象4的位置和定义来填充HD地图。
图3示出了根据本公开的各个方面和实施例的方法300的流程图,该方法用于生成针对机器学习(ML)算法的训练数据,该机器学习算法被配置为识别道路22上的至少一个未知交通对象4。该方法包括:从在道路上行驶的自我车辆的传感器系统获取301传感器数据,该传感器数据包括车辆的周围环境的由车载摄像头捕获的一个或多个图像以及指示自我车辆的速度和/或至少一个外部车辆的速度的信息。该方法进一步包括:基于获取的传感器数据,确定303至少一个未知交通对象在自我车辆的周围环境中的存在。此外,该方法包括:基于获取的传感器数据,确定305自我车辆的速度变化和/或在道路上行驶且存在于自我车辆的周围环境中的至少一个外部车辆的速度变化。速度变化对应于由自我车辆和/或由至少一个外部车辆在至少预定时间段内保持的基本上一致的新的车速。在共现306的情况下,即,在确定306所确定的速度变化与确定的至少一个未知交通对象在自我车辆的周围环境中的存在共现的情况下,该方法进一步包括:选择307至少一个未知交通对象的一个或多个图像以形成用于ML算法的训练数据集,该ML算法被配置为识别至少一个未知交通对象。如果共现未被确定,则自我车辆可以可选地恢复到获取进一步的传感器数据或者相应地执行任何先前的方法步骤。
需注意的是,前面参考控制系统10或控制系统10的处理电路11以及图1至图2描述的所有实施例、元件、特征、示例和优点也类似地且同等地适用于本文中参考图3所描述的方法300的各个实施例。
根据一些实施例,确定305自我车辆和/或至少一个外部车辆的新的车速基于车速的实时变化,车速的实时变化基于获取的传感器数据。
在一些实施例中,方法300可以进一步包括:将至少一个未知交通对象的所选择的一个或多个图像传输309到远程服务器15和/或将所选择的一个或多个图像存储311在自我车辆1的存储器单元8中供随后传输到远程服务器15。所传输的或所存储的图像可被用于针对至少一个未知交通对象4的一个或多个图像生成313对应的交通对象识别注释,该交通对象识别注释可被用于形成315针对ML算法的训练数据集。
在若干个实施例中,方法300可以进一步包括:对应于确定的速度变化与确定的至少一个未知交通对象4在自我车辆1的周围环境中的存在的共现,获取317自我车辆1的地理定位数据。方法300可以进一步包括:将共现与获取的地理定位数据相关联319,并且基于置信度标准确定321置信度值,置信度值包括计算出的、共现与获取的地理定位数据的关联频率。方法300可以进一步包括:选择307至少一个未知交通对象的一个或多个图像,以形成315针对ML算法的训练数据集,该ML算法被配置为如果所确定的置信度值超过预定的置信度阈值,则识别至少一个未知交通对象。
根据本文中的若干个实施例,自我车辆可以包括自动驾驶系统(ADS),并且方法300可以由自我车辆的控制系统10或处理单元11来执行。
在根据本公开的一些实施例中,方法300可以进一步包括:使用交通对象4的一个或多个所选择的图像,以用于由自我车辆1或自我车辆1的控制系统10或处理电路11针对至少一个未知交通对象4的一个或多个图像自动地生成313对应的交通对象识别注释。
更具体地,方法300可以进一步包括:将一个或多个所选择的图像存储311在自我车辆1的存储器单元8中,以用于由自我车辆或自我车辆1的控制系统10针对至少一个未知交通对象的一个或多个图像来自动地生成313对应的交通对象识别注释。自动生成的图像注释可被用于形成315针对ML算法的训练数据集。
在一些实施例中,方法300可以进一步包括:基于至少一个未知交通对象4的所选择的一个或多个图像,确定323该至少一个未知交通对象指示建筑物密集区。该方法可以进一步包括:针对指示建筑物密集区的至少一个未知交通对象4的所选择的一个或多个图像来生成313对应的交通对象识别注释。
在一些实施例中,方法300可以进一步包括:基于注释后的一个或多个图像,指示325与HD地图相关联的地图数据内的至少一个建筑物密集区交通对象4。
可选地,用于执行这些功能和方法步骤的可执行指令被包括在非暂时性计算机可读存储介质中或者在被配置为由一个或多个处理器执行的其它计算机程序产品中。
图4是自我车辆1的示意性侧视图,自我车辆1包括用于生成针对机器学习(ML)算法的训练数据的控制系统10(控制设备10),该机器学习算法被配置为识别道路22上的至少一个未知交通对象4。自我车辆1进一步包括感知系统61(也被称为传感器系统61)和定位系统5。感知系统61在本上下文中被理解为如下系统,该系统负责从传感器61a、61b、61c(诸如摄像头、激光雷达和雷达、超声波传感器)获得原始传感器数据并将该原始数据转换为场景理解。具体地,自我车辆1具有至少一个车载摄像头61c,以用于捕获车辆的周围环境的(至少一部分的)图像,这些图像包括路边交通对象的图像。定位系统5被配置为监测车辆的地理位置和行驶方向,并且可以采用全球导航卫星系统(GNSS)的形式,诸如GPS。然而,定位系统可以可替换地被实现为实时动态(RTK:Real Time Kinematics)GPS,以提高精确性。此外,在当前上下文中,假设车辆1可以以本地存储的数字地图的形式或者经由远程数据仓库来访问数字地图(例如,HD地图),该远程数据仓库可经由外部通信网络20来访问(例如,作为数据流)。在一些实施例中,对数字地图的访问可以例如由定位系统5来提供。
控制系统10包括一个或多个处理器11、存储器8,并且可以包括诸如传感器接口13和通信接口14的附加模块或单元。处理器11也可以称为控制线路11或控制电路11或者处理电路11或处理单元11。控制电路11被配置为执行存储在存储器8中的指令,以执行本文中所公开的方法300的任何一个实施例。控制设备10的存储器8可以包括用于存储计算机可执行指令的一个或多个(非暂时性)计算机可读存储介质,计算机可执行指令在由一个或多个计算机处理器11执行时,例如可以使计算机处理器11执行本文中描述的技术。存储器8可选地包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其它随机存取固态存储器设备;并且可选地包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其它非易失性固态存储设备。
进一步地,自我车辆1可以经由例如无线链路来连接到外部网络20(例如,用于检索地图数据)。相同的或一些其它的无线链路可被用于与车辆附近的其它外部车辆或与本地基础设施元件进行通信。蜂窝通信技术可被用于远程通信,诸如与外部网络的通信,并且如果所使用的蜂窝通信技术具有低时延,则它也可被用于车辆之间、车辆到车辆(V2V)之间和/或车辆到基础设施(V2X)之间的通信。蜂窝无线电技术的示例是GSM、GPRS、EDGE、LTE、5G和5G NR等,还包括未来的蜂窝解决方案。然而,在一些解决方案中,使用了中短程通信技术,诸如无线局域网(LAN),例如基于IEEE 802.11的解决方案。ETSI正在制定用于车辆通信的蜂窝标准,并且例如,由于低时延以及对高带宽和通信通道的高效处理,5G被认为是适当的解决方案。
以上已经参考具体实施例呈现了本公开。然而,除了以上描述的实施例之外的其它实施例也是可能的并且在本公开的范围内。在本公开的范围内,可以提供与以上描述的方法步骤不同的、通过硬件或软件执行方法的方法步骤。因此,根据示例性实施例,提供了一种非暂时性计算机可读存储介质,该非暂时性计算机可读存储介质存储一个或多个程序,该一个或多个程序被配置为由车辆控制系统的一个或多个处理器执行,该一个或多个程序包括用于执行根据以上讨论的实施例中的任何一个实施例的方法的指令。在若干个方面和实施例中,提供了一种包括指令的计算机程序产品,当程序由处理系统的一个或多个处理器执行时,该指令使得处理系统执行根据本公开的方法的任何一个实施例的方法。
可替换地,根据另一示例性实施例,云计算系统可以被配置为执行本文中呈现的任何方法。云计算系统可以包括分布式云计算资源,该分布式云计算资源在一个或多个计算机程序产品的控制下联合地执行本文中呈现的方法。
一般而言,计算机可访问介质可以包括任何有形的或非暂时性存储介质或存储器介质,诸如电子介质、磁性介质或光学介质(例如经由总线耦接到计算机系统的磁盘或CD/DVD-ROM)。如本文中所使用的,术语“有形的”和“非暂时性”旨在描述排除传播电磁信号的计算机可读存储介质(或“存储器”),但不旨在以其它方式限制短语计算机可读介质或存储器所涵盖的物理计算机可读存储设备的类型。例如,术语“非暂时性计算机可读介质”或“有形的存储器”旨在涵盖不必永久地存储信息的存储设备的类型,包括例如随机存取存储器(RAM)。以非暂时性形式存储在有形的计算机可访问存储介质上的程序指令和数据可以进一步通过传输介质或可以经由通信介质(诸如网络和/或无线链路)传送的信号(诸如电信号、电磁信号或数字信号)来传输。
(与控制设备10相关联的)处理器11可以是或包括用于进行数据或信号处理或者用于执行存储在存储器8中的计算机代码的任何数量的硬件部件。设备10可以具有相关联的存储器8,并且存储器8可以是用于存储数据和/或计算机代码的一个或多个设备,该数据和/或计算机代码用于完成或促进本说明书中描述的各种方法。存储器可以包括易失性存储器或非易失性存储器。存储器8可以包括数据库部件、对象代码部件、脚本部件或用于支持本说明书的各种活动的任何其它类型的信息结构。根据示例性实施例,任何分布式的或本地的存储器设备可以与本说明书的系统和方法一起使用。根据示例性实施例,存储器8(例如,经由电路或任何其它有线连接、无线连接或网络连接)可通信地连接到处理器11,并且包括用于执行本文中描述的一个或多个过程的计算机代码。
应理解,自我车辆1进一步包括传感器接口13,传感器接口13还可以提供直接地或通过车辆中的专用传感器控制电路61来获取传感器数据的可能性。自我车辆1还包括通信/天线接口14,通信/天线接口14可以进一步提供通过天线12将输出发送到远程位置(例如,远程操作者或控制中心)的可能性。此外,车辆中的一些传感器可以使用本地网络设置(诸如CAN总线、I2C、以太网和光纤等)与控制设备10进行通信。通信接口14可以被布置为与车辆的其它控制功能进行通信,并且因此也可以被视为控制接口;然而,可以提供单独的控制接口(未示出)。车辆内的本地通信也可以是具有诸如WiFi、LoRa、Zigbee、蓝牙或类似的中/短程技术的协议的无线类型。
相应地,应理解,描述的解决方案的部分可以在车辆中、在位于车辆外部的系统中或者在车辆内部与外部的组合中实现;例如在与车辆通信的远程服务器15中,即所谓的云解决方案。在一些示例中,ML算法可以在处理电路11中实现。在一些示例中,传感器数据可以被发送到外部系统,其中外部系统包括ML算法,ML算法被配置为识别道路22上的至少一个未知交通对象4。实施例的不同特征和步骤可以以不同于所描述的组合方式的其它组合方式来进行组合。
应注意,词语“包括”并不排除所列出的元件或步骤之外的其它元件或步骤的存在,并且元件之前的词语“一”并不排除多个这种元件的存在。应进一步注意,任何附图标记都不限制权利要求的范围,本公开可以至少部分地借助于硬件和软件两者来实现,并且若干“装置”或“单元”可以由硬件的相同项来表示。
如本文中所使用的,术语“如果”可以被解释为“当...时”或“在...时”或“响应于确定...”或“响应于检测...”,这具体取决于上下文。类似地,用语“如果确定了...”或“当确定了...时”或“在...情况下”可以被解释为“在确定...时”、“响应于确定...”、“在检测并识别事件的发生时”或“响应于检测事件的发生”,这具体取决于上下文。术语“获取”在本文中被宽泛地解释,并且涵盖在被配置为彼此通信或与其它外部实体通信的两个实体之间直接和/或间接地接收、检索、收集和获得等。
尽管附图可以示出方法步骤的特定顺序,但是步骤的顺序可以与所描绘的顺序不同。另外,两个或更多个步骤可以同时地或部分同时地执行。这种变化将取决于所选择的软件系统和硬件系统以及设计者的选择。所有这些变化都在本公开的范围内。同样地,在一些情况下,一些软件实施方案可以利用具有基于规则的逻辑和其它逻辑的标准编程技术来完成,以完成各种连接步骤、处理步骤、比较步骤和判定步骤。以上提及的和描述的实施例仅作为示例给出,而不应限制本公开。在描述的专利实施例中所要求保护的本公开的范围内的其它解决方案、用途、目的和功能对于本领域技术人员来说应是显而易见的。
Claims (15)
1.一种用于生成训练数据的方法,所述训练数据用于被配置为识别道路上的至少一个未知交通对象的机器学习ML算法,所述方法包括:
从在所述道路上行驶的自我车辆的传感器系统获取传感器数据,所述传感器数据包括所述车辆的周围环境的由车载摄像头捕获的一个或多个图像以及指示所述自我车辆的速度和/或至少一个外部车辆的速度的信息;
基于获取的所述传感器数据,确定至少一个未知交通对象在所述自我车辆的所述周围环境中的存在;
基于获取的所述传感器数据,确定所述自我车辆的速度变化和/或在所述道路上行驶且存在于所述自我车辆的所述周围环境中的所述至少一个外部车辆的速度变化,其中,所述速度变化对应于由所述自我车辆和/或由所述至少一个外部车辆在至少预定时间段内保持的基本上一致的新的车速;以及
在确定的所述速度变化与确定的所述至少一个未知交通对象在所述自我车辆的所述周围环境中的所述存在共现的情况下,选择所述至少一个未知交通对象的一个或多个图像以形成用于被配置为识别所述至少一个未知交通对象的所述ML算法的训练数据集。
2.根据权利要求1所述的方法,其中,
确定所述自我车辆的所述新的车速和/或所述至少一个外部车辆的所述新的车速基于车速的实时变化,所述车速的实时变化基于获取的所述传感器数据。
3.根据权利要求1所述的方法,其中,所述方法进一步包括:
将所述至少一个未知交通对象的选择的所述一个或多个图像传输到远程服务器和/或将选择的所述一个或多个图像存储在所述自我车辆的存储器单元中供随后传输到所述远程服务器,以针对所述至少一个未知交通对象的所述一个或多个图像生成对应的交通对象识别注释,以便形成用于所述ML算法的所述训练数据集。
4.根据权利要求1至3中的任一项所述的方法,其中,所述方法进一步包括:
对应于确定的所述速度变化与确定的所述至少一个未知交通对象在所述自我车辆的所述周围环境中的所述存在的所述共现,获取所述自我车辆的地理定位数据;
将所述共现与获取的所述地理定位数据相关联;
基于置信度标准确定置信度值,所述置信度值包括计算出的、所述共现与获取的所述地理定位数据的关联频率;以及
如果确定的所述置信度值超过预定的置信度阈值,选择所述至少一个未知交通对象的所述一个或多个图像以形成用于被配置为识别所述至少一个未知交通对象的所述ML算法的所述训练数据集。
5.根据权利要求1所述的方法,其中,所述自我车辆包括自动驾驶系统ADS。
6.根据权利要求1所述的方法,其中,所述方法由所述自我车辆的处理单元执行。
7.根据权利要求6所述的方法,其中,所述方法进一步包括:
将选择的所述一个或多个图像存储在所述自我车辆的所述存储器单元中,以针对所述至少一个未知交通对象的所述一个或多个图像生成所述对应的交通对象识别注释,以便形成用于所述ML算法的所述训练数据集。
8.根据权利要求6或7所述的方法,其中,所述方法进一步包括:
基于所述至少一个未知交通对象的选择的所述一个或多个图像,确定所述至少一个未知交通对象指示建筑物密集区;以及
针对指示所述建筑物密集区的所述至少一个未知交通对象的选择的所述一个或多个图像来生成所述对应的交通对象识别注释。
9.根据权利要求8所述的方法,其中,所述方法进一步包括:
基于注释后的所述一个或多个图像,指示与HD地图相关联的地图数据内的所述至少一个建筑物密集区交通对象。
10.一种非暂时性计算机可读存储介质,存储一个或多个程序,所述一个或多个程序被配置为由车辆内处理系统的一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1所述的方法的指令。
11.一种用于生成训练数据的系统,所述训练数据用于被配置为识别道路上的至少一个未知交通对象的机器学习ML算法,所述系统包括处理电路,所述处理电路被配置为:
从在所述道路上行驶的自我车辆的传感器系统获取传感器数据,所述传感器数据包括所述车辆的周围环境的由车载摄像头捕获的一个或多个图像以及指示所述自我车辆的速度和/或至少一个外部车辆的速度的信息;
基于获取的所述传感器数据,确定至少一个未知交通对象在所述自我车辆的所述周围环境中的存在;
基于获取的所述传感器数据,确定所述自我车辆的速度变化和/或在所述道路上行驶且存在于所述自我车辆的所述周围环境中的所述至少一个外部车辆的速度变化,其中,所述速度变化对应于由所述自我车辆和/或由所述至少一个外部车辆在至少预定时间段内保持的基本上一致的新的车速;以及
在确定的所述速度变化与确定的所述至少一个未知交通对象在所述自我车辆的所述周围环境中的所述存在共现的情况下,选择所述至少一个未知交通对象的一个或多个图像以形成用于被配置为识别所述至少一个未知交通对象的所述ML算法的训练数据集。
12.根据权利要求11所述的系统,其中,所述处理电路进一步被配置为:
将所述至少一个未知交通对象的选择的所述一个或多个图像传输到远程服务器和/或将选择的所述一个或多个图像存储在所述自我车辆的存储器单元中供随后传输到所述远程服务器,以针对所述至少一个未知交通对象的所述一个或多个图像生成对应的交通对象识别注释,以便形成用于所述ML算法的所述训练数据集。
13.根据权利要求11所述的系统,其中,所述处理电路进一步被配置为:
对应于确定的所述速度变化与确定的所述至少一个未知交通对象在所述自我车辆的所述周围环境中的所述存在的所述共现,获取所述自我车辆的地理定位数据;
将所述共现与获取的所述地理定位数据相关联;
基于置信度标准确定置信度值,所述置信度值包括计算出的、所述共现与获取的所述地理定位数据的关联频率;以及
如果确定的所述置信度值超过预定的置信度阈值,选择所述至少一个未知交通对象的所述一个或多个图像以形成用于被配置为识别所述至少一个未知交通对象的所述ML算法的所述训练数据集。
14.根据权利要求11至13中的任一项所述的系统,其中,所述处理电路进一步被配置为:
将选择的所述一个或多个图像存储在所述自我车辆的所述存储器单元中;并且
其中,所述处理电路进一步被配置为针对所述至少一个未知交通对象的所述一个或多个图像生成所述对应的交通对象识别注释,以便形成用于所述ML算法的所述训练数据集。
15.一种车辆,包括:
一个或多个车载传感器,被配置为监测所述车辆的周围环境;
定位系统,被配置为监测所述车辆的地理位置和行驶方向;以及
根据权利要求11所述的系统。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP22202765.8A EP4357944A1 (en) | 2022-10-20 | 2022-10-20 | Identification of unknown traffic objects |
EP22202765.8 | 2022-10-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117917701A true CN117917701A (zh) | 2024-04-23 |
Family
ID=83903177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311364716.5A Pending CN117917701A (zh) | 2022-10-20 | 2023-10-20 | 识别未知交通对象 |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP4357944A1 (zh) |
CN (1) | CN117917701A (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8605947B2 (en) * | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
DE102012112104A1 (de) * | 2012-12-11 | 2014-06-12 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zur befahrbarkeitsanalyse |
CN108995655B (zh) * | 2018-07-06 | 2020-04-10 | 北京理工大学 | 一种驾驶员驾驶意图识别方法及系统 |
-
2022
- 2022-10-20 EP EP22202765.8A patent/EP4357944A1/en active Pending
-
2023
- 2023-10-20 CN CN202311364716.5A patent/CN117917701A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240135719A1 (en) | 2024-04-25 |
EP4357944A1 (en) | 2024-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3299921B1 (en) | Location specific assistance for an autonomous vehicle control system | |
US11294387B2 (en) | Systems and methods for training a vehicle to autonomously drive a route | |
CN112469970A (zh) | 用于估计在车辆的自定位方面的定位质量的方法、用于执行该方法的方法步骤的设备以及计算机程序 | |
US20230154332A1 (en) | Predicting traffic violation hotspots using map features and sensors data | |
US20230033672A1 (en) | Determining traffic violation hotspots | |
CN114274972A (zh) | 自主驾驶环境中的场景识别 | |
US20230204378A1 (en) | Detecting and monitoring dangerous driving conditions | |
JP6903598B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、および移動体 | |
CN115269371A (zh) | 用于自动驾驶系统的路径规划系统开发的平台 | |
CN114968187A (zh) | 用于自动驾驶系统的感知系统开发的平台 | |
CN113602283A (zh) | 用于管理车辆的自动驾驶系统的方法和系统 | |
US20230090338A1 (en) | Method and system for evaluation and development of automated driving system features or functions | |
US11983918B2 (en) | Platform for perception system development for automated driving system | |
US20230098688A1 (en) | Advanced data fusion structure for map and sensors | |
EP4357944A1 (en) | Identification of unknown traffic objects | |
US20240233390A9 (en) | Identification of unknown traffic objects | |
US20240232715A9 (en) | Lane-assignment for traffic objects on a road | |
US20240135252A1 (en) | Lane-assignment for traffic objects on a road | |
EP4394626A1 (en) | Classification of objects present on a road | |
EP4279869A1 (en) | Determining a state of a vehicle on a road | |
US20230202497A1 (en) | Hypothesis inference for vehicles | |
EP4394664A1 (en) | Automated data generation by neural network ensembles | |
US20240219199A1 (en) | Non-semantic map layer in crowdsourced maps | |
US20240124060A1 (en) | A method for determining whether an automatic collision avoidance steering maneuver should be executed or not | |
US20230084623A1 (en) | Attentional sampling for long range detection in autonomous vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |