CN116630921A - 数据筛选方法、装置、系统、电子设备及存储介质 - Google Patents
数据筛选方法、装置、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116630921A CN116630921A CN202310560113.6A CN202310560113A CN116630921A CN 116630921 A CN116630921 A CN 116630921A CN 202310560113 A CN202310560113 A CN 202310560113A CN 116630921 A CN116630921 A CN 116630921A
- Authority
- CN
- China
- Prior art keywords
- data
- screening
- target
- vehicle
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012216 screening Methods 0.000 title claims abstract description 480
- 238000000034 method Methods 0.000 title claims abstract description 137
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000008447 perception Effects 0.000 claims abstract description 74
- 238000004422 calculation algorithm Methods 0.000 claims description 74
- 238000012549 training Methods 0.000 claims description 51
- 230000002159 abnormal effect Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 7
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 25
- 238000010586 diagram Methods 0.000 description 18
- 240000004050 Pentaglottis sempervirens Species 0.000 description 17
- 238000005457 optimization Methods 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012827 research and development Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提出一种数据筛选方法、装置、系统、电子设备及存储介质,涉及自动驾驶技术领域。该数据筛选方法可以包括:获取初筛增量数据;其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的;通过第一预设筛选方式,对所述初筛增量数据进行二次筛选,得到最终增量数据;其中,所述最终增量数据至少包括异常数据以及危险驾驶场景数据中的至少一种。本申请提供的技术方案能够丰富筛选得到的有价值数据。
Description
技术领域
本申请涉及自动驾驶技术领域,具体涉及一种数据筛选方法、装置、系统、电子设备及存储介质。
背景技术
自动驾驶作为一个长尾问题,存在大量极少发生的安全-紧要场景,为使自动驾驶算法模型能够更好的应对此类场景,迫切需要此类场景数据,进行模型训练。
现有技术中,通常是自动驾驶车辆在自身采集的车辆驾驶数据中进行此类数据筛选。但车端一般是基于各种传感器采集的数据进行数据筛选,可能会遗漏一些有价值数据,影响模型性能的优化。
发明内容
基于上述现有技术的缺陷和不足,本申请提出一种数据筛选方法、装置、系统、电子设备及存储介质,能够丰富筛选得到的有价值数据。
根据本申请实施例的第一方面,提供了一种数据筛选方法,通过服务器实现,所述方法包括:
获取初筛增量数据;其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的;
通过第一预设筛选方式,对所述初筛增量数据进行二次筛选,得到最终增量数据;其中,所述最终增量数据至少包括异常数据以及危险驾驶场景数据中的至少一种。
根据本申请实施例的第二方面,提供了一种数据筛选方法,通过自动驾驶车辆实现,所述方法包括:
采集车辆驾驶数据;
通过第二预设筛选方式,对所述车辆驾驶数据进行筛选,得到初筛增量数据;其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的;所述初筛增量数据用于发送至服务器,使服务器通过第一预设筛选方式对其进行二次筛选,得到最终增量数据;所述最终增量数据至少包括异常数据和危险驾驶场景数据中的至少一种。
根据本申请实施例的第三方面,提供了一种数据筛选装置,部署于服务器,所述装置包括:
数据获取模块,用于获取初筛增量数据;其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的;
第一数据筛选模块,用于通过第一预设筛选方式,对所述数据获取模块获取的所述初筛增量数据进行二次筛选,得到最终增量数据;其中,所述最终增量数据至少包括异常数据以及危险驾驶场景数据中的至少一种。
根据本申请实施例的第四方面,提供了一种数据筛选装置,部署于自动驾驶车辆,所述装置包括:
数据采集模块,用于采集车辆驾驶数据;
第二数据筛选模块,用于通过第二预设筛选方式,对所述车辆驾驶数据进行筛选,得到初筛增量数据;其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的;所述初筛增量数据用于发送至服务器,使服务器通过第一预设筛选方式对其进行二次筛选,得到最终增量数据;所述最终增量数据至少包括异常数据和危险驾驶场景数据中的至少一种。
根据本申请实施例的第五方面,提供了一种数据筛选系统,包括:自动驾驶车辆和服务器;
所述自动驾驶车辆用于通过第二预设筛选方式,对自身采集的车辆驾驶数据进行筛选,得到初筛增量数据;其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的;
所述服务器用于通过第一预设筛选方法,对所述自动驾驶车辆筛选得到的初筛增量数据进行二次筛选,得到最终增量数据;其中,所述最终增量数据至少包括异常数据以及危险驾驶场景数据中的至少一种。
根据本申请实施例的第六方面,提供了一种电子设备,包括:存储器和处理器;
所述存储器与所述处理器连接,用于存储程序;
所述处理器用于通过运行所述存储器中的程序,实现如第一方面或第二方面所述的数据筛选方法。
根据本申请实施例的第七方面,提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时,实现如第一方面或第二方面所述的数据筛选方法。
本申请实施例中,不仅基于车辆的感知数据,还基于车辆的预测数据和决策数据中的至少一种进行数据筛选,这样可以从不同层次上进行数据筛选,丰富筛选得到的增量数据,减少有价值数据的遗漏。此外,本申请实施中,除了在车端进行增量数据的筛选外,还由服务器对车端筛选的增量数据进行二次筛选。由于服务器的计算能力更强,因此能够运行更复杂的数据筛选算法,对数据进行更加精确的筛选,从而提升数据筛选的准确性,减小后续数据标注和模型训练的工作量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为现有技术中数据闭环系统的示意图;
图2为本申请实施例提供的一种通过服务器实现的数据筛选方法的流程示意图;
图3为本申请实施例提供的服务器端数据筛选机制的框图;
图4为本申请实施例提供的车端数据采集系统的硬件框架示意图;
图5为本申请实施例提供的单类分类器的架构框图;
图6为本申请实施例提供的感知模块的框图;
图7为本申请实施例提供的感知模块的另一框图;
图8为本申请实施例提供的感知模块和预测模块的框图;
图9为本申请实施例提供的感知模块、预测模块和规划模块的框图;
图10为本申请实施例提供的一种通过自动驾驶车辆实现的数据筛选方法的流程示意图;
图11为本申请实施例提供的车端端数据筛选机制的框图;
图12为本申请实施例提供的场景库构建框图;
图13为本申请实施例提供的一种部署于服务器的数据筛选装置的框图;
图14为本申请实施例提供的一种部署于自动驾驶车辆的数据筛选装置的框图;
图15为本申请实施例提供的数据闭环系统的示意图;
图16为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
申请概述
自动驾驶车辆的安全性是目前亟待解决的主要问题。随着感知技术和自动驾驶算法模型的逐渐成熟,影响车辆安全性的关键因素已由常见的一般案例,变为各类不常见但不断出现的特殊案例,如一些极端情况下的驾驶场景。
在相关技术中,一般是通过数据闭环方式解决上述问题。其中,自动驾驶的数据闭环框架可以如图1所示,通过循环往复的进行数据采集、模型训练以及模型部署等,来不断优化模型,提升模型的处理能力。
其中,数据采集和数据筛选由车端完成。但由于上述特殊类场景的发生难以预知,且发生后可能转瞬即逝,因此,需要车端能够及时对数据进行处理,完成数据筛选,因此部署在车端的数据筛选算法是轻量型的,比较简单,以便能够在较短时间内快速完成数据筛选,但这也导致车端只能进行粗略筛选,数据筛选的准确性有待提高,此外,车端一般是基于各种传感器采集的数据进行数据筛选,可能会遗漏一些有价值数据,影响模型性能的优化,因此,本申请实施例中提供了一种关于数据筛选的技术方案,用于解决上述问题。
示例性应用场景
本申请实施例提供的技术方案可以适用于车辆研发阶段中的数据筛选,也可以适用于车辆量产阶段中的数据筛选。
示例性方法
本申请实施例提供了一种数据筛选方法,该方法可以通过服务器实现,即由服务器执行该方法。
如图2所示,该数据筛选方法可以包括:
步骤201:服务器获取初筛增量数据。
上述初筛增量数据为自动驾驶车辆对自身采集的车辆驾驶数据进行筛选得到的。
具体地,该初筛增量数据可以是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及自动驾驶车辆的感知数据筛选得到的。
上述感知数据可以包括但不限于:通过自动驾驶车辆上的各种传感器采集得到的数据、车载自动驾驶算法模型输出的感知结果。
上述预测数据可以包括但不限于:通过车载自动驾驶算法模型或其他方式,针对周围障碍物输出的轨迹预测结果。
上述决策数据可以包括但不限于:车辆驾驶员(如车辆研发阶段中的安全驾驶员)对车辆做出决策行为数据、车载自动驾驶算法针对车辆的行驶轨迹输出的决策结果。
在自动驾驶的相关技术中,感知是基础,因此,基于感知数据进行数据筛选是必要的,而申请人发现,车辆的预测数据和决策数据也可以在一定程度上体现出数据的价值性,例如,自动驾驶算法模型可能无法预测障碍物(即众多行人等)的轨迹,或决策结果中的车辆轨迹风险较高时,说明模型缺乏对这种驾驶场景的处理能力,则这种驾驶场景数据为有价值数据,也就是增量数据。基于该发现,本申请实施例提出不仅基于车辆的感知数据,还基于车辆的预测数据和决策数据中的至少一种进行数据筛选,从而实现在不同层次上进行数据筛选,丰富筛选得到的增量数据,减少有价值数据的遗漏。
本申请实施例中所述的增量数据可以理解为自动驾驶算法模型的训练数据中缺失的数据,也可以理解为异常数据(如目标在不同摄像头中匹配错误、目标在连续帧中出现抖动或者目标突然消失等异常感知数据)或危险驾驶场景数据(如恶劣天气下在高速公路上行驶的场景数据)。上述初筛增量数据可以包括至少一组数据,每组数据对应一种驾驶场景。
如图3所示,车辆301可以实时或定时将筛选得到的数据发送至服务器302,服务器302可以将接收到的数据进行保存,例如,可以将数据保存在一个临时存储硬盘3021中备用。
其中,上述车辆驾驶数据可以是自动驾驶车辆采集的自身驾驶数据,也可以是自动驾驶车辆从其他自动驾驶车辆处获得的,例如,车辆A与车辆B进行组网后,车辆A可以在与服务器之间的通信连接断开的情况下,将自身的驾驶数据发送至车辆B,由车辆B完成对车辆A的驾驶数据的筛选。
其中,上述车辆驾驶数据可以包括但不限于:通过车辆上各种传感器采集的数据,如通过摄像头、激光雷达、毫米波雷达、全球导航卫星系统(Global Navigation SatelliteSystem,GNSS)、惯性测量单元(Inertial Measurement Unit,IMU)以及其他车载传感器中的至少一种采集的数据。
如图4所示,车辆上的摄像头可以包括但不限于:前摄像头401、左前摄像头402、右前摄像头403、后摄像头404、左后摄像头405以及右后摄像头406,各摄像头在车辆上的位置关系可参考图4(图中黑色圆形图形表示摄像头),但不仅限于图4所示。通过这些摄像头可以采集车辆附近360度范围内的环境图像。
如图4所示,车辆上的激光雷达407可以设置于车辆后端,其可以进行360度扫描,获得3D点云数据。激光雷达407在车辆上的设置位置可参考图4(图中填充斜线的圆形图形),但不仅限于图4所示。可以理解的是,该激光雷达也可以由多个能够进行有限视角扫描的激光雷达组合代替。
如图4所示,车辆上的毫米波雷达可以包括但不限于:前向雷达408、左前雷达409、右前雷达410、左后雷达411以及右后雷达412,各毫米波雷达在车辆的位置关系可参考图4(图中填充网格的圆形图形),但不仅限于图4所示。通过这些毫米波雷达和激光雷达,可以检测车辆附近360度范围内的障碍物。其中,当车辆上未配置激光雷达时,可以在车辆尾部设置一后向雷达413。
如图4所示,车辆上的IMU 414可以设置于车辆后端,其可以不依赖于外部信息进行更可靠的车辆导航。IMU 414在车辆上的设置位置可参考图4(图中填充黑点的圆形图形),但不仅限于图4所示。
在上述车辆驾驶数据是由多个同类传感器(如多个摄像头或多个毫米波雷达等)采集的数据,或是由多种传感器采集的多模态数据。在车辆驾驶数据为多模态数据的情况下,需要做传感器标定,具体标定方式可以是:以车辆上的某一点为原点建立三维坐标系,然后标定每个传感器在三维坐标系中的坐标位置。通过该坐标位置可以用于确定各传感器数据之间的坐标关系,以便进行特征匹配或特征合并等处理操作。
另外,传感器之间需要采用统一时钟,然后采用某种信号触发传感器工作。例如,为了便于进行激光雷达采集的点云数据与多摄像头采集的图像之间进行特征匹配或特征合并等,可以预先设置激光雷达的朝向方向与每个摄像头之间的对应关系,之后根据激光雷达的朝向确定与之匹配的摄像头,并控制该摄像头采集图像。
步骤202:服务器通过第一预设筛选方式,对初筛增量数据进行二次筛选,得到最终增量数据。
上述最终增量数据包括异常数据以及危险驾驶场景数据中的至少一种。关于异常数据和危险驾驶场景数据已在前文进行解释说明,这里便不再赘述。
服务器在获取到自动驾驶车辆发送的初筛增量数据后,例如在图3所示的临时存储硬盘3021中获取到初筛增量数据后,可以通过预设筛选算法(即第一预设筛选方式),对初筛增量数据进行二次筛选,得到最终增量数据。该最终增量数据可以存储于数据库3028中,用于构建场景库或进行模型训练等用途。由于服务器的计算能力更强且不必实时对车辆采集的数据进行筛选,因此能够运行更复杂的数据筛选算法,对数据进行更加精确的筛选,从而提升数据筛选的准确性,减小后续无用的数据标注工作和无用模型训练工作。
作为一种可选实施例,上述第一预设筛选方式的数量为至少一种,可以包括以下至少一项:第一筛选方式、第二筛选方式、第三筛选方式。
其中,第一筛选方式是自动驾驶算法筛选方式,具体为:将初筛增量数据输入至服务器端的自动驾驶算法模型后,基于模型输出结果和单类分类器进行数据筛选。
这里所述的单类分类器也可以称为一类分类器,顾名思义,单类分类器仅能识别一类数据,单类分类器的输出结果为属于目标类和不属于目标类,而目标类即为单类分类器能够识别的类别。例如,可以训练单类分类器用于识别笔这一类物体,为此,可以预先搜集各种笔的图像特征,作为单类分类器的训练样本进行训练。完成训练后,当将橡皮的图像特征输入至该单类分类器之后,其输出结果为该物体不是笔;当将钢笔的图像特征输入至该单类分类器之后,其输出结果该物体为是笔。
本申请实施例中的单类分类器可以是利用目标训练数据训练得到的,该目标训练数据是将自动驾驶算法模型的历史训练数据输入至模型后得到的输出结果。在利用该单类分类器进行数据筛选时,可以将模型输出结果输入至单类分类器中,由单类分类器对该输出结果进行分类。若输出结果属于目标类,则确定待筛选数据不是所需的数据,也就是待筛选数据非增量数据;若输出结果不属于目标类,则确定待筛选数据是所需的数据,也就是待筛选数据为增量数据。
可选地,本申请实施例中的单类分类器架构可以如图5所示,包括:特征编码模块501、特征解码模块502和一个基于卷积神经网络(Convolutional Neural Networks,CNN)的分类器503。
本申请实施例中,单类分类器是基于自动驾驶算法模型的历史训练数据训练得到的,有助于更好的区别增量数据和非增量数据,为车辆驾驶数据提供了强大的理解工具,因此通过第一筛选方式能够有效进行增量数据的筛选。
其中,第二筛选方式是聚类筛选方式,具体为:基于初筛增量数据与至少一个预设场景簇的聚类结果进行数据筛选。
这里所述的预设场景簇是对历史驾驶场景数据聚类得到的,是已知的驾驶场景。可选地,可以采用一些无监督学习方法或密度估计方法,生成场景簇。
由于预设场景簇是对历史驾驶场景数据聚类得到的,代表了已知驾驶场景,因此,通过判断待筛选数据与预设场景簇的关系,可以确定待筛选数据是否为增量数据。若待筛选数据属于其中一个预设场景簇,则确定待筛选数据非增量数据;若待筛选数据不属于任意一个预设场景簇,则确定待筛选数据为增量数据。例如,预设场景簇包括:雨天驾驶场景和雾天驾驶场景,当待筛选数据对应台风这一极端天气驾驶场景时,待筛选数据不属于任意一个预设场景簇,则待筛选数据为增量数据。
在第二筛选方式中,预设场景簇是预先生成的,通过分析判断待筛选数据与预设场景簇之间的关系,即可确定待筛选数据是否为增量数据,算法简单,能够快速得到筛选结果,筛选效率高。
其中,第三筛选方式是搜索筛选方式,具体为:通过在初筛增量数据中查找与预设场景信息匹配的数据进行数据筛选。
这里所述的预设场景信息包括新增场景的描述信息。该新增场景的描述信息可以是基于专家知识得到的,也就是人为定义的场景信息,以此发现某种目标、上下文(即周围环境)或交通行为等,例如,夜晚街道出现的摩托车、恶劣电器下高速公路上的大货车、环岛中的车辆行人、高速换道、街道路口的U型转弯(U-turn,即掉头)。
本申请实施例中,通过第三筛选方式可以按需进行数据筛选,减少最终筛选结果中的无用数据。
需要说明的是,在本申请实施例中,上述待筛选数据为初筛增量数据。
优选地,第一预设筛选方式的数量为至少两种,包括:第一筛选方式和第二筛选方式中的至少一种,以及第三筛选方式,即:第一预设筛选方式包括第一筛选方式和第三筛选方式,或包括第二筛选方式和第三筛选方式,或包括第一筛选方式、第二筛选方式和第三筛选方式。
第一筛选方式和第二筛选方式是基于数据的筛选方式,第三筛选方式是基于知识的筛选方式,通过数据与知识结合的方式进行数据筛选,可以从不同角度实现数据筛选,从而丰富筛选得到的数据。
需要说明的是,在采用多种筛选方式进行数据筛选时,多种筛选方式是并列实施的,即分别通过不同筛选方式对初筛增量数据进行二次筛选。
下面对通过第一筛选方式、第二筛选方式或第三筛选方式,进行数据筛选的过程,进行解释说明。
作为一种可选实施例,在第一预设筛选方式包括第一筛选方式的情况下,步骤202:服务器通过第一预设筛选方式,对初筛增量数据进行二次筛选,得到最终增量数据,可以包括:
步骤A1:服务器将初筛增量数据输入至自动驾驶算法模型中,得到目标结果。
其中,目标结果的数量为至少一个,包括以下至少一项:感知结果、预测结果、决策结果(也可称为规划结果)。
这里所述的自动驾驶算法模型存储于服务器中。本申请实施例中,可以单步运行自动驾驶算法,即:自动驾驶算法模型的输出结果不作用于车辆。该自动驾驶算法可以是一个模块化的流水线,包括感知模块3022、预测模块3023和规划模块3024,如图3所示。感知模块3022用于输出感知结果,预测模块3023用于输出预测结果,规划模块3024用于输出决策结果。
步骤A2:服务器将每一目标结果输入至对应的预设单类分类器中,基于所述预设单类分类器的输出结果,确定每一目标结果是否异常。
这里所述的预设单类分类器即图3中的单类分类器3025。
不同目标结果对应的预设单类分类器不同,预设单类分类器是利用目标训练数据训练得到的,该目标训练数据是将自动驾驶算法模型的历史训练数据输入至模型后得到的且与预设单类分类器对应的目标结果,即:感知结果对应的预设单类分类器是利用将自动驾驶算法模型的历史训练数据输入至模型后得到的感知结果,进行训练得到的;预设结果对应的预设单类分类器是利用将自动驾驶算法模型的历史训练数据输入至模型后得到的预设结果,进行训练得到的;决策结果对应的预设单类分类器是利用将自动驾驶算法模型的历史训练数据输入至模型后得到的决策结果,进行训练得到的。
前面提到单类分类器可以识别一个类别的数据,因此,将目标结果输入值对应的预设单类分类器后,可以基于分类器的输出结果,确定输入的目标结果是否异常,即:若目标结果属于对应的预设单类分类器能够识别的目标类,则确定目标结果正常;若目标结果不属于对应的预设单类分类器能够识别的目标类,则确定目标结果异常。
步骤A3:在至少一个目标结果异常的情况下,服务器将初筛增量数据确定为最终增量数据。
在任意一个目标结果异常的情况下,则将初筛增量数据确定为最终增量数据。例如,目标结果包括感知结果、预测结果和决策结果。在三个结果中的任意一个异常的情况下,则将初筛增量数据确定为最终增量数据。如图3所示,服务器可将通过第一筛选方式筛选得到的增量数据存储至数据库3028中。
本申请实施例中,可以按需基于不同自动驾驶算法模型的不同输出结果进行数据筛选,而在利用由此筛选得到的数据进行模型训练时,可以更侧重于对相应的功能进行优化,例如,在利用基于感知结果筛选得到的增量数据进行模型训练时,能够更侧重于对模型的感知功能进行优化;在利用基于预测结果筛选得到的增量数据进行模型训练时,能够更侧重于对模型的预测功能进行优化;在利用基于决策结果筛选得到的增量数据进行模型训练时,能够更侧重于对模型的规划功能进行优化,从而更好地实现模型优化。
优选地,目标结果的数量为至少两个,包括:预测结果和决策结果中的至少一个,以及所述感知结果,即:目标结果可以包括感知结果和预测结果,或包括感知结果和决策结果,或包括感知结果、预测结果和决策结果。
在自动驾驶的相关技术中,感知是基础,因此,基于感知结果筛选数据是很有必要的,而本申请实施例中,不仅从感知层次筛选数据,还从预测层次和规划层次中的至少一个,进行数据筛选,实现了从不同层次挑选有价值的数据,丰富了模型训练数据。
下面对不同目标结果的生成过程进行进一步地描述。
在目标结果包括感知结果的一些实施例中,步骤A1:服务器将初筛增量数据输入至自动驾驶算法模型中,得到目标结果,可以包括:
步骤A111:在初筛增量数据包括图像序列的情况下,将图像序列进行视角转换处理,得到第一目标鸟瞰图。
这里所述的图像序列是通过自动驾驶车辆上的摄像头采集得到的连续图像帧。
步骤A112:对第一目标鸟瞰图进行地图元素检测,生成矢量地图。
步骤A113:对第一目标鸟瞰图进行目标障碍物检测,得到对目标障碍物进行标识的第二目标鸟瞰图。
步骤A114:将矢量地图和第二目标鸟瞰图作为感知结果。
下面结合图6,对步骤A111至步骤A114进行解释说明。
图6为自动驾驶算法模型中的感知模块3022的框图,该感知模块3022可以包括:主干网模块601、视角转换模块602、鸟瞰目标检测器603、地图元素检测模块604以及折线生成器605。
如图6所示,主干网模块601对初筛增量数据中的图像序列进行图像编码,之后视角转换模块602对图像编码结果进行视角转换处理,得到鸟瞰图(即第一目标鸟瞰图)。再之后将得到的鸟瞰图分别输入鸟瞰目标检测器603和地图元素检测模块604。鸟瞰目标检测器603检测鸟瞰图中的目标(即目标障碍物),并对检测到的目标进行标识,输出鸟瞰目标框,即对目标进行标识的第二目标鸟瞰图。地图元素检测模块604检测鸟瞰图中包括的地图元素,之后将检测结果输入折线生成器605,由折线生成器605根据检测结果中的地图元素信息,生成矢量地图进行输出。其中,矢量地图和鸟瞰目标框即为感知模块3022输出的感知结果。
在自动驾驶的相关技术中,无论是研发阶段用于采集数据的车辆,还是量产的车辆,摄像头均是标配,因此,通过步骤A111至步骤A114得到感知结果的方案,既适用于车辆研发阶段,也适用于车辆量产阶段。
在目标结果包括感知结果的另一些实施例中,步骤A1:服务器将初筛增量数据输入至自动驾驶算法模型中,得到目标结果,可以包括:
步骤A121:在初筛增量数据包括图像序列和点云数据的情况下,将图像序列和点云数据进行视角转换处理,分别得到第一鸟瞰图和第二鸟瞰图。
其中,图像序列是通过自动驾驶车辆上的摄像头采集得到的连续图像帧,点云数据是通过自动驾驶车辆上的激光雷达采集的。
步骤A122:将第一鸟瞰图与第二鸟瞰图进行特征合并处理,得到第一目标鸟瞰图。
步骤A123:对第一目标鸟瞰图进行地图元素检测,生成矢量地图。
步骤A124:对第一目标鸟瞰图进行目标障碍物检测,得到对目标障碍物进行标识的第二目标鸟瞰图。
步骤A125:将矢量地图和第二目标鸟瞰图作为感知结果。
下面结合图7,对步骤A121至步骤A125进行解释说明。
图7为自动驾驶算法模型中的感知模块3022的另一框图,该感知模块3022可以包括:主干网模块701、第一视角转换模块702、体素化模块703、特征编码模块704、第二视角转换模块705、特征合并模块706、鸟瞰目标检测器707、地图元素检测模块708以及折线生成器709。
如图7所示,主干网模块701对初筛增量数据中的图像序列进行图像编码,之后第一视角转换模块702对图像编码结果进行视角转换处理,得到第一鸟瞰图。初筛增量数据中的点云数据通过体素化模块703进行体素化处理,并由特征编码模块704对体素化结果进行特征编码,再之后第二视角转换模块705对特征编码结果进行视角转换处理,得到第二鸟瞰图。再之后,将第一鸟瞰图和第二鸟瞰图输入至特征合并模块706,由特征合并模块706对两帧鸟瞰图进行特征合并处理,得到第一目标鸟瞰图。之后,将第一目标鸟瞰图分别输入鸟瞰目标检测器707和地图元素检测模块708。鸟瞰目标检测器707检测鸟瞰图中的目标(即目标障碍物),并对检测到的目标进行标识,输出鸟瞰目标框,即对目标进行标识的第二目标鸟瞰图。地图元素检测模块708检测鸟瞰图中包括的地图元素,之后将检测结果输入折线生成器709,由折线生成器709根据检测结果中的地图元素信息,生成矢量地图进行输出。其中,矢量地图和鸟瞰目标框即为感知模块3022输出的感知结果。
在自动驾驶的相关技术中,在车辆研发阶段,摄像头和激光雷达均是标配,而在量产车辆上,摄像头是标配,但激光雷达不是,因此,通过步骤A111至步骤A114得到感知结果的方案,适用于车辆研发阶段。当然在量产车辆上设置激光雷达的情况下,也适用于车辆量产阶段。
在目标结果包括预测结果的一些实施例中,步骤A1:服务器将初筛增量数据输入至自动驾驶算法模型中,得到目标结果,可以包括:
步骤A131:对自动驾驶算法模型输出的感知结果中的鸟瞰图进行时域编码,得到时空鸟瞰特征。
其中,该鸟瞰图中包括对目标障碍物的标识信息,该鸟瞰图是基于初筛增量数据中的图像序列得到的,如通过步骤A111至步骤A114所示方式得到的;或是基于初筛增量数据中的图像序列和点云数据得到的,如通过步骤A121至步骤A125所示方式得到的。
步骤A132:将时空鸟瞰特征进行运动解码,预测目标障碍物的轨迹。
步骤A133:将预测得到的轨迹作为预测结果。
下面结合图8,对步骤A131至步骤A133进行解释说明。
图8为自动驾驶算法模型中的感知模块3022和预测模块3023的框图,这里所示的感知模块3022为图7所示的感知模块。当然,图8所示的预测模块3023也可与图6所示的感知模块结合。其中,该预测模块3023可以包括:时域编码模块801和运动解码模块802。
如图8所示,将特征合并模块706输出的第二目标鸟瞰图,输入至时域解码模块801,由时域解码模块801对第二目标鸟瞰图进行编码,得到时域编码结果,该编码结果为时空鸟瞰特征。之后将时域编码结果输入至运动解码模块802进行解码,即对时空鸟瞰特征进行理解,得到目标障碍物的预测轨迹。可选地,本申请实施中,可以将IMU数据输入至模型中,参与时域编码。IMU数据中包括车辆的行驶轨迹,结合车辆的行驶轨迹,来预测目标障碍物的轨迹,可以提高轨迹预测的准确性。其中,可以将IMU数据通过主干网模块701输入至模型中。
通过步骤A131至步骤A133得到预测结果的方案,既适用于车辆研发阶段,也适用于车辆量产阶段。
在目标结果包括决策结果的一些实施例中,步骤A1:服务器将初筛增量数据输入至自动驾驶算法模型中,得到目标结果,可以包括:
步骤A141:对时空鸟瞰特征进行规划解码,得到驾驶场景的时空特征信息。
其中,时空鸟瞰特征是对自动驾驶算法模型输出的感知结果中的鸟瞰图,进行时域编码得到的结果。这里所述的鸟瞰图中包括对目标障碍物的标识信息,该鸟瞰图是基于初筛增量数据中的图像序列得到的,如通过步骤A111至步骤A114所示方式得到的;或是基于初筛增量数据中的图像序列和点云数据得到的,如通过步骤A121至步骤A125所示方式得到的。
这里所述的驾驶场景的时空特征为成本体,不仅包括目标障碍物的当前的位置信息,还包括目标障碍物未来的位置信息。
步骤A142:通过预设成本函数,结合驾驶场景的时空特征信息,对至少一种车辆轨迹进行成本计算。
步骤A143:将成本最小的车辆轨迹作为决策结果。
下面结合图9,对步骤A141至步骤A143进行解释说明。
图9为自动驾驶算法模型中的感知模块3022、预测模块3023和规划模块3024的框图,这里所示的感知模块3022为图7所示的感知模块。当然,图9所示的预测模块3023和规划模块3024也可与图6所示的感知模块结合。其中,该规划模块3023可以包括:规划编码模块901、最小成本计算模块902和采样器903。
如图9所示,规划解码模块901对时域编码模块801的输出结果进行解码,得到成本体。之后,最小成本模块902中的成本函数(即预设成本函数),结合成本体,对采样器903发出的各种车辆轨迹进行成本计算,并确定成本最小的车辆轨迹,将其输出。其中,成本函数包括:安全(避开障碍物)、交通规则和轨迹平滑性(加速度和曲率)等,也就是从多个方面进行成本计算,以便得到最优车辆轨迹。
通过步骤A141至步骤A143得到决策结果的方案,既适用于车辆研发阶段,也适用于车辆量产阶段。
本申请实施例中,上述用于得到感知结果、预测结果和决策结果的方式中所涉及编码和解码的过程,均是采用基于深度学习得到的编码器和解码器实现的,更加智能化。
作为一种可选实施例,在第一预设筛选方式包括第二筛选方式的情况下,步骤202:服务器通过第一预设筛选方式,对初筛增量数据进行二次筛选,得到最终增量数据,可以包括:
步骤B1:服务器分别确定初筛增量数据与所述至少一个预设场景簇的聚类中心的距离。
步骤B2:在初筛增量数据与所述至少一个预设场景簇的聚类中心的距离均大于或等于距离阈值的情况下,服务器将初筛增量数据确定为最终增量数据。
当初筛增量数据与一预设场景簇的聚类中心均相距较远时,说明该初筛增量数据不属于该预设场景簇,则该初筛增量数据形成为异常数据,也就是增量数据,因此,在初筛增量数据与所有预设场景簇的聚类中心的距离均大于或等于距离阈值的情况下,说明该初筛增量数据不属于任意一个预设场景簇,则服务器将初筛增量数据确定为最终增量数据。
这里所述的距离阈值可根据实际需求设置,本申请实施例对此不进行限定。
本申请实施例中,可以通过图3所示的聚类模块3026对初筛增量数据进行聚类处理,之后服务器可基于聚类结果,确定初筛增量数据是否异常,并在异常的情况下,将初筛增量数据存储于数据库3028中。
作为一种可选实施例,在第一预设筛选方式包括第三筛选方式的情况下,步骤202:服务器通过第一预设筛选方式,对初筛增量数据进行二次筛选,得到最终增量数据,可以包括:
步骤C1:服务器在初筛增量数据中,搜索与预设场景信息匹配的增量数据。
步骤C2:服务器将与预设场景信息匹配的增量数据,确定为最终增量数据。
本申请实施例中,可以预先人为的对所需的场景增量数据进行定义,以使服务器可以根据预定义的场景信息,在初筛增量数据中查找与之匹配的数据,从而完成数据筛选。例如,预设场景信息包括对高速换道场景的描述信息,如速度值、道路情况等信息,则服务器可以在初筛增量数据中查找与之匹配的特征数据。
本申请实施例中,可以通过图3所示的搜索模块3027在初筛增量数据查找与预设场景信息匹配的数据,之后服务器可将查找到的数据存储至数据库3028中。
本申请实施例还提供了一种数据筛选方法,该方法可以通过自动驾驶车辆实现,即由自动驾驶车辆执行该方法。
如图10所示,该数据筛选方法可以包括:
步骤1001:自动驾驶车辆采集车辆驾驶数据。
上述车辆驾驶数据可以是自动驾驶车辆采集的自身驾驶数据,也可以是自动驾驶车辆从其他自动驾驶车辆处获得的。
上述车辆驾驶数据可以包括但不限于:通过车辆上的摄像头、激光雷达、毫米波雷达、GNSS、IMU以及其他车载传感器中的至少一种采集的数据。对于这些传感器的具体描述可参见前一实施例,这里便不再赘述。
步骤1002:自动驾驶车辆通过第二预设筛选方式,对车辆驾驶数据进行筛选,得到初筛增量数据。
这里所述的初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及自动驾驶车辆的感知数据筛选得到的。
上述感知数据可以包括但不限于:通过自动驾驶车辆上的各种传感器采集得到的数据、车载自动驾驶算法模型输出的感知结果。
上述预测数据可以包括但不限于:通过车载自动驾驶算法模型或其他方式,针对周围障碍物输出的轨迹预测结果。
上述决策数据可以包括但不限于:车辆驾驶员(如车辆研发阶段中的安全驾驶员)对车辆做出决策行为数据、车载自动驾驶算法针对车辆的行驶轨迹输出的决策结果。
在自动驾驶的相关技术中,感知是基础,因此,基于感知数据进行数据筛选是必要的,而申请人发现,车辆的预测数据和决策数据也可以在一定程度上体现出数据的价值性,例如,自动驾驶算法模型可能无法预测障碍物(即众多行人等)的轨迹,或决策结果中的车辆轨迹风险较高时,说明模型缺乏对这种驾驶场景的处理能力,则这种驾驶场景数据为有价值数据,也就是增量数据。基于该发现,本申请实施例提出不仅基于车辆的感知数据,还基于车辆的预测数据和决策数据中的至少一种进行数据筛选,从而实现在不同层次上进行数据筛选,丰富筛选得到的增量数据,减少有价值数据的遗漏。
这里所述的初筛增量数据用于发送至服务器,使服务器通过第一预设筛选方式对其进行二次筛选,得到最终增量数据。
由于服务器的计算能力更强且不必实时对车辆采集的数据进行筛选,因此能够运行更复杂的数据筛选算法,对数据进行更加精确的筛选,因此第一预设筛选方式相比第二预设筛选方式更加复杂、准确性更高,从而更加精准的进行数据筛选。
需要说明的是,本申请实施例中所述的增量数据可以理解为自动驾驶算法模型的训练数据中缺失的数据,也可以理解为异常数据(如目标在不同摄像头中匹配错误、目标在连续帧中出现抖动或者目标突然消失等异常感知数据)或危险驾驶场景数据(如恶劣天气下在高速公路上行驶的场景数据)。上述初筛增量数据可以包括至少一组数据,每组数据对应一种驾驶场景。
作为一种可选实施例,第二预设筛选方式的数量为至少一种,包括以下至少一项:第一筛选方式、第二筛选方式、第三筛选方式、第四筛选方式。
其中,第一筛选方式与前述服务器端的第一筛选方式类似,是基于车载自动驾驶算法模型的输出结果和单类分类器进行数据筛选。如图11所示,车辆可将自动驾驶算法模型1101的输出结果输入至单类分类器1102,基于单类分类器1102的输出结果,确定车辆驾驶数据是否异常。若异常,则将其筛选出来。关于第一筛选方式具体可参见前一实施例,这里便不再赘述。
本申请实施例中,单类分类器是基于自动驾驶算法模型的历史训练数据训练得到的,有助于更好的区别增量数据和非增量数据,为车辆驾驶数据提供了强大的理解工具,因此通过第一筛选方式能够有效进行增量数据的筛选。
可选地,在车端为了轻量运行,可以采用一类支持向量机(One Class SVM)模型对单类分类器进行训练。
其中,第二筛选方式是通过影子模式进行数据筛选。如图11所示,影子模式模块1103可以基于车载自动驾驶算法的输出结果进行数据筛选。例如,通过自动驾驶算法模型的感知模块,检测到目标(如障碍物)在不同摄像头中匹配错误、连续帧中出现抖动或者突然消失、进出隧道的强烈光照变化等,则可认为车辆驾驶数据异常,将其筛选出来。再例如,发生车辆切入(cut-in)却加速或者有车辆切出(cut-out)却减速的行为、前方出现障碍物却没有避开、换道时被侧后摄像头检测的车辆逼近几乎相撞等异常情况,也可认为车辆驾驶数据异常,将其筛选出来。
其中,第三筛选方式是搜索筛选方式,具体为:通过在车辆驾驶数据中查找与预设场景信息匹配的数据进行数据筛选。
这里所述的预设场景信息包括新增场景的描述信息。该新增场景的描述信息可以是基于专家知识得到的,也就是人为定义的场景信息,以此发现某种目标、上下文(即周围环境)或交通行为等,例如,夜晚街道出现的摩托车、恶劣电器下高速公路上的大货车、环岛中的车辆行人、高速换道、街道路口的U型转弯(U-turn,即掉头)。
如图11所示,可以通过搜索模块1104在车辆驾驶数据中与预设场景信息匹配的数据,并将其筛选出来。
其中,第四筛选方式是基于驾驶操作进行数据筛选。
本申请实施例中,可以通过图11所示的驾驶操作模块1105,从车辆CAN总线获得的偏航率(yaw-rate)、速度(speed)等数据,发现异常的驾驶操作行为,比如车辆的行驶轨迹呈现“画龙”现象、过大加速或刹车、大角度打方向盘或者拐弯角度过大以及触发自动紧急刹车系统(Autonomous Emergency Braking,AEB)等。
本申请实施例中,第一筛选方式和第二筛选方式是基于数据的筛选方式。第三筛选方式和第四筛选方式是基于知识的数据筛选方式,可以按需进行数据筛选,减少最终筛选结果中的无用数据。
可选地,本申请实施例中,可以对初筛增量数据打标签,以标识初筛增量数据的筛选方式以及被筛选原因等信息。如图11所示,可以通过数据采集模块对初筛增量数据打标签,之后将打有标签的初筛增量数据发送至服务器进行存储。
作为一种可选实施例,在第二预设筛选方式包括第一筛选方式的情况下,步骤1002:自动驾驶车辆通过第二预设筛选方式,对车辆驾驶数据进行筛选,得到初筛增量数据,可以包括:
步骤D1:自动驾驶车辆将车辆驾驶数据输入至车载自动驾驶算法模型中,得到目标结果。
其中,目标结果的数量为至少一个,包括以下至少一项:感知结果、预测结果、决策结果。这里所述的目标结果,与前一实施例中的服务器端的目标结果类似,为避免重复,这里便不再赘述。
步骤D2:自动驾驶车辆将每一目标结果输入至对应的预设单类分类器中,确定每一目标结果是否异常。
其中,不同目标结果对应的预设单类分类器不同,预设单类分类器是将自动驾驶算法模型的历史训练数据输入至模型后得到的目标结果进行训练得到的。这里所述的预设单类分类器,与前一实施例中的服务器端的预设单类分类器类似,为避免重复,这里便不再赘述。
步骤D3:在至少一个目标结果异常的情况下,自动驾驶车辆将车辆驾驶数据确定为初筛增量数据。
本申请实施例中,可以按需基于不同自动驾驶算法模型的不同输出结果进行数据筛选,而在利用由此筛选得到的数据进行模型训练时,可以更侧重于对相应的功能进行优化,例如,在利用基于感知结果筛选得到的增量数据进行模型训练时,能够更侧重于对模型的感知功能进行优化;在利用基于预测结果筛选得到的增量数据进行模型训练时,能够更侧重于对模型的预测功能进行优化;在利用基于决策结果筛选得到的增量数据进行模型训练时,能够更侧重于对模型的规划功能进行优化,从而更好地实现模型优化。
优选地,目标结果的数量为至少两个,包括:预测结果和决策结果中的至少一个,以及所述感知结果,即:目标结果可以包括感知结果和预测结果,或包括感知结果和决策结果,或包括感知结果、预测结果和决策结果。
在自动驾驶的相关技术中,感知是基础,因此,基于感知结果筛选数据是很有必要的,而本申请实施例中,不仅从感知层次筛选数据,还从预测层次和规划层次中的至少一个,进行数据筛选,实现了从不同层次挑选有价值的数据,丰富了模型训练数据。
以上即为对本申请实施例提供的数据筛选方法的描述。
综上所述,本申请实施例采用车端与服务器端(即云端)结合的数据筛选机制,在车端以轻量化方式在线触发增量数据的采集,在服务器端基于深度学习进行算法更加复杂的离线增量数据挖掘,为增量数据的挖掘提供了更加完善的系统筛选机制,有助于提高数据筛选的精确度。此外,本申请实施例中,还可以从感知、预测、规划三个层次进行数据筛选,能够更好地对模型的不同功能进行优化。进一步地,本申请实施例中,可以基于知识和数据分别进行数据筛选,丰富了增量数据,如图12所示,可以基于知识的数据筛选方式(如搜索筛选方式、驾驶操作筛选方式)和基于数据的数据筛选方式(如影子模式、单类分类筛选方式、聚类筛选方式)进行数据筛选,并用筛选得到数据构建场景库,从而丰富场景库内的场景数据。
示例性装置
相应的,本申请实施例还提供了一种数据筛选装置,部署于服务器。
如图13所示,该装置可以包括:
数据获取模块1301,用于获取初筛增量数据。
其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的。
第一数据筛选模块1302,用于通过第一预设筛选方式,对所述数据获取模块1301获取的所述初筛增量数据进行二次筛选,得到最终增量数据。
其中,所述最终增量数据至少包括异常数据以及危险驾驶场景数据中的至少一种。
可选地,所述第一预设筛选方式包括第一筛选方式,所述第一筛选方式是将所述初筛增量数据输入至服务器端的自动驾驶算法模型后,基于模型输出结果和单类分类器进行数据筛选的。
可选地,在所述第一预设筛选方式包括所述第一筛选方式的情况下,所述第一数据筛选模块1302可以包括:
模型处理单元,用于将所述初筛增量数据输入至自动驾驶算法模型中,得到目标结果。
其中,所述目标结果的数量为至少一个,包括以下至少一项:感知结果、预测结果、决策结果。
异常判断单元,用于将每一所述目标结果输入至对应的预设单类分类器中,基于所述预设单类分类器的输出结果,确定每一所述目标结果是否异常。
其中,不同所述目标结果对应的所述预设单类分类器不同,所述预设单类分类器是利用目标训练数据训练得到的,所述目标训练数据为将所述自动驾驶算法模型的历史训练数据输入至模型后得到的且与所述预设单类分类器对应的目标结果。在所述目标结果不属于对应的所述预设单类分类器能够识别的目标类的情况下,确定所述目标结果异常;
第一增量数据筛选单元,用于在至少一个所述目标结果异常的情况下,将所述初筛增量数据确定为所述最终增量数据。
可选地,所述目标结果的数量为至少两个,包括:所述预测结果和所述决策结果中的至少一个,以及所述感知结果。
可选地,在所述目标结果包括感知结果的情况下,所述模型处理单元具体用于:
在所述初筛增量数据包括图像序列的情况下,将所述图像序列进行视角转换处理,得到第一目标鸟瞰图;其中,所述图像序列是自动驾驶车辆上的摄像头采集得到的;
对所述第一目标鸟瞰图进行地图元素检测,生成矢量地图;
对所述第一目标鸟瞰图进行目标障碍物检测,得到对所述目标障碍物进行标识的第二目标鸟瞰图;
将所述矢量地图和所述第二目标鸟瞰图作为所述感知结果。
可选地,在所述目标结果包括感知结果的情况下,所述模型处理单元具体用于:
在所述初筛增量数据包括图像序列和点云数据的情况下,将所述图像序列和所述点云数据进行视角转换处理,分别得到第一鸟瞰图和第二鸟瞰图;其中,所述图像序列是自动驾驶车辆上的摄像头采集得到的,所述点云数据是自动驾驶车辆上的激光雷达采集的;
将所述第一鸟瞰图与所述第二鸟瞰图进行特征合并处理,得到第一目标鸟瞰图;
对所述第一目标鸟瞰图进行地图元素检测,生成矢量地图;
对所述第一目标鸟瞰图进行目标障碍物检测,得到对所述目标障碍物进行标识的第二目标鸟瞰图;
将所述矢量地图和所述第二目标鸟瞰图作为所述感知结果。
可选地,在所述目标结果包括预测结果的情况下,所述模型处理单元具体用于:
对所述自动驾驶算法模型输出的感知结果中的鸟瞰图进行时域编码,得到时空鸟瞰特征;其中,所述鸟瞰图中包括对目标障碍物的标识信息,所述鸟瞰图是基于所述初筛增量数据中的图像序列得到的,或是基于所述初筛增量数据中的图像序列和点云数据得到的,所述图像序列是通过自动驾驶车辆上的摄像头采集得到的,所述点云数据是通过自动驾驶车辆上的激光雷达采集得到的;
对所述时空鸟瞰特征进行运动解码,预测所述目标障碍物的轨迹;
将预测得到的轨迹作为所述预测结果。
可选地,在所述目标结果包括决策结果的情况下,所述模型处理单元具体用于:
对时空鸟瞰特征进行规划解码,得到驾驶场景的时空特征信息;其中,所述时空鸟瞰特征是对所述自动驾驶算法模型输出的感知结果中的鸟瞰图,进行时域编码得到的结果;所述鸟瞰图中包括对目标障碍物的标识信息,所述鸟瞰图是基于所述初筛增量数据中的图像序列得到的,或是基于所述初筛增量数据中的图像序列和点云数据得到的,所述图像序列是通过自动驾驶车辆上的摄像头采集得到的,所述点云数据是通过自动驾驶车辆上的激光雷达采集得到的;
通过预设成本函数,结合所述时空特征信息,对至少一种车辆轨迹进行成本计算;
将成本最小的车辆轨迹作为所述决策结果。
可选地,所述第一预设筛选方法包括第二筛选方式,所述第二筛选方式是基于所述初筛增量数据与至少一个预设场景簇的聚类结果进行数据筛选,所述预设场景簇是对历史驾驶场景数据聚类得到的。
可选地,所述第一预设筛选方法包括第三筛选方式,所述第三筛选方式是通过在所述初筛增量数据中查找与预设场景信息匹配的数据进行数据筛选的,所述预设场景信息包括新增驾驶场景的描述信息。
本实施例提供的部署于服务器的数据筛选装置,与本申请上述实施例所提供的通过服务器实现的数据筛选方法属于同一申请构思,可执行本申请上述任意实施例所提供的通过服务器实现的数据筛选方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请上述实施例提供的通过服务器实现的数据筛选方法的具体处理内容,此处不再加以赘述。
相应的,本申请实施例还提供了一种数据筛选装置,部署于自动驾驶车辆。
如图14所示,该装置可以包括:
数据采集模块1401,用于采集车辆驾驶数据。
第二数据筛选模块1402,用于通过第二预设筛选方式,对数据采集模块1401采集的所述车辆驾驶数据进行筛选,得到初筛增量数据。
其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的;所述初筛增量数据用于发送至服务器,使服务器通过第一预设筛选方式对其进行二次筛选,得到最终增量数据;所述最终增量数据至少包括异常数据以及危险驾驶场景数据中的至少一种。
可选地,所述第二预设筛选方式的数量为至少一种,包括以下至少一项:第一筛选方式、第二筛选方式、第三筛选方式、第四筛选方式。
所述第一筛选方式是基于车载自动驾驶算法模型的输出结果和单类分类器进行数据筛选。
所述第二筛选方式是通过影子模式进行数据筛选。
所述第三筛选方式是通过在所述车辆驾驶数据中查找与预设场景信息匹配的数据进行数据筛选,所述预设场景信息包括新增场景的描述信息。
所述第四筛选方式是基于驾驶操作进行数据筛选。
可选地,在所述第二预设筛选方式包括所述第一筛选方式的情况下,所述第二数据筛选模块1402可以包括:
模型处理单元,用于将所述车辆驾驶数据输入至所述车载自动驾驶算法模型中,得到目标结果。
其中,所述目标结果的数量为至少一个,包括以下至少一项:感知结果、预测结果、决策结果。
异常判断单元,用于将每一所述目标结果输入至对应的预设单类分类器中,确定每一所述目标结果是否异常。
其中,不同所述目标结果对应的所述预设单类分类器不同,所述预设单类分类器是利用目标训练数据训练得到的,所述目标训练数据是将所述自动驾驶算法模型的历史训练数据输入至模型后得到的且与所述预设单类分类器对应的目标结果。在所述目标结果不属于对应的所述预设单类分类器能够识别的目标类的情况下,确定所述目标结果异常。
增量数据筛选单元,用于在至少一个所述目标结果异常的情况下,将所述车辆驾驶数据确定为所述初筛增量数据。
本实施例提供的部署于自动驾驶车辆的数据筛选装置,与本申请上述实施例所提供的通过自动驾驶车辆实现的数据筛选方法属于同一申请构思,可执行本申请上述任意实施例所提供的通过自动驾驶车辆实现的数据筛选方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请上述实施例提供的通过自动驾驶车辆实现的数据筛选方法的具体处理内容,此处不再加以赘述。
示例性系统
本申请实施例还提供了一种数据筛选系统,该系统可以包括:自动驾驶车辆和服务器。
所述自动驾驶车辆用于通过第二预设筛选方式,对自身采集的车辆驾驶数据进行筛选,得到初筛增量数据。其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的。
所述服务器用于通过第一预设筛选方法,对所述自动驾驶车辆筛选得到的初筛增量数据进行二次筛选,得到最终增量数据。其中,所述最终增量数据至少包括异常数据以及危险驾驶场景数据中的至少一种。
如图15所示,相比于图1所示的数据闭环系统,在本申请实施例提供的数据筛选系统中,增加了服务器端的数据二次筛选过程。由于服务器的计算能力更强且不必实时对车辆采集的数据进行筛选,因此能够运行更复杂的数据筛选算法,对数据进行更加精确的筛选,从而提升数据筛选的准确性,减小后续数据标注和模型训练的工作量。
本实施例提供的数据筛选系统,与本申请上述实施例所提供的数据筛选方法属于同一申请构思,可执行本申请上述任意实施例所提供的数据筛选方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请上述实施例提供的通过服务器实现的数据筛选方法和通过自动驾驶车辆实现的数据筛选方法的具体处理内容,此处不再加以赘述。
示例性电子设备
本申请实施例还提供了一种电子设备,如图16所示,该设备包括:存储器1600和处理器1610。
所述存储器1600与所述处理器1610连接,用于存储程序。
在电子设备为服务器的情况下,所述处理器1610用于通过运行所述存储器1600中存储的程序,实现上述实施例中通过服务器实现的数据筛选方法。在电子设备为自动驾驶车辆的情况下,所述处理器1610用于通过运行所述存储器1600中存储的程序,实现上述实施例中通过自动驾驶车辆实现的数据筛选方法。
具体的,上述电子设备还可以包括:总线、通信接口1620、输入设备1630和输出设备1640。
处理器1610、存储器1600、通信接口1620、输入设备1630和输出设备1640通过总线相互连接。其中:
总线可包括一通路,在计算机系统各个部件之间传送信息。
处理器1610可以是通用处理器,例如通用中央处理器(CPU)、微处理器等,也可以是特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器1610可包括主处理器,还可包括基带芯片、调制解调器等。
存储器1600中保存有执行本发明技术方案的程序,还可以保存有操作系统和其他关键业务。具体地,程序可以包括程序代码,程序代码包括计算机操作指令。更具体的,存储器1600可以包括只读存储器(read-only memory,ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory,RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。
输入设备1630可包括接收用户输入的数据和信息的装置,例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。
输出设备1640可包括允许输出信息给用户的装置,例如显示屏、打印机、扬声器等。
通信接口1620可包括使用任何收发器一类的装置,以便与其他设备或通信网络通信,如以太网,无线接入网(RAN),无线局域网(WLAN)等。
处理器1610执行存储器1600中所存放的程序,以及调用其他设备,可用于实现本申请上述实施例所提供的数据筛选方法的各个步骤。
示例性计算机程序产品和存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本申请实施例中描述的数据筛选方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是存储介质,其上存储有计算机程序,计算机程序被处理器执行本申实施例中描述的数据筛选方法中的步骤。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减,各实施例中记载的技术特征可以进行替换或者组合。
本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。
本申请所提供的几个实施例中,应该理解到,所揭露的终端,装置和方法,可以通过其它的方式实现。例如,以上所描述的终端实施例仅仅是示意性的,例如,模块或子模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个子模块或模块可以结合或者可以集成到另一个模块,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的,作为模块或子模块的部件可以是或者也可以不是物理模块或子模块,即可以位于一个地方,或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中,也可以是各个模块或子模块单独物理存在,也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现,也可以采用软件功能模块或子模块的形式实现。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元,或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (19)
1.一种数据筛选方法,其特征在于,通过服务器实现,所述方法包括:
获取初筛增量数据;其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的;
通过第一预设筛选方式,对所述初筛增量数据进行二次筛选,得到最终增量数据;其中,所述最终增量数据至少包括异常数据以及危险驾驶场景数据中的至少一种。
2.根据权利要求1所述的数据筛选方法,其特征在于,所述第一预设筛选方式包括第一筛选方式,所述第一筛选方式是将所述初筛增量数据输入至服务器端的自动驾驶算法模型后,基于模型输出结果和单类分类器进行数据筛选的。
3.根据权利要求2所述的数据筛选方法,其特征在于,所述通过第一预设筛选方式,对所述初筛增量数据进行二次筛选,得到最终增量数据的步骤包括:
将所述初筛增量数据输入至所述自动驾驶算法模型中,得到目标结果;其中,所述目标结果的数量为至少一个,包括以下至少一项:感知结果、预测结果、决策结果;
将每一所述目标结果输入至对应的预设单类分类器中,基于所述预设单类分类器的输出结果,确定每一所述目标结果是否异常;其中,不同所述目标结果对应的所述预设单类分类器不同,所述预设单类分类器是利用目标训练数据训练得到的,所述目标训练数据为将所述自动驾驶算法模型的历史训练数据输入至模型后得到的且与所述预设单类分类器对应的目标结果;在所述目标结果不属于对应的所述预设单类分类器能够识别的目标类的情况下,确定所述目标结果异常;
在至少一个所述目标结果异常的情况下,将所述初筛增量数据确定为所述最终增量数据。
4.根据权利要求3所述的数据筛选方法,其特征在于,所述目标结果的数量为至少两个,包括:所述预测结果和所述决策结果中的至少一个,以及所述感知结果。
5.根据权利要求3或4所述的数据筛选方法,其特征在于,在所述目标结果包括感知结果的情况下,所述将所述初筛增量数据输入至所述自动驾驶算法模型中,得到目标结果的步骤,包括:
在所述初筛增量数据包括图像序列的情况下,将所述图像序列进行视角转换处理,得到第一目标鸟瞰图;其中,所述图像序列是自动驾驶车辆上的摄像头采集得到的;
对所述第一目标鸟瞰图进行地图元素检测,生成矢量地图;
对所述第一目标鸟瞰图进行目标障碍物检测,得到对所述目标障碍物进行标识的第二目标鸟瞰图;
将所述矢量地图和所述第二目标鸟瞰图作为所述感知结果。
6.根据权利要求3或4所述的数据筛选方法,其特征在于,在所述目标结果包括感知结果的情况下,所述将所述初筛增量数据输入至所述自动驾驶算法模型中,得到目标结果的步骤,包括:
在所述初筛增量数据包括图像序列和点云数据的情况下,将所述图像序列和所述点云数据进行视角转换处理,分别得到第一鸟瞰图和第二鸟瞰图;其中,所述图像序列是自动驾驶车辆上的摄像头采集得到的,所述点云数据是自动驾驶车辆上的激光雷达采集的;
将所述第一鸟瞰图与所述第二鸟瞰图进行特征合并处理,得到第一目标鸟瞰图;
对所述第一目标鸟瞰图进行地图元素检测,生成矢量地图;
对所述第一目标鸟瞰图进行目标障碍物检测,得到对所述目标障碍物进行标识的第二目标鸟瞰图;
将所述矢量地图和所述第二目标鸟瞰图作为所述感知结果。
7.根据权利要求3或4所述的数据筛选方法,其特征在于,在所述目标结果包括预测结果的情况下,所述将所述初筛增量数据输入至所述自动驾驶算法模型中,得到目标结果的步骤,包括:
对所述自动驾驶算法模型输出的感知结果中的鸟瞰图进行时域编码,得到时空鸟瞰特征;其中,所述鸟瞰图中包括对目标障碍物的标识信息,所述鸟瞰图是基于所述初筛增量数据中的图像序列得到的,或是基于所述初筛增量数据中的图像序列和点云数据得到的,所述图像序列是通过自动驾驶车辆上的摄像头采集得到的,所述点云数据是通过自动驾驶车辆上的激光雷达采集得到的;
对所述时空鸟瞰特征进行运动解码,预测所述目标障碍物的轨迹;
将预测得到的轨迹作为所述预测结果。
8.根据权利要求3或4所述的数据筛选方法,其特征在于,在所述目标结果包括决策结果的情况下,所述将所述初筛增量数据输入至自动驾驶算法模型中,得到目标结果的步骤,包括:
对时空鸟瞰特征进行规划解码,得到驾驶场景的时空特征信息;其中,所述时空鸟瞰特征是对所述自动驾驶算法模型输出的感知结果中的鸟瞰图,进行时域编码得到的结果;所述鸟瞰图中包括对目标障碍物的标识信息,所述鸟瞰图是基于所述初筛增量数据中的图像序列得到的,或是基于所述初筛增量数据中的图像序列和点云数据得到的,所述图像序列是通过自动驾驶车辆上的摄像头采集得到的,所述点云数据是通过自动驾驶车辆上的激光雷达采集得到的;
通过预设成本函数,结合所述时空特征信息,对至少一种车辆轨迹进行成本计算;
将成本最小的车辆轨迹作为所述决策结果。
9.根据权利要求2所述的数据筛选方法,其特征在于,所述第一预设筛选方法包括第二筛选方式,所述第二筛选方式是基于所述初筛增量数据与至少一个预设场景簇的聚类结果进行数据筛选,所述预设场景簇是对历史驾驶场景数据聚类得到的。
10.根据权利要求2所述的数据筛选方法,其特征在于,所述第一预设筛选方法包括第三筛选方式,所述第三筛选方式是通过在所述初筛增量数据中查找与预设场景信息匹配的数据进行数据筛选的,所述预设场景信息包括新增驾驶场景的描述信息。
11.一种数据筛选方法,其特征在于,通过自动驾驶车辆实现,所述方法包括:
采集车辆驾驶数据;
通过第二预设筛选方式,对所述车辆驾驶数据进行筛选,得到初筛增量数据;其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的;所述初筛增量数据用于发送至服务器,使服务器通过第一预设筛选方式对其进行二次筛选,得到最终增量数据;所述最终增量数据至少包括异常数据和危险驾驶场景数据中的至少一种。
12.根据权利要求11所述的数据筛选方法,其特征在于,所述第二预设筛选方式包括第一筛选方式,所述第一筛选方式是将所述车辆驾驶数据输入至车载自动驾驶算法模型后,基于模型输出结果和单类分类器进行数据筛选的。
13.根据权利要求12所述的数据筛选方法,其特征在于,所述通过第二预设筛选方式,对所述车辆驾驶数据进行筛选,得到初筛增量数据的步骤,包括:
将所述车辆驾驶数据输入至所述车载自动驾驶算法模型中,得到目标结果;其中,所述目标结果的数量为至少一个,包括以下至少一项:感知结果、预测结果、决策结果;
将每一所述目标结果输入至对应的预设单类分类器中,确定每一所述目标结果是否异常;其中,不同所述目标结果对应的所述预设单类分类器不同,所述预设单类分类器是利用目标训练数据训练得到的,所述目标训练数据是将所述自动驾驶算法模型的历史训练数据输入至模型后得到的且与所述预设单类分类器对应的目标结果;在所述目标结果不属于对应的所述预设单类分类器能够识别的目标类的情况下,确定所述目标结果异常;
在至少一个所述目标结果异常的情况下,将所述车辆驾驶数据确定为所述初筛增量数据。
14.根据权利要求13所述的数据筛选方法,其特征在于,所述目标结果的数量为至少两个,包括:所述预测结果和所述决策结果中的至少一个,以及所述感知结果。
15.一种数据筛选装置,其特征在于,部署于服务器,所述装置包括:
数据获取模块,用于获取初筛增量数据;其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的;
第一数据筛选模块,用于通过第一预设筛选方式,对所述数据获取模块获取的所述初筛增量数据进行二次筛选,得到最终增量数据;其中,所述最终增量数据至少包括异常数据以及危险驾驶场景数据中的至少一种。
16.一种数据筛选装置,其特征在于,部署于自动驾驶车辆,所述装置包括:
数据采集模块,用于采集车辆驾驶数据;
第二数据筛选模块,用于通过第二预设筛选方式,对所述车辆驾驶数据进行筛选,得到初筛增量数据;其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的;所述初筛增量数据用于发送至服务器,使服务器通过第一预设筛选方式对其进行二次筛选,得到最终增量数据,所述最终增量数据至少包括异常数据和危险驾驶场景数据中的至少一种。
17.一种数据筛选系统,其特征在于,包括:自动驾驶车辆和服务器;
所述自动驾驶车辆用于通过第二预设筛选方式,对自身采集的车辆驾驶数据进行筛选,得到初筛增量数据;其中,所述初筛增量数据是基于自动驾驶车辆的预测数据和决策数据中的至少一种,以及所述自动驾驶车辆的感知数据筛选得到的;
所述服务器用于通过第一预设筛选方法,对所述自动驾驶车辆筛选得到的初筛增量数据进行二次筛选,得到最终增量数据;其中,所述最终增量数据至少包括异常数据以及危险驾驶场景数据中的至少一种。
18.一种电子设备,其特征在于,包括:存储器和处理器;
所述存储器与所述处理器连接,用于存储程序;
所述处理器用于通过运行所述存储器中的程序,实现如权利要求1至10或如权利要求11至14中任意一项所述的数据筛选方法。
19.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时,实现如权利要求1至10或如权利要求11至14中任意一项所述的数据筛选方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310560113.6A CN116630921A (zh) | 2023-05-18 | 2023-05-18 | 数据筛选方法、装置、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310560113.6A CN116630921A (zh) | 2023-05-18 | 2023-05-18 | 数据筛选方法、装置、系统、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116630921A true CN116630921A (zh) | 2023-08-22 |
Family
ID=87612724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310560113.6A Pending CN116630921A (zh) | 2023-05-18 | 2023-05-18 | 数据筛选方法、装置、系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116630921A (zh) |
-
2023
- 2023-05-18 CN CN202310560113.6A patent/CN116630921A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10916135B2 (en) | Similarity learning and association between observations of multiple connected vehicles | |
EP3511863B1 (en) | Distributable representation learning for associating observations from multiple vehicles | |
Jebamikyous et al. | Autonomous vehicles perception (avp) using deep learning: Modeling, assessment, and challenges | |
US11458991B2 (en) | Systems and methods for optimizing trajectory planner based on human driving behaviors | |
US11430224B2 (en) | Systems and methods for camera-LiDAR fused object detection with segment filtering | |
US11200468B2 (en) | Fast CNN classification of multi-frame semantic signals | |
US20220128702A1 (en) | Systems and methods for camera-lidar fused object detection with local variation segmentation | |
US20230257003A1 (en) | Method and system for graph neural network based pedestrian action prediction in autonomous driving systems | |
US20220126873A1 (en) | Systems and methods for camera-lidar fused object detection with segment merging | |
US12026894B2 (en) | System for predicting near future location of object | |
US11885886B2 (en) | Systems and methods for camera-LiDAR fused object detection with LiDAR-to-image detection matching | |
CN116830164A (zh) | LiDAR去相关对象检测系统与方法 | |
WO2022086739A2 (en) | Systems and methods for camera-lidar fused object detection | |
WO2023080111A1 (en) | Method and Systems for Detection Accuracy Ranking and Vehicle Instruction | |
CN116783105A (zh) | 自主车辆的车载反馈系统 | |
EP3985643A1 (en) | Outside environment recognition device | |
US20230290153A1 (en) | End-to-end systems and methods for streaming 3d detection and forecasting from lidar point clouds | |
CN116630921A (zh) | 数据筛选方法、装置、系统、电子设备及存储介质 | |
CN115705717A (zh) | 预测载具的邻近区域的多个对象的特性的方法和系统 | |
US20210383213A1 (en) | Prediction device, prediction method, computer program product, and vehicle control system | |
CN114581748A (zh) | 基于机器学习的多智能体感知融合系统及其实现方法 | |
CN117593892B (zh) | 真值数据的获取方法和装置、存储介质及电子设备 | |
US12050273B2 (en) | Systems and methods for camera-LiDAR fused object detection with point pruning | |
US20230252638A1 (en) | Systems and methods for panoptic segmentation of images for autonomous driving | |
US20230024799A1 (en) | Method, system and computer program product for the automated locating of a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Room 533, 5th Floor, Building A3A4, Phase I, Zhong'an Chuanggu Science and Technology Park, No. 900 Wangjiang West Road, High tech Zone, Hefei City, Anhui Province, 230031 Applicant after: Anhui Xinxin Science and Technology Innovation Information Technology Co.,Ltd. Address before: 2nd Floor, Building B2, Yunhui Valley, No. 156, Tiangu 8th Road, Software New Town, Yuhua Street Office, High-tech Zone, Xi'an City, Shaanxi Province 710000 Applicant before: Xi'an Xinxin Information Technology Co.,Ltd. |
|
CB02 | Change of applicant information |