CN113963027A - 不确定性检测模型的训练、不确定性的检测方法及装置 - Google Patents
不确定性检测模型的训练、不确定性的检测方法及装置 Download PDFInfo
- Publication number
- CN113963027A CN113963027A CN202111266462.4A CN202111266462A CN113963027A CN 113963027 A CN113963027 A CN 113963027A CN 202111266462 A CN202111266462 A CN 202111266462A CN 113963027 A CN113963027 A CN 113963027A
- Authority
- CN
- China
- Prior art keywords
- uncertainty
- value
- obstacle
- calculating
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012549 training Methods 0.000 title claims abstract description 55
- 238000004364 calculation method Methods 0.000 claims description 35
- 238000009826 distribution Methods 0.000 claims description 33
- 230000008447 perception Effects 0.000 claims description 26
- 238000007476 Maximum Likelihood Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供了一种不确定性检测模型的训练、不确定性的检测方法及装置,该方法包括:获取车辆在行驶时,对处于运动状态的障碍物采集的多帧感知数据,针对每帧感知数据检测障碍物的多个属性,根据多个属性计算检测障碍物时存在的不确定性,作为真实值,加载不确定性检测模型,以单个属性形成的时间序列作为样本、真实值作为标签,训练不确定性检测模型,本实施例综合多个属性可计算精确的不确定性的真实值,提供了训练的标签,实现了自监督训练不确定性检测模型的模式,使得加载不确定性检测模型的车辆可以在自动驾驶的过程中准确地计算检测障碍物单个属性时存在的不确定性,为自动驾驶的决策提供新的信息,提高自动驾驶的安全性。
Description
技术领域
本发明实施例涉及自动驾驶的技术领域,尤其涉及一种不确定性检测模型的训练、不确定性的检测方法及装置。
背景技术
自动驾驶技术在近年来随着通信技术的发展更进一步成为引人注目的项目之一,智慧交通智慧城市等概念的兴起更是给人们的思维带来了更多的突破。
自动驾驶技术的整个系统框架从功能性上可以分为以下几大部分:车外环境及道路感知部分、路径规划部分、车内系统行为决策部分。可以看出,自动驾驶技术很多部分依赖车外环境及道路感知部分,在车辆单体感知外部环境的部分,又可以分为前车运动状态检测、行人与障碍物检测、和可行驶区域检测等等。
由于自动驾驶感知的障碍物多是路上处于运动状态,受限于传感器的精度、检测的算法等因素,使得检测这些障碍物的误差较大,从而影响自动驾驶的决策,自动驾驶的风险性较高。
发明内容
本发明实施例提出了一种不确定性检测模型的训练、不确定性的检测方法及装置,以解决自动驾驶检测障碍物的误差较大、导致自动驾驶的风险性较高的问题。
第一方面,本发明实施例提供了一种不确定性检测模型的训练方法,包括:
获取车辆在行驶时,对处于运动状态的障碍物采集的多帧感知数据;
针对每帧所述感知数据检测所述障碍物的多个属性;
根据多个所述属性计算检测所述障碍物时存在的不确定性,作为真实值;
加载不确定性检测模型,所述不确定性检测模型用于计算检测所述障碍物单个所述属性时存在的不确定性;
以单个所述属性形成的时间序列作为样本、所述真实值作为标签,训练所述不确定性检测模型。
第二方面,本发明实施例还提供了一种不确定性的检测方法,应用于车辆,所述方法包括:
对处于运动状态的障碍物采集多帧感知数据;
针对每帧所述感知数据检测所述障碍物的单个属性;
加载如第一方面所述的方法训练的不确定性检测模型,所述不确定性检测模型用于计算检测所述障碍物单个所述属性时存在的不确定性;
将单个所述属性形成的时间序列输入所述不确定性检测模型中,计算检测所述障碍物单个所述属性时存在的不确定性。
第三方面,本发明实施例还提供了一种不确定性检测模型的训练装置,包括:
感知数据获取模块,用于获取车辆在行驶时,对处于运动状态的障碍物采集的多帧感知数据;
多属性检测模块,用于针对每帧所述感知数据检测所述障碍物的多个属性;
真实值计算模块,用于根据多个所述属性计算检测所述障碍物时存在的不确定性,作为真实值;
模型加载模块,用于加载不确定性检测模型,所述不确定性检测模型用于计算检测所述障碍物单个所述属性时存在的不确定性;
模型训练模块,用于以单个所述属性形成的时间序列作为样本、所述真实值作为标签,训练所述不确定性检测模型。
第四方面,本发明实施例还提供了一种不确定性的检测装置,应用于车辆,所述装置包括:
感知数据采集模块,用于对处于运动状态的障碍物采集多帧感知数据;
单属性检测模块,用于针对每帧所述感知数据检测所述障碍物的单个属性;
模型加载模块,用于加载如第一方面所述的方法训练的不确定性检测模型;
不确定性检测模块,用于将单个所述属性形成的时间序列输入所述不确定性检测模型中,计算检测所述障碍物单个所述属性时存在的不确定性。
第五方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的不确定性检测模型的训练方法或者如第二方面所述的不确定性的检测方法。
第六方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的不确定性检测模型的训练方法或者如第二方面所述的不确定性的检测方法。
在本实施例中,获取车辆在行驶时,对处于运动状态的障碍物采集的多帧感知数据,针对每帧感知数据检测障碍物的多个属性,根据多个属性计算检测障碍物时存在的不确定性,作为真实值,加载不确定性检测模型,不确定性检测模型用于计算检测障碍物单个属性时存在的不确定性,以单个属性形成的时间序列作为样本、真实值作为标签,训练不确定性检测模型,本实施例综合多个属性可计算精确的不确定性的真实值,提供了训练的标签,实现了自监督训练不确定性检测模型的模式,使得加载不确定性检测模型的车辆可以在自动驾驶的过程中准确地计算检测障碍物单个属性时存在的不确定性,为自动驾驶的决策提供新的信息,提高自动驾驶的安全性。
附图说明
图1为本发明实施例一提供的一种不确定性检测模型的训练方法的流程图;
图2是本发明实施例二提供的一种不确定性的检测方法的流程图;
图3为本发明实施例二提供的一种车辆的结构示意图;
图4为本发明实施例三提供的一种不确定性检测模型的训练装置的结构示意图;
图5为本发明实施例四提供的一种不确定性的检测装置的结构示意图;
图6为本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种不确定性检测模型的训练方法的流程图,本实施例可适用于训练用于计算检测障碍物时的不确定性检测模型的情况,该方法可以由不确定性检测模型的训练装置来执行,该不确定性检测模型的训练装置可以由软件和/或硬件实现,可配置在计算机设备中,例如,服务器、工作站、个人电脑,等等,具体包括如下步骤:
步骤101、获取车辆在行驶时,对处于运动状态的障碍物采集的多帧感知数据。
本实施例中的车辆可支持自动驾驶(含远程控制),所谓自动驾驶,可以指车辆本身拥有环境感知、路径规划并且自主实现车辆控制的能力,也就是用电子技术控制车辆进行的仿人驾驶。
根据对车辆操控任务的把握程度,自动驾驶车辆可以分为L0非自动化(NoAutomotion)、L1驾驶人辅助(Driver Assistance)、L2部分自动化(Partial Automation)、L3有条件自动化(Conditional Automation)、L4高自动化(High Automation)、L5全自动化(Full Automation)。
本实施例中自动驾驶的车辆,可以指满足L1-L5中任一要求的车辆,其中,系统在L1-L3起辅助功能,当到达L4,车辆驾驶将交给系统,因此,自动驾驶的车辆可选为满足L4、L5中任一要求的车辆。
车辆在自动驾驶的过程中,可以调用安装在该车辆上的传感器(如相机、激光雷达、毫米波雷达、麦克风等)持续采集感知数据,形成一系列的感知数据。
一般情况下,多种不同的传感器可以通过特定的同步器同时采集一帧感知数据,即,一个周期中采集到大数据,以便多种感知数据同时检测同一个障碍物(其他车辆、行人等),提高检测的精确度。
示例性地,车辆安装有激光雷达Lidar,车辆在自动驾驶的过程中,可以持续驱动激光雷达旋转,在旋转的过程中扫描车辆周围环境的点云,点云与图像数据可同时用于感知,那么,激光雷达旋转一周的时间可视为同一周期,在激光雷达扫描到第一相机的可视范围时,由特定的同步器触发第一相机曝光采集得到第一图像数据,在激光雷达扫描到第二相机的可视范围时,由特定的同步器触发第二相机曝光采集得到第二图像数据。
步骤102、针对每帧感知数据检测障碍物的多个属性。
在实际应用中,自动驾驶使用每帧感知数据对处于运动状态的障碍物进行感知,可以检测得到障碍物的多个属性,包括但并不限于检测障碍物的类型(或称类别)、形状、位置(即定位)、速度、加速度、朝向角度,等等。
在一个示例中,对于激光雷达(Lidar)点云感知,点云障碍物感知的主要任务是感知障碍物的位置、大小、类别、朝向、轨迹、速度等,核心是点云检测分割技术,感知的算法可以包括如下至少一种:
1、启发式Ncut
将点云转化为拓扑图分割问题,利用图聚类的方法(Ncut)解决问题,每一簇即为一个障碍物。
2、深度学习方法:CNNSeg
利用卷积神经网络来处理激光雷达捕获的点云数据,并对点云中的目标进行识别;关键词:数据驱动、特征学习。
在某个实现方式中,可以包括如下部分:
S1、前视图(front-view):将所有点云都投到前视图(front-view)(投影面是一个圆柱面)来构造特征,将点云问题转化为矩阵问题,进而使用深度学习进行处理。通过构建全卷积神经网络对前向视图进行处理。
S2、制作俯视图:借助自采集车队,采集更多的实际数据,并且扩展数据视角,制作俯视图,通过将俯视图+前视图相结合的方式进行训练。同时,修改Loss函数,包括使用3D回归和Segmentation的损失函数。
但是,俯视图没有高度信息,于是把前视图和相机Camera图像加进来进行辅助检查,综合了激光雷达Lidar测距准和相机Camera识别准的优点,应用Middle-Level Fusion方法(Multi-View 3D Object Detection Network for Autonomous Driving),该方法使用俯视图提取Proposal,利用前视图和光学图像辅助进行更加精准的位置回归。
在另一个示例中,对于相机Camera图像的视觉感知,视觉感知最早从ADAS(高级驾驶辅助系统)发展而来(ADAS采用人工构造的特征,使用浅层分类器),目前的方式已经变为深度学习与后处理计算,其特点是计算硬件要求升级、数据需求量大增、安全性评估的变化。
面向自动驾驶的深度学习的特点:2D感知向3D感知渗透,模型输出更丰富(后处理需要的3D信息、跟踪信息、属性信息等都会放在CNN(卷积神经网络)中进行学习);环视能力构建(传统方法靠一个Camera完成前向检测、碰撞检测、车道线检测。无人驾驶需要环视);感知、定位与地图紧密结合。
感知的算法可以包括如下至少一种:
1、自动驾驶领域的CNN检测
场景有几何约束(规则道路),可以辅助检测。
模型输出需要更加丰富,从Detectation(检测),2D to 3D(二维转三维)至Tracking(追踪)。
多任务学习(学习多种障碍物特征),网络结构适配。
属性识别,不仅限于障碍物级别的输出。
2、CNN分割
分割与检测有相似之处,但是分割粒度更细,相比于检测的“画框”,它要求边缘分割。
3、后处理
2D-to-3D的几何计算:需要考虑相机位姿的影响、接地点、稳定性
时序信息计算(针对跟踪处理):相机帧率与延时的要求、跟踪不能耗费太多时间、利用检测模块的输出进行跟踪;考虑轻量级的Metric Learning(度量学习)。
多相机的环视融合:相机布局决定融合策略,要做好视野重叠。
步骤103、根据多个属性计算检测障碍物时存在的不确定性,作为真实值。
不确定性,可以指对障碍物检测的属性在数值上的相对熵,对于不同状态量的属性而言,不确定性的表现形式有所不同,例如,对于一维状态量是一个单独的方差数字,二维的状态量是一个协方差,等等。
针对单一属性的检测,其不确定性的波动较大,综合多个属性的检测,可以降低不确定性的波动,从而提高度量不确定性的准确性,记为不确定性的真实值。
在本发明的一个实施例中,步骤103可以包括如下步骤:
步骤1031、按照每个属性与检测障碍物时存在的不确定性之间的相关性,将每个属性映射为相关值。
障碍物不同的属于对于不确定性存在不同程度的相关性,因此,可以按照既定的映射关系,将每个属性映射为相关值,以表征其对于不确定性的相关性。
在具体实现中,障碍物的属性包括如下的至少一种:
感知数据的帧数,障碍物的长度,障碍物与车辆之间的距离,障碍物的速度。
其中,帧数与不确定性负相关,即,感知数据的帧数越多,各个属性的不确定性越低,反之,感知数据的帧数越少,各个属性的不确定性越高。
长度与不确定性正相关,即,长度越长,各个属性的不确定性越高,反之,长度越短,各个属性的不确定性越低。
距离与不确定性正相关,即,距离越长,各个属性的不确定性越高,反之,距离越短,各个属性的不确定性越低。
速度与不确定性正相关,即,速度越快,各个属性的不确定性越高,反之,速度越慢,各个属性的不确定性越低。
在一个示例中,对于感知数据的帧数,可以计算帧数与预设的第一常数之间的第一比值,以自然数为底、第一比值的负数为指数,计算相关值。
对于障碍物的长度,可以计算长度与预设的第二常数之间的第二比值,以自然数为底、第二比值为指数,计算相关值。
对于障碍物与车辆之间的距离,可以计算距离与预设的第三常数之间的第三比值,以自然数为底、第三比值为指数,计算相关值。
对于障碍物的速度,可以计算速度与预设的第四常数之间的第四比值,以自然数为底、第四比值为指数,计算相关值。
当然,上述属性及其相关性的计算方法只是作为示例,在实施本发明实施例时,可以根据实际情况设置其它属性及其相关性的计算方法,本发明实施例对此不加以限制。另外,除了上述属性及其相关性的计算方法外,本领域技术人员还可以根据实际需要采用其它属性及其相关性的计算方法,本发明实施例对此也不加以限制。
步骤1032、对相关值进行融合,获得检测障碍物时存在的不确定性,作为真实值。
不同属性的相关值可以作为计算不确定性真值的参数,因此,针对不同属性的相关值可以按照其对于不确定性的相关性进行融合,从而得到检测障碍物的属性(数值)时存在的、整体性的不确定性,作为真实值,本实施例综合参考多个属性,考虑的情况更加全面,可以计算精确度更高的不确定性。
在具体实现中,该融合可以为线性融合,即,对每个属性对应的相关值乘以与属性对应的权重,作为调权相关性。
对于不同类型的障碍物,检测的属性一般有所不同,因此,为平衡这种情况,可以预先设置基准系数,作为计算不确定性的背景值,以此提高度量不确定性的精确度,此时,将所有调权相关性与预设的基准系数之间的和值设置检测障碍物时存在的不确定性,作为真实值。
此时,不确定性的真实值的计算过程如下表示:
其中,σ为不确定性的真实值,nseq为感知数据的帧数,rseq为帧数对应的权重,kseq为第一常数,length为障碍物的长度,rlenth为长度对应的权重,klenth为第二常数,dist为障碍物与车辆之间的距离,rdist为距离对应的权重,kdist为第三常数,vel为障碍物的速度,rvel为速度对应的权重,kvel为第四常数,rbase为基准系数。
步骤104、加载不确定性检测模型。
在本实施例中,可以预先构建不确定性检测模型,该不确定性检测模型用于计算检测障碍物单个属性时存在的不确定性。
在自动驾驶的过程中,通常是持续检测障碍物的属性,障碍物的属性通常为时间序列,因此,不确定性检测模型为可处理时间序列的网络,从而实现跨帧的特征融合和注意力机制,将检测障碍物单个属性时的不确定性检测出来。
示例性地,该不确定性检测模型为RNN(Recurrent Neural Network,循环神经网络),尤其为RNN中的LSTM(Long Short-Term Memory,长短期记忆网络)、GRU(GateRecurrent Unit,门控循环单元),等等。
此外,不确定性检测模型的结构不局限于人工设计的神经网络,也可以通过模型量化方法优化的神经网络,通过NAS(神经网络结构搜索)方法针对检测属性的特性搜索的神经网络,等等,本实施例对此不加以限制。
将不确定性检测模型加载至内存运行,以便对其进行训练。
步骤105、以单个属性形成的时间序列作为样本、真实值作为标签,训练不确定性检测模型。
在本实施例中,按照时间将单个属性进行排列,形成时间序列,该时间序列可以作为训练不确定性检测模型的样本(即训练集),在训练的过程中,将真实值记为标签Tag,在标签Tag(真实值)的监督下,训练不确定性检测模型。
进一步地,训练不确定性检测模型的过程可以是重新训练不确定性检测模型,也可以使用在先训练的不确定性检测模型的基础上进行微调fine-tuning,本实施例对此不加以限制。
此外,可以针对单个属性训练一个不确定性检测模型,此时,多个属性对应多个不确定性检测模型,也可以依次针对多个属性训练同一个不确定性检测模型,每次针对单个属性训练同一个不确定性检测模型,本实施例对此不加以限制。
在本发明的一个实施例中,步骤105可以包括如下步骤:
步骤1051、将单个属性形成的时间序列输入不确定性检测模型中,计算检测障碍物单个属性时的不确定性,作为预测值。
将单个属性形成的时间序列输入不确定性检测模型中,不确定性检测模型按照自身的逻辑进行处理,输出检测障碍物该单个属性时的不确定性,记为预测值。
步骤1052、计算预测值与真实性之间的差异,作为损失值。
将不确定性的预测值与不确定性的真实值进行比较,从而计算预测值与真实性之间的差异,记为损失值LOSS。
对于不同状态量的属性而言,其计算差异的方式也有所不同,本实施例对此不加以限制。
在一个示例中,若真实值与预测值符合概率分布(尤其为随机分布),则对真实值与预测值之间的比值取对数,获得第一参考值,对计算真实值与第一参考值之间的乘积,作为第二参考值,以检测障碍物单个属性时的不确定性作为变量,对第二参考值求积分,作为损失值。
在本示例中,该损失值可以衡量真实值与预测值这两个随机分布之间的距离,当真实值与预测值这两个随机分布相同时,它们的损失值为零,当真实值与预测值这两个随机分布的差别增大时,它们的损失值也会增大。
进一步地,该损失值表示如下:
其中,p(x)为真实值,q(x)为预测值。
在另一个示例中,若真实值与预测值符合拉普拉斯分布,则计算真实值在拉普拉斯分布中的第一平均值,计算预测值在拉普拉斯分布中的第二平均值。
对第二平均值与第一平均值之间的比值取对数,获得第三参考值。
计算第一平均值与第二平均值之间的比值,获得第四参考值。
将第三参考值减去一,以及,加上第四参考值,获得损失值。
在本示例中,可以在不用去估计属性的错误值的前提下,预测出当前属性的不确定性。
进一步地,该损失值表示如下:
其中,b1为真实值在拉普拉斯分布中的第一平均值,b2为预测值在拉普拉斯分布中的第二平均值。
在又一个示例中,若真实值与预测值符合高斯分布,则计算真实值在高斯分布中的第一协方差、第一最大似然值,则计算预测值在高斯分布中的第二协方差、第二最大似然值。
对第二协方差的绝对值与第一协方差的绝对值之间的比值取对数,获得第五参考值。
对第二协方差的逆矩阵与第一协方差之间的乘积乘以预设的第一系数,获得第六参考值。
将第二最大似然值减去第一最大似然值的差值的转置矩阵、第二协方差的逆矩阵、第二最大似然值减去第一最大似然值的差值相乘,获得第七参考值。
对第五参考值、预设的第二系数、第六参考值与第七参考值之间的和值取一半,作为损失值。
在本示例中,对于部分高纬度的属性,可以通过协方差的方式计算不确定性之间的差异。
进一步地,该损失值表示如下:
其中,∑1为真实值在高斯分布中的第一协方差,μ1为真实值在高斯分布中的第一最大似然值,∑2为预测值在高斯分布中的第二协方差,μ2为预测值在高斯分布中的第二最大似然值。
步骤1053、根据损失值更新不确定性检测模型。
在本实施例中,可以对不确定性检测模型进行反向传播,将损失值代入SGD(stochastic gradient descent,随机梯度下降)、Adam(Adaptive momentum,自适应动量)等算法中,计算不确定性检测模型中模型参数的更新幅度,从而按照该更新幅度更新不确定性检测模型中的模型参数。
步骤1054、判断是否满足预设的停止条件;若是,则执行步骤1055,若否,则返回执行步骤1051。
步骤1055,确定不确定性检测模型训练完成。
在本实施例中,可以预先设置停止条件,例如,损失值小于第一阈值,迭代的次数到达第二阈值,等等,在每轮迭代训练中,可以检测是否满足该停止条件。
如果满足停止条件,则可以认为不确定性检测模型训练完成,此时,记录不确定性检测模型中的模型参数。
如果未满足停止条件,则可以进入下一轮迭代训练,如此循环迭代训练,直至不确定性检测模型训练完成。
在本实施例中,获取车辆在行驶时,对处于运动状态的障碍物采集的多帧感知数据,针对每帧感知数据检测障碍物的多个属性,综合参考多个属性计算检测障碍物时存在的不确定性,作为真实值,加载不确定性检测模型,不确定性检测模型用于计算检测障碍物单个属性时存在的不确定性,以单个属性形成的时间序列作为样本、真实值作为标签,训练不确定性检测模型,本实施例综合多个属性可计算精确的不确定性的真实值,提供了训练的标签,实现了自监督训练不确定性检测模型的模式,使得加载不确定性检测模型的车辆可以在自动驾驶的过程中准确地计算检测障碍物单个属性时存在的不确定性,为自动驾驶的决策提供新的信息,提高自动驾驶的安全性。
实施例二
图2为本发明实施例一提供的一种不确定性的检测方法的流程图,本实施例可适用于训练用于调用不确定性检测模型对检测障碍物属性时的不确定性的情况,该方法可以由不确定性的计算装置来执行,该不确定性的计算装置可以由软件和/或硬件实现,可配置在计算机设备中,具体包括如下步骤:
步骤201、对处于运动状态的障碍物采集多帧感知数据。
本实施例可应用于车辆,如图3所示,车辆300可以包括驾驶控制设备301,车身总线302,ECU(Electronic Control Unit,电子控制单元)303、ECU 304、ECU 305,传感器306、传感器307、传感器308和执行器件309、执行器件310、执行器件311。
驾驶控制设备(又称为车载大脑)301负责整个车辆300的总体智能控制。驾驶控制设备301可以是单独设置的控制器,例如,CPU、异构处理器(如GPU、TPU、NPU等)可编程逻辑控制器(Programmable LogicController,PLC)、单片机、工业控制机等;也可以是由其他具有输入/输出端口,并具有运算控制功能的电子器件组成的设备;还可以是安装有车辆驾驶控制类应用的计算机设备。驾驶控制设备可以对从车身总线302上接收到的各个ECU发来的数据和/或各个传感器发来的数据进行分析处理,作出相应的决策,并将决策对应的指令发送到车身总线。
车身总线302可以是用于连接驾驶控制设备301,ECU 303、ECU 304、ECU305,传感器306、传感器307、传感器308以及车辆300的其他未示出的设备的总线。由于CAN(Controller AreaNetwork,控制器局域网络)总线的高性能和可靠性已被广泛认同,因此目前机动车中常用的车身总线为CAN总线。当然,可以理解的是车身总线也可以是其他类型的总线。
车身总线302可以将驾驶控制设备301发出的指令发送给ECU 303、ECU 304、ECU305,ECU 303、ECU 304、ECU 305再将上述指令进行分析处理后发给相应的执行器件执行。
传感器306、传感器307、传感器308包括但不限于激光雷达、相机、毫米波雷达、麦克风,等等。
应该理解,图3中的车辆、驾驶控制设备、车身总线、ECU、执行器件和传感器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的车辆、驾驶控制设备、车身总线、ECU和传感器。
车辆在自动驾驶的过程中,可调用传感器对处于运动状态的障碍物采集数据,记为感知数据。
步骤202、针对每帧感知数据检测障碍物的单个属性。
在自动驾驶的过程中,为支持自动驾驶的决策,可以使用每帧感知数据对处于运动状态的障碍物进行感知,分别可以检测得到障碍物的单个属性,包括但并不限于检测障碍物的类型(或称类别)、形状、位置(即定位)、速度、加速度、朝向角度,等等。
步骤203、加载不确定性检测模型。
在本实施例中,可以预先训练不确定性检测模型,该不确定性检测模型用于计算检测障碍物单个属性时存在的不确定性。
在具体实现中,不确定性检测模型的训练方法如下:
获取车辆在行驶时,对处于运动状态的障碍物采集的多帧感知数据。
针对每帧感知数据检测障碍物的多个属性。
根据多个属性计算检测障碍物时存在的不确定性,作为真实值。
加载不确定性检测模型,不确定性检测模型用于计算检测障碍物单个属性时存在的不确定性。
以单个属性形成的时间序列作为样本、真实值作为标签,训练不确定性检测模型。
在本实施例中,由于不确定性检测模型的训练方法与实施例一的应用基本相似,所以描述的比较简单,相关之处参见实施例一的部分说明即可,本实施例在此不加以详述。
车辆在自动驾驶的过程中,可以将不确定性检测模型及其模型参数加载至内存运行,以便实时对不确定性进行计算。
步骤204、将单个属性形成的时间序列输入不确定性检测模型中,计算检测障碍物单个属性时存在的不确定性。
将单个属性形成的时间序列输入不确定性检测模型中,不确定性检测模型按照自身的逻辑进行处理,输出检测障碍物该单个属性时的不确定性。
进一步地,不确定性的提出可以为自动驾驶的决策提供了新的可能,对此,可以按照属性的类别设置适于自动驾驶的业务操作,从而基于不确定性执行适于自动驾驶的业务操作。
其中,不同类型的属性可能影响自动驾驶的决策中不同的环节,在这些环节中可以设计不用的业务操作,从而使得该业务操作为对车辆的直接控制和/或间接控制。
示例性地,业务操作包括如下的至少一者:
基于障碍物的形状的不确定性,可以设计新的缓冲值的定义,该缓冲值可为车辆变道至障碍物的缓冲区域。
基于障碍物的速度的不确定性,可以设计新的预测位置的可能存在区域,在规划路线时提供更多的heuristic(启发性)的输入。
基于障碍物的类型的不确定性,可以模糊难以定义或者分类容易出错的类型。
基于障碍物的位置的不确定性,可以设计提前反应、近处验证的规划控制算法。
当然,上述属性及其业务操作只是作为示例,在实施本发明实施例时,可以根据实际情况设置其它属性及其业务操作,本发明实施例对此不加以限制。另外,除了上述属性及其业务操作外,本领域技术人员还可以根据实际需要采用其它属性及其业务操作,本发明实施例对此也不加以限制。
在本实施例中,对处于运动状态的障碍物采集多帧感知数据,针对每帧感知数据检测障碍物的单个属性,加载不确定性检测模型,不确定性检测模型用于计算检测障碍物单个属性时存在的不确定性,将单个属性形成的时间序列输入不确定性检测模型中,计算检测障碍物单个属性时存在的不确定性,本实施例综合多个属性可计算精确的不确定性的真实值,提供了训练的标签,实现了自监督训练不确定性检测模型的模式,使得加载不确定性检测模型的车辆可以在自动驾驶的过程中准确地计算检测障碍物单个属性时存在的不确定性,为自动驾驶的决策提供新的信息,提高自动驾驶的安全性。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例三
图4为本发明实施例三提供的一种不确定性检测模型的训练装置的结构框图,具体可以包括如下模块:
感知数据获取模块401,用于获取车辆在行驶时,对处于运动状态的障碍物采集的多帧感知数据;
多属性检测模块402,用于针对每帧所述感知数据检测所述障碍物的多个属性;
真实值计算模块403,用于根据多个所述属性计算检测所述障碍物时存在的不确定性,作为真实值;
模型加载模块404,用于加载不确定性检测模型,所述不确定性检测模型用于计算检测所述障碍物单个所述属性时存在的不确定性;
模型训练模块405,用于以单个所述属性形成的时间序列作为样本、所述真实值作为标签,训练所述不确定性检测模型。
在本发明的一个实施例中,所述真实值计算模块403包括:
相关值计算模块,用于按照每个所述属性与检测所述障碍物时存在的不确定性之间的相关性,将每个所述属性映射为相关值;
相关值融合模块,用于对所述相关值进行融合,获得检测所述障碍物时存在的不确定性,作为真实值。
在本发明的一个实施例中,所述属性包括如下的至少一种:
所述感知数据的帧数,所述障碍物的长度,所述障碍物与所述车辆之间的距离,所述障碍物的速度;
其中,所述帧数与所述不确定性负相关,所述长度与所述不确定性正相关,所述距离与所述不确定性正相关,所述速度与所述不确定性正相关。
在本发明的一个实施例中,所述相关值计算模块包括:
第一比值计算模块,用于计算所述帧数与预设的第一常数之间的第一比值;
第一相关值计算模块,用于以自然数为底、所述第一比值的负数为指数,计算相关值;
第二比值计算模块,用于计算所述长度与预设的第二常数之间的第二比值;
第二相关值计算模块,用于以自然数为底、所述第二比值为指数,计算相关值;
第三比值计算模块,用于计算所述距离与预设的第三常数之间的第三比值;
第三相关值计算模块,用于以自然数为底、所述第三比值为指数,计算相关值;
第四比值计算模块,用于计算所述速度与预设的第四常数之间的第四比值;
第四相关值计算模块,用于以自然数为底、所述第四比值为指数,计算相关值。
在本发明的一个实施例中,所述相关值融合模块包括:
调权相关性计算模块,用于对每个所述相关值乘以与所述属性对应的权重,作为调权相关性;
调权相关性求和模块,用于将所有所述调权相关性与预设的基准系数之间的和值设置检测所述障碍物时存在的不确定性,作为真实值。
在本发明的一个实施例中,所述模型训练模块405包括:
预测值计算模块,用于将单个所述属性形成的时间序列输入所述不确定性检测模型中,计算检测所述障碍物单个所述属性时的不确定性,作为预测值;
损失值计算模块,用于计算所述预测值与所述真实性之间的差异,作为损失值;
不确定性检测模型更新模块,用于根据所述损失值更新所述不确定性检测模型;
停止条件判断模块,用于判断是否满足预设的停止条件;若是,则调用训练完成确定模块,若否,则调用所述预测值计算模块。
训练完成确定模块,用于确定所述不确定性检测模型训练完成。
在本发明的一个实施例中,所述损失值计算模块包括:
第一参考值计算模块,用于若所述真实值与所述预测值符合概率分布,则对所述真实值与所述预测值之间的比值取对数,获得第一参考值;
第二参考值计算模块,用于计算所述真实值与所述第一参考值之间的乘积,作为第二参考值;
积分模块,用于以检测所述障碍物单个所述属性时的不确定性作为变量,对所述第二参考值求积分,作为损失值。
在本发明的另一个实施例中,所述损失值计算模块包括:
拉普拉斯分布计算模块,用于若所述真实值与所述预测值符合拉普拉斯分布,则计算所述真实值在拉普拉斯分布中的第一平均值,计算所述预测值在拉普拉斯分布中的第二平均值;
第三参考值计算模块,用于对所述第二平均值与所述第一平均值之间的比值取对数,获得第三参考值;
第四参考值计算模块,用于计算所述第一平均值与所述第二平均值之间的比值,获得第四参考值;
拉普拉斯损失计算模块,用于将所述第三参考值减去一,以及,加上所述第四参考值,获得损失值。
在本发明的又一个实施例中,所述损失值计算模块包括:
高斯分布分布计算模块,用若所述真实值与所述预测值符合高斯分布,则计算所述真实值在高斯分布中的第一协方差、第一最大似然值,则计算所述预测值在高斯分布中的第二协方差、第二最大似然值;
第五参考值计算模块,用于对所述第二协方差的绝对值与所述第一协方差的绝对值之间的比值取对数,获得第五参考值;
第六参考值计算模块,用于对所述第二协方差的逆矩阵与所述第一协方差之间的乘积乘以预设的第一系数,获得第六参考值;
第七参考值计算模块,用于将所述第二最大似然值减去所述第一最大似然值的差值的转置矩阵、所述第二协方差的逆矩阵、所述第二最大似然值减去所述第一最大似然值的差值相乘,获得第七参考值;
高斯损失计算模块,用于对所述第五参考值、预设的第二系数、所述第六参考值与所述第七参考值之间的和值取一半,作为损失值。
本发明实施例所提供的不确定性检测模型的训练装置可执行本发明任意实施例所提供的不确定性检测模型的训练方法,具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例四提供的一种不确定性的检测装置的结构框图,应用于车辆,所述装置具体可以包括如下模块:
感知数据采集模块501,用于对处于运动状态的障碍物采集多帧感知数据;
单属性检测模块502,用于针对每帧所述感知数据检测所述障碍物的单个属性;
模型加载模块503,用于加载不确定性检测模型,所述不确定性检测模型用于计算检测所述障碍物单个所述属性时存在的不确定性;
不确定性检测模块504,用于将单个所述属性形成的时间序列输入所述不确定性检测模型中,计算检测所述障碍物单个所述属性时存在的不确定性。
在本发明的一个实施例中,还包括:
业务操作设置模块,用于按照所述属性的类别设置适于自动驾驶的业务操作;
业务操作执行模块,用于基于所述不确定性执行适于自动驾驶的所述业务操作;所述业务操作为对所述车辆的直接控制和/或间接控制。
在本发明的一个实施例中,所述不确定性检测模型的训练方法包括:
获取车辆在行驶时,对处于运动状态的障碍物采集的多帧感知数据;
针对每帧所述感知数据检测所述障碍物的多个属性;
根据多个所述属性计算检测所述障碍物时存在的不确定性,作为真实值;
加载不确定性检测模型,所述不确定性检测模型用于计算检测所述障碍物单个所述属性时存在的不确定性;
以单个所述属性形成的时间序列作为样本、所述真实值作为标签,训练所述不确定性检测模型。
本发明实施例所提供的不确定性的检测装置可执行本发明任意实施例所提供的不确定性的检测方法,具备执行方法相应的功能模块和有益效果。
实施例五
图6为本发明实施例五提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的不确定性检测模型的训练方法或者不确定性的检测方法。
实施例六
本发明实施例六还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述不确定性检测模型的训练方法或者不确定性的检测方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (15)
1.一种不确定性检测模型的训练方法,其特征在于,包括:
获取车辆在行驶时,对处于运动状态的障碍物采集的多帧感知数据;
针对每帧所述感知数据检测所述障碍物的多个属性;
根据多个所述属性计算检测所述障碍物时存在的不确定性,作为真实值;
加载不确定性检测模型,所述不确定性检测模型用于计算检测所述障碍物单个所述属性时存在的不确定性;
以单个所述属性形成的时间序列作为样本、所述真实值作为标签,训练所述不确定性检测模型。
2.根据权利要求1所述的方法,其特征在于,所述根据多个所述属性计算检测所述障碍物时存在的不确定性,作为真实值,包括:
按照每个所述属性与检测所述障碍物时存在的不确定性之间的相关性,将每个所述属性映射为相关值;
对所述相关值进行融合,获得检测所述障碍物时存在的不确定性,作为真实值。
3.根据权利要求2所述的方法,其特征在于,所述属性包括如下的至少一种:
所述感知数据的帧数,所述障碍物的长度,所述障碍物与所述车辆之间的距离,所述障碍物的速度;
其中,所述帧数与所述不确定性负相关,所述长度与所述不确定性正相关,所述距离与所述不确定性正相关,所述速度与所述不确定性正相关。
4.根据权利要求3所述的方法,其特征在于,所述按照每个所述属性与检测所述障碍物时存在的不确定性之间的相关性,将每个所述属性映射为相关值,包括:
计算所述帧数与预设的第一常数之间的第一比值;
以自然数为底、所述第一比值的负数为指数,计算相关值;
计算所述长度与预设的第二常数之间的第二比值;
以自然数为底、所述第二比值为指数,计算相关值;
计算所述距离与预设的第三常数之间的第三比值;
以自然数为底、所述第三比值为指数,计算相关值;
计算所述速度与预设的第四常数之间的第四比值;
以自然数为底、所述第四比值为指数,计算相关值。
5.根据权利要求2所述的方法,其特征在于,所述对所述相关值进行融合,获得检测所述障碍物时存在的不确定性,作为真实值,包括:
对每个所述相关值乘以与所述属性对应的权重,作为调权相关性;
将所有所述调权相关性与预设的基准系数之间的和值设置检测所述障碍物时存在的不确定性,作为真实值。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述以单个所述属性形成的时间序列作为样本、所述真实值作为标签,训练所述不确定性检测模型,包括:
将单个所述属性形成的时间序列输入所述不确定性检测模型中,计算检测所述障碍物单个所述属性时的不确定性,作为预测值;
计算所述预测值与所述真实性之间的差异,作为损失值;
根据所述损失值更新所述不确定性检测模型;
判断是否满足预设的停止条件;
若是,则确定所述不确定性检测模型训练完成;
若否,则返回执行所述将单个所述属性输入所述不确定性检测模型中,计算检测所述障碍物单个所述属性时的不确定性,作为预测值。
7.根据权利要求6所述的方法,其特征在于,所述计算所述预测值与所述真实性之间的差异,作为损失值,作为损失值,包括:
若所述真实值与所述预测值符合概率分布,则对所述真实值与所述预测值之间的比值取对数,获得第一参考值;
计算所述真实值与所述第一参考值之间的乘积,作为第二参考值;
以检测所述障碍物单个所述属性时的不确定性作为变量,对所述第二参考值求积分,作为损失值。
8.根据权利要求6所述的方法,其特征在于,所述计算所述预测值与所述真实性之间的差异,作为损失值,包括:
若所述真实值与所述预测值符合拉普拉斯分布,则计算所述真实值在拉普拉斯分布中的第一平均值,计算所述预测值在拉普拉斯分布中的第二平均值;
对所述第二平均值与所述第一平均值之间的比值取对数,获得第三参考值;
计算所述第一平均值与所述第二平均值之间的比值,获得第四参考值;
将所述第三参考值减去一,以及,加上所述第四参考值,获得损失值。
9.根据权利要求6所述的方法,其特征在于,所述计算所述预测值与所述真实性之间的差异,作为损失值,包括:
若所述真实值与所述预测值符合高斯分布,则计算所述真实值在高斯分布中的第一协方差、第一最大似然值,则计算所述预测值在高斯分布中的第二协方差、第二最大似然值;
对所述第二协方差的绝对值与所述第一协方差的绝对值之间的比值取对数,获得第五参考值;
对所述第二协方差的逆矩阵与所述第一协方差之间的乘积乘以预设的第一系数,获得第六参考值;
将所述第二最大似然值减去所述第一最大似然值的差值的转置矩阵、所述第二协方差的逆矩阵、所述第二最大似然值减去所述第一最大似然值的差值相乘,获得第七参考值;
对所述第五参考值、预设的第二系数、所述第六参考值与所述第七参考值之间的和值取一半,作为损失值。
10.一种不确定性的检测方法,其特征在于,应用于车辆,所述方法包括:
对处于运动状态的障碍物采集多帧感知数据;
针对每帧所述感知数据检测所述障碍物的单个属性;
加载如权利要求1-9中任一项所述的方法训练的不确定性检测模型;
将单个所述属性形成的时间序列输入所述不确定性检测模型中,计算检测所述障碍物单个所述属性时存在的不确定性。
11.根据权利要求10所述的方法,其特征在于,还包括:
按照所述属性的类别设置适于自动驾驶的业务操作;
基于所述不确定性执行适于自动驾驶的所述业务操作;
所述业务操作为对所述车辆的直接控制和/或间接控制。
12.一种不确定性检测模型的训练装置,其特征在于,包括:
感知数据获取模块,用于获取车辆在行驶时,对处于运动状态的障碍物采集的多帧感知数据;
多属性检测模块,用于针对每帧所述感知数据检测所述障碍物的多个属性;
真实值计算模块,用于根据多个所述属性计算检测所述障碍物时存在的不确定性,作为真实值;
模型加载模块,用于加载不确定性检测模型,所述不确定性检测模型用于计算检测所述障碍物单个所述属性时存在的不确定性;
模型训练模块,用于以单个所述属性形成的时间序列作为样本、所述真实值作为标签,训练所述不确定性检测模型。
13.一种不确定性的检测装置,其特征在于,应用于车辆,所述装置包括:
感知数据采集模块,用于对处于运动状态的障碍物采集多帧感知数据;
单属性检测模块,用于针对每帧所述感知数据检测所述障碍物的单个属性;
模型加载模块,用于加载如权利要求1-9中任一项所述的方法训练的不确定性检测模型;
不确定性检测模块,用于将单个所述属性形成的时间序列输入所述不确定性检测模型中,计算检测所述障碍物单个所述属性时存在的不确定性。
14.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-10中任一项所述的不确定性检测模型的训练方法或者如权利要求11-12中任一项所述的不确定性的检测方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1-10中任一项所述的不确定性检测模型的训练方法或者如权利要求11-12中任一项所述的不确定性的检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111266462.4A CN113963027B (zh) | 2021-10-28 | 2021-10-28 | 不确定性检测模型的训练、不确定性的检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111266462.4A CN113963027B (zh) | 2021-10-28 | 2021-10-28 | 不确定性检测模型的训练、不确定性的检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113963027A true CN113963027A (zh) | 2022-01-21 |
CN113963027B CN113963027B (zh) | 2022-09-09 |
Family
ID=79468051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111266462.4A Active CN113963027B (zh) | 2021-10-28 | 2021-10-28 | 不确定性检测模型的训练、不确定性的检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113963027B (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130197736A1 (en) * | 2012-01-30 | 2013-08-01 | Google Inc. | Vehicle control based on perception uncertainty |
CN104819724A (zh) * | 2015-03-02 | 2015-08-05 | 北京理工大学 | 一种基于gis的无人地面车辆自主行驶辅助系统 |
CN109557912A (zh) * | 2018-10-11 | 2019-04-02 | 同济大学 | 一种自动驾驶特种作业车辆的决策规划方法 |
CN109572694A (zh) * | 2018-11-07 | 2019-04-05 | 同济大学 | 一种考虑不确定性的自动驾驶风险评估方法 |
CN110155081A (zh) * | 2019-05-28 | 2019-08-23 | 南京航空航天大学 | 一种智能驾驶汽车的自适应避障控制系统 |
US20200004259A1 (en) * | 2018-06-28 | 2020-01-02 | Uatc, Llc | Providing Actionable Uncertainties in Autonomous Vehicles |
US20200050191A1 (en) * | 2018-08-07 | 2020-02-13 | GM Global Technology Operations LLC | Perception uncertainty modeling from actual perception systems for autonomous driving |
CN110945498A (zh) * | 2018-07-24 | 2020-03-31 | 谷歌有限责任公司 | 地图不确定性和观测模型 |
CN111383324A (zh) * | 2018-12-29 | 2020-07-07 | 广州文远知行科技有限公司 | 点云地图的构建方法、装置、计算机设备和存储介质 |
CN111694287A (zh) * | 2020-05-14 | 2020-09-22 | 北京百度网讯科技有限公司 | 无人驾驶仿真场景中的障碍物模拟方法和装置 |
US20200326667A1 (en) * | 2020-06-24 | 2020-10-15 | Intel Corporation | Robust multimodal sensor fusion for autonomous driving vehicles |
CN111985850A (zh) * | 2020-09-04 | 2020-11-24 | 吉林大学 | 行车风险控制方法及行车风险控制装置、计算机存储介质 |
CN112113578A (zh) * | 2020-09-23 | 2020-12-22 | 安徽工业大学 | 一种用于自动驾驶车辆的障碍物运动预测方法 |
CN112418237A (zh) * | 2020-12-07 | 2021-02-26 | 苏州挚途科技有限公司 | 车辆驾驶决策方法、装置及电子设备 |
CN112509032A (zh) * | 2020-11-24 | 2021-03-16 | 江苏大学 | 一种基于汽车分布式感知平台的前方感知模块的设计方法 |
CN113436217A (zh) * | 2021-07-23 | 2021-09-24 | 山东大学 | 基于深度学习的无人车环境检测方法 |
US20210309254A1 (en) * | 2020-03-30 | 2021-10-07 | Honda Motor Co., Ltd. | Vehicle control device and vehicle control method |
US11157010B1 (en) * | 2020-06-05 | 2021-10-26 | Gatik Ai Inc. | Method and system for deterministic trajectory selection based on uncertainty estimation for an autonomous agent |
-
2021
- 2021-10-28 CN CN202111266462.4A patent/CN113963027B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104094177A (zh) * | 2012-01-30 | 2014-10-08 | 谷歌公司 | 基于感知不确定性的车辆控制 |
US20130197736A1 (en) * | 2012-01-30 | 2013-08-01 | Google Inc. | Vehicle control based on perception uncertainty |
CN104819724A (zh) * | 2015-03-02 | 2015-08-05 | 北京理工大学 | 一种基于gis的无人地面车辆自主行驶辅助系统 |
US20200004259A1 (en) * | 2018-06-28 | 2020-01-02 | Uatc, Llc | Providing Actionable Uncertainties in Autonomous Vehicles |
CN110945498A (zh) * | 2018-07-24 | 2020-03-31 | 谷歌有限责任公司 | 地图不确定性和观测模型 |
US20200050191A1 (en) * | 2018-08-07 | 2020-02-13 | GM Global Technology Operations LLC | Perception uncertainty modeling from actual perception systems for autonomous driving |
CN110816547A (zh) * | 2018-08-07 | 2020-02-21 | 通用汽车环球科技运作有限责任公司 | 用于自主驾驶的实际感知系统的感知不确定性建模 |
CN109557912A (zh) * | 2018-10-11 | 2019-04-02 | 同济大学 | 一种自动驾驶特种作业车辆的决策规划方法 |
CN109572694A (zh) * | 2018-11-07 | 2019-04-05 | 同济大学 | 一种考虑不确定性的自动驾驶风险评估方法 |
CN111383324A (zh) * | 2018-12-29 | 2020-07-07 | 广州文远知行科技有限公司 | 点云地图的构建方法、装置、计算机设备和存储介质 |
CN110155081A (zh) * | 2019-05-28 | 2019-08-23 | 南京航空航天大学 | 一种智能驾驶汽车的自适应避障控制系统 |
US20210309254A1 (en) * | 2020-03-30 | 2021-10-07 | Honda Motor Co., Ltd. | Vehicle control device and vehicle control method |
CN111694287A (zh) * | 2020-05-14 | 2020-09-22 | 北京百度网讯科技有限公司 | 无人驾驶仿真场景中的障碍物模拟方法和装置 |
US11157010B1 (en) * | 2020-06-05 | 2021-10-26 | Gatik Ai Inc. | Method and system for deterministic trajectory selection based on uncertainty estimation for an autonomous agent |
US20200326667A1 (en) * | 2020-06-24 | 2020-10-15 | Intel Corporation | Robust multimodal sensor fusion for autonomous driving vehicles |
CN111985850A (zh) * | 2020-09-04 | 2020-11-24 | 吉林大学 | 行车风险控制方法及行车风险控制装置、计算机存储介质 |
CN112113578A (zh) * | 2020-09-23 | 2020-12-22 | 安徽工业大学 | 一种用于自动驾驶车辆的障碍物运动预测方法 |
CN112509032A (zh) * | 2020-11-24 | 2021-03-16 | 江苏大学 | 一种基于汽车分布式感知平台的前方感知模块的设计方法 |
CN112418237A (zh) * | 2020-12-07 | 2021-02-26 | 苏州挚途科技有限公司 | 车辆驾驶决策方法、装置及电子设备 |
CN113436217A (zh) * | 2021-07-23 | 2021-09-24 | 山东大学 | 基于深度学习的无人车环境检测方法 |
Non-Patent Citations (6)
Title |
---|
HUINA CHEN等: "A trajectory planning method considering intention-aware uncertainty for autonomous vehicles", 《2018 CHINESE AUTOMATION CONGRESS (CAC)》 * |
姜跃为: "城市环境下考虑前车运动不确定性的自动驾驶运动规划研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
安冬冬: "不确定环境下的人机物融合系统的建模与验证", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
汪明磊: "智能车辆自主导航中避障路径规划与跟踪控制研究", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》 * |
王程博: "基于多目标深度增强学习的无人驾驶船舶行为决策", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
陈尧: "基于强化学习的复杂环境自动驾驶运动规划", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113963027B (zh) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230144209A1 (en) | Lane line detection method and related device | |
CN111127513B (zh) | 一种多目标跟踪方法 | |
CN109087510B (zh) | 交通监测方法及装置 | |
KR102335389B1 (ko) | 자율 주행 차량의 lidar 위치 추정을 위한 심층 학습 기반 특징 추출 | |
CN111079619B (zh) | 用于检测图像中的目标对象的方法和装置 | |
US11783568B2 (en) | Object classification using extra-regional context | |
JP2021515178A (ja) | 自動運転車両においてrnnとlstmを用いて時間平滑化を行うlidar測位 | |
US11967103B2 (en) | Multi-modal 3-D pose estimation | |
CN110646787A (zh) | 自运动估计方法和设备以及模型训练方法和设备 | |
Ji et al. | RGB-D SLAM using vanishing point and door plate information in corridor environment | |
CN114454875A (zh) | 一种基于强化学习的城市道路自动泊车方法及系统 | |
CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
CN113963027B (zh) | 不确定性检测模型的训练、不确定性的检测方法及装置 | |
US20210101614A1 (en) | Spatio-temporal pose/object database | |
CN114140497A (zh) | 目标车辆3d实时追踪方法及系统 | |
CN108944945B (zh) | 用于辅助驾驶的状态预测方法、装置、电子设备和车辆 | |
CN117011685B (zh) | 场景识别方法、装置和电子装置 | |
CN116541715B (zh) | 目标检测方法、模型的训练方法、目标检测系统及装置 | |
US20230316569A1 (en) | Apparatus and method for detecting a 3d object | |
US20240135195A1 (en) | Efficient search for data augmentation policies | |
EP4254267A1 (en) | Methods and systems for object tracking | |
Ivarsson et al. | Real-time object detection and tracking | |
Turchenko et al. | An Aircraft Identification System Using Convolution Neural Networks | |
CN116933086A (zh) | 道路边界检测模型的训练方法、道路边界检测方法及装置 | |
Danylova et al. | AUTOMATED NAVIGATION FOR UNMANNED GROUND VEHICLES IN LOGISTICS. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231121 Address after: Building 1801, Building 1, No. 2 South Ronghua Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing, 100176 Patentee after: Wenyuan Jingxing (Beijing) Technology Co.,Ltd. Address before: Room 687, No. 333, jiufo Jianshe Road, Zhongxin Guangzhou Knowledge City, Guangzhou, Guangdong 510555 Patentee before: GUANGZHOU WENYUAN ZHIXING TECHNOLOGY Co.,Ltd. |