CN113895439B - 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法 - Google Patents
一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法 Download PDFInfo
- Publication number
- CN113895439B CN113895439B CN202111288406.0A CN202111288406A CN113895439B CN 113895439 B CN113895439 B CN 113895439B CN 202111288406 A CN202111288406 A CN 202111288406A CN 113895439 B CN113895439 B CN 113895439B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- decision
- lane
- distance
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims abstract description 88
- 230000004927 fusion Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 150000001875 compounds Chemical class 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 22
- 239000002131 composite material Substances 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000006399 behavior Effects 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 21
- OLBCVFGFOZPWHH-UHFFFAOYSA-N propofol Chemical compound CC(C)C1=CC=CC(C(C)C)=C1O OLBCVFGFOZPWHH-UHFFFAOYSA-N 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 229960004134 propofol Drugs 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 12
- 230000035484 reaction time Effects 0.000 claims description 12
- 230000003938 response to stress Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000008447 perception Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 208000031427 Foetal heart rate deceleration Diseases 0.000 claims description 3
- -1 b i =(x i Chemical compound 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010304 firing Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 claims description 2
- 238000011900 installation process Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 238000007500 overflow downdraw method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 230000009017 pursuit movement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/408—
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法，包括以下步骤：对车载摄像头使用视频目标检测算法获得目标车辆的距离、方向、车速等参数；对激光雷达使用点云目标检测算法获得目标车辆的距离、方向、车速等参数；建立了一种将安全变道距离转化为安全变道概率的模型，在满足变道安全性的基础上，将安全变道程度以概率形式表示；将从摄像头、激光雷达提取出的参数信息通过变道概率转换模型转化成对应的决策概率，本发明提出了基于证据理论的决策融合方法，对无冲突证据进行融合分组；对于存在冲突的分组，设计了安全决策融合规则，引入了谨慎决策类和复合决策类，从而得出最终的决策建议以提高决策的谨慎性和安全性。
Description
技术领域
本发明属于自动驾驶行为决策领域，涉及一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法。
背景技术
在自动驾驶的车辆上往往安装多种传感器，不同的传感器在感知能力方面有各自的优势和劣势。比如，像单目摄像头这样的基于RGB的视觉传感器已经得到广泛应用，其数据可以经过处理可以高效准确地进行目标检测。但这种类型的传感器易受周边环境的影响，比如天气、光照等条件，并且其在速度、距离感知等方面精度不高。像激光雷达等3D传感器可以克服易受天气、光照影响的缺点，并且在目标的距离、速度测量方面精度也较高。但是他们不能感知一些颜色、纹理等视觉属性。因此，每种类型的传感器感知能力有限，都有各自的优劣势。与此同时，多传感器融合可以将各自的优势最大化并且可以有效规避不足，具体来说，多传感器融合具有如下优势：1、增强系统的生存能力，多传感器的测量信息之间有一定的冗余度；2、扩展空间覆盖范围；3、扩展时间覆盖范围；4、提高可信度和降低信息模糊性；5、改进探测性能和提高空间分辨率。在自动驾驶场景中，必须实时了解车辆周围的行驶环境，根据这些信息作出相应的决策。而环境信息的获得需要依靠多种车载传感器，因此将多传感器信息有效融合是行为决策安全合理的必要条件。为了达到上述目标，需要多传感器数据进行有效处理，并建立合理的行为决策模型和融合规则。
如今，面向自动驾驶的多源传感器器融合研究已经取得了很多研究成果。然而还存在以下问题：1、从感知数据到行为决策模型的映射不够充分合理；2、多源传感器融合算法的计算复杂度高，拓展性不强；3、在多传感器存在感知数据冲突的情况下，融合的结果不合理，算法鲁棒性有待提高。
发明内容
发明目的：本发明公开了一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法，在对激光雷达、摄像头数据处理后，建立将安全变道距离转化为安全变道概率的模型，建立决策概率融合算法对由摄像头和激光雷达得出的决策概率进行融合，从而得出最终的决策建议以提高决策的谨慎性和安全性。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法，该方法包括如下步骤：
1、使用视频目标检测算法从车载摄像头的视频中检测出目标，通过单目深度估计以及目标跟踪的方法提取出车辆的距离、方向、车速等参数；
2、使用PointRCNN目标检测方法对激光雷达获得的与原始点云数据进行3D目标检测，由此从检测到的目标获取车辆的距离、方向、车速、宽高等信息；
3、对变道过程进行建模，将高速公路上的变道场景分成四种场景，提出每种场景下安全距离上限与下限的计算方法；
4、提出变道完全或发生紧急制动后，计算当前车辆与各种场景中周围车辆相隔距离的方法；
5、根据步骤3、步骤4中预测的当前车辆在变道完成后或紧急制动后将行驶的距离和安全距离上下限的关系，提出将变道的安全距离转化为安全概率的转化公式；
6、将参数信息通过步骤5得到的多组决策概率视为多组证据，使用证据理论将无冲突的证据进行融合，从而得到多组存在冲突的证据；
7、建立安全决策融合规则，引入谨慎决策类和决策复合类，将存在冲突的决策概率进行融合，从而得出最终的决策建议以提高决策的谨慎性和安全性。
进一步的，步骤1中从车载摄像头的视频中检测出目标，通过单目深度估计以及目标跟踪的方法提取出车辆的距离、方向、车速等参数，主要有以下的步骤：
1)首先从单目摄像头获取的视频中使用OpenCV提取出一系列帧的图像；
2)构建一个车辆检测器Haar Cascade Classifier，这个检测算法分为4个阶段：特征选择、创建图像、使用Adaboost训练、使用级联分类器函数进行多尺度检测；
3)训练一个机器学习模型，具体分为图像采集、数据增强、训练这三个步骤，由训练的模型去检测和追踪车辆；
4)对相机进行畸变矫正。畸变矫正需要确定相机的内参和外参。相机的内参主要通过相机标定来获得。记f是相机的焦距，光轴与成像平面的交点称为主点，X表示箭头长度，Z是相机到箭头的距离。现实世界坐标系与成像平面坐标系之间的转换关系为：
引入两个新的参数Cx和Cy，来对偏移进行矫正：
引入了fx和fy，分别为透镜的物理焦距长度与成像装置的单元尺寸的乘积。(1)、(2)、 (3)可以统一表达为
其中
公式(4)中的M为相机的内参矩阵。相机外参来源于相机自身的畸变，畸变可以分为径向畸变(由透镜形状造成)和切向畸变(由整个相机自身安装过程造成)。成像装置上某点的径向位置可以根据公式(5)(6)进行调整，其中(x,y)是成像装置上的原始位置，(xcorreccted,ycorrected)是矫正后的新位置。切向畸变是由于制造上的缺陷使透镜与成像平面不平行而产生的，切向畸变矫正可以通过公式(7)(8)来调整。上述的k1,k2,k3,p1,p2为相机外参。
xcorrected＝x(1+k1r2+k2r4+k3r6) (5)
ycorrected＝y(1+k1r2+k2r4+k3r6) (6)
xcorrected＝x+[2p1xy+p2(r2+2x2)] (7)
ycorrected＝y+[p1(r2+2y2)+2p2xy] (8)使用标定板通过常用的相机标定算法去求解相机内参和外参这8个参数即可实现通过软件算法消除畸变。
5)使用PnP方法测距。已知目标车辆的估计距离，结合ppm(每米像素数)和fps (每秒帧数)就可以通过公式(9)去估计目标车辆的速度vtarget(km/h)。
vtarget＝dtarget×fps×3.6 (9)
进一步的，步骤2中，PointRCNN目标检测方法对点云数据进行3D目标检测，由此从检测到的目标获取车辆的距离、方向、车速、宽高等信息，所述PointRCNN目标检测方法分为两个阶段：1)自底向上的预选框生成；2)再筛选和优化bounding box。
自底向上的预选框生成阶段有两个功能：生成预选框，分割前景点。具体来说，主要有以下几个步骤：
1)使用PointNet网络去提取点云的特征；
2)连接一个前景点分割网络和一个box生成网络。其中前景点分割网络是有两个卷积层组成，用于点云分类和分割任务。这个分割任务会对每个点云赋予一个类别信息。Box生成网络将分割出的属于某个GT Box的前景点通过特征提取后包含和对应3D Box的信息。这个特征通过解码，能够得到一个3D Box的位置、尺度、朝向信息。
3)再筛选和优化bounding box是在1)得出的若干个proposals基础上，使用Pointcloud region pooling和Canonical 3D bounding box refinement来进一步精确定位和减少冗余。
进一步的，所述Point cloud region pooling可以分为两个步骤：
1)对每一个获得的proposal，即bi＝(xi,yi,zi,hi,wi,li,θi)，增大尺度后box记作
2)对
内部的所有点进行特征提取，包括坐标点(xp,yp,zp)，反射强度rp，预测的前景背景类别mp∈{0,1}，以及点在第一阶段通过编解码后得到的特征向量。
所述Canonical 3D bounding box refinement主要包括两个步骤分别是：
1)Canonical变换，具体来说，就是对每个proposal建立一个单独的坐标系，所述坐标系要符合以下要求；(1)原点为proposal的中点；(2)X和Z轴与水平地面平行，并且X轴为proposal朝向的位置；(3)Y轴水平向下。个体坐标系和雷达坐标系之间存在一个刚体变换的关系，通过简单的平移和旋转变换可以实现；
2)特征融合，将获得的全局予以特征与局部特征进行堆叠融合后作为精细定位的特征；
3)精细化回归的损失函数，对于每个proposal，如果某一个GT Box的3D IOU>0.55，则该GT Box就是proposal学习的目标，这个proposal记作bi和对应的GT Box记作
转化到同一Canonical坐标系下。在Canonical坐标系下，bi记做
记做
分别定义如下：
为了获得更准确的朝向估计，将预测角度和真实朝向的范围限定在
再将这
划分为若干个大小为ω的bin，然后设置计算朝向的bin和res，计算方式如下：
最后设置如下的损失函数:
损失函数得第一项是Box的分类损失，其中β为第一阶段的3D proposal集合，第二项为Positive框的位置细化损失。在检测到车辆目标之后，可以通过点云信息获得位置、速度、大小、方向等信息。
进一步的，步骤3中，对变道过程进行建模，高速公路为两车道，其左侧快车道限速为100km/h-120km/h，右侧慢车道限速为60km/h-100km/h。由于变道通常分为由慢车道向快车道的变道和由快车道向慢车道的变道这两种情况。根据每种情况下本车与周围车辆所处位置的不同，提出将高速公路上的变道分为四种情况：
1)由慢车道向快车道变道时考虑正前方车辆的情况；
2)由慢车道向快车道变道时考虑左后方车辆的情况；
3)由快车道向慢车道变道时考虑正后方车辆的情况；
4)由快车道向慢车道变道时考虑右前方车辆的情况。
所述安全距离分为两个部分组成，一是驾驶员的应激响应感知-制动反应时间内车辆行驶距离，二是车辆制动过程中行驶的距离。驾驶员的应激响应感知-制动反应时间由感知、决策、准备、执行四个时间组成，其平均值在0.8s左右，极大值在1.6s左右。在此时间中车辆仍是保持匀速行驶，若将应激响应感知-制动反应时间设为te，此时间内车辆行驶的距离Se可由Se＝Vte计算得出。车辆的制动过程包括制动协调时间和制动持续时间，制动协调时间由车辆制动系统性能决定，一般为0.1s～0.2s，在此时间内车辆做变减速运动，其制动减速度由0线性增长至车辆最大制动减速度amax，其中amax一般取值为6～8m/s2。将制动协调时间用tc表示，则车辆在制动协调过程中行驶的距离Sc可积分得：
当车辆处于制动持续时间时，车辆的制动减速度恒为amax，直到车速降低为0。其持续时间可以视为
则车辆在此时间内行驶的距离为：
最终可计算得出车辆在制动过程中行驶的距离为：
当驾驶员的应激响应感知-制动反应时间取平均值时可计算得安全距离的下限，取极大值时可计算得安全距离的上限。
进一步的，步骤4中，计算变道完成或发生紧急制动后本车与目标车相隔距离时，变道过程抽象为追击运动。将本车与目标车辆的初始距离设为Dstart，前方车辆在变道过程中行驶距离设为Sfront，后方车辆在变道过程中行驶距离设为Sbehind，则变道完成或发生紧急制动后本车与目标车相隔距离Dend可简化为公式
Dend＝Sstart+Sfront-Sbehind (18)
4种变道情况中参数的计算方法：
1)由慢车道向快车道变道时考虑正前方车辆的情况
A车为变道车辆，它需要先做加速运动来达到变道时所需要的速度要求(100km/h)，这一过程需要的时间为ty。接着A车跨越车道，在这一过程中保持匀速行驶，所需时间为Tx。设A车的初始速度为V0，加速度为a，则加速过程所需时间ty可由以下公式计算得：
由于A车行驶的距离由加速过程中行驶的距离和跨越车道时行驶的距离构成。故
在同一时间，B车一直保持匀速运动，其行驶时间为ty+Tx，则B车行驶距离可计算得：
将这两个值代入简化公式：
Dend＝Dstart+Sfront-Sbehind (22)
可得第一种变道情况下变道完成后两车相隔距离Dend：
2)由慢车道向快车道变道时考虑左后方车辆的情况
该情况下预设值与a)相同，两车所处位置不同，变道的车A处于前方，目标车辆B位于后方。
故可计算得：
再代入简化公式后可得：
3)由快车道向慢车道变道时考虑正后方车辆的情况
A车需要先做减速运动来达到变道时的速度要求(100km/h)，设减速度为a，则ty可计算得：
在跨越车道时，A车仍是保持匀速运动，而B车一直保持匀速运动，A车位于前方，B车位于后方。故Sfront、Sbehind可计算得：
代入简化公式后可得变道后两车相隔距离为：
4)由快车道向慢车道变道时考虑右前方车辆的情况
该情况下ty的值与情况c)相同，B车是位于前方的车，而变道车辆在相对位置上处于后方。故最终可计算得：
进一步的，步骤5中，结合步骤3、步骤4中得到的数据，因为不同的初始状态会导致不同的安全变道区间，故使用步骤4中计算得到的距离减去安全距离的下限，以表示在变道完成后或紧急情况发生后车辆行驶距离与安全距离的差距，再对此数值进行归一化处理，使其分布在0到1之间。在这个数值等于0时，安全变道的概率应为0，等于1时，安全变道的概率应为1。安全概率转化函数：
其中
进一步的，在步骤6中将多组决策概率视为多组证据，使用证据理论将无冲突的证据进行融合。分为两个步骤：1)对多传感器的多组证据根据可靠性进行折扣；2)对表征结果一致的证据使用DS融合规则进行融合。
第i组证据记为mi(·)，其中(1≤i≤c)，c为证据组数。可靠性权重为w(mi(·))，对可靠性权重进行归一化，得到相对可靠性权重
其中wmax＝ max{w(m1(·)),…,w(mc(·))}。由此，第i组证据的折扣计算方式如下：
对由此得到的折扣证据，根据每组证据最支持的决策进行分组，把在同一组的证据使用DS融合规则把所有一致的证据融合，DS融合规则如下所示：
在融合规则中，K用于衡量两组证据m1(·)，m2(·)的关于采取某个决策A的冲突程度。若K→1，表明这两组证据就采取决策A存在冲突。反之，当K→0时，表明这两组证据就采取决策A是一致的。
进一步的，步骤7中针对步骤6处理之后的多组存在明显冲突的证据进行融合，提出：
1)新的证据冲突衡量方式；
所述证据冲突的定量衡量，采用求取两组证据之间的距离，即求两组向量差一半的 L1范数。计算方式如下所示：
2)保证安全的冲突决策融合规则；
保证安全的冲突决策融合规则会融合出保证安全的谨慎决策单类和决策复合类，对应类别结果的计算方式如下所示:
其中，|ω|＝1代表的是谨慎决策单类，|ω|>1代表的是决策复合类。从公式(37)可以看出，谨慎决策单类取两组证据中谨慎决策单类项较大者，这样融合后的谨慎决策单类的概率值不小于融合之前的任一证据中对应决策项的值。将所有构成复合类的焦元做全排列，然后将所有全排列的乘积求和即为融合后的决策值。
3)根据冲突程度对融合结果的折扣。
为了进一步保证决策的安全性，还需要根据决策冲突程度对融合结果进行折扣。折扣系数的计算方式如下所示：
由上述公式可以看出，当冲突程度
时，折扣系数
也就是说决策更加倾向于决策复合类。另外
关于
的一阶、二阶导数是大于0的，所以
以及
的增长速度是随着
的增加而增加。也就是说当冲突程度越低
时，决策融合结果趋向于决策复合类；当冲突程度较高时
时，决策融合结果趋向于谨慎决策单类。因此，提出的折扣系数方案和人类行为决策逻辑是一致的。接下来由得出的折扣系数对上一步的融合结果进行融合，折扣计算方式如下：
其中
和
分别是采取不变道决策(谨慎决策单类)和采取变道或者不变道都行决策(决策复合类)的折扣系数。该计算方式根据证据的冲突程度对谨慎决策单类和决策复合类的支持程度重新分配。最后为了满足证据理论的性质
需要对融合结果进行归一化，归一化方式如下：
有益效果：与现有技术相比，本发明的技术方案具有以下有益效果：1、本发明提供了一种在保证安全和实时性前提下，提高自动驾驶行为决策合理性方法；2、针对多源信息融合算法计算复杂度高，可拓展性不强的问题，提供了从决策层使用决策概率融合方案，以降低计算复杂度，提高可拓展性；3、针对多传感器的感知数据存在冲突的情况，提出自定义融合方案，提高决策的安全可靠性和鲁棒性。
附图说明
图1是本发明相机针孔成像模型示意图；
图2是本发明相机用于标定的标定板示意图；
图3是本发明实例1中变道概率模型根据本车与周围车辆所处位置的不同，提出将高速公路上的变道的四种情况；
图4是本发明实例1中变道概率模型中由慢车道向快车道变道时考虑正前方车辆的情况；
图5是本发明实例1中变道概率模型中由慢车道向快车道变道时考虑左后方车辆的情况；
图6是本发明实例1中变道概率模型中由快车道向慢车道变道时考虑正后方车辆的情况；
图7是本发明实例1中变道概率模型中由快车道向慢车道变道时考虑右前方车辆的情况；
图8是本发明实例2中从单目摄像头的视频中检测出车辆的距离和速度的实验结果图；
图9是本发明实例2中从激光雷达点云中检测出车辆的距离、速度以及航向角的实验结果图；
图10是本发明实例2中对四种变道情况下，配置实验次数为18，使用提出的安全距离转化为安全变道概率算法后，得到的距离与概率数据的对比图；
图11是本发明实例2中在两组证据100种情况下，融合后最支持决策的类型，其中ω1代表不变道，ω2代表变道，ω1∩ω2代表不确定(两种决策都行)；
图12是本发明实例2中在两组证据100种情况下，融合后支持不变道决策的概率值，其中ω1代表不变道决策；
图13是本发明的结构框图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法该方法，如图13所示，包括如下步骤：
1、使用视频目标检测算法从车载摄像头的视频中检测出目标，通过单目深度估计以及目标跟踪的方法提取出车辆的距离、方向、车速等参数；
2、使用PointRCNN目标检测方法对激光雷达获得的与原始点云数据进行3D目标检测，由此从检测到的目标获取车辆的距离、方向、车速、宽高等信息；
3、对变道过程进行建模，将高速公路上的变道场景分成四种场景，提出每种场景下安全距离上限与下限的计算方法；
4、提出变道完全或发生紧急制动后，计算当前车辆与各种场景中周围车辆相隔距离的方法；
5、根据步骤3、步骤4中预测的当前车辆在变道完成后或紧急制动后将行驶的距离和安全距离上下限的关系，提出将变道的安全距离转化为安全概率的转化公式；
6、将参数信息通过步骤5得到的多组决策概率视为多组证据，使用证据理论将无冲突的证据进行融合，从而得到多组存在冲突的证据；
7、建立安全决策融合规则，引入谨慎决策类和决策复合类，将存在冲突的决策概率进行融合，从而得出最终的决策建议以提高决策的谨慎性和安全性。
步骤1，需要从车载摄像头的视频中检测出目标，通过单目深度估计以及目标跟踪的方法提取出车辆的距离、方向、车速等参数，主要有以下的步骤：
1)首先从单目摄像头获取的视频中使用OpenCV提取出一系列帧的图像。
2)构建一个车辆检测器Haar Cascade Classifier，这个检测算法分为4个阶段：特征选择、创建图像、使用Adaboost训练、使用级联分类器函数进行多尺度检测。
3)训练一个机器学习模型，具体分为图像采集、数据增强、训练这三个步骤。由训练的模型去检测和追踪车辆。
4)对相机进行畸变矫正。畸变矫正需要确定相机的内参和外参。相机的内参主要通过相机标定来获得。
图1是小孔相机的成像模型示意图，图2是本发明相机用于标定的标定板示意图，其中f是相机的焦距，光轴与成像平面的交点称为主点，X表示箭头长度，Z是相机到箭头的距离。现实世界坐标系与成像平面坐标系之间的转换关系为：
在实际相机中主点并不再在成像平面的中心了(也就是透镜光轴与感光芯片中心并不在一条线上了)，因为在实际制作中我们是无法做到将相机里面的成像装置以微米级别的精度进行安装的，因此引入两个新的参数Cx和Cy，来对偏移进行矫正：
由于单个像素在成像装置上是矩形而不是正方形，所以还引入了fx和fy，分别为透镜的物理焦距长度与成像装置的单元尺寸的乘积。(1)、(2)、(3)可以统一表达为
其中
(4)中的M为相机的内参矩阵。相机外参来源于相机自身的畸变，畸变可以分为径向畸变(有透镜的形状造成)和切向畸变(由整个相机自身的安装过程造成)。成像装置上某点的径向位置可以根据公式(5)(6)进行调整，其中(x,y)是成像装置上的原始位置，(xcorreccted,ycorrected)是矫正后的新位置。切向畸变是由于制造上的缺陷使透镜与成像平面不平行而产生的，切向畸变矫正可以通过公式(7)(8)来调整。上述的k1,k2,k3,p1,p2为相机外参。
xcorrected＝x(1+k1r2+k2r4+k3r6) (5)
ycorrected＝y(1+k1r2+k2e4+k3e6) (6)
xcorrected＝x+[2p1xy+p2(r2+2x2)] (7)
ycorrected＝y+[p1(r2+2y2)+2p2xy] (8)
使用标定板通过常用的相机标定算法去求解相机内参和外参这8个参数即可实现通过软件算法消除畸变。
5)使用PnP方法测距。PnP问题是求解3D-2D点对运动的方法。该方法描述了当 n个三维空间点坐标及其二维投影位置已知时，如何估计相机的位姿。PnP方法不需要使用对极约束，又可以在很少的匹配点中获得较好的运动估计，是一种常用的姿态估计方法。已知目标车辆的估计距离，结合ppm(每米像素数)和fps(每秒帧数)就可以通过公式(9)去估计目标车辆的速度vtarget(km/h)。
vtarget＝dtarget×fps×3.6 (9)
步骤2，PointRCNN目标检测方法对点云数据进行3D目标检测，由此从检测到的目标获取车辆的距离、方向、车速、宽高等信息。PointRCNN的3D目标检测分为两个阶段：1)自底向上的预选框生成；2)再筛选和优化bounding box。
自底向上的预选框生成阶段有两个功能：生成预选框，分割前景点。具体来说，主要有以下几个步骤：
1)使用PointNet方法提取点云的特征；
2)连接一个前景点分割网络和一个box生成网络。其中前景点分割网络是有两个卷积层组成，用于点云分类和分割任务。这个分割任务会对每个点云赋予一个类别信息。Box生成网络将分割出的属于某个GT Box的前景点通过特征提取后包含和对应3D Box的信息。也就是说这个特征通过解码，能够得到一个3D Box 的位置、尺度、朝向信息。
再筛选和优化bounding box是在1)得出的若干个proposals基础上，使用了Pointcloud region pooling和Canonical 3D bounding box refinement来进一步精确定位和减少冗余。以下对这两个方面作具体阐述：
Point cloud region pooling可以分为两个步骤：1)对每一个获得的proposal，即bi＝ (xi,yi,zi,hi,wi,Ii,θi)，增大尺度后box记作
2) 对
内部的所有点进行特征提取，包括坐标点(xp,yp,zp)，反射强度rp，预测的前景背景类别mp∈{0,1}，以及点在第一阶段通过编解码后得到的特征向量。
Canonical 3D bounding box refinement主要包括两个步骤，分别是：1)Canonical变换，具体来说，就是对每个proposal建立一个单独的坐标系。这个坐标系要符合以下要求(1)原点为proposal的中点；(2)X和Z轴与水平地面平行，并且X轴为proposal朝向的位置；(3)Y轴水平向下。个体坐标系和雷达坐标系之间存在一个刚体变换的关系，通过简单的平移和旋转变换可以实现；2)特征融合，具体来说，将获得的全局予以特征与局部特征进行堆叠融合后作为精细定位的特征；3)精细化回归的损失函数，对于每个proposal，如果某一个GT Box的3DIOU>0.55，则该GT Box就是proposal学习的目标，这个proposal记作bi和对应的GT Box记作
转化到同一Canonical坐标系下。在Canonical坐标系下，bi记做
记做
分别定义如下：
为了获得更准确的朝向估计，将预测角度和真实朝向的范围限定在
再将这
划分为若干个大小为ω的bin，然后设置计算朝向的bin和res，计算方式如下：
最后设置如下的损失函数:
损失函数得第一项是Box的分类损失，其中β为第一阶段的3D proposal集合，第二项为 Positive框的位置细化损失。
在检测到车辆目标之后，可以通过点云信息获得位置、速度、大小、方向等信息。
步骤3，抽象高速公路安全变道模型时，我们考虑的是两车道的高速公路，其左侧快车道限速为100km/h-120km/h，右侧慢车道限速为60km/h-100km/h，驾驶员都能按照交通规则驾驶汽车，即车速与车道匹配。
进一步的，由于变道通常分为由慢车道向快车道的变道和由快车道向慢车道的变道这两种情况。所以根据每种情况下本车与周围车辆所处位置的不同，提出将高速公路上的变道分为如图3所示的四种情况：
1)由慢车道向快车道变道时考虑正前方车辆的情况；
2)由慢车道向快车道变道时考虑左后方车辆的情况；
3)由快车道向慢车道变道时考虑正后方车辆的情况；
4)由快车道向慢车道变道时考虑右前方车辆的情况。
安全距离分为两个部分组成，其一是驾驶员的应激响应感知-制动反应时间内车辆行驶距离，其二是车辆制动过程中行驶的距离。驾驶员的应激响应感知-制动反应时间由感知、决策、准备、执行四个时间组成，其平均值在0.8s左右，极大值在1.6s左右。在此时间中车辆仍是保持匀速行驶，若将应激响应感知-制动反应时间设为te，此时间内车辆行驶的距离Se可由Se＝Vte计算得出。车辆的制动过程包括制动协调时间和制动持续时间，制动协调时间由车辆制动系统性能决定，一般为0.1s～0.2s，在此时间内车辆做变减速运动，其制动减速度由0线性增长至车辆最大制动减速度amax，amax一般取值为6～8m/s2。将制动协调时间用tc表示，则车辆在制动协调过程中行驶的距离Sc可积分得：
当车辆处于制动持续时间时，车辆的制动减速度恒为amax，直到车速降低为0。其持续时间可以视为
则车辆在此时间内行驶的距离为：
故最终可计算得出车辆在制动过程中行驶的距离为：
此时，本发明认为，当驾驶员的应激响应感知-制动反应时间取平均值时可计算得安全距离的下限，取极大值时可计算得安全距离的上限。
步骤4，计算变道完成或发生紧急制动后本车与目标车相隔距离时，本发明将这一变道过程抽象为追击运动。将本车与目标车辆的初始距离设为Dstart，前方车辆在变道过程中行驶距离设为Sfront，后方车辆在变道过程中行驶距离设为Sbehind，则变道完成或发生紧急制动后本车与目标车相隔距离Dend可简化为公式
Dend＝Sstart+Sfront-Sbehind (18)
接着具体分析4种变道情况中参数的计算方法：
1)由慢车道向快车道变道时考虑正前方车辆的情况
如图4所示，A车为变道车辆，它需要先做加速运动来达到变道时所需要的速度要求(100km/h)，这一过程需要的时间为ty。接着A车跨越车道，在这一过程中保持匀速行驶，所需时间为Tx。设本车的初始速度为V0，加速度为a，则加速过程所需时间ty可由以下公式计算得：
由于A车行驶的距离由加速过程中行驶的距离和跨越车道时行驶的距离构成。故
在同一时间，B车一直保持匀速运动，其行驶时间为ty+Tx，则B车行驶距离可计算得：
将这两个值代入简化公式
Dend＝Dstart+Sfront-Sbehind (22)
可得第一种变道情况下变道完成后两车相隔距离Dend：
2)由慢车道向快车道变道时考虑左后方车辆的情况
如图5所示，该情况下预设值与(a)相同，不同之处在于两车所处位置不同，变道的车A处于前方，目标车辆B位于后方。
故可计算得：
再代入简化公式后可得：
3)由快车道向慢车道变道时考虑正后方车辆的情况
如图6所示，在这一情况中，A车需要先做减速运动来达到变道时的速度要求(100km/h)，设减速度为a，则ty可计算得：
在跨越车道时，A车仍是保持匀速运动，而B车一直保持匀速运动，A车位于前方， B车位于后方。故Sfront、Sbehind可计算得：
代入简化公式后可得变道后两车相隔距离为：
4)由快车道向慢车道变道时考虑右前方车辆的情况
如图7所示，该情况下ty的值与情况3)相同，不同之处在于B车是位于前方的车，而变道车辆在相对位置上处于后方。故最终可计算得：
步骤5中需要结合步骤3、步骤4中得到的数据。因为在最终仿真实验时，不同的初始状态会导致不同的安全变道区间，故本专利中用步骤4中计算得到的距离减去安全距离的下限，以表示在变道完成后或紧急情况发生后车辆行驶距离与安全距离的差距，再对此数值进行归一化处理，使其分布在0到1之间。在这个数值等于0时，安全变道的概率应为0，等于1时，安全变道的概率应为1。而在中间部分，本专利提出了一个转化函数，该函数为一个线性函数，且单调递增，增速越来越快。因为我们认为在实际驾驶情况中，随着相隔距离越来越大，变道概率的增速应该是在提高的，也就是当相隔距离不那么大时，计算出的变道概率应偏低，而当相隔距离比较大时，计算出的变道概率应比实际情况高。这样以符合在现实中，当变道条件不充分时驾驶员们偏向保守决策，而变道条件比较充分时驾驶员们偏向激进决策的情况。基于以上思路，本专利提出了以下的安全概率转化函数：
其中
步骤6中将多组决策概率视为多组证据，使用证据理论将无冲突的证据进行融合。具体来说，可以分为两个步骤：1)对多传感器的多组证据根据可靠性进行折扣；2)对表征结果一致的证据使用DS融合规则进行融合。
来源于多传感器的多组证据折扣的主要依据是传感器数据的可靠性，比如雷达在测距和测速的可靠性比摄像头要高。第i组证据记为mi(·)，其中(1≤i≤c)，c为证据组数。得出的可靠性权重为w(mi(·))，对可靠性权重进行归一化，得到相对可靠性权重
其中wmax＝max{w(m1(·)),…,w(mc(·))}。由此，第i组证据的折扣计算方式如下：
对由此得到的折扣证据，根据每组证据最支持的决策进行分组，把在同一组的证据使用DS融合规则把所有一致的证据融合，DS的融合规则如下所示：
在融合规则中，K用于衡量两组证据m1(·)，m2(·)的关于采取某个决策A的冲突程度。若K→1，表明这两组证据就采取决策A存在冲突。反之，当K→0时，表明这两组证据就采取决策A是一致的。
步骤7中针对步骤6处理之后的多组存在明显冲突的证据进行融合，提出了1)新的证据冲突衡量方式；2)保证安全的冲突决策融合规则；3)根据冲突程度对融合结果的折扣。
对于证据冲突的定量衡量，采用求取两组证据之间的距离，即求两组向量差一半的 L1范数。计算方式如下所示：
保证安全的冲突决策融合规则会融合出保证安全的谨慎决策单类和决策复合类，对应类别结果的计算方式如下所示:
其中，|ω|＝1代表的是谨慎决策单类，|ω|>1代表的是决策复合类。从公式(37)可以看出，谨慎决策单类取两组证据中谨慎决策单类项较大者，这样融合后的谨慎决策单类的概率值不小于融合之前的任一证据中对应决策项的值。将所有构成复合类的焦元做全排列，然后将所有全排列的乘积求和即为融合后的决策值。
为了进一步保证决策的安全性，还需要根据决策冲突程度对融合结果进行折扣。折扣系数的计算方式如下所示：
由上述公式可以看出，当冲突程度
时，折扣系数
也就是说决策更加倾向于决策复合类。另外
关于
的一阶、二阶导数是大于0的，所以
以及
的增长速度是随着
的增加而增加的。也就是说当冲突程度越低
时，决策融合结果趋向于决策复合类；当冲突程度较高时
时，决策融合结果趋向于谨慎决策单类。因此，提出的折扣系数方案和人类行为决策逻辑是一致的。接下来由得出的折扣系数对上一步的融合结果进行融合，折扣计算方式如下：
其中
和
分别是谨慎决策单类和决策复合类的折扣系数。该计算方式根据证据的冲突程度对谨慎决策单类和决策复合类的支持程度重新分配。最后为了满足证据理论的性质
需要对融合结果进行归一化，归一化方式如下：
图8至图12为本发明的实验结果图。
图8是从单目摄像头的视频中检测出车辆的距离和速度的实验结果图，使用PnP方法测距。再通过估计距离，结合ppm(每米像素数)和fps(每秒帧数)去估计目标车辆的速度。由结果图可知，通过目标检测和PnP方法测距可以较为准确地提出车辆相关参数。
图9是从激光雷达点云中检测出车辆的距离、速度以及航向角的实验结果图，使用PointRCNN对点云数据进行3D目标检测，由此从检测到的目标获取车辆的距离、方向、车速、宽高等信息。从实验结果图中可以看出，对点云中车辆的检测结果比较好，速度、距离以及航向角也比较精确，由此可见，使用PointRCNN可以高效精确实现点云车辆目标检测。
图10为变道概率模型对四种变道情况下，配置实验次数为18，使用提出的安全距离转化为安全变道概率算法后，得到的距离与概率数据的对比图。从图中可以看出，得到的变道概率和距离的趋势一致。因此，提出的变道概率模型是比较合理的。
图11为在两组证据100种组合情况下，融合后最支持决策的类型，其中ω1代表不变道，ω2代表变道，ω1∩ω2代表不确定(两种决策都行)。从图中可以看出，当来自两组传感器的两组证据都支持不变道ω1或者变道ω2时，融合后的结果也是一致的。当两组证据支持不同的决策，比如证据1支持不变道ω1，而证据2支持变道ω2，得到的融合结果为不变道ω1，两种决策都行ω1∩ω2。因此，通过这样的融合方案可以提高决策的合理性和安全性。
图12为在两组证据100种情况下，融合后支持不变道决策的概率值，其中ω1代表不变道决策。从图中可以看出，当两组证据存在冲突时，融合后支持不变道决策的概率在[0,1]，当融合后不变道决策的概率大于0.5，表明融合后支持不变道决策。否则，表明融合后支持复合决策ω1∩ω2。因此，通过这样的融合方案可以提高决策的合理性和安全性。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (8)
1.一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法，其特征在于：包括如下步骤：
1)使用视频目标检测算法从车载摄像头的视频中检测出目标，通过单目深度估计以及目标跟踪的方法提取出车辆的距离、方向、车速参数；
2)使用PointRCNN目标检测方法对激光雷达获得的原始点云数据进行3D目标检测，由此从检测到的目标获取车辆的距离、方向、车速、宽高参数；
3)对变道过程进行建模，将高速公路上的变道场景分成四种场景，提出每种场景下安全距离上限与下限的计算方法；
4)提出变道完全或发生紧急制动后，计算当前车辆与不同场景中周围车辆相隔距离的方法；
5)根据3)、4)中预测的当前车辆在变道完成后或紧急制动后将行驶的距离和安全距离上下限的关系，提出将变道的安全距离转化为安全概率的转化公式；
步骤5)中，结合3)、4)中得到的数据，因为不同的初始状态会导致不同的安全变道区间，故使用步骤4)中计算得到的距离减去安全距离的下限，以表示在变道完成后或紧急情况发生后车辆行驶距离与安全距离的差距，再对此数值进行归一化处理，使其分布在0到1之间；在这个数值等于0时，安全变道的概率应为0，等于1时，安全变道的概率应为1；安全概率转化函数：
其中Dend为变道完成或发生紧急制动后本车与目标车相隔距离，
为安全距离下界，
为安全距离上界，x为步骤4)中计算得到的距离与安全距离下限
的差值；
6)将参数信息通过5)得到的多组决策概率视为多组证据，使用证据理论将无冲突的证据进行融合，从而得到多组存在冲突的证据；
7)建立安全决策融合规则，引入谨慎决策类和决策复合类，将存在冲突的决策概率进行融合，从而得出最终的决策建议以提高决策的谨慎性和安全性。
2.根据权利要求1所述的基于车载多源传感器概率融合的自动驾驶变道行为决策方法，其特征在于：步骤1)中从车载摄像头的视频中检测出目标，通过单目深度估计以及目标跟踪的方法提取出车辆的距离、方向、车速的参数，主要有以下的步骤：
1)首先从单目摄像头获取的视频中使用OpenCV提取出一系列帧的图像；
2)构建一个车辆检测器Haar Cascade Classifier，这个检测算法分为4个阶段：特征选择、创建图像、使用Adaboost训练、使用级联分类器函数进行多尺度检测；
3)训练一个机器学习模型，具体分为图像采集、数据增强、训练这三个步骤，由训练的模型去检测和追踪车辆；
4)对相机进行畸变矫正；畸变矫正需要确定相机的内参和外参；相机的内参主要通过相机标定来获得；记f是相机的焦距，光轴与成像平面的交点称为主点，X表示箭头长度，Z是相机到箭头的距离；现实世界坐标系与成像平面坐标系之间的转换关系为：
引入两个新的参数Cx和Cy，来对偏移进行矫正：
引入了fx和fy，分别为透镜的物理焦距长度与成像装置的单元尺寸的乘积；(1)、(2)、(3)可以统一表达为
其中
公式(4)中的M为相机的内参矩阵；相机外参来源于相机自身的畸变，畸变可以分为由透镜形状造成的径向畸变和由整个相机自身安装过程造成的切向畸变；成像装置上某点的径向位置可以根据公式(5)(6)进行调整，其中(x,y)是成像装置上的原始位置，(xcorrected,ycorrected)是矫正后的新位置；切向畸变是由于制造上的缺陷使透镜与成像平面不平行而产生的，切向畸变矫正可以通过公式(7)(8)来调整；上述的k1,k2,k3,p1,p2为相机外参；
xcorrected＝x(1+k1r2+k2r4+k3r6) (6)
ycorrected＝y(1+k1r2+k2r4+k3r6) (7)
xcorrected＝x+[2p1xy+p2(r2+2x2)] (8)
ycorrected＝y+[p1(r2+2y2)+2p2xy] (9)
使用标定板通过常用的相机标定算法去求解相机内参和外参这8个参数即可实现通过软件算法消除畸变；
5)使用PnP方法测距；已知目标车辆的估计距离，结合ppm(每米像素数)和fps(每秒帧数)就可以通过公式(9)去估计目标车辆的速度vtarget(km/h)：
vtarget＝dtarget×fps×3.6 (10)。
3.根据权利要求1所述的基于车载多源传感器概率融合的自动驾驶变道行为决策方法，其特征在于：步骤2)中，PointRCNN目标检测方法对点云数据进行3D目标检测，由此从检测到的目标获取车辆的距离、方向、车速、宽高，所述PointRCNN目标检测方法分为两个阶段：1)自底向上的预选框生成；2)再筛选和优化bounding box；
自底向上的预选框生成阶段有两个功能：生成预选框，分割前景点；具体来说，主要有以下几个步骤：
1)使用PointNet网络去提取点云的特征；
2)连接一个前景点分割网络和一个box生成网络；其中前景点分割网络是有两个卷积层组成，用于点云分类和分割任务；这个分割任务会对每个点云赋予一个类别信息；Box生成网络将分割出的属于某个GT Box的前景点通过特征提取后包含和对应3D Box的信息；这个特征通过解码，能够得到一个3D Box的位置、尺度、朝向信息；
3)再筛选和优化bounding box是在1)得出的若干个proposals基础上，使用Pointcloud region pooling和Canonical 3D bounding box refinement来进一步精确定位和减少冗余。
4.根据权利要求3所述的基于车载多源传感器概率融合的自动驾驶变道行为决策方法，其特征在于：所述Point cloud region pooling可以分为两个步骤：
1)对每一个获得的proposal，即bi＝(xi,yi,zi,hi,wi,li,θi)，增大尺度后box记作
2)对
内部的所有点进行特征提取，包括坐标点(xp,yp,zp)，反射强度rp，预测的前景背景类别mp∈{0,1}，以及点在第一阶段通过编解码后得到的特征向量；
所述Canonical 3D bounding box refinement主要包括的步骤分别是：
1)Canonical变换，具体来说，就是对每个proposal建立一个单独的坐标系，所述坐标系要符合以下要求；(1)原点为proposal的中点；(2)X和Z轴与水平地面平行，并且X轴为proposal朝向的位置；(3)Y轴水平向下；个体坐标系和雷达坐标系之间存在一个刚体变换的关系，通过简单的平移和旋转变换可以实现；
2)特征融合，将获得的全局予以特征与局部特征进行堆叠融合后作为精细定位的特征；
3)精细化回归的损失函数，对于每个proposal，如果某一个GT Box的3D IOU>0.55，则该GT Box就是proposal学习的目标，这个proposal记作bi和对应的GT Box记作
转化到同一Canonical坐标系下；在Canonical坐标系下，bi记做
记做
分别定义如下：
为了获得更准确的朝向估计，将预测角度和真实朝向的范围限定在
再将这
划分为若干个大小为ω的bin，然后设置计算朝向的bin和res，计算方式如下：
最后设置如下的损失函数:
损失函数得第一项是Box的分类损失，其中β为第一阶段的3D proposal集合，第二项为Positive框的位置细化损失；在检测到车辆目标之后，可以通过点云信息获得位置、速度、大小、方向。
5.根据权利要求1所述的基于车载多源传感器概率融合的自动驾驶变道行为决策方法，其特征在于：步骤3)中，对变道过程进行建模，高速公路为两车道，其左侧快车道限速为100km/h-120km/h，右侧慢车道限速为60km/h-100km/h；由于变道通常分为由慢车道向快车道的变道和由快车道向慢车道的变道这两种情况；根据每种情况下本车与周围车辆所处位置的不同，提出将高速公路上的变道分为四种情况：
1)由慢车道向快车道变道时考虑正前方车辆的情况；
2)由慢车道向快车道变道时考虑左后方车辆的情况；
3)由快车道向慢车道变道时考虑正后方车辆的情况；
4)由快车道向慢车道变道时考虑右前方车辆的情况；
所述安全距离分为两个部分组成，一是驾驶员的应激响应感知-制动反应时间内车辆行驶距离，二是车辆制动过程中行驶的距离；驾驶员的应激响应感知-制动反应时间由感知、决策、准备、执行四个时间组成，其平均值在0.8s左右，极大值在1.6s左右；在此时间中车辆仍是保持匀速行驶，若将应激响应感知-制动反应时间设为te，此时间内车辆行驶的距离Se可由Se＝Vte计算得出；车辆的制动过程包括制动协调时间和制动持续时间，制动协调时间由车辆制动系统性能决定，一般为0.1s～0.2s，在此时间内车辆做变减速运动，其制动减速度由0线性增长至车辆最大制动减速度amax，其中amax一般取值为6～8m/s2；将制动协调时间用tc表示，则车辆在制动协调过程中行驶的距离Sc可积分得：
当车辆处于制动持续时间时，车辆的制动减速度恒为amax，直到车速降低为0；其持续时间可以视为
则车辆在此时间内行驶的距离为：
最终可计算得出车辆在制动过程中行驶的距离为：
当驾驶员的应激响应感知-制动反应时间取平均值时可计算得安全距离的下限，取极大值时可计算得安全距离的上限。
6.根据权利要求5所述的基于车载多源传感器概率融合的自动驾驶变道行为决策方法，其特征在于：步骤4)中，计算变道完成或发生紧急制动后本车与目标车相隔距离时，变道过程抽象为追击运动；将本车与目标车辆的初始距离设为Dstart，前方车辆在变道过程中行驶距离设为Sfront，后方车辆在变道过程中行驶距离设为Sbehind，则变道完成或发生紧急制动后本车与目标车相隔距离Dend可简化为公式：
Dend＝Dstart+Sfront-Sbehind (19)
4种变道情况中参数的计算方法：
1)由慢车道向快车道变道时考虑正前方车辆的情况
A车为变道车辆，它需要先做加速运动来达到变道时所需要的速度要求(100km/h)，这一过程需要的时间为ty；接着A车跨越车道，在这一过程中保持匀速行驶，所需时间为Tx；设A车的初始速度为V0，加速度为a，则加速过程所需时间ty可由以下公式计算得：
由于A车行驶的距离由加速过程中行驶的距离和跨越车道时行驶的距离构成；故
在同一时间，B车一直保持匀速运动，其行驶时间为ty+Tx，则B车行驶距离可计算得：
将这两个值代入简化公式：
Dend＝Dstart+Sfront-Sbehind (23)
可得第一种变道情况下变道完成后两车相隔距离Dend：
2)由慢车道向快车道变道时考虑左后方车辆的情况
该情况下预设值与情况1)相同，两车所处位置不同，变道的车A处于前方，目标车辆B位于后方；
故可计算得：
再代入简化公式后可得：
3)由快车道向慢车道变道时考虑正后方车辆的情况
A车需要先做减速运动来达到变道时的速度要求(100km/h)，设减速度为a，则ty可计算得：
在跨越车道时，A车仍是保持匀速运动，而B车一直保持匀速运动，A车位于前方，B车位于后方；故Sfront、Sbehind可计算得：
代入简化公式后可得变道后两车相隔距离为：
4)由快车道向慢车道变道时考虑右前方车辆的情况
该情况下ty的值与情况3)相同，B车是位于前方的车，而变道车辆在相对位置上处于后方；故最终可计算得：
7.根据权利要求1所述的基于车载多源传感器概率融合的自动驾驶变道行为决策方法，其特征在于：在步骤(6)中将多组决策概率视为多组证据，使用证据理论将无冲突的证据进行融合；分为两个步骤：1)对多传感器的多组证据根据可靠性进行折扣；2)对表征结果一致的证据使用DS融合规则进行融合；
第i组证据记为mi(·)，其中(1≤i≤c)，c为证据组数；可靠性权重为w(mi(·))，对可靠性权重进行归一化，得到相对可靠性权重
其中wmax＝max{w(m1(·)),…,w(mc(·))}；由此，第i组证据的折扣计算方式如下：
对由此得到的折扣证据，根据每组证据最支持的决策进行分组，把在同一组的证据使用DS融合规则把所有一致的证据融合，DS融合规则如下所示：
在融合规则中，K用于衡量两组证据m1(·)，m2(·)的关于采取某个决策A的冲突程度；若K→1，表明这两组证据就采取决策A存在冲突；反之，当K→0时，表明这两组证据就采取决策A是一致的。
8.根据权利要求1所述的基于车载多源传感器概率融合的自动驾驶变道行为决策方法，其特征在于：步骤7)中针对步骤6)处理之后的多组存在明显冲突的证据进行融合，提出：
1)新的证据冲突衡量方式；
所述证据冲突的定量衡量，采用求取两组证据之间的距离，即求两组向量差一半的L1范数；计算方式如下所示：
2)保证安全的冲突决策融合规则；
保证安全的冲突决策融合规则会融合出保证安全的谨慎决策单类和决策复合类，对应类别结果的计算方式如下所示:
其中，|ω|＝1代表的是谨慎决策单类，|ω|>1代表的是决策复合类；从公式(37)可以看出，谨慎决策单类取两组证据中谨慎决策单类项较大者，这样融合后的谨慎决策单类的概率值不小于融合之前的任一证据中对应决策项的值；将所有构成复合类的焦元做全排列，然后将所有全排列的乘积求和即为融合后的决策值；
3)根据冲突程度对融合结果的折扣；
为了进一步保证决策的安全性，还需要根据决策冲突程度对融合结果进行折扣；折扣系数的计算方式如下所示：
由上述公式可以看出，当冲突程度
时，折扣系数
也就是说决策更加倾向于决策复合类；另外
关于
的一阶、二阶导数是大于0的，所以
以及
的增长速度是随着
的增加而增加；也就是说当冲突程度越低
时，决策融合结果趋向于决策复合类；当冲突程度较高时
时，决策融合结果趋向于谨慎决策单类；因此，提出的折扣系数方案和人类行为决策逻辑是一致的；接下来由得出的折扣系数对上一步的融合结果进行融合，折扣计算方式如下：
其中
和
分别是采取谨慎决策单类的不变道决策和采取决策复合类的变道或不变道都行决策的折扣系数；该计算方式根据证据的冲突程度对谨慎决策单类和决策复合类的支持程度重新分配；最后为了满足证据理论的性质
需要对融合结果进行归一化，归一化方式如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111288406.0A CN113895439B (zh) | 2021-11-02 | 2021-11-02 | 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111288406.0A CN113895439B (zh) | 2021-11-02 | 2021-11-02 | 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113895439A CN113895439A (zh) | 2022-01-07 |
| CN113895439B true CN113895439B (zh) | 2022-08-12 |
Family
ID=79027275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111288406.0A Active CN113895439B (zh) | 2021-11-02 | 2021-11-02 | 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113895439B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116680062B (zh) * | 2023-08-03 | 2023-12-01 | 湖南博创高新实业有限公司 | 一种基于大数据集群的应用调度部署方法及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110254430A (zh) * | 2019-05-31 | 2019-09-20 | 山东理工大学 | 一种考虑驾驶倾向性的汽车强制换道决策安全预警方法 |
| CN111532274A (zh) * | 2020-02-28 | 2020-08-14 | 南京航空航天大学 | 基于多传感器数据融合的智能车辆换道辅助系统及方法 |
| CN112365710A (zh) * | 2020-10-19 | 2021-02-12 | 南京航空航天大学 | 一种基于概率输出模型的智能车辆换道决策方法 |
| CN112703506A (zh) * | 2020-04-22 | 2021-04-23 | 华为技术有限公司 | 车道线检测方法及装置 |
| KR20210077043A (ko) * | 2019-12-16 | 2021-06-25 | 현대자동차주식회사 | 주행 차로 판단 장치 및 그의 주행 차로 판단 방법 |
-
2021
- 2021-11-02 CN CN202111288406.0A patent/CN113895439B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110254430A (zh) * | 2019-05-31 | 2019-09-20 | 山东理工大学 | 一种考虑驾驶倾向性的汽车强制换道决策安全预警方法 |
| KR20210077043A (ko) * | 2019-12-16 | 2021-06-25 | 현대자동차주식회사 | 주행 차로 판단 장치 및 그의 주행 차로 판단 방법 |
| CN111532274A (zh) * | 2020-02-28 | 2020-08-14 | 南京航空航天大学 | 基于多传感器数据融合的智能车辆换道辅助系统及方法 |
| CN112703506A (zh) * | 2020-04-22 | 2021-04-23 | 华为技术有限公司 | 车道线检测方法及装置 |
| CN112365710A (zh) * | 2020-10-19 | 2021-02-12 | 南京航空航天大学 | 一种基于概率输出模型的智能车辆换道决策方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113895439A (zh) | 2022-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107609522B (zh) | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 | |
| Rezaei et al. | Robust vehicle detection and distance estimation under challenging lighting conditions | |
| Bar Hillel et al. | Recent progress in road and lane detection: a survey | |
| CN101900566B (zh) | 基于像素的纹理丰富畅通路径检测 | |
| CN107972662A (zh) | 一种基于深度学习的车辆前向碰撞预警方法 | |
| US10442438B2 (en) | Method and apparatus for detecting and assessing road reflections | |
| CN110765922A (zh) | 一种agv用双目视觉物体检测障碍物系统 | |
| CN101900567A (zh) | 基于像素的无纹理畅通路径检测 | |
| CN111874006A (zh) | 路线规划处理方法和装置 | |
| CN102044151A (zh) | 基于光照可见度辨识的夜间车辆视频检测方法 | |
| CN111369541A (zh) | 一种智能汽车恶劣天气条件下车辆检测方法 | |
| CN110427797B (zh) | 一种基于几何条件限制的三维车辆检测方法 | |
| CN112825192B (zh) | 基于机器学习的对象辨识系统及其方法 | |
| CN109886215A (zh) | 基于机器视觉的低速园区无人车巡航及紧急制动系统 | |
| CN116685874A (zh) | 摄像机-激光雷达融合对象检测系统和方法 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| Liu et al. | Vehicle detection and ranging using two different focal length cameras | |
| Zhang et al. | A framework for turning behavior classification at intersections using 3D LIDAR | |
| CN115308732A (zh) | 一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法 | |
| CN113895439B (zh) | 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法 | |
| CN115923839A (zh) | 一种车辆路径规划方法 | |
| Jain et al. | Relative vehicle velocity estimation using monocular video stream | |
| JP3562278B2 (ja) | 環境認識装置 | |
| EP4009228A1 (en) | Method for determining a semantic free space | |
| Zhang et al. | Front vehicle detection based on multi-sensor fusion for autonomous vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |