CN114384509A - 一种智能驾驶车辆数据支持的安全行驶决策生成方法 - Google Patents
一种智能驾驶车辆数据支持的安全行驶决策生成方法 Download PDFInfo
- Publication number
- CN114384509A CN114384509A CN202210037368.XA CN202210037368A CN114384509A CN 114384509 A CN114384509 A CN 114384509A CN 202210037368 A CN202210037368 A CN 202210037368A CN 114384509 A CN114384509 A CN 114384509A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- vehicle
- intelligent driving
- decision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 230000008447 perception Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 30
- 230000001133 acceleration Effects 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000014509 gene expression Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007634 remodeling Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000013211 curve analysis Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种智能驾驶车辆数据支持的安全行驶决策生成方法，包括步骤一、数据感知准备与多模态信息获取，步骤二、不同尺度传感器间的时间配准，步骤三、基于双重图像重构数据驱动的深度神经网络多目标跟踪数据关联并输出LSTM序列间数据关联结果，步骤四、根据多目标跟踪数据关联结果进行多传感器数据融合，步骤五、基于多模态数据融合的智能驾驶车辆安全行驶决策模型并输出行驶决策；本发明实现智能驾驶车辆在杂波环境多目标交叉情况下多传感信息的正确融合以及多模态信息支撑下车辆的安全行驶决策，在提高智能驾驶车辆多传感数据融合准确性的同时，提供安全行驶决策作为双重安全保障，从而增强智能驾驶车辆行驶的安全性。
Description
技术领域
本发明涉及智能驾驶信息融合技术领域，尤其涉及一种智能驾驶车辆数据支持的安全行驶决策生成方法。
背景技术
智能驾驶作为一种辅助驾驶员对车辆进行操控的综合技术，其关键在于多模态信息的精确感知和行驶的安全决策，为了提供准确的感知数据和安全决策信息，保障车辆行驶的安全性，目前的方法是利用毫米波雷达、摄像头等传感器对周围车辆信息进行感知和数据融合；
传统数据融合方法存在密集杂波或漏检情况下多目标交叉等特殊数据关联问题，数据关联失准导致多传感融合数据错误，对智能驾驶车辆的控制和行驶安全造成影响，因此，本发明提出一种智能驾驶车辆数据支持的安全行驶决策生成方法以解决现有技术中存在的问题。
发明内容
针对上述问题，本发明的目的在于提出一种智能驾驶车辆数据支持的安全行驶决策生成方法，该智能驾驶车辆数据支持的安全行驶决策生成方法实现智能驾驶车辆在杂波环境多目标交叉情况下多传感信息的正确融合以及多模态信息支撑下车辆的安全行驶决策，在提高智能驾驶车辆多传感数据融合准确性的同时，提供安全行驶决策作为双重安全保障，从而增强智能驾驶车辆行驶的安全性。
为实现本发明的目的，本发明通过以下技术方案实现：一种智能驾驶车辆数据支持的安全行驶决策生成方法，包括以下步骤：
步骤一、采用4个毫米波雷达传感器和2个摄像头传感器获取感知数据，并结合车辆智能驾驶地图提供的数据形成多模态信息，输出实时数据；
步骤二、基于曲线拟合法对不同尺度传感器的时间进行配准；
步骤三、将毫米波雷达与摄像头传感器的空间同步并将双重图像进行二维重构，再建立以重构数据作为输入的LSTM序列间数据关联网络，基于时间反向传播算法训练数据关联网络，并优化训练参数，输出关联结果；
步骤四、根据多目标跟踪数据关联结果，基于误差协方差针对多传感器数据进行融合计算；
步骤五、基于多模态数据信息建立车辆动作判别机制，利用FNN构建智能驾驶车辆安全行驶模糊决策模型，通过学习训练和在线计算获得智能驾驶车辆实时加速度的最优决策。
进一步改进在于：所述步骤一中感知数据包括目标数量、ID、坐标、相位角和本车与多目标之间的横向、纵向相对速度及相对距离，车辆智能驾驶地图提供的数据包括车道数、路线规划信息、道路坐标和弯道信息。
进一步改进在于：所述步骤二中配准具体操作为先分别针对毫米波雷达和摄像头传感器测量得到的数据进行曲线拟合，得到基于拟合误差最小原则的拟合曲线，再根据选定的采样间隔对拟合后的数据进行采样，在采样间隔下通过曲线解析获得相应时刻的目标测量值，完成对不同尺度传感器之间目标数据的时间配准。
进一步改进在于：所述步骤三具体包括
A1、毫米波雷达与摄像头传感器空间同步；
A2、基于A1同步的空间，通过坐标拟合将毫米波雷达和摄像头传感器输出的图像化表达分别重构为同一平面图像坐标系标准下的二维虚拟图像，完成两种传感器输出信息由不同尺度向同尺度图像数据表达的转换；
A3、先建立LSTM序列间数据关联网络的关键结构，基于重构数据建立所有测量值到所有目标的成对距离矩阵，并针对距离矩阵进行重塑计算输入向量，再利用均方误差定义损失函数，获得预测关联概率与实际目标测量关联概率之间均方误差的最小化值，最后预测每个目标和所有测量值之间的关联概率；
A4、基于时间反向传播算法训练数据关联网络，并基于有监督算法优化训练网络参数，利用优化训练后的网络参数输入LSTM数据关联网络从而输出关联结果。
进一步改进在于：所述A3中建立数据关联网络关节结构时，将网络的输入通过一个完全连接层到达隐藏状态，输出通过全连接层变换和后续的Sigmoid变换以得到测量到预测值的关联概率；输入向量计算公式如下
其中
为目标i的测量值的预测，
表示为了形成M×D维矩阵重复了M×1次的
损失函数计算公式如下
其中
表示第i个目标与所有测量值间关联概率的地面真值。
进一步改进在于：所述步骤四中具体包括
B1、利用下式计算k时刻传感器间目标状态估计差
其中
和
分别表示摄像头传感器对目标a和毫米波雷达对目标b的状态估计值，截止K时刻所有传感器目标状态估计差为
B2、通过步骤三判断摄像头传感器中目标a和和毫米波雷达中目标b是否为同一目标，针对经关联匹配的摄像头传感器与毫米波雷达的目标数据进行加权融合，通过下式计算融合后的融合状态估计值及其误差协方差
其中
与
分别表示摄像头传感器对目标a和毫米波雷达对目标b的状态估计误差协方差，
和
分别表示摄像头传感器对目标a和毫米波雷达对目标b的状态估计值。
进一步改进在于：所述步骤五中具体包括
C1、构建车辆动作判别的模糊逻辑推理先验模型；
C2、确定车辆行驶模糊决策模型的参数及建立隶属度函数，将多模态数据中自车与前车之间相的对速度v和相对距离d作为输入状态变量，自车加速度a为输出量；
C3、结合车辆动作判别结果和人工驾驶经验合理建立模糊规则表，描述输入状态量到输出量的映射关系；
C4、建立具有三层结构的神经网络模型并进行训练；
C5、在线计算模型输出量，实时读取相对距离状态量和相对速度状态量作为模糊神经网络决策模型的输入，在线计算获取加速度值。
进一步改进在于：所述C5中实时读取相对距离状态量dt和相对速度状态量vt作为模糊神经网络决策模型的输入，则计算公式如下
a't＝tansig(k2·tansig(k1·[v't,d't]T+z1)+z2)
其中，a't，v't，d't分别为归一化的加速度、相对速度状态量和相对距离状态量，k1,k2,z1,z2分别为训练后的神经网络权值向量和偏置向量，在获取加速度a't后将a't反归一化输出车辆加速度的实时决策结果。
本发明的有益效果为：本发明基于双重图像重构数据驱动的深度神经网络多目标跟踪数据关联方法，能够从数据序列中完全学习网络，不需要任何如杂波密度、跟踪门控和滤波器等先验信息或模型，通过自学习和监督训练进行组合优化直接求解多目标跟踪的数据关联概率，解决了密集杂波和漏检情况下多目标跟踪及数据关联失准的问题，提高多传感器数据融合的准确性；
同时本申请决策方法能够在避免决策模型输入状态量过多而相互产生过度耦合的同时，通过学习训练和在线计算实现智能驾驶车辆实时加速度的最优决策，解决了智能驾驶车辆封闭道路行驶实时的动作判别和加速度决策的问题，从而增强车辆行驶安全性，提高决策效率。
附图说明
图1为本发明实施例一决策方法流程图。
图2为本发明实施例二数据关联流程图。
图3为本发明实施例三行驶决策获取流程图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
实施例一
根据图1所示，本实施例提供了一种智能驾驶车辆数据支持的安全行驶决策生成方法，包括以下步骤：
步骤一、采用4个毫米波雷达传感器和2个摄像头传感器获取感知数据，并结合车辆智能驾驶地图提供的数据形成多模态信息，输出实时数据，其中感知数据包括目标数量、ID、坐标、相位角和本车与多目标之间的横向、纵向相对速度及相对距离，车辆智能驾驶地图提供的数据包括车道数、路线规划信息、道路坐标和弯道信息；
步骤二、基于曲线拟合法对不同尺度传感器的时间进行配准，各尺度对应的传感器对同一目标进行监测时，由于监测频率和各自性能存在差异，需要进行时间配准使各传感器监测的数据校准到所需的时间间隔内，具体操作为先分别针对毫米波雷达和摄像头传感器测量得到的数据进行曲线拟合，得到基于拟合误差最小原则的拟合曲线，再根据选定的采样间隔对拟合后的数据进行采样，在采样间隔下通过曲线解析获得相应时刻的目标测量值，完成对不同尺度传感器之间目标数据的时间配准；
步骤三、将毫米波雷达与摄像头传感器的空间同步并将双重图像进行二维重构，再建立以重构数据作为输入的LSTM序列间数据关联网络，基于时间反向传播算法训练数据关联网络，并优化训练参数，输出关联结果，具体包括：
A1、毫米波雷达与摄像头传感器空间同步；
A2、基于A1同步的空间，通过坐标拟合将毫米波雷达和摄像头传感器输出的图像化表达分别重构为同一平面图像坐标系标准下的二维虚拟图像，完成两种传感器输出信息由不同尺度向同尺度图像数据表达的转换；
A3、先建立LSTM序列间数据关联网络的关键结构，基于重构数据建立所有测量值到所有目标的成对距离矩阵，并针对距离矩阵进行重塑计算输入向量，再利用均方误差定义损失函数，获得预测关联概率与实际目标测量关联概率之间均方误差的最小化值，最后预测每个目标和所有测量值之间的关联概率；
其中建立数据关联网络关节结构时，将网络的输入通过一个完全连接层到达隐藏状态，输出通过全连接层变换和后续的Sigmoid变换以得到测量到预测值的关联概率；输入向量计算公式如下
其中
为目标i的测量值的预测，
表示为了形成M×D维矩阵重复了M×1次的
损失函数计算公式如下
其中
表示第i个目标与所有测量值间关联概率的地面真值；
A4、基于时间反向传播算法训练数据关联网络，并基于有监督算法优化训练网络参数，利用优化训练后的网络参数输入LSTM数据关联网络从而输出关联结果；
步骤四、根据多目标跟踪数据关联结果，基于误差协方差针对多传感器数据进行融合计算；
具体包括
B1、利用下式计算k时刻传感器间目标状态估计差
其中
和
分别表示摄像头传感器对目标a和毫米波雷达对目标b的状态估计值，截止K时刻所有传感器目标状态估计差为
B2、通过步骤三判断摄像头传感器中目标a和和毫米波雷达中目标b是否为同一目标，针对经关联匹配的摄像头传感器与毫米波雷达的目标数据进行加权融合，通过下式计算融合后的融合状态估计值及其误差协方差
其中
与
分别表示摄像头传感器对目标a和毫米波雷达对目标b的状态估计误差协方差，
和
分别表示摄像头传感器对目标a和毫米波雷达对目标b的状态估计值；
步骤五、基于多模态数据信息建立车辆动作判别机制，利用FNN构建智能驾驶车辆安全行驶模糊决策模型，通过学习训练和在线计算获得智能驾驶车辆实时加速度的最优决策，具体包括：
C1、构建车辆动作判别的模糊逻辑推理先验模型；
C2、确定车辆行驶模糊决策模型的参数及建立隶属度函数，将多模态数据中自车与前车之间相的对速度v和相对距离d作为输入状态变量，自车加速度a为输出量；
C3、结合车辆动作判别结果和人工驾驶经验合理建立模糊规则表，描述输入状态量到输出量的映射关系；
C4、建立具有三层结构的神经网络模型并进行训练；
C5、在线计算模型输出量，实时读取相对距离状态量dt和相对速度状态量vt作为模糊神经网络决策模型的输入，在线计算获取加速度值，计算公式如下
a't＝tansig(k2·tansig(k1·[v't,d't]T+z1)+z2)
其中，a't，v't，d't分别为归一化的加速度、相对速度状态量和相对距离状态量，k1,k2,z1,z2分别为训练后的神经网络权值向量和偏置向量，在获取加速度a't后将a't反归一化输出车辆加速度的实时决策结果。
实施例二
根据图2所示，本实施例提供了一种智能驾驶车辆数据支持的安全行驶决策生成方法，步骤三、将毫米波雷达与摄像头传感器的空间同步并将双重图像进行二维重构，再建立以重构数据作为输入的LSTM序列间数据关联网络，基于时间反向传播算法训练数据关联网络，并优化训练参数，输出关联结果，具体包括：
A1、毫米波雷达与摄像头传感器空间同步，毫米波雷达监测移动目标时提供水平方向的二维信息，通过构建旋转平移矩阵对摄像头与毫米波雷达进行位姿配准，然后将毫米波雷达坐标系下的坐标转换到以摄像头为中心的世界坐标系中，通过转移矩阵将世界坐标系的坐标转换到摄像头坐标系，最后将摄像头坐标系的坐标转换到平面图像坐标系，在同一空间配准下不同传感器获取各目标在X，Y方向上的坐标信息；
A2、基于A1同步的空间，通过坐标拟合将毫米波雷达和摄像头传感器输出的图像化表达分别重构为同一平面图像坐标系标准下的二维虚拟图像，完成两种传感器输出信息由不同尺度向同尺度图像数据表达的转换，实时重构后图像内包含的各尺度传感器的目标监测数据与实际的目标监测数据相符，均包含目标的识别框选、数量、ID、坐标以及相对速度与距离等信息；
A3、先建立LSTM序列间数据关联网络的关键结构，将网络的输入通过一个完全连接层到达隐藏状态，输出通过全连接层变换和后续的Sigmoid变换以得到测量到预测值的关联概率；
基于重构数据建立所有测量值到所有目标的成对距离矩阵，并针对距离矩阵进行重塑计算输入向量，输入向量计算公式如下
其中
为目标i的测量值的预测，
表示为了形成M×D维矩阵重复了M×1次的
再利用均方误差定义损失函数，获得预测关联概率与实际目标测量关联概率之间均方误差的最小化值，损失函数计算公式如下
其中
表示第i个目标与所有测量值间关联概率的地面真值；
最后预测每个目标和所有测量值之间的关联概率，每次预测后该数据关联网络都输出一个概率分布向量，表示在k时刻目标与所有观测集Zk的关联概率；
A4、基于时间反向传播算法训练数据关联网络，并基于有监督算法优化训练网络参数，利用优化训练后的网络参数输入LSTM数据关联网络从而输出关联结果，网络参数决定整个模型中各网络层的输入输出大小，在杂波环境下的多目标跟踪中，能够使该算法从目标地面真值数据样本以及杂波和误检测的测量数据样本中学习，输出测量数据与目标的关联概率向量。训练后的参数能够针对LSTM序列间数据关联网络进行优化，从而完成该网络对关联概率的准确计算，实现关联结果的平稳输出。
实施例三
根据图3所示，本实施例提供了一种智能驾驶车辆数据支持的安全行驶决策生成方法，步骤五、基于多模态数据信息建立车辆动作判别机制，利用FNN构建智能驾驶车辆安全行驶模糊决策模型，通过学习训练和在线计算获得智能驾驶车辆实时加速度的最优决策，具体包括：
C1、构建车辆动作判别的模糊逻辑推理先验模型，基于多模态数据获取当前道路车道数、自车入弯前距离、自车前方和左侧车辆数作为输入端状态变量，建立相应的模糊化语言变量和隶属度函数，结合换道超车的驾驶规则和人工驾驶经验建立模糊推理规则，输出量为超车动作判别结果。该模型可以作为车辆动作安全的先验判别机制，实时判别自车能否进行超车动作；
C2、确定车辆行驶模糊决策模型的参数及建立隶属度函数，将多模态数据中自车与前车之间相的对速度v和相对距离d作为输入状态变量，自车加速度a为输出量，根据模糊系统理论，分别将输入状态变量和输出量模糊化为语言变量，并建立相应的隶属度函数；
C3、结合车辆动作判别结果和人工驾驶经验合理建立模糊规则表，描述输入状态量到输出量的映射关系，将输入状态量分别模糊化为语言变量集合V和D：V＝{V1,V2,V3,…,Vj}；D＝{D1,D2,D3,…,Dk}，其中，j、k分别为状态量v和d的语言变量数量，将输出状态量模糊化为语言变量集合A：A＝{A1,A2,A3,…,Al}，其中，l为状态量A的语言变量数量；
C4、建立具有三层结构的神经网络模型并进行训练，输入层神经元数量为输入状态量数目,隐含层神经元数量为N，输出层神经元数量为输出量数目。隐含层神经元数在满足基本原则约束条件下，可通过先验公式计算，计算公式如下：
其中，Ni为输入层神经元个数，No为输出层神经元个数，Ns训练集的样本数，α∈[2,10]为任意变量。神经网络输入层到隐含层、隐含层到输出层的权值向量分别为k1和k2，隐含层和输出层的偏置向量分别为z1和z2，隐含层和输出层采用双曲正切函数作为传递函数，将模糊规则表中所有输入状态量到输出量的映射关系集合作为学习样本，利用神经网络的自学习性能采用BP算法离线修正模糊决策模型，训练神经网络的权值向量和偏置向量；
C5、在线计算模型输出量，实时读取相对距离状态量dt和相对速度状态量vt作为模糊神经网络决策模型的输入，在线计算获取加速度值，计算公式如下
a't＝tansig(k2·tansig(k1·[v't,d't]T+z1)+z2)
其中，a't，v't，d't分别为归一化的加速度、相对速度状态量和相对距离状态量，k1,k2,z1,z2分别为训练后的神经网络权值向量和偏置向量，在获取加速度a't后将a't反归一化输出车辆加速度的实时决策结果。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种智能驾驶车辆数据支持的安全行驶决策生成方法，其特征在于，包括以下步骤：
步骤一、采用4个毫米波雷达传感器和2个摄像头传感器获取感知数据，并结合车辆智能驾驶地图提供的数据形成多模态信息，输出实时数据；
步骤二、基于曲线拟合法对不同尺度传感器的时间进行配准；
步骤三、将毫米波雷达与摄像头传感器的空间同步并将双重图像进行二维重构，再建立以重构数据作为输入的LSTM序列间数据关联网络，基于时间反向传播算法训练数据关联网络，并优化训练参数，输出关联结果；
步骤四、根据多目标跟踪数据关联结果，基于误差协方差针对多传感器数据进行融合计算；
步骤五、基于多模态数据信息建立车辆动作判别机制，利用FNN构建智能驾驶车辆安全行驶模糊决策模型，通过学习训练和在线计算获得智能驾驶车辆实时加速度的最优决策。
2.根据权利要求1所述的一种智能驾驶车辆数据支持的安全行驶决策生成方法，其特征在于：所述步骤一中感知数据包括目标数量、ID、坐标、相位角和本车与多目标之间的横向、纵向相对速度及相对距离，车辆智能驾驶地图提供的数据包括车道数、路线规划信息、道路坐标和弯道信息。
3.根据权利要求1所述的一种智能驾驶车辆数据支持的安全行驶决策生成方法，其特征在于：所述步骤二中配准具体操作为先分别针对毫米波雷达和摄像头传感器测量得到的数据进行曲线拟合，得到基于拟合误差最小原则的拟合曲线，再根据选定的采样间隔对拟合后的数据进行采样，在采样间隔下通过曲线解析获得相应时刻的目标测量值，完成对不同尺度传感器之间目标数据的时间配准。
4.根据权利要求1所述的一种智能驾驶车辆数据支持的安全行驶决策生成方法，其特征在于：所述步骤三具体包括
A1、毫米波雷达与摄像头传感器空间同步；
A2、基于A1同步的空间，通过坐标拟合将毫米波雷达和摄像头传感器输出的图像化表达分别重构为同一平面图像坐标系标准下的二维虚拟图像，完成两种传感器输出信息由不同尺度向同尺度图像数据表达的转换；
A3、先建立LSTM序列间数据关联网络的关键结构，基于重构数据建立所有测量值到所有目标的成对距离矩阵，并针对距离矩阵进行重塑计算输入向量，再利用均方误差定义损失函数，获得预测关联概率与实际目标测量关联概率之间均方误差的最小化值，最后预测每个目标和所有测量值之间的关联概率；
A4、基于时间反向传播算法训练数据关联网络，并基于有监督算法优化训练网络参数，利用优化训练后的网络参数输入LSTM数据关联网络从而输出关联结果。
5.根据权利要求4所述的一种智能驾驶车辆数据支持的安全行驶决策生成方法，其特征在于：所述A3中建立数据关联网络关节结构时，将网络的输入通过一个完全连接层到达隐藏状态，输出通过全连接层变换和后续的Sigmoid变换以得到测量到预测值的关联概率；输入向量计算公式如下
其中
为目标i的测量值的预测，
表示为了形成M×D维矩阵重复了M×1次的
损失函数计算公式如下
其中
表示第i个目标与所有测量值间关联概率的地面真值。
6.根据权利要求1所述的一种智能驾驶车辆数据支持的安全行驶决策生成方法，其特征在于：所述步骤四中具体包括
B1、利用下式计算k时刻传感器间目标状态估计差
其中
和
分别表示摄像头传感器对目标a和毫米波雷达对目标b的状态估计值，截止K时刻所有传感器目标状态估计差为
B2、通过步骤三判断摄像头传感器中目标a和和毫米波雷达中目标b是否为同一目标，针对经关联匹配的摄像头传感器与毫米波雷达的目标数据进行加权融合，通过下式计算融合后的融合状态估计值及其误差协方差
其中
与
分别表示摄像头传感器对目标a和毫米波雷达对目标b的状态估计误差协方差，
和
分别表示摄像头传感器对目标a和毫米波雷达对目标b的状态估计值。
7.根据权利要求1所述的一种智能驾驶车辆数据支持的安全行驶决策生成方法，其特征在于：所述步骤五中具体包括
C1、构建车辆动作判别的模糊逻辑推理先验模型；
C2、确定车辆行驶模糊决策模型的参数及建立隶属度函数，将多模态数据中自车与前车之间相的对速度v和相对距离d作为输入状态变量，自车加速度a为输出量；
C3、结合车辆动作判别结果和人工驾驶经验合理建立模糊规则表，描述输入状态量到输出量的映射关系；
C4、建立具有三层结构的神经网络模型并进行训练；
C5、在线计算模型输出量，实时读取相对距离状态量和相对速度状态量作为模糊神经网络决策模型的输入，在线计算获取加速度值。
8.根据权利要求7所述的一种智能驾驶车辆数据支持的安全行驶决策生成方法，其特征在于：所述C5中实时读取相对距离状态量dt和相对速度状态量vt作为模糊神经网络决策模型的输入，则计算公式如下
a't＝tansig(k2·tansig(k1·[v't,d't]T+z1)+z2)
其中，a't，v't，d't分别为归一化的加速度、相对速度状态量和相对距离状态量，k1,k2,z1,z2分别为训练后的神经网络权值向量和偏置向量，在获取加速度a't后将a't反归一化输出车辆加速度的实时决策结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210037368.XA CN114384509B (zh) | 2022-01-13 | 2022-01-13 | 一种智能驾驶车辆数据支持的安全行驶决策生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210037368.XA CN114384509B (zh) | 2022-01-13 | 2022-01-13 | 一种智能驾驶车辆数据支持的安全行驶决策生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114384509A true CN114384509A (zh) | 2022-04-22 |
| CN114384509B CN114384509B (zh) | 2024-04-26 |
Family
ID=81201579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210037368.XA Active CN114384509B (zh) | 2022-01-13 | 2022-01-13 | 一种智能驾驶车辆数据支持的安全行驶决策生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114384509B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115080903A (zh) * | 2022-06-01 | 2022-09-20 | 中国船舶重工集团公司第七0七研究所九江分部 | 一种基于智能优化算法的海上多目标多模态匹配融合方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3067573A1 (en) * | 2019-01-14 | 2020-07-14 | Harbin Engineering University | Target tracking systems and methods for uuv |
| CN112242059A (zh) * | 2020-09-30 | 2021-01-19 | 南京航空航天大学 | 基于动机与风险评估的无人驾驶车辆智能决策方法 |
| KR102280190B1 (ko) * | 2020-05-14 | 2021-07-21 | 포항공과대학교 산학협력단 | 딥러닝을 이용한 레이다 기반의 인원 계수 장치 및 그 방법 |
| CN113743469A (zh) * | 2021-08-04 | 2021-12-03 | 北京理工大学 | 一种融合多源数据及综合多维指标的自动驾驶决策方法 |
-
2022
- 2022-01-13 CN CN202210037368.XA patent/CN114384509B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3067573A1 (en) * | 2019-01-14 | 2020-07-14 | Harbin Engineering University | Target tracking systems and methods for uuv |
| KR102280190B1 (ko) * | 2020-05-14 | 2021-07-21 | 포항공과대학교 산학협력단 | 딥러닝을 이용한 레이다 기반의 인원 계수 장치 및 그 방법 |
| CN112242059A (zh) * | 2020-09-30 | 2021-01-19 | 南京航空航天大学 | 基于动机与风险评估的无人驾驶车辆智能决策方法 |
| CN113743469A (zh) * | 2021-08-04 | 2021-12-03 | 北京理工大学 | 一种融合多源数据及综合多维指标的自动驾驶决策方法 |
Non-Patent Citations (2)
| Title |
|---|
| 廖传锦, 黄席樾, 柴毅: "基于信息融合的汽车防撞决策系统研究", 系统仿真学报, no. 07, 20 July 2004 (2004-07-20) * |
| 王国辉;杨波;王春阳;: "基于深度学习的自动驾驶车辆运动规划研究", 长春理工大学学报(自然科学版), no. 02, 15 April 2020 (2020-04-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115080903A (zh) * | 2022-06-01 | 2022-09-20 | 中国船舶重工集团公司第七0七研究所九江分部 | 一种基于智能优化算法的海上多目标多模态匹配融合方法 |
| CN115080903B (zh) * | 2022-06-01 | 2023-07-14 | 中国船舶重工集团公司第七0七研究所九江分部 | 一种基于智能优化算法的海上多目标多模态匹配融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114384509B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829386B (zh) | 基于多源信息融合的智能车辆可通行区域检测方法 | |
| CN114384920B (zh) | 一种基于局部栅格地图实时构建的动态避障方法 | |
| CN109556615B (zh) | 基于自动驾驶的多传感器融合认知的驾驶地图生成方法 | |
| CN111429514A (zh) | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 | |
| CN111680611B (zh) | 一种道路通过性检测方法、系统及设备 | |
| CN112668602A (zh) | 用于确定传感器的数据集的品质等级的方法、设备和机器可读的存储介质 | |
| CN113936139A (zh) | 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统 | |
| CN113850102B (zh) | 基于毫米波雷达辅助的车载视觉检测方法及系统 | |
| CN113084817B (zh) | 扰流环境下水下机器人的物体搜索及抓取控制方法 | |
| CN115662166B (zh) | 一种自动驾驶数据处理方法及自动驾驶交通系统 | |
| CN114332494A (zh) | 车路协同场景下基于多源融合的三维目标检测与识别方法 | |
| CN114384509B (zh) | 一种智能驾驶车辆数据支持的安全行驶决策生成方法 | |
| Yu et al. | Camera-radar data fusion for target detection via Kalman filter and Bayesian estimation | |
| Zobeidi et al. | Dense incremental metric-semantic mapping via sparse gaussian process regression | |
| Ebert et al. | Deep radar sensor models for accurate and robust object tracking | |
| CN114092778A (zh) | 基于表征学习的雷达摄像头数据融合系统及方法 | |
| CN113436239A (zh) | 一种基于深度信息估计的单目图像三维目标检测方法 | |
| CN113160280A (zh) | 一种基于激光雷达的动态多目标跟踪方法 | |
| CN115082561A (zh) | 一种路侧传感器的标定方法、装置、设备及介质 | |
| Wang et al. | An end-to-end auto-driving method based on 3D LiDAR | |
| CN116340876A (zh) | 一种局域多源数据融合的空间目标态势感知方法 | |
| CN115471526A (zh) | 基于多源异构信息融合的自动驾驶目标检测与跟踪方法 | |
| CN115373383A (zh) | 一种垃圾回收无人艇的自主避障方法、装置及相关设备 | |
| Rexin et al. | Fusion of object tracking and dynamic occupancy grid map | |
| Shang et al. | Calnet: Lidar-camera online calibration with channel attention and liquid time-constant network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |