CN112085101A - 一种高性能高可靠的环境融合感知方法及系统 - Google Patents
一种高性能高可靠的环境融合感知方法及系统 Download PDFInfo
- Publication number
- CN112085101A CN112085101A CN202010944096.2A CN202010944096A CN112085101A CN 112085101 A CN112085101 A CN 112085101A CN 202010944096 A CN202010944096 A CN 202010944096A CN 112085101 A CN112085101 A CN 112085101A
- Authority
- CN
- China
- Prior art keywords
- information
- deep learning
- module
- environment
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008447 perception Effects 0.000 claims abstract description 42
- 238000013135 deep learning Methods 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000013136 deep learning model Methods 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 25
- 238000005259 measurement Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 9
- 238000013461 design Methods 0.000 abstract description 4
- 238000007499 fusion processing Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006872 improvement Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006740 morphological transformation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种高性能高可靠的环境融合感知方法及系统，该方法及系统包含并行的底层安全模块与深度学习模块，其中底层安全模块中分割、聚类算法的设计是基于环境物理特征的，且其理论解释性强，能对出现的安全性问题做出及时、有效的调整，具有高可靠性的优点；深度学习模块准确性高、实时性好且输出信息丰富，具有高性能的优点。然后通过建立环境感知信息融合模块对二者输出的环境感知信息进行适当的融合处理，使得环境融合感知系统兼具深度学习模块的高性能和底层安全模块的高可靠性的同时，能够有效规避深度学习模块失效导致的感知系统失效问题。
Description
技术领域
本发明专利涉及智能网联运载装备领域，特别是关于一种高性能高可靠的环境融合感知方法及系统。
背景技术
智能网联运载装备系统的发展是解决交通安全事故频发的关键，环境感知系统作为智能网联运载装备系统的关键一环，其安全性和性能高低直接影响着后续的决策、规划以及控制系统的性能与可靠性。在智能网联运载装备技术蓬勃发展的今日，环境感知系统的安全性与性能问题仍是急需解决的关键点。
当前环境感知系统主要分为基于深度学习方法和基于环境物理特征方法两大类。以环境感知系统中的行人检测和车道线检测为例，申请号为CN201911309623.6的专利提出了一种基于深度学习的行人检测模型构建方法及行人检测方法，该方法首先利用特征提取网络从图像中提取特征图，然后利用多步预测的方式生成行人预测框，最后利用非极大值抑制策略过滤出最终的行人检测框。申请号为CN201910990078.5的专利提出了一种基于深度学习的车道线检测方法，该方法构建了一种深度神经网络模型，包括基干网络和车道线网络，利用基干网络对待识别图像进行处理，得到包含车道线的特征图；利用车道线网络对特征图进行处理，获取车道线的位置。以上两种基于深度学习的环境感知方法及系统具有高性能(准确性高、实时性好、输出信息丰富)的优点，但由于理论解释性不强，其安全性无法得到保障。申请号为CN201910006652.9的专利提出了一种基于HOG特征和线性SVM级联分类器的行人检测方法，该方法将行人分为站立、蹲下、弯腰三种不同的肢体动作，分别作为一种正样本数据集训练成相应的弱分类器，再将得到的三个弱分类器集成为一个强分类器，并将该级联结构的强分类器作为智能车行人检测模型的方法。申请号CN201611238713.7的专利提出了一种基于形态学变换和自适应阈值的快速车道线检测方法，该方法首先取图像下部包含车道线的部分作为感兴趣区域，其次将彩色感性区域变换为灰度感性区域，然后通过基于高斯分布模型的自适应阈值分割方法计算出阈值，对灰度图进行阈值分割得到二值图像，然后在进行形态学变换得到图像的边缘信息，最后采用改进的概率霍夫变换对车道线进行拟合。以上两种基于环境物理特征的环境感知方法及系统理论解释性强，能对出现的安全性问题做出及时、有效的调整，具有高可靠性，但往往由于其理论的局限性，性能(尤其是准确性、实时性、输出信息丰富度)难免会大打折扣。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种高性能高可靠的环境融合感知方法及系统，该方法及系统包含并行的底层安全模块与深度学习模块，其中底层安全模块中分割、聚类算法的设计是基于环境物理特征的，且其理论解释性强，能对出现的安全性问题做出及时、有效的调整，具有高可靠性的优点；深度学习模块准确性高、实时性好且输出信息丰富，具有高性能的优点。然后通过建立环境感知信息融合模块对二者输出的环境感知信息进行适当的融合处理，使得环境融合感知系统兼具深度学习模块的高性能和底层安全模块的高可靠性的同时，能够有效规避深度学习模块失效导致的感知系统失效问题。
为实现上述目的，本发明提供了如下技术方案：一种高性能高可靠的环境融合感知方法，包括如下步骤：
步骤1，输入摄像头、激光雷达多个传感器的原始数据并进行预处理；
步骤2，将预处理过后的传感器数据输入到底层安全模块进行处理；
步骤3，与此同时，将预处理过后的传感器数据输入到事先构建好的深度学习模块中进行并行处理；
步骤4，将底层安全模块与深度学习模块的输出信息输入到环境感知信息融合模块进行处理，得到环境融合感知系统的输出信息。
作为本发明的进一步改进，所述步骤1中，对摄像头、激光雷达多个传感器的原始数据进行的预处理包括噪声滤除、数据解析、坐标转换、故障诊断。
作为本发明的进一步改进，所述步骤2中传感器数据输入到底层安全模块进行处理的具体步骤如下：
步骤2.1，对输入的预处理过后的传感器数据进行地面分割处理，将其分割为地面数据和非地面数据；
步骤2.2，对非地面数据进行障碍物聚类，获得障碍物的位置和尺寸信息，对地面数据进行道路信息提取，获得道路边缘等车道信息；
步骤2.3，将并行处理得到的障碍物信息和车道信息进行匹配，并对障碍物进行跟踪与状态估计，进而得到可行驶区域及障碍物信息作为底层安全模块的输出信息。
作为本发明的进一步改进，所述步骤3中深度学习模块构建的具体步骤如下：
步骤3.1，输入事先采集好的训练数据集；
步骤3.2，设计深度学习模型，并使用训练集对其进行训练；
步骤3.3，输入事先采集好的对应应用场景的测试数据集；
步骤3.4，使用测试集对深度学习模型进行云端离线测试，并判断其是否预期标准，若达到标准，则对深度学习模型进行部署；若未达到标准，则丰富训练数据集并对深度学习模型进行进一步优化，并回到步骤3.1和步骤3.2；
步骤3.5，对部署好的深度学习模型进行实车在线测试，并判断其是否达到预期标准，若达到标准，则将深度学习模型投入到实际应用场景；若未达到标准，则丰富训练数据集并对深度学习模型进行进一步优化，同时丰富测试数据集，回到步骤3.3准备进行云端离线测试。
作为本发明的进一步改进，所述步骤4中环境感知信息融合模块处理的具体步骤如下：
步骤4.1，输入深度学习模块和底层安全模块的输出的障碍物信息和可行驶区域信息；
步骤4.2，分别对二者的障碍物信息和可行驶区域信息进行遍历，计算目标位置关联度并判断其是否大于设定阈值；
步骤4.3，若目标位置关联度不大于阈值，则直接将底层安全模块对应的目标信息作为环境融合感知系统的输出信息；若目标位置关联度大于阈值，则首先提取出深度学习模块的类别和预测信息，然后使用联邦滤波器对其余状态信息进行融合，再将类别、预测信息与融合后的信息合并，作为环境融合感知系统的输出信息。
作为本发明的进一步改进，所述步骤4.3中的联邦滤波器假设子滤波器和主滤波器的状态转移矩阵、过程噪声分布阵和过程噪声相同，考虑的线性模型如下式所示：
其中，Γt是过程噪声分布矩阵，
是系统的状态转移矩阵，且假设wt是均值为零的白噪声序列，进而假设有N个模块对系统进行量测且量测过程彼此独立，则量测方程如下式所示：
其中，
是第i个模块在t+1时刻的量测值，
是第i个模块在t+1时刻的量测矩阵，
是第i个模块在t+1时刻的量测噪声，假设
是独立于wt的均值为零的白噪声序列，假设
表示联邦滤波器的最优估计值和协方差阵；
表示第i个子滤波器的估计值和协方差阵i＝1,2,…,N；
表示主滤波器的估计值和协方差。
作为本发明的进一步改进，所述步骤4.3中的联邦滤波器以底层安全模块为参考系统，深度学习模块为子系统进行融合合并的具体步骤如下：
步骤4.3.1，首先在子滤波器和主滤波器之间分配系统的信息，系统的过程噪声方差信息
和状态估计误差协方差阵信息
的分配原则如下式所示：
其中β1,βm是信息分配系数，并满足信息分配原则：
β1+βm＝1,β1,βm>0
步骤4.3.2，在主滤波器和子滤波器中独立进行时间更新，滤波更新算法如下式所示：
步骤4.3.3，在子滤波器中进行量测更新，量测更新如下式所示：
其中
为t+1时刻量测噪声协方差矩阵的逆，用来表示量测方程的信息量；
步骤4.3.4，使用联邦滤波器将子滤波器与主滤波器融合，得到全局最优估计，信息融合如下式所示：
步骤4.3.5，按照信息分配原则重置子滤波器和主滤波器，分配方式如下式所示：
本发明另一方面提供了一种系统，包括深度学习模块、底层安全模块以及环境感知信息融合模块，所述深度学习模块、底层安全模块的输出端与环境感知信息融合模块的输入端相互通信连接，以运行搭载所述方法的程序。
本发明具有如下优点：1、本发明提出的环境感知系统继承了深度学习模块高性能(准确性高、鲁棒性强)的优点。2、与此同时，底层安全模块中分割、聚类算法的设计是基于环境物理特征的，且其理论解释性强，能对出现的安全性问题做出及时、有效的调整，这使得环境感知系统具有高可靠性。3、多传感器、多模型融合的环境感知信息冗余度高，这使得环境感知系统具有很强的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍：
图1为本发明实施例提供的环境融合感知方法及系统工作流程示意图；
图2为图1中底层安全模块处理的具体工作流程示意图；
图3为图2中非地面点云梯度计算示意图；
图4为图1中深度学习模块构建的具体工作流程示意图；
图5为图1中环境感知信息融合模块处理的具体工作流程示意图；
图6为图5中联邦滤波器的具体流程示意图。
具体实施方式
下面将结合附图所给出的实施例对本发明做进一步的详述。
本发明实施例为一种高性能高可靠的环境融合感知方法及系统，该方法及系统包含并行的底层安全模块与深度学习模块，其中底层安全模块中分割、聚类算法的设计是基于环境物理特征的，且其理论解释性强，能对出现的安全性问题做出及时、有效的调整，具有高可靠性的优点；深度学习模块准确性高、实时性好且输出信息丰富，具有高性能的优点。然后通过建立环境感知信息融合模块对二者输出的环境感知信息进行适当的融合处理，使得环境融合感知系统兼具深度学习模块的高性能和底层安全模块的高可靠性的同时，能够有效规避深度学习模块失效导致的感知系统失效问题。其工作流程示意图如图1所示，包括以下步骤：
步骤1，输入摄像头、激光雷达等多个传感器的原始数据并进行预处理；
步骤2，将预处理过后的传感器数据输入到底层安全模块进行处理；
步骤3，与此同时，将预处理过后的传感器数据输入到事先构建好的深度学习模块中进行并行处理；
步骤4，将底层安全模块与深度学习模块的输出信息输入到环境感知信息融合模块进行处理，得到环境融合感知系统的输出信息。
所述步骤1中，对摄像头、激光雷达等多个传感器的原始数据进行的预处理包括噪声滤除、数据解析、坐标转换、故障诊断。
所述步骤2中，底层安全模块进行处理的具体工作流程示意图如图2所示，具体步骤如下：
步骤2.1，对输入的预处理过后的传感器数据进行地面分割处理，将其分割为地面数据和非地面数据。底层安全模块中，根据物理特征定义准确地面信息和非地面信息，保证障碍物检测的准确性。以激光雷达点云数据为例，经过预处理后，点云数据矩阵化为深度图，计算点云之间的梯度特征，梯度计算公式如下所示：
α＝tan-1(||BC||,||AC||)
式中，||BC||为深度图中同一列相邻两点间的距离在Z轴方向的投影，||AC||为这两点间的距离在XOY平面的投影。若某点处α小于设定阈值，则判定其为地面点，反之则判定为非地面点即障碍物点；
步骤2.2，对非地面数据进行障碍物聚类，获得障碍物的位置和尺寸信息，对地面数据进行道路信息提取，获得道路边缘等车道信息，以激光雷达非地面点云数据聚类为例，如图3所示，O为激光雷达原点，OA、OB为激光线束，A、B为深度图中左右相邻的非地面点，H为B在OA线束上的投影，A、B间梯度计算公式如下所示：
β＝tan-1(||BH||,||AH||)
若β大于设定阈值，则判定A、B两点属于一类，反之则不属于一类；
步骤2.3，将并行处理得到的障碍物信息和车道信息进行匹配，并对障碍物进行跟踪与状态估计，进而得到可行驶区域及障碍物信息作为底层安全模块的输出信息。
所述步骤3中，深度学习模块构建的具体工作流程示意图如图4所示，具体步骤如下：
步骤3.1，输入事先采集好的训练数据集；
步骤3.2，设计深度学习模型，并使用训练集对其进行训练；
步骤3.3，输入事先采集好的对应应用场景的测试数据集；
步骤3.4，使用测试集对深度学习模型进行云端离线测试，并判断其是否预期标准，若达到标准，则对深度学习模型进行部署；若未达到标准，则丰富训练数据集并对深度学习模型进行进一步优化，并回到步骤3.1和步骤3.2；
步骤3.5，对部署好的深度学习模型进行实车在线测试，并判断其是否达到预期标准，若达到标准，则将深度学习模型投入到实际应用场景；若未达到标准，则丰富训练数据集并对深度学习模型进行进一步优化，同时丰富测试数据集，回到步骤3.3准备进行云端离线测试。
所述步骤4中，环境感知信息融合模块处理的具体工作流程示意图如图5所示，具体处理步骤如下：
步骤4.1，输入深度学习模块和底层安全模块的输出的障碍物信息和可行驶区域信息；
步骤4.2，分别对二者的障碍物信息和可行驶区域信息进行遍历，计算目标位置关联度并判断其是否大于设定阈值；
步骤4.3，若目标位置关联度不大于阈值，则直接将底层安全模块对应的目标信息作为环境融合感知系统的输出信息；若目标位置关联度大于阈值，则首先提取出深度学习模块的类别和预测信息，然后使用联邦滤波器对其余状态信息(尺寸、运动信息等)进行融合，再将类别、预测信息与融合后的信息合并，作为环境融合感知系统的输出信息。
所述步骤4.3中，联邦滤波器假设子滤波器和主滤波器的状态转移矩阵、过程噪声分布阵和过程噪声相同，考虑的线性模型如下式所示：
其中，Γt是过程噪声分布矩阵，
是系统的状态转移矩阵，且假设wt是均值为零的白噪声序列。
假设有N个模块对系统进行量测且量测过程彼此独立，则量测方程如下式所示：
其中，
是第i个模块在t+1时刻的量测值，
是第i个模块在t+1时刻的量测矩阵，
是第i个模块在t+1时刻的量测噪声，假设
是独立于wt的均值为零的白噪声序列。
假设
表示联邦滤波器(融合中心)的最优估计值和协方差阵；
表示第i个子滤波器的估计值和协方差阵i＝1,2,…,N；
表示主滤波器的估计值和协方差。
以底层安全模块为参考系统，深度学习模块为子系统，此时N＝1，联邦滤波器的具体流程示意图如图6所示，具体处理步骤如下：
步骤4.3.1，首先在子滤波器和主滤波器之间分配系统的信息，系统的过程噪声方差信息
和状态估计误差协方差阵信息
的分配原则如下式所示：
其中β1,βm是信息分配系数，并满足信息分配原则：
β1+βm＝1,β1,βm>0
步骤4.3.2，在主滤波器和子滤波器中独立进行时间更新，滤波更新算法如下式
步骤4.3.3，在子滤波器中进行量测更新，量测更新如下式所示：
其中
为t+1时刻量测噪声协方差矩阵的逆，用来表示量测方程的信息量；
步骤4.3.4，使用联邦滤波器将子滤波器与主滤波器融合，得到全局最优估计，信息融合如下式所示：
步骤4.3.5，按照信息分配原则重置子滤波器和主滤波器，分配方式如下式所示：
最后需要指出的是：以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种高性能高可靠的环境融合感知方法，其特征在于：包括如下步骤：
步骤1，输入摄像头、激光雷达多个传感器的原始数据并进行预处理；
步骤2，将预处理过后的传感器数据输入到底层安全模块进行处理；
步骤3，与此同时，将预处理过后的传感器数据输入到事先构建好的深度学习模块中进行并行处理；
步骤4，将底层安全模块与深度学习模块的输出信息输入到环境感知信息融合模块进行处理，得到环境融合感知系统的输出信息。
2.根据权利要求1所述的高性能高可靠的环境融合感知方法，其特征在于：所述步骤1中，对摄像头、激光雷达多个传感器的原始数据进行的预处理包括噪声滤除、数据解析、坐标转换、故障诊断。
3.根据权利要求2所述的高性能高可靠的环境融合感知方法，其特征在于：所述步骤2中传感器数据输入到底层安全模块进行处理的具体步骤如下：
步骤2.1，对输入的预处理过后的传感器数据进行地面分割处理，将其分割为地面数据和非地面数据；
步骤2.2，对非地面数据进行障碍物聚类，获得障碍物的位置和尺寸信息，对地面数据进行道路信息提取，获得道路边缘等车道信息；
步骤2.3，将并行处理得到的障碍物信息和车道信息进行匹配，并对障碍物进行跟踪与状态估计，进而得到可行驶区域及障碍物信息作为底层安全模块的输出信息。
4.根据权利要求3所述的高性能高可靠的环境融合感知方法，其特征在于：所述步骤3中深度学习模块构建的具体步骤如下：
步骤3.1，输入事先采集好的训练数据集；
步骤3.2，设计深度学习模型，并使用训练集对其进行训练；
步骤3.3，输入事先采集好的对应应用场景的测试数据集；
步骤3.4，使用测试集对深度学习模型进行云端离线测试，并判断其是否预期标准，若达到标准，则对深度学习模型进行部署；若未达到标准，则丰富训练数据集并对深度学习模型进行进一步优化，并回到步骤3.1和步骤3.2；
步骤3.5，对部署好的深度学习模型进行实车在线测试，并判断其是否达到预期标准，若达到标准，则将深度学习模型投入到实际应用场景；若未达到标准，则丰富训练数据集并对深度学习模型进行进一步优化，同时丰富测试数据集，回到步骤3.3准备进行云端离线测试。
5.根据权利要求4所述的高性能高可靠的环境融合感知方法，其特征在于：所述步骤4中环境感知信息融合模块处理的具体步骤如下：
步骤4.1，输入深度学习模块和底层安全模块的输出的障碍物信息和可行驶区域信息；
步骤4.2，分别对二者的障碍物信息和可行驶区域信息进行遍历，计算目标位置关联度并判断其是否大于设定阈值；
步骤4.3，若目标位置关联度不大于阈值，则直接将底层安全模块对应的目标信息作为环境融合感知系统的输出信息；若目标位置关联度大于阈值，则首先提取出深度学习模块的类别和预测信息，然后使用联邦滤波器对其余状态信息进行融合，再将类别、预测信息与融合后的信息合并，作为环境融合感知系统的输出信息。
6.根据权利要求5所述的高性能高可靠的环境融合感知方法，其特征在于：所述步骤4.3中的联邦滤波器假设子滤波器和主滤波器的状态转移矩阵、过程噪声分布阵和过程噪声相同，考虑的线性模型如下式所示：
其中，Γt是过程噪声分布矩阵，
是系统的状态转移矩阵，且假设wt是均值为零的白噪声序列，进而假设有N个模块对系统进行量测且量测过程彼此独立，则量测方程如下式所示：
其中，
是第i个模块在t+1时刻的量测值，
是第i个模块在t+1时刻的量测矩阵，
是第i个模块在t+1时刻的量测噪声，假设
是独立于wt的均值为零的白噪声序列，假设
表示联邦滤波器的最优估计值和协方差阵；
表示第i个子滤波器的估计值和协方差阵i＝1,2,…,N；
表示主滤波器的估计值和协方差。
7.根据权利要求6所述的高性能高可靠的环境融合感知方法，其特征在于：所述步骤4.3中的联邦滤波器以底层安全模块为参考系统，深度学习模块为子系统进行融合合并的具体步骤如下：
步骤4.3.1，首先在子滤波器和主滤波器之间分配系统的信息，系统的过程噪声方差信息
和状态估计误差协方差阵信息
的分配原则如下式所示：
其中β1,βm是信息分配系数，并满足信息分配原则：
β1+βm＝1,β1,βm>0
步骤4.3.2，在主滤波器和子滤波器中独立进行时间更新，滤波更新算法如下式
步骤4.3.3，在子滤波器中进行量测更新，量测更新如下式所示：
其中
为t+1时刻量测噪声协方差矩阵的逆，用来表示量测方程的信息量；步骤4.3.4，使用联邦滤波器将子滤波器与主滤波器融合，得到全局最优估计，信息融合如下式所示：
步骤4.3.5，按照信息分配原则重置子滤波器和主滤波器，分配方式如下式所示：
8.一种应用权利要求1至7任意一项所述方法的系统，其特征在于：包括深度学习模块、底层安全模块以及环境感知信息融合模块，所述深度学习模块、底层安全模块的输出端与环境感知信息融合模块的输入端相互通信连接，以运行搭载所述方法的程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010944096.2A CN112085101A (zh) | 2020-09-10 | 2020-09-10 | 一种高性能高可靠的环境融合感知方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010944096.2A CN112085101A (zh) | 2020-09-10 | 2020-09-10 | 一种高性能高可靠的环境融合感知方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112085101A true CN112085101A (zh) | 2020-12-15 |
Family
ID=73732282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010944096.2A Pending CN112085101A (zh) | 2020-09-10 | 2020-09-10 | 一种高性能高可靠的环境融合感知方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112085101A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112867022A (zh) * | 2020-12-25 | 2021-05-28 | 北京理工大学 | 一种基于融合无线网络的云边协同环境感知方法及系统 |
| CN112946603A (zh) * | 2021-03-08 | 2021-06-11 | 安徽乐道信息科技有限公司 | 一种基于激光雷达的道路养护检测系统及其检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246159A (zh) * | 2019-06-14 | 2019-09-17 | 湖南大学 | 基于视觉和雷达信息融合的3d目标运动分析方法 |
| US20190303725A1 (en) * | 2018-03-30 | 2019-10-03 | Fringefy Ltd. | Neural network training system |
| CN111352087A (zh) * | 2020-03-25 | 2020-06-30 | 电子科技大学 | 基于dbscan的被动mimo雷达多目标定位方法 |
| CN111401458A (zh) * | 2020-03-23 | 2020-07-10 | 清华大学 | 一种基于深度强化学习的多模型目标状态预测方法及系统 |
| CN111554088A (zh) * | 2020-04-13 | 2020-08-18 | 重庆邮电大学 | 一种多功能v2x智能路侧基站系统 |
-
2020
- 2020-09-10 CN CN202010944096.2A patent/CN112085101A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190303725A1 (en) * | 2018-03-30 | 2019-10-03 | Fringefy Ltd. | Neural network training system |
| CN110246159A (zh) * | 2019-06-14 | 2019-09-17 | 湖南大学 | 基于视觉和雷达信息融合的3d目标运动分析方法 |
| CN111401458A (zh) * | 2020-03-23 | 2020-07-10 | 清华大学 | 一种基于深度强化学习的多模型目标状态预测方法及系统 |
| CN111352087A (zh) * | 2020-03-25 | 2020-06-30 | 电子科技大学 | 基于dbscan的被动mimo雷达多目标定位方法 |
| CN111554088A (zh) * | 2020-04-13 | 2020-08-18 | 重庆邮电大学 | 一种多功能v2x智能路侧基站系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李东林 等: "露天矿山运输无人驾驶系统综述", 机车电传动, no. 02, 10 March 2019 (2019-03-10), pages 1 - 8 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112867022A (zh) * | 2020-12-25 | 2021-05-28 | 北京理工大学 | 一种基于融合无线网络的云边协同环境感知方法及系统 |
| CN112946603A (zh) * | 2021-03-08 | 2021-06-11 | 安徽乐道信息科技有限公司 | 一种基于激光雷达的道路养护检测系统及其检测方法 |
| CN112946603B (zh) * | 2021-03-08 | 2024-03-26 | 安徽乐道智能科技有限公司 | 一种基于激光雷达的道路养护检测系统及其检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| CN111626217B (zh) | 一种基于二维图片和三维点云融合的目标检测和追踪方法 | |
| CN112396650B (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
| CN108983219B (zh) | 一种交通场景的图像信息和雷达信息的融合方法及系统 | |
| EP2574958B1 (en) | Road-terrain detection method and system for driver assistance systems | |
| CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
| CN114842438B (zh) | 用于自动驾驶汽车的地形检测方法、系统及可读存储介质 | |
| CN111179300A (zh) | 障碍物检测的方法、装置、系统、设备以及存储介质 | |
| CN108230254A (zh) | 一种自适应场景切换的高速交通全车道线自动检测方法 | |
| CN113409252B (zh) | 一种架空输电线路巡检机器人障碍物检测方法 | |
| CN112740225B (zh) | 一种路面要素确定方法及装置 | |
| CN112666553B (zh) | 一种基于毫米波雷达的道路积水识别方法及设备 | |
| CN111259796A (zh) | 一种基于图像几何特征的车道线检测方法 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN112084835A (zh) | 基于航拍数据和遥测数据生成地图特征 | |
| CN112085101A (zh) | 一种高性能高可靠的环境融合感知方法及系统 | |
| CN111832411B (zh) | 一种基于视觉与激光雷达融合的轨道内障碍物检测方法 | |
| CN115034324A (zh) | 一种多传感器融合感知效能增强方法 | |
| CN113449650A (zh) | 一种车道线检测系统及方法 | |
| CN116109986A (zh) | 一种基于激光雷达和视频技术互补的车辆轨迹提取方法 | |
| CN117589167A (zh) | 一种基于三维点云模型的无人机巡检航线规划方法 | |
| CN114462578A (zh) | 一种提高短临降水预报精度的方法 | |
| Liu et al. | Research on security of key algorithms in intelligent driving system | |
| CN112529011A (zh) | 目标检测方法及相关装置 | |
| CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |