CN114187464A - 复杂环境下激光雷达与视觉融合的多周期目标识别方法 - Google Patents

复杂环境下激光雷达与视觉融合的多周期目标识别方法 Download PDF

Info

Publication number
CN114187464A
CN114187464A CN202111381630.4A CN202111381630A CN114187464A CN 114187464 A CN114187464 A CN 114187464A CN 202111381630 A CN202111381630 A CN 202111381630A CN 114187464 A CN114187464 A CN 114187464A
Authority
CN
China
Prior art keywords
evidence
probability distribution
target
laser radar
distribution function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111381630.4A
Other languages
English (en)
Inventor
黄成�
黄洁雨
王力立
徐志良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202111381630.4A priority Critical patent/CN114187464A/zh
Publication of CN114187464A publication Critical patent/CN114187464A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种复杂环境下激光雷达与视觉融合的多周期目标识别方法，该方法为：激光雷达点云数据预处理提取特征；将单目摄像机采集到的图像与点云进行标定，为雷达点云数据加入RGB信息；计算目标隶属度，构建初步概率分配函数模型；根据证据间的皮尔逊相关系数计算证据体之间的相关性矩阵，进行归一化，计算出各证据体的可信度；利用可信度对各证据体的初步概率分配函数模型进行加权平均得到最终加权平均证据体，根据DS证据组合规则进行融合；将上一周期识别结果作为一个新的证据体，重新构建概率分配函数，重新计算证据体之间的相关性矩阵，多次迭代获得最终的融合结果。本发明概率分配合理、运算简单、计算量小，目标识别的准确度更高。

Description

复杂环境下激光雷达与视觉融合的多周期目标识别方法
技术领域
本发明涉及数据融合技术领域，特别是一种复杂环境下激光雷达与视觉融合的多周期目标识别方法。
背景技术
复杂环境背景下，单传感器无法准确获得目标的准确信息，多传感器数据融合可以利用异构传感器之间性能的互补，对目标的多个特征进行探测，提高目标识别的准确度。本发明采用激光雷达和单目摄像机进行数据融合，分别获得目标的形状、反射强度、点云数量等特征。DS证据理论算法由于其对于不确定信息的处理能力，常常用于多传感器目标识别领域，但当证据相冲突时，会产生错误的融合结果，因此本发明采用皮尔逊相关系数计算证据体之间的相关程度，从而计算证据的可信度，对原有证据体加权平均构建新的证据体，之后再进行DS证据理论规则组合。
概率分配函数的设置是DS证据理论算法中非常重要的一部分，直接影响目标的融合效果。然而，如何有效地解决复杂环境中不确定信息的建模和融合仍然是一个有待解决的问题。目前主要采用专家经验和先验知识来进行概率赋值，但在复杂环境背景下，随着环境的变化及噪声的影响，这种方法会引起较大的误差，还有一些文献提出通过数据的最大值、最小值和均值来构建三角模糊数模型从而计算概率分配函数，但最大值和最小值无法准确的反映目标数据的离散程度，本发明考虑到传感器识别误差大多服从正态分布，因此本发明在模糊集理论的基础上，提出根据正态分布的概率分配函数计算目标隶属度，从而构建目标的基本概率分配模型。
在复杂环境下，由于传感器故障或噪声干扰等原因，传感器构建的证据体之间会产生较为严重的冲突问题，这时单个周期的数据无法给出准确的识别结果，因此本发明引入多周期数据融合，将多个周期采集到的数据进行融合，提高识别的准确度，而且多周期数据融合可以解决由于目标密集引起数据关联错误从而导致目标识别错误的问题。
发明内容
本发明提供了一种复杂环境下激光雷达与视觉融合的多周期目标识别方法，该方法采用激光雷达和单目摄像机分别获得目标的多种特征值数据，同时引入历史周期信息，对数据进行融合计算，实现对目标的识别分类。
实现本发明目的的技术解决方案为：一种复杂环境下激光雷达与视觉融合的多周期目标识别方法，包括以下步骤：
步骤1、激光雷达点云数据预处理，平面分割去除背景，之后进行点云聚类，从而提取特征；
步骤2、将单目摄像机采集到的图像与点云进行标定，为激光雷达点云数据加入RGB信息；
步骤3、根据传感器探测到的数据特征信息计算目标隶属度，从而构建初步概率分配函数模型；
步骤4、根据证据间的皮尔逊相关系数计算证据体之间的相关性矩阵，进行归一化，计算出各证据体的可信度；
步骤5、利用可信度对n个证据体的初步概率分配函数模型进行加权平均，获得最终加权平均证据体，并根据DS证据组合规则进行融合；
步骤6、将上一周期识别结果作为一个新的证据体，重新构建概率分配函数，然后返回步骤4，重新进行多次迭代，获得最终的融合结果。
本发明与现有技术相比，其显著优点在于：(1)采用特征融合的方式将激光雷达和单目摄像机输出相结合，弥补了激光雷达点云稀疏及图像信息无深度心思的缺点；(2)采用正态分布的概率分配函数构建隶属度更加符合误差的实际分布情况，概率分配更为合理，运算简单，计算量小，而且避免了概率分配为0所导致的0置信问题；(3)通过皮尔逊相关系数构建证据体的可信度，皮尔逊相关系数可以很好的反映出两个证据体的相关性，然后进行可信度加权平均后进行DS规则组合，充分解决了DS证据理论中无法解决证据体冲突的问题；(4)引入了多周期数据融合的方法，充分利用历史识别信息，提高了目标识别的准确度。
附图说明
图1是激光雷达视觉多周期目标识别整体流程图。
图2是激光雷达与视觉传感器安装示意图。
具体实施方式
本发明复杂环境下激光雷达与视觉融合的多周期目标识别方法，该方法使用激光雷达与视觉传感器分别对目标进行检测，获得目标的多种特征值数据，采用正态分布的概率分配函数计算目标隶属度函数，从而构建初步的概率分配模型，同时将历史周期的识别结果作为一条新的证据体，结合证据间的皮尔逊相关系数对证据体进行加权修正，最后采用DS证据理论算法进行融合得到最终的融合结果。具体包括以下步骤：
步骤1、激光雷达点云数据预处理，平面分割去除背景，之后进行点云聚类，从而提取特征；
步骤2、将单目摄像机采集到的图像与点云进行标定，为激光雷达点云数据加入RGB信息；
步骤3、根据传感器探测到的数据特征信息计算目标隶属度，从而构建初步概率分配函数模型；
步骤4、根据证据间的皮尔逊相关系数计算证据体之间的相关性矩阵，进行归一化，计算出各证据体的可信度；
步骤5、利用可信度对n个证据体的初步概率分配函数模型进行加权平均，获得最终加权平均证据体，并根据DS证据组合规则进行融合；
步骤6、将上一周期识别结果作为一个新的证据体，重新构建概率分配函数，然后返回步骤4，重新进行多次迭代，获得最终的融合结果。
进一步地，步骤3中，根据传感器的探测到的数据特征信息计算目标隶属度，从而构建初步概率分配函数模型，具体为：
根据误差的实际分布情况，采用正态分布的概率分配函数计算目标隶属度；
设T＝{T1…Ti…Tm}为m个传感器测得的一组测试数据集，X＝{X1…Xk…Xn}为目标可能属于的类别集合，则测试目标T的第i个特性值Ti属于第k个目标类别Xk的隶属度
Figure BDA0003365832560000031
为：
Figure BDA0003365832560000032
其中
Figure BDA0003365832560000033
是第i个传感器测得的第k个目标类别Xk的数据均值，
Figure BDA0003365832560000034
是Xk数据的标准差；
计算出隶属度矩阵后，对隶属度进行归一化：
Figure BDA0003365832560000041
从而得到初步的证据体矩阵：
Figure BDA0003365832560000042
满足
Figure BDA0003365832560000043
则构建出初步概率分配函数模型。
进一步地，步骤4中，利用公式计算任意两个证据mi,mj间的皮尔逊相关系数ρij：
Figure BDA0003365832560000044
其中，cov表示变量间的协方差，
Figure BDA0003365832560000045
表示mi,mj的标准差，E为对变量的期望，ρij∈[-1,1]，将两个证据体之间相关性小于等于0的值设置为0.01，两个证据体的相关性sij表示为：
Figure BDA0003365832560000046
然后构建证据体的相关性矩阵，进行归一化计算出证据mi的可信度cred(mi)：
Figure BDA0003365832560000047
归一化：
Figure BDA0003365832560000048
其中
Figure BDA0003365832560000049
进一步地，步骤5中，利用可信度对n个证据体的初步概率分配函数模型进行加权平均，获得最终加权平均证据体
Figure BDA0003365832560000051
公式如下：
Figure BDA0003365832560000052
进一步地，步骤5中，根据DS证据组合规则进行融合，具体为：
对得到的加权平均证据体，采用经典DS证据理论算法进行数据融合：
Figure BDA0003365832560000053
其中，K为归一化常数，反映证据间的相似程度：
Figure BDA0003365832560000054
为便于技术人员理解，下面将结合附图和具体实施例对本发明中的技术方案进行清楚完整的描述，实施方式所提及的内容并非对本发明的限定。
本发明用于解决复杂环境下目标识别准确度不高的问题，充分地利用历史周期的信息，可提高识别目标的置信度，可充分提高复杂环境中目标识别的准确度，同时可以解决由于目标密集产生的目标识别错误的问题。
下面结合附图及具体实施例对本发明做进一步详细说明。
实施例
如图1～图2所示，本发明的复杂环境下激光雷达与视觉融合的多周期目标识别方法包括如下：
步骤1：接收激光雷达采集到的数据，随机一致采样法进行平面分割去除背景信息，再采用基于欧几里得算法对点云进行聚类，对每一个点云簇进行特征提取。
步骤2：获得单目摄像机的图像数据，然后与点云数据进行标定，将图像数据转换到点云，获得色彩的特征。
步骤3：根据训练数据得出目标不同类别各个特征均值及标准差，采用正态分布计算出测量目标的隶属度矩阵：
设T＝{T1…Ti…Tm}为一组测试数据，即对应测量值。则T的第i个特性属于目标Xk的隶属度为：
Figure BDA0003365832560000061
其中
Figure BDA0003365832560000062
是测得的Xk目标第i个特征的数据均值，
Figure BDA0003365832560000063
是Xk目标数据的标准差，计算出隶属度矩阵后，对隶属度进行归一化：
Figure BDA0003365832560000064
得到初步的证据体矩阵：
Figure BDA0003365832560000065
满足
Figure BDA0003365832560000066
步骤4：根据证据间皮尔逊相关系数计算出证据体支持度：
Figure BDA0003365832560000067
其中，cov表示变量间的协方差，
Figure BDA0003365832560000068
表示mi,mj的标准差，E为对变量的期望，ρij∈[-1,1]。
由于皮尔逊相关系数的变化范围为[-1,1]，因此为避免证据间负相关带来的可信度为负值的影响，将两个证据体之间相关性小于等于0的值设置为0.01，故两个证据体的相关性可表示为：
Figure BDA0003365832560000069
则构建证据之间的相关性矩阵如下：
Figure BDA00033658325600000610
根据下式进行归一化后计算出证据体可信度，其中
Figure BDA00033658325600000611
Figure BDA0003365832560000071
步骤5：利用修正过的证据体可信度对初步概率分配模型进行加权平均：
Figure BDA0003365832560000072
步骤6：将加权平均后的证据体进行DS规则融合：
Figure BDA0003365832560000073
其中，K为归一化常数，反映证据间的相似程度：
Figure BDA0003365832560000074
步骤7：将当前周期的融合结果作为一个新的证据体加入下一周期的概率分配函数，从而构建了一个包含多个证据体的概率分配模型，然后代入步骤4重新进行迭代，计算出最终融合结果。
以上所述仅为本发明的优选实施例，并不限制本发明，应当指出，对于本领域的技术人员而言，凡在本发明原理范围之内，所做的若干改进、修改等均应包含在本发明的保护范围内。

Claims (5)

1.一种复杂环境下激光雷达与视觉融合的多周期目标识别方法，其特征在于，包括以下步骤：
步骤1、激光雷达点云数据预处理，平面分割去除背景，之后进行点云聚类，从而提取特征；
步骤2、将单目摄像机采集到的图像与点云进行标定，为激光雷达点云数据加入RGB信息；
步骤3、根据传感器探测到的数据特征信息计算目标隶属度，从而构建初步概率分配函数模型；
步骤4、根据证据间的皮尔逊相关系数计算证据体之间的相关性矩阵，进行归一化，计算出各证据体的可信度；
步骤5、利用可信度对n个证据体的初步概率分配函数模型进行加权平均，获得最终加权平均证据体，并根据DS证据组合规则进行融合；
步骤6、将上一周期识别结果作为一个新的证据体，重新构建概率分配函数，然后返回步骤4，重新进行多次迭代，获得最终的融合结果。
2.根据权利要求1所述的复杂环境下激光雷达与视觉融合的多周期目标识别方法，其特征在于，步骤3中，根据传感器的探测到的数据特征信息计算目标隶属度，从而构建初步概率分配函数模型，具体为：
根据误差的实际分布情况，采用正态分布的概率分配函数计算目标隶属度；
设T＝{T1…Ti…Tm}为m个传感器测得的一组测试数据集，X＝{X1…Xk…Xn}为目标可能属于的类别集合，则测试目标T的第i个特性值Ti属于第k个目标类别Xk的隶属度
Figure FDA0003365832550000011
为：
Figure FDA0003365832550000012
其中
Figure FDA0003365832550000013
是第i个传感器测得的第k个目标类别Xk的数据均值，
Figure FDA0003365832550000014
是Xk数据的标准差；
计算出隶属度矩阵后，对隶属度进行归一化：
Figure FDA0003365832550000021
从而得到初步的证据体矩阵：
Figure FDA0003365832550000022
满足
Figure FDA0003365832550000023
则构建出初步概率分配函数模型。
3.根据权利要求2所述的复杂环境下激光雷达与视觉融合的多周期目标识别方法，其特征在于，步骤4中，利用公式计算任意两个证据mi,mj间的皮尔逊相关系数ρij：
Figure FDA0003365832550000024
其中，cov表示变量间的协方差，
Figure FDA0003365832550000025
表示mi,mj的标准差，E为对变量的期望，ρij∈[-1,1]，将两个证据体之间相关性小于等于0的值设置为0.01，两个证据体的相关性sij表示为：
Figure FDA0003365832550000026
然后构建证据体的相关性矩阵，进行归一化计算出证据mi的可信度cred(mi)：
Figure FDA0003365832550000027
归一化：
Figure FDA0003365832550000028
其中
Figure FDA0003365832550000029
4.根据权利要求3所述的复杂环境下激光雷达与视觉融合的多周期目标识别方法，其特征在于，步骤5中，利用可信度对n个证据体的初步概率分配函数模型进行加权平均，获得最终加权平均证据体
Figure FDA0003365832550000031
公式如下：
Figure FDA0003365832550000032
5.根据权利要求1所述的复杂环境下激光雷达与视觉融合的多周期目标识别方法，其特征在于，步骤5中，根据DS证据组合规则进行融合，具体为：
对得到的加权平均证据体，采用经典DS证据理论算法进行数据融合：
Figure FDA0003365832550000033
其中，K为归一化常数，反映证据间的相似程度：
Figure FDA0003365832550000034
CN202111381630.4A 2021-11-22 2021-11-22 复杂环境下激光雷达与视觉融合的多周期目标识别方法 Pending CN114187464A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111381630.4A CN114187464A (zh) 2021-11-22 2021-11-22 复杂环境下激光雷达与视觉融合的多周期目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111381630.4A CN114187464A (zh) 2021-11-22 2021-11-22 复杂环境下激光雷达与视觉融合的多周期目标识别方法

Publications (1)

Publication Number Publication Date
CN114187464A true CN114187464A (zh) 2022-03-15

Family

ID=80602256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111381630.4A Pending CN114187464A (zh) 2021-11-22 2021-11-22 复杂环境下激光雷达与视觉融合的多周期目标识别方法

Country Status (1)

Country Link
CN (1) CN114187464A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708478A (zh) * 2022-06-06 2022-07-05 季华实验室 事件相机与标准相机的数据融合方法、装置、设备及介质
CN116148801A (zh) * 2023-04-18 2023-05-23 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708478A (zh) * 2022-06-06 2022-07-05 季华实验室 事件相机与标准相机的数据融合方法、装置、设备及介质
CN114708478B (zh) * 2022-06-06 2022-09-02 季华实验室 事件相机与标准相机的数据融合方法、装置、设备及介质
CN116148801A (zh) * 2023-04-18 2023-05-23 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统

Similar Documents

Publication Publication Date Title
CN111913156B (zh) 基于深度学习模型与特征联合的雷达辐射源个体识别方法
CN112101278A (zh) 基于k近邻特征提取和深度学习的宅基地点云分类方法
CN114187464A (zh) 复杂环境下激光雷达与视觉融合的多周期目标识别方法
CN109919241B (zh) 基于概率模型和深度学习的高光谱未知类别目标检测方法
CN105787935B (zh) 一种基于Gamma分布的模糊聚类SAR图像分割方法
CN108447057B (zh) 基于显著性和深度卷积网络的sar图像变化检测方法
CN110109095B (zh) 目标特征辅助多源数据的关联方法
CN110533726B (zh) 一种激光雷达场景三维姿态点法向量估计修正方法
JP6892606B2 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN112200121A (zh) 基于evm和深度学习的高光谱未知目标检测方法
CN116612098B (zh) 一种基于图像处理的绝缘子rtv喷涂质量评价方法和装置
CN101794437A (zh) 一种高光谱遥感影像异常探测方法
CN111765883B (zh) 机器人蒙特卡罗定位方法、设备及存储介质
CN113487223A (zh) 一种基于信息融合的风险评估方法和评估系统
CN111368653B (zh) 一种基于r-d图与深度神经网络的低空小目标检测方法
CN113406623A (zh) 基于雷达高分辨距离像的目标识别方法、装置及介质
CN111127532B (zh) 基于深度学习特征光流的医学图像形变配准方法及系统
CN113065094A (zh) 一种基于累积前景价值和三支决策的态势评估方法与系统
CN116385866B (zh) 基于sar图像的铁路沿线彩钢房变化检测方法和装置
CN111325094A (zh) 一种基于高分辨距离像的舰船类型的识别方法及系统
CN111860359A (zh) 一种基于改进随机森林算法的点云分类方法
CN111598158A (zh) 一种基于ai分析技术的仓储库存状态感知方法
CN111080649A (zh) 一种基于黎曼流形空间的图像分割处理方法及系统
CN116188445A (zh) 一种产品表面缺陷的检测定位方法、装置及终端设备
CN112906519B (zh) 一种车辆类型识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination