CN110796194A - 一种用于多传感器信息的目标检测结果融合判定方法 - Google Patents

Abstract

本发明属于多传感器信息融合领域，公开了一种用于多传感器信息的目标检测结果融合判定方法，目的是对多传感器多目标信息进行目标检测决策层级融合。技术方案是针对多种传感器图片信息进行目标检测，检测结果中包括目标区域坐标集合及各类别得分集合。基于识别结果构建证据识别框架并对焦元集合进行融合，同时对焦元的基本置信度进行重新指派。基于目标区域坐标集合进行多目标IOU(交并比)交叉求解，得到匹配目标索引。对匹配目标进行基于DS证据理论的加权证据融合，得到最终的融合证据，并根据置信度进行合理的决策判定，最终实现对不同焦元证据及多目标的融合。

Description

一种用于多传感器信息的目标检测结果融合判定方法

技术领域

本发明属于多传感器信息融合领域，涉及多传感器信息多目标融合判定方法，尤其是多传感器信息中目标检测决策层级融合判定方法。

背景技术

目前用来捕获信息的工具主要是传感器，其作用类似于人的视觉、听觉、嗅觉、触觉等。通过对多个同类的传感器或多个异类传感器进行综合处理来获得相应的融合信息，能够比单一使用某一传感器获得的信息更丰富、更准确、更可靠。多传感器融合技术的最大特点是能够对多个同类或异类的传感器所提供的信息进行有效融合，利用融合后的信息能够有效的对目标进行判决，克服了单一传感器存在盲区的缺陷。由于多传感器信息融合技术存在着巨大的优势和潜力，使其逐步在军事、民用、管理、工业等领域发挥了巨大作用，并且该技术具有对不同类型信息进行融合的能力，使一系列新型学科间的交叉成为可能，多传感器信息融合技术已经逐步发展成为新型的现代信息处理模式。

在多传感器信息融合系统中，目标识别融合方法主要是指在对目标进行识别时，将多传感器采集的信息根据目标识别融合的层次结构，对信息进行综合处理，最终实现融合所采用的方法。基于多传感器技术的融合方法能够克服单一传感器的缺陷，充分利用了各类传感器的性能优势，提高目标识别准确性，降低信息的不确定性。但目标识别融合问题本身至今未形成有效的广义融合模型和方法，不少研究人员根据各自的具体应用背景，提出了许多比较成熟的融合方法，利用DS证据理论进行目标识别融合是一种常用的目标融合方法，证据理论推理方法最大的特点和优点是能够有效的描述不确定信息，通过信任函数和似然函数将证据区间分为支持区间、信任区间和拒绝区间，以此来对信息的不确定和未知进行表达。在量测数据提供的证据相差不大的情况下，证据合成公式能够有效的对量测数据进行融合，获得更加准确的判决结果。然而在多目标识别应用场景中，需要对场景中多个目标进行快速有效的融合，现有的这些方法，包括基于DS证据理论推理算法，主要是针对多传感器中单一目标识别结果的融合，该目标需处在同一个识别框架下。因此，在多目标识别场景中，如何构建快速有效的多目标信息融合方法是一个需解决的问题。

发明内容

本发明要解决的技术问题是：针对多传感器多目标信息融合的问题，提出一种用于多传感器信息的目标检测结果融合判定方法，本发法基于深度学习神经网络和DS证据理论，实现了目标检测决策层级融合判定，能有效的针对不同识别框架、多个目标的识别结果进行融合。

本发明的技术方案是：

一种用于多传感器信息的目标检测结果融合判定方法，包括以下步骤：

第一步，针对N种传感器图片，构建对应深度学习神经网络目标检测算法模型及数据集，分别对其进行目标检测，其中，每种传感器目标检测结果中包括目标区域坐标集合{B_i1,B_i2,...,B_iL}及各类别得分集合{S_i1,S_i2,...,S_iL}，1≤i≤N，B_ij表示第i张传感器图片中第j个目标的区域坐标，S_ij表示第i张图片第j个目标的各类别得分，1≤j≤L，L为该图片的识别目标数。

第二步，基于识别结果构建证据识别框架并进行基本置信度指派，具体步骤如下：

(1)基于第一步每种传感器目标检测结果构建证据识别框架Θ_i；

(2)将某类别为真的命题作为该识别框架的单元素焦元A_j，各类别得分S_ij作为该识别框架的基本概率分配值；

(3)对识别框架的不同焦元集合进行融合求并，并根据统一后的基本概率赋值函数m对焦元的基本置信度进行重新指派。

第三步，选取两个传感器图片目标检测结果的目标区域坐标集合B₁和B₂，进行多目标IOU(交并比)交叉求解，得到匹配目标的索引，具体步骤如下：

(1)遍历B₁和B₂，根据目标区域坐标求出IOU；

(2)设置IOU匹配阈值T，当IOU>T时，认为这两个目标匹配成功；

(3)返回匹配目标的索引I₁和I₂；

第四步，对匹配目标进行基于DS证据理论的加权证据融合，具体步骤如下：

(1)根据匹配目标的索引找出对应的基本概率赋值函数m₁和m₂；

(2)根据具体应用场景实际环境变量的输入，基于DS证据理论给每一个证据动态分配权值，以作为该证据的可信度Crd_i，基于该可信度，对证据作加权平均，获取加权平均证据基本概率赋值函数m＝(m(A₁),m(A₂),...,m(A_L))，其中

m(A_j)表示加权平均后证据的第j个焦元的基本概率赋值，m_i(A_j)表示第i个证据第j个焦元的基本概率赋值，1≤j≤L；

(3)对加权平均证据基本概率赋值函数m利用Dempster组合规则进行自组合，其中，D-S组合公式为：

其中A_j，B_j，C为该识别框架的单元素焦元，1≤i,j≤L；

(4)得到融合后的概率集合S₁₂；

第五步，根据匹配目标索引得到B₁和B₂的并集B₁₂；

第六步，根据S₁₂和B₁₂，继续从目标检测结果集合中选取Si、Bi(3≤i≤N)，并重复第三步至第六步，直到递归至N；

第七步，得到最终的融合证据，并根据置信度进行决策判定，其中，最大化置信度选择输出置信度最大的类别。

与现有技术相比，本发明具有以下技术优点：

1.本发明首先对识别框架的焦元集合进行融合，并对焦元的基本置信度进行重新指派，实现了对不同焦元识别框架的证据进行有效的融合，克服了传统融合方法只针对相同焦元识别框架的证据进行融合的缺点；

2.本发明通过求解IOU进行证据间的目标匹配，根据匹配结果实现多目标的高效融合，实现了对多目标识别结果的精确融合；

3.本发明采用深度学习神经网络及加权平均的证据理论进行信息融合，有效的解决了证据理论中基本置信度指派难以及证据理论难以融合高冲突证据的问题。

附图说明

图1是本发明实现多传感器信息多目标融合判定方法结构框图；

图2是本发明目标区域组合模块流程图；

图3是本发明置信度融合模块流程图。

具体实施方式

附图仅用于说明本发明，不能理解为对本专利的限制；下面结合附图对本发明的技术方案做进一步的说明。

图1是本发明实现多传感器信息目标检测结果融合判定方法结构框图。基本流程如下：

第一步，针对N种传感器图片，构建对应深度学习神经网络目标检测算法模型及数据集，分别对其进行目标检测，其中，每种传感器目标检测结果中包括目标区域集合{B_i1,B_i2,...,B_iL}及各类别得分集合{S_i1,S_i2,...,S_iL}，1≤i≤N，B_ij表示第i张传感器图片中第j个目标的区域坐标，S_ij表示第i张图片第j个目标的各类别得分，1≤j≤L，L为该图片的识别目标数。

第二步，基于识别结果构建证据识别框架并进行基本置信度指派，具体步骤如下：

(1)基于第一步每种传感器目标检测结果构建证据识别框架Θ_i；

(2)将某类别为真的命题作为该识别框架的单元素焦元A_j，各类别得分S_ij作为该识别框架的基本概率分配值；

(3)对识别框架的不同焦元集合进行融合求并，并根据统一后的基本概率赋值函数m对焦元的基本置信度进行重新指派。

第三步，选取两个传感器图片目标检测结果的目标区域坐标集合B₁和B₂，进行多目标IOU(交并比)交叉求解，得到匹配目标的索引，具体步骤如下：

(1)遍历B₁和B₂，根据目标区域坐标求出IOU；

(2)设置IOU匹配阈值T，当IOU>T时，认为这两个目标匹配成功；

(3)返回匹配目标的索引I₁和I₂；

第四步，对匹配目标进行基于DS证据理论的加权证据融合，具体步骤如下：

(1)根据匹配目标的索引找出对应的基本概率赋值函数m₁和m₂；

(2)根据具体应用场景实际环境变量的输入，基于DS证据理论给每一个证据动态分配权值，以作为该证据的可信度Crd_i，基于该可信度，对证据作加权平均，获取加权平均证据基本概率赋值函数m＝(m(A₁),m(A₂),...,m(A_L))，其中

m(A_j)表示加权平均后证据的第j个焦元的基本概率赋值，m_i(A_j)表示第i个证据第j个焦元的基本概率赋值，1≤j≤L；

(3)对加权平均证据基本概率赋值函数m利用Dempster组合规则进行自组合，其中，D-S组合公式为：

其中

A_j，B_j，C为该识别框架的单元素焦元，1≤i,j≤L；

(4)得到融合后的概率集合S₁₂；

第五步，根据匹配目标索引得到B₁和B₂的并集B₁₂；

第六步，根据S₁₂和B₁₂，继续从目标检测结果集合中选取Si、Bi(3≤i≤N)，并重复第三步至第六步，直到递归至N；

第七步，得到最终的融合证据，并根据置信度进行决策判定，其中，最大化置信度选择输出置信度最大的类别。

图2是本发明目标区域组合模块流程图，首先选取两个传感器目标检测结果的目标区域坐标集合B₁和B₂，遍历B₁和B₂，根据目标区域坐标求出IOU。设置IOU匹配阈值T，当IOU>T时，认为这两个目标匹配成功。返回匹配目标的索引，匹配目标索引得到B₁和B₂的并集B₁₂。将B₁₂与B_i(3≤i≤N)继续进行上述操作，直至i＝N。输出最终的目标区域集合。

图3是本发明置信度融合模块流程图，基于目标区域模块输出的匹配目标索引，根据匹配目标的索引找出对应的基本概率赋值函数m₁和m₂。根据具体应用场景实际环境变量的输入，基于DS证据理论给每一个证据动态分配权值，以作为该证据的可信度Crd_i，基于该可信度，对证据作加权平均，获取加权平均证据基本概率赋值函数m＝(m(A₁),m(A₂),...,m(A_L))，其中

1≤j≤L。对加权平均证据m利用Dempster组合规则进行自组合。得到融合后的概率集合S₁₂。将S₁₂与Si(3≤i≤N)继续进行上述操作，直至i＝N。输出最终的置信度融合结果。

上述说明描述了本发明应用的实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是其他实施例的排除，而可用于各种其他组合、修改和环境，并能在本文所述发明构想范围内，通过上述教导或相关领域的技术进行改动。而本领域人员所进行的改动和变化不脱离发明的精神和范围，则都应在发明所附权利要求的保护范围内。

Claims (1)

1.一种用于多传感器信息的目标检测结果融合判定方法，其特征在于，包括以下步骤：

第一步，针对N种传感器图片，构建对应深度学习神经网络目标检测算法模型及数据集，分别对其进行目标检测，其中，每种传感器目标检测结果中包括目标区域坐标集合{B_i1,B_i2,...,B_iL}及各类别得分集合{S_i1,S_i2,...,S_iL}，1≤i≤N，B_ij表示第i张传感器图片中第j个目标的区域坐标，S_ij表示第i张图片第j个目标的各类别得分，1≤j≤L，L为该图片的识别目标数。

第二步，基于识别结果构建证据识别框架并进行基本置信度指派，具体步骤如下：

(1)基于第一步每种传感器目标检测结果构建证据识别框架Θ_i；

(2)将某类别为真的命题作为该识别框架的单元素焦元A_j，各类别得分S_ij作为该识别框架的基本概率分配值；

(3)对识别框架的不同焦元集合进行融合求并，并根据统一后的基本概率赋值函数m对焦元的基本置信度进行重新指派。

第三步，选取两个传感器图片目标检测结果的目标区域坐标集合B₁和B₂，进行多目标IOU(交并比)交叉求解，得到匹配目标的索引，具体步骤如下：

(1)遍历B₁和B₂，根据目标区域坐标求出IOU；

(2)设置IOU匹配阈值T，当IOU>T时，认为这两个目标匹配成功；

(3)返回匹配目标的索引I₁和I₂；

第四步，对匹配目标进行基于DS证据理论的加权证据融合，具体步骤如下：

(1)根据匹配目标的索引找出对应的基本概率赋值函数m₁和m₂；

(2)根据具体应用场景实际环境变量的输入，基于DS证据理论给每一个证据动态分配权值，以作为该证据的可信度Crd_i，基于该可信度，对证据作加权平均，获取加权平均证据基本概率赋值函数m＝(m(A₁),m(A₂),...,m(A_L))，其中

m(A_j)表示加权平均后证据的第j个焦元的基本概率赋值，m_i(A_j)表示第i个证据第j个焦元的基本概率赋值，1≤j≤L；

(3)对加权平均证据基本概率赋值函数m利用Dempster组合规则进行自组合，其中，D-S组合公式为：

其中

A_j，B_j，C为该识别框架的单元素焦元，1≤i,j≤L；

(4)得到融合后的概率集合S₁₂；

第五步，根据匹配目标索引得到B₁和B₂的并集B₁₂；

第六步，根据S₁₂和B₁₂，继续从目标检测结果集合中选取Si、Bi(3≤i≤N)，并重复第三步至第六步，直到递归至N；

第七步，得到最终的融合证据，并根据置信度进行决策判定，其中，最大化置信度选择输出置信度最大的类别。

Images