CN103793606A - 多源传感器目标综合识别系统性能评估方法 - Google Patents

多源传感器目标综合识别系统性能评估方法 Download PDF

Info

Publication number
CN103793606A
CN103793606A CN201410040712.6A CN201410040712A CN103793606A CN 103793606 A CN103793606 A CN 103793606A CN 201410040712 A CN201410040712 A CN 201410040712A CN 103793606 A CN103793606 A CN 103793606A
Authority
CN
China
Prior art keywords
target
index
rate
identification
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410040712.6A
Other languages
English (en)
Inventor
王连亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 10 Research Institute
Original Assignee
CETC 10 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 10 Research Institute filed Critical CETC 10 Research Institute
Priority to CN201410040712.6A priority Critical patent/CN103793606A/zh
Publication of CN103793606A publication Critical patent/CN103793606A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提出的一种多源传感器目标综合识别系统性能评估方法,旨在提供能够对多源异类传感器综合识别系统的识别性能有效、合理、全面评估的方法。并通过如下技术方案予以实现:性能评估计算机接收目标想定计算机、多源传感器系统与综合识别系统分别发送目标想定数据、目标多源传感器数据和目标综合识别数据,将这些数据存储到接收数据缓存队列中,选择综合识别系统性能评估指标集库中相应评估需求所需的评估指标,从接收数据缓存队列中取出接收的数据,按照评估指标定义与计算流程计算指标值,针对不同评估需求选择评估指标,对目标态势目标信息的冗余程度进行对比评估,将综合识别系统数据融合的关联结果、识别结果和识别态势在显示界面上进行显示。

Description

多源传感器目标综合识别系统性能评估方法
技术领域
本发明涉及多源传感器目标综合识别系统性能评估方法。
背景技术
近年来,多传感器数据融合技术受到了广泛的关注,它是对多源信息进行处理的一门综合性学科。异类多传感器系统是一个由不同类型的传感器组成的网络。异类多传感器数据融合系统由多源异类信息所构成的目标特征空间结构,异类多传感器所获信息在形式上具有多样性和复杂性。综合利用多源异类传感器对目标进行探测识别是目标识别系统的一种发展趋势。通过对多种类型传感器的集成,最大化利用了各传感器对目标的识别优势,扬长补短,从而提升对目标的识别能力。综合识别系统能力评估是评价综合识别系统的识别能力是否达到预期设计要求的有效方式,是开展新任务论证、项目评价、能力展示等任务的重要途径。为解决由测向测时差无源被动传感器与主动传感器组网探测时异类多传感器系统误差估计问题,《西南交通大学学报》2011年04期,宋强、何友、熊伟提出了一种异类多传感器系统误差融合估计算法。该方法通过对主被动传感器进行组合并构建异类传感器系统误差量测模型,实现各组合传感器系统误差的实时估计;通过建立多传感器融合估计结构,对多传感器系统误差的组合估计信息进行融合并反馈,获得了各传感器系统误差的全局融合估计。
目前对综合识别系统性能评估的方法,可以概括为三类:识别算法评估、目标属性识别评估。识别算法评估主要通过利用算法的ROC曲线,对不同算法进行比较;目标属性识别评估方法主要利用目标正确识别概率、目标错误识别概率、目标未识率指标进行评估,并且也主要对某单一识别源进行评估。由于这些方法所用指标较少,不同的识别源的评估方式不统一造成的评估结果不具有可比性等因素,这些评估方法均不能满足综合识别系统的能力论证需求,需要建立一种针对综合识别系统的完整的评估体系。
发明内容
本发明的任务是提供一种可对多源传感器目标综合识别系统进行全面评估,可将数据融合的关联结果、识别结果以及识别态势进行同时显示的多源传感器目标综合识别系统性能评估方法,以实现对多源异类传感器综合识别系统的识别性能进行有效、合理、全面地评估。
本发明解决现有技术问题所采用的方案是:一种多源传感器目标综合识别系统性能评估方法,具有如下技术特征:在目标想定计算机、多源传感器系统、综合识别系统性能评估计算机和多源传感器系统构成的多源传感器目标综合识别系统中,多源传感器系统通过网络交换机与性能评估计算机交互数据;安装有性能评估软件的性能评估计算机在目标想定计算机、多源传感器系统的配合下,按照性能评估工作流程对多源传感器目标综合识别系统的处理性能进行评估;性能评估计算机接收目标想定计算机、多源传感器系统与综合识别系统分别发送的目标想定数据、目标多源传感器数据和目标综合识别数据,将这些数据存储到接收数据缓存队列中,并在性能评估软件的基本指标集中设置“态势相关度”指标和“绝对识别概率”指标;选择综合识别系统性能评估指标集库中相应评估需求所需的评估指标,从接收数据缓存队列中取出接收的数据,根据选择出的评估指标,按照评估指标定义与计算流程计算指标值,性能评估软件在多源传感器系统或综合识别系统给定的目标观测集合、关联率指标和绝对识别率指标中,针对不同评估需求选择评估指标,对同一识别对象集合下的多源传感器系统与综合识别系统的评估需求和目标识别能力,以及分别形成的目标态势目标信息的冗余程度进行对比评估,将综合识别系统数据融合的关联率指标计算出的关联结果、识别率指标的评估计算识别结果以及识别态势在显示界面上进行显示。
本发明相比于现有技术具有如下有益效果。
本发明通过在性能评估软件所涉及的基本指标集中设置“态势相关度”指标,实现了可对综合识别系统的数据融合必要性与处理效果进行论证;通过在性能评估软件所涉及的基本指标集中设置“绝对识别概率”指标,实现了针对同一识别对象集合下的多源传感器系统与综合识别系统分别形成的目标态势的识别概率评估,从而可以对多源传感器系统与综合识别系统的目标识别能力进行对比;在性能评估软件所涉及的派生指标集,由于增加了目标对象、作用距离等不同的、更加细化的约束条件,使得各种指标的描述更加具体,从而对综合识别系统的处理性能评估会更加细致与全面;在性能评估软件中采用一体化图形可视化显示方法对综合识别系统的目标关联与识别评估数据进行显示,可将综合识别系统数据融合的关联结果、识别结果以及识别态势在显示界面上进行同时显示,从而在有限大小的显示界面中最大化地显示了目标处理数据。
附图说明
为了更清楚地理解本发明,现将通过本发明实施例,同时参照附图,来描述本发明,其中:
图1是本发明多源传感器目标综合识别系统性能评估系统工作原理图。
图2是本发明多源传感器综合识别系统性能评估软件的工作流程图。
图3是本发明性能评估软件所涉及的综合识别系统数据融合关联率指标计算流程图。
图4是本发明性能评估软件所涉及的综合识别系统数据融合关联处理中,确定融合关联是否正确的流程图。
图5是本发明性能评估软件所涉及的综合识别系统识别率指标计算流程图。
图6是本发明性能评估软件所涉及的综合识别系统识别率指标计算方法中,确定目标识别属性是否正确的流程图。
具体实施方式
参阅图1、图2。在以下描述的实施例中,图1所示的整个流程完成了对多源传感器综合目标识别系统的性能评估,图2所示的整个流程完成了对多源传感器综合目标识别系统的性能评估软件的实现方法。多源传感器目标综合识别系统性能评估系统包括:性能评估计算机相连的目标想定计算机、多源传感器系统、综合识别系统。性能评估计算机中的性能评估软件汇集实时接入目标想定计算机、多源传感器系统、综合识别系统分别发送的目标想定数据、目标多源传感器数据、目标综合识别数据等数据,根据多源传感器综合识别系统性能评估流程对综合识别系统性能进行评估。安装有性能评估软件的性能评估计算机在目标想定计算机、多源传感器系统的配合下,按照性能评估工作流程对多源传感器目标综合识别系统的处理性能进行评估;性能评估计算机接收目标想定计算机、多源传感器系统与综合识别系统分别发送的目标想定数据、目标多源传感器数据和目标综合识别数据,将这些数据存储到接收数据缓存队列中,并在性能评估软件的基本指标集中设置“态势相关度”指标和“绝对识别概率”指标;选择综合识别系统性能评估指标集库中相应评估需求所需的评估指标,从接收数据缓存队列中取出接收的数据,根据选择出的评估指标,按照评估指标定义与计算流程计算指标值,性能评估软件在多源传感器系统或综合识别系统给定的目标观测集合、关联率指标和绝对识别率指标中,针对不同评估需求选择评估指标,对同一识别对象集合下的多源传感器系统与综合识别系统的评估需求和目标识别能力,以及分别形成的目标态势目标信息的冗余程度进行对比评估,将综合识别系统数据融合的关联率指标计算出的关联结果、识别率指标的评估计算识别结果以及识别态势在显示界面上进行显示。
多源传感器目标综合识别系统性能评估系统包括:目标想定计算机、综合识别系统、性能评估计算机和多源传感器系统,其中,目标想定计算机、多源传感器系统、综合识别系统相连于性能评估计算机,多源传感器系统相连在目标想定计算机与综合识别系统之间,并通过网络交换机与性能评估计算机交互数据。性能评估计算机安装有性能评估软件,性能评估软件含有综合识别系统性能评估指标集,所述性能评估指标集包括基本指标集与派生指标集两部分。基本指标集由目标态势信息质量类指标和融合处理能力类指标构成,其中,目标态势信息质量类指标包括态势相关度、目标探测率、目标虚警率、目标漏警率、目标探测周期、目标探测距离、相对正确识别率、相对错误识别率、相对未识别率、绝对正确识别率、绝对错误识别率、绝对未识别率、识别准确度等指标;融合处理能力类指标包括正确关联率、错误关联率、漏关联率、融合处理时间、融合处理目标数等指标;派生指标集是通过对基本指标集中的指标实施不同的条件约束派生的,派生指标集的派生条件包括:传感器组合约束条件、识别目标对象约束条件、时空约束条件、识别属性约束条件、置信度约束条件等。
性能评估软件所涉及的基本指标集中的态势相关度、关联率、绝对识别率指标的定义如下,其它基本指标的定义参见相关文献,这里不再赘述。
性能评估软件针对不同评估需求所选择的评估指标为综合识别系统的评估需求,主要包括:融合处理前后态势相关度对比评估需要的指标、融合处理能力评估需要的指标、与现役识别装备识别能力对比评估需求的指标与目标识别准确度评估需要的指标,其中,融合处理前后态势相关度对比评估需要的指标包括目标冗余度指标;融合处理能力评估需要的指标包括不同传感器组合约束条件下的融合处理能力类指标;与现役识别装备识别能力对比评估需求的指标包括由不同的传感器组合约束条件、识别目标对象约束条件、时空约束条件下的目标态势信息质量类指标以及由不同的识别属性约束条件、置信度约束条件下的绝对正确识别率、绝对错误识别率、绝对未识别率指标;目标识别准确度评估需要的指标包括不同的传感器组合约束条件、识别目标对象约束条件、识别属性约束条件下的识别准确度指标。
1)态势相关度定义
在多源传感器系统或综合识别系统给定的目标观测集合中,衡量不同目标观测来源于同一真实目标的重复程度。假设由N个目标观测构成的目标观测集合S={s1,s2,…,ss},其所有目标观测对应的真实目标所构成的集合为T={t1,t2,...,tM},即:对于
Figure BDA0000463161420000041
集合S与T均满足【条件1】与【条件2】:
【条件1】对于
Figure BDA0000463161420000042
对应的真实目标为tj,则tj∈T;
【条件2】对于
Figure BDA0000463161420000043
则日si∈S,使得si对应的真实目标为tj
假设每个真实目标tj∈T在集合S中对应的目标观测数为nj,则集合S的态势相关度为
Figure BDA0000463161420000045
α = 1 - M Σ j = 1 M n j × 100 %
由于nj≥1,M≥l,则O≤α,l。
式中:
α:态势相关度,在[0,1)区间取值;
M:目标观测集合S对应的真实目标个数;
..nj:真实目标集合T中的第j个真实目标。
2)关联率指标定义
关联率指标包括正确关联率、错误关联率和漏关联率。关联率指标反映了综合识别系统中所涉及的数据融合处理能力,在被考察的综合识别系统输出的融合目标集合中,被综合识别系统正确关联的融合目标所占的比率称为正确关联率;相应地,被综合识别系统漏关联的融合目标所占的百分比称为漏关联率;被综合识别系统错误关联的融合目标所占的百分比称为错误关联率。正确关联率
Figure BDA0000463161420000051
漏关联率与错误关联率
Figure BDA0000463161420000053
的计算公式分别如下:
P Ass c = N Ass c N Ass × 100 %
P Ass m = N Ass m N Ass × 100 %
P Ass e = N Ass e N Ass × 100 %
其中:
NAss综合识别系统中,参与考察的融合目标数;
Figure BDA0000463161420000057
在综合识别系统中参与考察的融合目标集合中,被正确关联的目标数;
Figure BDA0000463161420000058
在综合识别系统中参与考察的融合目标集合中,存在漏关联子源的目标数;
在综合识别系统中参与考察的融合目标集合中,被错误关联的目标数。
3)绝对正确识别率、绝对错误识别率、绝对未识别率定义
绝对识别概率指标包括绝对正确识别率、绝对错误识别率、绝对未识别率。绝对识别概率指标反映了传感器系统及综合识别系统等识别源对被考察的目标集合的识别能力。识别源s的绝对正确识别率
Figure BDA0000463161420000061
绝对错误识别率
Figure BDA0000463161420000062
绝对未识别率
Figure BDA0000463161420000063
的计算公式如下:
P a c ( s ) = N d c ( s ) N × 100 %
P a s ( s ) = N d s ( s ) N × 100 %
p a u ( s ) = N d u ( s ) N × 100 %
式中:
N被考察目标集合S中的目标数;
Figure BDA0000463161420000067
被考察目标集合S中,识别源s正确识别的目标数;
Figure BDA0000463161420000068
被考察目标集合S中,识别源s错误识别的目标数;
Figure BDA0000463161420000069
被考察目标集合S中,识别源s未识别的目标数。
为叙述方便,本发明将绝对正确识别率、绝对错误识别率、绝对未识别率形成的集合称为绝对识别概率指标,绝对识别概率指标反映了传感器系统及综合识别系统等识别源对被考察的目标集合的识别能力。
性能评估计算机在目标想定计算机、多源传感器系统的配合下,对多源传感器目标综合识别系统评估;性能评估计算机按照性能评估工作流程对多源传感器目标综合识别系统的处理性能进行评估;在性能评估计算机的性能评估软件中汇集实时接入目标想定计算机、多源传感器系统、综合识别系统分别发送目标想定数据、目标多源传感器数据和目标综合识别数据,并在基本指标集中设置“态势相关度”指标和“绝对识别概率”指标;性能评估软件在性能评估所涉及的指标集中,根据综合识别系统的评估需求选择其需要评估的指标,根据所选择的指标以及相应指标定义与计算方法,计算相应指标值,针对同一识别对象集合下的多源传感器系统与综合识别系统的目标识别能力,以及分别形成的目标态势目标信息的冗余程度进行对比评估,将综合识别系统数据融合的关联结果、识别结果以及识别态势在显示界面上进行同时显示,并将评估指标结果输出到网络,供网络中其它设备如态势显示计算机接收。
参阅图2。在步骤S1中,性能评估计算机所涉及的接收数据模块接收目标想定计算机、多源传感器系统与综合识别系统分别发送的目标想定数据、目标多源传感器数据和目标综合识别数据,并将这些数据存储到接收数据缓存队列中。
在步骤S2中,性能评估计算机所涉及的指标选择模块在综合识别系统性能评估指标集库中选择相应评估需求所需的评估指标。
在步骤S3中,性能评估计算机中所涉及的指标计算模块在接收数据缓存队列中取出接收的数据,根据选择出的评估指标,按照评估指标定义与计算流程计算指标值;性能评估软件所涉及的基本指标集中的态势相关度、关联率、识别率指标的计算方法如下,其它基本指标的计算方法参见相关文献,这里不再赘述。
1)关联率指标计算
参阅图3。性能评估软件在关联率指标评估的计算中,性能评估软件将时刻t存在nt个综合识别系统输出的融合目标点记为:性能评估软件根据各时刻各融合目标的集合确定融合关联指标的步骤如下,
在步骤S31,性能评估软件建立综合识别系统融合目标与传感器系统中各子源的对应关系:综合识别系统第个融合目标点
Figure BDA0000463161420000073
对应m个传感器源航迹点(子源航迹点)
Figure BDA0000463161420000074
在步骤S32,性能评估软件根据目标想定数据与传感器数据的对应关系,建立传感器子源航迹与真实目标的对应关系。令t时刻关于第i个综合识别系统融合目标点的第j个传感器系统子源航迹点对应的真实目标标识记为
Figure BDA0000463161420000076
参阅图4。在步骤S33,在所涉及的关联率指标计算中,性能评估软件选择最近N拍的最新更新目标或最近时间段T内的最新更新目标作为关联统计的参考目标,N或T值可事先设置;在所涉及的识别率指标计算时,采用加权方法对目标航迹与真实目标的对应关系进行量化。性能评估软件考察所有的
Figure BDA0000463161420000077
确定
Figure BDA0000463161420000078
是否被综合识别系统正确关联步骤如下:
在步骤S331,性能评估软件判断各子源航迹点是否来源于同一真实目标。对于
Figure BDA0000463161420000079
若存在: p ( s ij 1 t ) ≠ p ( s ij 2 t ) , 1≤j1,j2≤m则false(fi t)=1,否则 false ( f i t ) = 0 ; false(fi t)=0;
在步骤S332,对于
Figure BDA0000463161420000081
若存在:
Figure BDA0000463161420000082
1≤i1,i2≤nt,且i1≠i2,则Miss(fi t)=1,否则Miss(fi t)=0;
在步骤S333,根据下式确定的关联评估结果
Figure BDA0000463161420000086
Figure BDA0000463161420000087
在步骤S34,性能评估软件对关联指标的单拍统计方法:在综合识别系统中,在统计关联率时,需要对最近时间段T(有效保持时间)内的最新更新的目标进行统计。在t时刻瞬时关联正确率
Figure BDA0000463161420000088
由下式获得:
Figure BDA0000463161420000089
其中,
Figure BDA00004631614200000810
Figure BDA00004631614200000811
为在t-T到t时间段内最新更新的目标数。
在步骤S35,性能评估软件对关联指标的多拍累积平均统计方法:性能评估软件参考单拍性能统计方法,将已经处理过的所有拍数据进行统计,获得数据关联的累积平均性能。由时刻1到时刻tc的累积关联正确率
Figure BDA00004631614200000812
由下式获得:
Figure BDA00004631614200000813
其中,nt为当前时刻(拍)更新的目标数。
2)识别率指标计算
参阅图5。在识别率指标的评估计算中,性能评估软件将时刻t存在lt个真实目标记为:
Figure BDA0000463161420000091
存在nt个综合识别系统融合目标点(航迹点)第i个融合目标点
Figure BDA0000463161420000093
包含m个传感器源(子源航迹点)
Figure BDA0000463161420000094
表示t时刻、第i个融合目标点对应的第j个子源航迹点。性能评估软件将
Figure BDA0000463161420000095
记为
Figure BDA0000463161420000096
对应的真实目标标识,将
Figure BDA0000463161420000097
记为
Figure BDA0000463161420000098
对应的真实目标属性,具体评估步骤如下:
在步骤S36,性能评估软件采用加权方法确定目标航迹与真实目标对应关系,传感器报文与真实想定目标之间的关系在传感器报文模拟过程中建立;融合报文数据与真实想定目标之间关系由各传感器航迹点的关联关系以及各传感器航迹点对应的想定目标共同决定,且包含以下情形:
情形①:当融合目标各子源均对应同一个真实想定目标,即没有产生错误关联,则该融合目标就是对应该真实想定目标;
情形②:当融合目标各子源对应的多个真实想定目标,即此时产生错误关联,则该融合目标不能确定属于哪一个真实想定目标,这里采用加权方式建立对应模糊对应关系,即:假设融合目标对应N个真实想定目标,则融合目标对应各真实想定目标的权重为1/N。
由此可见,情形①是情形②下当N=1时的特例。令融合航迹fi t对应N各真实想定目标
Figure BDA00004631614200000910
则真实目标被融合目标fi t探测的权重系数为:
( g j t , f i t ) = 1 N , N > 0 0 , N = 0
根据上式,可以统计出
Figure BDA00004631614200000919
被探测的权重系数为:
w ( g j t ) = Σ i = 1 n t w ( g j t , f i t )
Figure BDA00004631614200000914
时,说明真实目标
Figure BDA00004631614200000915
没有被探测;当
Figure BDA00004631614200000916
时,说明对应于真实目标
Figure BDA00004631614200000917
融合目标产生了虚假目标。
在步骤S37,性能评估软件对每拍的观测目标属性与其真实属性进行一致性判别方法:各传感器目标属性与真实属性是否一致是在传感器系统中确定;融合目标属性与真实属性是否一致是通过比较融合目标属性与各子源对应的想定目标属性是否一致进行判断的。对于
Figure BDA00004631614200001021
,考察其所有的子源航迹点
Figure BDA0000463161420000101
对应的真实目标属性为
Figure BDA0000463161420000103
对应的目标属性为
Figure BDA0000463161420000104
考察所有的
Figure BDA0000463161420000105
确定
Figure BDA0000463161420000106
是否被正确识别步骤如下:
在步骤S371,若
Figure BDA0000463161420000107
为“未知”,则
Figure BDA0000463161420000108
为未识别,记
Figure BDA0000463161420000109
在步骤S372,若
Figure BDA00004631614200001010
与所有的
Figure BDA00004631614200001011
j=1,2,…,m均相同,则
Figure BDA00004631614200001012
为正确识别,记
Figure BDA00004631614200001013
在步骤S373,若
Figure BDA00004631614200001014
不符合上述两种情况时,为错误识别,记
Figure BDA00004631614200001016
在步骤S38,进行目标识别率的单拍统计方法:针对每拍数据,统计当前拍的识别率指标。该统计指标作为一种参考信息,为融合处理的完善提供依据。对于综合识别系统,在统计探测率时,需要对最近时间段t内的最新更新的目标进行统计,时间段t为目标信息的有效保持时间。目标识别概率的瞬时统计如下:
Figure BDA00004631614200001017
其中,
Figure BDA00004631614200001018
在步骤S39,性能评估软件对目标识别率的累积平均统计方法:参考其单拍性能统计方法,
将已经处理过的所有拍数据进行统计,获得识别性能参数,以评估融合处理的整体性能。由时刻1到时刻的累积识别正确率
Figure BDA00004631614200001019
由下式获得:
Figure BDA00004631614200001020
其中,nt为当前时刻(拍)更新的目标数。
在步骤S4中,性能评估计算机中所涉及的目标评估数据可视化模块对综合识别系统输出的目标态势与性能评估软件获得的各种评估值在显示界面中进行图形化、曲线化方式实时显示。在性能评估软件的显示界面中,利用由两个具有一定颜色填充的左、右半圆组成的一个圆形图案对综合识别系统处理的目标关联与目标识别结果的评估数据进行一体化图形可视化显示;左半圆代表目标关联评估结果,其填充色为绿色、红色、黄色分别代表目标关联正确、目标关联错误、目标漏关联;右半圆代表目标识别评估结果,其填充色为绿色、红色、黄色分别代表目标识别正确、目标识别错误、目标未识别;左、右半圆组成的一个圆形图案代表融合目标,其显示坐标表征了目标在空间中的地理位置。
在步骤S5中,性能评估软件将多源传感器目标综合识别系统性能评估指标值输出到网络上或其它指定目的地,以供其它设备接收使用。
以上所述的仅是本发明的优选实施例。应当指出,对于本领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干变形和改进,这些变更和改变应视为属于本发明的保护范围。

Claims (10)

1.一种多源传感器目标综合识别系统性能评估方法,具有如下技术特征:在目标想定计算机、多源传感器系统、综合识别系统性能评估计算机和多源传感器系统构成的多源传感器目标综合识别系统中,多源传感器系统通过网络交换机与性能评估计算机交互数据;安装有性能评估软件的性能评估计算机在目标想定计算机、多源传感器系统的配合下,按照性能评估工作流程对多源传感器目标综合识别系统的处理性能进行评估;性能评估计算机接收目标想定计算机、多源传感器系统与综合识别系统分别发送的目标想定数据、目标多源传感器数据和目标综合识别数据,将这些数据存储到接收数据缓存队列中,并在性能评估软件的基本指标集中设置“态势相关度”指标和“绝对识别概率”指标;选择综合识别系统性能评估指标集库中相应评估需求所需的评估指标,从接收数据缓存队列中取出接收的数据,根据选择出的评估指标,按照评估指标定义与计算流程计算指标值,性能评估软件在多源传感器系统或综合识别系统给定的目标观测集合、关联率指标和绝对识别率指标中,针对不同评估需求选择评估指标,对同一识别对象集合下的多源传感器系统与综合识别系统的评估需求和目标识别能力,以及分别形成的目标态势目标信息的冗余程度进行对比评估,将综合识别系统数据融合的关联率指标计算出的关联结果、识别率指标的评估计算识别结果以及识别态势在显示界面上进行显示。
2.如权利要求1所述的多源传感器目标综合识别系统性能评估方法,其特征在于:所述性能评估指标集包括基本指标集与派生指标集两部分,基本指标集由目标态势信息质量类指标和融合处理能力类指标构成,其中,目标态势信息质量类指标包括态势相关度、目标探测率、目标虚警率、目标漏警率、目标探测周期、目标探测距离、相对正确识别率、相对错误识别率、相对未识别率、绝对正确识别率、绝对错误识别率、绝对未识别率和识别准确度指标;融合处理能力类指标包括正确关联率、错误关联率、漏关联率、融合处理时间和融合处理目标数指标;派生指标集是通过对基本指标集中的指标实施不同的条件约束派生的,派生指标集的派生条件包括:传感器组合约束条件、识别目标对象约束条件、时空约束条件、识别属性约束条件和置信度约束条件。
3.如权利要求1所述的多源传感器目标综合识别系统性能评估方法,其特征在于:综合识别系统的评估需求包括:融合处理前后态势相关度对比评估、融合处理能力评估、与现役识别装备识别能力对比评估和目标识别准确度评估,其中,融合处理前后态势相关度对比评估需要的指标包括目标冗余度指标;融合处理能力评估需要的指标包括不同传感器组合约束条件下的融合处理能力类指标;与现役识别装备识别能力对比评估需求的指标包括由不同的传感器组合约束条件、识别目标对象约束条件、时空约束条件下的目标态势信息质量类指标以及由不同的识别属性约束条件、置信度约束条件下的绝对正确识别率、绝对错误识别率、绝对未识别率指标;目标识别准确度评估需要的指标包括不同的传感器组合约束条件、识别目标对象约束条件、识别属性约束条件下的识别准确度指标。
4.如权利要求1所述的多源传感器目标综合识别系统性能评估方法,其特征在于:性能评估软件针对不同评估需求所选择的评估指标为:融合处理前后态势相关度对比评估需要的指标、融合处理能力评估需要的指标、与现役识别装备识别能力对比评估需求的指标与目标识别准确度评估需要的指标。
5.如权利要求1所述的多源传感器目标综合识别系统性能评估方法,其特征在于:在多源传感器系统或综合识别系统给定的目标观测集合中,衡量不同目标观测来源于同一真实目标的重复程度,若设N个目标观测构成的目标观测集合S={s1·s2,…,sN},其所有目标观测对应的真实目标所构成的集合为T={t1,t2,…,tM},若设每个真实目标tj∈T在集合S中对应的目标观测数为nj则集合S的态势相关度为:
α = 1 - M Σ j = 1 M n j × 100 %
由于nj≥1,M≥l,则0≤α,1·式中:α:态势相关度,在[0,1)区间取值,M:目标观测集合S对应的真实目标个数,nj:真实目标集合T中的第j个真实目标。
6.如权利要求1所述的多源传感器目标综合识别系统性能评估方法,其特征在于:关联率指标包括正确关联率、错误关联率和漏关联率;关联率指标反映了综合识别系统中所涉及的数据融合处理能力,在被考察的综合识别系统输出的融合目标集合中,被综合识别系统正确关联的融合目标所占的比率称为正确关联率;相应地,被综合识别系统漏关联的融合目标所占的百分比称为漏关联率;被综合识别系统错误关联的融合目标所占的百分比称为错误关联率。
7.如权利要求6所述的多源传感器目标综合识别系统性能评估方法,其特征在于:正确关联率漏关联率与错误关联率
Figure FDA0000463161410000024
的计算公式分别是:
P Ass c = N Ass c N Ass × 100 %
P Ass m = N Ass m N Ass × 100 %
P Ass e = N Ass e N Ass × 100 %
其中:NAss:综合识别系统中,参与考察的融合目标数;
Figure FDA00004631614100000312
:在综合识别系统中参与考察的融合目标集合中,被正确关联的目标数;
Figure FDA00004631614100000313
:在综合识别系统中参与考察的融合目标集合中,存在漏关联子源的目标数;
Figure FDA00004631614100000314
:在综合识别系统中参与考察的融合目标集合中,被错误关联的目标数。
8.如权利要求1所述的多源传感器目标综合识别系统性能评估方法,其特征在于:绝对识别率指标包括绝对正确识别率、绝对错误识别率和绝对未识别率;绝对识别率指标反映了传感器系统及综合识别系统等识别源对被考察的目标集合的识别能力;识别源s的绝对正确识别率
Figure FDA0000463161410000033
绝对错误识别率
Figure FDA0000463161410000034
绝对未识别率
Figure FDA0000463161410000035
的计算公式是:
P a c ( s ) = N d c ( s ) N × 100 %
P a s ( s ) = N d s ( s ) N × 100 %
p a u ( s ) = N d u ( s ) N × 100 %
式中:N被考察目标集合S中的目标数,
Figure FDA0000463161410000039
被考察目标集合S中,识别源S正确识别的目标数;被考察目标集合S中,识别源s错误识别的目标数;
Figure FDA00004631614100000311
被考察目标集合S中,识别源s未识别的目标数。
9.如权利要求1所述的多源传感器目标综合识别系统性能评估方法,其特征在于:在所涉及的关联率指标计算中,性能评估软件对综合识别系统融合目标关联评估方法,在综合识别系统的数据融合中,性能评估软件选择最近N拍的最新更新目标或最近时间段T内的最新更新目标作为关联统计的参考目标,N或T值可事先设置;在所涉及的识别率指标计算时,采用加权方法对目标航迹与真实目标的对应关系进行量化。
10.如权利要求1所述的多源传感器目标综合识别系统性能评估方法,其特征在于:在识别率指标的评估计算中,性能评估软件将时刻t存在lt个真实目标记为:
Figure FDA0000463161410000041
存在nt个综合识别系统融合目标点(航迹点)
Figure FDA0000463161410000042
第i个融合目标点
Figure FDA0000463161410000043
包含m个传感器源(子源航迹点)
Figure FDA0000463161410000044
Figure FDA0000463161410000045
表示t时刻、第i个融合目标点对应的第j个子源航迹点;性能评估软件将
Figure FDA0000463161410000046
记为
Figure FDA0000463161410000047
对应的真实目标标识,将
Figure FDA0000463161410000048
记为
Figure FDA0000463161410000049
对应的真实目标属性。
CN201410040712.6A 2014-01-27 2014-01-27 多源传感器目标综合识别系统性能评估方法 Pending CN103793606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410040712.6A CN103793606A (zh) 2014-01-27 2014-01-27 多源传感器目标综合识别系统性能评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410040712.6A CN103793606A (zh) 2014-01-27 2014-01-27 多源传感器目标综合识别系统性能评估方法

Publications (1)

Publication Number Publication Date
CN103793606A true CN103793606A (zh) 2014-05-14

Family

ID=50669268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410040712.6A Pending CN103793606A (zh) 2014-01-27 2014-01-27 多源传感器目标综合识别系统性能评估方法

Country Status (1)

Country Link
CN (1) CN103793606A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133462A (zh) * 2014-07-09 2014-11-05 中国电子科技集团公司第十五研究所 一种指挥控制系统显示容量的测试验证方法
CN104239725A (zh) * 2014-09-19 2014-12-24 电子科技大学 一种动态多源传感器优化管理方法
CN106570633A (zh) * 2016-11-04 2017-04-19 中软信息系统工程有限公司 一种基于权重设计的指标体系评估方法
CN106767760A (zh) * 2016-12-30 2017-05-31 中国船舶重工集团公司第七0七研究所 基于多维度的多源船舶目标融合方法
CN106895850A (zh) * 2016-12-30 2017-06-27 中国船舶重工集团公司第七0七研究所 一种支持多源目标筛选的态势显示方法
CN107133555A (zh) * 2017-01-20 2017-09-05 西南电子技术研究所(中国电子科技集团公司第十研究所) 识别8字运动轨迹目标的方法
CN108182817A (zh) * 2018-01-11 2018-06-19 北京图森未来科技有限公司 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统
CN109358957A (zh) * 2018-10-09 2019-02-19 中国人民解放军海军航空大学 一种任务驱动的多源信息融合方法
CN111539625A (zh) * 2020-04-23 2020-08-14 中国北方车辆研究所 一种面向地面目标的多源信息融合评估方法
CN114612757A (zh) * 2022-01-28 2022-06-10 深圳市神州云海智能科技有限公司 一种基于深度学习的多源导航图像融合方法及系统
CN115902814A (zh) * 2023-03-09 2023-04-04 中国人民解放军国防科技大学 基于信息空间度量的目标识别模型性能评估方法和装置
CN116931519A (zh) * 2023-07-18 2023-10-24 中国电子科技集团公司第五十四研究所 多源异类传感器的协同规划调度方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110713A (zh) * 2007-09-05 2008-01-23 中国科学院上海微系统与信息技术研究所 基于无线传感器网络体系下的信息融合系统性能测试床

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110713A (zh) * 2007-09-05 2008-01-23 中国科学院上海微系统与信息技术研究所 基于无线传感器网络体系下的信息融合系统性能测试床

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王放: "融合自动目标识别系统中的传感器管理策略研究", 《中国优秀硕士学位论文全文数据库》 *
王洁: "多传感器数据融合及其综合性能评估", 《中国优秀硕士学位论文全文数据库》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133462A (zh) * 2014-07-09 2014-11-05 中国电子科技集团公司第十五研究所 一种指挥控制系统显示容量的测试验证方法
CN104239725A (zh) * 2014-09-19 2014-12-24 电子科技大学 一种动态多源传感器优化管理方法
CN104239725B (zh) * 2014-09-19 2017-04-12 电子科技大学 一种动态多源传感器优化管理方法
CN106570633A (zh) * 2016-11-04 2017-04-19 中软信息系统工程有限公司 一种基于权重设计的指标体系评估方法
CN106767760A (zh) * 2016-12-30 2017-05-31 中国船舶重工集团公司第七0七研究所 基于多维度的多源船舶目标融合方法
CN106895850A (zh) * 2016-12-30 2017-06-27 中国船舶重工集团公司第七0七研究所 一种支持多源目标筛选的态势显示方法
CN107133555B (zh) * 2017-01-20 2020-10-23 西南电子技术研究所(中国电子科技集团公司第十研究所) 识别8字运动轨迹目标的方法
CN107133555A (zh) * 2017-01-20 2017-09-05 西南电子技术研究所(中国电子科技集团公司第十研究所) 识别8字运动轨迹目标的方法
CN108182817A (zh) * 2018-01-11 2018-06-19 北京图森未来科技有限公司 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统
CN109358957A (zh) * 2018-10-09 2019-02-19 中国人民解放军海军航空大学 一种任务驱动的多源信息融合方法
CN109358957B (zh) * 2018-10-09 2022-09-20 中国人民解放军海军航空大学 一种任务驱动的多源信息融合方法
CN111539625A (zh) * 2020-04-23 2020-08-14 中国北方车辆研究所 一种面向地面目标的多源信息融合评估方法
CN114612757A (zh) * 2022-01-28 2022-06-10 深圳市神州云海智能科技有限公司 一种基于深度学习的多源导航图像融合方法及系统
CN114612757B (zh) * 2022-01-28 2022-11-15 深圳市神州云海智能科技有限公司 一种基于深度学习的多源导航图像融合方法及系统
CN115902814A (zh) * 2023-03-09 2023-04-04 中国人民解放军国防科技大学 基于信息空间度量的目标识别模型性能评估方法和装置
CN116931519A (zh) * 2023-07-18 2023-10-24 中国电子科技集团公司第五十四研究所 多源异类传感器的协同规划调度方法
CN116931519B (zh) * 2023-07-18 2024-03-12 中国电子科技集团公司第五十四研究所 多源异类传感器的协同规划调度方法

Similar Documents

Publication Publication Date Title
CN103793606A (zh) 多源传感器目标综合识别系统性能评估方法
CN104931960B (zh) 动向报文与雷达目标态势信息全航迹段数据关联方法
CN101996157B (zh) 证据高冲突环境下多源信息融合方法
CN103152823B (zh) 一种无线室内定位方法
CN111445670A (zh) 地质灾害预警系统及方法
CN107451619A (zh) 一种基于感知生成对抗网络的小目标检测方法
CN104584095B (zh) 提供交通流量消息的方法
CN105512011B (zh) 一种电子装备测试性建模评估方法
CN103460073A (zh) 地震警报系统
CN105488101A (zh) 一种获取空间地理环境信息的系统
CN105204092A (zh) 蜂窝状布局的雷电预警系统
JP2012252377A (ja) 交通情報生成システム、交通情報生成方法及びプログラム
CN104077890A (zh) 分布式地震预警云监测网络系统及方法
CN110264070A (zh) 一种基于bim的质量检测系统
CN105828433A (zh) 一种基于ZigBee的隧道定位系统及方法
CN102222040A (zh) 基于多属性熵权合成的软件可信等级评估方法
Ma et al. A novel broad learning system based leakage detection and universal localization method for pipeline networks
CN101907461B (zh) 基于角度余切值的被动多传感器量测数据关联方法
CN107923749A (zh) 用于检测地面位置变化的系统和方法
CN101937486A (zh) 复杂系统的信息支持能力评估分析方法
CN105100501B (zh) 一种基于物联网的手机计算系统
CN102520425B (zh) 一种gnss接收机互操作性能检测系统
CN104182652A (zh) 典型机动编队目标跟踪建模方法
CN108051482B (zh) 一种海水入侵地下水的监测预警方法
Sasaki et al. Road segment interpolation for incomplete road data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140514