CN115902814B - 基于信息空间度量的目标识别模型性能评估方法和装置 - Google Patents

Abstract

本申请涉及一种基于信息空间度量的目标识别模型性能评估方法和装置。方法包括获取待评估目标识别模型、识别任务集以及对识别任务集进行系列加噪后的多个加噪任务集；计算预设精度下对每一加噪任务集中各雷达回波信号进行编码的最小二进制比特数，得到数据可分性测度，计算每一加噪任务集相对于识别任务集的最大均值差异，得到模板相似性测度；计算待评估目标识别模型在每一加噪任务集上进行目标识别的识别准确率，得到性能评估指标；由数据可分性测度和模板相似性测度，构建由性能评估指标到模型识别能力的映射模型，根据映射模型对待评估目标识别模型进行识别能力评估。采用本方法能实现跨任务的模型识别能力评估。

Description

基于信息空间度量的目标识别模型性能评估方法和装置

技术领域

本申请涉及深度学习技术领域，特别是涉及一种基于信息空间度量的目标识别模型性能评估方法和装置。

背景技术

近年来随着深度学习技术的发展，目标识别技术被广泛地应用到多个领域，对社会经济发展和生产生活带来巨大改变，随着技术的日益成熟，深度学习技术在泛图像识别领域的应用也取得显著进步，雷达时频数据作为一种泛图像信号，其与深度学习技术的深入结合将是未来发展的重要趋势。为突破复杂电磁环境下多源混合干扰的雷达图像目标识别难题，大量研究学者致力于使用机器学习或深度学习技术提升识别模型性能，相关方面的研究与应用层出不穷。为了说明所提模型的性能优劣，识别性能评估指标为模型性能提升量提供了一个自然直观的度量。例如，识别准确率，它定义为正确识别的测试样本数占所有测试样本数的比例，但该指标在样本极度不平衡的情况下存在较大的偏颇。因此，查准率、查全率、F1分数等准确性指标也被相继提出应用于不同场景及不同特点的数据集。涉及识别模型的实时性和复杂性评估指标还比较欠缺，一般具体表现为模型时间或空间复杂度以及模型的参数量等。上述基于单评估指标的性能评估方法均仅适用于在给定某一数据集时，即在单一识别任务参照下可进行模型间性能直接对比的情况。

然而雷达时频数据集中所包含的是关于目标及目标所处环境所形成的有机体的信息，模型由于目标所处环境的多样复杂性与动态变化特点，所采集到的有限的雷达时频数据集往往无法覆盖所有可能出现的目标识别场景，真实的目标识别场景不再对应于单一的雷达时频数据集，而应该是所采集到的有限雷达时频数据集的各种变体所组成的多任务识别环境。在多任务识别场景下，需要一种跨任务的识别模型智能化水平的定量分析评估方法，模型的智能化具体表现为模型适应多变的识别场景的能力。为了实现对识别模型智能化水平的评估，一些基于多评估指标的性能评估方法被提出。具体地，构建关于多个识别任务的识别准确率指标集，为每个任务赋予特定的权重，则识别模型性能的评分结果为识别准确率与对应任务权重之间的加权求和。该方法可以得出较为一致的模型性能对比结果，但由于权重的设置严重依赖于专家的评判标准，这使得评估的过程既耗损人力又有失客观，有时权重设置的微小变化就可能带来截然不同的模型评判结果，因此应当为权重的设置提供更为科学的依据。

传统单评估指标性能评估方法无法评估由真实识别环境模拟的多任务识别场景，而多评估指标性能评估方法任务权重设置缺乏科学客观性，因此，如何解决在特定雷达目标识别任务难度条件下跨任务的智能目标识别性能评估成为亟待解决的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种基于信息空间度量的目标识别模型性能评估方法和装置。

一种基于信息空间度量的目标识别模型性能评估方法，所述方法包括：

解析预先设置的目标识别任务，得到待评估目标识别模型、当前任务场景下的识别任务集以及对所述识别任务集进行系列加噪后的多个加噪任务集；所述识别任务集包括待识别目标的多个雷达回波信号；

基于信息空间理论计算预设精度下对每一所述加噪任务集中各雷达回波信号进行编码的最小二进制比特数，得到每一所述加噪任务集对应的数据可分性测度，基于信息空间理论计算每一所述加噪任务集相对于所述识别任务集的最大均值差异，得到每一所述加噪任务集对应的模板相似性测度；

根据所述待评估目标识别模型在每一所述加噪任务集上进行目标识别的识别准确率，得到待评估目标识别模型对应的性能评估指标；

以每一所述加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由所述性能评估指标到模型识别能力的映射模型，根据所述映射模型对待评估目标识别模型进行识别能力评估，得到识别能力值。

一种基于信息空间度量的目标识别模型性能评估装置，所述装置包括：

任务解析模块，用于解析预先设置的目标识别任务，得到待评估目标识别模型、当前任务场景下的识别任务集以及对所述识别任务集进行系列加噪后的多个加噪任务集；所述识别任务集包括待识别目标的多个雷达回波信号；

测度计算模块，用于基于信息空间理论计算预设精度下对每一所述加噪任务集中各雷达回波信号进行编码的最小二进制比特数，得到每一所述加噪任务集对应的数据可分性测度，基于信息空间理论计算每一所述加噪任务集相对于所述识别任务集的最大均值差异，得到每一所述加噪任务集对应的模板相似性测度；

指标获取模块，用于根据所述待评估目标识别模型在每一所述加噪任务集上进行目标识别的识别准确率，得到待评估目标识别模型对应的性能评估指标；

性能评估模块，用于以每一所述加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由所述性能评估指标到模型识别能力的映射模型，根据所述映射模型对待评估目标识别模型进行识别能力评估，得到识别能力值。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

解析预先设置的目标识别任务，得到待评估目标识别模型、当前任务场景下的识别任务集以及对所述识别任务集进行系列加噪后的多个加噪任务集；所述识别任务集包括待识别目标的多个雷达回波信号；

基于信息空间理论计算预设精度下对每一所述加噪任务集中各雷达回波信号进行编码的最小二进制比特数，得到每一所述加噪任务集对应的数据可分性测度，基于信息空间理论计算每一所述加噪任务集相对于所述识别任务集的最大均值差异，得到每一所述加噪任务集对应的模板相似性测度；

根据所述待评估目标识别模型在每一所述加噪任务集上进行目标识别的识别准确率，得到待评估目标识别模型对应的性能评估指标；

以每一所述加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由所述性能评估指标到模型识别能力的映射模型，根据所述映射模型对待评估目标识别模型进行识别能力评估，得到识别能力值。

上述基于信息空间度量的目标识别模型性能评估方法和装置，通过信息空间度量的率失真理论及最大均值差异理论，分别得到数据可分性测度和模板相似性测度，以在多任务识别场景下衡量识别任务难度，在特定的任务难度条件下，以数据可分性测度和模板相似性测度为参数，由简单的函数曲线拟合工具，构建模型识别准确率到识别能力的映射模型，从而得到待评估目标识别模型的识别能力值，该能力值不随着识别场景的变化而变化，可以作为识别模型的固有属性。本发明实施例，能够实现跨任务的模型识别能力对比分析过程，更为客观地衡量了目标识别模型适应多变的雷达目标识别场景的能力，为进行识别模型的模型选择与优化提供了科学的评判依据，具有重要的工程价值。

附图说明

图1为一个实施例中基于信息空间度量的目标识别模型性能评估方法的流程示意图；

图2为一个具体实施例中基于信息空间度量的目标识别模型性能评估方法的流程示意图；

图3为一个实施例中数据可分性测度构建示意图，其中，（a）为易识别数据编码空间，（b）为难识别数据编码空间；

图4为一个实施例中数据可分性测度在合成数据集上的有效性验证结果示意图，其中，（a）为两类目标对应的数据特征形状为双簇形时的示意图，（b）为两类目标对应的数据特征形状为双月形时的示意图，（c）为两类目标对应的数据特征形状为环形时的示意图，（d）为两类目标对应的数据特征形状为异或形时的示意图，（e）为两类目标对应的数据特征形状为螺旋形时的示意图，（f）为两类目标对应的数据特征形状为随机形时的示意图；

图5为另一个实施例中模板相似性测度构建示意图；

图6为一个实施例中模板相似性测度在合成数据集上的有效性验证结果示意图，其中，（a）为std=1时，双簇形训练数据的数据特征形状示意图，（b）为std=1时，测试数据相对训练数据的概率分布差异的变化趋势示意图，（c）为std=1.2时，双簇形测试数据的数据特征形状示意图，（d）为std=1.2时，测试数据相对训练数据的概率分布差异的变化趋势示意图，（e）为std=1.4时，双簇形测试数据的数据特征形状示意图,（f）为std=1.4时，测试数据相对训练数据的概率分布差异的变化趋势示意图；

图7为一个实施例中多任务识别场景构建示意图；

图8为一个实施例中模型识别性能评估模型构建的流程示意图；

图9为一个实施例中模型识别性能评估模型及测试模型识别性能评估结果的展示界面；

图10为一个实施例中基于信息空间度量的目标识别模型性能评估装置的结构框图；

图11为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种基于信息空间度量的目标识别模型性能评估方法，包括以下步骤：

步骤102，解析预先设置的目标识别任务，得到待评估目标识别模型、当前任务场景下的识别任务集以及对识别任务集进行系列加噪后的多个加噪任务集。

识别任务集是在目标识别场景中噪声最小时采集的已知数据集，所述识别任务集包括待识别目标的多个雷达回波信号，雷达目标分类与识别已成为现代雷达的重要发展方向，目标识别技术指的是利用雷达和计算机对遥远目标进行辨认的技术。目标识别的基本原理是利用雷达回波中的幅度、相位、频谱和极化等目标特征信息，通过数学上的各种多维空间变换来估算目标的大小、形状、重量和表面层的物理特性参数，最后根据大量训练样本所确定的鉴别函数，在分类器中进行识别判决。待识别目标可以是非合作无人机，通过对空雷达可以远距离识别非合作无人机，对空雷达工作环境复杂，受不同气象和空情等复杂工作环境影响，噪声强弱也存在差别，从而，实际应用中识别任务集的雷达回波信号噪声越大，对应的识别任务难度越大。

向已知的识别任务集加入不同功率的高斯白噪声模拟复杂的多任务识别环境，从而构建具有噪声扰动的多个加噪任务集，每一级噪声对应一个加噪任务集，不同的加噪任务集对应的任务识别难度不同。对识别模型而言，识别的过程就是要找到目标与目标所处环境共同作用得到的目标属性与目标所属类别之间的映射关系，因此，构建多个加噪任务集以提供更丰富的环境信息，使得本发明方法能够对目标识别模型的泛化能力进行评估，从而通过评估结果分析目标识别模型在各个任务识别难度下的识别能力。在实际应用时，能够根据目标所处环境的噪声情况选择识别能力最好的目标识别模型。

步骤104，基于信息空间理论计算预设精度下对每一加噪任务集中各雷达回波信号进行编码的最小二进制比特数，得到每一加噪任务集对应的数据可分性测度，基于信息空间理论计算每一加噪任务集相对于识别任务集的最大均值差异，得到每一加噪任务集对应的模板相似性测度。

识别任务难度的判定受到两个方面因素的影响，其一源于分类器所接触的真实环境中的测试数据本身的可分性，其二源于训练数据与测试数据之间的差异性。具体地，有测试数据的可分性越差，测试数据相对训练数据的差异越大，则对应有识别任务的难度越高。如果将待识别数据集合描述成一族概率分布函数，信息空间理论作为用于衡量概率分布之间距离的科学方法，为度量待识别数据可分性以及测试数据相对训练数据的模板相似性提供了科学的研究思路。数据编码率失真理论和最大均值差异理论是信息空间理论研究的分支，基于上述理论提出了数据可分性测度及模板相似性测度以进一步研究特定任务难度条件下跨任务的智能目标识别性能评估方法。

当数据集中类内的距离越近，而类间的距离越远时，此时对应有数据的可分性越强，而由于没有考虑数据内在分布的关系，在欧式距离的意义下定义的数据可分性在绝大多数情形下并不能真实地反映数据可分程度。在本实施例中，应用编码率失真理论（Ratedistortion theory）度量数据可分性，具体包括：从信息空间编码的角度出发，首先将待识别数据建模成一族高斯分布的数据，数据在信息空间中的编码体积由数据的协方差阵的行列式来衡量，当把所有类别的数据作为一个整体时，若数据集中的各样本高度不相关，则全样本在信息空间中具有较大的编码体积，这与期望的类间样本的相关性弱表现出一致性；而若将数据集按照样本所属类别划分为几个子集时，则期望类内样本的相关性强，对应有各类样本所在数据子集的协方差阵的行列式较小，各类样本子集在信息空间中具有较小的编码体积。概括而言，一个高可分性的数据应当在信息空间中被有效地编码。

具体地，类样本信息作为全样本信息的子集，当其编码容量在信息空间的占比更小时，对应于类空间体积压缩，全空间体积膨胀，此时数据具有较高的可分性。给定一个具有个样本个维度的数据特征矩阵和预设的精度，就是用来编码的最小二进制比特数，其解码的误差小于，即满足,具体的表达式为：

，

中包含有类样本，根据上述公式计算各类样本特征在其所在低维子空间的编码长度：

，

其中，为各类回波信号所对应的样本数，在其低维流形上的编码长度之和为：，具体的表达式为：

，

从而，数据可分性测度为：

，

由于函数是凹函数，根据杰森不等式可以证明,值越小表明数据越可分。

在真实的识别场景中，受到环境噪声等复杂因素的影响，测试数据往往与训练数据不尽相同，本实施例，通过最大均值差异（Maximum Mean Discrepancy，MMD）度量训练数据与测试数据之间分布的差异，随着环境噪声的增强，测试样本的特征分布与训练样本之间的差异逐渐增大，对应MMD值逐渐增大。MMD是迁移学习中常用的损失函数，常被用来度量两个分布之间的距离，其基本思想阐述如下：若两个随机变量的任意阶矩都相等，则两个分布就是一致的。而当两个分布不相同时，则使得两个分布之间差距最大的矩就被定义为度量两个分布之间差异的指标。

具体操作为由高斯核函数将训练数据和测试数据映射到无穷维空间，得到其高阶矩，即将一个分布映射到再生希尔伯特空间上的一个点，此时训练及测试数据分布之间的距离就可以由两个点之间的内积来定义。给定两组数据集、，则运用最大均值差异理论，两组数据集之间分布的差异为：

，

其中，为映射函数，将数据集、映射到再生希尔伯特空间，、之间的差异由其经映射后在希尔伯特空间中样本均值的差值来度量。为方便计算，将上式取平方后展开得到：

，

其中，、经映射后的内积可以由核函数替代，即，以此类推。一般地，所用核函数为高斯核函数，即，其中为可调节参数。的取值范围大于等于0，当两个数据分布完全一致时，取到0。值越大，表明两个数据之间的差异越大。

在多任务的复杂识别环境中，可以通过数据可分性测度与模板相似性测度以定量分析识别任务难度。

步骤106，根据待评估目标识别模型在每一加噪任务集上进行目标识别的识别准确率，得到待评估目标识别模型对应的性能评估指标。

由识别模型在具有递进难度梯度的一组识别任务上进行识别得到的一组识别准确率，以数据可分性测度与模板相似性测度为参数，构建识别准确率到识别模型识别能力值的映射模型，模型中的每一条映射函数曲线对应一个识别任务，曲线的两个基本属性，倾斜率与右移率可以体现该识别任务的识别难度，其中曲线属性以多项式的形式由数据可分性测度和模板相似性测度表征。

步骤108，以每一加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由性能评估指标到模型识别能力的映射模型，根据映射模型对待评估目标识别模型进行识别能力评估，得到识别能力值。

上述基于信息空间度量的目标识别模型性能评估方法中，通过信息空间度量的率失真理论及最大均值差异理论，分别得到数据可分性测度和模板相似性测度，以在多任务识别场景下衡量识别任务难度，在特定的任务难度条件下，以数据可分性测度和模板相似性测度为参数，由简单的函数曲线拟合工具，构建模型识别准确率到识别能力的映射模型，从而得到待评估目标识别模型的识别能力值，该能力值不随着识别场景的变化而变化，可以作为识别模型的固有属性。本发明实施例，能够实现跨任务的模型识别能力对比分析过程，更为客观地衡量了模型适应多变的识别场景的能力，为进行识别模型选择与优化提供了科学的评判依据，具有重要的工程价值。

在一个实施例中，对识别任务集进行系列加噪后的多个加噪任务集的步骤，包括：根据真实环境信噪比范围和识别任务集中每一回波信号的功率，得到所述真实环境信噪比范围下每一真实环境信噪比对应的噪声方差；利用每一噪声方差的高斯白噪声，对所述识别任务集进行系列加噪，得到多个加噪任务集。

在本实施例中，根据真实识别环境中可能出现的信噪比范围设置加入数据集中的高斯白噪声方差，具体的设置步骤如下：

给定数据集，则数据的功率为：

，

模拟的真实环境信噪比范围，则对应的噪声方差为：

，

生成对应方差的高斯白噪声，的维度与数据一致，由此得到加噪任务集，，经构建的测试集表示为。

在一个实施例中，如图3所示，提供了一种包含两类目标的数据可分性测度构建示意图。该测度表示如果以一个半径为（为编码误差）的小球作为数据在信息空间中编码的编码单元，则空间中小球的个数即为数据在信息空间中的编码体积。图3中包含两个箭头的编码小球分别代表两类目标的编码体积，而两个箭头所张成的空间中包含的所有编码小球则为整个数据集的编码体积。其中，图3(a)表示最可分情况下的数据编码空间结构，此时表现为两个类空间是正交的，其所张成的空间具有最大的编码体积，类空间的编码体积占整个数据集的编码体积较小；图3(b)表示可分性较差的数据编码空间结构，此时两个类空间所对应向量的夹角较小、相关性较强，各自的编码单元存在更多重叠的部分，向量所张成的空间的体积更小，类空间的编码体积占比更大。

在一个实施例中，如图4所示，提供了一种数据可分性测度在合成数据集上的有效性验证结果示意图，其中，图4（a）为两类目标对应的数据特征形状为双簇形时的示意图，图4（b）为两类目标对应的数据特征形状为双月形时的示意图，图4（c）为两类目标对应的数据特征形状为环形时的示意图，图4（d）为两类目标对应的数据特征形状为异或形时的示意图，图4（e）为两类目标对应的数据特征形状为螺旋形时的示意图，图4（f）为两类目标对应的数据特征形状为随机形时的示意图。其中类别1和类别2表示一个数据集中的两个不同类别。图4（a）-图4(f)中，构造的数据特征形状依次为：双簇形、双月形、环形、异或形、螺旋形、随机形，可以直观地看出数据是越来越不可分的，也正对应于数据可分性测度值逐渐增加的趋势，初步验证了可分性测度有效性。

在一个实施例中，如图5所示，提供了一种测试数据相对训练数据的模板相似性测度构建示意图。该测度表示如果给出测试数据和训练数据的特征分布，则两个数据之间分布的差异可以由其经核函数映射到再生希尔伯特空间中的两个点的内积来表征。内积的值越小，表明两个数据集越相似。

在一个实施例中，如图6所示，提供了一种模板相似性测度在合成数据集上的有效性验证结果示意图，其中，图6（a）为std=1时，双簇形训练数据的数据特征形状示意图，图6（b）为std=1时，测试数据相对训练数据的概率分布差异的变化趋势示意图，图6（c）为std=1.2时，双簇形测试数据的数据特征形状示意图，图6（d）为std=1.2时，测试数据相对训练数据的概率分布差异的变化趋势示意图，图6（e）为std=1.4时，双簇形测试数据的数据特征形状示意图,图6（f）为std=1.4时，测试数据相对训练数据的概率分布差异的变化趋势示意图。以双簇形数据为例构建训练数据和测试数据。图6(a)为训练数据，图6(c)和图6(e)为测试数据，通过增大双簇高斯分布数据的标准差，可以逐步调节训练数据和测试数据之间的相似度。方差越大，测试集中两类样本的重叠度越高，其相对训练数据的差异越明显，在模板相似性测度上对应表现为测度值越来越大。从数据可分性的角度分析，同时也对应于测试数据越来越不可分，体现了所提测度有效性。

在一个实施例中，基于信息空间理论计算每一加噪任务集相对于识别任务集的最大均值差异，得到每一加噪任务集对应的模板相似性测度包括：基于信息空间理论计算每一加噪任务集相对于识别任务集的最大均值差异，得到每一加噪任务集对应的模板相似性测度为：

，

其中，为第个加噪任务集相对识别任务集的模板相似性测度，为映射函数，为识别任务集，，为第个加噪任务集，，为再生希尔伯特空间。

在一个实施例中，以每一加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由性能评估指标到模型识别能力的映射模型的步骤，包括：根据每一加噪任务集对应的数据可分性测度和模板相似性测度，分别得到映射函数拟合后的倾斜率和右移率；根据每一加噪任务集对应的倾斜率、右移率以及待评估目标识别模型在对应加噪任务集上的性能评估指标，进行曲线拟合，得到由性能评估指标到模型识别能力的映射模型。具体函数拟合步骤如下：

观察曲线形状，确定拟合函数形式：本发明所采用拟合函数为sigmoid函数：

，

每一个识别任务对应一条拟合的任务曲线。具体地，对于识别任务，sigmoid函数中可用于拟合的样本点集为{（,）,…,（,）}，、、、为经非线性最小二乘法拟合后得到的曲线系数，分别表征了第条识别任务曲线的上限、下限、倾斜率及右移率。

验证可分性测度及模板相似性测度与函数系数、之间的相关性，接着以多项式形式由测度参数化表示系数，表示为：

，

。

将系数代入sigmoid函数中，即可得到以可分性测度及模板相似性测度为参数的由识别准确率到识别能力值的映射函数模型，该函数作为最终识别模型在噪声扰动的多任务识别场景的泛化性能评估模型：

。

在一个实施例中，方法还包括：建立每一真实环境信噪比分别与对应的性能评估指标、数据可分性测度和模板相似性测度之间的关系曲线，得到任务识别难度分别与性能评估指标、数据可分性测度和模板相似性测度之间的关系。

在一个实施例中，方法还包括：建立每一性能评估指标分别与对应的数据可分性测度和模板相似性测度之间的关系曲线，得到性能评估指标分别与数据可分性测度和模板相似性测度之间的关系。

在一个实施例中，在一个实施例中，如图7所示，提供了一种多任务识别场景示意图，方法还包括：获取预先设置的具有多个不同模型参数的待评估目标识别模型；根据每一模型参数下待评估目标识别模型在每一加噪任务集上对应的性能评估指标和映射模型，得到每一模型参数下待评估目标识别模型的识别能力值。在本实施例中，场景中以原始数据作为训练数据，通过向原始数据中加入噪声构建了16组信噪比范围（5dB-20dB）的测试数据集，形成基础的多任务识别环境。由所提数据可分性测度及模板相似性测度构成多任务识别环境的属性集合，并在该环境下测试了4种常见的机器学习模型：K-近邻、带高斯核支持向量机、线性支持向量机、线性回归方法，得到模型识别准确性评估指标集。最后利用T-SNE可视化工具分析了噪声对测试数据可分性及其相对训练数据相似程度的影响，定量分析了不同信噪比条件下，数据测度值及模型准确率的变化趋势，给出了数据测度值与模型准确率的相关性分析结果。

在一个实施例中，在根据每一模型参数下待评估目标识别模型在每一加噪任务集上对应的性能评估指标和映射模型，得到每一模型参数下待评估目标识别模型的识别能力值之后，包括：根据每一模型参数下待评估目标识别模型的识别能力值，选择识别能力最佳的目标评估模型执行目标识别任务。

在一个实施例中，待评估目标识别模型包括K-近邻、带高斯核支持向量机、线性支持向量机和线性回归方法。

在一个具体实施例中，如图2所示，提供了一种基于信息空间度量的目标识别模型性能评估方法的流程示意图，包括以下步骤：

S1构建数据可分性测度和模板相似性测度并在合成数据集上验证其有效性。

S1.1基于率失真理论构建数据可分性测度；

S1.2基于最大均值差异理论构建模板相似性测度；

S1.3在合成数据集上验证测度有效性。

构造包含有2类目标的合成数据集，每类目标具有1000个样本，2个特征维度。对于数据可分性测度，构造可分性较为直观的不同特征形状的数据集，运用数据可分性测度分析其可分性。对于模板相似性测度，构造两族高斯分布数据对应两类目标，对模板数据设置较小的特征方差，运用模板相似性测度分析特征方差变化时的两族高斯分布数据相对模板数据的相似度变化情况。

S2向已知的识别任务集加入不同功率的高斯白噪声模拟复杂的多任务识别环境，构建具有噪声扰动的加噪任务集，选择待评估识别模型，在加噪任务集上测试得到性能评估指标集。

S2.1根据真实识别环境中可能出现的信噪比范围设置加入数据集中的高斯白噪声方差；

S2.2进一步利用T-SNE可视化工具展现噪声对待识别数据集可分性的影响，以及随着信噪比的降低，加噪数据的特征分布相较原始数据的差异性变化程度，说明加噪可以在一定程度上模拟比较复杂的真实目标识别环境；

S2.3选择待评估识别模型，将已知的识别任务集作为训练集，一系列加噪数据集{}作为测试集，由蒙特卡洛仿真法可以消除噪声不确定性，得到一组较为稳定的识别准确率构成性能评估指标集[]。

S3 基于信息空间理论定量分析测试集的可分性以及测试集相对训练集的相似性构成数据特性集，建立其与评估指标集的关系曲线，再次验证测度有效性。

S3.1在构建的噪声扰动场景中，分析加噪任务集{}的可分性，重复S1.1，得到数据可分性属性集[]；

S3.2在构建的噪声扰动场景中，以原始数据为源域数据，加噪任务集{}为目标域数据，有分析测试集相对训练集的相似程度，重复S1.2，得到模板相似性属性集[]；

S3.3建立分别到[]、[]、[]的关系曲线，分析环境噪声对识别准确率及数据特性的影响；

S3.4建立[]分别到[]、[]的关系曲线，分析数据特性对模型识别准确率的影响。

S4以数据可分性测度[]和模板相似性测度[]为参数，构建由识别准确率[]到模型识别能力值的映射模型。

S4.1给出映射模型成立的假设条件。

S4.1.1对于不同难度的任务，固定参数的同种分类器在不同任务上表现出不同的识别准确率；

S4.1.2对于同一数据集，固定参数的同种分类器在该数据集上表现出一致的识别能力值；

S4.1.3对于不同参数设置的同种分类器，由准确率可以推测各参数分类器的相对能力值。

S4.2对一个基准识别模型进行调参得到模型集。

本发明使用线性支持向量机（Linear Support Vector Machine，LSVM）作为基准识别模型，调节该识别模型中的正则项系数，的取值从0.01到1均匀取30个值，对应可得到包含30个识别模型的模型集合。

S4.3本发明选择雷达高分辨距离像数据集作为已知的识别任务集，重复S2.1得到加噪任务集{}，重复S3.1-S3.2，得到数据属性集[]、[]。针对模型集中的每一个模型，重复S2.3得到多组性能评估指标集，每一参数下的模型在16个识别任务上得到16个识别准确率，即每一模型分别对应一组评估指标集，同时验证S4.1.1。

S4.4对于评估模型集中的模型，依照在最高信噪比的识别任务上的识别准确率高低进行排序，由排序结果，根据S4.1.3预先给定模型集的识别能力值[]，的取值从0到1均匀取30个值。由S4.1.2此时模型集中的每一模型所对应的一组识别准确率都将映射到唯一的识别能力值上。

S4.5模型经给定能力值排序后，模型集中的所有模型在单个识别任务上的识别准确率呈现出一定的变化趋势，该趋势在一定程度上反映所有模型在该任务上识别准确率的上下限以及识别任务的难易程度。接着利用参数化的函数拟合方法，以可分性测度、模板相似性测度为参数，建立由识别准确率到识别能力值的映射模型。

S5在误差允许的范围内，使用识别性能评估模型给出带高斯核的支持向量机（Gaussian Support Vector Machine, GSVM）识别模型识别能力值，定量分析模型抗噪性能。

S5.1设置GSVM识别模型的正则项系数分别为0.01、0.04、0.1、0.3构成待评估模型集合{}；

S5.3对模型{}，重复S4.3，得到4组性能评估指标集；

S5.4将评估指标集中的数值按行分别代入拟合的16个映射函数模型，在误差允许的范围内，即可得到较为一致的识别能力值[]，最终得到识别模型在噪声扰动的多任务场景下智能化水平的定量评估结果。

在一个实施例中，在三个公开的分类数据集上搭建多任务识别场景，对场景中各因素集相关性分析。数据集包含目标类别：8类小鼠、3类鸢尾花、2类癌症。并测试了三个数据集原始训练数据、5dB加噪测试数据和20dB加噪测试数据的T-SNE可视化结果，直观地可以观察得到结论：随着信噪比的增加，测试数据的可分性是逐渐增强的，其相对训练数据也更加相似，推测表现在测度值上对应有数据可分性和模板相似性测度值均随着测试数据信噪比的增加而逐渐降低。由于数据可分性测度和模板相似性测度在一定程度上标定了识别任务难度，两个测度的值越大，则对应有识别任务越难，识别模型在该任务上的识别准确率也将越低，为下一步建立模型识别能力评估模型提供了有力的支撑。

在一个实施例中，如图8所示，提供了一种模型识别能力评估模型构建流程图，图中展现了实施该方法的步骤及过程。步骤I为构建具有噪声扰动的多任务识别场景。在该场景下，步骤II选择LSVM模型作为基准模型，通过调节模型损失函数中正则项系数以得到基准模型集合，经加噪任务集合{}测试得到多组识别准确性评估指标集[] ，。步骤III中以识别准确率为依据进行排序，即可预先标定基准模型集中各参数模型的相对能力值[]，步骤III的图框中给出了用于拟合的样本点。步骤IV中使用Sigmoid函数拟合步骤III中得到的样本点{（,）,…,（,）}得到任务曲线，在任务曲线中，用分别表示曲线上下限，分别表示倾斜率及右移率，越小，说明在相同识别能力值上得到的识别准确率越小，表明该任务越难。由图7中数据可分性测度与模板相似性测度可以用来描述识别任务难度的结论，步骤V通过以的多项式形式表示的参数化的方式，从而定量地向评估模型中加入了由数据属性表示的任务难度信息，随着的增加，逐渐减小，对应任务曲线形状逐渐变缓，曲线中心位置更靠左，对应任务越难，体现了以为参数构建评估模型的合理性。步骤VI使用评估模型评估了4种参数下的GSVM模型的识别能力，将其在测试任务集上的识别准确率代入评估模型，经函数映射即可得到各模型对应的识别能力值。

在一个实施例中，如图9所示，提供了一种模型识别性能评估模型及测试模型识别性能评估结果的展示界面。设计的界面中，排序结果为由基准模型集合得到的用于拟合评估模型的样本点集；拟合结果为以测度为参数，模型识别准确率到识别能力值的映射函数拟合结果及测试模型在其该评估模型上的能力值评估结果；界面中的表格给出了数据测度及在不同难度系数的任务下的量化结果，可以辅助更为精确地掌握所识别任务的属性，为预测识别模型的识别上限提供一定的依据。由拟合结果总结该评估模型的优势：(1)、每一条任务曲线形状直观地展现了识别任务的难度，即上下限、倾斜率及右移率越小的曲线所对应的任务越难；(2)、模型在一组数据集上的识别准确率经评估模型可以映射到一个较为一致的识别能力值上，该能力值作为模型的固有属性存在，在误差允许的范围内基本不随着识别任务的不同而变化；(3)、模型在不同难度的识别任务上的识别准确率依据任务难度被赋予了一定的权重，这使得即使两种模型分别在两个数据集上进行测试，将得到的识别准确率代入评估模型，模型也将结合任务难度属性给出模型性能对比结果，评估结果适用于多任务识别场景，实现了跨任务的模型性能对比过程。在本实施例中，本发明有效地将包含在数据中的识别难度信息融合进模型识别性能评估模型，基于信息空间度量理论提出数据可分性测度与模板相似性测度对识别难度进行了量化，使得模型在不同的数据集上得到的识别准确率在考虑任务难度的意义下在评估模型上仍能表现出可比性。本发明有效解决了模型在多个测试数据集上识别准确性能高低表现不一致，各模型间性能比较界限模糊不清的问题，为评估识别模型的泛化性能提供了新思路，可用于指导识别模型的优化与选择，具有较高的工程应用价值。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，提供了一种基于信息空间度量的目标识别模型性能评估装置，包括：任务解析模块1002、测度计算模块1004、指标获取模块1006和性能评估模块1008，其中：

任务解析模块1002，用于解析预先设置的目标识别任务，得到待评估目标识别模型、当前任务场景下的识别任务集以及对识别任务集进行系列加噪后的多个加噪任务集；所述识别任务集包括待识别目标的多个雷达回波信号；

测度计算模块1004，用于基于信息空间理论计算预设精度下对每一加噪任务集中各雷达回波信号进行编码的最小二进制比特数，得到每一加噪任务集对应的数据可分性测度，基于信息空间理论计算每一加噪任务集相对于识别任务集的最大均值差异，得到每一加噪任务集对应的模板相似性测度；

指标获取模块1006，用于根据待评估目标识别模型在每一加噪任务集上进行目标识别的识别准确率，得到待评估目标识别模型对应的性能评估指标；

性能评估模块1008，用于以每一加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由性能评估指标到模型识别能力的映射模型，根据映射模型对待评估目标识别模型进行识别能力评估，得到识别能力值。

在其中一个实施例中，性能评估模块1008还用于根据每一加噪任务集对应的数据可分性测度和模板相似性测度，分别得到映射函数拟合后的倾斜率和右移率；根据每一加噪任务集对应的倾斜率、右移率以及待评估目标识别模型在对应加噪任务集上的性能评估指标，进行曲线拟合，得到由性能评估指标到模型识别能力的映射模型。

在其中一个实施例中，测度计算模块1004还用于基于信息空间理论计算每一加噪任务集相对于识别任务集的最大均值差异，得到每一加噪任务集对应的模板相似性测度为：

，

其中，为第个加噪任务集相对识别任务集的模板相似性测度，为映射函数，为识别任务集，，为第个加噪任务集，，为再生希尔伯特空间。

在其中一个实施例中，任务解析模块1002还用于根据真实环境信噪比范围和识别任务集中每一回波信号的功率，得到所述真实环境信噪比范围下每一真实环境信噪比对应的噪声方差；利用每一噪声方差的高斯白噪声，对所述识别任务集进行系列加噪，得到多个加噪任务集。

在其中一个实施例中，还用于建立每一真实环境信噪比分别与对应的性能评估指标、数据可分性测度和模板相似性测度之间的关系曲线，得到任务识别难度分别与性能评估指标、数据可分性测度和模板相似性测度之间的关系。

在其中一个实施例中，还用于建立每一性能评估指标分别与对应的数据可分性测度和模板相似性测度之间的关系曲线，得到性能评估指标分别与数据可分性测度和模板相似性测度之间的关系。

在其中一个实施例中，还用于获取预先设置的具有多个不同模型参数的待评估目标识别模型；根据每一模型参数下待评估目标识别模型在每一加噪任务集上对应的性能评估指标和映射模型，得到每一模型参数下待评估目标识别模型的识别能力值。

在其中一个实施例中，还用于根据每一模型参数下待评估目标识别模型的识别能力值，选择识别能力最佳的目标评估模型执行所述目标识别任务。

在其中一个实施例中，还用于所述待评估目标识别模型包括K-近邻、带高斯核支持向量机、线性支持向量机和线性回归方法。

关于基于信息空间度量的目标识别模型性能评估装置的具体限定可以参见上文中对于基于信息空间度量的目标识别模型性能评估方法的限定，在此不再赘述。上述基于信息空间度量的目标识别模型性能评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于信息空间度量的目标识别模型性能评估方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于信息空间度量的目标识别模型性能评估方法，其特征在于，所述方法包括：

解析预先设置的目标识别任务，得到待评估目标识别模型、当前任务场景下的识别任务集以及对所述识别任务集进行系列加噪后的多个加噪任务集；所述识别任务集包括待识别目标的多个雷达回波信号；

基于信息空间理论计算预设精度下对每一所述加噪任务集中各雷达回波信号进行编码的最小二进制比特数，得到每一所述加噪任务集对应的数据可分性测度，基于信息空间理论计算每一所述加噪任务集相对于所述识别任务集的最大均值差异，得到每一所述加噪任务集对应的模板相似性测度；

根据所述待评估目标识别模型在每一所述加噪任务集上进行目标识别的识别准确率，得到待评估目标识别模型对应的性能评估指标；

以每一所述加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由所述性能评估指标到模型识别能力的映射模型，根据所述映射模型对待评估目标识别模型进行识别能力评估，得到识别能力值；

所述基于信息空间理论计算每一所述加噪任务集相对于所述识别任务集的最大均值差异，得到每一所述加噪任务集对应的模板相似性测度包括：

基于信息空间理论计算每一所述加噪任务集相对于所述识别任务集的最大均值差异，得到每一所述加噪任务集对应的模板相似性测度为：

，

其中，为第个加噪任务集相对识别任务集的模板相似性测度，为映射函数，为识别任务集，，为第个加噪任务集，，为再生希尔伯特空间。

2.根据权利要求1所述的方法，其特征在于，所述以每一所述加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由所述性能评估指标到模型识别能力的映射模型的步骤，包括：

根据每一所述加噪任务集对应的数据可分性测度和模板相似性测度，分别得到映射函数拟合后的倾斜率和右移率；

根据每一所述加噪任务集对应的倾斜率、右移率以及所述待评估目标识别模型在对应加噪任务集上的性能评估指标，进行曲线拟合，得到由所述性能评估指标到模型识别能力的映射模型。

3.根据权利要求1所述的方法，其特征在于，对所述识别任务集进行系列加噪后的多个加噪任务集的步骤，包括：

根据真实环境信噪比范围和所述识别任务集中每一回波信号的功率，得到所述真实环境信噪比范围下每一真实环境信噪比对应的噪声方差；

利用每一所述噪声方差的高斯白噪声，对所述识别任务集进行系列加噪，得到多个加噪任务集。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

建立每一真实环境信噪比与对应的性能评估指标之间的关系曲线，得到任务识别难度与性能评估指标之间的关系；

建立每一真实环境信噪比与对应的数据可分性测度之间的关系曲线，得到任务识别难度与数据可分性测度之间的关系；

建立每一真实环境信噪比与对应的模板相似性测度之间的关系曲线，得到任务识别难度与模板相似性测度之间的关系。

5.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

建立每一性能评估指标与对应的数据可分性测度之间的关系曲线，得到性能评估指标与数据可分性测度之间的关系；

建立每一性能评估指标与对应的模板相似性测度之间的关系曲线，得到性能评估指标与模板相似性测度之间的关系。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取预先设置的具有多个不同模型参数的所述待评估目标识别模型；

根据每一模型参数下待评估目标识别模型在每一所述加噪任务集上对应的性能评估指标和所述映射模型，得到每一模型参数下待评估目标识别模型的识别能力值。

7.根据权利要求6所述的方法，其特征在于，在根据每一模型参数下待评估目标识别模型在每一所述加噪任务集上对应的性能评估指标和所述映射模型，得到每一模型参数下待评估目标识别模型的识别能力值之后，包括：

根据每一模型参数下待评估目标识别模型的识别能力值，选择识别能力最佳的目标评估模型执行所述目标识别任务。

8.根据权利要求1所述的方法，其特征在于，所述待评估目标识别模型包括K-近邻、带高斯核支持向量机、线性支持向量机和线性回归方法。

9.一种基于信息空间度量的目标识别模型性能评估装置，其特征在于，所述装置包括：

任务解析模块，用于解析预先设置的目标识别任务，得到待评估目标识别模型、当前任务场景下的识别任务集以及对所述识别任务集进行系列加噪后的多个加噪任务集；所述识别任务集包括待识别目标的多个雷达回波信号；

测度计算模块，用于基于信息空间理论计算预设精度下对每一所述加噪任务集中各雷达回波信号进行编码的最小二进制比特数，得到每一所述加噪任务集对应的数据可分性测度，基于信息空间理论计算每一所述加噪任务集相对于所述识别任务集的最大均值差异，得到每一所述加噪任务集对应的模板相似性测度；

指标获取模块，用于根据所述待评估目标识别模型在每一所述加噪任务集上进行目标识别的识别准确率，得到待评估目标识别模型对应的性能评估指标；

性能评估模块，用于以每一所述加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由所述性能评估指标到模型识别能力的映射模型，根据所述映射模型对待评估目标识别模型进行识别能力评估，得到识别能力值；

测度计算模块，还用于基于信息空间理论计算每一所述加噪任务集相对于所述识别任务集的最大均值差异，得到每一所述加噪任务集对应的模板相似性测度为：

，

其中，为第个加噪任务集相对识别任务集的模板相似性测度，为映射函数，为识别任务集，，为第个加噪任务集，，为再生希尔伯特空间。

Images