CN114049569A - 一种深度学习模型性能评价方法及系统 - Google Patents

Abstract

本发明涉及一种深度学习模型性能评价方法及系统，首先分别获取真实标签与预测结果中的连通图斑，然后根据空间位置关系对这些连通图斑信息进行校准，并根据校准后的连通图斑信息计算真实标签与预测结果的连通图斑序列的相似度，最后根据该相似度评价深度学习模型性能。本发明以连通图斑为粒度，聚焦空间位置和空间关系，以标记图像和预测图像的连通序列相似程度来进行模型性能的评价，从而能够直接反映预测结果在空间几何特征上的保持情况。

Description

一种深度学习模型性能评价方法及系统

技术领域

本发明涉及深度学习赋能遥感解译和测绘生产领域，特别是涉及一种基于遥感地物图斑连通性的深度学习语义分割模型性能评价方法及系统。

背景技术

现有深度学习语义分割模型性能的评价体系是面向像素粒度，在深度学习应用于测绘生产和遥感解译的工作中，准确度、精确度、召回率和交并比等现有模型评价指标无法直接反映预测结果在空间几何特征上的保持情况，如建筑聚集成块，道路保持带状连通等，从而难以客观地判断预训练模型是否满足遥感解译和测绘生产的实际需求。

因此，本领域亟需一种基于遥感地物图斑连通性的深度学习模型性能评价方案。

发明内容

本发明的目的是提供一种深度学习模型性能评价方法及系统，以连通图斑为粒度，聚焦空间位置和空间关系，以标记图像和预测图像的连通序列相似程度来进行模型性能的评价，解决了现有模型评价指标无法直接反映预测结果在空间几何特征上的保持情况的问题。

为实现上述目的，本发明提供了如下方案：

一种深度学习模型性能评价方法，所述方法包括：

获取第一连通图斑以及第二连通图斑，所述第一连通图斑从真实标签中提取得到，所述第二连通图斑从所述真实标签对应的预测结果中提取得到；所述预测结果包括每个Epoch模型的预测结果；深度学习模型的每一个训练时期为1个Epoch模型；

分别提取所述第一连通图斑以及所述第二连通图斑的轮廓信息和图斑内像素点的总数量，分别得到标准标记连通序列A和预测连通序列集合B；所述预测连通序列集合B包含若干个预测连通序列B_k；B_k表示第k个Epoch模型对应的预测连通序列；每个所述预测连通序列B_k包含一个Epoch模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数量；

根据所述标准标记连通序列A对所述预测连通序列集合B中的每个预测连通序列B_K进行空间校准，得到校准连通序列集合C；所述校准连通序列集合C包括若干个校准连通序列C_K，每个所述校准连通序列C_K由一个预测连通序列B_K空间校准得到；

计算所述标准标记连通序列A中的第i个元素a _i 与所述校准连通序列集合C中的校准连通序列C_K中的第j个元素c _j 的欧式距离；

构建m×n的相似性矩阵P，所述相似性矩阵P中的元素P(i,j)为distance(a _i ,c _j )；其中，m为所述标准标记连通序列A中的元素总数，n为所述校准连通序列C_K中的元素总数；

以相似性矩阵P中目标对角线两端的元素分别为起点和终点，所述目标对角线为主对角线或副对角线，依次从起点至终点搜索出一条路径，在搜索过程中，每一步均搜索前进方向上元素值最小的元素；

将所述路径上的所有元素相加得到所述标准标记连通序列A与所述校准连通序列C_K的相似度；

遍历所述校准连通序列集合C中的所有校准连通序列C_K，得到相似度集合；

根据所述相似度集合评价深度学习模型。

在一些实施例中，所述第一连通图斑包括一个或多个像素，同一第一连通图斑中像素的像素值相同，且当所述第一连通图斑具有多个像素时，所述第一连通图斑中，任一像素在水平方向或垂直方向上具有相邻像素；

所述第二连通图斑包括一个或多个像素，同一第二连通图斑中像素的像素值相同，且当所述第二连通图斑具有多个像素时，所述第二连通图斑中，任一像素在水平方向或垂直方向上具有相邻像素。

在一些实施例中，所述获取第一连通图斑以及第二连通图斑，所述第一连通图斑从真实标签中提取得到，所述第二连通图斑从所述真实标签对应的预测结果中提取得到；所述预测结果包括每个Epoch模型的预测结果，具体包括：

采用四邻域两遍扫描法，由左向右、由上向下对真实标签与每个Epoch模型预测结果进行逐行扫描搜索，得到若干个第一连通图斑和若干个第二连通图斑。

在一些实施例中，所述分别提取所述第一连通图斑以及所述第二连通图斑的轮廓信息和图斑内像素点的总数量，分别得到标准标记连通序列A和预测连通序列集合B；所述预测连通序列集合B包含若干个预测连通序列B_k；B_k表示第k个Epoch模型对应的预测连通序列；每个所述预测连通序列B_k包含一个Epoch模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数量，具体包括：

提取所述第一连通图斑的轮廓信息和图斑内像素点的总数量，得到标准标记连通序列A；

提取一个所述Epoch模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数量，得到一个预测连通序列B_k；

遍历所有所述Epoch模型的预测结果对应的第二连通图斑得到预测连通序列集合B。

在一些实施例中，所述根据所述标准标记连通序列A对所述预测连通序列集合B中的每个预测连通序列B_K进行空间校准，得到校准连通序列集合C，具体包括：

根据空间相交位置关系确定所述标准标记连通序列A中的连通图斑与所述预测连通序列集合B中的每个预测连通序列B_K中连通图斑的空间对应关系；

将所述预测连通序列B_K中与所述标准标记连通序列A具备空间相交位置关系的连通图斑按照所述标准标记连通序列A的索引顺序重新排列，不具备空间相交位置关系的连通图斑作为冗余删除，得到校准连通序列C_K；

遍历所有所述预测连通序列B_K，得到校准连通序列集合C。

在一些实施例中，所述根据所述相似度集合评价深度学习模型，具体包括：

根据所述相似度集合计算连通相似性指数；所述连通相似性指数的值越大表示所述深度学习模型预测结果的连通性保持越好。

在一些实施例中，所述根据所述相似度集合计算连通相似性指数，具体包括：

根据所述相似度集合利用整合映射公式计算连通相似性指数；所述整合映射公式为：

；其中，d_k表示相似度，d_min表示所述相似度集合中所有相似度的最小值；d_max表示所述相似度集合中所有相似度的最大值，d_{k_csim}表示连通相似性指数值。

本发明还提供了一种深度学习模型性能评价系统，所述系统包括：

连通图斑识别单元，用于获取第一连通图斑以及第二连通图斑，所述第一连通图斑从真实标签中提取得到，所述第二连通图斑从所述真实标签对应的预测结果中提取得到；所述预测结果包括每个Epoch模型的预测结果；深度学习模型的每一个训练时期为1个Epoch模型；

连通序列划分单元，用于分别提取所述第一连通图斑以及所述第二连通图斑的轮廓信息和图斑内像素点的总数量，分别得到标准标记连通序列A和预测连通序列集合B；所述预测连通序列集合B包含若干个预测连通序列B_k；B_k表示第k个Epoch模型对应的预测连通序列；每个所述预测连通序列B_k包含一个Epoch模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数量；

空间校准单元，用于根据所述标准标记连通序列A对所述预测连通序列集合B中的每个预测连通序列B_K进行空间校准，得到校准连通序列集合C；所述校准连通序列集合C包括若干个校准连通序列C_K，每个所述校准连通序列C_K由一个预测连通序列B_K空间校准得到；

距离计算单元，用于计算所述标准标记连通序列A中的第i个元素a _i 与所述校准连通序列集合C中的校准连通序列C_K中的第j个元素c _j 的欧式距离；

相似性矩阵构建单元，用于构建m×n的相似性矩阵P，所述相似性矩阵P中的元素P(i,j)为distance(a _i ,c _j )；其中，m为所述标准标记连通序列A中的元素总数，n为所述校准连通序列C_K中的元素总数；

路径搜索单元，用于以相似性矩阵P中目标对角线两端的元素分别为起点和终点，所述目标对角线为主对角线或副对角线，依次从起点至终点搜索出一条路径，在搜索过程中，每一步均搜索前进方向上元素值最小的元素；

相似度计算单元，用于将所述路径上的所有元素相加得到所述标准标记连通序列A与所述校准连通序列C_K的相似度；

相似度集合获取单元，用于遍历所述校准连通序列集合C中的所有校准连通序列C_K，得到相似度集合；

评价单元，用于根据所述相似度集合评价深度学习模型。

在一些实施例中，所述根据所述相似度集合评价深度学习模型，具体包括：

根据所述相似度集合计算连通相似性指数；所述连通相似性指数的值越大表示所述深度学习模型预测结果的连通性保持越好。

在一些实施例中，所述根据所述相似度集合计算连通相似性指数，具体包括：

根据所述相似度集合利用整合映射公式计算连通相似性指数；所述整合映射公式为：

；其中，d_k表示相似度，d_min表示所述相似度集合中所有相似度的最小值；d_max表示所述相似度集合中所有相似度的最大值，d_{k_csim}表示连通相似性指数值。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的深度学习模型性能评价方法及系统，首先分别获取真实标签与预测结果中的连通图斑，然后根据空间位置关系对这些连通图斑信息进行校准，并根据校准后的连通图斑信息计算真实标签与预测结果的连通图斑序列的相似度，最后根据该相似度评价深度学习模型性能。本发明以连通图斑为粒度，聚焦空间位置和空间关系，以标记图像和预测图像的连通序列相似程度来进行模型性能的评价，从而能够直接反映预测结果在空间几何特征上的保持情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的真实标签与预测结果对比示意图。

图2为本发明提供的模型性能评价方法对比示意图。

图3为本发明实施例一提供的深度学习模型性能评价方法流程图。

图4为本发明实施例一提供的扫描得到的连通图斑示意图。

图5为本发明实施例一提供的空间校准示意图。

图6为本发明实施例一提供的动态连通区规整示意图。

图7为本发明实施例二提供的深度学习模型性能评价系统的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种深度学习模型性能评价方法及系统，在充分考虑像素分类是否正确的基础上，以连通图斑为粒度，聚焦空间位置和空间关系，以标记图像和预测图像的连通序列相似程度来进行模型性能的评价，解决了现有模型评价指标无法直接反映预测结果在空间几何特征上的保持情况的问题。

本发明基于遥感地物图斑连通性，是在地物连通的基础上来判断真实标签与预测结果之间的差异程度，从而评价模型性能。通俗的讲，用这种评价方法选择出来的模型去预测，预测结果图斑会更加聚集，不那么琐碎。

深度学习语义分割是面向像素级别的分类体系，评价指标建立在表征影像预测分类结果的情形分析表即混淆矩阵的基础上，混淆矩阵的元素是预测分类结果的统计值。

表1 混淆矩阵解析

常用指标有准确度、精度、召回率和交并比等。其中准确度Accuracy表示前景与背景像素值的准确率，精确度Precision表示“正确被预测为正”占“实际被预测为正”的比值，召回率Recall表示“正确被预测为正”占“应该被预测为正”的比值，交并比IoU表示对前景预测结果和真实值的交集与并集的比值。

；

；

；

。

由于现有深度学习语义分割模型性能的评价体系是面向像素粒度，在深度学习应用于测绘生产和遥感解译的工作中，准确度、精确度、召回率和交并比等现有模型评价指标无法直接反映预测结果在空间几何特征上的保持情况，如建筑聚集成块，道路保持带状连通等，从而难以客观地判断预训练模型是否满足遥感解译和测绘生产的实际需求。因此，单一地依靠像素是否被正确标记的准则来选择模型无法更好地适用于遥感解译和测绘生产应用领域。

请参阅图1，图1描述了深度学习语义分割预测结果中可能存在的情况，其中图1中的a表示真实标签，共有8×8个格网，每个格网代表一个像素，共64个像素，其中黑色格网表示遥感地物的像素，共32个像素。经过深度学习神经网络训练后得到具备识别该遥感地物能力的预训练模型，对新的遥感影像进行预测，可能得到三类结果：图1中的b预测的遥感地物轮廓完整，图1中的c遥感地物轮廓不完整，但是地物的空间位置保持地较为完整，图1中的d遥感地物部分像素虽然预测正确，但完整性极差。

经过对准确度、精确度、召回率和交并比指标的计算，发现同一种评价指标针对三种预测结果的评价值相同。

表2 现有评价指标结果

从现有的遥感解译后处理的角度来讲，图1中的b经过空洞填充可以达到较为理想的结果，图1中的c经过小图斑过滤可以较好的保留空间位置，而图1中的d的结果几乎没有实用价值，所以期望结果的顺序应该为：图1中的b>图1中的c>图1中的d中。综上，在遥感应用场景的特殊需求下，常规评价方法就很难满足要求，现有评价指标已经无法有效指导评价遥感地物的真实识别质量，也无法指导训练模型的最优选取。

在现有指标体系中，针对模型的预测效果而言，混淆矩阵中的TP与TN的数量越大时，分类结果是越准确的，相反，若想得到较高的分类精确性，FP与FN的数量就需要越少。常用的评价指标是将混淆矩阵中数量的统计分析结果转化为0-1之间的比率，便于进行标准化的衡量。因此，现有的指标体系仅仅只是基于像素分类是否正确的准则进行模型性能的评价，而本发明在充分考虑像素分类是否正确的基础上，以连通图斑为粒度，聚焦空间位置和空间关系，以标记图像和预测图像的连通序列相似程度来进行模型性能的评价。

面向智能遥感解译应用，本发明旨在提供一种基于遥感地物图斑连通性的深度学习语义分割模型性能评价的方法——连通相似性指数CSIM（Connectivity Similarity）,用于定量描述面向遥感解译结果的深度学习语义分割模型预测质量，以解决现有评价方法中无法顾及地物图斑连通性的问题，实现深度学习语义分割模型在遥感解译质量维度上的性能评价。如图2所示，现有评价指标随着训练时期的推移难以体现出性能差异，无法有效地进行模型性能的评价，而本发明评价指标在训练过程中，特别在训练末期，CSIM指数差异性明显，可以有效地评价模型性能。

本发明评价方法的主要思路是：在深度学习语义分割模型训练若干时期（

，深度学习的每一次训练为1个Epoch，具体看训练次数，k表示第几个Epoch，y表示Epoch总数）中，以预测结果和真实标签中的连通图斑为评价对象，聚焦连通图斑的统计学特征，以空间关系为关联条件，计算预测结果与真实结果的近似程度，从而评价模型的遥感语义分割性能。评价方法主要计算步骤分为连通图斑识别、连通图斑特征提取、连通序列空间校准、连通图斑相似度评价和连通相似性指数计算五部分内容。数据输入为同一区域若干个Epoch模型的预测结果标签和唯一的标准真实标签，数据输出为若干个Epoch的连通相似性指数（CSIM）。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一：

如图3所示，本实施例提供了一种深度学习模型性能评价方法，该方法包括：

S1、获取第一连通图斑以及第二连通图斑，所述第一连通图斑从真实标签中提取得到，所述第二连通图斑从所述真实标签对应的预测结果中提取得到。所述预测结果包括每个Epoch模型的预测结果。所述连通图斑包括一个或多个像素，同一连通图斑中像素的像素值相同，且当所述连通图斑具有多个像素时，所述连通图斑中，任一像素在水平方向或垂直方向上具有相邻像素。深度学习模型的每一个训练时期为1个Epoch模型。

获取第一连通图斑以及第二连通图斑的方法可为：采用四邻域两遍扫描法，由左向右、由上向下对深度学习模型的真实标签与每个Epoch模型预测结果进行逐行扫描搜索，得到若干个第一连通图斑和若干个第二连通图斑。

所述第一连通图斑包括一个或多个像素，同一第一连通图斑中像素的像素值相同，且当所述第一连通图斑具有多个像素时，所述第一连通图斑中，任一像素在水平方向或垂直方向上具有相邻像素。

所述第二连通图斑包括一个或多个像素，同一第二连通图斑中像素的像素值相同，且当所述第二连通图斑具有多个像素时，所述第二连通图斑中，任一像素在水平方向或垂直方向上具有相邻像素。

通俗来讲，本实施例中在深度学习语义分割的真实标签与预测结果中，定义水平与垂直方向上像素值相同的相邻像素集合为连通图斑。连通图斑识别采用四邻域两遍扫描法(Two-Pass)，由左向右、由上向下对真实标签与预测结果进行逐行扫描搜索，将同一连通区域的所有像素点标记同一连通索引值，并按照索引顺序依次存入序列中，扫描完成后得到一个标记了所有连通图斑像素集合的连通序列。如图4所示，经过连通图斑识别将会得到6、7和8三个连通图斑序列。扫描真实标签得到的连通序列作为第一连通图斑，扫描真实标签对应的预测结果得到的连通序列作为第二连通图斑。

S2、分别提取所述第一连通图斑以及所述第二连通图斑的轮廓信息和图斑内像素点的总数量，分别得到标准标记连通序列A和预测连通序列集合B；所述预测连通序列集合B包含若干个预测连通序列B_k；B_k表示第k个Epoch模型对应的预测连通序列；每个所述预测连通序列B_k包含一个Epoch模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数量。

具体的：

提取所述第一连通图斑的轮廓信息和图斑内像素点的总数量，得到标准标记连通序列A；

，其中a _i 表示第i个连通图斑的轮廓信息和像素点总数量的二元组，m表示标准标记连通序列中连通图斑的总数。

提取一个所述Epoch模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数量，得到若干个预测连通序列B_k；

，其中b _h 表示第h个连通图斑的轮廓信息和像素点总数量的二元组，l表示预测连通序列B_k中连通图斑的总数。

遍历所有所述Epoch模型的预测结果对应的第二连通图斑得到预测连通序列集合B，

，其中B_k表示第k个Epoch模型的预测连通序列，y表示Epoch模型总数。遍历完成得到一个记录所有连通对象的特征信息的预测连通序列集合，这样，每个预测连通序列都记录一个Epoch模型的连通特征统计信息。

S3、根据所述标准标记连通序列A对所述预测连通序列集合B中的每个预测连通序列B_K进行空间校准，得到校准连通序列集合C；所述校准连通序列集合C包括若干个校准连通序列C_K，每个所述校准连通序列C_K由一个预测连通序列B_K空间校准得到。

由于连通图斑识别是逐行扫描，因此上述步骤S2中的连通序列是按照识别连通图斑的先后顺序存储，而遥感地物的标准真实图斑和预测结果图斑往往存在差异，这就导致标准真实标签的连通序列A和预测结果标签的连通序列B_K中的顺序难以保持近似的对应关系。

为了保证连通序列A和B_K匹配最优性，本实施例采用空间相交位置关系确定标准标记连通序列A中的每个连通图斑与预测连通序列B_K中连通图斑的空间对应关系，将预测连通序列B_K中与所述标准标记连通序列A具备空间相交位置关系的连通图斑按照所述标准标记连通序列A的索引顺序重新排列，不具备空间相交位置关系的连通图斑作为冗余删除，得到经过去冗处理与空间校准的校准连通序列C_K，

，其中C _j 表示第j个经过空间校准之后的连通图斑的信息，n表示校准之后的连通图斑的总数，得到校准连通序列集合C，

，其中C_k表示第k个Epoch模型经过空间校准之后的校准连通序列，y表示Epoch模型总数。

针对标准标记连通序列A和预测连通序列集合B的连通序列空间校准计算具体方法如下:

定义：标准标记连通序列

，计m个连通图斑；预测结果标签连通序列

，计l个连通图斑。

步骤S3.1：遍历标准标记连通序列A，获取连通图斑a _i 轮廓特征，其结果为连通图斑边界像素坐标集合。

步骤S3.2：遍历预测结果连通序列集合

，计算与a _i 轮廓位置空间相交的预测结果连通序列B_K，获取目标图斑序列，将目标图斑序列按新顺序添加至新的连通序列C_k，预测连通序列B_K中无法与标准标记连通序列A产生空间关系的连通图斑作为冗余删除，不再在序列C_k中保留，例如在图5中序列B_k中的连通图斑b₂将被作为冗余图斑删除；

步骤S3.3：重复步骤S3.1和S3.2，直至预测连通序列集合遍历完成。将B中剩余的连通图斑剔除。输出预测结果连通序列完成空间校准的校准连通序列集合

。

空间校准完成以后，计算连通序列的相似度。

评估标准标记连通序列A和空间校准后的校准连通序列C_k的相似性，若使用常规类似欧氏距离的方法，由于连续序列的一对多的关系，评价结果无法符合实际认知。

如果匹配时，在连通区序列上容许连通区上的伸缩变形，匹配效果会大大增强。因此，设计动态连通区规整模型，允许数据在连通区轴上伸缩变形的匹配方式。在进行两个序列匹配时，序列中的点不再是一一对应关系，而是有一对一、一对多和多对一的不同映射。这种连通序列上的扭曲通过使得序列之间总体的距离最小化来实现，具体而言，动态连通区规整通过动态规划的方式来获得两个连通序列的对应关系，求得序列之间的最小距离，如图6所示。

对于标准标记连通序列A和校准连通序列集合C，其中

，序列长度分别

，

，则A和C_k连通序列之间的相似度计算方法如下述步骤所示：

S4、计算所述标准标记连通序列A中的第i个元素a _i 与所述校准连通序列集合C中的校准连通序列C_K中的第j个元素c _j 的欧式距离distance(a _i ,c _j )，

。

S5、构建m×n的相似性矩阵P，所述相似性矩阵P中的元素P(i,j)为distance(a _i ,c _j )；其中，m为所述标准标记连通序列A中的元素总数，n为所述校准连通序列C_K中的元素总数。

S6、以相似性矩阵P中目标对角线两端的元素分别为起点和终点，所述目标对角线为主对角线或副对角线，依次从起点至终点搜索出一条路径，在搜索过程中，每一步均搜索前进方向上元素值最小的元素。

举例说明，以相似性矩阵P的左上角（1,1）为搜索起点，右下角（m,n）为终点，第一次搜索时以（1,1）为目标点，搜索（2,1）、（1,2）和（2,2）三个元素中元素值最小的元素，然后移动至该元素值最小的元素，以该元素值最小的元素为目标点继续搜索，每一次均搜索目标点（i,j）的右方（i+1,j）、下方（i,j+1）和右下方（i+1,j+1），三个元素中元素值最小的元素，然后移动至向所述元素值最小的元素，并以所述元素值最小的元素为目标点继续搜索，直至到达终点，从而搜索出一条路径。

S7、将所述路径上的所有元素相加得到所述标准标记连通序列A与所述校准连通序列C_K的相似度d_k。

S8、遍历所述校准连通序列集合C中的所有校准连通序列C_K，得到相似度集合D，

。

S9、根据所述相似度集合评价深度学习模型。

本实施例中具体评价步骤包括：

计算连通相似性指数，连通相似性指数的计算是基于相似度集合D，将相似度集合D中的数值结果归一化整合映射到同一尺度下。采用最值归一化方法将相似度集合D中的每个相似度d_k中的数据映射到0-1之间，虽然映射后的数值受边界影响较大，但是具备较高的辨识度，其计算方法如下：

根据所述相似度集合利用整合映射公式计算连通相似性指数；所述整合映射公式为：

；其中，d_k表示相似度，d_min表示所述相似度集合中所有相似度的最小值；d_max表示所述相似度集合中所有相似度的最大值，d_{k_csim}表示连通相似性指数值。

所述连通相似性指数的值越大表示所述深度学习模型预测结果的连通性保持越好。

应用本发明实施例提出的深度学习语义分割模型性能评价方法，功能上的进步包括以下几点：

①面向遥感影像语义分割领域，将CSIM指标纳入模型性能的评价体系，可以更好地实时监测和控制模型训练。

②针对不同地理地域特征的影像，可以有效地指导从预训练模型集合中选取最优性能的模型。

③在像素粒度的基础上，实现基于地物几何特征的遥感影像预测结果的真实质量的准确评估。

应用本专利提出的深度学习语义分割模型性能评价方法，效果上的进步包括以下几点：

①高效性。性能评估的复合指标可使模型训练全过程更加高效，避免训练过度与模型过拟合，节省时间成本。

②可控性。通过连通相似度指标可以评估模型在保持空间几何特征上的能力，从而在现有指标差异性不显著时，实现侧重于地物图斑连通性特征表现能力更好的模型的选择。

③自适应性。针对不同地理地域特征、不同时相、不同来源的遥感影像，基于预训练模型预测结果与真实标签的CSIM统计特征，可以实现预训练模型的最优选取。

经济效益：

应用本发明提出的深度学习语义分割模型性能评价方法CSIM，在面向遥感解译及测绘生产领域能有效地指导深度学习语义分割模型的最优选择和模型性能的真实评价，更准确地评估遥感影像解译结果的真实质量，在实际应用中极大优化了深度学习遥感语义分割模型的训练方法，有效地支撑了全球测图和基础比例尺地形图更新等基础测绘项目的生产作业，大幅提升了生产作业效率。

社会效益：

本发明提出的深度学习语义分割模型性能评价方法CSIM，为深度学习在遥感解译和测绘生产领域落地实用起到极大的推动作用，从技术层面促进了“深度学习+测绘/遥感”的技术融合，为自然资源行业调查监测智能化和测绘生产智能化提供了有效的技术保障。

实施例二：

如图7所示，本实施例提供了一种深度学习模型性能评价系统，该系统包括：

连通图斑识别单元M1，用于获取第一连通图斑以及第二连通图斑，所述第一连通图斑从真实标签中提取得到，所述第二连通图斑从所述真实标签对应的预测结果中提取得到；所述预测结果包括每个Epoch模型的预测结果；深度学习模型的每一个训练时期为1个Epoch模型。

连通序列划分单元M2，用于分别提取所述第一连通图斑以及所述第二连通图斑的轮廓信息和图斑内像素点的总数量，分别得到标准标记连通序列A和预测连通序列集合B；所述预测连通序列集合B包含若干个预测连通序列B_k；B_k表示第k个Epoch模型对应的预测连通序列；每个所述预测连通序列B_k包含一个Epoch模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数量；

空间校准单元M3，用于根据所述标准标记连通序列A对所述预测连通序列集合B中的每个预测连通序列B_K进行空间校准，得到校准连通序列集合C；所述校准连通序列集合C包括若干个校准连通序列C_K，每个所述校准连通序列C_K由一个预测连通序列B_K空间校准得到；

距离计算单元M4，用于计算所述标准标记连通序列A中的第i个元素a _i 与所述校准连通序列集合C中的校准连通序列C_K中的第j个元素c _j 的欧式距离；

相似性矩阵构建单元M5，用于构建m×n的相似性矩阵P，所述相似性矩阵P中的元素P(i,j)为distance(a _i ,c _j )；其中，m为所述标准标记连通序列A中的元素总数，n为所述校准连通序列C_K中的元素总数；

路径搜索单元M6，用于以相似性矩阵P中目标对角线两端的元素分别为起点和终点，所述目标对角线为主对角线或副对角线，依次从起点至终点搜索出一条路径，在搜索过程中，每一步均搜索前进方向上元素值最小的元素；

相似度计算单元M7，用于将所述路径上的所有元素相加得到所述标准标记连通序列A与所述校准连通序列C_K的相似度；

相似度集合获取单元M8，用于遍历所述校准连通序列集合C中的所有校准连通序列C_K，得到相似度集合；

评价单元M9，用于根据所述相似度集合评价深度学习模型。

具体包括：

根据所述相似度集合利用整合映射公式计算连通相似性指数；所述整合映射公式为：

；其中，d_k表示相似度，d_min表示所述相似度集合中所有相似度的最小值；d_max表示所述相似度集合中所有相似度的最大值，d_{k_csim}表示连通相似性指数值。所述连通相似性指数的值越大表示所述深度学习模型预测结果的连通性保持越好

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种深度学习模型性能评价方法，其特征在于，所述方法包括：

获取第一连通图斑以及第二连通图斑，所述第一连通图斑从真实标签中提取得到，所述第二连通图斑从所述真实标签对应的预测结果中提取得到；所述预测结果包括每个Epoch模型的预测结果；深度学习模型的每一个训练时期为1个Epoch模型；

分别提取所述第一连通图斑以及所述第二连通图斑的轮廓信息和图斑内像素点的总数量，分别得到标准标记连通序列A和预测连通序列集合B；所述预测连通序列集合B包含若干个预测连通序列B_k；B_k表示第k个Epoch模型对应的预测连通序列；每个所述预测连通序列B_k包含一个Epoch模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数量；

根据所述标准标记连通序列A对所述预测连通序列集合B中的每个预测连通序列B_K进行空间校准，得到校准连通序列集合C；所述校准连通序列集合C包括若干个校准连通序列C_K，每个所述校准连通序列C_K由一个预测连通序列B_K空间校准得到；

计算所述标准标记连通序列A中的第i个元素a _i 与所述校准连通序列集合C中的校准连通序列C_K中的第j个元素c _j 的欧式距离；

构建m×n的相似性矩阵P，所述相似性矩阵P中的元素P(i,j)为distance(a _i ,c _j )；其中，m为所述标准标记连通序列A中的元素总数，n为所述校准连通序列C_K中的元素总数；

以相似性矩阵P中目标对角线两端的元素分别为起点和终点，所述目标对角线为主对角线或副对角线，依次从起点至终点搜索出一条路径，在搜索过程中，每一步均搜索前进方向上元素值最小的元素；

将所述路径上的所有元素相加得到所述标准标记连通序列A与所述校准连通序列C_K的相似度；

遍历所述校准连通序列集合C中的所有校准连通序列C_K，得到相似度集合；

根据所述相似度集合评价深度学习模型。

2.根据权利要求1所述的深度学习模型性能评价方法，其特征在于，

所述第一连通图斑包括一个或多个像素，同一第一连通图斑中像素的像素值相同，且当所述第一连通图斑具有多个像素时，所述第一连通图斑中，任一像素在水平方向或垂直方向上具有相邻像素；

所述第二连通图斑包括一个或多个像素，同一第二连通图斑中像素的像素值相同，且当所述第二连通图斑具有多个像素时，所述第二连通图斑中，任一像素在水平方向或垂直方向上具有相邻像素。

3.根据权利要求1所述的深度学习模型性能评价方法，其特征在于，所述获取第一连通图斑以及第二连通图斑，所述第一连通图斑从真实标签中提取得到，所述第二连通图斑从所述真实标签对应的预测结果中提取得到；所述预测结果包括每个Epoch模型的预测结果，具体包括：

采用四邻域两遍扫描法，由左向右、由上向下对深度学习模型的真实标签与每个Epoch模型预测结果进行逐行扫描搜索，得到若干个第一连通图斑和若干个第二连通图斑。

4.根据权利要求3所述的深度学习模型性能评价方法，其特征在于，所述分别提取所述第一连通图斑以及所述第二连通图斑的轮廓信息和图斑内像素点的总数量，分别得到标准标记连通序列A和预测连通序列集合B；所述预测连通序列集合B包含若干个预测连通序列B_k；B_k表示第k个Epoch模型对应的预测连通序列；每个所述预测连通序列B_k包含一个Epoch模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数量，具体包括：

提取所述第一连通图斑的轮廓信息和图斑内像素点的总数量，得到标准标记连通序列A；

提取一个所述Epoch模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数量，得到一个预测连通序列B_k；

遍历所有所述Epoch模型的预测结果对应的第二连通图斑得到预测连通序列集合B。

5.根据权利要求1所述的深度学习模型性能评价方法，其特征在于，所述根据所述标准标记连通序列A对所述预测连通序列集合B中的每个预测连通序列B_K进行空间校准，得到校准连通序列集合C，具体包括：

根据空间相交位置关系确定所述标准标记连通序列A中的连通图斑与所述预测连通序列集合B中的每个预测连通序列B_K中连通图斑的空间对应关系；

将所述预测连通序列B_K中与所述标准标记连通序列A具备空间相交位置关系的连通图斑按照所述标准标记连通序列A的索引顺序重新排列，不具备空间相交位置关系的连通图斑作为冗余删除，得到校准连通序列C_K；

遍历所有预测连通序列B_K，得到校准连通序列集合C。

6.根据权利要求1所述的深度学习模型性能评价方法，其特征在于，所述根据所述相似度集合评价深度学习模型，具体包括：

根据所述相似度集合计算连通相似性指数；所述连通相似性指数的值越大表示所述深度学习模型预测结果的连通性保持越好。

7.根据权利要求6所述的深度学习模型性能评价方法，其特征在于，所述根据所述相似度集合计算连通相似性指数，具体包括：

根据所述相似度集合，利用整合映射公式计算连通相似性指数；所述整合映射公式为：

；其中，d_k表示相似度，d_min表示所述相似度集合中所有相似度的最小值；d_max表示所述相似度集合中所有相似度的最大值，d_{k_csim}表示连通相似性指数值。

8.一种深度学习模型性能评价系统，其特征在于，所述系统包括：

连通图斑识别单元，用于获取第一连通图斑以及第二连通图斑，所述第一连通图斑从真实标签中提取得到，所述第二连通图斑从所述真实标签对应的预测结果中提取得到；所述预测结果包括每个Epoch模型的预测结果；深度学习模型的每一个训练时期为1个Epoch模型；

连通序列划分单元，用于分别提取所述第一连通图斑以及所述第二连通图斑的轮廓信息和图斑内像素点的总数量，分别得到标准标记连通序列A和预测连通序列集合B；所述预测连通序列集合B包含若干个预测连通序列B_k；B_k表示第k个Epoch模型对应的预测连通序列；每个所述预测连通序列B_k包含一个Epoch模型的预测结果对应的第二连通图斑的轮廓信息和图斑内像素点的总数量；

空间校准单元，用于根据所述标准标记连通序列A对所述预测连通序列集合B中的每个预测连通序列B_K进行空间校准，得到校准连通序列集合C；所述校准连通序列集合C包括若干个校准连通序列C_K，每个所述校准连通序列C_K由一个预测连通序列B_K空间校准得到；

距离计算单元，用于计算所述标准标记连通序列A中的第i个元素a _i 与所述校准连通序列集合C中的校准连通序列C_K中的第j个元素c _j 的欧式距离；

相似性矩阵构建单元，用于构建m×n的相似性矩阵P，所述相似性矩阵P中的元素P(i,j)为distance(a _i ,c _j )；其中，m为所述标准标记连通序列A中的元素总数，n为所述校准连通序列C_K中的元素总数；

以相似性矩阵P中目标对角线两端的元素分别为起点和终点，所述目标对角线为主对角线或副对角线，依次从起点至终点搜索出一条路径，在搜索过程中，每一步均搜索前进方向上元素值最小的元素；

相似度计算单元，用于将所述路径上的所有元素相加得到所述标准标记连通序列A与所述校准连通序列C_K的相似度；

相似度集合获取单元，用于遍历所述校准连通序列集合C中的所有校准连通序列C_K，得到相似度集合；

评价单元，用于根据所述相似度集合评价深度学习模型。

9.根据权利要求8所述的深度学习模型性能评价系统，其特征在于，所述根据所述相似度集合评价深度学习模型，具体包括：

根据所述相似度集合计算连通相似性指数；所述连通相似性指数的值越大表示所述深度学习模型预测结果的连通性保持越好。

10.根据权利要求9所述的深度学习模型性能评价系统，其特征在于，所述根据所述相似度集合计算连通相似性指数，具体包括：

根据所述相似度集合，利用整合映射公式计算连通相似性指数；所述整合映射公式为：

；其中，d_k表示相似度，d_min表示所述相似度集合中所有相似度的最小值；d_max表示所述相似度集合中所有相似度的最大值，d_{k_csim}表示连通相似性指数值。

Images