CN114708432A - 基于规则网格离散化目标分割区域的加权度量方法 - Google Patents

Abstract

本发明提供基于规则网格离散化目标分割区域的加权度量方法，属于计算机视觉图像语义分割领域，该方法利用特定尺度的网格，将人工感兴趣目标区域和分割方法预测区域分别切分成对应的局部区域，按照网格单元空间约束匹配两者的局部区域，运用评价函数判别有效预测区域并计算命中数量，进而实现目标级的召回率、准确率、交并比度量；同时，依据离散的人工标注局部区域与网格单元面积比，划分目标区域为语义稳定和变化区，增加评价维度；此外，通过引入加权策略，可针对性地调整区域影响因子，建立多样的性能反馈机制。

Description

基于规则网格离散化目标分割区域的加权度量方法

技术领域

本发明涉及计算机视觉图像语义分割领域，尤其涉及基于规则网格离散化目标分割区域的加权度量方法。

背景技术

计算机视觉图像语义分割任务的目标是自动预测数字图像中感兴趣的语义目标所覆盖的像素级区域，具体地通过分割预测模型逐一地识别图像空间中的所有像素的类别，类别一致的像素点聚合形成多个独立的封闭连通区域，即为预测的分割区域。平均召回率、准确率、交并比是衡量图像语义分割性能的通用指标。像素级的评价尺度，精确反馈感兴趣目标区域全局性的分割情况，在部分特定的图像语义分割场景任务，如城市街区的地面、遥感影像的道路、建设用地等大面积连通性强的语义目标，相同数值指标对特定尺度的目标区域分割不敏感，因此针对性地调节评价尺度，独立考察局部区域的分割情况，实现类似目标检测任务目标级的评价策略是重要的拓展手段。建立多样的评价方法，有利于更全面、有效的反馈不同分割模型的性能差异，进而积极影响分割模型的调优。

发明内容

本发明的目的在于提供基于规则网格离散化目标分割区域的加权度量方法，解决现有图像处理模型无法自动化性能评价的技术问题。

构建一个特定单元大小的规则网格，将人工标注的感兴趣的目标区域和图像语义分割方法预测的区域分别切分，离散化成各自的局部单元，此单元表示一个大尺度目标的局部实体。通过评估预测区域与人工标注区域在对应空间位置的局部单元有效命中的数量，并通过面积比加权，进而实现对分割性能的召回率、准确率、交并比度量。

为了实现上述目的，本发明采用的技术方案如下：

基于规则网格离散化目标分割区域的加权度量方法，所述方法包括如下步骤：

步骤1：获取人工标注的感兴趣目标区域和图像语义分割方法预测得到的目标区域；

步骤2：提取完整包含人工标注区域的矩形区域，设置网格单元的窗口宽高，并根据矩形参数，生成规则网格；

步骤3：运用步骤2生成的网格切分人工标注的目标区域和分割预测区域，分别形成对应的离散局部区域；

步骤4：将步骤3提取的目标局部区域，逐个按空间位置匹配分割预测的局部区域；

步骤5：计算局部离散化的人工标注区域面积与网格单元面积比值，依据比值分化出离散的主体区域和边界区域；

步骤6：引入加权函数，并根据步骤4面积比计算每个局部区域的权重；

步骤7：构建区域匹配评价函数，计算每个匹配区域的评价值；

步骤8：加入权重计算所有匹配区域带权的总评价值；

步骤9：计算加权的召回率、准确率、交并比，以及离散主体区域和边界区域的召回率。

进一步地，步骤1中具体过程为，灰度值标记单幅待评价的图像中人工标注的感兴趣区域S′和图像语义分割方法提取的预测区域S，以及对应的背景区域

和

进一步地，步骤2中具体过程为，提取完整包含S′、S、

的边界点集P∈R²，遍历P得到正外包矩形B，通常以每幅图像的宽高作为参考矩形，同时参考COCO目标检测数据集关于目标尺度大小的分级，将32×32、64×64、96×96的像素宽高设置为网格G基本的窗口单元宽高w_G和h_G选项，基于提取矩形B的几何参数x_B，y_B，w_B，h_B以及窗口单元宽高参数w_G，h_G生成网格G。

进一步地，步骤3中具体过程为，运用步骤2生成的网格G离散化区域S′和S，分别切分成N′和N个局部单元区域，记R′为S′离散的局部区域集合，R为S离散的局部区域集合，并记r_i′和r_j分别表示人工标注的感兴趣区域的第i个局部单元区域和分割预测的目标区域的第j个局部单元区域。

进一步地，步骤4中具体过程为，根据网格G的空间约束匹配r_i′和r_j，记＜r_i′,r_j＞为一组匹配关系，其中r_i′有且唯一的r_j匹配，当r_j不存在即面积小于0时，也记为一组匹配。

进一步地，步骤5中具体过程为，计算每个r_i′的面积与网格单元窗口面积的比值a_i′，依据a_i′≥τ_area以及a_i′＜τ_area的比较关系，划分离散人工标注区域R′为稳定区R′₊和语义变化区R′_-，包含的离散区域数量分别记为N′₊和N′_-。

进一步地，步骤6中具体过程为，引入式(1)(2)，根据a_i′构造每个区域权重w′_i，其中a′_i∈(0,1]，μ＞0；

运用式(1)提升目标与背景交界区域权重，降低目标内部主体区域权重，而式(2)作用相反，随着μ减小权重趋势变得更平滑，各区域的影响力也趋近相等，反之，随着μ增大，权重趋势陡峭，不同面积的r_i′影响力差异显著，通过调节μ的强度，可灵活控制区域权重，形成一种加权反馈机制。

进一步地，步骤7中具体过程为，定义J(·)为评价函数，判断匹配的r_i′和r_j，r_j是否有效预测r_i′，当r_i′与r_j的IOU大于等于阈值τ_r，J(＜r_i′,r_j＞)＝1，表示有效预测；当r_i′与r_j的IOU小于阈值τ_r，J(＜r_i′,r_j＞)＝0，表示无效预测。具体如式(1)所示：

进一步地，步骤8中具体过程为，运用式(3)计算

值，即对每一组人工和预测的局部单元区域度量值累加求和。其中index(·)表示获取集合的索引集合

进一步地，步骤9中具体过程为，根据步骤8的结果，运用式(5)(6)(7)计算预测感兴趣目标区域的召回率、准确率、交并比，其中N′_w和N_w分别表示加权的N′和N，代入对应区域w_i′计算即得，

当设置步骤7的μ＝0时，w′_i＝1表示离散的标注区域权重相等，计算得到的为常规准确率、召回率、交并比，此外，基于步骤6得到的两类离散区域集合，设置式(4)中的i∈index(R′_-)，并且保持w′_i＝1，可计算出离散的目标主体标注区域R′_-对应的

结合式(6)计算R′_-的召回率，同理可得R′₊的召回率。

本发明由于采用了上述技术方案，具有以下有益效果：

本发明基于规则化网格局部离散化策略，将人工感兴趣目标区域和分割方法预测区域分别切分成对应的局部区域，通过网格单元的空间约束匹配两者的局部区域，运用评价函数判别有效预测区域并计算命中数量，进而实现目标级的召回率、准确率、交并比度量，运用人工局部区域与网格单元面积比，划分目标的主体和边缘区域，实现特定区域的召回率反馈；同时，通过引入指数衰减公式映射面积比，加权局部区域，根据任务场景需求，实现灵活的评价反馈机制。

附图说明

图1是本发明方法的流程图；

图2是本发明水局部区域离散化规则网格生成示意图；

图3是本发明局部区域匹配图；

图4是本发明感兴趣目标区域的语义稳定和变化区图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。

如图1-4所示，基于规则网格离散化目标分割区域的加权度量方法，所述方法包括如下步骤：

步骤1：获取人工标注的感兴趣目标区域和图像语义分割方法预测得到的目标区域。灰度值标记单幅待评价的图像中人工标注的感兴趣区域S′和图像语义分割方法提取的预测区域S，以及对应的背景区域

和

步骤2：提取完整包含人工标注区域的矩形区域，设置网格单元的窗口宽高，并根据矩形参数，生成规则网格。提取完整包含S′、S、

的边界点集P∈R²，遍历P得到正外包矩形B，通常以每幅图像的宽高作为参考矩形，同时参考COCO目标检测数据集关于目标尺度大小的分级，将32×32、64×64、96×96的像素宽高设置为网格G基本的窗口单元宽高w_G和h_G选项，基于提取矩形B的几何参数x_B，y_B，w_B，h_B以及窗口单元宽高参数w_G，h_G生成网格G。

步骤3：运用步骤2生成的网格切分人工标注的目标区域和分割预测区域，分别形成对应的离散局部区域。运用步骤2生成的网格G离散化区域S′和S，分别切分成N′和N个局部单元区域，记R′为S′离散的局部区域集合，R为S离散的局部区域集合，并记r_i′和r_j分别表示人工标注的感兴趣区域的第i个局部单元区域和分割预测的目标区域的第j个局部单元区域。

步骤4：将步骤3提取的目标局部区域，逐个按空间位置匹配分割预测的局部区域。根据网格G的空间约束匹配r_i′和r_j，记＜r_i′,r_j＞为一组匹配关系，其中r_i′有且唯一的r_j匹配，当r_j不存在即面积小于0时，也记为一组匹配。

步骤5：计算局部离散化的人工标注区域面积与网格单元面积比值，依据比值分化出离散的主体区域和边界区域。计算每个r_i′的面积与网格单元窗口面积的比值a_i′，依据a_i′≥τ_area以及a_i′＜τ_area的比较关系，划分离散人工标注区域R′为稳定区R′₊和语义变化区R′_-，包含的离散区域数量分别记为N′₊和N′_-。

步骤6：引入加权函数，并根据步骤4面积比计算每个局部区域的权重。引入式(1)(2)，根据a_i′构造每个区域权重w′_i，其中a′_i′∈(0,1]，μ＞0；

运用式(1)提升目标与背景交界区域权重，降低目标内部主体区域权重，而式(2)作用相反，随着μ减小权重趋势变得更平滑，各区域的影响力也趋近相等，反之，随着μ增大，权重趋势陡峭，不同面积的r_i′影响力差异显著，通过调节μ的强度，可灵活控制区域权重，形成一种加权反馈机制。

步骤7：构建区域匹配评价函数，计算每个匹配区域的评价值。定义J(·)为评价函数，判断匹配的r_i′和r_j，r_j是否有效预测r_i′，当r_i′与r_j的IOU大于等于阈值τ_r，J(＜r_i′,r_j＞)＝1，表示有效预测；当r_i′与r_j的IOU小于阈值τ_r，J(＜r_i′,r_j＞)＝0，表示无效预测，具体如式(1)所示：

步骤8：加入权重计算所有匹配区域带权的总评价值。运用式(3)计算

值，即对每一组人工和预测的局部单元区域度量值累加求和，其中index(·)表示获取集合的索引集合

步骤9：计算加权的召回率、准确率、交并比，以及离散主体区域和边界区域的召回率。根据步骤8的结果，运用式(5)(6)(7)计算预测感兴趣目标区域的召回率、准确率、交并比，其中N′_w和N_w分别表示加权的N′和N，代入对应区域w_i′计算即得，

当设置步骤7的μ＝0时，w′_i＝1表示离散的标注区域权重相等，计算得到的为常规准确率、召回率、交并比，此外，基于步骤6得到的两类离散区域集合，设置式(4)中的i∈index(R′_-)，并且保持w′_i＝1，可计算出离散的目标主体标注区域R′_-对应的

结合式(6)计算R′_-的召回率，同理可得R′₊的召回率。

如图2中的(a)为人工标注感兴趣目标区域，(b)为分割方法预测区域，(c)为标注与预测区域交叠，(d)为人工标注感兴趣区域。

本发明基于规则化网格局部离散化策略，将人工感兴趣目标区域和分割方法预测区域分别切分成对应的局部区域，通过网格单元的空间约束匹配两者的局部区域，运用评价函数判别有效预测区域并计算命中数量，进而实现目标级的召回率、准确率、交并比度量。本发明运用人工局部区域与网格单元面积比，划分目标的主体和边缘区域，实现特定区域的召回率反馈；同时，通过引入指数衰减公式映射面积比，加权局部区域，根据任务场景需求，实现灵活的评价反馈机制。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.基于规则网格离散化目标分割区域的加权度量方法，其特征在于：所述方法包括如下步骤：

步骤1：获取人工标注的感兴趣目标区域和图像语义分割方法预测得到的目标区域；

步骤2：提取完整包含人工标注区域的矩形区域，设置网格单元的窗口宽高，并根据矩形参数，生成规则网格；

步骤3：运用步骤2生成的网格切分人工标注的目标区域和分割预测区域，分别形成对应的离散局部区域；

步骤4：将步骤3提取的目标局部区域，逐个按空间位置匹配分割预测的局部区域；

步骤5：计算局部离散化的人工标注区域面积与网格单元面积比值，依据比值分化出离散的主体区域和边界区域；

步骤6：引入加权函数，并根据步骤4面积比计算每个局部区域的权重；

步骤7：构建区域匹配评价函数，计算每个匹配区域的评价值；

步骤8：加入权重计算所有匹配区域带权的总评价值；

步骤9：计算加权的召回率、准确率、交并比，以及离散主体区域和边界区域的召回率。

2.根据权利要求1所述的基于规则网格离散化目标分割区域的加权度量方法，其特征在于：步骤1中具体过程为，灰度值标记单幅待评价的图像中人工标注的感兴趣区域S′和图像语义分割方法提取的预测区域S，以及对应的背景区域

和

3.根据权利要求2所述的基于规则网格离散化目标分割区域的加权度量方法，其特征在于：步骤2中具体过程为，提取完整包含S′、S、

的边界点集P∈R²，遍历P得到正外包矩形B，通常以每幅图像的宽高作为参考矩形，同时参考COCO目标检测数据集关于目标尺度大小的分级，将32×32、64×64、96×96的像素宽高设置为网格G基本的窗口单元宽高w_G和h_G选项，基于提取矩形B的几何参数x_B，y_B，w_B，h_B以及窗口单元宽高参数w_G，h_G生成网格G。

4.根据权利要求3所述的基于规则网格离散化目标分割区域的加权度量方法，其特征在于：步骤3中具体过程为，运用步骤2生成的网格G离散化区域S′和S，分别切分成N′和N个局部单元区域，记R′为S′离散的局部区域集合，R为S离散的局部区域集合，并记r_i′和r_j分别表示人工标注的感兴趣区域的第i个局部单元区域和分割预测的目标区域的第j个局部单元区域。

5.根据权利要求4所述的基于规则网格离散化目标分割区域的加权度量方法，其特征在于：步骤4中具体过程为，根据网格G的空间约束匹配r_i′和r_j，记＜r_i′,r_j＞为一组匹配关系，其中r_i′有且唯一的r_j匹配，当r_j不存在即面积小于0时，也记为一组匹配。

6.根据权利要求5所述的基于规则网格离散化目标分割区域的加权度量方法，其特征在于：步骤5中具体过程为，计算每个r_i′的面积与网格单元窗口面积的比值a_i′，依据a_i′≥τ_area以及a_i′＜τ_area的比较关系，划分离散人工标注区域R′为稳定区R′₊和语义变化区R′_-，包含的离散区域数量分别记为N′₊和N′_-。

7.根据权利要求6所述的基于规则网格离散化目标分割区域的加权度量方法，其特征在于：步骤6中具体过程为，引入式(1)(2)，根据a_i′构造每个区域权重w′_i，其中a′_i∈(0,1]，μ＞0；

运用式(1)提升目标与背景交界区域权重，降低目标内部主体区域权重，而式(2)作用相反，随着μ减小权重趋势变得更平滑，各区域的影响力也趋近相等，反之，随着μ增大，权重趋势陡峭，不同面积的r_i′影响力差异显著，通过调节μ的强度，可灵活控制区域权重，形成一种加权反馈机制。

8.根据权利要求7所述的基于规则网格离散化目标分割区域的加权度量方法，其特征在于：步骤7中具体过程为，定义J(·)为评价函数，判断匹配的r_i′和r_j，r_j是否有效预测r_i′，当r_i′与r_j的IOU大于等于阈值τ_r，J(＜r_i′,r_j＞)＝1，表示有效预测；当r_i′与r_j的IOU小于阈值τ_r，J(＜r_i′,r_j＞)＝0，表示无效预测，具体如式(1)所示：

9.根据权利要求8所述的基于规则网格离散化目标分割区域的加权度量方法，其特征在于：步骤8中具体过程为，运用式(3)计算

值，即对每一组人工和预测的局部单元区域度量值累加求和，其中index(·)表示获取集合的索引集合

10.根据权利要求9所述的基于规则网格离散化目标分割区域的加权度量方法，其特征在于：步骤9中具体过程为，根据步骤8的结果，运用式(5)(6)(7)计算预测感兴趣目标区域的召回率、准确率、交并比，其中N′_w和N_w分别表示加权的N′和N，代入对应区域w_i′计算即得，

当设置步骤7的μ＝0时，w′_i＝1表示离散的标注区域权重相等，计算得到的为常规准确率、召回率、交并比，此外，基于步骤6得到的两类离散区域集合，设置式(4)中的i∈index(R′_-)，并且保持w′_i＝1，可计算出离散的目标主体标注区域R′_-对应的

结合式(6)计算R′_-的召回率，同理可得R′₊的召回率。

Images