CN110210391A - 基于多尺度卷积神经网络的舌象纹理定量分析方法 - Google Patents

Abstract

本发明公开了一种基于多尺度卷积神经网络的舌象纹理定量分析方法，涉及图像识别处理技术领域。本发明包括如下步骤：步骤S1：构建多尺度卷积神经网络；步骤S2：舌象大数据采集并进行预处理；步骤S3：训练神经网络模型；步骤S4：对舌象进行点刺、瘀斑、齿痕的检测。本发明通过构建多尺度卷积神经网络可一次性检测出舌面图像中点刺、齿痕、裂纹三类不同尺度大小目标，对检测目标提取像素级轮廓区域，并按每种检测目标深浅程度和数量指标对点刺、齿痕、裂纹量化评级，具有专属性强、重复性好、准确度高的优点，能够显著提升检测能力。

Description

基于多尺度卷积神经网络的舌象纹理定量分析方法

技术领域

本发明属于图像识别处理技术领域，特别是涉及一种基于多尺度卷积神经网络的舌象纹理定量分析方法。

背景技术

舌象特征在中医诊断病症等过程中具有较高的应用价值，尤其舌象纹理是中医舌诊中较为重要的信息。但是目前对舌象纹理的分析、判断还停留在人工凭经验处理的水平。这不仅限制了舌象纹理这一有用的人体生理特征在判断人体病症等领域的应用，而且传统的人工分析判断的准确率较低，具有较大的随意性和不确定性。

目前可以以图像处理和人工智能技术对舌面颜色和形态特征的机器识别，是中医舌诊辨体质系统研发的关键技术。诸如舌象中的点刺(含瘀点)、齿痕、裂纹三类舌面形态特征，也是中医9种体质中湿热质、痰湿质、血瘀质的关键评价指标，如果在这三类特征检测基础上进行其位置、数量、深浅程度的量化分析，可以进一步辨证湿热和痰湿个体表现差异，以达到对每个人健康状态分析之目的。

发明内容

本发明的目的在于提供一种基于多尺度卷积神经网络的舌象纹理定量分析方法，通过设计多尺度卷积神经网络以对舌象表面不同尺度检测目标进行像素级空间位置定位，能够一次性识别出点刺、齿痕、裂纹三类舌面形态特征一精确的轮廓边界，解决了现有的中医舌象纹理判断准确率低、医生判别难度大的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于多尺度卷积神经网络的舌象纹理定量分析方法，包括如下步骤：

步骤S1：构建多尺度卷积神经网络；

步骤S2：舌象大数据采集并进行预处理；

步骤S3：训练神经网络模型；

步骤S4：对舌象进行点刺、瘀斑、齿痕的检测；

其中，步骤S1中，构建的多尺度卷积神经网络结构包括多尺度共享卷积模块、目标候选区域搜索模块和目标候选区域的识别模块；所述多尺度共享卷积模块采用与舌象数据集相当的Reset50网络对整张图片的多个尺寸层级上提取抽象度特征，融合低抽象度特征形成多尺度高抽象特征图为后续网络共享使用；所述目标候选区域搜索模块包括生成候选区域框、候选区域框分类与边界回归、精选目标候选区域，最后生成相同尺度候选区域特征图；所述目标候选区域的识别模块用于对候选区域进行目标区域分类、目标区域边框修正和目标区域像素掩码计算，结果映射到原图得到检测目标及其区域像素。

优选地，所述多尺度共享卷积模块特征提取由构建低抽象度特征图谱C和构建高抽象度特征图谱P两个步骤组成；所述构建低抽象度特征图谱C采用ResNet50作为骨干网络，将残差模块的输出作为低抽象度特征图谱集合；所述构建高抽象度特征图谱在低抽象度特征图谱C的高层特征图上进行2倍上采样来得到更高分辨率的图谱,然后将这些上采样之后的特征图与对应的低抽象度特征图谱通过横向连接的方式融合在一起，一直迭代直至最浅的卷积图被合并为止。

优选地，所述步骤S2中，舌象采集大数据库中不同地区、不同年龄、不同人群的舌象抽取包含点刺、齿痕、裂纹、舌中沟的舌象，通过中医专家对舌象进行人工辨识、评审、构建样本数据集，并对样本数据集进行预处理；所述预处理包括数据集舌体提取、进行特征标注、数据增强处理。

优选地，所述样本数据集需使用图像数据标注工具对舌体表面点刺、齿痕、裂纹轮廓边界精确标注，将图像分割成舌体和多个目标区域；所述数据增强处理用于在神经网络进行深度学习之前，先对样本数据进行旋转、缩放、翻转、对比度四中方法组合对样本图像做随机增强处理，获取具有泛型的数据集。

优选地，所述步骤S3中，训练神经网络模型时时将样本数据集分为训练集、验证集和测试集；所述训练集和验证集用于完成网络模型学习和优化调整模型的参数，寻找最优的网络深度；所述测试集用以验证最后选择模型的性能，并使用MSCOCO预训练网络参数进行初始化，对候选区域生成网络并采用交替训练目标区域计算网络。

优选地，所述交替训练目标区域计算网络具体步骤如下：

步骤S31：使用在MSCOCO上预训练的模型初始化网络并训练候选区域生成网络微调训练；

步骤S32：对步骤S31中得到的网络参数生成的候选区域，使用在MSCOCO上预训练的模型初始化网络并训练目标区域计算网络微调训练；

步骤S33：使用步骤S32中微调后的目标区域计算网络重新初始化候选区域生成网络，固定共享卷积层，只微调候选区域生成网络独有的层，形成共享卷积层；

步骤S34：固定步骤S33中共享卷基层，利用步骤S33中得到的后续区域，只微调目标区域计算网络独有的层，形成统一网络。

优选地，所述步骤S4中，对舌象进行点刺、瘀斑、齿痕的检测具体步骤如下：

步骤S41：读取需要检测的图片，通过候选区域生成网络生成约20000个预测框；

步骤S42：对20000个预测框进行第一次边框修正，得到修订边框后的预测框；

步骤S43：对超过图像边界的预测框的边进行裁剪，使得该预测框不超过图像范围；

步骤S44：将所有预测框按照前景分数从高到低排序，选取前1000个预测框；

步骤S45：使用阈值为0.7的NMS算法排除掉重叠的预测框；

步骤S46：针对步骤S45中剩下的预测框,选取前300个得分高的预测框，进行分类和第二次边框修正，对得分最高的100个候选区域进行像素掩码计算。

本发明具有以下有益效果：

(1)本发明通过构建多尺度卷积神经网络可一次性检测出舌面图像中点刺、齿痕、裂纹三类不同尺度大小目标，对检测目标提取像素级轮廓区域，并按每种检测目标深浅程度和数量指标对点刺、齿痕、裂纹量化评级，具有专属性强、重复性好、准确度高的优点，能够显著提升检测能力；

(2)本发明通过在构建多尺度卷积神经网络过程中，使用多尺度低抽象度的特征图融合形成多尺度高抽象度特征图谱，两次融合后的特征图谱在面对不同尺寸的检测目标时,具有更好的鲁棒性,尤其是不会漏检中小型目标，提高了目标类别识别能力；

(3)本发明通过在构建多尺度卷积神经网络过程中，在多尺度特征图谱映射到相同大小特征图时，使用改进的局部区域平均法池化算法，相对于RoIPooling、RoIAlign池化算法降低了特征图的候选区域与原图候选区域间的空间像素偏差，增强了目标区域像素识别能力。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于多尺度卷积神经网络的舌象纹理定量分析方法的神经网络结构和流程图；

图2为本发明的舌象特征目标对象的标注系统显示界面；

图3为多尺度卷积神经网络在不同参数下损失变化实验分析结果；

图4为实施例一中点刺及瘀斑瘀点类特征检测结果实例图；

图5为实施例二中齿痕类特征检测结果实例图；

图6为实施例三中裂纹类特征检测结果实例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种基于多尺度卷积神经网络的舌象纹理定量分析方法，包括如下步骤：

步骤S1：构建多尺度卷积神经网络；

步骤S2：舌象大数据采集并进行预处理；

步骤S3：训练神经网络模型；

步骤S4：对舌象进行点刺、瘀斑、齿痕的检测；

其中，步骤S1中，构建的多尺度卷积神经网络结构包括多尺度共享卷积模块、目标候选区域搜索模块和目标候选区域的识别模块三大；第一部分为多尺度共享卷积模块采用与舌象数据集相当的Reset50网络对整张图片的多个尺寸层级上提取抽象度特征，融合低抽象度特征形成多尺度高抽象特征图为后续网络共享使用；第二部分为目标候选区域搜索模块包括生成候选区域框、候选区域框分类与边界回归、精选目标候选区域，最后生成相同尺度候选区域特征图；第三部分为目标候选区域的识别模块用于对候选区域进行目标区域分类、目标区域边框修正和目标区域像素掩码计算，结果映射到原图得到检测目标及其区域像素。

其中，目标区域分类为每个候选生成分类训练标签，分类的标签为0负样本(没有覆盖到目标)、k个正样本(目标类别k＝9，分别为点、刺、瘀点、轻度齿痕、较深齿痕、凹陷齿痕、浅裂纹、深裂纹、舌中沟)。标签赋值策略：舌象训练集中对每张图像人工标注的点刺、齿痕、裂纹的真实框，按预测框与真实框重叠比例IOU大小标记标签；目标区域边框修正对分类得分高的目标区域边框位置回归，预估修正后的框在预测框的上的水平和长宽缩放偏移量(t_i＝{t_x,t_y,t_w,t_h})；目标区域掩码计算选择k个目标类别得分排名高前N个目标区域进行掩码计算，链接到全卷积网络生成每个目标类别的区域二值掩码，以求得每个目标对应的像素掩码，即k个类别的m×m的二值掩码；目标指标计算按点刺数量计算点刺指标(无点刺、少量点刺、较多点刺)，按齿痕的分类、数量计算齿痕指标(无齿痕、轻度齿痕、中度齿痕、重度齿痕)，按裂纹的分类、数量计算裂纹指标(无裂纹、轻度裂纹、中度裂纹、重度裂纹)。

其中，多尺度共享卷积模块特征提取由构建低抽象度特征图谱C和构建高抽象度特征图谱P两个步骤组成；构建低抽象度特征图谱C采用ResNet50作为骨干网络，将残差模块conv2,conv3,conv4,conv5的输出作为低抽象度特征图谱集合，表示为C{C2，C3，C4，C5}，特征尺度为200×200、100×100、50×50、25×25,相对于输入图像具有{4,8,16,32}像素的步长；构建高抽象度特征图谱在低抽象度特征图谱C的高层特征图上进行2倍上采样来得到更高分辨率的图谱,然后将这些上采样之后的特征图与对应的低抽象度特征图谱通过横向连接的方式融合在一起，合并前自下而上的图谱会将经过1×1卷积降低通道数，一直迭代直至最浅的卷积图被合并为止；最后,使用3×3的卷积在所有合并后的特征图谱上进行卷积操作，消除上采样的混叠效应,得到最终的特征图谱P{P2，P3，P4，P5}；这种多尺度的高抽象度特征图在面对不同尺寸的检测目标时,具有更好的鲁棒性,尤其是不会漏检中小型目标。

如图3所示，目标候选区域搜索模块中生成候选区域框是在高抽象度特征图谱P上滑动窗口，以每个特征点位置映射到原图的感受野中心点为基准点，围绕基准点选取12种不同长宽比与面积的候选框；初始候选框包括了四种面积(4、8、16、32)，每种面积包含三种长宽比(1:1、1:2、2:1)，预测框约17万；候选区域框分类为每个候选框生成分类训练标签，分类的标签为0负样本(没有覆盖目标)、1正样本(覆盖了目标)；标签赋值策略为舌象训练集中对每张图像人工标注的点刺、齿痕、裂纹的真实框，由预测框与真实框重叠比例IOU大小标记标签；使用候选框二分类网络、候选框回归网络对候选框分类和边框预测；其中，候选区域模块损失函数定义如下表1：

表1多尺度卷积神经网络各模块损失函数定义

精选目标候选区域将分类的标签是1的候选框的分类得分以及边框回归预估转换为目标候选，对候选区域进行精选；精选候选区域策略：对超过图像边界的候选区域的边进行剪裁，使得目标候选区域不超过图像范围；将所有候选区域按照正区域分数从高到低排序，选取前12000个候选区域，非极大值抑制剔除重叠的候选区域，选取前3000个作为目标候选区域。提取目标候选区域特征为每个候选区域按其尺寸(w,h)从高抽象度特征图谱P对应的特征图中取出坐标区域，按候选区域尺寸大小计算特征图最佳图层f为：

分别为候选区域的宽和高。

使用改进的局部区域平均法池化算法将目标候选区域池化成7×7、14×14大小的候选区域特征图；各个改进的局部区域平均法池化算法如下表2所示：

表2改进的局部区域平均法池化算法

其中，步骤S2中，舌象采集大数据库中不同地区、不同年龄、不同人群的舌象抽取包含点刺、齿痕、裂纹、舌中沟的舌象，通过中医专家对舌象进行人工辨识、评审、构建样本数据集；因此构建的数据集样本共计有两万张，包含了人舌的随机图像，样本拍摄设备也图样覆盖各种品牌和像素分辨率的相机、手机，拍照条件有不同自然光照条件照或灯光照、多种伸舌姿势、不同拍照背景，并对样本数据集进行预处理；预处理包括数据集舌体提取、进行特征标注、数据增强处理。

其中，标注系统的操作界面如图2所示，样本数据集需使用mx_labelImg图像数据标注工具对舌体表面点刺、齿痕、裂纹轮廓边界精确标注，将图像分割成舌体和多个目标区域；

下表3展示了舌面标签的定义表：

表3舌面点刺齿痕裂纹标签定义

下表4为定义标注数据结构表：

表4标注数据结构定义

其中，数据增强处理用于在神经网络进行深度学习之前，先对样本数据进行旋转(±90°内随机角度)、缩放(80％～120％内随机倍数)、翻转(上下翻转、水平镜面翻转)、对比度(0.5～2内随机倍数)四中方法组合对样本图像做随机增强处理，获取具有泛型的数据集，数据增强后数据集扩大50倍。

其中，步骤S3中，数据集通过，读取舌象数据集和舌象中点刺、齿痕、裂纹的数据标注，对每张图标注的目标生成真实边框和区域像素掩码，以在训练阶段计算损失使用，训练神经网络模型时时将样本数据集按5:3:2分为训练集、验证集和测试集；训练集和验证集用于完成网络模型学习和优化调整模型的参数，寻找最优的网络深度；测试集用以验证最后选择模型的性能，并使用MSCOCO预训练网络参数进行初始化，对候选区域生成网络并采用交替训练目标区域计算网络。

其中，交替训练目标区域计算网络具体步骤如下：

步骤S31：使用在MSCOCO上预训练的模型初始化网络并训练候选区域生成网络(区域建议为目的)微调训练；

步骤S32：对步骤S31中得到的网络参数生成的候选区域，使用在MSCOCO上预训练的模型初始化网络并训练目标区域计算网络(以检测为目的)微调训练；

步骤S33：使用步骤S32中微调后的目标区域计算网络重新初始化候选区域生成网络，固定共享卷积层，只微调候选区域生成网络独有的层，形成共享卷积层；

步骤S34：固定步骤S33中共享卷基层，利用步骤S33中得到的后续区域，只微调目标区域计算网络独有的层，形成统一网络。

其中，步骤S4中，对舌象进行点刺、瘀斑、齿痕的检测具体步骤如下：

步骤S41：读取需要检测的图片，通过候选区域生成网络生成约20000个预测框；

步骤S42：对20000个预测框进行第一次边框修正，得到修订边框后的预测框；

步骤S43：对超过图像边界的预测框的边进行裁剪，使得该预测框不超过图像范围；

步骤S44：将所有预测框按照前景分数从高到低排序，选取前1000个预测框；

步骤S45：使用阈值为0.7的NMS算法排除掉重叠的预测框；

步骤S46：针对步骤S45中剩下的预测框,选取前300个得分高的预测框，进行分类和第二次边框修正，对得分最高的100个候选区域进行像素掩码计算，加快推断效率，提升精度。

本发明针对上述方案进行大量实验进行验证，验证结果如下：

实施例一：针对点刺类小尺度目标检测结果一致性验证

实验效果如图4所示：本发明项通过随机采集的舌象和专家评审，对舌象库抽取5000例点刺类舌象，按点、刺、瘀点瘀斑、无点刺共四类建立测试数据集。利用图像算法、MaskRCNN实例分割网络、多尺度卷积神经网络三种方法进行舌面点刺类特征项检测实验。多尺度卷积神经网络算法的检出率高于80％，检测出点刺与数据标注点刺的轮廓重合约80％以上，出现漏检和误检的情况要明显低于其他算法；舌面点刺类小尺度特征检测结果实例实验结果分析如下表5所示：

表5舌体齿痕定量分析准确率结果

实验结果显示：发明项方法对舌象中舌体的点、刺、瘀点瘀斑三类小尺度目标检测识别能力高，算法抗干扰性强，对识别目标边界轮廓的拟合度更高。

实施例二：针对齿痕类中等尺度目标检测结果一致性验证

实验效果如图5所示，本发明项通过随机采集的舌象和专家评审，对舌象库抽取5000例齿痕和无齿痕舌象，按轻度齿痕、中度齿痕、重度齿痕、无齿痕四类建立测试数据集。利用图像算法、MaskRCNN实例分割网络、多尺度卷积神经网络三种方法进行舌面齿痕特征项检测实验。多尺度卷积神经网络算法的检出率高于85％，检测出齿痕与数据标注齿痕的轮廓重合约80％以上，出现漏检和误检的情况要明显低于其他算法；舌面齿痕类多等尺度特征检测结果实例实验结果分析如下表6所示：

表6舌体齿痕定量分析准确率结果

实验结果显示：发明项方法对舌象中舌体的轻度齿痕、中度齿痕、重度齿痕三类中等尺度目标检测识别能力高，算法抗干扰性强，对识别目标边界轮廓的拟合度更高。

实施例三：针对裂纹类多尺度目标检测结果一致性验证

实验效果如图6所示，本发明项通过随机采集的舌象和专家评审，对舌象库抽取5000例裂纹和无裂纹舌象，按轻度裂纹、中度裂纹、重度裂纹、无裂纹四类建立测试数据集。利用图像算法、MaskRCNN实例分割网络、多尺度卷积神经网络三种方法进行舌面裂纹特征项检测实验。多尺度卷积神经网络算法的检出率高于85％，检测出裂纹与数据标注裂纹的轮廓重合约80％以上，出现漏检和误检的情况要明显低于其他算法；舌面裂纹类多等尺度特征检测结果实例实验结果分析如下表7所示：

表7舌体齿痕定量分析准确率结果

实验结果显示：发明项方法对舌象中舌体的轻度裂纹、中度裂纹、重度裂纹三类尺度目标检测识别能力高，算法抗干扰性强，对识别目标边界轮廓的拟合度更高。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种基于多尺度卷积神经网络的舌象纹理定量分析方法，其特征在于，包括如下步骤：

步骤S1：构建多尺度卷积神经网络；

步骤S2：舌象大数据采集并进行预处理；

步骤S3：训练神经网络模型；

步骤S4：对舌象进行点刺、瘀斑、齿痕的检测；

其中，步骤S1中，构建的多尺度卷积神经网络结构包括多尺度共享卷积模块、目标候选区域搜索模块和目标候选区域的识别模块；所述多尺度共享卷积模块采用与舌象数据集相当的Reset50网络对整张图片的多个尺寸层级上提取抽象度特征，融合低抽象度特征形成多尺度高抽象特征图为后续网络共享使用；所述目标候选区域搜索模块包括生成候选区域框、候选区域框分类与边界回归、精选目标候选区域，最后生成相同尺度候选区域特征图；所述目标候选区域的识别模块用于对候选区域进行目标区域分类、目标区域边框修正和目标区域像素掩码计算，结果映射到原图得到检测目标及其区域像素。

2.根据权利要求1所述的一种基于多尺度卷积神经网络的舌象纹理定量分析方法，其特征在于，所述多尺度共享卷积模块特征提取由构建低抽象度特征图谱C和构建高抽象度特征图谱P两个步骤组成；所述构建低抽象度特征图谱C采用ResNet50作为骨干网络，将残差模块的输出作为低抽象度特征图谱集合；所述构建高抽象度特征图谱在低抽象度特征图谱C的高层特征图上进行2倍上采样来得到更高分辨率的图谱,然后将这些上采样之后的特征图与对应的低抽象度特征图谱通过横向连接的方式融合在一起，一直迭代直至最浅的卷积图被合并为止。

3.根据权利要求1所述的一种基于多尺度卷积神经网络的舌象纹理定量分析方法，其特征在于，所述步骤S2中，舌象采集大数据库中不同地区、不同年龄、不同人群的舌象抽取包含点刺、齿痕、裂纹、舌中沟的舌象，通过中医专家对舌象进行人工辨识、评审、构建样本数据集，并对样本数据集进行预处理；所述预处理包括数据集舌体提取、进行特征标注、数据增强处理。

4.根据权利要求3所述的一种基于多尺度卷积神经网络的舌象纹理定量分析方法，其特征在于，所述样本数据集需使用图像数据标注工具对舌体表面点刺、齿痕、裂纹轮廓边界精确标注，将图像分割成舌体和多个目标区域；所述数据增强处理用于在神经网络进行深度学习之前，先对样本数据进行旋转、缩放、翻转、对比度四中方法组合对样本图像做随机增强处理，获取具有泛型的数据集。

5.根据权利要求1所述的一种基于多尺度卷积神经网络的舌象纹理定量分析方法，其特征在于，所述步骤S3中，训练神经网络模型时时将样本数据集分为训练集、验证集和测试集；所述训练集和验证集用于完成网络模型学习和优化调整模型的参数，寻找最优的网络深度；所述测试集用以验证最后选择模型的性能，并使用MSCOCO预训练网络参数进行初始化，对候选区域生成网络并采用交替训练目标区域计算网络。

6.根据权利要求5所述的一种基于多尺度卷积神经网络的舌象纹理定量分析方法，其特征在于，所述交替训练目标区域计算网络具体步骤如下：

步骤S31：使用在MSCOCO上预训练的模型初始化网络并训练候选区域生成网络微调训练；

步骤S32：对步骤S31中得到的网络参数生成的候选区域，使用在MSCOCO上预训练的模型初始化网络并训练目标区域计算网络微调训练；

步骤S33：使用步骤S32中微调后的目标区域计算网络重新初始化候选区域生成网络，固定共享卷积层，只微调候选区域生成网络独有的层，形成共享卷积层；

步骤S34：固定步骤S33中共享卷基层，利用步骤S33中得到的后续区域，只微调目标区域计算网络独有的层，形成统一网络。

7.根据权利要求1所述的一种基于多尺度卷积神经网络的舌象纹理定量分析方法，其特征在于，所述步骤S4中，对舌象进行点刺、瘀斑、齿痕的检测具体步骤如下：

步骤S41：读取需要检测的图片，通过候选区域生成网络生成约20000个预测框；

步骤S42：对20000个预测框进行第一次边框修正，得到修订边框后的预测框；

步骤S43：对超过图像边界的预测框的边进行裁剪，使得该预测框不超过图像范围；

步骤S44：将所有预测框按照前景分数从高到低排序，选取前1000个预测框；

步骤S45：使用阈值为0.7的NMS算法排除掉重叠的预测框；

步骤S46：针对步骤S45中剩下的预测框,选取前300个得分高的预测框，进行分类和第二次边框修正，对得分最高的100个候选区域进行像素掩码计算。