CN115830318A - 基于改进Mask-RCNN网络的重叠烟丝图像分割方法及装置 - Google Patents

Abstract

本发明公开了基于改进Mask‑RCNN网络的重叠烟丝图像分割方法及装置，该方法包括：获取待检测的烟丝图像；通过预先训练得到的改进Mask‑RCNN网络检测模型对所述烟丝图像进行识别与分割；所述改进Mask‑RCNN网络检测模型采用DenseNet121和U‑FPN网络，并设置RPN提议网络中的锚点优化参数；确定所述烟丝图像中烟丝的种类与组分。本发明以Mask‑RCNN作为网络主框架，通过采用DenseNet121和U‑FPN网络，并设置RPN提议网络中的锚点优化参数，实现对待检查的烟丝图像进行准确检测，可确定烟丝图像中烟丝的种类。解决了掺配烟丝中的重叠烟丝的种类准确识别的问题、重叠图像分割的问题，同时有助于解决掺配烟丝中重叠烟丝的组分计算问题。

Description

基于改进Mask-RCNN网络的重叠烟丝图像分割方法及装置

技术领域

本发明涉及烟草图像处理技术领域，特别涉及一种基于改进Mask-RCNN网络的重叠烟丝图像分割方法及装置。

背景技术

世界卫生组织《烟草控制框架公约(FCTC)》第9条和第10条的实施准则中要求烟草制品的生产商和进口商必须向政府当局披露烟草制品的成分，包括烟丝的类型和每种烟丝类型的掺配比例。烟草生产商也被要求具备烟丝成分检测与测量的设备及方法。卷烟中烟丝混料(叶丝、梗丝、膨胀叶丝和再造烟丝)配比对卷烟烟气特征、物理指标和感官质量具有重要的影响。因此，高精度、高效的烟丝类型识别及组分测定对于保障烟丝掺配工艺质量、同质化生产、考查配方设计与烟草制品真伪鉴别等方面，具有非常重要的意义。

目前，针对烟丝组分检测已被广泛研究，主要分为人工和仪器检测法。人工分拣法是通过人眼观察将配方烟丝中的叶丝、梗丝、膨胀叶丝、再造烟叶丝逐一挑选出来，称量后计算出各类烟丝的比例，该方法检测效率低，受主观因素影响大。仪器检测法主要包括烟丝RGB分析法、高光谱成像分析法、近红外光谱分析法、热分析技术、香烟烟气法、无水乙酮法和机器视觉法等。

其中，寇霄腾等测定不同比例的叶丝和梗丝制成的烟末的RGB均值，建立的梗丝掺配比例与RGB均值多项式回归模型,提出了一种基于RGB图像处理法预测烟丝的梗丝组分比例测定方法。梅吉帆等以样本高光谱图像的所有像素点光谱数据进行面对像素的组分判别，以样本所有像素点的平均光谱数据进行面对样本的组分判别，提出了一种基于高光谱成像技术的烟丝组分测定方法。李瑞丽等采集不同组分比例烟丝样品的近红外光谱数据，通过PLS法建立红外光谱模型，提出了一种基于红外光谱分析法预测烟丝掺配均匀性的测定方法。张亚平等采用热重分析法测算不同时间点所取配方烟丝的热失重反应转化率曲线的相似度,根据相似度间的变异系数建立了计算烟丝掺配均匀度的方法。叶宏音等分析比较不同混配方式下的主流烟气指标、烟丝常规化学成分，得出烟丝组分掺配差异性。林慧等利用膨胀烟丝在无水乙酮下漂浮率远大于其他类型烟丝的特性，得出了膨胀叶丝的组分比例判定法。董浩等通过机器视觉的方法获取烟丝图像，利用不同类型的烟丝图像在RGB、HSV颜色空间像素方差值、对比度、熵、角二阶矩和四个纹理特征值等，建立特征数据库及相关性方程，进行烟丝类型判定。但这些检测方法存在有损检测、测试周期较长、检测条件苛刻、检测烟丝类型不全面等不同问题。

近年来，基于机器视觉的深度学习方法提供了先进、高效的图像分类、目标检测和图像分割等图像处理解决方案。目前，基于机器视觉的深度学习方法已在烟丝图像分类方面开展了一定的研究工作。高震宇等针对各类烟丝的结构特征差异，提出了一种基于卷积神经网络的烟丝识别方法，但测试集正确率与训练集正确率差异较大，模型在一定程度上出现“过拟合”现象，导致模型的泛化能力较低。钟宇等以残差神经网络为基础建立识别模型，并对模型的预训练权值、优化算法、学习率等进行优化。结果表明训练得到的模型的准确率及召回率均高于96％。牛群峰等以ResNet50为网络主框架，通过增加多尺度结构及更改网络的stage层block堆叠次数和焦点损失函数损失函数，进行网络优化。实验结果表明分类准确率为96.56％。

在上述的烟丝图像分类方法的研究中，均是对掺配烟丝中单根烟丝分析图像特征，完成烟丝类别识别。但是在实际质检线上，掺配烟丝必然会存在重叠烟丝和堆叠烟丝的现象。重叠烟丝和堆叠烟丝的烟丝图像的目标检测和分割方法少有研究，但是重叠烟丝和堆叠烟丝的类型识别与组分测定直接影响到了烟丝组分掺配比例的计算精度，具有非常重要的研究必要性。

目前，基于机器视觉的重叠图像的目标检测与分割方法已在一些领域开展了深入研究。DandanWang等针对果园中的苹果存在的重叠和遮挡现象、苹果底色多变以及未成熟苹果和背景叶子之间的相似性，实现精准分割。以Mask Rcnn为网络主架构，将注意力机制添加到主干网络中以增强特征提取能力，实现分割mAP为91.7％。YangYu等针对存在重叠现象、隐藏现象以及不同光照条件下的草莓，实现精准的分割以及采摘点定位。整体算法架构为Mask Rccn，配合草莓采摘点视觉定位算法，实现精准的草莓采摘，平均检测准确率为95.78％。Jiahao Qi等针对存在重叠和密集遮挡现象的机舱辅助设备，以Ssd为网络架构，使用焦点损失函数平衡数据集中的正负样本以提高模型对密集遮挡和重叠的机舱设备检测效果，平均识别精度(mAP)达到78.95％。DaizhouWen等针对存在多个气泡重叠的气液气泡流，以CNN为主要架构对两帧检测气泡之间的关系进行关联，进行精准分割，达到85％的准确率。HaoWu等针对存在重叠现象的免疫组化(IHC)阳性细胞，使用residual U-Net网络对重叠图像进行识别，能够检测出86.04％的重叠细胞。

在重叠烟丝目标检测与分割任务实现方面，由于单根烟丝尺寸小、外形形态各异、微小的烟丝具有复杂的物理和形态特征，尤其是膨胀叶丝和叶丝之间在宏观尺度上特征差异极不明显，这就给基于机器视觉的单根烟丝识别与分类带来了一定的难度。进一步地，四种不同的烟丝重叠类型就达到24种，自身品种的自缠绕更容易和重叠类型分不开，这就给重叠烟丝目标检测与分割任务以及后续的组分面积计算带来巨大的挑战。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于改进Mask-RCNN网络的重叠烟丝图像分割方法及装置。

为实现上述目的，本发明采取的技术方案为：

第一方面，本发明实施例提供一种基于改进Mask-RCNN网络的重叠烟丝图像分割方法，包括以下步骤：

获取待检测的烟丝图像；

通过预先训练得到的改进Mask-RCNN网络检测模型对所述烟丝图像进行识别与分割；所述改进Mask-RCNN网络检测模型采用DenseNet121和U-FPN网络，并设置RPN提议网络中的锚点优化参数；

根据所述改进Mask-RCNN网络检测模型的检测结果，确定所述烟丝图像中烟丝的种类。

进一步地，在所述通过预先训练得到的改进Mask-RCNN网络检测模型对所述烟丝图像进行识别与分割之前，该方法还包括：

通过烟丝震动实验获取多种类型的重叠烟丝图像；所述重叠烟丝图像由叶丝、梗丝、膨胀叶丝和再造烟丝的至少任意两种按照不同顺序重叠构成；

将所述多种类型的重叠烟丝图像进行opencv算法处理，获得裁剪后的图像；

实验图像标注工具对裁剪后的重叠图像进行标签设定，生成对应的蒙版图像作为训练数据集；

采用所述训练数据集对改进的Mask-RCNN网络迭代训练，获得改进Mask-RCNN网络检测模型。

进一步地，所述通过预先训练得到的改进Mask-RCNN网络检测模型对所述烟丝图像进行识别与分割，包括：

利用所述DenseNet121和U-FPN网络提取所述烟丝图像对应的图像特征；

将所述图像特征作为提议网络RPN的输入，生成一系列目标候选框；

将所述一系列目标候选框，通过FC和全卷积网络FCN，完成重叠烟丝图像的识别与分割，输出分割图像。

进一步地，利用所述DenseNet121和U-FPN网络提取所述烟丝图像对应的图像特征，包括：

利用所述DenseNet121网络中的一个卷积层、四个特征提取层，提取所述烟丝图像的特征信息；

并对每个特征提取层所提取到的特征信息进行池化操作，得到四个特征返回值；

将所述四个特征返回值分别进行不同的降采样和横向连接，生成四个不同尺度的第一特征图；

将所述四个不同尺度的第一特征图，分别对应输入U-FPN网络的四个特征层进行融合，得到所述烟丝图像对应的图像特征。

进一步地，将所述四个不同尺度的第一特征图，分别对应输入U-FPN网络的四个特征层进行融合，得到所述烟丝图像对应的图像特征；包括：

将所述四个不同尺度的第一特征图，分别经1×1卷积后与上采样特征融合后，再经3×3卷积后，均输入U-FPN网络对应的特征层，得到P2、P3、P4和P5特征；

添加自底向上和评级特征复用的结构，依次将浅层信息传至上一级特征层进行融合，得到所述烟丝图像对应的图像特征。

进一步地，添加自底向上和评级特征复用的结构，依次将浅层信息传至上一级特征层进行融合，得到所述烟丝图像对应的图像特征，包括：

将P2特征通过2个3×3卷积和第二尺度的第一特征图C3通过3×3卷积与P3特征相加，获得融合后的增强P3特征；

将增强P3特征通过2个3×3卷积和第三尺度的第一特征图C4通过3×3卷积与P4特征相加，获得融合后的增强P4特征；

将增强P4特征通过2个3×3卷积和第四尺度的第一特征图C5通过3×3卷积与P5特征相加，获得融合后的增强P5特征；

将增强P5特征通过2个3×3卷积和四个不同尺度的第一特征图融合后的特征图C6相加，获得融合后的P6特征。

进一步地，所述将所述图像特征作为提议网络RPN的输入，生成一系列目标候选框，包括：

分别将融合后的增强P3、P4、P5特征以及P6特征的每个位置上设置多个参考锚框；

提议网络RPN分别根据每阶段的特征选择，调整锚框，输出感兴趣区域图像。

第二方面，本发明实施例还提供一种基于改进Mask-RCNN网络的重叠烟丝图像分割装置，包括：

获取模块，用于获取待检测的烟丝图像；

检测模块，用于通过预先训练得到的改进Mask-RCNN网络检测模型对所述烟丝图像进行识别与分割；所述改进Mask-RCNN网络检测模型采用DenseNet121和U-FPN网络，并设置RPN提议网络中的锚点优化参数；

确定模块，用于根据所述改进Mask-RCNN网络检测模型的检测结果，确定所述烟丝图像中烟丝的种类。

第三方面，本发明实施例再提供一种基于改进Mask-RCNN网络的重叠烟丝图像分割装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，以实现如上述任一项实施例所述的基于改进Mask-RCNN网络的重叠烟丝图像分割方法。

与现有技术相比，本发明具有如下有益效果：

本发明实施例提供的基于改进Mask-RCNN网络的重叠烟丝图像分割方法，包括以下步骤：获取待检测的烟丝图像；通过预先训练得到的改进Mask-RCNN网络检测模型对所述烟丝图像进行识别与分割；所述改进Mask-RCNN网络检测模型采用DenseNet121和U-FPN网络，并设置RPN提议网络中的锚点优化参数；根据所述改进Mask-RCNN网络检测模型的检测结果，确定所述烟丝图像中烟丝的种类。本发明以Mask-RCNN作为网络主框架，通过采用DenseNet121和U-FPN网络，并设置RPN提议网络中的锚点优化参数，实现对待检查的烟丝图像进行准确检测，可确定烟丝图像中烟丝的种类；解决了掺配烟丝中的重叠烟丝的种类准确识别的问题、重叠图像分割的问题，同时有助于解决掺配烟丝中重叠烟丝的组分计算问题。

附图说明

图1为本发明实施例提供的基于改进Mask-RCNN网络的重叠烟丝图像分割方法的流程图；

图2为本发明实施例提供改进的Mask-RCNN网络检测模型的训练过程图；

图3四类烟丝结构示意图；

图4为本发明实施例提供的烟丝震动实验的图像采集系统示意图；

图5为本发明实施例提供的重叠烟丝图像预处理流程图；

图6为本发明实施例提供的实例分割的重叠烟草示意图；

图7为本发明实施例提供的改进Mask-RCNN网络的整体框架图；

图8为本发明实施例提供的Backbone网络框架图；

图9为本发明实施例提供的U-FPN网络框架图；

图10为本发明实施例提供的重叠区域算法流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参照图1所示，本发明提供的一种基于改进Mask-RCNN网络的重叠烟丝图像分割方法，包括以下步骤：

S1、获取待检测的烟丝图像；

S2、通过预先训练得到的改进Mask-RCNN网络检测模型对所述烟丝图像进行识别与分割；所述改进Mask-RCNN网络检测模型采用DenseNet121和U-FPN网络，并设置RPN提议网络中的锚点优化参数；

S3、根据所述改进Mask-RCNN网络检测模型的检测结果，确定所述烟丝图像中烟丝的种类。

在步骤S2中，以Mask-RCNN作为网络主框架，通过更改骨干网络Backbone中的卷积网络和FPN分别为Densenet121和U-FPN，优化RPN中的锚框Anchors的尺寸size和长宽比aspect_ratios，提出了一种改进Mask-RCNN网络检测模型。

其中，选用Mask-RCNN网络作为实例分割网络的主架构。更改Mask-RCNN中的Backbone中的ResNet50为DenseNet121。在烟丝重叠类型繁多、不同烟丝特征差异微小以及重叠区域特征易混淆的状况下，有效提高了对重叠烟丝中的浅层信息中的微小特征的提取能力。

提出U-FPN结构，在原有FPN基础上，增加了上采样和C2、C3平级连接。在小目标重叠烟丝对象浅层特征丰富，深层特征包含的小目标信息较少的情况下，增强浅层信息及提取到的烟丝微小特征的利用率。

优化RPN中的Anchors参数，设计适应于重叠烟丝小目标对象的size和aspect_ratios。增加了重叠烟丝小目标的提取和候选框能力，减少了对烟丝的漏检以及冗余计算量。

构建的改进后的Mask Rcnn网络(Densenet121、U-FPN、Anchors参数)，在重叠烟丝数据集上达到在目标检测中的准确率为90.2％，在实例分割中的准确率为89.1％，优于其他同类分割网络。

在一个实施例中，在通过预先训练得到的改进Mask-RCNN网络检测模型对所述烟丝图像进行识别与分割之前，参照图2所示，该方法还包括：

S21、通过烟丝震动实验获取多种类型的重叠烟丝图像；所述重叠烟丝图像由叶丝、梗丝、膨胀叶丝和再造烟丝的至少任意两种按照不同顺序重叠构成；

S22、将所述多种类型的重叠烟丝图像进行opencv算法处理，获得裁剪后的图像；

S23、实验图像标注工具对裁剪后的重叠图像进行标签设定，生成对应的蒙版图像作为训练数据集；

S24、采用所述训练数据集对改进的Mask-RCNN网络迭代训练，获得改进Mask-RCNN网络检测模型。

如图3所示，卷烟烟支里包含叶丝(a)、梗丝(b)、膨胀叶丝(c)和再造烟丝(d)这四类烟丝。在烟丝震动实验中，为了保证拍摄精度和稳定性，可采用工业相机和手动调焦镜头。计算机和工业相机通过网线相连，保证了烟丝图片的传输速度和稳定性。选定环形光源保证在拍摄视野内亮度均匀一致，排除烟丝阴影的影响。其中，工业相机：可选用海康工业相机MV-CE100-30GM/GC 1000万彩色相机；配套12mm镜头MVL-HF1224M-10MP；光源：环形LED光源高亮环形R120-80-25角度；工业相机支架：工业相机支架CCD实验支架微调；万向光源打光架600mm螺纹杆微调旋钮；暗室：四块摄影反光板制成的立体采光室，整体的图像采集系统如图4所示。

比如采用该图像采集系统共拍摄了920张重叠烟丝图像，单张图像大小为3840×2748，重叠烟丝图像来自4类烟丝(G为梗丝、P为膨胀叶丝、Y为叶丝、Z为再造烟丝)，共计24种重叠类型。针对不同的烟丝重叠类型，拍摄的烟丝图像数量比例不同。同一种类的烟丝重叠(例如GG为梗丝-梗丝)，其中自缠绕Self-winding、黏附力Adhesion和互重叠Stack的比例为1：1：2。不同种类烟丝的重叠(例如GP为梗丝-膨胀叶丝)，其中Adhesion和互Stack的比例为1：1。考虑到因拍摄的数据集获取难度较大且重叠类型种类繁多，样本较少，训练集和测试集的比例为8：2。可通过步骤S21得到多种类型的重叠烟丝图像。

在步骤S22中，另外，经过图像采集系统得到的重叠烟丝图像，如果烟丝对象较小且包含大量背景信息，会增大分割模型的训练和预测时间。图像预处理算法流程为将重叠烟丝图像进行opencv算法处理，寻找对象最小外接圆，进行轮廓裁剪，算法流程见图5所示。经过图像预处理算法，能够保证在保留图像前景信息的前提下，减少图片中无效的背景信息，从而将大幅度减少图像大小。

步骤S23中，比如使用图像标准工具Labelme对预处理过的重叠烟丝图像进行标签设定，以生成对应的蒙版图像。然后利用coco官方数据集制作代码，制作成coco数据类型的重叠烟丝数据集。图像中的四类烟丝区域分别进行标记，其余区域默认为背景。以GP中的重叠类型中的互stack为例，标记的图像图6所示，其中a部分表示原始图像、b部分表示实例分割的掩膜图像、c部分表示掩膜图像的可视化。

最后，经上述步骤S21-23的处理，构成训练数据集，步骤S24则采用该训练数据集对改进的Mask-RCNN网络迭代训练，获得改进Mask-RCNN网络检测模型。

在一个实施例中，通过预先训练得到的改进Mask-RCNN网络检测模型对所述烟丝图像进行检测，包括：

S201、利用所述DenseNet121和U-FPN网络提取所述烟丝图像对应的图像特征；

S202、将所述图像特征作为提议网络RPN的输入，生成一系列目标候选框；

S203、将所述一系列目标候选框，通过FC和全卷积网络FCN，完成重叠烟丝图像的识别与分割，输出分割图像。

本实施例中，改进Mask-RCNN网络结构由Backbone(CNN和FPN)、RPN、RoiAlign、FCN和FC layer等模块组成，改进Mask-RCNN整体框架如图7所示。模型输入尺寸为500×500像素的重叠烟丝图像，主干网络借助DenseNet121+U-FPN组进行特征提取,得到特征图Feature map。然后，将从backone输出的Feature map输送到提议网络(RPN)生成感兴趣区域。随后，从RPN输出的ROI，被映射以提取共享特征图中对应的重叠烟丝特征。最终，通过FC和全卷积网络(FCN)，完成重叠烟丝图像的识别与分类，模型的输出为重叠烟丝的类型。

其中，步骤S201具体包括：

S2011、利用所述DenseNet121网络中的一个卷积层、四个特征提取层，提取所述烟丝图像的特征信息；

S2012、并对每个特征提取层所提取到的特征信息进行池化操作，得到四个特征返回值；

S2013、将所述四个特征返回值分别进行不同的降采样和横向连接，生成四个不同尺度的第一特征图；

S2014、将所述四个不同尺度的第一特征图，即：第一尺度的第一特征图、第二尺度的第一特征图、第三尺度的第一特征图、第四尺度的第一特征图；分别对应输入U-FPN网络的四个特征层进行融合，得到所述烟丝图像对应的图像特征。

由于重叠烟丝形态特征各异、不同类型烟丝之间的特征差异较小，这就会导致不同类型烟丝特征提取难度较大，重叠烟丝以及其重叠区域的特征提取难度更大。在MaskRCNN中，采用Resnet50对输入重叠图像进行不同层次的特征提取效果较差。DenseNet121网络层数的增加，能够增强不同种类烟丝的小目标细节信息的提取能力，层与层之间采用密集连接形式，对浅层信息进行多轮复用，能够有效的提取不同种类重叠烟丝中的浅层信息中的微小差异特征和重叠区域特征。因此，采用DenseNet121，能够对小尺寸的重叠烟丝或大尺寸重叠烟丝中的微小特征都能够进行有效提取，增强了整体重叠烟丝的特征提取能力，在一定程度上，解决浅层特征丢失问题。

DenseNet121设定为四个特征提取层，分别为Dense Block 1、Dense Block2、Dense Block 3和Dense Block 4。四个特征返回值经历了不同的降采样次数(2，3，4，5)和横向连接，最终构成新型的Backbone，如图8所示。

其中，步骤S2014中，将四个不同尺度的第一特征图，分别对应输入U-FPN网络的四个特征层进行融合，得到烟丝图像对应的图像特征；具体包括：

1)将所述四个不同尺度的第一特征图，分别经1×1卷积后与上采样特征融合后，再经3×3卷积后，均输入U-FPN网络对应的特征层，得到P2、P3、P4和P5特征；

2)添加自底向上和评级特征复用的结构，依次将浅层信息传至上一级特征层进行融合，得到所述烟丝图像对应的图像特征。

由于小目标重叠烟丝对象的分辨率较小，在经过CNN网络提取过后，浅层特征图感受野较小，小目标细节信息较多；深层特征图感受野较大，但包含的小目标信息较少。虽然FPN的自顶向下和同层相连结构，在一定程度上合并了深层和浅层的特征来同时满足后续的重叠烟丝的分类和检测的需求，但是仍不能弥补浅层特征中微小特征充分利用的问题。

小目标检测浅层特征信息丰富且重要，因此在自顶向下结构的基础上，添加自底向上和平级特征复用的结构，将浅层信息传至每个特征层(P3、P4、P5、P6)，增强了浅层特征信息的有效利用。修改后的FPN网络结构U-FPN，如图9所示。

将P2特征通过2个3×3卷积和第二尺度的第一特征图C3通过3×3卷积与P3特征相加，获得融合后的增强P3特征；

将增强P3特征通过2个3×3卷积和第三尺度的第一特征图C4通过3×3卷积与P4特征相加，获得融合后的增强P4特征；

将增强P4特征通过2个3×3卷积和第四尺度的第一特征图C5通过3×3卷积与P5特征相加，获得融合后的增强P5特征；

将增强P5特征通过2个3×3卷积和四个不同尺度的第一特征图融合后的特征图C6相加，获得融合后的P6特征。

以图9中的P3为例，在保证每层特征层数前提下，将P2通过3×3/2Conv和C3通过3×3Conv与P3相加，可以实现将P2层的浅层信息和C3层的浅层信息复用到P3中，以增强P3中总体浅层特征信息的融合。

在步骤S202中，将图像特征作为提议网络RPN的输入，生成感兴趣区域图像；即包括：分别将融合后的增强P3、P4、P5特征以及P6特征的每个位置上设置多个参考锚框；提议网络RPN分别根据每阶段的特征选择，调整锚框，输出感兴趣区域图像。

在Mask RCNN中，Anchor的尺度和比例分别为[128,256,512]和[1:1,1:2,2:1]，feature map上每个位置设置9个参考Anchor。RPN分别根据每阶段的特征选择和调整anchor输出ROIs。以P2为例，P2层的特征图大小为256×256，步长为4，这样P2上的每个像素点就会生成基于当前坐标的4×4面积为16的Anchor锚框。根据Anchor的尺度和比例，在每个像素点生成3种大小和3种形状的候选框。并进行两层卷积后，做前景与背景的分类，与候选框的偏移量回归。与目标重叠>＝0.7则为前景，与目标重叠<＝0.3则为背景，其余框去掉。

在Mask RCNN中最小的Anchor尺度是128×128，而重叠烟丝中小目标很多，有的远小于这个尺度，从而导致不能检测这个目标对象。理想情况下目标越小Anchor应该越多越密集，才能覆盖所有的候选区域，目标越大Anchor应该越少越稀疏，否则互相高度重叠造成冗余计算量。然而Mask RCNN中的设定的Anchor参数，针对小目标重叠烟丝对象，在一定程度上导致小目标的Anchor少而疏，而检测大目标的Anchor多而密。在此情况下，改变适当的Anchor的尺度和比例，小物体的检测性能在不大幅增加计算量的情况下得到显着提升。

在一个实施例中，该方法还包括：

根据检测结果，获得重叠烟丝的掩膜图像，绘制拟合重叠区域；采用COT算法计算重叠区域面积。

上述实施例中，基于改进Mask-RCNN网络的检测模型，很好地实现了针对形态各异、重叠形式多样的重叠烟丝的目标检测与实例分割，获取到了重叠烟丝目标各自的外形轮廓。基于此，就可以对掩膜图像，通过Opencv算法计算并获取到其对应烟丝的像素面积及各自面积占比，但是被遮挡烟丝的重叠区域无法获取。被遮挡烟丝的重叠区域面积的缺失，将会直接导致后续烟丝组分测定时，不同类型烟丝的各自面积计算与烟丝群的总面积统计出现误差。

算法的考虑重叠烟草面积，是使用改进Mask-RCNN网络生成重叠烟丝的掩膜图像，确定被遮挡烟丝，根据被遮挡重叠烟丝的分布，绘制拟合重叠区域，利用拟合重叠区域和未被遮挡烟丝确定实际重叠区域。重叠区域面积计算的算法如下，具体流程如图10所示：

(1)确定被遮挡烟丝对象。首先，对掩膜图片进行灰度处理、二值化、计算并统计烟丝轮廓数量、单轮廓为未被遮挡烟丝、多轮廓为被遮挡烟丝；

(2)拟合烟丝重叠区域。对被遮挡烟丝的多个轮廓进行循环判断，按照轮廓面积大小，找出其中两个轮廓。

首先利用opencv函数中的cv2.pointPolygonTest和cv2.minMaxLoc构造轮廓内部最小矩形，接着以矩形中心为圆点，边长为直径，绘制最小内接圆round_1，其圆心为(x1,y1)和直径为d1。依次类推绘制第二个轮廓的最小内接圆round_2,其圆心为(x2,y2)和直径为d2。连接两个内接圆的圆心(x1,y1)和(x2,y2)，绘制直线L0。通过对直线L0延长，对round_1和round_2绘制同各圆直径大小的外切线L1和L2。依次连接线段，根据L1和L2绘制拟合重叠区域梯形。

(3)确定实际烟丝重叠区域。对拟合区域利用cv2.fillPoly函数生成蒙版图像，根据未被遮挡图像轮廓进行掩膜操作，找到重叠区域；根据梯形的底边、顶边及高，计算重叠区域的面积。

本实施例中，提出COT算法应用于重叠区域识别与重叠区域面积计算，不仅实现了重叠烟丝面积的实际检测平均率从81.2％提升到90％，而且有效避免识别和检测重叠面积计算的负优化情况的出现；从而实现烟丝分类和组分面积的准确计算。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于改进Mask-RCNN网络的重叠烟丝图像分割方法，其特征在于，包括以下步骤：

获取待检测的烟丝图像；

通过预先训练得到的改进Mask-RCNN网络检测模型对所述烟丝图像进行识别与分割；所述改进Mask-RCNN网络检测模型采用DenseNet121和U-FPN网络，并设置RPN提议网络中的锚点优化参数；

根据所述改进Mask-RCNN网络检测模型的检测结果，确定所述烟丝图像中烟丝的种类。

2.根据权利要求1所述的一种基于改进Mask-RCNN网络的重叠烟丝图像分割方法，其特征在于，在所述通过预先训练得到的改进Mask-RCNN网络检测模型对所述烟丝图像进行识别与分割之前，该方法还包括：

通过烟丝震动实验获取多种类型的重叠烟丝图像；所述重叠烟丝图像由叶丝、梗丝、膨胀叶丝和再造烟丝的至少任意两种按照不同顺序重叠构成；

将所述多种类型的重叠烟丝图像进行opencv算法处理，获得裁剪后的图像；

实验图像标注工具对裁剪后的重叠图像进行标签设定，生成对应的蒙版图像作为训练数据集；

采用所述训练数据集对改进的Mask-RCNN网络迭代训练，获得改进Mask-RCNN网络检测模型。

3.根据权利要求2所述的一种基于改进Mask-RCNN网络的重叠烟丝图像分割方法，其特征在于，所述通过预先训练得到的改进Mask-RCNN网络检测模型对所述烟丝图像进行识别与分割，包括：

利用所述DenseNet121和U-FPN网络提取所述烟丝图像对应的图像特征；

将所述图像特征作为提议网络RPN的输入，生成一系列目标候选框；

将所述一系列目标候选框，通过FC和全卷积网络FCN，完成重叠烟丝图像的识别与分割，输出分割图像。

4.根据权利要求3所述的一种基于改进Mask-RCNN网络的重叠烟丝图像分割方法，其特征在于，利用所述DenseNet121和U-FPN网络提取所述烟丝图像对应的图像特征，包括：

利用所述DenseNet121网络中的一个卷积层、四个特征提取层，提取所述烟丝图像的特征信息；

并对每个特征提取层所提取到的特征信息进行池化操作，得到四个特征返回值；

将所述四个特征返回值分别进行不同的降采样和横向连接，生成四个不同尺度的第一特征图；

将所述四个不同尺度的第一特征图，分别对应输入U-FPN网络的四个特征层进行融合，得到所述烟丝图像对应的图像特征。

5.根据权利要求4所述的一种基于改进Mask-RCNN网络的重叠烟丝图像分割方法，其特征在于，将所述四个不同尺度的第一特征图，分别对应输入U-FPN网络的四个特征层进行融合，得到所述烟丝图像对应的图像特征；包括：

将所述四个不同尺度的第一特征图，分别经1×1卷积后与上采样特征融合后，再经3×3卷积后，均输入U-FPN网络对应的特征层，得到P2、P3、P4和P5特征；

添加自底向上和评级特征复用的结构，依次将浅层信息传至上一级特征层进行融合，得到所述烟丝图像对应的图像特征。

6.根据权利要求5所述的一种基于改进Mask-RCNN网络的重叠烟丝图像分割方法，其特征在于，添加自底向上和评级特征复用的结构，依次将浅层信息传至上一级特征层进行融合，得到所述烟丝图像对应的图像特征，包括：

将P2特征通过2个3×3卷积和第二尺度的第一特征图C3通过3×3卷积与P3特征相加，获得融合后的增强P3特征；

将增强P3特征通过2个3×3卷积和第三尺度的第一特征图C4通过3×3卷积与P4特征相加，获得融合后的增强P4特征；

将增强P4特征通过2个3×3卷积和第四尺度的第一特征图C5通过3×3卷积与P5特征相加，获得融合后的增强P5特征；

将增强P5特征通过2个3×3卷积和四个不同尺度的第一特征图融合后的特征图C6相加，获得融合后的P6特征。

7.根据权利要求6所述的一种基于改进Mask-RCNN网络的重叠烟丝图像分割方法，其特征在于，所述将所述图像特征作为提议网络RPN的输入，生成一系列目标候选框，包括：

分别将融合后的增强P3、P4、P5特征以及P6特征的每个位置上设置多个参考锚框；

提议网络RPN分别根据每阶段的特征选择，调整锚框，输出感兴趣区域图像。

8.一种基于改进Mask-RCNN网络的重叠烟丝图像分割装置，其特征在于，包括：

获取模块，用于获取待检测的烟丝图像；

检测模块，用于通过预先训练得到的改进Mask-RCNN网络检测模型对所述烟丝图像进行识别与分割；所述改进Mask-RCNN网络检测模型采用DenseNet121和U-FPN网络，并设置RPN提议网络中的锚点优化参数；

确定模块，用于根据所述改进Mask-RCNN网络检测模型的检测结果，确定所述烟丝图像中烟丝的种类。

9.一种基于改进Mask-RCNN网络的重叠烟丝图像分割装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述基于改进Mask-RCNN网络的重叠烟丝图像分割方法。

Images