CN107403183A - 整合目标检测和图像分割为一体的智能分割方法 - Google Patents

Abstract

本发明公开了一种整合目标检测和图像分割为一体的智能分割方法，该方法利用神经网络提取的高维度特征将目标提取出来，由于基于深度学习的目标检测网络Faster‑RCNN具有高效性，能快速准确的将目标区域识别出来，因此可以利用该特性先将目标感兴趣区域提取出来，然后再有针对性的对该区域进行目标分割。本发明方法能够自动检测并提取感兴趣区域，能够减少GPU计算资源的占用，快速准确的将目标分割出来；在图像数量规模巨大的情况下，该方法具有高效的实施性，能够减少人工交互的过程。

Description

整合目标检测和图像分割为一体的智能分割方法

技术领域

本发明涉及计算机图形图像处理技术，尤其针对三维重建中的目标物体序列图像智能分割，具体为整合目标检测和图像分割为一体的智能分割方法。

背景技术

在基于图像序列的三维重建中，目标分割的准确性和速度对重建的质量和效率起到决定性的作用。图像分割广泛应用于军事、遥感、气象、医学等多个领域，是图像处理中的难点。由于图像数量多、周围环境极其复杂多变，物体材质各异等因素导致不能使用某种单一的方法进行批量自动分割，目前基于图像序列的目标分割采用Photoshop软件，人工参与的过程降低了三维重建的效率。国内外专家针对不同目标的图像分割具体应用提出了很多方法，归纳为四类：阈值分割，边缘检测分割，区域提取分割和结合特定理论的分割，但都存在应用范围上的局限和技术的不足：

1)阈值分割方法局限在灰度图像范围，具体为：先确定一个处于灰度图像取值范围之中的灰度阈值，然后将图像中各个像素值与之比较，灰度值大于阈值的像素归为一类，灰度值小于阈值的归为另一类。从而达到分离前景和背景。对三维重建中的目标物体，单独的考虑灰度值信息，丢弃大量的图像色彩纹理信息，造成对噪声的极度敏感，无法找到一个准确的阈值分界线，因此不能很好的将目标从背景中分开。

2)边缘检测分割方法是根据像素值的剧烈变化来确定不同区域之间的界限，因为同一区域的图像具有相同的纹理、色彩分布，因此检测到像素的一阶导数或者二阶导数突变的地方即标记为边缘，但该方法也存在局限，整幅图像存在大大小小的大量边缘，并不是所有的边缘连接起来均能形成封闭的区域，因此无法准确的确定目标的区域。

3)区域提取分割方法就是把具有相似性质的区域连通起来，从而构成最终的分割区域。包括区域生长和分裂，区域生长是根据预先定义的生长准则将像素或子区域组合为更大区域的过程，但相似性的选择不仅取决于所面对的问题，还取决于现有的图像数据，对目标特征各异的图像显然不适合。区域分裂是首先将一幅图像细分为一组任意的不相交区域，然后聚合或分裂这些区域，但停止分裂规则很难建立。

4)结合特定理论的分割例如用形态学分水岭的分割，传统的分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆地，而集水盆地的边界则形成分水岭。然而基于梯度图像的直接分水岭算法容易导致图像的过分割，产生这一现象的原因主要是由于输入的图像存在过多的极小区域而产生许多小的集水盆地，从而导致分割后的图像不能将图像中有意义的区域表示出来。

近年来，深度学习在计算机视觉领域的应用技术日益成熟，得益于深度卷积神经网络提取特征的高效性，目前基于深度学习的手写字识别，图像分类，图像识别，目标检测，目标定位和图像分割等精度均已得到极大的提高。

发明内容

本发明是为克服现有技术的不足，而提供一种整合目标检测和图像分割为一体的智能分割方法，该方法利用神经网络提取的高维度特征将目标提取出来，由于基于深度学习的目标检测网络Faster-RCNN具有高效性，能快速准确的将目标区域识别出来，因此可以利用该特性先将目标感兴趣区域提取出来，然后再有针对性的对该区域进行目标分割。

本发明一种整合目标检测和图像分割为一体的智能分割方法，包括如下步骤：

S10:将序列图像预处理并进行语义标注后制作数据集；

S20:整合目标检测和图像分割的神经网络并对其进行训练，得到优化后的网络模型；

S30:将预分割图像加载到优化的网络模型中，得到高清分割结果。

其中：

所述步骤S10中，所述的将序列图像预处理并进行语义标注后制作数据集的过程包括如下步骤：

S11:去噪处理，采用HSV色彩空间模型对V通道进行高斯平滑处理以减少噪声；

S12:数据标注，利用Photoshop软件对归一化后的图像进行语义标注形成标签图,每个像素的标签对应所属的类别，其中目标区域标记为1，背景区域标记为0；

S13：扩增数据集，通过对归一化后的图像及其标签图进行旋转、镜像操作获得扩大后的数据集,数量为原始数量的8倍。

所述步骤S20中，所述的整合目标检测和图像分割的神经网络并对其进行训练，得到优化后的网络模型，其过程包括如下步骤：

S21:将图像输入目标检测网络Faster-RCNN，输出一个矩形区域，该区域称为感兴趣区域；

S22:将感兴趣区域相对原图的坐标位置对应到原图和标签图上，分别得到感兴趣区域的原图和标签图；

S23:将感兴趣区域的原图和标签图输入FCN图像分割网络，利用随机梯度下降法调整网络输出结果和标签图的误差；

S24:整体训练目标检测网络和图像分割网络，使分割结果误差最小化，得到优化后的网络模型。

所述步骤S30中，所述的将预分割图像加载到优化的网络模型中，得到高清分割结果的过程包括如下步骤：

S31:将预处理后的预处理图像输入到整合后的神经网络中，利用优化过的网络模型参数，对该图像进行目标检测和分割输出分割掩码结果；

S32:将该分割掩码结果与原图做自定义掩码操作，得到高分辨率分割结果。其中自定义的掩码操作表示为式1：

其中a为原始图像中RGB三通道值像素值，b为掩码图中值，b∈(0,1)，将a和b经过掩码操作得到高分辨率(高清)分割结果，其像素值为c。

本发明方法可以获得如下有益效果：

能够自动检测并提取感兴趣区域，能够减少GPU计算资源的占用，快速准确的将目标分割出来；

在图像数量规模巨大的情况下，该方法具有高效的实施性，能够减少人工交互的过程。

附图说明

图1是本发明的流程框架图；

图2是本发明的数据标签示意图；

图3是本发明的整合网络结构的训练阶段示意图；

图4是本发明的整合网络结构的测试阶段示意图；

图5是本发明的分割效果对比图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详细说明。

本发明实施例为整合目标检测的图像智能分割方法，既在对陶瓷材质的工艺品进行三维建模过程中，将目标检测神经网络和图像分割网络结合起来实现智能自动化分割的过程，下面结合附图对本发明做进一步的详细描述。

本发明提出的一种整合目标检测和图像分割于一体的图像智能分割方法，整体上分为两个阶段：神经网络训练阶段和测试阶段。流程框架图如图1所示。包括以下步骤：

S10:将序列图像预处理并进行语义标注后制作数据集；

S20:整合目标检测与图像分割的神经网络并对其进行训练，得到优化后的网络模型；

S30:将预分割图像加载到优化的网络模型中，得到高清分割结果。

在步骤S10中，所述的将序列图像预处理并进行语义标注后制作数据集的过程包括如下步骤：

S11:去噪处理，在实际拍摄时，物体表面因反光产生噪声，对分割时判断像素点所属类别造成干扰。由于HSV色彩空间模型中的V通道表示颜色的明亮程度，因此采用对V通道进行高斯平滑处理以减少噪声。

S12：数据标注，首先利用labelmebiaozhu利用Photoshop软件对归一化后的图像进行语义标注形成标签图,每个像素的标签对应所属的类别，其中目标区域标记为1，背景区域标记为0，格式如图4中语义分割标签所示。

S13：扩增数据集，通过对归一化后的图像及其标签图进行旋转、镜像操作获得扩大后的数据集,数量为原始数量的8倍,最终数据集包含12920对图像及其标签图，涵盖了实际应用中所需的目标特征。

本实施例需要将数据集分为两部分：训练数据集和验证数据集。根据大量实验结果表明4:1的结果最佳。

本发明的目标检测网络采用Faster-RCNN，分割网络采用FCN，两个网络分别具有较好的目标检测效果或分割效果，以及较强的迁移能力。

在步骤S20中，所述的整合目标检测与图像分割的神经网络并对其进行训练，得到优化后的网络模型的过程中如图3所示，包含如下具体步骤：

S21：首先将训练集图像输入Faster-RCNN目标检测网络，输出感兴趣区域及其对应原图的位置坐标；

S22：计算手工标注的目标位置坐标和提取到的感兴趣区域之间的误差；

S23：判断目标检测网络损失值是否可以接受，否，继续输入下一批(batchsize)图像，重复S21～S23；是，则进行下一步骤；

S24：将感兴趣区域输入FCN网络进行自动分割，得到分割结果；

S25：利用感兴趣区域的坐标位置，在语义分割标签图中裁剪出对应位置的标注图像，如图2中所示；

S26：计算分割结果和标签图之间误差；

S27：判断误差是否满足要求(可接受)，否，调整网络参数，重复S24～S27；是，则训练结束，得到优化后的网络模型。

在步骤S30中，所述的将预分割图像加载到优化的网络模型中，得到高清分割结果的示意图如图4所示，过程包括如下步骤：

S31:将预处理后的预处理图像输入到整合后的神经网络中，利用优化过的网络模型参数，对该图像进行目标检测,得到感兴趣区域；

S32:将感兴趣区域继续输入到目标分割网络中分割输出分割掩码结果；

S32:将该分割掩码结果与原图做自定义掩码操作，得到高分辨率分割结果。

参照附图1、2、3、4和5，图1是本发明方法中的流程框架图，总共包括两个阶段：神经网络训练阶段，测试阶段。其中训练阶段包括图像预处理和网络整合及训练，测试阶段包括使用优化后的模型和掩码操作。

图2是输入网络的训练样本格式，包括两部分，一个是目标检测的标签，一个是图像分割的标签。其中目标检测的标签为文本格式，文本中包含的是目标所处在原图中的坐标位置，分别为左上角和右下角坐标。图像分割的标签为索引图，不同的颜色对应不同的类别，索引号为类别号，可以使用Photoshop制作手工标签图。

图3是神经网络训练阶段流程图，分为两阶段，第一阶段是目标检测网络的训练阶段，如果训练结果的误差值满足要求的话，将提取的感兴趣区域输入到图像分割网络，如果分割结果的误差满足要求的话，该训练结束。如果任意一个判断条件不满足的话，调整网络参数，重新训练，直至结束。

图4是神经网络测试阶段示意图，当神经网络训练完成后，使用优化后网络模型参数初始化网络，将预分割的图像输入网络，先通过目标检测网络，得到感兴趣区域，在通过目标分割网络得到分割掩码图，最后通过掩码操作得到高分辨率分割结果。

图5是本发明的分割效果示意图，为了说明分割效果，本文采用FCN网络分割效果，photoshop人工分割结果进行对比。第一排为photoshop人工分割结果，第二排为单独的FCN网络分割效果，第三排为本发明方法分割结果。从图中可以明显的观察到整合目标检测的图像分割方法比单独的FCN分割网络在效果上有了很大的提升，且几乎接近人工分割的结果。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (4)

1.一种整合目标检测和图像分割为一体的智能分割方法，其特征是：包括如下步骤：

S10:将序列图像预处理并进行语义标注后制作数据集；

S20:整合目标检测和图像分割的神经网络并对其进行训练，得到优化后的网络模型；

S30:将预分割图像加载到优化的网络模型中，得到高清分割结果。

2.根据权利要求1所述的整合目标检测和图像分割为一体的智能分割方法，其特征是：所述步骤S10中，所述的将序列图像预处理并进行语义标注后制作数据集的过程，包括如下步骤：

S11:去噪处理，采用HSV色彩空间模型对V通道进行高斯平滑处理以减少噪声；

S12:数据标注，利用Photoshop软件对归一化后的图像进行语义标注形成标签图,每个像素的标签对应所属的类别，其中目标区域标记为1，背景区域标记为0；

S13：扩增数据集，通过对归一化后的图像及其标签图进行旋转、镜像操作获得扩大后的数据集,数量为原始数量的8倍。

3.根据权利要求1所述的整合目标检测和图像分割为一体的智能分割方法，其特征是：所述步骤S20中，所述的整合目标检测和图像分割的神经网络并对其进行训练，得到优化后的网络模型，其过程包括如下步骤：

S21:将图像输入目标检测网络Faster-RCNN，输出一个矩形区域，该区域称为感兴趣区域；

S22:将感兴趣区域相对原图的坐标位置对应到原图和标签图上，分别得到感兴趣区域的原图和标签图；

S23:将感兴趣区域的原图和标签图输入FCN图像分割网络，利用随机梯度下降法调整网络输出结果和标签图的误差；

S24:整体训练目标检测网络和图像分割网络，使分割结果误差最小化，得到优化后的网络模型。

4.根据权利要求1所述的整合目标检测和图像分割为一体的智能分割方法，其特征是：所述步骤S30中，所述的将预分割图像加载到优化的网络模型中，得到高清分割结果的过程包括如下步骤：

S31:将预处理后的预处理图像输入到整合后的神经网络中，利用优化过的网络模型参数，对该图像进行目标检测和分割输出分割掩码结果；

S32:将该分割掩码结果与原图做自定义掩码操作，得到高分辨率分割结果。其中自定义的掩码操作表示为式1：

<mrow> <mi>c</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>(</mo> <mn>255</mn> <mo>,</mo> <mn>255</mn> <mo>,</mo> <mn>255</mn> <mo>)</mo> </mrow> </mtd> <mtd> <mrow> <mi>b</mi> <mo>=</mo> <mn>0</mn> <mo>;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mi>a</mi> </mtd> <mtd> <mrow> <mi>b</mi> <mo>=</mo> <mn>1.</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

其中a为原始图像中RGB三通道值像素值，b为掩码图中值，b∈(0,1)，将a和b经过掩码操作得到高分辨率(高清)分割结果，其像素值为c。