CN110866931B - 图像分割模型训练方法及基于分类的强化图像分割方法 - Google Patents

Abstract

本申请提供了一种图像分割模型训练方法及基于分类的强化图像分割方法。其中，该图像分割模型训练方法包括：将训练图像集中的图像数据输入初始分类模型中的分割模块进行处理，得到分割图像；将分割图像输入初始分类模型中的分类模块进行训练，得到基于分类的强化图像分割模型。

Description

图像分割模型训练方法及基于分类的强化图像分割方法

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种图像分割模型训练方法及基于分类的强化图像分割方法。

背景技术

图像分类，是指根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法，也就是将不同的图像，分成数类。由于图像可能存在背景复杂，图像中的信息过多，可能会导致目标检测类型混淆、目标过检率高的不良后果。

发明内容

本申请实施例的目的在于提供一种图像分割模型训练方法及基于分类的强化图像分割方法，用以提高图像分类的准确率。

第一方面，实施例提供一种图像分割模型训练方法，包括：

将训练图像集中的图像数据输入初始分类模型中的分割模块进行处理，得到分割图像；

将所述分割图像输入所述初始分类模型中的分类模块进行训练，得到基于分类的强化图像分割模型。

在可选的实施方式中，所述将训练图像集中的图像数据输入初始分类模型中的分割模块进行处理，得到分割图像的步骤，包括：

将所述训练图像集中的目标图像输入初始分类模型中的分割模块进行识别确定出目标兴趣区域，所述目标图像为所述训练图像集中的任一图像；

将所述目标图像中被识别出的目标兴趣区域进行切割，得到分割图像。

在可选的实施方式中，所述将所述训练图像集中的目标图像输入初始分类模型中的分割模块进行识别确定出目标兴趣区域的步骤，包括：

将所述训练图像集中的目标图像输入初始分类模型确定出所述目标图像中的每个指定尺寸图像的类别，得到所述目标图像中的各个像素的类别分布；

根据所述目标图像中的各个像素的类别分布确定出所述目标图像的目标兴趣区域。

本申请实施例提供的图像分割模型训练方法，通过确定每个像素的类别，进而确定出整张图像中的目标兴趣区域，由局部像素到整张图像的确定，可以相对更准确地确定出目标兴趣区域。

在可选的实施方式中，所述将所述目标图像中被识别出的目标兴趣区域进行切割，得到分割图像的步骤，包括：

对所述目标兴趣区域使用轮廓检测确定出所述目标兴趣区域的外接矩形区域；

将所述外接矩形区域从所述目标图像中切割出，以得到分割图像。

本申请实施例提供的图像分割模型训练方法，由于通过了轮廓检测的方式能够较好地确定出目标兴趣区域的边缘，从而使切割出的分割图像能够更好地包括目标兴趣区域。

在可选的实施方式中，所述方法还包括：

根据收集的多张图像中的特征采用数据增强的方式对图像进行数据扩展，得到初始图像集；

将所述初始图像集中的图像进行归一化处理，得到所述训练图像集。

本申请实施例提供的图像分割模型训练方法，采用数据增强的方式对数据进行扩充，从而可以在提高用于训练的数据量的同时不需要更多的采集数据的动作。

在可选的实施方式中，所述初始分类模型包括所述分割模块和所述分类模块；所述分割模块为第一DenseNet网络模型，所述分类模块为第二DenseNet网络模型。

在可选的实施方式中，所述第一DenseNet网络模型包括一个卷积层、一个池化层、四个密集块、多个过渡层、一个全局池化层和一个全连接层；其中，第三密集块和第四个密集块中的卷积为空洞卷积；所述全连接层为多孔空间金字塔池化模块；每个密集块的各层特征使用跳跃连接进行连接。

本申请实施例提供的图像分割模型训练方法，本实施例中的初始神经网络模型是以DenseNet网络为基础的模型，并对DenseNet网络进行了改进将第三个密集块和第四个密集块中的卷积改为空洞卷积，且将全连接层设置为多孔空间金字塔池化模块使得任意两层网络都可以直接沟通，实现了多层级特征复用，提高图像分割模型分割准确率。

第二方面，实施例提供一种基于分类的强化图像分割方法，包括：

获取待分割图像；

将所述待分割图像输入前述实施方式任意一项所述的方法确定出的基于分类的强化图像分割模型中进行分类，得到所述待分割图像的分割结果。

第三方面，实施例提供一种基于分类的强化图像分割模型训练装置，包括：

处理模块，用于将训练图像集中的图像数据输入初始分类模型中的分割模块进行处理，得到分割图像；

训练模块，用于将所述分割图像输入所述初始分类模型中的分类模块进行训练，得到基于分类的强化图像分割模型。

第四方面，实施例提供一种图像分类装置，包括：

获取模块，用于获取待分割图像；

分类模块，用于将所述待分割图像输入前述实施方式任意一项所述的方法确定出的基于分类的强化图像分割模型中进行分类，得到所述待分割图像的分割结果。

第五方面，实施例提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如前述实施方式任一所述的方法的步骤。

第六方面，实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如前述实施方式任一所述的方法的步骤。

本申请实施例提供的图像分割模型训练方法、基于分类的强化图像分割方法及装置，采用将分割模型和分类模型同时训练的方式，先对图像使用分割模型进行分割定位确定出分割图像，再将分割出的分割图像输入分类模型进行检测，使得目标区域的特征最大化，从而使训练得到的基于分类的强化图像分割模型的误检率更低。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备的方框示意图。

图2为本申请实施例提供的图像分割模型训练方法的流程图。

图3为本申请实施例提供的图像分割模型训练方法的步骤201的详细流程图。

图4为本申请实施例提供的图像分割模型训练方法所使用的初始分类模型示意图。

图5为本申请实施例提供的基于分类的强化图像分割模型训练装置的功能模块示意图。

图6为本申请实施例提供的基于分类的强化图像分割方法的流程图。

图7为本申请实施例提供的图像分类装置的功能模块示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例一

为便于对本实施例进行理解，首先对执行本申请实施例所公开的图像分割模型训练方法或基于分类的强化图像分割方法的电子设备进行详细介绍。

如图1所示，是电子设备的方框示意图。电子设备100可以包括存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对电子设备100的结构造成限定。例如，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

上述的存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。

其中，存储器111可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，简称EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本申请实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中，或者由处理器113实现。

上述的处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述的外设接口114将各种输入/输出装置耦合至处理器113以及存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

上述的输入输出单元115用于提供给用户输入数据。所述输入输出单元115可以是，但不限于，鼠标和键盘等。

上述的显示单元116在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。

本实施例中的电子设备100可以用于执行本申请实施例提供的各个方法中的各个步骤。下面通过几个实施例详细描述图像分割模型训练方法或基于分类的强化图像分割方法的实现过程。

实施例二

请参阅图2，是本申请实施例提供的图像分割模型训练方法的流程图。下面将对图2所示的具体流程进行详细阐述。

步骤201，将训练图像集中的图像数据输入初始分类模型中的分割模块进行处理，得到分割图像。

在一实施方式，在步骤201之前，图像分割模型训练方法还包括：根据收集的多张图像中的特征采用数据增强的方式对图像进行数据扩展，得到初始图像集；将所述初始图像集中的图像进行归一化处理，得到所述训练图像集。

可选地，数据增强的方式可以包括，但不限于，旋转图像、平移图像、缩放图像、随机遮挡图像、水平翻转图像、改变图像颜色色差、图像噪声扰动等。通过上述的数据增强的方式将多张图像扩充成图像数量更多的图像集。

可选地，还可以将扩充后的图像集进行缩放成尺寸一致的图像，得到训练图像集。

在一实施方式中，上述的训练图像集可以包括原始训练图像集和兴趣训练图像集。

示例性地，上述的兴趣训练图像集中的图像为原始训练图像集中的图像中的兴趣区域形成的图像。在一个实例中，上述的原始训练图像集中的图像和兴趣训练图像集中的图像可以一一对应。也就是，每一张兴趣训练图像集中的图像在原始训练图像集中有对应的原始图像；每一张原始训练图像集中的图像在兴趣训练图像集中有对应的兴趣图像。在另一实例中，上述的原始训练图像集中的图像也可以比兴趣训练图像集中的图像更多。示例性地，上述的兴趣区域可以是图像中的人脸区域、图像中的目标动物区域、图像中的目标配件的缺陷区域等。

可选地，初始分类模型包括所述分割模块和所述分类模块。上述的步骤201可以使用初始分类模型的分割模块执行。可选地，分割模块可以是DenseNet网络模型。示例性地，分割模块可以用于第一DenseNet网络模型表示。

示例性地，如图3所示，步骤201可以包括以下步骤。

步骤2011，将所述训练图像集中的目标图像输入初始分类模型中的分割模块进行识别确定出目标兴趣区域。

其中，目标图像为所述训练图像集中的任一图像。

可选地，步骤2011可以被实施为：将所述训练图像集中的目标图像输入初始分类模型确定出所述目标图像中的每个指定尺寸图像的类别，得到所述目标图像中的各个像素的类别分布；根据所述目标图像中的各个像素的类别分布确定出所述目标图像的目标兴趣区域。

示例性地，训练图像集中的目标图像的大小可以为3*H*W(例如，H可以表示目标图像的高度，W可以表示目标图像的宽度)。

可选地，分割模块的输出可以是C*(H/8)*(W/8)(例如，C表示类别数量)的概率值图片，然后上采样至C*H*W的概率值图片，从而分析每个像素在各类别的概率值，通过对比一像素对应在各类别的概率值，从而可以得到各个像素最大可能性的类别。在一个实例中，分割模块可以用于分离目标图像中的目标对象和背景，则上述的C的取值可以是2，分别表示目标对象和背景，则上述的分割模块的输出可以是二值图。在另一个实例中，分割模块可以用于分离目标图像中的多类目标对象和背景，则上述的C的取值可以为大于2的值。

示例性地，上述的分割模块的输出的图像的分辨率可能由于卷积层的数量的不同而不同。在本实施例中的一个实例中，分割模块使用三个卷积层对图像进行处理，从而分割模块的输出图像为C*(H/8)*(W/8)的概率值图片。

步骤2012，将所述目标图像中被识别出的目标兴趣区域进行切割，得到分割图像。

可选地，步骤2012可以被实施为：对所述目标兴趣区域使用轮廓检测确定出所述目标兴趣区域的外接矩形区域；将所述外接矩形区域从所述目标图像中切割出，以得到分割图像。

可选地，可以通过轮廓检测确定出目标兴趣区域的边缘线，根据目标兴趣区域的边缘线确定出目标兴趣区域在四个方向的边缘坐标，根据该边缘坐标可以确定出目标兴趣区域的外接矩形区域。

可选地，如图4所示，第一DenseNet网络模型包括：一个卷积层、一个池化层、多个密集块、多个过渡层、一个全局池化层和一个全连接层。

在一个可选的实例中，第一DenseNet网络模型可以有四个密集块。其中，第三密集块和第四个密集块中的卷积为空洞卷积。本实施例中的全连接层为多孔空间金字塔池化(Atrous Spatial Pyramid Pooling，简称：ASPP)模块。

在一个可选的实例中，如图4所示，第一DenseNet网络模型可以有三个过渡层。

可选地，如图4所示，每个密集块的各层特征使用跳跃连接(skip-connection)进行连接。各个密集块的输出特征也可以使用跳跃连接进行连接，从而可以实现多层级特征复用。其中，跳跃连接是指神经网络模型在向下卷积采样过程中，将采样后的结果与前面几层卷积的采样结果进行级联，然后进入下一个卷积继续进行下采样。

由于普通卷积只能提取图像的细节信息，无法学习到高层语义，需要配合使用池化层来扩大感受野来理解图像的全局语义，但使用池化层可能会降低图像精度，从而导致检测精度损失。因此，在本实施例中的分割模块的第三个密集块和第四个密集块采用空洞卷积，空洞卷积可以实现无需使用池化层，就能得到同样大小的感受野，能够在不降低图像精度的情况下理解图像全局语义，从而提高检测精度。因此，本实施例中的分割模块通过前两个密集块使用普通卷积提取图像细节信息能够更准确地获知图片的细节信息，后面两个密集块使用空洞卷积能够了解图像全局语义，从而能够更准确地了解图像中的完整信息，提高训练出的分割模块的分析精准率。

步骤202，将所述分割图像输入所述初始分类模型中的分类模块进行训练，得到基于分类的强化图像分割模型。

可选地，分类模块的输入图像除了步骤201得到的分割图像还可以包括背景图像。

示例性地，分割图像可以表示训练图像集中的目标图像中的兴趣区域图像。上述的背景图像可以表示目标图像中除兴趣区域图像以外的部分背景形成的背景图像。可选地，上述的分割图像和背景图像的尺寸可以相同。

可选地，分类模块也可以为DenseNet网络模型。示例性地，分来模型可以用于第二DenseNet网络模型表示。

可选地，第二DenseNet网络模型可以包括：一个卷积层、一个池化层、多个密集块、多个过渡层、一个全局池化层和一个全连接层。

示例性地，请再次参阅图4，第二DenseNet网络模型可以包括四个密集块和三个过渡层。

可选地，关于分类模型中的参数的调节可以概括为以下步骤：1)根据训练图像集中的图像数据计算当前分类模型的当前损失值，所述当前分类模型为初始分类模型或更新待确定参数后得到的当前分类模型；2)当所述损失值大于设定值时，更新所述当前神经网络模型的待确定参数得到更新的当前神经网络模型；3)当所述损失值小于设定值，或更新所述待确定参数的次数达到指定次数时，将当前分类模型作为基于分类的强化图像分割模型。

可选地，上述的设定值可以是一较小的值。例如，可以是0.01-0.1中的一数值，如，0.01、0.02、0.05、0.1等。

可选地，上述的指定次数可以是一较大的值。例如，可以是十万、一百万、六十万等。

可选地，可以通过梯度下降算法调节初始分类模型的待确定参数，从而使损失函数的值最小化。示例性地，可以对初始分类模型的待确定参数进行逐层反向调节。示例性地，反向调节则可以使用反向传播算法对训练过程中的分类模型中的待确定参数进行调节。

可选地，在确定出基于分类的强化图像分割模型之后，还可以使用测试图像集对基于分类的强化图像分割模型进行测试，确定基于分类的强化图像分割模型检测准确率。

本实施例中的图像分割模型训练方法，将分类模块与分割模块结合，先通过分割模块对训练图像进行分割，将分割后的图像进行分类处理，从而实现将分类模块与分割模块联合训练，通过将分类模块与分割模块联合训练可以使得训练图像中的目标区域的特征最大化，降低误检率。进一步地，本实施例中的模型为引用DenseNet结构生成的卷积神经网络模型，可以减轻梯度消失问题，增强特征的传播和利用率，减小卷积神经网络模型的参数量。

进一步地，通过结合分类模块和分割模块的结合，可以使训练得到的基于分类的强化图像分割模型能够更好地检测到图像中容易混淆的目标对象，也能够降低过检率。

下面通过几个实例描述本实施例中的图像分割模型训练方法的使用。

在一个实例中，本实施例中的图像分割模型训练方法可以用于训练对光伏领域的EL(electroluminescent，中文称：电致发光)组件进行检测的基于分类的强化图像分割模型。

其中，EL组件由144片电池片组成，可以由三台红外定制相机分别拍摄四次经拼接后成像得到EL组件的图像。通过基于分类的强化图像分割模型可以检测EL组件图像中是否包含隐裂、虚焊等特征。

EL组件检测难点在于EL组件的尺寸较大，传统检测设备无法满足检测需求，人工目检准确度与检测速度都相对较低，无法满足产线需求。常规的卷积神经网络图像分割方法可能会存在过检问题，因为电池片上的晶体硅呈现黑斑状，而隐裂是有些相似的黑线形状，现有的神经网络模型难以权衡各类特征，造成隐裂的过检率较高，最终的准确率难以达到需求。

本实施例中的图像分割模型训练方法使用基于DenseNet网络模型对EL组件的训练图像先分割定位，再分类识别。

示例性地，可以先通过本实施例中的初始分类模型中的分割模块将EL组件的训练图像集中的图像中的缺陷所在区域切割成小图，得到第一图像集。在EL组件训练图像集中的图像中的正常区域随机切割出小图，得到第二图像集。将第一图像集和第二图像集缩放至指定的尺寸得到分类模块的EL组件训练集。然后将该EL组件训练集输入分类模块，对分类模块进行训练，直到计算得到的损失函数的值达到设定值时，得到确定的分类模块。通过将训练确定的分割模块和分类模块组合在一起，则可以得到用于检测EL组件缺陷的基于分类的强化图像分割模型。

进一步地，可以将EL组件测试集输入检测EL组件缺陷的基于分类的强化图像分割模型进行分割分类，经过对分割出的目标区域进行缺陷和正常的加强判定区分后，过检率降至0.5％以下。

在另一个实例中，本实施例中的图像分割模型训练方法可以训练出用于检测汽车领域的刹车片缺陷的基于分类的强化图像分割模型。

汽车领域的刹车片的产品尺寸不一，例如，127mm*50mm、160mm*64mm、195mm*74mm等各类大小。刹车片的缺陷种类包括：凹坑、分层、杂质、松软等缺陷。

汽车领域的刹车片的检测难点在于产品上的凹坑与杂质呈现相似外观，在多目标分割模型中整图的复杂背景下难以区分准确，造成准确率较低。

示例性地，可以先通过本实施例中的初始分类模型中的分割模块将刹车片训练图像集中的凹坑、分层、杂质、松软等缺陷所在区域切割成小图得到第三图像集；在刹车片的训练图像集中的图像中的正常区域随机切割出小图，得到第四图像集，将第三图像集和第四图像集缩放至指定的尺寸得到分类模块的刹车片训练集。然后将该刹车片训练集输入分类模块，对分类模块进行训练，直到计算得到的损失函数的值达到设定值时，得到确定的分类模块。通过将训练确定的分割模块和分类模块组合在一起，则可以得到用于检测刹车片缺陷的基于分类的强化图像分割模型。

进一步地，还可以将刹车片的测试集输入检测刹车片缺陷的基于分类的强化图像分割模型，进行分割分类，经过对分割出的目标区域进行凹坑和杂质的加强判定区分后，误判率降低。

通过上述的两个实例证明，本实施例中的图像分割模型训练方法用于对于缺陷的识别可以能够提高缺陷识别的准确率。

实施例三

基于同一申请构思，本申请实施例中还提供了与图像分割模型训练方法对应的基于分类的强化图像分割模型训练装置，由于本申请实施例中的装置解决问题的原理与前述的图像分割模型训练方法实施例相似，因此本实施例中的装置的实施可以参见上述方法的实施例中的描述，重复之处不再赘述。

请参阅图5，是本申请实施例提供的基于分类的强化图像分割模型训练装置的功能模块示意图。本实施例中的基于分类的强化图像分割模型训练装置中的各个模块用于执行上述方法实施例中的各个步骤。基于分类的强化图像分割模型训练装置包括：处理模块301和训练模块302；其中，

处理模块301，用于将训练图像集中的图像数据输入初始分类模型中的分割模块进行处理，得到分割图像；

训练模块302，用于将所述分割图像输入所述初始分类模型中的分类模块进行训练，得到基于分类的强化图像分割模型。

一种可能的实施方式中，处理模块301可以包括识别单元和切割单元：

该识别单元，用于将所述训练图像集中的目标图像输入初始分类模型中的分割模块进行识别确定出目标兴趣区域，所述目标图像为所述训练图像集中的任一图像；

该切割单元，用于将所述目标图像中被识别出的目标兴趣区域进行切割，得到分割图像。

一种可能的实施方式中，上述的识别单元，用于：

将所述训练图像集中的目标图像输入初始分类模型确定出所述目标图像中的每个指定尺寸图像的类别，得到所述目标图像中的各个像素的类别分布；

根据所述目标图像中的各个像素的类别分布确定出所述目标图像的目标兴趣区域。

一种可能的实施方式中，上述的切割单元，用于：

对所述目标兴趣区域使用轮廓检测确定出所述目标兴趣区域的外接矩形区域；

将所述外接矩形区域从所述目标图像中切割出，以得到分割图像。

一种可能的实施方式中，本实施例中的基于分类的强化图像分割模型训练装置还包括：扩展模块303，用于：

根据收集的多张图像中的特征采用数据增强的方式对图像进行数据扩展，得到初始图像集；

将所述初始图像集中的图像进行归一化处理，得到所述训练图像集。

一种可能的实施方式中，所述初始分类模型包括所述分割模块和所述分类模块；所述分割模块为第一DenseNet网络模型，所述分类模块为第二DenseNet网络模型。

一种可能的实施方式中，所述第一DenseNet网络模型包括一个卷积层、一个池化层、四个密集块、多个过渡层、一个全局池化层和一个全连接层；其中，第三密集块和第四个密集块中的卷积为空洞卷积；所述全连接层为多孔空间金字塔池化模块；每个密集块的各层特征使用跳跃连接进行连接。

实施例四

请参阅图6，是本申请实施例提供的基于分类的强化图像分割方法的流程图。下面将对图6所示的具体流程进行详细阐述。

步骤401，获取待分割图像。

本实施例中，上述的待分割图像可以是任意需要进行分类的图像。可选地，上述的待分割图像可能由于基于分类的强化图像分割方法的应用场景的不同，图像的内容也就不同。

示例性地，本实施例中的基于分类的强化图像分割方法可以用于目标人物的追踪，则上述的待分割图像可以是各监控设备采集到的图像。则执行本实施例中的方法的电子设备可以直接与各监控设备通信连接，以获取待分割图像。

示例性地，本实施例中的基于分类的强化图像分割方法可以用于某一动物的分离，则上述的待分割图像则可以是包含需要分离的动物图像的图像。则执行本实施例中的方法的电子设备内可以存储有多张包含需要分离的动物图像的图像，则步骤401可以从本地获取待分割图像。

示例性地，本实施例中基于分类的强化图像分割方法可以用于汽车的刹车片的缺陷检测，则上述的待分割图像则可以是汽车的刹车片的图像。

示例性地，本实施例中基于分类的强化图像分割方法可以用于光伏领域的EL(electroluminescent，中文称：电致发光)组件检测，则上述的待分割图像则可以是EL组件的图像。

步骤402，将所述待分割图像输入基于分类的强化图像分割模型中进行分类，得到所述待分割图像的分割结果。

本实施例中的基于分类的强化图像分割模型可以为实施例二提供的图像分割模型训练方法训练得到的基于分类的强化图像分割模型。关于基于分类的强化图像分割模型的结构在本实施例中不再赘述。

示例性地，如图4所示，待分割图像的分割结果可以是确定出待分割图像中的目标对象为“小鸡”。

示例性地，步骤402的步骤包括分割步骤和分类步骤。如图4所示，步骤402中的分割步骤可以将待分割图像中的“小鸡”所在区域分割出来，步骤402中的分类步骤可以将“小鸡”所在区域图像进行分类，确定出分割出来的区域图像中的对象为“小鸡”。

实施例五

基于同一申请构思，本申请实施例中还提供了与基于分类的强化图像分割方法对应的图像分类装置，由于本申请实施例中的装置解决问题的原理与前述的基于分类的强化图像分割方法实施例相似，因此本实施例中的装置的实施可以参见上述方法的实施例中的描述，重复之处不再赘述。

请参阅图7，是本申请实施例提供的图像分类装置的功能模块示意图。本实施例中的图像分类装置中的各个模块用于执行上述方法实施例中的各个步骤。图像分类装置包括：获取模块501和分类模块502；其中，

获取模块501，用于获取待分割图像；

分类模块502，用于将所述待分割图像输入基于分类的强化图像分割模型中进行分类，得到所述待分割图像的分割结果。

此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像分割模型训练方法或基于分类的强化图像分割方法的步骤。

本申请实施例所提供的图像分割模型训练方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像分割模型训练方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本申请实施例所提供的基于分类的强化图像分割方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的基于分类的强化图像分割方法的步骤，具体可参见上述方法实施例，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像分割模型训练方法，其特征在于，包括：

将训练图像集中的图像数据输入初始分类模型中的分割模块进行处理，得到分割图像；

将所述分割图像输入所述初始分类模型中的分类模块进行训练，得到基于分类的强化图像分割模型；

其中，所述初始分类模型包括所述分割模块和所述分类模块；所述分割模块为第一DenseNet网络模型，所述分类模块为第二DenseNet网络模型；

所述第一DenseNet网络模型包括一个卷积层、一个池化层、四个密集块、多个过渡层、一个全局池化层和一个全连接层；其中，所述四个密集块的第一密集块和第二密集块的卷积为普通卷积，第三密集块和第四个密集块中的卷积为空洞卷积；所述全连接层为多孔空间金字塔池化模块；每个密集块的各层特征使用跳跃连接进行连接。

2.根据权利要求1所述的方法，其特征在于，所述将训练图像集中的图像数据输入初始分类模型中的分割模块进行处理，得到分割图像的步骤，包括：

将所述训练图像集中的目标图像输入初始分类模型中的分割模块进行识别确定出目标兴趣区域，所述目标图像为所述训练图像集中的任一图像；

将所述目标图像中被识别出的目标兴趣区域进行切割，得到分割图像。

3.根据权利要求2所述的方法，其特征在于，所述将所述训练图像集中的目标图像输入初始分类模型中的分割模块进行识别确定出目标兴趣区域的步骤，包括：

将所述训练图像集中的目标图像输入初始分类模型确定出所述目标图像中的每个指定尺寸图像的类别，得到所述目标图像中的各个像素的类别分布；

根据所述目标图像中的各个像素的类别分布确定出所述目标图像的目标兴趣区域。

4.根据权利要求2所述的方法，其特征在于，所述将所述目标图像中被识别出的目标兴趣区域进行切割，得到分割图像的步骤，包括：

对所述目标兴趣区域使用轮廓检测确定出所述目标兴趣区域的外接矩形区域；

将所述外接矩形区域从所述目标图像中切割出，以得到分割图像。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据收集的多张图像中的特征采用数据增强的方式对图像进行数据扩展，得到初始图像集；

将所述初始图像集中的图像进行归一化处理，得到所述训练图像集。

6.一种基于分类的强化图像分割方法，其特征在于，包括：

获取待分割图像；

将所述待分割图像输入权利要求1-5任意一项所述的方法确定出的基于分类的强化图像分割模型中进行分类，得到所述待分割图像的分割结果。

7.一种基于分类的强化图像分割模型训练装置，其特征在于，包括：

处理模块，用于将训练图像集中的图像数据输入初始分类模型中的分割模块进行处理，得到分割图像；

训练模块，用于将所述分割图像输入所述初始分类模型中的分类模块进行训练，得到基于分类的强化图像分割模型；

其中，所述初始分类模型包括所述分割模块和所述分类模块；所述分割模块为第一DenseNet网络模型，所述分类模块为第二DenseNet网络模型；

所述第一DenseNet网络模型包括一个卷积层、一个池化层、四个密集块、多个过渡层、一个全局池化层和一个全连接层；其中，所述四个密集块的第一密集块和第二密集块的卷积为普通卷积，第三密集块和第四个密集块中的卷积为空洞卷积；所述全连接层为多孔空间金字塔池化模块；每个密集块的各层特征使用跳跃连接进行连接。

8.一种图像分类装置，其特征在于，包括：

获取模块，用于获取待分割图像；

分类模块，用于将所述待分割图像输入权利要求1-5任意一项所述的方法确定出的基于分类的强化图像分割模型中进行分类，得到所述待分割图像的分割结果。

9.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的方法的步骤。

Images