CN112116596A

CN112116596A - 图像分割模型的训练方法、图像分割方法、介质及终端

Info

Publication number: CN112116596A
Application number: CN201910533665.1A
Authority: CN
Inventors: 薛凯文; 赖长明; 徐永泽
Original assignee: Shenzhen TCL New Technology Co Ltd
Current assignee: Shenzhen TCL New Technology Co Ltd
Priority date: 2019-06-19
Filing date: 2019-06-19
Publication date: 2020-12-22
Also published as: WO2020253296A1

Abstract

本发明公开了图像分割模型的训练方法、图像分割方法、介质及终端，方法包括：构建训练数据集，所述训练数据集包括带有像素标签的图像；使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出；构建损失函数，利用所述损失函数对图像的边缘数据进行评价，输出评价结果；将评价结果反馈至所述图像分割算法中进行模型训练，以得到训练后的图像分割模型。本发明通过构建损失函数对图像的边缘数据进行评价，并根据评价结果训练图像分割算法的网络模型，可以实现对现有的算法进行改进，获得准确性更高的图像分割模型。

Description

图像分割模型的训练方法、图像分割方法、介质及终端

技术领域

本发明涉及图像处理技术领域，尤其涉及的是一种图像分割模型的训练方法、图像分割方法、介质及终端。

背景技术

图像分割是经典的计算机视觉任务，拥有广泛的应用。医学图像的图像分割可以帮助医生进行诊断治疗，基于图像分割的图片搜索可以帮助用户对未知的目标物体进行搜索等都是图像分割的应用例子。

传统的图像分割技术，主要有基于像素、边缘、区域的图像分割等，近年来由于深度学习的发展，涌现出了一批基于深度网络的图像分割算法。得益于大数据、关键算法的突破、计算硬件的提升，基于深度网络的图像分割算法相较于传统的算法准确率有大幅度的提升。

虽然深度网络的出现很大程度上提升了图像分割的准确性，但是现有的基于深度网络的图像分割技术仍然存在分割不准确的问题。因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种图像分割模型的训练方法、图像分割方法、介质及终端，旨在解决现有技术中图像分割不准确的问题。

本发明解决技术问题所采用的技术方案如下：

一种图像分割模型的训练方法，其中，所述方法包括：

构建训练数据集，所述训练数据集包括带有像素标签的图像；

使用图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出；

构建损失函数，利用所述损失函数对图像的边缘数据进行评价，输出评价结果；

将评价结果反馈至所述图像分割算法中进行模型训练，以得到训练后的图像分割模型。

所述的图像分割模型的训练方法，其中，所述训练数据集采用ADE20K，所述图像分割算法采用基线算法，所述基线算法采用PSPnet算法。

所述的图像分割模型的训练方法，其中，所述使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出，包括：

获取预先定义像素标签，所述像素标签用于标示像素点的特性；

遍历训练数据集中图像上的每个像素点，获取每个像素点的像素标签；

以每一个像素点的48连通区域作为像素的邻接区域，获取图像的边缘数据。

所述的图像分割模型的训练方法，其中，所述获取图像的边缘数据，包括：

获取一个像素点的邻接区域，定义所述像素点为目标像素点；

判断所述邻接区域内是否存在与所述目标像素点的像素标签不同的像素点；

若存在任何一个不同像素标签的像素点，则判断所述目标像素点为边缘像素点；

获取所有的边缘像素点，所有的边缘像素点的集合即为图像的边缘数据。

所述的图像分割模型的训练方法，其中，所述构建损失函数包括：

引入L2正则化，构建具有正则化系数的损失函数。

所述的图像分割模型的训练方法，其中，所述构建损失函数还包括：

遍历所有图像的边缘数据，判断是否存在误检测的边缘数据；

对于误检测的边缘数据，引入惩罚项，构建带有惩罚项的损失函数。

所述的图像分割模型的训练方法，其中，所述误检测的边缘数据表示的是原本不是边缘却被检测出是边缘的像素点和/或原本是边缘却被检测出不是边缘的像素点。

所述的图像分割模型的训练方法，其中，所述引入惩罚项具体包括：

针对不同的误检测情况，引入不同的惩罚项。

一种图像分割方法，其中，包括：

获取分割的图像；

将所述待分割的图像输入预设的图像分割模型中进行分割，以得到分割后的图像，其中，所述图像分割模型为上述任一项所述的图像分割模型的训练方法所训练得到的图像分割模型。

一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现上述任一项所述的图像分割模型的训练方法或者上述所述的图像分割方法的步骤。

一种智能终端，包括：处理器、与处理器通信连接的存储介质，其特征在于，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的图像分割模型的训练方法或者上述所述的图像分割方法的步骤。

本发明的有益效果：本发明通过构建损失函数对图像的边缘数据进行评价，并根据评价结果训练图像分割算法的网络模型，可以实现对现有的算法进行改进，获得准确性更高的图像分割模型。

附图说明

图1是本发明提供的图像分割模型的训练方法的实施例一的流程图。

图2是本发明提供的图像分割模型的训练方法的实施例二的流程图。

图3是实施例二中获取图像边沿数据的流程图。

图4是本发明的邻接区域的示意图。

图5是本发明的输出边缘数据的示意图。

图6是现有模型中边缘数据误检测的示意图一。

图7是现有模型中边缘数据误检测的示意图二。

图8是本发明提供的图像分割方法的较佳实施例的流程示意图。

图9是本发明提供的智能终端的功能原理图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的一种图像分割模型的训练方法，可以应用于终端中。其中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。本发明的终端采用多核处理器。其中，终端的处理器可以为中央处理器(CentralProcessing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)、视频处理单元(Video Processing Unit，VPU)等中的至少一种。

为了解决现有技术中基于深度网络算法的图像分割技术中分割图像的边缘不准确的问题，实施例一提供一种图像分割模型的训练方法，具体如图1中所示，包括如下步骤：

步骤S100、构建训练数据集，所述训练数据集包括带有像素标签的图像；

步骤S200、使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出；

步骤S300、构建损失函数，利用所述损失函数对图像的边缘数据进行评价，输出评价结果；

步骤S400、将评价结果反馈至所述图像分割算法中进行模型训练，并使用训练后的模型对图像进行分割。

具体实施时，本实施例中首先需要构建训练数据集，该训练数据集中包括带有像素标签的图像。优选地，本实施例采用ADE20K数据集(ADE20K dataset，MIT发布的一款数据集，可用于场景感知、解析、分割、多物体识别和语义理解)作为训练数据集，所述ADE20K数据集涵盖类别广泛，类别数大约有3000类。当然，在本领域中，可供选择的数据集非常多，本领域技术人员也可以选择其他的数据集作为训练数据集，并且在数据集中图像中预先定义像素标签，以使训练数据集包括带有像素标签的图像。

对应地，本实施例中预设的图像分割算法为基线算法，所述基线算法优选用PSPnet(Pyramid Scene Parsing Network)算法，所述PSPnet算法在ADE20K-150(从原有的3000类中选择150类较常用，数据量较多的构成的一个子数据集)数据集上构建的图像分割模型的准确率是较高的。当然，在本领域中，可用于构建图像分割模型的算法很多，本领域技术人员也可以选择其他的算法作为图像分割算法，本发明对此不做具体的限定。

下面请参考图2，图2表示的是所述实施例一中的步骤S200的一个实施例二，在实施例二中，步骤S200包括：

S110、获取预先定义像素标签，所述像素标签用于标示像素点的特性；

S120、遍历图像上的每个像素点，获取每个像素点的像素标签；

S130、以每一个像素点的48连通区域作为像素的邻接区域，获取图像的边缘数据。

具体实施时，预先定义标示像素点的特性的像素标签，所述像素点的特性可以为像素点的RGB值、灰度、透明度等各种元素，当两个像素点的RGB值、灰度、透明度或者其他的各种元素较相近时，这两个像素点的标签一致，也就是说，通过像素标签可以判断像素点是否有一样的特性。当然，本领域技术人员可以根据实际情况对像素标签进行不同的具体定义，最终只需要实现通过标签判断像素点特性是否一致的效果即可。

实施例二中还定义像素点的邻接区域，将像素点的48连通区域作为像素的邻接区域，像素点的48连通区域是指以一个像素点为中心，7*7范围内的区域，如图4所示，图4中空心的像素点区域即为中间实心的像素点的48连通区域。

实施例二在上述两个定义的基础上获取图像的边缘数据。

具体地，如图3所示，所述获取边缘数据包括：

S131、获取一个像素点的邻接区域，定义所述像素点为目标像素点；

S132、判断所述邻接区域内是否存在与所述目标像素点的像素标签不同的像素点；

S133、若所述邻接区域内存在任何一个不同像素标签的像素点，则判断所述目标像素点为边缘像素点；

S134、获取所有的边缘像素点，所有的边缘像素点的集合即为图像的边缘数据。

也就是说，由于本实施例中的训练数据集中包括带有像素标签的图像，因此遍历图像上所有的像素点，对每个像素点进行是否为边缘像素点的判断，获取所有的边缘像素点的集合，即获取了图像的边缘数据。

在对每个像素点进行是否为边缘像素点的判断时，首先获取这个目标像素点的邻接区域(如图4所示)，并获取目标像素点以及邻接区域内的像素点的像素标签，由上文所述，像素标签标示像素点的特性，像素标签不一致时表明对应像素点的特性不一致。那么，在本实施例中，只要在邻接区域内存在像素标签与目标像素点的像素标签不同的像素点，就说明在这个邻接区域内，发生了像素点的特性变化，这个特性变化标识了这个像素点的邻接区域内的图像发生了变化，那么定义目标像素点为边缘像素点。遍历所有的像素点并进行判断后，就可以获取图像上所有的边缘像素点，所有的边缘像素点的集合就可以形成图像的边缘数据，如图5所示。

当然，实施例二中定义了邻接区域为目标像素点的48连通区域，但是本发明并不限定于48连通区域为邻接区域，在其他的实施例中，可以选择24连通区域、8连通区域等其他连通区域作为本发明提供的一种基于边缘数据的图像分割方法的邻接区域。

实施例三提供了所述步骤S200的一个实施例，在实施例三中，步骤S200，构建损失函数对所述边缘数据进行评价中构建损失函数(loss function)为：

定义loss function为L_mix1：

在公式(1)中，x指的是图像的横坐标位置，y指的是图像的纵坐标位置。w指的是图像的宽度，h指的是图像的高度。

是该像素点被判断为正确的labeli的概率，I函数是指示函数，im指的是imfeature函数，α是平衡因子，可以通过交叉验证的方法取得一个合适值。其他的项的定义如下：

进一步地，为了节省时间，有效利用GPU(Graphics Processing Unit，图形处理器)，一般采用一组图片的边缘数据输出结果，对其运用损失函数进行评价，因此，在本实施例中，为了防止过拟合，提高评价的准确率，引入L2正则化，构建具有正则化系数的损失函数。具体公式如下：

在公式(4)中，N是算法训练的batch size(批大小，在这里可以理解为样本数或者图像数)，i指的是训练数据集中的各个图像，λ是正则化系数，

即为L2正则化项，其中，j是网络训练参数，M是网络训练参数的总数。

这样，得到一个加入边缘信息的损失函数公式，利用所述损失函数公式对图像分割算法输出的边缘数据进行评价。

在实施例一的S300中，将利用损失函数对边缘数据做出的评价结果反馈至图像分割算法，的网络模型根据评价结果学习到图像分割算法做出的图像分割效果的好坏，进而根据评价结果进行图像分割算法的网络模型的完善，也就是进行模型训练，得到图像分割更准确的图像分割模型，后续利用得到的图像分割模型对图像进行分割，以获得更准确的图像分割结果。

在现有的图像分割技术中，经常出现分割不准确的情况，例如：相似类型的物体分割出现混淆，比如图6所示的相似物体混淆的情况，以及图7所示的尺寸小的物体分割效果差的情况。上述问题实际上是边缘数据误检测的问题，即原本不是边缘而被检测出是边缘和/或原本是边缘而被检测出不是边缘的问题。例如，图6最左边为原始图片，中间为正确的分割结果，最右为现有模型的输出结果，图6所示的现有模型的输出结果中摩天高楼的分割结果和大楼的分割相掺杂，实际上是摩天大楼和大楼之间本来是边缘而被检测出不是边缘，摩天大楼的表面没有分割边缘，却检测出了边缘；图7最左边为原始图片，中间为正确的分割结果，最右为现有模型的输出结果，图7所示的现有模型的输出结果中小尺寸枕头没有被分割出来，实际上是小尺寸枕头的边缘没有被检测出来，为了解决上述问题，在其他的实施例中，遍历所有的边缘数据，对于误检测的边缘数据，引入惩罚项，构建带有惩罚项的损失函数对边缘数据进行评价，进而更好地对基线算法进行模型训练。

实施例四提供了针对边缘数据中存在原本不是边缘却被检测出是边缘的像素点的问题的解决方案。

在实施例四中，首先遍历基线算法输出的边缘数据，获取原本不是边缘却被检测出是边缘的像素点，对这些像素点数据引入第一惩罚项L_fp，具体公式如下：

那么，加入了第一惩罚项的损失函数为：

其中，β是惩罚项平衡因子，outim指的是out＝im()，即输出imfeature函数。

由此可见，针对原本不是边缘却被检测出是边缘的像素点，其错误可以通过损失函数(6)反映出来，那么，利用(6)得出的评价结果反馈至原图像分割算法，可以使得原图像分割算法学习到原本不是边缘却被检测出边缘的像素点的错误，进而训练出更加准确的图像分割模型。

实施例五提供了针对边缘数据中存在原本是边缘而没有检测为边缘的问题的解决方案。

在实施例五中，首先遍历基线算法输出的边缘数据，获取原本是边缘却没有被检测为边缘的像素点，对这些像素点数据引入第二惩罚项L_fn，具体公式如下：

那么，加入了第二惩罚项的损失函数为：

其中，γ为惩罚项平衡因子。

由此可见，针对原本是边缘却没有被检测出是边缘的像素点，其错误可以通过损失函数(8)反映出来，那么，利用(8)得出的评价结果反馈至原图像分割算法，可以使得原图像分割算法学习到原本是边缘却没有被检测出是边缘的像素点的错误，进而训练出更加准确的图像分割模型。

结合实施例四与实施例五可以看出，本发明引入惩罚项的精神在于根据不同的误检测结果，引入相应的惩罚项，使得最终的损失函数可以对所有的误检测结果做出对应的评价，这样，反馈至图像分割算法的信息就越准确，进行的模型训练就越有效。

同时，可以看出，本发明提出的基于边缘数据的图像分割方法，对于网络模型的主题结构不做大的改动，只是对模型的loss function(损失函数)进行适当的修改，根据loss的结果对图像分割算法进行评价，训练原始的网络模型。也就是说，本发明提出的图像分割模型的训练方法，可以直接利用现有的分割算法，在不进行框架的大改动的基础上对其网络模型进行改进，使得图像分割模型可以更准确地对图像进行分割。

基于上述实施例，本发明还提供一种图像分割方法，具体如图8中所示，该图像分割方法包括一下步骤：

步骤10、获取待分割的图像；

步骤20、将所述待分割的图像输入预设的图像分割模型中进行分割，以得到分割后的图像。

其中，本实施例中的图像分割模型是基于上述实施例的图像分割模型的训练方法所训练得到的图像分割模型，由于该图像分割模型是通过构建损失函数对图像的边缘数据进行评价，并根据评价结果训练图像分割算法的网络模型，且实现对现有的算法进行改进，因此通过使用该图像分割模型能够对进行更加准确地分割。

基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图9所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于边缘数据的图像分割方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的当前运行温度。

本领域技术人员可以理解，图9中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种智能终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时至少可以实现以下步骤：

构建训练数据集，使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出；

将评价结果反馈至所述图像分割算法中进行模型训练，并使用训练后的模型对图像进行分割。

在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：采用ADE20K作为所述训练数据集，所述所述图像分割算法采用基线算法，所述基线算法采用PSPnet算法。

在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：预先定义像素标签，所述像素标签用于标示像素点的特性；遍历图像上的每个像素点，获取每个像素点的像素标签；以每一个像素点的48连通区域作为像素的邻接区域，获取图像的边缘数据。

在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：获取一个像素点的邻接区域，定义所述像素点为目标像素点；

在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：引入L2正则化，构建具有正则化系数的损失函数。

在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：遍历所有图像的所述边缘数据，判断是否存在误检测的边缘数据；对于误检测的边缘数据，引入惩罚项，构建带有惩罚项的损失函数，其中，所述误检测的边缘数据表示的是原本不是边缘却被检测出是边缘的像素点和/或原本是边缘却被检测出不是边缘的像素点。

在其中一个实施例中，该处理器执行计算机程序时还可以实现以下步骤：针对不同的误检测情况，引入不同的惩罚项。

在其中一个实施例中，该处理器执行计算机程序时还可以实现利用上述的图像分割模型的训练方法所训练出的图像分割模型来对图像进行精确分割。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

综上所述，本发明公开了图像分割模型的训练方法、图像分割方法、介质及终端，方法包括：构建训练数据集，所述训练数据集包括带有像素标签的图像；使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出；构建损失函数，利用所述损失函数对图像的边缘数据进行评价，输出评价结果；将评价结果反馈至所述图像分割算法中进行模型训练，以得到训练后的图像分割模型。本发明通过构建损失函数对图像的边缘数据进行评价，并根据评价结果训练图像分割算法的网络模型，可以实现对现有的算法进行改进，获得准确性更高的图像分割模型。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种图像分割模型的训练方法，其特征在于，所述方法包括：

使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出；

2.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述训练数据集采用ADE20K，所述图像分割算法采用基线算法，所述基线算法采用PSPnet算法。

3.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述使用预设的图像分割算法遍历训练数据集中图像的像素标签，查找到图像的边缘数据并输出，包括：

4.根据权利要求3所述的图像分割模型的训练方法，其特征在于，所述获取图像的边缘数据，包括：

5.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述构建损失函数包括：

引入L2正则化，构建具有正则化系数的损失函数。

6.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述构建损失函数还包括：

7.根据权利要求6所述的图像分割模型的训练方法，其特征在于，所述误检测的边缘数据表示的是原本不是边缘却被检测出是边缘的像素点和/或原本是边缘却被检测出不是边缘的像素点。

8.根据权利要求7所述的图像分割模型的训练方法，其特征在于，所述引入惩罚项具体包括：

针对不同的误检测情况，引入不同的惩罚项。

9.一种图像分割方法，其特征在于，包括：

获取待分割的图像；

将所述待分割的图像输入预设的图像分割模型中进行分割，以得到分割后的图像，其中，所述图像分割模型为上述权利要求1-8任一项所述的图像分割模型的训练方法所训练得到的图像分割模型。

10.一种存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以执行实现上述权利要求1-8任一项所述的图像分割模型的训练方法或者上述权利要求9所述的图像分割方法的步骤。

11.一种智能终端，包括：处理器、与处理器通信连接的存储介质，其特征在于，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-8任一项所述的图像分割模型的训练方法或者上述权利要求9所述的图像分割方法的步骤。