CN110782468A - 图像分割模型的训练方法及装置及图像分割方法及装置 - Google Patents

图像分割模型的训练方法及装置及图像分割方法及装置 Download PDF

Info

Publication number
CN110782468A
CN110782468A CN201911022902.4A CN201911022902A CN110782468A CN 110782468 A CN110782468 A CN 110782468A CN 201911022902 A CN201911022902 A CN 201911022902A CN 110782468 A CN110782468 A CN 110782468A
Authority
CN
China
Prior art keywords
image
segmentation
edge
result
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911022902.4A
Other languages
English (en)
Other versions
CN110782468B (zh
Inventor
黄慧娟
宋丛礼
郑文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201911022902.4A priority Critical patent/CN110782468B/zh
Publication of CN110782468A publication Critical patent/CN110782468A/zh
Application granted granted Critical
Publication of CN110782468B publication Critical patent/CN110782468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供了一种图像分割模型的训练方法及装置及图像分割方法及装置，训练方法包括：获取多个图像样本以及标定分割标签；确定每个标定分割标签对应的标定边缘标签；将每个图像样本输入第一级网络中得到每个图像样本对应的第一预测分割结果及预测边缘结果；将每个图像样本以及对应的第一预测分割结果及预测边缘结果输入第二级网络中得到每个图像样本对应的第二预测分割结果；基于第一预测分割结果与标定分割标签的差异、第二预测分割结果与标定分割标签的差异以及预测边缘结果与标定边缘标签的差异，对初始图像分割模型进行训练，得到图像分割模型。由于在训练时以及对图像进行分割时加入了目标对象的边缘信息，可以提高图像分割准确度。

Description

图像分割模型的训练方法及装置及图像分割方法及装置
技术领域
本公开涉及图像处理技术领域，特别是涉及一种图像分割模型的训练方法及装置及图像分割方法及装置。
背景技术
图像分割在图像处理领域的应用非常广泛，其主要作用是将某目标对象从图像背景中分离出来，例如，目标对象为人体，那么图像分割即为将人体从图像背景中分离出来。
目前主要的图像分割方式为深度学习方式，即通过网络模型对图像进行分割处理。以目标对象为人体为例，网络模型的生成方式为：首先收集大量的图像样本，图像样本包括包含人体与不包含人体的图像。标注每个图像样本中哪些像素点属于人体，得到标定标签。然后将图像样本输入预先建立的第一级网络进行处理得到第一分割标签，再将图像样本及分割标签输入预先建立的第二级网络进行处理，得到第二分割标签，进而，基于第一分割标签、第二分割标签及标定标签之间的差异，不断调整第一级网络及第二级网络的参数，最终得到用于图像分割的网络模型。
这种方式虽然可以达到图像分割的目标，但是分割的准确度并不高，特别是在图像背景比较复杂的情况下，容易将本来属于图像背景的像素点分割为目标对象的像素点。
发明内容
为克服相关技术中存在的问题，本公开实施例提供一种图像分割模型的训练方法及装置及图像分割方法及装置。具体技术方案如下：
根据本公开实施例的第一方面，提供一种图像分割模型的训练方法，所述方法包括：
获取多个图像样本以及每个所述图像样本对应的标定分割标签，其中，所述标定分割标签用于标识对应的图像样本中目标对象所占区域；
基于所述标定分割标签中所述目标对象的边缘像素点，确定每个所述标定分割标签对应的标定边缘标签；
将每个所述图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个所述图像样本对应的第一预测分割结果及预测边缘结果；
将每个所述图像样本以及对应的所述第一预测分割结果及所述预测边缘结果输入所述初始图像分割模型的第二级网络中进行图像分割处理，得到每个所述图像样本对应的第二预测分割结果；
基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异、所述第二预测分割结果与所述标定分割标签的差异以及所述预测边缘结果与所述标定边缘标签的差异，对所述初始图像分割模型进行训练，得到图像分割模型。
作为一种实施方式，所述第二级网络包括输入层、中间层及输出层；
所述将每个所述图像样本以及对应的所述第一预测分割结果及所述预测边缘结果输入所述初始图像分割模型的第二级网络中进行图像分割处理，得到每个所述图像样本对应的第二预测分割结果的步骤，包括：
将每个所述图像样本以及对应的所述第一预测分割结果输入所述输入层进行图像特征提取，得到第一特征图；
将所述第一特征图输入所述中间层进行图像特征提取，得到第二特征图；
将每个所述图像样本对应的所述预测边缘结果与每个所述图像样本对应的第二特征图进行拼接，得到第三特征图；
将所述第三特征图输入所述输出层进行卷积处理，得到每个所述图像样本对应的第二预测分割结果。
作为一种实施方式，所述第一级网络包括特征提取层、分割层及边缘层；
所述将每个所述图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个所述图像样本对应的第一预测分割结果及预测边缘结果的步骤，包括：
将每个所述图像样本输入所述特征提取层进行图像特征提取，得到第四特征图；
将所述第四特征图输入所述分割层进行图像分割处理，得到每个所述图像样本对应的第一预测分割结果；
将所述第四特征图输入所述边缘层进行边缘提取处理，得到每个所述图像样本对应的预测边缘结果。
作为一种实施方式，所述基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异、所述第二预测分割结果与所述标定分割标签的差异以及所述预测边缘结果与所述标定边缘标签的差异，对所述初始图像分割模型进行训练，得到图像分割模型的步骤，包括：
基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异，计算第一损失函数；
基于每个所述图像样本对应的所述第二预测分割结果与所述标定分割标签的差异，计算第二损失函数；
基于每个所述图像样本对应的所述预测边缘结果与所述标定边缘标签的差异，计算第三损失函数；
根据所述第一损失函数、所述第二损失函数及所述第三损失函数，调整所述初始图像分割模型的参数，得到图像分割模型。
作为一种实施方式，所述根据所述第一损失函数、所述第二损失函数及所述第三损失函数，调整所述初始图像分割模型的参数，得到图像分割模型的步骤，包括：
设定所述第一损失函数、所述第二损失函数及所述第三损失函数分别对应的权重；
基于所述权重，确定所述第一损失函数、所述第二损失函数及所述第三损失函数的加权和，作为目标损失函数；
基于所述目标损失函数调整所述初始图像分割模型的参数，直到所述初始图像分割模型收敛，将收敛的所述初始图像分割模型作为图像分割模型。
作为一种实施方式，所述基于所述标定分割标签中所述目标对象的边缘像素点，确定每个所述标定分割标签对应的标定边缘标签的步骤，包括：
提取所述标定分割标签中所述目标对象的边缘像素点；
将所述边缘像素点的像素值设置为第一预设值；
将所述标定分割标签中的非所述边缘像素点的像素值设置为第二预设值，得到每个所述标定分割标签对应的标定边缘标签。
根据本公开实施例的第二方面，提供一种图像分割方法，所述方法包括：
获取待分割图像；
将所述待分割图像输入图像分割模型进行图像分割，得到分割结果，其中，所述图像分割模型为根据上述第一方面任一项所述的训练方法生成的。
根据本公开实施例的第三方面，提供一种图像分割模型的训练装置，所述装置包括：
样本获取模块，被配置为执行获取多个图像样本以及每个所述图像样本对应的标定分割标签，其中，所述标定分割标签用于标识对应的图像样本中目标对象所占区域；
边缘标签确定模块，被配置为执行基于所述标定分割标签中所述目标对象的边缘像素点，确定每个所述标定分割标签对应的标定边缘标签；
第一分割模块，被配置为执行将每个所述图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个所述图像样本对应的第一预测分割结果及预测边缘结果；
第二分割模块，被配置为执行将每个所述图像样本以及对应的所述第一预测分割结果及所述预测边缘结果输入所述初始图像分割模型的第二级网络中进行图像分割处理，得到每个所述图像样本对应的第二预测分割结果；
模型生成模块，被配置为执行基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异、所述第二预测分割结果与所述标定分割标签的差异以及所述预测边缘结果与所述标定边缘标签的差异，对所述初始图像分割模型进行训练，得到图像分割模型。
作为一种实施方式，所述第二级网络包括输入层、中间层及输出层；
所述第二分割模块包括：
第一提取单元，被配置为执行将每个所述图像样本以及对应的所述第一预测分割结果输入所述输入层进行图像特征提取，得到第一特征图；
第二提取单元，被配置为执行将所述第一特征图输入所述中间层进行图像特征提取，得到第二特征图；
特征拼接单元，被配置为执行将每个所述图像样本对应的所述预测边缘结果与每个所述图像样本对应的第二特征图进行拼接，得到第三特征图；
第一图像分割单元，被配置为执行将所述第三特征图输入所述输出层进行卷积处理，得到每个所述图像样本对应的第二预测分割结果。
作为一种实施方式，所述第一级网络包括特征提取层、分割层及边缘层；
所述第一分割模块包括：
第三提取单元，被配置为执行将每个所述图像样本输入所述特征提取层进行图像特征提取，得到第四特征图；
第二图像分割单元，被配置为执行将所述第四特征图输入所述分割层进行图像分割处理，得到每个所述图像样本对应的第一预测分割结果；
边缘提取单元，被配置为执行将所述第四特征图输入所述边缘层进行边缘提取处理，得到每个所述图像样本对应的预测边缘结果。
作为一种实施方式，所述模型生成模块包括：
第一损失函数计算单元，被配置为执行基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异，计算第一损失函数；
第二损失函数计算单元，被配置为执行基于每个所述图像样本对应的所述第二预测分割结果与所述标定分割标签的差异，计算第二损失函数；
第三损失函数计算单元，被配置为执行基于每个所述图像样本对应的所述预测边缘结果与所述标定边缘标签的差异，计算第三损失函数；
模型生成单元，被配置为执行根据所述第一损失函数、所述第二损失函数及所述第三损失函数，调整所述初始图像分割模型的参数，得到图像分割模型。
作为一种实施方式，所述模型生成单元包括：
权重设置子单元，被配置为执行设定所述第一损失函数、所述第二损失函数及所述第三损失函数分别对应的权重；
目标损失函数确定子单元，被配置为执行基于所述权重，确定所述第一损失函数、所述第二损失函数及所述第三损失函数的加权和，作为目标损失函数；
模型生成子单元，被配置为执行基于所述目标损失函数调整所述初始图像分割模型的参数，直到所述初始图像分割模型收敛，将收敛的所述初始图像分割模型作为图像分割模型。
作为一种实施方式，所述边缘标签确定模块包括：
像素点提取单元，被配置为执行提取所述标定分割标签中所述目标对象的边缘像素点；
第一像素值设置单元，被配置为执行将所述边缘像素点的像素值设置为第一预设值；
第二像素值设置单元，被配置为执行将所述标定分割标签中的非所述边缘像素点的像素值设置为第二预设值，得到每个所述标定分割标签对应的标定边缘标签。
根据本公开实施例的第四方面，提供一种图像分割装置，所述装置包括：
待分割图像获取模块，被配置为执行获取待分割图像；
图像分割模块，被配置为执行将所述待分割图像输入图像分割模型进行图像分割，得到分割结果，其中，所述图像分割模型为根据上述第一方面任一项所述的训练方法生成的。
根据本公开实施例的第五方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述第一方面或者第二方面所述的方法。
根据本公开实施例的第六方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面或者第二方面所述的方法。
本公开实施例所提供的方案中，电子设备可以获取多个图像样本以及每个图像样本对应的标定分割标签，其中，标定分割标签用于标识对应的图像样本中目标对象所占区域，基于分割标签中目标对象的边缘像素点，确定每个分割标签对应的标定边缘标签，然后将每个图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个图像样本对应的第一预测分割结果及预测边缘结果，再将每个图像样本以及对应的第一预测分割结果及预测边缘结果输入初始图像分割模型的第二级网络中进行图像分割处理，得到每个图像样本对应的第二预测分割结果，进而基于每个图像样本对应的第一预测分割结果与标定分割标签的差异、第二预测分割结果与标定分割标签的差异以及预测边缘结果与标定边缘标签的差异，对初始图像分割模型进行训练，得到图像分割模型。由于在对初始图像分割模型进行训练时以及利用图像分割模型对图像进行分割时加入了目标对象的边缘信息，图像分割模型可以学习到目标对象的边缘信息，从而能够更准确地将目标对象从图像背景中分离出来，提高图像分割的准确度。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像分割模型的训练方法的流程图；
图2(a)是根据一示例性实施例示出的图像样本的一种示意图；
图2(b)是根据一示例性实施例示出的图2(a)所示的图像样本对应的标定分割标签的一种示意图；
图2(c)是根据一示例性实施例示出的图2(a)所示的图像样本对应的标定边缘标签的一种示意图；
图3是根据一示例性实施例示出的图1所示实施例中步骤S104的一种具体流程图；
图4是根据一示例性实施例示出的图1所示实施例中步骤S103的一种具体流程图；
图5是根据一示例性实施例示出的图1所示实施例中步骤S105的一种具体流程图；
图6是根据一示例性实施例示出的图1所示实施例中步骤S102的一种具体流程图；
图7是根据一示例性实施例示出的一种图像分割方法的流程图；
图8(a)是根据一示例性实施例示出的待分割图像的一种示意图；
图8(b)是根据一示例性实施例示出的图8(a)所示的待分割图像对应的分割结果的一种示意图；
图8(c)是根据一示例性实施例示出的图8(a)所示的待分割图像对应的分割结果的另一种示意图；
图9是根据一示例性实施例示出的一种图像分割模型的训练装置的结构框图；
图10是根据一示例性实施例示出的一种图像分割装置的结构框图；
图11是根据一示例性实施例示出的一种电子设备的结构框图；
图12是根据一示例性实施例示出的另一种电子设备的结构框图；
图13是根据一示例性实施例示出的电子设备的一种具体结构框图；
图14是根据一示例性实施例示出的电子设备的另一种具体结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了提高图像分割的准确度，本公开实施例提供了一种图像分割模型的训练方法、图像分割方法、装置、电子设备及计算机可读存储介质。
下面首先对本公开实施例所提供的一种图像分割模型的训练方法进行介绍。
本公开实施例所提供的图像分割模型的训练方法可以应用于任意能够进行模型训练的电子设备，例如，处理器、电脑等，为了描述方便，以下简称电子设备。
如图1所示，一种图像分割模型的训练方法，所述方法包括：
在步骤S101中，获取多个图像样本以及每个所述图像样本对应的标定分割标签；
其中，所述标定分割标签用于标识对应的图像样本中目标对象所占区域。
在步骤S102中，基于所述分割标签中所述目标对象的边缘像素点，确定每个所述分割标签对应的标定边缘标签；
在步骤S103中，将每个所述图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个所述图像样本对应的第一预测分割结果及预测边缘结果；
在步骤S104中，将每个所述图像样本以及对应的所述第一预测分割结果及所述预测边缘结果输入所述初始图像分割模型的第二级网络中进行图像分割处理，得到每个所述图像样本对应的第二预测分割结果；
在步骤S105中，基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异、所述第二预测分割结果与所述标定分割标签的差异以及所述预测边缘结果与所述标定边缘标签的差异，对所述初始图像分割模型进行训练，得到图像分割模型。
可见，本公开实施例所提供的方案中，电子设备可以获取多个图像样本以及每个图像样本对应的标定分割标签，其中，标定分割标签用于标识对应的图像样本中目标对象所占区域，基于分割标签中目标对象的边缘像素点，确定每个分割标签对应的标定边缘标签，然后将每个图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个图像样本对应的第一预测分割结果及预测边缘结果，再将每个图像样本以及对应的第一预测分割结果及预测边缘结果输入初始图像分割模型的第二级网络中进行图像分割处理，得到每个图像样本对应的第二预测分割结果，进而基于每个图像样本对应的第一预测分割结果与标定分割标签的差异、第二预测分割结果与标定分割标签的差异以及预测边缘结果与标定边缘标签的差异，对初始图像分割模型进行训练，得到图像分割模型。由于在对初始图像分割模型进行训练时以及利用图像分割模型对图像进行分割时加入了目标对象的边缘信息，图像分割模型可以学习到目标对象的边缘信息，从而能够更准确地将目标对象从图像背景中分离出来，提高图像分割的准确度。
在上述步骤S101中，为了对初始图像分割模型进行训练，可以获取多个图像样本以及每个图像样本对应的标定分割标签。图像样本可以包括具有目标对象的图像，也可以包括不具有目标对象的图像。其中，目标对象可以根据图像分割模型的具体用途确定，可以为人体、车辆、建筑物、动物等，在此不做具体限定。
上述标定分割标签用于标识对应的图像样本中目标对象所占区域，可以为一个图像，当然也可以采用其他形式表示，例如矩阵等。对于不具有目标对象的图像样本来说，其对应的标定分割标签可以为一个纯色图像，表示该图像样本中不具有目标对象。
在一种实施方式中，标定分割标签可以为一个与图像样本同样大小的图像。其中，与目标对象对应的区域的像素点的像素点可以设置为255，即为白色，其他区域的像素点的像素点可以设置为0，即为黑色。例如，如图2(a)所示的图像样本，如果目标对象为人体，那么其对应的标定分割标签可以图2(b)所示，其中白色区域即标识了图2(a)所示的图像样本中目标对象所占的区域。
由于在图像分割过程中，目标对象的边缘分割难度最大，是影响图像分割准确度的重要因素，因此，为了提高图像分割模型对于目标对象的边缘的分割能力，电子设备可以执行上述步骤S102，也就是基于分割标签中目标对象的边缘像素点，确定每个分割标签对应的标定边缘标签。标定边缘标签用于标识目标对象的边缘在图像样本中所在位置。
确定了每个图像样本对应的标定分割标签及标定边缘标签后，便可以将每个图像样本输入预先建立的初始图像分割模型。其中，该初始图像分割模型可以包括两个级别的网络模型，即第一级网络和第二级网络。
在上述步骤S103中，电子设备可以将每个图像样本输入初始图像分割模型的第一级网络中，第一级网络可以包括多个卷积层，用于对图像样本进行图像处理。具体来说，第一级网络可以包括两个分支，一个分支用于图像分割，其可以根据图像样本的图像特征确定图像样本中目标对象所占区域，进而输出第一预测分割结果。第一预测分割结果即为当前阶段的第一级网络所预测的用于标识图像样本中目标对象所占区域的标签。
第一级网络的另一个分支用于边缘分割，其可以根据图像样本的图像特征确定图像样本中目标对象的边缘像素点，进而输出预测边缘结果。预测边缘结果即为当前阶段的第一级网络所预测的用于标识图像样本中目标对象的边缘像素点的标签。
接下来，电子设备可以将每个图像样本以及对应的第一预测分割结果及预测边缘结果输入初始图像分割模型的第二级网络中，第二级网络可以根据第一预测分割结果所标识的区域，以及预测边缘结果所标识的边缘像素点对图像样本进行图像分割处理，进而，得到每个图像样本对应的第二预测分割结果。
其中，第二预测分割结果即为当前阶段的第二级网络所预测的用于标识图像样本中目标对象所占区域的标签，由于预测边缘结果的加入，第二级网络可以对每个图像样本进行更准确地分割，得到的第二预测分割结果也就比第一预测分割结果更加接近于标定分割标签。
在获得每个图像样本对应的第一预测分割结果、第二预测分割结果以及预测边缘结果后，电子设备便可以执行上述步骤S105，即基于每个图像样本对应的第一预测分割结果与标定分割标签的差异、第二预测分割结果与标定分割标签的差异以及预测边缘结果与标定边缘标签的差异，对初始图像分割模型进行训练，也就是对第一级网络及第二级网络进行训练，进而便可以得到图像分割模型。
在训练过程中，第一级网络可以不断学习到的图像特征与第一预测分割结果及预测边缘结果的对应关系，第二级网络可以不断学习到的图像特征、第一预测分割结果及预测边缘结果与第二预测分割结果的对应关系。
作为一种实施方式，在对第一级网络及第二级网络进行训练的过程中，可以采用梯度下降算法等方式调整第一级网络及第二级网络的参数，以使初始图像分割模型的图像分割准确度逐渐提高，直到达到图像分割要求。
作为本公开实施例的一种实施方式，上述第二级网络可以包括输入层、中间层及输出层。其中，输入层及输出层可以为一个卷积层，输出层可以为一个或多个卷积层。
在这种情况下，如图3所示，上述将每个所述图像样本以及对应的所述第一预测分割结果及所述预测边缘结果输入所述初始图像分割模型的第二级网络中进行图像分割处理，得到每个所述图像样本对应的第二预测分割结果的步骤，可以包括：
步骤S301，将每个所述图像样本以及对应的所述第一预测分割结果输入所述输入层进行图像特征提取，得到第一特征图；
第二级网络中的输入层可以为卷积层，可以通过卷积运算对每个图像样本进行图像特征提取，得到对应的第一特征图。具体来说，由于第一预测分割结果可以标识图像样本中目标对象所占区域，因此，第二级网络中的输入层可以根据第一预测分割结果所标识的区域，从图像样本中提取对应区域的图像特征，进而得到第一特征图。
步骤S302，将所述第一特征图输入所述中间层进行图像特征提取，得到第二特征图；
上述输入层处理得到的第一特征图作为第二级网络中的中间层的输入被输入至第二级网络中的中间层继续进行图像特征的提取。具体来说，中间层对第一特征图进行卷积运算，提取第一特征图的图像特征，进而得到第二特征图。
步骤S303，将每个所述图像样本对应的所述预测边缘结果与每个所述图像样本对应的第二特征图进行拼接，得到第三特征图；
由于第二级网络中的中间层输出的第二特征图是经过多次卷积运算得到的，为稀疏语义特征，属于高维特征，而预测边缘结果也属于高维特征，是一种稀疏语义特征，因此，电子设备可以将每个图像样本对应的预测边缘结果与每个图像样本对应的第二特征图进行拼接，进而得到第三特征图。
第二特征图和预测边缘结果均为高维特征，二者可以准确进行拼接，使得处理结果更加准确，二者拼接便可以得到每个图像样本中目标对象的图像特征以及边缘的图像特征。
在一种实施方式中，第二特征图和预测边缘结果的拼接方式可以采用concatenate函数将二者进行拼接等方式，在此不做具体限定。
步骤S304，将所述第三特征图输入所述输出层进行卷积处理，得到每个所述图像样本对应的第二预测分割结果。
得到上述第三特征图后，可以将第三特征图输入第二级网络中的输出层，该输出层可以为一个卷积层，其可以对每个图像样本的第三特征图进行卷积处理，进而得到每个图像样本对应的第二预测分割结果。
可见，在本实施例中，电子设备可以将每个图像样本以及对应的第一预测分割结果输入第二级网络中的输入层进行图像特征提取，得到第一特征图，将第一特征图输入中间层进行图像特征提取，得到第二特征图，再将每个图像样本对应的预测边缘结果与每个图像样本对应的第二特征图进行拼接，得到第三特征图，进而将第三特征图输入输出层进行卷积处理，得到每个图像样本对应的第二预测分割结果。由于第二特征图和预测边缘结果均为高维特征，二者可以准确进行拼接，使得处理结果更加准确，进而提高第二预测分割结果的准确度，进一步提高图像分割模型的图像分割准确度。
作为本公开实施例的一种实施方式，上述第一级网络可以包括特征提取层、分割层及边缘层。其中，提取层、分割层及边缘层均可以为一个卷积层。
在这种情况下，如图4所示，上述将每个所述图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个所述图像样本对应的第一预测分割结果及预测边缘结果的步骤，可以包括：
S401，将每个所述图像样本输入所述特征提取层进行图像特征提取，得到第四特征图；
第一级网络的特征提取层可以卷积层，将每个图像样本输入该特征提取层，进而特征提取层可以通过卷积运算对每个图像样本进行图像特征提取，得到对应的第四特征图。
S402，将所述第四特征图输入所述分割层进行图像分割处理，得到每个所述图像样本对应的第一预测分割结果；
上述特征提取层处理得到的第四特征图作为第一级网络中的分割层的输入被输入至第一级网络中的分割层继续进行处理。具体来说，分割层可以对第四特征图进行卷积运算，确定图像样本中目标对象所占区域，得到每个图像样本对应的第一预测分割结果。
S403，将所述第四特征图输入所述边缘层进行边缘提取处理，得到每个所述图像样本对应的预测边缘结果。
上述特征提取层处理得到的第四特征图还可以作为第一级网络中的边缘层的输入被输入至第一级网络中的边缘层继续进行处理。具体来说，分割层可以对第四特征图进行卷积运算，确定图像样本中目标对象所占区域的边缘像素点，进而得到每个图像样本对应的预测边缘结果。
可见，在本实施例中，电子设备可以将每个图像样本输入第一级网络中的特征提取层进行图像特征提取，得到第四特征图，将第四特征图输入分割层进行图像分割处理，得到每个图像样本对应的第一预测分割结果，将第四特征图输入边缘层进行边缘提取处理，得到每个图像样本对应的预测边缘结果。由于第一级网络包括图像分割和边缘提取两个分支，不仅可以得到第一预测分割结果，还可以得到预测边缘结果，使得最终得到的图像分割结果更加准确。
作为本公开实施例的一种实施方式，如图5所示，上述基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异、所述第二预测分割结果与所述标定分割标签的差异以及所述预测边缘结果与所述标定边缘标签的差异，对所述初始图像分割模型进行训练，得到图像分割模型的步骤，可以包括：
步骤S501，基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异，计算第一损失函数；
每个图像样本对应的第一预测分割结果与标定分割标签的差异、第二预测分割结果与标定分割标签的差异以及预测边缘结果与标定边缘标签的差异均反映了当前阶段的初始图像分割模型的图像分割准确度，因此，电子设备可以基于每个图像样本对应的第一预测分割结果与标定分割标签的差异，计算第一损失函数loss1_seg。
其中，第一损失函数的具体表达式可以根据实际图像分割需求设定，在此不做具体限定。在一种实施方式中，可以采用softmax函数计算第一损失函数loss1_seg。
步骤S502，基于每个所述图像样本对应的所述第二预测分割结果与所述标定分割标签的差异，计算第二损失函数；
每个图像样本对应的第二预测分割结果与标定分割标签的差异也可以反映当前阶段的初始图像分割模型的图像分割准确度，因此，电子设备可以根据每个图像样本对应的第二预测分割结果与标定分割标签的差异，计算第二损失函数loss2_seg。
其中，第二损失函数的具体表达式也可以根据实际图像分割需求设定，在此不做具体限定。在一种实施方式中，可以采用softmax函数计算第二损失函数loss2_seg。
步骤S503，基于每个所述图像样本对应的所述预测边缘结果与所述标定边缘标签的差异，计算第三损失函数；
每个图像样本对应的预测边缘结果与标定边缘标签的差异也可以反映当前阶段的初始图像分割模型的图像分割准确度，因此，电子设备可以根据每个图像样本对应的预测边缘结果与标定边缘标签的差异，计算第三损失函数loss1_edge。
其中，第三损失函数的具体表达式也可以根据实际图像分割需求设定，在此不做具体限定。在一种实施方式中，可以采用softmax函数计算第三损失函数loss1_edge。
步骤S504，根据所述第一损失函数、所述第二损失函数及所述第三损失函数，调整所述初始图像分割模型的参数，得到图像分割模型。
得到上述第一损失函数、第二损失函数及第三损失函数后，由于第一损失函数、第二损失函数及第三损失函数的具体值反映了当前阶段的初始图像分割模型的图像分割准确度，因此为了使初始图像分割模型的图像分割准确度提高，电子设备可以调整第一级网络及第二级网络的参数，进而得到图像分割模型。
例如，可以将第一损失函数、第二损失函数及第三损失函数的乘积作为目标损失函数，进而根据目标损失函数调整第一级网络及第二级网络的参数。
可见，在本实施例中，电子设备可以基于每个图像样本对应的第一预测分割结果与标定分割标签的差异，计算第一损失函数，基于每个图像样本对应的第二预测分割结果与标定分割标签的差异，计算第二损失函数，并基于每个图像样本对应的预测边缘结果与标定边缘标签的差异，计算第三损失函数，进而，根据第一损失函数、第二损失函数及第三损失函数，调整第一级网络及第二级网络的参数，得到图像分割模型。这样，可以依据上述三个方面的差异调整初始图像分割模型的参数，可以使得第一级网络及第二级网络快速准确地学习图像特征与图像分割之间的关系，提高对于图像分割的准确度。
作为本公开实施例的一种实施方式，上述根据所述第一损失函数、所述第二损失函数及所述第三损失函数，调整所述初始图像分割模型的参数，得到图像分割模型的步骤，可以包括：
设定所述第一损失函数、所述第二损失函数及所述第三损失函数分别对应的权重；基于所述权重，确定所述第一损失函数、所述第二损失函数及所述第三损失函数的加权和，作为目标损失函数；基于所述目标损失函数调整所述初始图像分割模型的参数，直到所述初始图像分割模型收敛，将收敛的所述初始图像分割模型作为图像分割模型。
由于第一损失函数、第二损失函数及第三损失函数分别反映了第一预测分割结果与标定分割标签的差异、第二预测分割结果与标定分割标签的差异以及预测边缘结果与标定边缘标签的差异，所以，将第一损失函数、第二损失函数及第三损失函数以一定方式进行运算得到的结果可以表征当前阶段的初始图像分割模型对于图像分割的误差。
因此，在一种实施方式中，电子设备可以设定第一损失函数、第二损失函数及第三损失函数分别对应的权重，其中，具体权重值可以根据第一损失函数、第二损失函数及第三损失函数对于最终误差的影响的程度确定，如果影响较大，那么权重可以较高，如果影响较小，那么权重可以较低。
进而，电子设备可以基于上述权重，确定第一损失函数、第二损失函数及第三损失函数的加权和，将该加权值作为目标损失函数。例如，第一损失函数loss1_seg、第二损失函数loss1_edge及第三损失函数loss2_seg对应的权重分别为w1、w2及w3，那么目标损失函数loss＝w1×loss1_seg+w2×loss1_edge+w3×loss2_seg。
在另一种实施方式中，三者的加和可以直接反映当前阶段的初始图像分割模型对于图像分割的误差，因此，电子设备可以将第一损失函数、第二损失函数及第三损失函数的加和确定为目标损失函数，也就是说，目标损失函数loss＝loss1_seg+loss1_edge+loss2_seg。
进而，电子设备可以基于该目标损失函数调整第一级网络及第二级网络的参数。例如，可以利用梯度下降法对loss进行反向传播，进而调整第一级网络及第二级网络的参数。
为了确定当前阶段的初始图像分割模型是否可以达到实际应用要求，每调整一次参数后，电子设备可以判断此时初始图像分割模型是否收敛。
在一种实施方式中，可以判断目标损失函数loss的值是否收敛，如果收敛，说明此时初始图像分割模型收敛；如果目标损失函数loss的值不收敛，那么则继续调整调整第一级网络及第二级网络的参数。在另一实施方式中，可以判断此时初始图像分割模型的图像分割准确度是否达到预设值，如果达到，说明此时初始图像分割模型收敛；如果图像分割准确度未达到预设值，则继续调整调整第一级网络及第二级网络的参数。
如果初始图像分割模型收敛，那么便可以将此时的初始图像分割模型确定为图像分割模型。以用于后续对图像进行图像分割。
可见，在本实施例中，电子设备可以设定第一损失函数、第二损失函数及第三损失函数分别对应的权重，基于权重，确定第一损失函数、第二损失函数及第三损失函数的加和为目标损失函数，进而，基于目标损失函数调整初始图像分割的参数，直到初始图像分割模型收敛，将收敛的初始图像分割模型作为图像分割模型。由于第一损失函数、第二损失函数及第三损失函数的加权和可以准确地反映当前阶段的初始图像分割模型对于图像分割的误差，因此，采用该方式可以快速准确地调整第一级网络及第二级网络的参数，直到初始图像分割模型收敛。
作为本公开实施例的一种实施方式，如图6所示，上述基于所述标定分割标签中所述目标对象的边缘像素点，确定每个所述标定分割标签对应的标定边缘标签的步骤，可以包括：
步骤S601，提取所述标定分割标签中所述目标对象的边缘像素点；
为了确定目标对象在图像样本中的边缘信息，而标定分割标签标识了目标对象在图像样本中所占区域，那么该区域的边缘像素点也就是目标对象在图像样本中的边缘信息。因此电子设备可以提取分割标签中目标对象的边缘像素点。
在一种实施方式中，电子设备可以采用canny算子提取分割标签中目标对象的边缘像素点。
步骤S602，将所述边缘像素点的像素值设置为第一预设值；
步骤S603，将所述分割标签中的非所述边缘像素点的像素值设置为第二预设值，得到每个所述分割标签对应的标定边缘标签。
确定了标定分割标签中目标对象的边缘像素点后，为了区分这些像素点，可以将边缘像素点的像素值设置为第一预设值，而将分割标签中的非边缘像素点的像素值设置为第二预设值，这样便可以得到每个分割标签对应的标定边缘标签。其中，为了便于计算和区分，第一预设值与第二预设值不同。
作为一种实施方式，边缘像素点的像素值可以设置为255，即为白色，所有非边缘像素点的像素值可以设置为0，即为黑色。例如，如图2(b)所示的标定分割标签，其对应的标定边缘标签即如图2(c)所示。
可见，在本实施例中，电子设备可以提取标定分割标签中目标对象的边缘像素点，进而将边缘像素点的像素值设置为第一预设值，将标定分割标签中的非边缘像素点的像素值设置为第二预设值，得到每个标定分割标签对应的标定边缘标签。这样，电子设备可以准确地确定每个标定分割标签对应的标定边缘标签，以保证对初始图像分割模型进行准确训练。
相应于上述图像分割模型的训练方法，本公开实施例还提供了一种图像分割方法。下面对本公开实施例所提供的一种图像分割方法进行介绍。
本公开实施例所提供的图像分割生成方法可以应用于任意需要进行图像分割的电子设备，例如，处理器、电脑等，为了描述方便，以下简称电子设备，该电子设备与上述用于训练图像分割模型的电子设备可以为同一电子设备，也可以为不同的电子设备，这都是合理的。
如图7所示，一种图像分割方法，所述方法包括：
在步骤S701中，获取待分割图像；
在步骤S702中，将所述待分割图像输入图像分割模型进行图像分割，得到分割结果。
其中，所述图像分割模型为利用上述任一实施例所述的图像分割模型的训练方法所生成的。
可见，本公开实施例所提供的方案中，电子设备可以获取待分割图像，将待分割图像输出图像分割模型进行图像分割，进而得到分割结果，由于图像分割模型为利用上述任一实施例所述的图像分割模型的训练方法所生成的，而在对初始图像分割模型进行训练时以及利用图像分割模型对图像进行分割时加入了目标对象的边缘信息，图像分割模型可以学习到目标对象的边缘信息，从而能够更准确地将目标对象从图像背景中分离出来，图像分割的准确度得到提高。
在上述步骤S701中，电子设备可以获取待分割图像，该待分割图像即为需要进行图像分割的图像，其中包括需要分离出来的目标对象，例如，人体、车辆、动物等。
待分割图像可以为电子设备本地保存的图像，也可以为从其他设备获取的图像，例如，如果电子设备为服务器，那么待分割图像可以为用户通过终端设备上传至服务器的图像。
获取上述待分割图像后，电子设备便可以执行步骤S702，即将待分割图像输入图像分割模型进行图像分割，得到分割结果。电子设备将待分割图像输入图像分割模型后，图像分割模型可以对待分割图像进行图像特征的提取，进而根据自身在训练时学习到的图像特征与分割结果的关系，确定待分割图像对应的分割结果。
具体来说，图像分割模型中的第一级网络可以对待分割图像进行图像特征提取，并根据训练时学习到的图像特征与第一预测分割结果及预测边缘结果的对应关系，确定待分割图像的第一分割标签及边缘标签。然后将第一分割标签以及待分割图像输入第二级网络，第二级网络根据第一分割标签提取待分割图像的图像特征，得到特征图，将边缘标签拼接至该特征图上，进而输出最终的分割结果。
为了对比第一级网络与第二级网络对于图像分割的准确度的区别，可以将第一级网络的分割结果进行输出。例如，待分割图像如图8(a)所示，其中的人体为目标对象，将其输入图像分割模型进行图像分割，第一级网络输出的结果如图8(b)所示，可以看出其中人体的手指部分分割效果并不好，手指边缘模糊不清。第二级网络输出的结果如图8(c)所示，可以看出其中人体的手指部分分割效果很好，手指边缘清晰。第二级网络输出的结果即为对于图8(a)所示的待分割图像的最终图像分割结果。
图9是根据一示例性实施例示出的一种图像分割模型的训练装置框图。
如图9所示，一种图像分割模型的训练装置，所述装置包括：
样本获取模块910，被配置为执行获取多个图像样本以及每个所述图像样本对应的标定分割标签；
其中，所述标定分割标签用于标识对应的图像样本中目标对象所占区域。
边缘标签确定模块920，被配置为执行基于所述标定分割标签中所述目标对象的边缘像素点，确定每个所述标定分割标签对应的标定边缘标签；
第一分割模块930，被配置为执行将每个所述图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个所述图像样本对应的第一预测分割结果及预测边缘结果；
第二分割模块940，被配置为执行将每个所述图像样本以及对应的所述第一预测分割结果及所述预测边缘结果输入所述初始图像分割模型的第二级网络中进行图像分割处理，得到每个所述图像样本对应的第二预测分割结果；
模型生成模块950，被配置为执行基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异、所述第二预测分割结果与所述标定分割标签的差异以及所述预测边缘结果与所述标定边缘标签的差异，对所述初始图像分割模型进行训练，得到图像分割模型。
可见，本公开实施例所提供的方案中，电子设备可以获取多个图像样本以及每个图像样本对应的标定分割标签，其中，标定分割标签用于标识对应的图像样本中目标对象所占区域，基于分割标签中目标对象的边缘像素点，确定每个分割标签对应的标定边缘标签，然后将每个图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个图像样本对应的第一预测分割结果及预测边缘结果，再将每个图像样本以及对应的第一预测分割标签及预测边缘结果输入初始图像分割模型的第二级网络中进行图像分割处理，得到每个图像样本对应的第二预测分割结果，进而基于每个图像样本对应的第一预测分割结果与标定分割标签的差异、第二预测分割结果与标定分割标签的差异以及预测边缘结果与标定边缘标签的差异，对初始图像分割模型进行训练，得到图像分割模型。由于在对初始图像分割模型进行训练时以及利用图像分割模型对图像进行分割时加入了目标对象的边缘信息，图像分割模型可以学习到目标对象的边缘信息，从而能够更准确地将目标对象从图像背景中分离出来，提高图像分割的准确度。
作为本公开实施例的一种实施方式，上述第二级网络可以包括输入层、中间层及输出层；
上述第二分割模块940可以包括：
第一提取单元(图9中未示出)，被配置为执行将每个所述图像样本以及对应的所述第一预测分割结果输入所述输入层进行图像特征提取，得到第一特征图；
第二提取单元(图9中未示出)，被配置为执行将所述第一特征图输入所述中间层进行图像特征提取，得到第二特征图；
特征拼接单元(图9中未示出)，被配置为执行将每个所述图像样本对应的所述预测边缘结果与每个所述图像样本对应的第二特征图进行拼接，得到第三特征图；
图像分割单元(图9中未示出)，被配置为执行将所述第三特征图输入所述输出层进行卷积处理，得到每个所述图像样本对应的第二预测分割结果。
作为本公开实施例的一种实施方式，上述第一级网络可以包括特征提取层、分割层及边缘层；
上述第一分割模块930可以包括：
第三提取单元(图9中未示出)，被配置为执行将每个所述图像样本输入所述特征提取层进行图像特征提取，得到第四特征图；
第二图像分割单元(图9中未示出)，被配置为执行将所述第四特征图输入所述分割层进行图像分割处理，得到每个所述图像样本对应的第一预测分割结果；
边缘提取单元(图9中未示出)，被配置为执行将所述第四特征图输入所述边缘层进行边缘提取处理，得到每个所述图像样本对应的预测边缘结果。
作为本公开实施例的一种实施方式，上述模型生成模块950可以包括：
第一损失函数计算单元(图9中未示出)，被配置为执行基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异，计算第一损失函数；
第二损失函数计算单元(图9中未示出)，被配置为执行基于每个所述图像样本对应的所述第二预测分割结果与所述标定分割标签的差异，计算第二损失函数；
第三损失函数计算单元(图9中未示出)，被配置为执行基于每个所述图像样本对应的所述预测边缘结果与所述标定边缘标签的差异，计算第三损失函数；
模型生成单元(图9中未示出)，被配置为执行根据所述第一损失函数、所述第二损失函数及所述第三损失函数，调整所述初始图像分割模型的参数，得到图像分割模型。
作为本公开实施例的一种实施方式，上述模型生成单元可以包括：
权重设置子单元(图9中未示出)，被配置为执行设定所述第一损失函数、所述第二损失函数及所述第三损失函数分别对应的权重；
目标损失函数确定子单元(图9中未示出)，被配置为执行基于所述权重，确定所述第一损失函数、所述第二损失函数及所述第三损失函数的加权和，作为目标损失函数；
模型生成子单元(图9中未示出)，被配置为执行基于所述目标损失函数调整所述初始图像分割模型的参数，直到所述初始图像分割模型收敛，将收敛的所述初始图像分割模型作为图像分割模型。
作为本公开实施例的一种实施方式，上述边缘标签确定模块920可以包括：
像素点提取单元(图9中未示出)，被配置为执行提取所述标定分割标签中所述目标对象的边缘像素点；
第一像素值设置单元(图9中未示出)，被配置为执行将所述边缘像素点的像素值设置为第一预设值；
第二像素值设置单元(图9中未示出)，被配置为执行将所述标定分割标签中的非所述边缘像素点的像素值设置为第二预设值，得到每个所述标定分割标签对应的标定边缘标签。
图10是根据一示例性实施例示出的一种图像分割装置框图。
如图10所示，一种图像分割装置，所述装置包括：
待分割图像获取模块1010，被配置为执行获取待分割图像；
图像分割模块1020，被配置为执行将所述待分割图像输入图像分割模型进行图像分割，得到分割结果。
其中，所述图像分割模型为利用上述任一实施例所述的图像分割模型的训练方法所生成的。
可见，本公开实施例所提供的方案中，电子设备可以获取待分割图像，将待分割图像输出图像分割模型进行图像分割，进而得到分割结果，由于图像分割模型为利用上述任一实施例所述的图像分割模型的训练方法所生成的，而在对第一级网络及第二级网络进行训练时以及利用图像分割模型对图像进行分割时加入了目标对象的边缘信息，图像分割模型可以学习到目标对象的边缘信息，从而能够更准确地将目标对象从图像背景中分离出来，图像分割的准确度得到提高。
本公开实施例还提供了一种电子设备，如图11所示，电子设备可以包括处理器1101，用于存储处理器可执行指令的存储器1102，其中，处理器1101被配置为执行所述指令，以实现如上述任一实施例所述的图像分割模型的训练方法。
可见，本公开实施例所提供的方案中，电子设备可以获取多个图像样本以及每个图像样本对应的标定分割标签，其中，标定分割标签用于标识对应的图像样本中目标对象所占区域，基于分割标签中目标对象的边缘像素点，确定每个分割标签对应的标定边缘标签，然后将每个图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个图像样本对应的第一预测分割结果及预测边缘结果，再将每个图像样本以及对应的第一预测分割标签及预测边缘结果输入初始图像分割模型的第二级网络中进行图像分割处理，得到每个图像样本对应的第二预测分割结果，进而基于每个图像样本对应的第一预测分割结果与标定分割标签的差异、第二预测分割结果与标定分割标签的差异以及预测边缘结果与标定边缘标签的差异，对第一级网络及第二级网络进行训练，得到图像分割模型。由于在对初始图像分割模型进行训练时以及利用图像分割模型对图像进行分割时加入了目标对象的边缘信息，图像分割模型可以学习到目标对象的边缘信息，从而能够更准确地将目标对象从图像背景中分离出来，提高图像分割的准确度。
本公开实施例还提供了另一种电子设备，如图12所示，电子设备可以包括处理器1201，用于存储处理器可执行指令的存储器1202，其中，处理器1201被配置为执行所述指令，以实现如上述任一实施例所述的图像分割方法。
可见，本公开实施例所提供的方案中，电子设备可以获取待分割图像，将待分割图像输出图像分割模型进行图像分割，进而得到分割结果，由于图像分割模型为利用上述任一实施例所述的图像分割模型的训练方法所生成的，而在对初始图像分割模型进行训练时以及利用图像分割模型对图像进行分割时加入了目标对象的边缘信息，图像分割模型可以学习到目标对象的边缘信息，从而能够更准确地将目标对象从图像背景中分离出来，图像分割的准确度得到提高。
上述存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
图13是根据一示例性实施例示出的上述电子设备为终端时的一种具体结构框图。例如，终端可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图13，终端可以包括以下一个或多个组件：处理组件1302，存储器1304，电源组件1306，多媒体组件1308，音频组件1310，输入/输出(I/O)的接口1312，传感器组件1314，以及通信组件1316。
处理组件1302通常控制终端的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1302可以包括一个或多个处理器1320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1302可以包括一个或多个模块，便于处理组件1302和其他组件之间的交互。例如，处理组件1302可以包括多媒体模块，以方便多媒体组件1308和处理组件1302之间的交互。
存储器1304被配置为存储各种类型的数据以支持在终端的操作。这些数据的示例包括用于在终端上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1306为终端的各种组件提供电力。电源组件1306可以包括电源管理系统，一个或多个电源，及其他与为终端生成、管理和分配电力相关联的组件。
多媒体组件1308包括在终端和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1308包括一个前置摄像头和/或后置摄像头。当终端处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1310被配置为输出和/或输入音频信号。例如，音频组件1310包括一个麦克风(MIC)，当终端处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中，音频组件1310还包括一个扬声器，用于输出音频信号。
I/O接口1312为处理组件1302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1314包括一个或多个传感器，用于为终端提供各个方面的状态评估。例如，传感器组件1314可以检测到终端的打开/关闭状态，组件的相对定位，例如所述组件为终端的显示器和小键盘，传感器组件1314还可以检测终端或终端一个组件的位置改变，用户与终端接触的存在或不存在，终端方位或加速/减速和终端的温度变化。传感器组件1314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1316被配置为便于终端和其他设备之间有线或无线方式的通信。终端可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1316还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，终端可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1304，上述指令可由终端的处理器1320执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图14是根据一示例性实施例示出的上述电子设备为服务器时的一种具体结构框图。服务器包括处理组件1422，其进一步包括一个或多个处理器，以及由存储器1432所代表的存储器资源，用于存储可由处理组件1422的执行的指令，例如应用程序。存储器1432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1422被配置为执行指令，以执行上述方法。
服务器还可以包括一个电源组件1426被配置为执行服务器的电源管理，一个有线或无线网络接口1450被配置为将服务器连接到网络，和一个输入输出(I/O)接口1458。服务器可以操作基于存储在存储器1432的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
本公开实施例还提供了一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的图像分割模型的训练方法。
可见，本公开实施例所提供的方案中，电子设备可以获取多个图像样本以及每个图像样本对应的标定分割标签，其中，标定分割标签用于标识对应的图像样本中目标对象所占区域，基于分割标签中目标对象的边缘像素点，确定每个分割标签对应的标定边缘标签，然后将每个图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个图像样本对应的第一预测分割结果及预测边缘结果，再将每个图像样本以及对应的第一预测分割标签及预测边缘结果输入初始图像分割模型的第二级网络中进行图像分割处理，得到每个图像样本对应的第二预测分割结果，进而基于每个图像样本对应的第一预测分割结果与标定分割标签的差异、第二预测分割结果与标定分割标签的差异以及预测边缘结果与标定边缘标签的差异，对初始图像分割模型进行训练，得到图像分割模型。由于在对初始图像分割模型进行训练时以及利用图像分割模型对图像进行分割时加入了目标对象的边缘信息，图像分割模型可以学习到目标对象的边缘信息，从而能够更准确地将目标对象从图像背景中分离出来，提高图像分割的准确度。
本公开实施例还提供了另一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的图像分割方法。
可见，本公开实施例所提供的方案中，电子设备可以获取待分割图像，将待分割图像输出图像分割模型进行图像分割，进而得到分割结果，由于图像分割模型为利用上述任一实施例所述的图像分割模型的训练方法所生成的，而在对第一级网络及第二级网络进行训练时以及利用图像分割模型对图像进行分割时加入了目标对象的边缘信息，图像分割模型可以学习到目标对象的边缘信息，从而能够更准确地将目标对象从图像背景中分离出来，图像分割的准确度得到提高。
本公开实施例还提供了一种应用程序产品，该应用程序产品用于在运行时执行上述任一实施例所述的图像分割模型的训练方法。
可见，本公开实施例所提供的方案中，该应用程序产品在运行时可以执行获取多个图像样本以及每个图像样本对应的标定分割标签，其中，标定分割标签用于标识对应的图像样本中目标对象所占区域，基于分割标签中目标对象的边缘像素点，确定每个分割标签对应的标定边缘标签，然后将每个图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个图像样本对应的第一预测分割结果及预测边缘结果，再将每个图像样本以及对应的第一预测分割标签及预测边缘结果输入初始图像分割模型的第二级网络中进行图像分割处理，得到每个图像样本对应的第二预测分割结果，进而基于每个图像样本对应的第一预测分割结果与标定分割标签的差异、第二预测分割结果与标定分割标签的差异以及预测边缘结果与标定边缘标签的差异，对初始图像分割模型进行训练，得到图像分割模型。由于在对初始图像分割模型进行训练时以及利用图像分割模型对图像进行分割时加入了目标对象的边缘信息，图像分割模型可以学习到目标对象的边缘信息，从而能够更准确地将目标对象从图像背景中分离出来，提高图像分割的准确度。
本公开实施例还提供了另一种应用程序产品，该应用程序产品用于在运行时执行上述任一实施例所述的图像分割方法。
可见，本公开实施例所提供的方案中，该应用程序产品在运行时可以执行获取待分割图像，将待分割图像输出图像分割模型进行图像分割，进而得到分割结果，由于图像分割模型为利用上述任一实施例所述的图像分割模型的训练方法所生成的，而在对第一级网络及第二级网络进行训练时以及利用图像分割模型对图像进行分割时加入了目标对象的边缘信息，图像分割模型可以学习到目标对象的边缘信息，从而能够更准确地将目标对象从图像背景中分离出来，图像分割的准确度得到提高。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由上面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像分割模型的训练方法，其特征在于，所述方法包括：
获取多个图像样本以及每个所述图像样本对应的标定分割标签，其中，所述标定分割标签用于标识对应的图像样本中目标对象所占区域；
基于所述标定分割标签中所述目标对象的边缘像素点，确定每个所述标定分割标签对应的标定边缘标签；
将每个所述图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个所述图像样本对应的第一预测分割结果及预测边缘结果；
将每个所述图像样本以及对应的所述第一预测分割结果及所述预测边缘结果输入所述初始图像分割模型的第二级网络中进行图像分割处理，得到每个所述图像样本对应的第二预测分割结果；
基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异、所述第二预测分割结果与所述标定分割标签的差异以及所述预测边缘结果与所述标定边缘标签的差异，对所述初始图像分割模型进行训练，得到图像分割模型。
2.如权利要求1所述的方法，其特征在于，所述第二级网络包括输入层、中间层及输出层；
所述将每个所述图像样本以及对应的所述第一预测分割结果及所述预测边缘结果输入所述初始图像分割模型的第二级网络中进行图像分割处理，得到每个所述图像样本对应的第二预测分割结果的步骤，包括：
将每个所述图像样本以及对应的所述第一预测分割结果输入所述输入层进行图像特征提取，得到第一特征图；
将所述第一特征图输入所述中间层进行图像特征提取，得到第二特征图；
将每个所述图像样本对应的所述预测边缘结果与每个所述图像样本对应的第二特征图进行拼接，得到第三特征图；
将所述第三特征图输入所述输出层进行卷积处理，得到每个所述图像样本对应的第二预测分割结果。
3.如权利要求1所述的方法，其特征在于，所述第一级网络包括特征提取层、分割层及边缘层；
所述将每个所述图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个所述图像样本对应的第一预测分割结果及预测边缘结果的步骤，包括：
将每个所述图像样本输入所述特征提取层进行图像特征提取，得到第四特征图；
将所述第四特征图输入所述分割层进行图像分割处理，得到每个所述图像样本对应的第一预测分割结果；
将所述第四特征图输入所述边缘层进行边缘提取处理，得到每个所述图像样本对应的预测边缘结果。
4.如权利要求1所述的方法，其特征在于，所述基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异、所述第二预测分割结果与所述标定分割标签的差异以及所述预测边缘结果与所述标定边缘标签的差异，对所述初始图像分割模型进行训练，得到图像分割模型的步骤，包括：
基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异，计算第一损失函数；
基于每个所述图像样本对应的所述第二预测分割结果与所述标定分割标签的差异，计算第二损失函数；
基于每个所述图像样本对应的所述预测边缘结果与所述标定边缘标签的差异，计算第三损失函数；
根据所述第一损失函数、所述第二损失函数及所述第三损失函数，调整所述初始图像分割模型的参数，得到图像分割模型。
5.如权利要求4所述的方法，其特征在于，所述根据所述第一损失函数、所述第二损失函数及所述第三损失函数，调整所述初始图像分割模型的参数，得到图像分割模型的步骤，包括：
设定所述第一损失函数、所述第二损失函数及所述第三损失函数分别对应的权重；
基于所述权重，确定所述第一损失函数、所述第二损失函数及所述第三损失函数的加权和，作为目标损失函数；
基于所述目标损失函数调整所述初始图像分割模型的参数，直到所述初始图像分割模型收敛，将收敛的所述初始图像分割模型作为图像分割模型。
6.一种图像分割方法，其特征在于，所述方法包括：
获取待分割图像；
将所述待分割图像输入图像分割模型进行图像分割，得到分割结果，其中，所述图像分割模型为根据权利要求1至5任一项所述的训练方法生成的。
7.一种图像分割模型的训练装置，其特征在于，所述装置包括：
样本获取模块，被配置为执行获取多个图像样本以及每个所述图像样本对应的标定分割标签，其中，所述标定分割标签用于标识对应的图像样本中目标对象所占区域；
边缘标签确定模块，被配置为执行基于所述标定分割标签中所述目标对象的边缘像素点，确定每个所述标定分割标签对应的标定边缘标签；
第一分割模块，被配置为执行将每个所述图像样本输入预先建立的初始图像分割模型的第一级网络中进行图像处理，得到每个所述图像样本对应的第一预测分割结果及预测边缘结果；
第二分割模块，被配置为执行将每个所述图像样本以及对应的所述第一预测分割结果及所述预测边缘结果输入所述初始图像分割模型的第二级网络中进行图像分割处理，得到每个所述图像样本对应的第二预测分割结果；
模型生成模块，被配置为执行基于每个所述图像样本对应的所述第一预测分割结果与所述标定分割标签的差异、所述第二预测分割结果与所述标定分割标签的差异以及所述预测边缘结果与所述标定边缘标签的差异，对所述初始图像分割模型进行训练，得到图像分割模型。
8.一种图像分割装置，其特征在于，所述装置包括：
待分割图像获取模块，被配置为执行获取待分割图像；
图像分割模块，被配置为执行将所述待分割图像输入图像分割模型进行图像分割，得到分割结果，其中，所述图像分割模型为根据权利要求1至5任一项所述的训练方法生成的。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行权利要求1至6中任一项所述的方法。
CN201911022902.4A 2019-10-25 2019-10-25 图像分割模型的训练方法及装置及图像分割方法及装置 Active CN110782468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911022902.4A CN110782468B (zh) 2019-10-25 2019-10-25 图像分割模型的训练方法及装置及图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911022902.4A CN110782468B (zh) 2019-10-25 2019-10-25 图像分割模型的训练方法及装置及图像分割方法及装置

Publications (2)

Publication Number Publication Date
CN110782468A true CN110782468A (zh) 2020-02-11
CN110782468B CN110782468B (zh) 2023-04-07

Family

ID=69387829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911022902.4A Active CN110782468B (zh) 2019-10-25 2019-10-25 图像分割模型的训练方法及装置及图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN110782468B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311616A (zh) * 2020-02-13 2020-06-19 北京百度网讯科技有限公司 用于分割图像的方法和装置
CN111445493A (zh) * 2020-03-27 2020-07-24 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111652887A (zh) * 2020-05-13 2020-09-11 腾讯科技（深圳）有限公司 图像分割模型训练方法、装置、计算机设备及存储介质
CN111738197A (zh) * 2020-06-30 2020-10-02 中国联合网络通信集团有限公司 一种训练图像信息处理的方法和装置
CN111738295A (zh) * 2020-05-22 2020-10-02 南通大学 图像的分割方法及存储介质
CN111768367A (zh) * 2020-05-20 2020-10-13 深圳迈瑞生物医疗电子股份有限公司 数据处理方法、装置和存储介质
CN111899268A (zh) * 2020-08-17 2020-11-06 上海商汤智能科技有限公司 图像分割方法及装置、电子设备和存储介质
CN111932568A (zh) * 2020-08-10 2020-11-13 北京金山云网络技术有限公司 人体图像分割方法、人体图像分割模型的训练方法和装置
WO2020253296A1 (zh) * 2019-06-19 2020-12-24 深圳Tcl新技术有限公司 图像分割模型的训练方法、图像分割方法、介质及终端
CN112270686A (zh) * 2020-12-24 2021-01-26 北京达佳互联信息技术有限公司 图像分割模型训练、图像分割方法、装置及电子设备
CN112508974A (zh) * 2020-12-14 2021-03-16 北京达佳互联信息技术有限公司 图像分割模型的训练方法、装置、电子设备和存储介质
CN112669342A (zh) * 2020-12-25 2021-04-16 北京达佳互联信息技术有限公司 图像分割网络的训练方法及装置、图像分割方法及装置
CN112669338A (zh) * 2021-01-08 2021-04-16 北京市商汤科技开发有限公司 图像分割方法及装置、电子设备和存储介质
CN113313697A (zh) * 2021-06-08 2021-08-27 青岛商汤科技有限公司 图像分割和分类方法及其模型训练方法、相关装置及介质
CN113674298A (zh) * 2020-05-14 2021-11-19 北京金山云网络技术有限公司 图像分割方法、装置和服务器
CN113781493A (zh) * 2021-01-04 2021-12-10 北京沃东天骏信息技术有限公司 图像处理方法、装置、电子设备、介质及计算机程序产品

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229504A (zh) * 2018-01-29 2018-06-29 深圳市商汤科技有限公司 图像解析方法及装置
CN108280451A (zh) * 2018-01-19 2018-07-13 北京市商汤科技开发有限公司 语义分割及网络训练方法和装置、设备、介质、程序
US20180232887A1 (en) * 2016-03-31 2018-08-16 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
CN109166107A (zh) * 2018-04-28 2019-01-08 北京市商汤科技开发有限公司 一种医学图像分割方法及装置、电子设备和存储介质
CN109241880A (zh) * 2018-08-22 2019-01-18 北京旷视科技有限公司 图像处理方法、图像处理装置、计算机可读存储介质
CN109325954A (zh) * 2018-09-18 2019-02-12 北京旷视科技有限公司 图像分割方法、装置及电子设备
CN109493317A (zh) * 2018-09-25 2019-03-19 哈尔滨理工大学 基于级联卷积神经网络的3d多椎骨分割方法
CN109658418A (zh) * 2018-10-31 2019-04-19 百度在线网络技术（北京）有限公司 场景结构的学习方法、装置及电子设备
CN109829920A (zh) * 2019-02-25 2019-05-31 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109949209A (zh) * 2019-03-06 2019-06-28 武汉工程大学 一种基于深度学习的绳索检测与去除方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180232887A1 (en) * 2016-03-31 2018-08-16 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
CN108280451A (zh) * 2018-01-19 2018-07-13 北京市商汤科技开发有限公司 语义分割及网络训练方法和装置、设备、介质、程序
CN108229504A (zh) * 2018-01-29 2018-06-29 深圳市商汤科技有限公司 图像解析方法及装置
CN109166107A (zh) * 2018-04-28 2019-01-08 北京市商汤科技开发有限公司 一种医学图像分割方法及装置、电子设备和存储介质
CN109241880A (zh) * 2018-08-22 2019-01-18 北京旷视科技有限公司 图像处理方法、图像处理装置、计算机可读存储介质
CN109325954A (zh) * 2018-09-18 2019-02-12 北京旷视科技有限公司 图像分割方法、装置及电子设备
CN109493317A (zh) * 2018-09-25 2019-03-19 哈尔滨理工大学 基于级联卷积神经网络的3d多椎骨分割方法
CN109658418A (zh) * 2018-10-31 2019-04-19 百度在线网络技术（北京）有限公司 场景结构的学习方法、装置及电子设备
CN109829920A (zh) * 2019-02-25 2019-05-31 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109949209A (zh) * 2019-03-06 2019-06-28 武汉工程大学 一种基于深度学习的绳索检测与去除方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253296A1 (zh) * 2019-06-19 2020-12-24 深圳Tcl新技术有限公司 图像分割模型的训练方法、图像分割方法、介质及终端
CN111311616A (zh) * 2020-02-13 2020-06-19 北京百度网讯科技有限公司 用于分割图像的方法和装置
CN111311616B (zh) * 2020-02-13 2023-04-07 北京百度网讯科技有限公司 用于分割图像的方法和装置
CN111445493A (zh) * 2020-03-27 2020-07-24 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111445493B (zh) * 2020-03-27 2024-04-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111652887A (zh) * 2020-05-13 2020-09-11 腾讯科技（深圳）有限公司 图像分割模型训练方法、装置、计算机设备及存储介质
CN111652887B (zh) * 2020-05-13 2023-04-07 腾讯科技（深圳）有限公司 图像分割模型训练方法、装置、计算机设备及存储介质
CN113674298A (zh) * 2020-05-14 2021-11-19 北京金山云网络技术有限公司 图像分割方法、装置和服务器
CN111768367A (zh) * 2020-05-20 2020-10-13 深圳迈瑞生物医疗电子股份有限公司 数据处理方法、装置和存储介质
CN111768367B (zh) * 2020-05-20 2024-03-29 深圳迈瑞生物医疗电子股份有限公司 数据处理方法、装置和存储介质
CN111738295B (zh) * 2020-05-22 2024-03-22 南通大学 图像的分割方法及存储介质
CN111738295A (zh) * 2020-05-22 2020-10-02 南通大学 图像的分割方法及存储介质
CN111738197B (zh) * 2020-06-30 2023-09-05 中国联合网络通信集团有限公司 一种训练图像信息处理的方法和装置
CN111738197A (zh) * 2020-06-30 2020-10-02 中国联合网络通信集团有限公司 一种训练图像信息处理的方法和装置
CN111932568A (zh) * 2020-08-10 2020-11-13 北京金山云网络技术有限公司 人体图像分割方法、人体图像分割模型的训练方法和装置
CN111899268A (zh) * 2020-08-17 2020-11-06 上海商汤智能科技有限公司 图像分割方法及装置、电子设备和存储介质
CN111899268B (zh) * 2020-08-17 2022-02-18 上海商汤智能科技有限公司 图像分割方法及装置、电子设备和存储介质
CN112508974B (zh) * 2020-12-14 2024-06-11 北京达佳互联信息技术有限公司 图像分割模型的训练方法、装置、电子设备和存储介质
CN112508974A (zh) * 2020-12-14 2021-03-16 北京达佳互联信息技术有限公司 图像分割模型的训练方法、装置、电子设备和存储介质
CN112270686B (zh) * 2020-12-24 2021-03-16 北京达佳互联信息技术有限公司 图像分割模型训练、图像分割方法、装置及电子设备
CN112270686A (zh) * 2020-12-24 2021-01-26 北京达佳互联信息技术有限公司 图像分割模型训练、图像分割方法、装置及电子设备
CN112669342B (zh) * 2020-12-25 2024-05-10 北京达佳互联信息技术有限公司 图像分割网络的训练方法及装置、图像分割方法及装置
CN112669342A (zh) * 2020-12-25 2021-04-16 北京达佳互联信息技术有限公司 图像分割网络的训练方法及装置、图像分割方法及装置
CN113781493A (zh) * 2021-01-04 2021-12-10 北京沃东天骏信息技术有限公司 图像处理方法、装置、电子设备、介质及计算机程序产品
CN112669338B (zh) * 2021-01-08 2023-04-07 北京市商汤科技开发有限公司 图像分割方法及装置、电子设备和存储介质
CN112669338A (zh) * 2021-01-08 2021-04-16 北京市商汤科技开发有限公司 图像分割方法及装置、电子设备和存储介质
CN113313697B (zh) * 2021-06-08 2023-04-07 青岛商汤科技有限公司 图像分割和分类方法及其模型训练方法、相关装置及介质
CN113313697A (zh) * 2021-06-08 2021-08-27 青岛商汤科技有限公司 图像分割和分类方法及其模型训练方法、相关装置及介质

Also Published As

Publication number Publication date
CN110782468B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110782468B (zh) 图像分割模型的训练方法及装置及图像分割方法及装置
US20210326587A1 (en) Human face and hand association detecting method and a device, and storage medium
CN109871896B (zh) 数据分类方法、装置、电子设备及存储介质
CN106651955B (zh) 图片中目标物的定位方法及装置
RU2577188C1 (ru) Способ, аппарат и устройство для сегментации изображения
CN109859096A (zh) 图像风格迁移方法、装置、电子设备及存储介质
CN110827253A (zh) 一种目标检测模型的训练方法、装置及电子设备
CN110837761B (zh) 多模型知识蒸馏方法及装置、电子设备和存储介质
CN111160448B (zh) 一种图像分类模型的训练方法及装置
CN107944447B (zh) 图像分类方法及装置
CN111461304B (zh) 分类神经网络的训练方法、文本分类方法、装置及设备
US20210279473A1 (en) Video processing method and apparatus, electronic device, and storage medium
CN110619350B (zh) 图像检测方法、装置及存储介质
CN111047526A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN107133354B (zh) 图像描述信息的获取方法及装置
CN109670077B (zh) 视频推荐方法、装置和计算机可读存储介质
CN109961094B (zh) 样本获取方法、装置、电子设备及可读存储介质
CN110751659B (zh) 图像分割方法及装置、终端、存储介质
CN112115894B (zh) 手部关键点检测模型的训练方法、装置及电子设备
CN114240882A (zh) 缺陷检测方法及装置、电子设备和存储介质
US20200135205A1 (en) Input method, device, apparatus, and storage medium
CN112508974A (zh) 图像分割模型的训练方法、装置、电子设备和存储介质
CN106372663B (zh) 构建分类模型的方法及装置
CN106469446B (zh) 深度图像的分割方法和分割装置
CN107992894B (zh) 图像识别方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant