CN112132847A - 模型训练方法、图像分割方法、装置、电子设备和介质 - Google Patents

模型训练方法、图像分割方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN112132847A
CN112132847A CN202011034676.4A CN202011034676A CN112132847A CN 112132847 A CN112132847 A CN 112132847A CN 202011034676 A CN202011034676 A CN 202011034676A CN 112132847 A CN112132847 A CN 112132847A
Authority
CN
China
Prior art keywords
image
training
sample
segmentation
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011034676.4A
Other languages
English (en)
Inventor
李华夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202011034676.4A priority Critical patent/CN112132847A/zh
Publication of CN112132847A publication Critical patent/CN112132847A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例公开了图像分割模型训练方法、图像分割方法、装置、电子设备和介质。该方法的一具体实施方式包括：从训练样本集合中选取训练样本，训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息；将所选取的训练样本的样本图像输入图像分割模型，得到实际分割结果和实际轮廓信息；基于预设的损失函数，确定实际分割结果和标签中的分割结果的差异，得到第一损失值；基于损失函数，确定实际轮廓信息和标签中的轮廓信息的差异，得到第二损失值；响应于确定图像分割模型未训练完成，基于第一损失值和第二损失值，调整图像分割模型的参数。该实施方式实现了提高模型分割结果的精确度。

Description

模型训练方法、图像分割方法、装置、电子设备和介质
技术领域
本公开的实施例涉及计算机技术领域，具体涉及图像分割模型训练方法、图像分割方法、装置、电子设备和计算机可读介质。
背景技术
图像分割可以将图像分割为多个区域。作为示例，将图像中的人脸区域分割出来是一个常见的图像分割场景。实践中，往往通过图像分割模型实现图像分割。这些图像分割模型在一些场景下存在提高精确度的需求。例如，在人脸分割的场景中，得到的人脸区域往往不够精确。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了图像分割方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。
第一方面，本公开的一些实施例提供了一种图像分割模型训练方法，包括：从训练样本集合中选取训练样本，训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息；将所选取的训练样本的样本图像输入图像分割模型，得到实际分割结果和实际轮廓信息；基于预设的损失函数，确定实际分割结果和标签中的分割结果的差异，得到第一损失值；基于损失函数，确定实际轮廓信息和标签中的轮廓信息的差异，得到第二损失值；响应于确定图像分割模型未训练完成，基于第一损失值和第二损失值，调整图像分割模型的参数。
第二方面，本公开的一些实施例提供了一种图像分割方法，包括：获取待分割人脸图像；将待分割人脸图像输入预先训练的图像分割模型，得到分割出的人脸区域，其中，图像分割模型的训练样本集合中的训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息。
第三方面，本公开的一些实施例提供了一种图像分割模型训练装置，包括：选取单元，被配置成从训练样本集合中选取训练样本，训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息；分割单元，被配置成将所选取的训练样本的样本图像输入图像分割模型，得到实际分割结果和实际轮廓信息；分割差异确定单元，被配置成基于预设的损失函数，确定实际分割结果和标签中的分割结果的差异，得到第一损失值；轮廓差异确定单元，被配置成基于损失函数，确定实际轮廓信息和标签中的轮廓信息的差异，得到第二损失值；参数调整单元，被配置成响应于确定图像分割模型未训练完成，基于第一损失值和第二损失值，调整图像分割模型的参数。
第四方面，本公开的一些实施例提供了一种图像分割装置，包括：获取单元，被配置成获取待分割人脸图像；图像分割单元，被配置成将待分割人脸图像输入预先训练的图像分割模型，得到分割出的人脸区域，其中，图像分割模型的训练样本集合中的训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息。
第五方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第六方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的图像分割模型训练方法得到的图像分割模型，图像分割的精确度有所提高。具体来说，发明人发现，造成相关的分割模型分割结果不够精确的原因在于：模型对于图像中的各种对象的边缘处理表现不好。基于此，本公开的一些实施例的图像分割训练方法的训练样本中不仅包括分割结果，还包括样本图像的轮廓信息。在训练过程中，损失值不仅包括分割结果的差异，还包括轮廓信息的差异。也因为有了轮廓信息的参与，可以有效对图像中对象(例如人脸)的边缘进行监督和约束。从而使得模型对边缘的处理表现更好。进而提高了分割结果的精确度。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1是根据本公开的一些实施例的图像分割模型训练方法的一个应用场景的示意图；
图2是根据本公开的图像分割模型训练方法的一些实施例的流程图；
图3示出了生成根据本公开的一些实施例的图像分割模型训练方法中的训练样本集合的流程图；
图4是根据本公开的图像分割方法的一些实施例的流程图；
图5是根据本公开的图像分割模型训练装置的一些实施例的结构示意图；
图6是根据本公开的图像分割装置的一些实施例的结构示意图；
图7是适于用来实现本公开的一些实施例的电子设备的结构示意图；
图8是根据本公开的图像分割方法的一些实施例中的图像分割模型的示例性结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是根据本公开一些实施例的图像分割模型训练方法的一个应用场景的示意图。
在图1的应用场景中，首先，计算设备101可以首先从训练样本集合中选取一个训练样本102。当然，根据需要也可以选取一批(batch)的训练样本进行批量训练。为了便于说明，这里以一个训练样本102进行说明。训练样本102包括样本图像1021和样本图像1021的标签。标签包括样本图像1021的分割结果1022a和样本图像1021的轮廓信息1022b。
在此基础上，可以将训练样本102的样本图像1021输入图像分割模型103。这里，图像分割模型103可以是多种结构的模型。可以理解，图中示出的结构并不对模型的具体结构造成任何限定。在此基础上，可以得到实际分割结果1041和实际轮廓信息1042。进而可以基于预设的损失函数，确定实际分割结果1041与分割结果1022a的差异，得到第一损失值1051。类似的，也可以基于预设损失函数，确定实际轮廓信息1042和轮廓信息1022b的差异，得到第二损失值1052。然后，可以确定图像分割模型103是否训练完成。例如，可以确定是否达到预设的迭代次数。响应于确定图像分割模型103未训练完成，可以基于第一损失值1051和第二损失值1052，调整图像分割模型103的参数。例如，可以计算第一损失值1051和第二损失值1052之和，得到总损失值。并通过梯度下降、反向传播等方式将总损失值向前传播，从而更新图像分割模型103的参数。实践中，根据需要，可以重复执行上述训练方法的各个步骤，直至模型训练完成。
需要说明的是，上述计算设备101可以是硬件，也可以是软件。当计算设备为硬件时，可以实现成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时，可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的计算设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的计算设备。
继续参考图2，示出了根据本公开的图像分割模型训练方法的一些实施例的流程200。该图像分割模型训练方法，包括以下步骤：
步骤201，从训练样本集合中选取训练样本，训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息。
在一些实施例中，图像分割模型训练方法的执行主体可以从训练样本集合中选取一个或一批(batch)训练样本进行训练，分别对应逐一样本训练方法和批量样本训练方法。其中，每个训练样本包括样本图像和样本图像的标签。标签包括样本图像的分割结果和样本图像的轮廓信息。这里，分割结果可以是通过对样本图像进行分割而得到的图像区域。例如，在人脸分割的场景下，分割结果可以是样本图像中的人脸区域。轮廓信息可以是用于表示样本图像中的各种对象的轮廓的信息。
实践中，根据需要，可以通过各种方式得到样本图像的轮廓信息。作为示例，可以利用各种轮廓检测算子(例如Sobel算子、Prewitt算子、Canny算子)得到样本图像的轮廓信息。当然，也可以通过人工标注的方式得到轮廓信息和分割结果。
在一些实施例的可选的实现方式中，训练样本集合包括多个类别的训练样本，训练样本集合中的多个类别的训练样本的数量的比例符合预设的采样比。作为示例，多个类别的训练样本可以包括显示有目标动作的人脸图像。例如，一个类别的训练样本可以包括显示有捂嘴笑动作的人脸图像。一个类别的训练样本可以包括显示有遮眼睛动作的人脸图像。这两个类别的训练样本的数量的比例符合预设的采样比。
可选的，多个类别的训练样本包括以下至少一项：显示有目标配饰的人脸图像、显示有目标发型的人脸图像。作为示例，目标配饰可以是任意的配饰，包括但不限于墨镜、耳环、头巾等等。目标发型可以是任意发型，包括但不限于：长卷发、韩式刘海发型等等。
在这些可选的实现方式中，发明人还发现，造成相关的分割模型分割结果不够精确的原因还在于：天然的训练样本集合存在样本不均衡的现象。例如，一些类别的训练样本不存在或者存在的数量比较少，导致模型无法很好的学习这些类别的训练样本的特征。进而导致对于这些类别的实际图像，分割模型分割结果不够精确。基于此，本公开的一些实施例的图像分割训练方法中所采用的训练样本集合包括多个类别的训练样本。并且训练样本集合中的多个类别的训练样本的数量的比例符合预设的采样比。从而克服上述问题，进一步使得分割模型的分割结果更精确。
步骤202，将所选取的训练样本的样本图像输入图像分割模型，得到实际分割结果和实际轮廓信息。
在一些实施例中，上述执行主体可以将所选取的训练样本的样本图像输入图像分割模型，得到实际分割结果和实际轮廓信息。其中，图像分割模型可以是多种结构的模型。例如，FCN(Fully Convolution Network，全卷积网络)、DeepMask等等。当然，也可以是根据实际需要进行搭建的模型。此外，上述图像分割模型可以是未经过训练的模型，也可以是经过预训练的模型，对此，本申请不做限定。
步骤203，基于预设的损失函数，确定实际分割结果和标签中的分割结果的差异，得到第一损失值。
在一些实施例中，损失函数可以用于确定标签与实际结果之间的差异。预设的损失函数包括但不限于：均方误差损失函数(MSE)、合页损失函数(SVM)、交叉熵损失函数(CrossEntropy)等等。
在一些实施例的可选的实现方式中，预设的损失函数用于调整各个类别的训练样本在训练中所占的权重。在这些实现方式中，作为示例，预设的损失函数可以是Focalloss。Focal loss是在交叉熵损失函数基础上进行修改得到的，可以使得更关注于困难的、错分的样本。也有利于改善天然的训练样本集合中样本不均衡的问题。
Focal loss是在交叉熵损失函数基础上进行修改得到的。因此，在说明Focalloss的有效性之前，先对交叉熵损失函数进行介绍。这里，以二分类为例，原来的分类损失是各个训练样本的交叉熵损失之和，也就是说，各个训练样本的权重是一样的。交叉熵损失函数CE的公式(1)如下：
Figure BDA0002704821540000071
其中，p表示预测样本属于1的概率(范围为0到1)，y表示标签。y的取值为{+1,-1}。当真实标签是1，也就是y＝1时，假如某个样本x预测为1的概率p＝0.6，那么损失值就是-log(0.6)。为了便于说明，我们用pt代替p，pt与p之间的关系符合如下公式(2)：
Figure BDA0002704821540000081
那么，公式(1)可以改写成：
CE(p，y)＝CE(pt)＝-log(pt)
在此基础上，将以最基本的对于交叉熵的改进，说明Focal loss的有效性。Focalloss(FL)的公式如下：
FL(pt)＝-(1-pt)γlog(pt) (3)
其中，专注参数γ为取值大于等于0的常数。(1-pt)γ称为调制系数。
由上述公式可知，focal loss具有两个重要性质：
1、当一个样本被分错的时候，pt是很小的，那么调制因子(1-pt)接近1，损失不被影响。当pt趋近于1，因子(1-pt)趋近于0，那么，易分类样本的权重就被调低了。因此调制系数就趋于1，也就是说相比原来的损失值是没有什么大的改变的。当pt t趋于1的时候(此时分类正确而且是易分类样本)，调制系数趋于0，也就是对于总的损失值的贡献很小。
2、当γ＝0的时候，focal loss就是传统的交叉熵损失，当γ增加的时候，调制系数也会增加。专注参数γ平滑地调节了易分样本调低权值的比例。γ增大能增强调制因子的影响。调制因子减少了易分样本的损失贡献。当γ一定的时候，比如等于2，易分类样本(例如pt＝0.9)的损失值要比标准的交叉熵损失值小100多倍。当pt＝0.968时，要小1000多倍，但是对于难分类样本(例如pt<0.5)，损失最多小了4倍。这样的话，难分类样本的权重相对就提升了很多。
在此基础上，由于天然的训练样本集合存在样本不均衡的问题，一些类别的训练样本不存在或者存在的数量比较少，导致模型无法很好的学习这些类别的训练样本的特征。那么，这些类别的样本就会成为难分类样本。而根据上述分析，focal loss有助于提升难分类样本的权重，从而通过调整各个类别的训练样本在训练中所占的权重，解决样本不均衡的问题。
步骤204，基于预设的损失函数，确定实际轮廓信息和标签中的轮廓信息的差异，得到第二损失值。
在一些实施例中，上述执行主体可以基于预设的函数，确定实际轮廓信息和标签中的轮廓信息的差异，得到第二损失值。
在一些实施例中，步骤203和步骤204的执行顺序可以根据实际需要进行调整。例如，可以先执行步骤203再执行步骤204，或者可以先执行步骤204再执行步骤203，或者同时执行步骤203和步骤204。对此，本公开不进行限定。
步骤205，响应于确定图像分割模型未训练完成，基于第一损失值和第二损失值，调整图像分割模型的参数。
在一些实施例中，可以确定图像分割模型是否训练完成。具体的，作为示例，可以确定第一损失值和第二损失值之和是否小于或等于预设损失值阈值。具体的，在第一损失值和第二损失值之和小于或等于预设损失值阈值的情况下，可以认为训练完成，反之，则训练未完成。
作为又一示例，可以确定迭代次数是否大于或等于预设的迭代次数阈值。具体的，在迭代次数大于或等于预设的迭代次数阈值的情况下，可以认为训练完成，反之，则训练未完成。
在一些实施例中，响应于确定图像分割模型未训练完成，可以基于第一损失值和第二损失值，调整图像分割模型的参数。作为示例，可以对第一损失值和第二损失值求和，得到总损失值。在此基础上，利用反向传播、随机梯度下降等方法将总损失值从模型的最后一层向前传递，以调整每一层的参数。当然根据需要，也可以采用网络冻结(dropout)的方法，对其中的一些层的参数保持不变，不进行调整。对此，不公开不做任何限定。
在一些实施例的一些可选的实现方式中，可以根据需要，采用不同的训练策略。作为示例，基于第一损失值和第二损失值，调整图像分割模型的参数，可以包括以下步骤：
第一步，确定第一损失值和第二损失值的加权和，其中，第一损失值的权重为第一预设值，第二损失值的权重为第二预设值，第一预设值大于第二预设值。
第二步，基于加权和调整图像分割模型的参数。
在这些可选的实现方式中，由于第一损失值和第二损失值采用预设值，而不需要在过程中进行调整，可以加快训练速度，缩短训练时间。此外，由于第一预设值大于第二预设值，可以优先保证分割结果的准确性。而轮廓信息作为辅助性信息，可以将其对应的损失值的权重，也就是第二损失值的权重，设置的比较小，避免对分割结果的准确性造成影响。
在一些实施例的一些可选的实现方式中，可以根据需要，可以采用分阶段的训练策略。作为示例，如图8所示，图像分割模型包括特征提取子网络801、分割子网络802和轮廓信息生成子网络803。在此基础上，模型训练可以包括三个阶段。相应的，基于第一损失值和第二损失值，调整图像分割模型的参数，可以包括以下不同的形式：
第一阶段，响应于分割子网络未训练完成，基于第一损失值调整分割子网络的参数。
在第一阶段，可以基于第一损失值对分割子网络的参数调整，而对于图像分割模型中其他结构的参数则保持不变。从而针对性对分割子网络进行训练。
作为示例，可以通过反向传播和梯度下降结合的方法来对分割子网络的参数调整。具体的，可以逐层求出损失函数对各层神经元权重的偏导数，得到损失函数对权重的梯度计算公式。可以将其作为修改权重的依据。作为示例，可以将上述第一损失值带入梯度计算公式得到梯度值，将梯度值与一个比例系数(步长)相乘后取反，然后与原来的权重相加，从而得到新的权重。在达到一定的迭代次数后或者梯度小于预设的梯度阈值的情况下，完成对分割子网络的参数调整。在具体的训练过程中，步长可以进行动态调整。作为示例，可以随着迭代次数的增加进行动态调整。例如，在开始的第一数目次训练中，可以设置为初始值。随着迭代次数的增加，步长可以随之调整。作为示例，也可以随着损失值的减小进行动态调整。例如，在损失值大于第一调整阈值的情况下，可以设置为初始值。随着损失值的减小，进行动态调整。对此，本公开不进行限定。
第二阶段，响应于分割子网络训练完成，轮廓信息生成子网络未训练完成，基于第二损失值调整轮廓信息生成子网络的参数。
在第二阶段，可以基于第二损失值对轮廓信息生成子网络的参数进行调整，而对于图像分割模型中其他结构的参数则保持不变。从而针对性对轮廓信息生成子网络进行训练。
作为示例，可以通过与第一阶段类似的方法对轮廓信息生成子网络的参数进行调整。具体的，可以逐层求出损失函数对各层神经元权重的偏导数，构成损失函数对权重的梯度计算公式。可以将其作为修改权重的依据。作为示例，可以将上述第二损失值带入梯度计算公式得到梯度值，将梯度值与一个比例系数(步长)相乘后取反，然后与原来的权重相加，从而得到新的权重。在达到一定的迭代次数后或者梯度小于预设的梯度阈值的情况下，完成对轮廓信息生成子网络的参数调整。
在具体的训练过程中，步长可以进行动态调整。作为示例，可以随着迭代次数的增加进行动态调整。例如，在开始的第一数目次训练中，可以设置为初始值。随着迭代次数的增加，步长可以随之调整。作为示例，也可以随着损失值的减小进行动态调整。例如，在损失值大于第一调整阈值的情况下，可以设置为初始值。随着损失值的减小，进行动态调整。对此，本公开不进行限定。
第三阶段，响应于分割子网络和轮廓信息生成子网络训练完成，特征提取子网络未训练完成，基于第一损失值和第二损失值的加权和，调整特征提取子网络的参数。
在第三阶段，在分割子网络和轮廓信息生成子网络训练训练完成的基础上，可以保持这两部分网络的参数不变，而对特征提取子网络进行针对性的训练。作为示例，可以预先设置第一损失值和第二损失值的权重。作为又一示例，也可以随机设置第一损失值和第二损失值的权重。在此基础上，可以确定第一损失值和第二损失值的加权和，以及通过反向传播等方式调整特征提取子网络的参数。
作为示例，可以通过与第一阶段类似的方法对特征提取子网络的参数进行调整。具体的，可以逐层求出损失函数对各层神经元权重的偏导数，构成损失函数对权重的梯度计算公式。可以将其作为修改权重的依据。作为示例，可以将上述第一损失值和第二损失值带入梯度计算公式得到梯度值，将梯度值与一个比例系数(步长)相乘后取反，然后与原来的权重相加，从而得到新的权重。在达到一定的迭代次数后或者梯度小于预设的梯度阈值的情况下，完成对轮廓信息生成子网络的参数调整。
需要说明的是，对于如图8所示的图像分割模型，由于特征提取子网络在上述分割子网络和轮廓信息生成子网络之前，在反向传播的过程中，可以从模型的最后一层逐层计算梯度。但是，对于分割子网络和轮廓信息生成子网络，不调整参数。而在误差传至特征提取子网络时，再调整参数。
在这些可选的实现方式中，由于采用分阶段的训练策略，对图像分割模型中的不同结构进行针对性的训练，可以使得训练得到的图像分割模型的准确性更高，鲁棒性更好。
本公开的一些实施例提供的方法，得到的图像分割的精确度有所提高。具体来说，发明人发现，造成相关的分割模型分割结果不够精确的原因在于：模型对于图像中的各种对象的边缘处理表现不好。基于此，本公开的一些实施例的图像分割训练方法的训练样本中不仅包括分割结果，还包括样本图像的轮廓信息。在训练过程中，损失值不仅包括分割结果的差异，还包括轮廓信息的差异。也因为有了轮廓信息的参与，可以有效对图像中对象(例如人脸)的边缘进行监督和约束。从而使得模型对边缘的处理表现更好。进而提高了分割结果的精确度。
进一步参考图3，示出了生成根据本公开的一些实施例的图像分割模型训练方法中的训练样本集合的流程300。生成训练样本集合的流程300，包括以下步骤：
步骤301，基于采样比，获取图像集合，图像集合中包括多个类别的图像。
在一些实施例中，生成训练样本集合的执行主体可以基于采样比，获取图像集合，图像集合中包括多个类别的图像，多个类别的图像的数量的比例符合预设的采样比。其中，多个类别可以是根据一定的划分方式得到的。作为示例，可以根据图像中显示的动作的不同对图像进行划分，从而得到不同类别的图像。例如，一个类别的图像是显示有捂眼动作的图像，另一个类别的图像是显示有捂嘴动作的图像。作为又一示例，还可以根据图像中显示的配饰的不同对图像进行划分，从而得到不同类别的图像。例如，一个类别的图像是显示有墨镜的图像，另一个类别的图像是显示有头巾的图像。
需要说明的是，生成训练样本集合的执行主体与图像分割模型训练方法的执行主体可以相同，也可以不同。
步骤302，对图像集合中的每张图像进行脸部检测以生成脸部区域，得到脸部区域集合。
在一些实施例中，上述执行主体可以对图像集合中的每张图像进行脸部检测以生成脸部区域，得到脸部区域集合。具体的，作为示例，可以通过目标检测算法检测图像中的脸部区域。上述目标检测算法可以是以下之一：SSD(Single Shot MultiBox Detector，单次检测器)算法，R-CNN(Region-Convolutional Neural Networks，区域卷积神经网络)算法，Fast R-CNN(Fast Region-Convolutional Neural Networks，快速区域卷积神经网络)算法等等。
步骤303，提取脸部区域集合中每个脸部区域的预定数目个脸部关键点作为第一脸部关键点组，得到第一脸部关键点组集。
在一些实施例中，上述执行主体可以提取脸部区域集合中的每个脸部区域的预定数目个脸部关键点作为第一脸部关键点组，得到第一脸部关键点组集。具体的，可以通过各种脸部关键点提取算法(例如ASM算法)提取每个脸部区域的预定数目个脸部关键点，并作为第一脸部关键点组。作为又一示例，也可以将脸部区域输入至预先训练的多层循环神经网络(Recurrent Neural Network，RNN)，得到上述第一脸部关键点组。一般来说，脸部关键点可以用于定位脸部的各个关键部位(例如，眉毛、眼睛、鼻子、嘴巴等)。根据实际需要，可以设置脸部关键点所对应的关键部位以及关键点的数量。
步骤304，基于预先获取的标准脸部图像和第一脸部关键点组集，对脸部区域集合中的每个脸部区域进行校正以生成校正图像，得到校正图像集合。
在一些实施例中，对于某个脸部区域，上述执行主体可以基于预先获取的标准脸部图像和该脸部区域的第一脸部关键点组，对该脸部区域进行校正以生成校正图像。类似的，可以对每个脸部区域进行校正，进而得到校正图像集合。作为示例，对于某个脸部区域，可以首先利用预先设定的图谱和该脸部区域的第一脸部关键点组对比确定该脸部区域的姿态。其中，上述图谱为脸部关键点与脸部区域的姿态的对应关系。上述图谱可以通过人工分析标注得到。然后，确定该脸部区域的姿态和标准脸部图像中脸部的姿态之间的差异。最后，根据差异，对该脸部区域进行校正以生成校正图像。
在一些实施例的一些可选的实现方式中，提取标准脸部图像的预定数目个脸部关键点作为第二脸部关键点组；确定脸部区域的第一脸部关键点组与第二脸部关键点组之间的仿射变换矩阵；利用仿射变换矩阵，对脸部区域进行校正以生成校正图像。
在这些实现方式中，作为示例，可以调用相关函数(例如，warpAffine函数)来确定第一脸部关键点组与第二脸部关键点组之间的仿射变换矩阵。在此基础上，可以利用仿射变换矩阵，对上述脸部区域校正，得到校正图像。
步骤305，基于校正图像集合和校正图像集合中每个校正图像的标签，生成训练样本集合。
在一些实施例中，可以基于每个校正图像和该校正图像的标签，生成训练样本。其中，作为示例，校正图像的标签可以通过人工标注的方式得到。其中，校正图像的标签可以包括校正图像的分割结果和校正图像的轮廓信息。
在一些实施例中，首先，由于标签中包括分割结果和轮廓信息，可以在训练过程中有效对图像中对象(例如人脸)的边缘进行监督和约束。从而使得模型对边缘的处理表现更好。进而提高了分割结果的精确度。其次，通过控制采样比，解决天然的训练样本集合存在样本不均衡的问题。从而使得分割模型的分割结果更精确。此外，通过对图像进行校正，便于模型在训练过程中，对图像所显示的脸部进行定位。从而使得训练得到的模型更加专注于分割，进而侧面提高了模型的分割精确度。
进一步参考图4，示出了根据本公开的一些实施例的图像分割方法的流程400。图像分割方法的流程400，包括以下步骤：
步骤401，获取待分割人脸图像。
在一些实施例中，图像分割方法的流程的执行主体可以首先获取待分割人脸图像。实践中，待分割人脸图像可以是任意人脸图像。作为示例，在用户使用手机应用中的各种特效的过程中，可以实时对拍摄的图像或视频添加特效。在这个应用场景下，待分割人脸图像可以是当前拍摄的图像或视频帧。
步骤402，将待分割人脸图像输入预先训练的图像分割模型，得到分割出的人脸区域。
在一些实施例中，上述执行主体可以将待分割人脸图像输入预先训练的图像分割模型，得到分割出的人脸区域。其中，图像分割模型的训练样本集合中的训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息。在此基础上，可以是利用上述训练样本集合和机器学习方法训练得到图像分割模型。作为示例，可以通过本公开的一些实施例的图像分割模型训练方法生成。当然，也可以通过其他的机器学习的训练方法生成。
在一些实施例的一些可选的实现方式中，训练样本集合中的多个类别的训练样本的数量的比例符合预设的采样比。从而可以克服天然的训练样本集合中样本不均衡的问题，进一步使得分割模型的分割结果更精确。
在一些实施例的一些可选的实现方式中，图像分割模型在训练过程中的损失值包括第一损失值和第二损失值，其中，第一损失值用于表征实际分割结果和标签中的分割结果的差异，第二损失值用于表征实际轮廓信息和标签中的轮廓信息的差异。
在这些可选的实现方式中，可以基于第一损失值和第二损失值，利用反向传播、梯度下降等训练方法对图像分割模型进行训练。其中，图像分割模型的网络结构，以及根据基于第一损失值和第二损失值对图像分割模型进行训练的具体实现可以参考图2和图3对应的那些实施例中的描述，在此不再赘述。
在一些实施例的一些可选的实现方式中，第一损失值和第二损失值是基于预设的损失函数得到的，预设的损失函数用于调整各个类别的训练样本在训练中所占的权重。从而进一步改善天然的训练样本集合中样本不均衡的问题。
在一些实施例中，训练样本中不仅包括分割结果，还包括样本图像的轮廓信息。在训练过程中，因为有了轮廓信息的参与，可以有效对图像中对象(例如人脸)的边缘进行监督和约束。从而使得模型对边缘的处理表现更好，进而提高了分割结果的精确度。因此，在对待分割图像进行分割的场景下，使得分割出的人脸区域更加精确。
可选的，根据实际需要，可以在分割出的人脸区域上叠加预设的特效图像，从而得到具有特殊效果的图像。在这些可选的实现方式中，由于人脸区域比较精确，使得最后得到的具有特殊效果的图像也比较精确。例如，当脸部被一些配饰遮挡时，可以避免在配饰上添加特效。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种图像分割模型训练装置的一些实施例，这些装置实施例与图2所示的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，一些实施例的图像分割模型训练装置500包括：选取单元501、分割单元502、分割差异确定单元503、轮廓差异确定单元504和参数调整单元505。其中，选取单元501被配置成从训练样本集合中选取训练样本，训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息。分割单元502被配置成将所选取的训练样本的样本图像输入图像分割模型，得到实际分割结果和实际轮廓信息。分割差异确定单元503被配置成基于预设的损失函数，确定实际分割结果和标签中的分割结果的差异，得到第一损失值。轮廓差异确定单元504被配置成基于损失函数，确定实际轮廓信息和标签中的轮廓信息的差异，得到第二损失值。参数调整单元505被配置成响应于确定图像分割模型未训练完成，基于第一损失值和第二损失值，调整图像分割模型的参数。
在一些实施例的可选实现方式中，训练样本集合包括多个类别的训练样本，训练样本集合中的多个类别的训练样本的数量的比例符合预设的采样比。
在一些实施例的可选实现方式中，训练样本集合通过以下步骤生成：基于采样比，获取图像集合，图像集合中包括多个类别的图像；对图像集合中的每张图像进行脸部检测以生成脸部区域，得到脸部区域集合；提取脸部区域集合中每个脸部区域的预定数目个脸部关键点作为第一脸部关键点组，得到第一脸部关键点组集；基于预先获取的标准脸部图像和第一脸部关键点组集，对脸部区域集合中的每个脸部区域进行校正以生成校正图像，得到校正图像集合；基于校正图像集合和校正图像集合中每个校正图像的标签，生成训练样本集合。
在一些实施例的可选实现方式中，基于预先获取的标准脸部图像和第一脸部关键点组集，对脸部区域集合中的每个脸部区域进行校正以生成校正图像，包括：提取标准脸部图像的预定数目个脸部关键点作为第二脸部关键点组；确定脸部区域的第一脸部关键点组与第二脸部关键点组之间的仿射变换矩阵；利用仿射变换矩阵，对脸部区域进行校正以生成校正图像。
在一些实施例的可选实现方式中，多个类别的训练样本包括以下至少一项：显示有目标配饰的人脸图像、显示有目标发型的人脸图像。
在一些实施例的可选实现方式中，预设的损失函数用于调整各个类别的训练样本在训练中所占的权重。
在一些实施例的可选实现方式中，参数调整单元505进一步被配置成：确定第一损失值和第二损失值的加权和，其中，第一损失值的权重为第一预设值，第二损失值的权重为第二预设值，第一预设值大于第二预设值；基于加权和调整图像分割模型的参数。
在一些实施例的可选实现方式中，图像分割模型包括特征提取子网络、分割子网络和轮廓信息生成子网络；以及参数调整单元505可以进一步被配置成：响应于分割子网络未训练完成，基于第一损失值调整分割子网络的参数。
在一些实施例的可选实现方式中，参数调整单元505可以进一步被配置成：响应于分割子网络训练完成，轮廓信息生成子网络未训练完成，基于第二损失值调整轮廓信息生成子网络的参数。
在一些实施例的可选实现方式中，参数调整单元505可以进一步被配置成：响应于分割子网络和轮廓信息生成子网络训练完成，特征提取子网络未训练完成，基于第一损失值和第二损失值的加权和，调整特征提取子网络的参数。
在一些实施例中，得到的图像分割的精确度有所提高。具体来说，发明人发现，造成相关的分割模型分割结果不够精确的原因在于：模型对于图像中的各种对象的边缘处理表现不好。基于此，本公开的一些实施例的图像分割训练方法的训练样本中不仅包括分割结果，还包括样本图像的轮廓信息。在训练过程中，损失值不仅包括分割结果的差异，还包括轮廓信息的差异。也因为有了轮廓信息的参与，可以有效对图像中对象(例如人脸)的边缘进行监督和约束。从而使得模型对边缘的处理表现更好。进而提高了分割结果的精确度。
进一步参考图6，作为对上述各图所示方法的实现，本公开提供了一种图像分割模型训练装置的一些实施例，这些装置实施例与图4所示的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，一种图像分割装置600包括：获取单元601和图像分割单元602。其中，获取单元601被配置成获取待分割人脸图像。图像分割单元602被配置成将待分割人脸图像输入预先训练的图像分割模型，得到分割出的人脸区域，其中，图像分割模型的训练样本集合中的训练样本包括样本图像和所述样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息。
在一些实施例的可选实现方式中，训练样本集合中的多个类别的训练样本的数量的比例符合预设的采样比。
在一些实施例的可选实现方式中，图像分割模型在训练过程中的损失值包括第一损失值和第二损失值，其中，第一损失值用于表征实际分割结果和标签中的分割结果的差异，第二损失值用于表征实际轮廓信息和标签中的轮廓信息的差异。
在一些实施例的可选实现方式中，第一损失值和第二损失值是基于预设的损失函数得到的，预设的损失函数用于调整各个类别的训练样本在训练中所占的权重。
在一些实施例中，图像分割装置600实现了分割出的人脸区域更加精确。
下面参考图7，其示出了适于用来实现本公开的一些实施例的电子设备(例如图1中的电子设备)700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是，本公开的一些实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：从训练样本集合中选取训练样本，训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息；将所选取的训练样本的样本图像输入图像分割模型，得到实际分割结果和实际轮廓信息；基于预设的损失函数，确定实际分割结果和标签中的分割结果的差异，得到第一损失值；基于损失函数，确定实际轮廓信息和标签中的轮廓信息的差异，得到第二损失值；响应于确定图像分割模型未训练完成，基于第一损失值和第二损失值，调整图像分割模型的参数。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括选取单元、分割单元、分割差异确定单元、轮廓差异确定单元和参数调整单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，选取单元还可以被描述为“从训练样本集合中选取训练样本的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
根据本公开的一个或多个实施例，提供了一种图像分割模型训练方法，包括：从训练样本集合中选取训练样本，训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息；将所选取的训练样本的样本图像输入图像分割模型，得到实际分割结果和实际轮廓信息；基于预设的损失函数，确定实际分割结果和标签中的分割结果的差异，得到第一损失值；基于损失函数，确定实际轮廓信息和标签中的轮廓信息的差异，得到第二损失值；响应于确定图像分割模型未训练完成，基于第一损失值和第二损失值，调整图像分割模型的参数。
根据本公开的一个或多个实施例，训练样本集合包括多个类别的训练样本，训练样本集合中的多个类别的训练样本的数量的比例符合预设的采样比。
根据本公开的一个或多个实施例，训练样本集合通过以下步骤生成：基于采样比，获取图像集合，图像集合中包括多个类别的图像；对图像集合中的每张图像进行脸部检测以生成脸部区域，得到脸部区域集合；提取脸部区域集合中每个脸部区域的预定数目个脸部关键点作为第一脸部关键点组，得到第一脸部关键点组集；基于预先获取的标准脸部图像和第一脸部关键点组集，对脸部区域集合中的每个脸部区域进行校正以生成校正图像，得到校正图像集合；基于校正图像集合和校正图像集合中每个校正图像的标签，生成训练样本集合。
根据本公开的一个或多个实施例，基于预先获取的标准脸部图像和第一脸部关键点组集，对脸部区域集合中的每个脸部区域进行校正以生成校正图像，包括：提取标准脸部图像的预定数目个脸部关键点作为第二脸部关键点组；确定脸部区域的第一脸部关键点组与第二脸部关键点组之间的仿射变换矩阵；利用仿射变换矩阵，对脸部区域进行校正以生成校正图像。
根据本公开的一个或多个实施例，多个类别的训练样本包括以下至少一项：显示有目标配饰的人脸图像、显示有目标发型的人脸图像。
根据本公开的一个或多个实施例，预设的损失函数用于调整各个类别的训练样本在训练中所占的权重。
根据本公开的一个或多个实施例，提供了一种图像分割方法，包括：获取待分割人脸图像；将待分割人脸图像输入预先训练的图像分割模型，得到分割出的人脸区域，其中，图像分割模型的训练样本集合中的训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息。
根据本公开的一个或多个实施例，训练样本集合中的多个类别的训练样本的数量的比例符合预设的采样比。
根据本公开的一个或多个实施例，图像分割模型在训练过程中的损失值包括第一损失值和第二损失值，其中，第一损失值用于表征实际分割结果和标签中的分割结果的差异，第二损失值用于表征实际轮廓信息和标签中的轮廓信息的差异。
根据本公开的一个或多个实施例，第一损失值和第二损失值是基于预设的损失函数得到的，预设的损失函数用于调整各个类别的训练样本在训练中所占的权重。
根据本公开的一个或多个实施例，提供了一种图像分割模型训练装置，包括：选取单元，被配置成从训练样本集合中选取训练样本，训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息；分割单元，被配置成将所选取的训练样本的样本图像输入图像分割模型，得到实际分割结果和实际轮廓信息；分割差异确定单元，被配置成基于预设的损失函数，确定实际分割结果和标签中的分割结果的差异，得到第一损失值；轮廓差异确定单元，被配置成基于损失函数，确定实际轮廓信息和标签中的轮廓信息的差异，得到第二损失值；参数调整单元，被配置成响应于确定图像分割模型未训练完成，基于第一损失值和第二损失值，调整图像分割模型的参数。
根据本公开的一个或多个实施例，训练样本集合包括多个类别的训练样本，训练样本集合中的多个类别的训练样本的数量的比例符合预设的采样比。
根据本公开的一个或多个实施例，训练样本集合通过以下步骤生成：基于采样比，获取图像集合，图像集合中包括多个类别的图像；对图像集合中的每张图像进行脸部检测以生成脸部区域，得到脸部区域集合；提取脸部区域集合中每个脸部区域的预定数目个脸部关键点作为第一脸部关键点组，得到第一脸部关键点组集；基于预先获取的标准脸部图像和第一脸部关键点组集，对脸部区域集合中的每个脸部区域进行校正以生成校正图像，得到校正图像集合；基于校正图像集合和校正图像集合中每个校正图像的标签，生成训练样本集合。
根据本公开的一个或多个实施例，基于预先获取的标准脸部图像和第一脸部关键点组集，对脸部区域集合中的每个脸部区域进行校正以生成校正图像，包括：提取标准脸部图像的预定数目个脸部关键点作为第二脸部关键点组；确定脸部区域的第一脸部关键点组与第二脸部关键点组之间的仿射变换矩阵；利用仿射变换矩阵，对脸部区域进行校正以生成校正图像。
根据本公开的一个或多个实施例，多个类别的训练样本包括以下至少一项：显示有目标配饰的人脸图像、显示有目标发型的人脸图像。
根据本公开的一个或多个实施例，预设的损失函数用于调整各个类别的训练样本在训练中所占的权重。
根据本公开的一个或多个实施例，基于第一损失值和第二损失值，调整图像分割模型的参数，包括：确定第一损失值和第二损失值的加权和，其中，第一损失值的权重为第一预设值，第二损失值的权重为第二预设值，第一预设值大于第二预设值；基于加权和调整图像分割模型的参数。
根据本公开的一个或多个实施例，图像分割模型包括特征提取子网络、分割子网络和轮廓信息生成子网络；以及基于第一损失值和第二损失值，调整图像分割模型的参数，包括：响应于分割子网络未训练完成，基于第一损失值调整分割子网络的参数。
根据本公开的一个或多个实施例，基于第一损失值和第二损失值，调整图像分割模型的参数，包括：响应于分割子网络训练完成，轮廓信息生成子网络未训练完成，基于第二损失值调整轮廓信息生成子网络的参数。
根据本公开的一个或多个实施例，基于第一损失值和第二损失值，调整图像分割模型的参数，包括：响应于分割子网络和轮廓信息生成子网络训练完成，特征提取子网络未训练完成，基于第一损失值和第二损失值的加权和，调整特征提取子网络的参数。
根据本公开的一个或多个实施例，提供了一种图像分割装置，包括：获取单元，被配置成获取待分割人脸图像；图像分割单元，被配置成将待分割人脸图像输入预先训练的图像分割模型，得到分割出的人脸区域，其中，图像分割模型的训练样本集合中的训练样本包括样本图像和样本图像的标签，标签包括样本图像的分割结果和样本图像的轮廓信息。
在一些实施例的可选实现方式中，参数调整单元进一步被配置成：确定第一损失值和第二损失值的加权和，其中，第一损失值的权重为第一预设值，第二损失值的权重为第二预设值，第一预设值大于第二预设值；基于加权和调整图像分割模型的参数。
在一些实施例的可选实现方式中，图像分割模型包括特征提取子网络、分割子网络和轮廓信息生成子网络；以及参数调整单元进一步被配置成：响应于分割子网络未训练完成，基于第一损失值调整分割子网络的参数。
在一些实施例的可选实现方式中，参数调整单元进一步被配置成：响应于分割子网络训练完成，轮廓信息生成子网络未训练完成，基于第二损失值调整轮廓信息生成子网络的参数。
在一些实施例的可选实现方式中，参数调整单元进一步被配置成：响应于分割子网络和轮廓信息生成子网络训练完成，特征提取子网络未训练完成，基于第一损失值和第二损失值的加权和，调整特征提取子网络的参数。
根据本公开的一个或多个实施例，提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开任一实施例提供的方法。
根据本公开的一个或多个实施例，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现本公开任一实施例提供的方法。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种图像分割模型训练方法，包括：
从训练样本集合中选取训练样本，所述训练样本包括样本图像和所述样本图像的标签，所述标签包括所述样本图像的分割结果和所述样本图像的轮廓信息；
将所选取的训练样本的样本图像输入图像分割模型，得到实际分割结果和实际轮廓信息；
基于预设的损失函数，确定所述实际分割结果和所述标签中的分割结果的差异，得到第一损失值；
基于所述预设的损失函数，确定所述实际轮廓信息和所述标签中的轮廓信息的差异，得到第二损失值；
响应于确定所述图像分割模型未训练完成，基于所述第一损失值和第二损失值，调整所述图像分割模型的参数。
2.根据权利要求1所述的方法，其中，所述训练样本集合包括多个类别的训练样本，所述训练样本集合中的多个类别的训练样本的数量的比例符合预设的采样比。
3.根据权利要求2所述的方法，其中，所述训练样本集合通过以下步骤生成：
基于所述采样比，获取图像集合，所述图像集合中包括多个类别的图像；
对所述图像集合中的每张图像进行脸部检测以生成脸部区域，得到脸部区域集合；
提取所述脸部区域集合中每个脸部区域的预定数目个脸部关键点作为第一脸部关键点组，得到第一脸部关键点组集；
基于预先获取的标准脸部图像和所述第一脸部关键点组集，对所述脸部区域集合中的每个脸部区域进行校正以生成校正图像，得到校正图像集合；
基于所述校正图像集合和所述校正图像集合中每个校正图像的标签，生成所述训练样本集合。
4.根据权利要求3所述的方法，其中，所述基于预先获取的标准脸部图像和所述第一脸部关键点组集，对所述脸部区域集合中的每个脸部区域进行校正以生成校正图像，包括：
提取所述标准脸部图像的所述预定数目个脸部关键点作为第二脸部关键点组；
确定所述脸部区域的第一脸部关键点组与所述第二脸部关键点组之间的仿射变换矩阵；
利用所述仿射变换矩阵，对所述脸部区域进行校正以生成所述校正图像。
5.根据权利要求2所述的方法，其中，所述多个类别的训练样本包括以下至少一项：显示有目标配饰的人脸图像、显示有目标发型的人脸图像。
6.根据权利要求1-5中任一所述的方法，其中，所述预设的损失函数用于调整各个类别的训练样本在训练中所占的权重。
7.根据权利要求1-5中任一所述的方法，其中，所述基于所述第一损失值和第二损失值，调整所述图像分割模型的参数，包括：
确定所述第一损失值和第二损失值的加权和，其中，所述第一损失值的权重为第一预设值，所述第二损失值的权重为第二预设值，所述第一预设值大于所述第二预设值；
基于所述加权和调整所述图像分割模型的参数。
8.根据权利要求1-5中任一所述的方法，其中，所述图像分割模型包括特征提取子网络、分割子网络和轮廓信息生成子网络；以及
所述基于所述第一损失值和第二损失值，调整所述图像分割模型的参数，包括：
响应于所述分割子网络未训练完成，基于所述第一损失值调整所述分割子网络的参数。
9.根据权利要求8所述的方法，其中，所述基于所述第一损失值和第二损失值，调整所述图像分割模型的参数，包括：
响应于所述分割子网络训练完成，所述轮廓信息生成子网络未训练完成，基于所述第二损失值调整所述轮廓信息生成子网络的参数。
10.根据权利要求9所述的方法，其中，所述基于所述第一损失值和第二损失值，调整所述图像分割模型的参数，包括：
响应于所述分割子网络和所述轮廓信息生成子网络训练完成，所述特征提取子网络未训练完成，基于所述第一损失值和所述第二损失值的加权和，调整所述特征提取子网络的参数。
11.一种图像分割方法，包括：
获取待分割人脸图像；
将所述待分割人脸图像输入预先训练的图像分割模型，得到分割出的人脸区域，其中，所述图像分割模型的训练样本集合中的训练样本包括样本图像和所述样本图像的标签，所述标签包括所述样本图像的分割结果和所述样本图像的轮廓信息。
12.根据权利要求11所述的方法，其中，所述训练样本集合中的多个类别的训练样本的数量的比例符合预设的采样比。
13.根据权利要求11所述的方法，其中，所述图像分割模型在训练过程中的损失值包括第一损失值和第二损失值，其中，所述第一损失值用于表征实际分割结果和所述标签中的分割结果的差异，所述第二损失值用于表征实际轮廓信息和所述标签中的轮廓信息的差异。
14.根据权利要求13所述的方法，其中，所述第一损失值和所述第二损失值是基于预设的损失函数得到的，所述预设的损失函数用于调整各个类别的训练样本在训练中所占的权重。
15.一种图像分割模型训练装置，包括：
选取单元，被配置成从训练样本集合中选取训练样本，所述训练样本包括样本图像和所述样本图像的标签，所述标签包括所述样本图像的分割结果和所述样本图像的轮廓信息；
分割单元，被配置成将所选取的训练样本的样本图像输入图像分割模型，得到实际分割结果和实际轮廓信息；
分割差异确定单元，被配置成基于预设的损失函数，确定所述实际分割结果和所述标签中的分割结果的差异，得到第一损失值；
轮廓差异确定单元，被配置成基于所述损失函数，确定所述实际轮廓信息和所述标签中的轮廓信息的差异，得到第二损失值；
参数调整单元，被配置成响应于确定所述图像分割模型未训练完成，基于所述第一损失值和第二损失值，调整所述图像分割模型的参数。
16.一种图像分割装置，包括：
获取单元，被配置成获取待分割人脸图像；
图像分割单元，被配置成将所述待分割人脸图像输入预先训练的图像分割模型，得到分割出的人脸区域，其中，所述图像分割模型的训练样本集合中的训练样本包括样本图像和所述样本图像的标签，所述标签包括所述样本图像的分割结果和所述样本图像的轮廓信息。
17.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一或11-14中任一所述的方法。
18.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-10中任一或11-14中任一所述的方法。
CN202011034676.4A 2020-09-27 2020-09-27 模型训练方法、图像分割方法、装置、电子设备和介质 Pending CN112132847A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011034676.4A CN112132847A (zh) 2020-09-27 2020-09-27 模型训练方法、图像分割方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011034676.4A CN112132847A (zh) 2020-09-27 2020-09-27 模型训练方法、图像分割方法、装置、电子设备和介质

Publications (1)

Publication Number Publication Date
CN112132847A true CN112132847A (zh) 2020-12-25

Family

ID=73840263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011034676.4A Pending CN112132847A (zh) 2020-09-27 2020-09-27 模型训练方法、图像分割方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN112132847A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927319A (zh) * 2021-02-25 2021-06-08 北京百度网讯科技有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN113052774A (zh) * 2021-03-30 2021-06-29 上海商汤智能科技有限公司 图像优化方法及相关模型的训练方法和相关装置、设备
CN114093011A (zh) * 2022-01-12 2022-02-25 北京新氧科技有限公司 头发分类方法、装置、设备及存储介质
CN114240954A (zh) * 2021-12-16 2022-03-25 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN114299288A (zh) * 2021-12-23 2022-04-08 广州方硅信息技术有限公司 图像分割方法、装置、设备和存储介质
CN114724011A (zh) * 2022-05-25 2022-07-08 北京闪马智建科技有限公司 一种行为的确定方法、装置、存储介质及电子装置
CN115082574A (zh) * 2021-03-16 2022-09-20 上海软逸智能科技有限公司 网络模型训练方法和脏器超声切面编码生成方法、装置
CN115096201A (zh) * 2022-08-24 2022-09-23 中科航迈数控软件(深圳)有限公司 一种非接触式形变检测方法及相关设备
CN115147669A (zh) * 2022-06-24 2022-10-04 北京百度网讯科技有限公司 基于视觉转换器模型的图像处理方法、训练方法和设备
CN116128072A (zh) * 2023-01-20 2023-05-16 支付宝(杭州)信息技术有限公司 一种风险控制模型的训练方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563280A (zh) * 2017-07-24 2018-01-09 南京道熵信息技术有限公司 基于多模型的人脸识别方法和装置
CN110490239A (zh) * 2019-08-06 2019-11-22 腾讯医疗健康(深圳)有限公司 图像质控网络的训练方法、质量分类方法、装置及设备
CN110517278A (zh) * 2019-08-07 2019-11-29 北京旷视科技有限公司 图像分割和图像分割网络的训练方法、装置和计算机设备
CN110599492A (zh) * 2019-09-19 2019-12-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、电子设备及存储介质
CN110660066A (zh) * 2019-09-29 2020-01-07 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
CN111652887A (zh) * 2020-05-13 2020-09-11 腾讯科技（深圳）有限公司 图像分割模型训练方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
CN107563280A (zh) * 2017-07-24 2018-01-09 南京道熵信息技术有限公司 基于多模型的人脸识别方法和装置
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
CN110490239A (zh) * 2019-08-06 2019-11-22 腾讯医疗健康(深圳)有限公司 图像质控网络的训练方法、质量分类方法、装置及设备
CN110517278A (zh) * 2019-08-07 2019-11-29 北京旷视科技有限公司 图像分割和图像分割网络的训练方法、装置和计算机设备
CN110599492A (zh) * 2019-09-19 2019-12-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、电子设备及存储介质
CN110660066A (zh) * 2019-09-29 2020-01-07 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
CN111652887A (zh) * 2020-05-13 2020-09-11 腾讯科技（深圳）有限公司 图像分割模型训练方法、装置、计算机设备及存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927319A (zh) * 2021-02-25 2021-06-08 北京百度网讯科技有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN112927319B (zh) * 2021-02-25 2023-10-03 北京百度网讯科技有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN115082574B (zh) * 2021-03-16 2024-05-14 上海软逸智能科技有限公司 网络模型训练方法和脏器超声切面编码生成方法、装置
CN115082574A (zh) * 2021-03-16 2022-09-20 上海软逸智能科技有限公司 网络模型训练方法和脏器超声切面编码生成方法、装置
CN113052774A (zh) * 2021-03-30 2021-06-29 上海商汤智能科技有限公司 图像优化方法及相关模型的训练方法和相关装置、设备
CN114240954B (zh) * 2021-12-16 2022-07-08 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN114240954A (zh) * 2021-12-16 2022-03-25 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN114299288A (zh) * 2021-12-23 2022-04-08 广州方硅信息技术有限公司 图像分割方法、装置、设备和存储介质
CN114093011B (zh) * 2022-01-12 2022-05-06 北京新氧科技有限公司 头发分类方法、装置、设备及存储介质
CN114093011A (zh) * 2022-01-12 2022-02-25 北京新氧科技有限公司 头发分类方法、装置、设备及存储介质
CN114724011A (zh) * 2022-05-25 2022-07-08 北京闪马智建科技有限公司 一种行为的确定方法、装置、存储介质及电子装置
CN115147669A (zh) * 2022-06-24 2022-10-04 北京百度网讯科技有限公司 基于视觉转换器模型的图像处理方法、训练方法和设备
CN115096201A (zh) * 2022-08-24 2022-09-23 中科航迈数控软件(深圳)有限公司 一种非接触式形变检测方法及相关设备
CN116128072A (zh) * 2023-01-20 2023-05-16 支付宝(杭州)信息技术有限公司 一种风险控制模型的训练方法、装置、设备及存储介质
CN116128072B (zh) * 2023-01-20 2023-08-25 支付宝(杭州)信息技术有限公司 一种风险控制模型的训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112132847A (zh) 模型训练方法、图像分割方法、装置、电子设备和介质
CN109816589B (zh) 用于生成漫画风格转换模型的方法和装置
CN109214343B (zh) 用于生成人脸关键点检测模型的方法和装置
CN111368685B (zh) 关键点的识别方法、装置、可读介质和电子设备
CN108520220B (zh) 模型生成方法和装置
CN109800732B (zh) 用于生成漫画头像生成模型的方法和装置
CN108710885B (zh) 目标对象的检测方法和装置
CN107529650B (zh) 闭环检测方法、装置及计算机设备
WO2020006961A1 (zh) 用于提取图像的方法和装置
CN111476871B (zh) 用于生成视频的方法和装置
JP2022534337A (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
WO2019242222A1 (zh) 用于生成信息的方法和装置
CN111369427B (zh) 图像处理方法、装置、可读介质和电子设备
CN108197618B (zh) 用于生成人脸检测模型的方法和装置
CN112889108A (zh) 使用视听数据进行说话分类
US11030750B2 (en) Multi-level convolutional LSTM model for the segmentation of MR images
CN113379627A (zh) 图像增强模型的训练方法和对图像进行增强的方法
CN112348828A (zh) 基于神经网络的实例分割方法和装置以及存储介质
CN110570383B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN113627536B (zh) 模型训练、视频分类方法，装置，设备以及存储介质
CN113379877B (zh) 人脸视频生成方法、装置、电子设备及存储介质
CN114187624A (zh) 图像生成方法、装置、电子设备及存储介质
CN114898177B (zh) 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN113177892A (zh) 生成图像修复模型的方法、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201225