CN112801107A - 一种图像分割方法和电子设备 - Google Patents

一种图像分割方法和电子设备 Download PDF

Info

Publication number
CN112801107A
CN112801107A CN202110134822.9A CN202110134822A CN112801107A CN 112801107 A CN112801107 A CN 112801107A CN 202110134822 A CN202110134822 A CN 202110134822A CN 112801107 A CN112801107 A CN 112801107A
Authority
CN
China
Prior art keywords
image
model
encoder
boundary
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110134822.9A
Other languages
English (en)
Inventor
刘林虎
田疆
师忠超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202110134822.9A priority Critical patent/CN112801107A/zh
Publication of CN112801107A publication Critical patent/CN112801107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features

Abstract

本申请公开的图像分割方法和电子设备，通过使用半监督学习的方法构建图像分割模型来进行图像分割，并且在构建图像分割模型时，通过对未标注样本的图像特征进行扰动，提出了在模型的隐藏层增加扰动进行未标记样本之间的一致性学习的思路。发明人经研究发现，模型的隐藏层存在聚类估计，而半监督任务需依赖聚类估计假设，也即半监督任务需以聚类估计假设作为依据/前提，因此，本申请通过在隐藏层增加扰动进行未标记样本之间的一致性学习，紧密贴合了半监督任务的特点，可实现基于一个便捷高效的模型训练过程使模型达到较好的分割性能。

Description

一种图像分割方法和电子设备
技术领域
本申请属于图像处理领域，尤其涉及一种图像分割方法和电子设备。
背景技术
图像分割是进行图像分析的基础前提。
早期的图像分割一般基于传统方法，如基于阈值或基于边缘检测的图像分割等，其性能受制于传统方法的特征表示能力。随着深度学习技术的发展，提出了使用卷积神经网络(Convolutional Neural Networks，CNN)提取图像特征，然后进行分割的方式。然而，训练卷积神经网络模型需要大量的标注数据，这使得模型样本数据的标注变得非常耗时，而且成本高昂，某些情况下还需要标注人员具备较高的专业能力。
业内进一步提出了使用半监督学习的方法进行图像分割来解决上述技术问题，然而，现有使用半监督学习的图像分割方法，并不能基于一个便捷高效的模型训练过程使模型达到较好的边界分割性能。
发明内容
为此，本申请公开如下技术方案：
一种图像分割方法，包括：
图像分割模型的编码器根据对应的编码器参数对目标图像进行特征提取处理，得到所述目标图像的图像特征；所述图像分割模型包括所述编码器和主解码器；
所述主解码器根据对应的解码器参数和所述图像特征，进行图像边界分割处理，得到所述目标图像的边界分割信息；
其中，所述编码器对应的编码器参数，根据与预定图像的图像特征匹配的图像边界分割信息确定；所述预定图像的图像特征包括：已标注的第一样本图像的第一图像特征，未标注的第二样本图像的第二图像特征和对所述第二图像特征进行扰动处理所得的第三图像特征。
可选的，所述图像分割模型的编码器根据对应的编码器参数对目标图像进行特征提取处理，得到目标图像的图像特征，包括：
所述编码器根据对应的编码器参数提取所述目标图像的特征，得到所述目标图像的第一尺寸的特征图；所述第一尺寸小于所述目标图像的第二尺寸；
所述边界分割信息包括所述第二尺寸的特征图中各像元对应的分类类别信息；对像元的分类处理用于将像元分类为是否属于图像中对象的边界；
所述主解码器根据对应的解码器参数和所述图像特征，进行图像边界分割处理，得到所述目标图像的边界分割信息，包括：
所述主解码器根据对应的解码器参数将所述第一尺寸的特征图映射到所述第二尺寸，得到第二尺寸的特征图；
所述主解码器对所述第二尺寸的特征图中的像元进行分类处理，得到所述第二尺寸的特征图中各像元的分类类别信息。
可选的，所述编码器对所述目标图像执行有多次卷积和下采样操作；其中，不同的下采样操作得到不同尺寸的特征图，最后一次下采样操作得到所述第一尺寸的特征图；
所述主解码器对所述第一尺寸的特征图执行有多次卷积和上采样操作；其中，不同的上采样操作得到不同尺寸的特征图，最后一次上采样操作得到所述第二尺寸的特征图；
所述主解码器针对所述第一尺寸的特征图在非第一次执行卷积操作前，将最近上采样得到的当前特征图与编码器得到的与所述当前特征图尺寸相同的特征图进行连接处理，并对连接处理所得的连接特征图进行卷积操作。
可选的，所述图像分割模型的构建过程包括：
利用与所述第一样本图像的第一图像特征匹配的图像边界分割信息优化预定网络模型的第一分支；所述第一分支包括编码器模型和与所述编码器模型的输出端相连的主解码器模型；
利用与所述第二样本图像的第二图像特征匹配的图像边界分割信息，和与所述第二样本图像的第三图像特征匹配的图像边界分割信息，优化所述预定网络模型的第二分支；所述第二分支包括所述编码器模型和与所述编码器模型的输出端相连的辅助解码器模型；完成优化的所述编码器模型和所述主解码器模型，分别作为所述图像分割模型的编码器和主解码器。
可选的，所述利用与所述第一样本图像的第一图像特征匹配的图像边界分割信息优化预定网络模型的第一分支，包括：
获得基于所述第一分支对所述第一样本图像进行特征提取，并对提取的第一图像特征进行处理得到的第一边界分割信息；
获得为所述第一样本图像标注的第二边界分割信息；
根据所述第一边界分割信息和所述第二边界分割信息，调整所述编码器模型对应的编码器参数和所述主解码器模型对应的解码器参数。
可选的，所述利用与所述第二样本图像的第二图像特征匹配的图像边界分割信息，和与所述第二样本图像的第三图像特征匹配的图像边界分割信息，优化所述预定网络模型的第二分支，包括：
获得基于所述第一分支对所述第二样本图像进行特征提取，并对提取的第二图像特征进行处理得到的第三边界分割信息；
获得基于所述第二分支对所述第二样本图像进行特征提取，对提取的第二图像特征进行扰动处理，并对扰动后得到的第三图像特征进行处理得到的第四边界分割信息；
根据所述第三边界分割信息和所述第四边界分割信息，调整所述编码器模型对应的编码器参数和所述辅助解码器模型对应的解码器参数。
可选的，所述对提取的第二图像特征进行扰动处理，包括：
基于预定噪音信息，向所述第二图像特征增加噪音。
可选的，其中，所述利用与所述第二样本图像的第二图像特征匹配的图像边界分割信息，和与所述第二样本图像的第三图像特征匹配的图像边界分割信息，优化所述预定网络模型的第二分支，还包括：
获得所述第二样本图像的边界感知图；所述边界感知图，为通过将所述第三图像特征多次输入所述辅助解码器模型，得到所述第二样本图像的多个第五边界分割信息，并根据所述多个第五边界分割信息构建的边界感知图像；
根据所述第三边界分割信息、所述第四边界分割信息和所述边界感知图，调整所述编码器模型对应的编码器参数和所述辅助解码器模型对应的解码器参数。
可选的，所述目标图像、所述第一样本图像和所述第二样本图像为二维图像，或所述目标图像、所述第一样本图像和所述第二样本图像为三维图像；
所述像元为二维图像的像素，或三维图像的体素。
一种电子设备，包括：
存储器，用于至少存储一组指令集；
处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集实现如上任一项所述的方法。
一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令集，所述计算机指令集被处理器执行时实现如上任一项所述的方法。
由以上方案可知，本申请公开的图像分割方法和电子设备，通过使用半监督学习的方法构建图像分割模型来进行图像分割，并且在构建图像分割模型时，通过对未标注样本的图像特征进行扰动，提出了在模型的隐藏层增加扰动进行未标记样本之间的一致性学习的思路。发明人经研究发现，模型的隐藏层存在聚类估计，而半监督任务需依赖聚类估计假设，也即半监督任务需以聚类估计假设作为依据/前提，因此，本申请通过在隐藏层增加扰动进行未标记样本之间的一致性学习，紧密贴合了半监督任务的特点，可实现基于一个便捷高效的模型训练过程使模型达到较好的分割性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请实施例提供的图像分割方法的流程示意图；
图2是本申请实施例提供的图像分割模型的模型结构图；
图3是本申请实施例提供的图像分割模型的构建过程流程图；
图4是本申请实施例提供的训练图像分割模型时所基于的网络模型的模型结构图；
图5是本申请实施例提供的训练预定网络模型的第一分支的流程示意图；
图6是本申请实施例提供的训练预定网络模型的第二分支的一种流程示意图；
图7是本申请实施例提供的训练预定网络模型的第二分支的另一种流程示意图；
图8是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请公开一种图像分割方法和电子设备，用于在基于半监督学习的图像分割中，实现基于一个便捷高效的模型训练过程使模型达到较好的分割性能。
参见图1，为本申请一实施例提供的图像分割方法的流程示意图，用于通过对图像中的对象进行边界检测，而实现图像的边界分割，图像中的对象具体可以是但不限于医学图像中的各类人体器官(如心、肺等)。该方法可适用对二维平面图像或三维立体图像(如三维医学图像)进行边界分割处理，并具体可应用于但不限于具有数据处理功能的手机、平板电脑、个人PC(如笔记本、一体机、台式机)等终端设备中，或具有数据处理功能的私有云/公有云云平台、局域网/互联网络服务器等对应的物理机中。
如图1所示，上述的图像分割方法包括以下处理步骤：
步骤101、图像分割模型的编码器根据对应的编码器参数对目标图像进行特征提取处理，得到目标图像的图像特征。
本申请中，预先基于半监督学习方式构建有一图像分割模型，如图2示出的模型结构图，该图像分割模型包括上述编码器和主解码器。
其中，在进行模型构建时，编码器对应的编码器参数，根据与预定图像的图像特征匹配的图像边界分割信息确定；该预定图像的图像特征包括：已标注的第一样本图像的第一图像特征，未标注的第二样本图像的第二图像特征和对所述第二图像特征进行扰动处理所得的第三图像特征。
可选的，在进行图像分割模型的构建，或利用已完成构建的模型对图像进行边界分割处理的过程中，所涉及的图像特征(如使用编码器提取的目标图像的特征，或上述的第一/第二/第三样本图像特征)具体可表示为特征图形式。
该步骤101中，编码器根据对应的编码器参数对目标图像进行特征提取处理，具体包括：编码器根据对应的编码器参数提取目标图像的特征，得到目标图像的第一尺寸的特征图；第一尺寸小于目标图像的第二尺寸。
具体地，编码器对目标图像执行有多次卷积和下采样操作，通过一系列卷积和下采样得到目标图像的具有语义信息的特征图，且卷积操作和下采样操作穿插进行，每执行完成一次卷积操作，就对该卷积操作输出的特征图执行一次下采样操作，并将下采样所得的相应尺寸的特征图作为下一次卷积操作的输入。不同的下采样操作分别得到目标图像的不同尺寸的特征图，最后一次下采样操作得到目标图像的第一尺寸的特征图，并将该第一尺寸的特征图输入主解码器。
步骤102、图像分割模型的主解码器根据对应的解码器参数和图像特征，进行图像边界分割处理，得到目标图像的边界分割信息。
主解码器对应的解码器参数，则根据与已标注的第一样本图像的第一图像特征匹配的图像边界分割信息确定。
该步骤102中，主解码器根据对应的解码器参数和图像特征，进行图像边界分割处理，具体包括：
主解码器首先根据对应的解码器参数将第一尺寸的特征图映射到第二尺寸，即映射到目标图像的原始尺寸，得到第二尺寸的特征图；之后，进一步对第二尺寸的特征图中的像元进行分类处理，得到第二尺寸的特征图中各像元的分类类别信息。第二尺寸的特征图中各像元的分类类别信息相应构成目标图像对应的边界分割信息(即为对目标图像的图像分割结果)。
其中，在主解码器根据对应的解码器参数将第一尺寸的特征图映射到第二尺寸的过程中，具体地，主解码器对第一尺寸的特征图执行有多次卷积和上采样操作，且卷积操作和上采样操作穿插进行，每执行完成一次卷积操作，就对该卷积操作输出的特征图执行一次上采样操作，并将上采样所得的相应尺寸的特征图作为下一次卷积操作的输入。不同的上采样操作得到不同尺寸的特征图，最后一次上采样操作得到上述的第二尺寸的特征图。
另外，可选的，主解码器针对第一尺寸的特征图在非第一次执行卷积操作前，将最近上采样得到的当前特征图与编码器得到的与该当前特征图尺寸相同的特征图进行连接处理(如图2中所示的“横向连接”)，并对连接处理所得的连接特征图进行卷积操作。
或者，换个角度来说，主解码器在每次上采样后，都会将上采样结果(某一尺寸的特征图)和编码器有同样尺寸的特征图进行连接，然后对连接特征图进行卷积处理。
发明人经研究发现，在对图像进行下采样的过程中，会损失很多图像细节信息，鉴于此，本实施例在利用主解码器进行解码过程中，将编码器底层到高层的特征(一系列下采样操作分别得到的特征图)按尺寸进行上述的横向连接处理，可使主解码器中特征图的语义信息变得更加丰富，进而提高分类性能。
对图像特征图中像元的分类处理，用于将像元分类为是否属于图像中对象的边界，也即，本申请中，像元对应的分类类别空间，包括表示像元属于图像中对象的边界的第一类别(如，可用“1”表示)，和表示像元不属于图像中对象的边界的第二类别(如，用“0”表示)。
在对第二尺寸的特征图中的像元进行分类处理时，具体可采用softmax层进行像元级的分类。
实施中，模型输出的边界分割信息具体可表示为预测分割图的形式，其中，预测分割图具体为在图像上为图像的各像元添加携带像元所属的分类类别信息后所得的图像，像元的分类类别信息用于表示像元是、否属于目标图像中对象(如医学图像某一器官)的边界，且，实施中，可选的，预测分割图中携带的像元分类类别信息，具体可以表示为模型针对每个像元预测出的该像元属于上述类别空间中每一类别的概率值/置信度。
其中，像元为图像的最小处理单元，可以为二维图像的像素，或三维图像的体素。
由以上方案可知，本实施例的图像分割方法，通过使用半监督学习的方法构建图像分割模型来进行图像分割，并且在构建图像分割模型时，通过对未标注样本的图像特征进行扰动，提出了在模型的隐藏层增加扰动进行未标记样本之间的一致性学习的思路。发明人经研究发现，模型的隐藏层存在聚类估计，而半监督任务需依赖聚类估计假设，也即半监督任务需以聚类估计假设作为依据/前提，因此，本申请通过在隐藏层增加扰动进行未标记样本之间的一致性学习，紧密贴合了半监督任务的特点，可实现基于一个便捷高效的模型训练过程使模型达到较好的分割性能。
图1所示图像分割方法的处理过程，需要以预先构建有图像分割模型为基础，本申请实施例中，采用半监督学习方法进行图像分割模型的构建，半监督图像分割方法可以分为三类：1)基于伪标签的方法；2)基于生成模型的方法；3)基于一致性的方法。
其中，对于第3)种，一致性方法的原理是，在进行模型构建时通过增加扰动，使得模型的预测具有不变性，基于该原理，传统技术具体通过在模型的原始输入上增加扰动(相当于在模型的输入层增加扰动)，而意图使模型的预测具有不变性。
然而，半监督任务需依赖聚类估计假设，也即半监督任务需以聚类估计假设作为依据/前提。发明人经研究发现，模型的原始输入上不存在聚类估计，因此，传统技术通过在模型的原始输入上增加扰动，忽略了聚类估计，难以通过一个便捷高效的模型训练过程使模型达到较好的边界分割性能。
具体地，对于图像分割任务，发明人通过计算图像的局部平滑度对其聚类估计假设进行了验证，并基于该验证发现，模型的原始输入上不存在聚类估计假设，而在特征图(对应于模型的隐藏层)上却有明显的聚类估计(也就是低密度区域low-density)。
由此，基于上述发现，本申请提出一种通过在模型的隐藏层增加扰动来进行未标记数据之间的一致性学习的一致性隐藏表示学习机制，并基于该机制进行图像分割模型的构建。
如图3所示，本实施例中，图像分割模型的构建过程包括：
步骤301、利用与已标注的第一样本图像的第一图像特征匹配的图像边界分割信息优化预定网络模型的第一分支。
优化预定网络模型的第一分支的过程，本质为基于样本图像对预定网络模型中的第一分支进行训练的过程。
参见图4，为本申请中构建图像分割模型时所采用的预定网络模型的模型结构，该预定网络模型共包括两个分支：第一分支和第二分支。
其中，第一分支包括编码器模型和输入端与编码器模型的输出端相连的主解码器模型，用于基于已标注的第一样本图像进行监督学习；第二分支包括编码器模型和输入端与编码器模型的输出端相连的辅助解码器模型，用于基于未标注的第二样本图像进行无监督学习，两个分支共享编码器模型。
实施中，两个分支可以但不限于均采用V-net或均采用U-net(V-net或U-net为基于深度学习的图像语义分割网络)作为主干网络。
本步骤301，具体利用已标注的第一样本图像对第一分支进行训练，以此实现对第一分支中编码器模型和主解码器模型的网络参数(编码器参数、解码器参数)进行优化。编码器参数具体可以包括编码器中卷积核的参数，相类似，解码器参数具体可以包括解码器(如主解码器或下文所述的辅助解码器)中卷积核的参数。
这里，已标注的第一样本图像是一个概括性描述，实施中，第一样本图像具体可以是一系列已标注的样本图像的集合。
参见图5，上述的步骤301可进一步实现为：
步骤501、获得基于上述第一分支对已标注的第一样本图像进行特征提取，并对提取的第一图像特征进行处理得到的第一边界分割信息。
具体地，可将第一样本图像输入编码器模型，编码器基于一系列卷积操作和下采样操作，得到第一样本图像的具有语义信息的第一尺寸的特征图；并将该第一尺寸的特征图输出至第一分支中的主解码器模型，主解码器模型通过一系列卷积和上采样操作，将该第一尺寸的特征图映射到第一样本图像的原始尺寸(第二尺寸)，然后对第二尺寸的特征图进行像元级的分类(如采用主解码器中设置的softmax层进行像元级分类)，最终得到在图像上针对其各像元添加标记有像元对应的分类类别信息的预测分割图，该预测分割图即为上述的第一边界分割信息。
其中，主解码器模型在基于上述的一系列卷积和上采样操作进行解码过程中，会将编码器模型底层到高层的特征进行横向连接，即，主解码器模型在每次上采样后，都会将所得的相应尺寸的特征图和编码器模型得到的具有同样尺寸的特征图进行连接，然后再对连接特征图进行卷积，以此使得特征图语义信息变得更加丰富，从而提高分类性能。
步骤502、获得为已标注的第一样本图像标注的第二边界分割信息。
相类似，第二边界分割信息，可实现为在图像上针对其各像元添加标记(如人工标注)有像元对应的分类类别信息的分割图形式。
步骤503、根据上述的第一边界分割信息和第二边界分割信息，调整第一分支中编码器模型对应的编码器参数和主解码器模型对应的解码器参数。
在得到上述的第一边界分割信息和第二边界分割信息后，进一步根据第一边界分割信息和第二边界分割信息之间的损失，如根据第一分支输出的预测分割图和人工标注的分割图之间的损失，调整编码器模型的模型参数和主解码器的模型参数，以此实现对第一分支中编码器模型和主解码器模型的网络参数进行优化。
实施中，可将一系列已标注样本不断输入第一分支，并针对输入的每一样本，按照预设损失函数，计算第一分支输出的预测分割图与标注的分割图之间的损失值，并以降低损失值为目标，调整第一分支中编码器模型的编码器参数和主解码器模型的解码器参数，直至损失值不大于预设阈值，或调整次数达到设定的上限值，完成第一分支的训练。
以下举例说明。
假设
Figure BDA0002926489330000101
表示包括n个已标注样本数据的已标注样本集，
Figure BDA0002926489330000102
表示包括m个未标注样本数据的未标注样本集，其中，
Figure BDA0002926489330000103
和
Figure BDA0002926489330000104
分别为H×W×D的三维医学图像，H、W、D分别表示三维医学图像的高度、宽度和深度数值，
Figure BDA0002926489330000105
为对
Figure BDA0002926489330000106
中各像元进行标注(如人工标注)后所得的包括各像元类别信息(是否属于图像
Figure BDA0002926489330000107
中某对象如某器官的边界)的标注分割图。其中，1≤i≤n，1≤j≤m，i、j、m、n均为整数。
在对第一分支进行训练时，将已标注样本xl(上述集合Dl中的任一样本数据)输入第一分支(监督分支)fl＝e·g，其中，e表示编码器模型，g表示主解码器模型，该分支相应产生一个预测分割图Sl∈[0，1]H×W×D，然后使用监督损失函数Ll计算该样本xl的预测分割图与标注分割图之间的损失值，并以降低损失值为目标调整第一分支中编码器模型e的编码器参数和主解码器模型g的解码器参数，实现基于监督的学习，具体公式如下：
Sl＝fl(xl；Θ) (1)
Figure BDA0002926489330000111
式(1)-(2)中，Θ表示模型的参数(编码器参数或解码器参数)，H(·)表示交叉熵损失，D(·)表示Dice损失，r1和r2表示权重。
步骤302、利用与未标注的第二样本图像的第二图像特征匹配的图像边界分割信息，和与该第二样本图像的第三图像特征匹配的图像边界分割信息，优化上述预定网络模型的第二分支。
完成优化的编码器模型和主解码器模型，分别作为所构建的图像分割模型的编码器和主解码器。
优化第二分支的过程，本质为基于样本图像对第二分支进行训练的过程。
此处，未标注的第二样本图像同样是一个概括性描述，实施中，第二样本图像具体可以是一系列未标注的样本图像的集合。
参见图6，步骤302可进一步实现为：
步骤601、获得基于第一分支对第二样本图像进行特征提取，并对提取的第二图像特征进行处理得到的第三边界分割信息；
具体地，将未标注的第二样本图像输入编码器模型，得到编码器模型提取的第二样本图像的第二图像特征，并将第二图像特征输出至第一分支中的主解码器模型，进而在主解码器模型通过对第二图像特征进行处理，得到相对应的第三边界分割信息。利用第一分支对样本图像进行处理的更详细的实现过程，可参见上文步骤501的说明，不再赘述。
利用第一分支对第二样本图像进行处理，所得的第三边界分割信息，同样可以表示为一预测分割图，该预测分割图包括对第二样本图像中各像元进行分类类别信息标注(如像元属于各类别的概率值)后所得的结果。
步骤602、获得基于第二分支对第二样本图像进行特征提取，对提取的第二图像特征进行扰动处理，并对扰动后得到的第三图像特征进行处理得到的第四边界分割信息；
本步骤602进一步针对编码器模型输出的第二样本图像的第二图像特征，对其进行扰动处理，可选的，具体可基于预定噪音信息，向第二图像特征增加噪音，以此实现对其进行扰动。
之后，将扰动后得到的第三图像特征输入第二分支中的辅助解码器模型，辅助解码器模型与主解码器模型的结构及功能类似，同样经过多层卷积和上采样，将第三图像特征图映射到第二样本图像的尺寸，然后经过softmax层进行像元级的分类，最终得到一对应于添加有扰动的样本的预测分割图，该预测分割图即为上述的第四边界分割信息。
实施中，为使特征图语义信息更加丰富，进而提高分类性能，在辅助解码器模型的处理过程中，同样可将每次上采样后所得的相应尺寸特征图，与编码器模型中具备同样尺寸的特征图进行连接，然后对连接特征图进行下一次卷积。
步骤603、根据上述的第三边界分割信息和第四边界分割信息，调整编码器模型对应的编码器参数和辅助解码器模型对应的解码器参数。
在得到上述的第三边界分割信息和第四边界分割信息后，可进一步根据第三边界分割信息和第四边界分割信息之间的损失，如根据第一分支输出的第二样本图像的预测分割图和第二分支输出的第二样本图像的预测分割图，调整编码器模型的参数和辅助解码器模型的参数，以此实现对第二分支中编码器模型和辅助解码器模型的参数进行优化。
以下仍沿用上文的示例举例说明：
将未标注样本xu(上述集合Du中的任一样本数据)输入第二分支(无监督分支)fu＝e·gu，其中，e表示编码器模型，gu表示辅助解码器模型，xu首先经过编码器e生成特征图Z，通过在特征图Z上增加一个扰动得到特征图
Figure BDA0002926489330000121
然后将特征图Z输入到主解码器模型g获得预测分割图Sl(第三边界分割信息)，将特征图
Figure BDA0002926489330000122
输入到辅助解码器模型gu获得预测分割图Su(第四边界分割信息)，Su∈[0，1]H×W×D，具体公式如下：
Z＝e(xu；Θ) (3)
Figure BDA0002926489330000123
Figure BDA0002926489330000124
Sl＝g(Z；Θ) (6)
式(3)-(6)中，Θ表示模型的参数(编码器模型或解码器参数)，o表示元素乘(element-wise product)，N表示均匀噪音N～U(-0.3，0.3)。
接着使用无监督损失函数Lu进行第二分支的无监督学习，具体的，使用无监督损失函数数Lu计算该样本xu的预测分割图Su与预测分割图Sl之间的损失值，并以降低损失值为目标调整该第二分支中编码器模型e的编码器参数和辅助解码器模型gu的解码器参数，实现基于无监督的学习，具体公式如下：
Figure BDA0002926489330000131
式(7)中，d(·)表示均方误差(mean squared error，MSE)函数。
最后，整个网络模型(第一分支+第二分支)使用损失函数L进行监督和无监督学习，并使用随机梯度下降法更新模型参数。其中：
L＝Ll+a1Lu (8)
式(8)中，a1表示权重，损失函数Lu在主解码器模型g上不进行梯度反传，只有标注的样本数据训练主解码器g。
本实施例中，在进行图像分割模型的构建时，通过在模型的隐藏层增加扰动来进行未标注样本数据之间的一致性学习，遵循了半监督任务需依赖聚类估计假设的这一前提，紧密贴合了半监督任务的特点，能够实现利用少量的已标注数据和大量的未标注数据而构建得到一具有较好边界分割性能的图像分割模型，具有较强的实用性。
另外，本申请中，在利用未标注样本训练编码器和辅助解码器时，将未标注数据使用编码器产生的特征图经过只利用已标注样本训练的主解码器，以及经过只利用未标注样本训练的辅助解码器(经过辅助解码器时对特征图增加有噪音)，目的是为了使辅助解码器与主解码器预测处理时各像元分类类别信息的概率分布基本一致，这会逼迫编码器模型学习到已标注和未标注样本数据的之间的共性(如医学图像中器官主体的共性特征)，进而提高了编码器对图像中对象的编码能力及鲁棒性。
为了进一步优化所构建的图像分割模型的模型性能，可选的，在优化网络模型的第二分支，实现对第二分支进行训练时，参见图7，除了获得用于分支训练的第三边界分割信息、第四边界分割信息，还可以包括以下处理：
步骤604、获得第二样本图像的边界感知图；
其中，第二样本图像的边界感知图，为通过将第二样本图像的第三图像特征多次输入辅助解码器模型，得到第二样本图像的多个第五边界分割信息，并根据多个第五边界分割信息构建的边界感知图像。
多个第五边界分割信息，具体可以为辅助解码器模型针对多次输入的第三图像特征，而得到的多个预测分割图。
在生成上述边界分割图时，具体地，可基于上述的多个预测分割图，得到图像中同一像元属于像元类别空间中每一类别的多个概率值；并基于同一像元属于每一类别的多个概率值，计算该同一像元属于每一类别的平均概率值，最终，得到第二样本图像中各像元属于上述类别空间每一类别的平均概率值，进而基于第二样本图像中各像元属于上述类别空间每一类别的平均概率值而建模得到上述的边界感知图。
建模得到的边界感知图，可以但不限于为一个0，1分布形式的二值图，该二值图中某一像元位置对应取值“1”，表示该像元位置在第二样本图像中对应的像元属于第二样本图像中对象的边界，为“0”则表示不属于第二样本图像中对象的边界。
步骤605、根据上述的第三边界分割信息、第四边界分割信息和边界感知图，调整编码器模型对应的编码器参数和辅助解码器模型对应的解码器参数。
具体地，可根据辅助解码器模型输出的第二样本图像的预测分割图与主解码器模型输出的第二样本图像的预测分割图之间的损失，以及基于边界感知图，确定出的辅助解码器模型输出的预测边界与主解码器模型输出的预测边界之间的边界损失，对第二分支中的编码器模型和辅助解码器模型进行参数调整，实现对第二分支的训练。
仍沿用上述的示例举例说明：
当将未标注样本xu(上述集合Du中的任一样本数据)输入第二分支(无监督分支)fu＝e·gu时，该分支不仅产生一个预测分割图Su∈[0，1]H×W×D，而且生成边界感知图M∈{0，1}H×W×D进行一致性训练。其中，为了获得边界感知图M，在将xu经编码器得到特征图Z，并在Z上增加一个扰动变成特征图
Figure BDA0002926489330000141
后，将
Figure BDA0002926489330000142
向辅助解码器模型gu进行T次前传，并基于辅助解码器模型gu输出的T个边界分割图计算xu中每个像元属于类别空间每个类别的平均概率，以此来建模边界感知图M，具体公式如下：
Figure BDA0002926489330000143
Figure BDA0002926489330000144
u＝-∑cuclog(uc) (11)
Mv＝Γ(u＞h) (12)
式(9)-(12)中，Θ表示模型的参数，
Figure BDA0002926489330000151
表示c类别上第t次的概率，Γ表示指示函数(indicator function)，h为阈值超参数，Mv是体素级的边界感知结果，所有Mv的集合构成边界感知图M。
接着使用无监督损失函数Lu(表示辅助解码器输出的预测分割图与主解码器输出的预测分割图之间的损失，仍采用上文式(7)的Lu公式)和Lb(表示上述的边界损失)进行分支的无监督学习：
Figure BDA0002926489330000152
Figure BDA0002926489330000153
Figure BDA0002926489330000154
式(13)-(14)中，V表示图像样本xu中所有体素的数量。
最后对于整个网络模型，使用损失函数L进行监督和无监督学习，并具体使用随机梯度下降法更新模型参数：
L＝Ll+a1Lu+a2Lb (15)
式(15)中，a1和a2表示权重，损失函数Lu和Lb在主解码器g上不进行梯度反传，只有标注的样本数据训练主解码器g。
本实施例通过生成边界分割图，并基于边界分割图确定辅助解码器输出的预测边界与主解码器输出的预测边界之间的边界损失，来帮助对网络模型的第二分支进行一致性训练，可使得更好地对未标注样本的特征进行一致性学习，从而进一步提升了模型性能。
综上所述，相比于传统技术，本申请的方法至少具备以下优势：
1)能够利用少量的标注数据和大量的未标注数据构建图像分割模型，具有较强的实用性；
2)能够准确捕获图像中对象主体(如人体器官主体)的边界，并且没有增加任何的模型参数和运用边界先验知识；
3)通过提出边界感知图，增强了对图像中对象主体的边界感知，进一步提升了图像分割性能；
4)在2个公开挑战数据集上达到了最好性能；
5)当使用20％的标注数据训练时(即标注数据占样本集的20％)，能够达到100％标注数据时相差无几的分割性能。
本申请实施例还公开了一种电子设备，该电子设备可以是但不限于具有数据处理功能的手机、平板电脑、个人PC(如笔记本、一体机、台式机)等终端设备，或具有数据处理功能的私有云/公有云云平台、局域网/互联网络服务器等对应的物理机。
如图8示出的电子设备的结构示意图，该电子设备至少包括：
存储器801，用于存放计算机指令集；
上述的计算机指令集可以采用计算机程序的形式实现。
存储器801可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器802，用于通过执行上述存储器上存放的指令集，实现如上任一方法实施例的图像分割方法。
处理器802可以为中央处理器(Central Processing Unit，CPU)，特定应用集成电路(application-specific integrated circuit，ASIC)，数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件等。
除此之外，电子设备还可以包括通信接口、通信总线等组成部分。存储器、处理器和通信接口通过通信总线完成相互间的通信。
通信接口用于电子设备与其他设备(如CDN调度系统中的中控设备等)之间的通信。通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等，该通信总线可以分为地址总线、数据总线、控制总线等。
对于本实施例公开的电子设备而言，由于其处理过程与上文各方法实施例公开的图像分割方法相对应，所以描述的比较简单，相关相似之处请参见上文相应方法实施例的说明即可，此处不再详述。
另外，本申请实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，上述计算机指令集被处理器执行时实现如上任一方法实施例公开的图像分割方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种图像分割方法，包括：
图像分割模型的编码器根据对应的编码器参数对目标图像进行特征提取处理，得到所述目标图像的图像特征；所述图像分割模型包括所述编码器和主解码器；
所述主解码器根据对应的解码器参数和所述图像特征，进行图像边界分割处理，得到所述目标图像的边界分割信息；
其中，所述编码器对应的编码器参数，根据与预定图像的图像特征匹配的图像边界分割信息确定；所述预定图像的图像特征包括：已标注的第一样本图像的第一图像特征，未标注的第二样本图像的第二图像特征和对所述第二图像特征进行扰动处理所得的第三图像特征。
2.根据权利要求1所述的方法，所述图像分割模型的编码器根据对应的编码器参数对目标图像进行特征提取处理，得到目标图像的图像特征，包括：
所述编码器根据对应的编码器参数提取所述目标图像的特征，得到所述目标图像的第一尺寸的特征图；所述第一尺寸小于所述目标图像的第二尺寸；
所述边界分割信息包括所述第二尺寸的特征图中各像元对应的分类类别信息；对像元的分类处理用于将像元分类为是否属于图像中对象的边界；
所述主解码器根据对应的解码器参数和所述图像特征，进行图像边界分割处理，得到所述目标图像的边界分割信息，包括：
所述主解码器根据对应的解码器参数将所述第一尺寸的特征图映射到所述第二尺寸，得到第二尺寸的特征图；
所述主解码器对所述第二尺寸的特征图中的像元进行分类处理，得到所述第二尺寸的特征图中各像元的分类类别信息。
3.根据权利要求2所述的方法，所述编码器对所述目标图像执行有多次卷积和下采样操作；其中，不同的下采样操作得到不同尺寸的特征图，最后一次下采样操作得到所述第一尺寸的特征图；
所述主解码器对所述第一尺寸的特征图执行有多次卷积和上采样操作；其中，不同的上采样操作得到不同尺寸的特征图，最后一次上采样操作得到所述第二尺寸的特征图；
所述主解码器针对所述第一尺寸的特征图在非第一次执行卷积操作前，将最近上采样得到的当前特征图与编码器得到的与所述当前特征图尺寸相同的特征图进行连接处理，并对连接处理所得的连接特征图进行卷积操作。
4.根据权利要求1所述的方法，所述图像分割模型的构建过程包括：
利用与所述第一样本图像的第一图像特征匹配的图像边界分割信息优化预定网络模型的第一分支；所述第一分支包括编码器模型和与所述编码器模型的输出端相连的主解码器模型；
利用与所述第二样本图像的第二图像特征匹配的图像边界分割信息，和与所述第二样本图像的第三图像特征匹配的图像边界分割信息，优化所述预定网络模型的第二分支；所述第二分支包括所述编码器模型和与所述编码器模型的输出端相连的辅助解码器模型；完成优化的所述编码器模型和所述主解码器模型，分别作为所述图像分割模型的编码器和主解码器。
5.根据权利要求4所述的方法，所述利用与所述第一样本图像的第一图像特征匹配的图像边界分割信息优化预定网络模型的第一分支，包括：
获得基于所述第一分支对所述第一样本图像进行特征提取，并对提取的第一图像特征进行处理得到的第一边界分割信息；
获得为所述第一样本图像标注的第二边界分割信息；
根据所述第一边界分割信息和所述第二边界分割信息，调整所述编码器模型对应的编码器参数和所述主解码器模型对应的解码器参数。
6.根据权利要求4所述的方法，所述利用与所述第二样本图像的第二图像特征匹配的图像边界分割信息，和与所述第二样本图像的第三图像特征匹配的图像边界分割信息，优化所述预定网络模型的第二分支，包括：
获得基于所述第一分支对所述第二样本图像进行特征提取，并对提取的第二图像特征进行处理得到的第三边界分割信息；
获得基于所述第二分支对所述第二样本图像进行特征提取，对提取的第二图像特征进行扰动处理，并对扰动后得到的第三图像特征进行处理得到的第四边界分割信息；
根据所述第三边界分割信息和所述第四边界分割信息，调整所述编码器模型对应的编码器参数和所述辅助解码器模型对应的解码器参数。
7.根据权利要求6所述的方法，所述对提取的第二图像特征进行扰动处理，包括：
基于预定噪音信息，向所述第二图像特征增加噪音。
8.根据权利要求6所述的方法，其中，所述利用与所述第二样本图像的第二图像特征匹配的图像边界分割信息，和与所述第二样本图像的第三图像特征匹配的图像边界分割信息，优化所述预定网络模型的第二分支，还包括：
获得所述第二样本图像的边界感知图；所述边界感知图，为通过将所述第三图像特征多次输入所述辅助解码器模型，得到所述第二样本图像的多个第五边界分割信息，并根据所述多个第五边界分割信息构建的边界感知图像；
根据所述第三边界分割信息、所述第四边界分割信息和所述边界感知图，调整所述编码器模型对应的编码器参数和所述辅助解码器模型对应的解码器参数。
9.根据权利要求1所述的方法，所述目标图像、所述第一样本图像和所述第二样本图像为二维图像，或所述目标图像、所述第一样本图像和所述第二样本图像为三维图像；
所述像元为二维图像的像素，或三维图像的体素。
10.一种电子设备，包括：
存储器，用于至少存储一组指令集；
处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集实现如权利要求1-9任一项所述的方法。
CN202110134822.9A 2021-02-01 2021-02-01 一种图像分割方法和电子设备 Pending CN112801107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110134822.9A CN112801107A (zh) 2021-02-01 2021-02-01 一种图像分割方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110134822.9A CN112801107A (zh) 2021-02-01 2021-02-01 一种图像分割方法和电子设备

Publications (1)

Publication Number Publication Date
CN112801107A true CN112801107A (zh) 2021-05-14

Family

ID=75813306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110134822.9A Pending CN112801107A (zh) 2021-02-01 2021-02-01 一种图像分割方法和电子设备

Country Status (1)

Country Link
CN (1) CN112801107A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569857A (zh) * 2021-07-20 2021-10-29 上海明略人工智能(集团)有限公司 字幕识别方法、系统、存储介质及电子设备
CN113628129A (zh) * 2021-07-19 2021-11-09 武汉大学 一种基于半监督学习的边缘注意力对单幅图像阴影去除方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110837836A (zh) * 2019-11-05 2020-02-25 中国科学技术大学 基于最大化置信度的半监督语义分割方法
CN111598174A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 图像地物要素分类模型的训练方法、图像分析方法及系统
CN112036335A (zh) * 2020-09-03 2020-12-04 南京农业大学 一种反卷积引导的半监督植物叶部病害识别与分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110837836A (zh) * 2019-11-05 2020-02-25 中国科学技术大学 基于最大化置信度的半监督语义分割方法
CN111598174A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 图像地物要素分类模型的训练方法、图像分析方法及系统
CN112036335A (zh) * 2020-09-03 2020-12-04 南京农业大学 一种反卷积引导的半监督植物叶部病害识别与分割方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628129A (zh) * 2021-07-19 2021-11-09 武汉大学 一种基于半监督学习的边缘注意力对单幅图像阴影去除方法
CN113628129B (zh) * 2021-07-19 2024-03-12 武汉大学 一种基于半监督学习的边缘注意力对单幅图像阴影去除方法
CN113569857A (zh) * 2021-07-20 2021-10-29 上海明略人工智能(集团)有限公司 字幕识别方法、系统、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US20230196117A1 (en) Training method for semi-supervised learning model, image processing method, and device
CN109816009B (zh) 基于图卷积的多标签图像分类方法、装置及设备
US11200424B2 (en) Space-time memory network for locating target object in video content
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
WO2019120110A1 (zh) 图像重建方法及设备
WO2022142450A1 (zh) 用于图像分割模型训练和图像分割的方法及装置
CN110276741B (zh) 结节检测及其模型训练的方法和装置以及电子设备
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN109886330B (zh) 文本检测方法、装置、计算机可读存储介质和计算机设备
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
WO2021042857A1 (zh) 图像分割模型的处理方法和处理装置
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN112801107A (zh) 一种图像分割方法和电子设备
US20210158554A1 (en) Artificial intelligence for generating depth map
CN111914908A (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN111223128A (zh) 目标跟踪方法、装置、设备及存储介质
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
CN114282059A (zh) 视频检索的方法、装置、设备及存储介质
CN114511576A (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN116452810A (zh) 一种多层次语义分割方法、装置、电子设备及存储介质
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
US20220301106A1 (en) Training method and apparatus for image processing model, and image processing method and apparatus
CN113869234A (zh) 人脸表情识别方法、装置、设备及存储介质
CN113011532A (zh) 分类模型训练方法、装置、计算设备及存储介质
CN111898544A (zh) 文字图像匹配方法、装置和设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination