CN110705625A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110705625A CN110705625A CN201910918266.7A CN201910918266A CN110705625A CN 110705625 A CN110705625 A CN 110705625A CN 201910918266 A CN201910918266 A CN 201910918266A CN 110705625 A CN110705625 A CN 110705625A
- Authority
- CN
- China
- Prior art keywords
- image
- loss
- target
- model
- conversion model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 143
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000009466 transformation Effects 0.000 claims description 30
- 230000001815 facial effect Effects 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 15
- 230000003042 antagnostic effect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000036039 immunity Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像处理方法、装置、电子设备及存储介质，该方法包括：获取训练样本集，其中，所述训练样本集包括源样本图像以及目标样本图像；根据所述样本训练集训练图像转换模型和第一判别模型，所述源样本图像经过所述图像转换模型处理后得到目标图像；根据所述第一判别模型计算所述目标图像和所述目标样本之间的所述第一对抗损失；当所述第一对抗损失符合第一预设条件时，得到第一目标图像转换模型。由此可以实现无需标签即可训练完成，不需要人工进行标注，并且降低了训练成本。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着互联网的发展，随着人工智能的兴起，深度学习受到了广泛的关注。
现有的技术中，将人体姿态动作迁移方法网往往需要建立目标物体的3D模型，然后对源物体的3D姿态进行估计，并转换为目标物体的3D姿态参数，从而驱动目标物体运动，建立目标物体的3D模型往往成本较高，因为一个视觉感觉良好的3D模型往往涉及到美术，骨骼蒙皮等耗时操作，且为了将源物体和目标物体的3D姿态参数进行关联，需要建立一个鲁棒的映射关系，可是往往源物体和目标物体不是同一个物种，给两者的3D姿态参数关联带来了较大的难度，同时现有技术中图像局部特征转移效果较差，在实现局部特征转移的同时，图像整体也发生了变化。
另外，传统的图像转换模型需要对训练样本添加标注，给每一类样本添加标注的工作量大，且标注的类型不精确也会导致训练出的模型的精度也会较差。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种图像处理方法、装置、电子设备及存储介质。
第一方面，本申请提供了一种图像处理方法，该方法包括：
获取训练样本集，其中，所述训练样本集包括源样本图像和目标样本图像；
根据所述训练样本集训练图像转换模型和第一判别模型，所述源样本图像经过所述图像转换模型处理后得到目标图像；
根据所述第一判别模型计算所述目标图像和所述目标样本图像之间的所述第一对抗损失；
当所述第一对抗损失符合第一预设条件时，得到第一目标图像转换模型。
在一个可能的实施方式中，所述方法还包括：
当所述第一对抗损失不符合第一预设条件时，根据所述第一对抗损失对所述图像转换模型和第一判别模型中的参数进行调整；
其中，所述第一对抗损失符合第一预设条件包括：所述第一对抗损失小于或等于第一预设阈值，或所述第一对抗损失不再变化。
在一个可能的实施方式中，所述方法还包括：
根据所述训练样本集训练图像逆转换模型和第二判别模型，所述目标样本图像经过所述图像逆转换模型处理后得到第一源重构图像；
根据所述第二判别模型计算所述第一源重构图像和所述源样本图像的第二对抗损失；
基于所述第一对抗损失和第二对抗损失计算最终对抗损失；
当所述最终对抗损失不符合第二预设条件时，基于所述第一对抗损失和第二对抗损失对所述图像转换模型、图像逆转换模型、第一判别模型和第二判别模型中的参数进行调整，直至所述最终对抗损失符合第二预设条件时，得到第二目标图像转换模型；
其中，所述最终对抗损失符合第二预设条件包括：所述最终对抗损失小于或等于第二预设阈值，或所述最终对抗损失不再变化。
在一个可能的实施方式中，所述方法还包括：
根据所述训练样本集训练图像转换模型和图像逆转换模型，根据所述图像逆转换模型将所述目标图像转换为第二源重构图像；
根据所述图像转换模型将所述第一源重构图像转换为目标重构图像；
计算所述源样本图像与所述第二源重构图像之间的第一重构误差；
计算所述目标样本图像与所述目标重构图像之间的第二重构误差；
根据所述第一重构误差和第二重构误差计算最终重构误差；
当所述最终重构误差不符合第三预设条件时，基于所述第一重构误差和第二重构误差对所述图像转换模型和图像逆转换模型中的参数进行调整。直至所述最终重构误差符合第三预设条件时，得到第三目标图像转换模型；
其中，所述最终重构误差符合第三预设条件包括：所述最终重构误差小于或等于第三预设阈值，或所述最终重构误差不再变化。
在一个可能的实施方式中，所述方法还包括：
基于所述第一对抗损失、第二对抗损失、第一重构误差和第二重构误差计算最终损失；
当所述最终损失不符合第四预设条件时，基于所述第一对抗损失、第二对抗损失、第一重构误差和第二重构误差对所述图像转换模型和图像逆转换模型中的参数进行调整，直至所述最终损失符合第四预设条件时，得到第四目标图像转换模型；
其中，所述最终损失符合第四预设条件包括：所述最终损失小于或等于第四预设阈值，或所述最终损失不再变化。
在一个可能的实施方式中，所述方法还包括：
获取源风格脸部图像；
根据图像转换模型将所述源风格脸部图像转换为目标风格脸部图像。
在一个可能的实施方式中，所述根据图像转换模型将所述源风格脸部图像转换为目标风格脸部图像，包括：
提取所述源风格脸部图像的第一脸部特征信息；
将所述第一脸部特征信息转换为目标风格的第二脸部特征信息；
根据所述第二脸部特征信息生成所述目标风格脸部图像。
第二方面本申请提供了一种图像处理装置，该装置包括：
获取模块，用于获取训练样本集，其中，所述训练样本集包括源样本图像以及目标样本图像；
训练模块，用于根据所述训练样本集训练图像转换模型和第一判别模型，所述源样本图像经过所述图像转换模型处理后得到目标图像；
计算模块，用于根据所述第一判别模型计算所述目标图像和所述目标样本图像之间的所述第一对抗损失；
输出模块，用于当所述第一对抗损失符合第一预设条件时，得到第一目标图像转换模型。
第三方面，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行计算机程序时，实现上述方法步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：在现有训练模型基础上，通过对图像转换模型和判别模型的训练得到训练后图像转换模型，在训练的过程中不需要人工对训练样本进行标注，降低了训练成本，并提高了训练的精确度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的流程图；
图2为本申请另一实施例提供的一种图像处理方法的流程图；
图3为本申请另一实施例提供的一种图像处理方法的流程图；
图4为本申请另一实施例提供的一种图像处理方法的流程图；
图5为本申请一个实施例提供的训练过程的原理示意图；
图6为本申请另一个实施例提供的训练过程的原理示意图；
图7为本申请另一个实施例提供的训练过程的原理示意图；
图8为本申请一个实施例提供的一种图像处理方法的流程图；
图9为本申请一实施例提供的一种图像处理装置的框图；
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请一种图像处理方法、装置、电子设备及存储介质，下面首先对本发明实施例所提供的一种图像处理方法进行介绍。
本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。
图1为本申请实施例提供的一种图像处理方法的流程图。如图1所示，该方法包括以下步骤：
步骤S11，获取训练样本集，其中，训练样本集包括源样本图像和目标样本图像。
步骤S12，根据训练样本集训练图像转换模型和第一判别模型，源样本图像经过图像转换模型处理后得到目标图像。
步骤S13，根据第一判别模型计算目标图像和目标样本图像之间的第一对抗损失。
步骤S14，当第一对抗损失符合第一预设条件时，得到第一目标图像转换模型。
本实施例中，图像转换模型用于利用所输入的源样本图像生成目标图像，第一判别模型用于区分图像转换模型输出的目标图像和输入图像转换模型的源样本图像对应的目标样本图像，并计算目标图像和目标样本图像的第一对抗损失。上述图像转换模型可以是各种结构的生成对抗网络。例如，图像转换模型可以是深度卷积生成对抗网络。应当理解，上述图像转换模型可以是未经训练的、初始化参数后的图像转换模型，也可以是已经训练过的图像转换模型。需要说明的是，图像转换模型可以是用于进行图像处理的卷积神经网络。上述第一判别模型可以是卷积神经网络。
在本实施例中，可以通过机器学习方法，将训练样本集合中的源样本图像作为图像转换模型的输入，将与目标样本图像作为图像转换模型的期望输出，以及将图像转换模型实际输出的目标图像和与目标样本图像作为第一判别模型的输入，对图像转换模型和第一判别模型进行训练，并根据第一判别模型计算目标图像和目标样本图像之间的第一对抗损失，当第一对抗损失小于第一预设阈值时，则输出训练后的图像转换模型。
本实施例中的训练样本以人体样本和卡通样本为例，图5为本申请一个训练过程的原理示意图，如图5所示，训练样本中包括的人脸类样本图集表示为A域，卡通类样本图集表示为B域，从A域中随机选择一张人脸样本图像(源样本图像)IA，将人脸样本图像IA输入图像转换模型GA2B中，得到生成的卡通图像(目标图像)I’B，从B域选择与卡通图像(目标图像)I’B至少一个特征对应的卡通样本图像(目标样本图像)IB，通过将卡通图像I’B输入第一判别模型DB中得到图像转换模型GA2B输出的卡通图像I’B属于B域的置信度D(I'B)，并将卡通样本图像IB(目标样本图像)输入第一判别模型DB中得到卡通样本图像IB属于B域的置信度D(IB)，根据D(I'B)和D(IB)计算卡通图像I’B与卡通样本图像IB之间的第一对抗损失，对应的计算公式为：
式中，为第一对抗损失，EB～Pdata(B)表示预先设定的将目标样本图像作为图像转换模型输出图像的期望值，EB～P(B')表示目标图像作为所述图像转换模型输出图像的期望值，IB是目标样本图像，D(IB)表示将目标样本图像输入第一判别模型得到的置信度，I'B为目标图像，D(I'B)表示将所述目标图像输入第一判别模型得到的置信度。
在此需要说明的是，对于置信度的计算方式可以采用：将目标图像与目标样本图像同时进行划分，得到x个目标子图像和x个目标样本子图像。目标子图像与目标样本子图像相对应，第一判别模型对每个目标子图像和目标样本子图像进行判别，得到对应的输出结果，即置信度。通常，判别结果可以是数字0或1，0可以表示目标子图像和目标样本子图像不对应，1可以表示目标子图像和目标样本子图像对应。另外，判别结果也可以为范围0-1，表示目标图像和目标样本图像相似度。
本实施例中，通过第一对抗损失对图像转换模型GA2B和第一判别模型DB中的参数进行调整，由于训练第一判别模型的目的是将由图像转换模型输出的目标图像判别为假，将目标样本图像判别为真，所以对于第一判别模型来说，得到的目标图像的置信度越小越好，得到的目标样本图像的置信度越大越好。而训练图像转换模型的目的是将源样本图像转换为目标样本图像，而对于图像转换模型期望输出的目标图像的置信度越大越好，由此说明经过图像转换模型得到的目标图像越符合B域的图像特征。之后不断训练直至第一对抗损失小于第一预设阈值时，或第一对抗损失不再变化，得到第一目标图像转换模型。
具体的训练步骤可以是：固定图像转换模型的参数，对没有固定参数的第一判别模型进行优化调整；之后再固定第一判别模型的参数，对图像转换模型进行优化。不断进行上述迭代，使第一判别模型无法区分输入的图像是否是图像转换模型所生成的。此时，图像转换模型所生成的目标图像与目标样本图像接近，第一判别模型无法准确区分图像转换模型生成的目标图像和目标样本图像，可以将此时的图像转换模型确定为训练完成的图像转换模型。比如可以采用梯度下降算法对图像转换模型和第一判别模型行训练。每次训练后的图像转换模型和第一判别模型的参数会被调整，将每次调整参数后得到的图像转换模型和第一判别模型作为下次训据损失值迭代地训练图像转换模型和第一判别模型，以使每次迭代运算时确定的对抗损失值最小。
图2为本申请另一实施例提供的一种图像处理方法的流程图，如图2所示，该方法还包括以下步骤：
步骤S21，根据训练样本集训练图像逆转换模型和第二判别模型，目标样本图像经过图像逆转换模型处理后得到第一源重构图像。
步骤S22，根据第二判别模型计算第一源重构图像和源样本图像的第二对抗损失。
步骤S23，基于第一对抗损失和第二对抗损失计算最终对抗损失。
步骤S24，当最终对抗损失不符合第二预设条件时，基于第一对抗损失和第二对抗损失对图像转换模型、图像逆转换模型、第一判别模型和第二判别模型中的参数进行调整，直至最终对抗损失符合第二预设条件，得到第二目标图像转换模型。
本实施例中，将训练样本集合中的目标样本图像作为图像逆转换模型的输入，将源样本图像作为图像逆转换模型的期望输出，以及将图像逆转换模型实际输出的第一源重构图像和与源样本图像作为第二判别模型的输入，对图像逆转换模型和第二判别模型进行训练，并根据第二判别模型计算源样本图像和第一源重构图像之间的第二对抗损失；
参考图6，本实施例中的训练样本包括人体类样本图集记为A域，卡通类样本图集记为B域，从B域中选择一张卡通样本图像(目标样本图像)IB，将卡通样本图像IB输入图像逆转换模型GB2A中，得到第一源重构图像I'A，从A域中获取与第一源重构图像I'A至少一个特征对应的人脸样本图像(源样本图像)IA，通过将得到的第一源重构图像I'A输入第二判别模型DA中得到图像逆转换模型GB2A输出的第一源重构图像I'A属于A域的置信度D(I'A)，并将源样本图像IA输入第二判别模型DA中得到人脸样本图像IA属于A域的置信度D(IA)，根据D(I'A)和D(IA)计算源样本图像I'A与第一源重构图像I'A之间的第二对抗损失，对应的计算公式为：
式中，
为第二对抗损失，EA～Pdata(A)表示将预先设定的将源样本图像作为图像逆转换模型输出图像的期望值，EA～P(A')表示所述第一源重构图像作为图像逆转换模型输出图像的期望值，IA是源样本图像，D(IA)表示将源样本图像输入第二判别模型得到的置信度，I'A为第一源图像。表示将第一源重构图像输入第二判别模型得到的置信度。
本实施例中，基于第一对抗损失和第二对抗损失对图像转换模型、图像逆转换模型、第一判别模型和第二判别模型中的参数进行调整。
具体的，训练第二判别模型的目的是将由图像逆转换模型输出的第一重构图像判别为假，将源样本图像判别为真，所以对于第二判别模型来说，得到的第一重构图像的置信度越小越好，得到的源样本图像的置信度越大越好。而训练图像逆转换模型的目的是将目标样本图像转换为源样本图像，而对于图像转换模型，第一重构图像的置信度越大越好。由此说明经过图像转换模型得到的第一重构图像越符合A域的图像特征。
所以通过第一对抗损失和第二对抗损失调整图像转换模型、图像逆转换模型、第一判别模型以及第二判别模型中的参数，将第一对抗损失与第二对抗损失作和得到最终对抗损失之后，可以使用梯度下降法对各个模型中的参数进行调整，为了提高训练的稳定性，当最终对抗损失不符合第二预设条件时，基于第一对抗损失和第二对抗损失对图像转换模型、图像逆转换模型、第一判别模型和第二判别模型中的参数进行调整，直至最终对抗损失符合所述第二预设条件，得到第二目标图像转换模型。
当最终对抗损失符合第二预设条件时，即得到第二目标图像转换模型。其中，符合第二预设条件可以是当最终对抗损失小于第二预设阈值，或者最终对抗损失不再变化。
图3为本申请另一实施例提供的一种图像处理方法的流程图，如图3所示，该方法还包括：
步骤S31，根据训练样本集训练图像转换模型和图像逆转换模型，根据图像逆转换模型将目标图像转换为第二源重构图像。
步骤S32，根据图像转换模型将第一源重构图像转换为目标重构图像。
步骤S33，计算源样本图像与第二源重构图像之间的第一重构误差。
步骤S34，计算目标样本图像与目标重构图像之间的第二重构误差。
步骤S35，根据第一重构误差和第二重构误差计算最终重构误差。
步骤S36，当最终重构误差不符合第三预设条件时，基于第一重构误差和第二重构误差对图像转换模型和图像逆转换模型中的参数进行调整，直至最终重构误差符合第三预设条件，得到第三目标图像转换模型。
本实施例中，通过计算最终重构误差对图像转换模型和图像逆转换模型中的参数进行再次优化调整，参考图7：将源样本图像IA输入图像转换模型GA2B后得到的目标图像I'B作为输入图像，输入到图像逆转换模型GB2A中，得到第二源重构图像I”A，计算第二源重构图像I”A与源样本图像之间的第一重构误差，对应的计算公式为：
Lcyc(A)＝EA～Pdata(A)||IA-GB2A(GA2B(IA))||1
式中，Lcyc(A)为第一重构误差，EA～Pdata(A)表示将源样本图像作为图像逆转换模型输出图像的期望值，IA为源样本图像，GB2A为图像逆转换模型，GA2B为图像转换模型。
将目标样本图像IB输入图像逆转换模型GB2A后得到的第一源重构图像I'A作为输入图像，输入到图像转换模型GA2B中，得到目标重构图像I”B，计算目标重构图像I”B与目标样本图像之间的第二重构误差，对应的计算公式为：
Lcyc(B)＝EB～Pdata(B)||IB-GA2B(GB2A(IB))||1
式中，Lcyc(B)为第二重构误差，EB～Pdata(B)表示将目标样本图像作为图像转换模型输出图G(A2B)像的期望值，IB是目标样本图像，GB2A为图像逆转换模型，GA2B为图像转换模型。
根据第一重构误差和第二重构误差作和得到最终重构误差，当最终重构误差不符合第三预设条件时，基于第一重构误差和第二重构误差对图像转换模型和图像逆转换模型中的参数进行调整，可以使用梯度下降法对模型中的参数进行调整，直至最终重构误差符合第三预设条件，得到第三目标图像转换模型。
其中，最终重构误差符合第三预设条件包括：最终重构误差小于或等于第三预设阈值或所述最终重构误差不再变化。
图4为本申请另一实施例提供的一种图像处理方法的流程图，如图4所示，该方法还包括：
步骤S41，基于第一对抗损失、第二对抗损失、第一重构误差和第二重构误差计算最终损失。
步骤S42，当最终损失不符合第四预设条件时，基于第一对抗损失、第二对抗损失、第一重构误差和第二重构误差对图像转换模型和图像逆转换模型中的参数进行调整，直至最终损失符合第四预设条件，得到第四目标图像转换模型。
本实施例中，基于第一对抗损失、第二对抗损失、第一重构误差和第二重构误差计算最终损失，对应的公式为：
L＝Lcyc(A)+Lcyc(B)+λ(LGAN(A)+LGAN(B))
式中，L为最终损失，λ为平衡因子，当训练至符合第四预设条件时，则认为模型收敛，得到第四图像转换模型；其中最终损失符合预设条件包括：最终损失小于或等于第四预设阈值，或最终损失不再变化。
通过对抗损失值和重构误差计算出最终损失，当最终损失不符合第四预设条件时，基于第一对抗损失、第二对抗损失、第一重构误差和第二重构误差对图像转换模型和图像逆转换模型中的参数进行调整，直至最终损失符合所述第四预设条件，由此可以实现无需标签的情况下即可训练完成，不再需要人工进行标注，大大降低了训练成本，同时提高了图像转换结果的准确度。
当以最终损失小于或等于第四预设阈值来判断模型是否收敛时，，算法如下：
i＝0
while loss>threshold:
loss＝L(wi)
i＝i+1
上述式中，i表示迭代次数，wi表示第i次迭代的网络结构参数，loss＝L(wi)表示本次迭代的损失，
表示学习速率，算法每次迭代都会根据loss计算梯度
并根据梯度更新网络结构参数wi。根据新的网络结构参数wi再次计算loss，如果loss低于预设阈值，则可以认为模型收敛，即符合预设条件。
或，当以最终对抗损失不再变化最为判断模型是否收敛，算法如下：
lastloss＝0,i＝0
while True：
loss＝L(wi)
if abs(lastloss-loss)<0.0001
break
lastloss＝loss
i＝i+1
上述式中，lastloss表示上一次迭代的损失，i表示迭代次数，wi表示第i此迭代的网络结构参数，loss表示上一次迭代的损失，当以损失不再变化作为判断模型是否收敛，算法首先根据上一次的loss计算梯度
并根据梯度更新网络结构参数wi，根据新的网络结构参数wi再次计算loss，如果本次loss与上一次loss差值几乎为0，则迭代停止，可以认为模型收敛，否则需要不断迭代。
图8为本申请另一实施例提供的一种图像处理方法的流程图，如图8所示，还包括：
步骤S81，获取源风格脸部图像；
步骤S82，根据图像转换模型将源风格脸部图像转换为目标风格脸部图像。
其中，图像转换模型是通过上述实施例公开的方法训练得到的。
源风格脸部图像中可以为真实人脸图像或卡通类型的脸部图像，目标风格脸部图像为真实人脸图像或卡通类型的脸部图像。根据图像转换模型可以将真实人脸图像转换为卡通类型的脸部图像，也可以根据图像转换模型将卡通类型的脸部图像转换为真实人脸图像。
本实施例中，以源风格脸部图像中包括人脸为例，基于人脸识别模型提取源风格脸部图像中的人脸特征点，其中，人脸识别模型可以通过采用卷积神经网络模型得到，人脸特征点为脸部轮廓和脸部五官的特征点，根据得到的人脸特征点构建人脸图像。
之后将人脸图像输入图像转换模型，将人脸图像转换为目标风格脸部图像，包括：提取人脸图像的第一脸部特征信息，将第一脸部特征信息转换为目标风格的第二脸部特征信息，根据第二脸部特征信息生成目标风格脸部图像。
可通过以下方式实现，本实施例中目标风格以卡通风格为例，图像转换模型包括下采样卷积层、残差卷积层和上采样卷积层，首先将人脸图像作为下采样卷积层的输入，下采样卷积层对人脸图像中的脸部图像进行下采样卷积计算得到第一脸部特征信息。
之后将第一脸部特征矩阵作为残差卷积层的输入，残差卷积层对第一脸部特征信息进行残差卷积运算转换为卡通风格的第二脸部特征信息。残差卷积层的主要作用是将人脸的特征信息转换为卡通风格的特征信息。
最后将第二脸部特征信息作为上采样卷积层的输入，上采样卷积层对第二脸部特征信息进行上采样卷积计算得到目标风格脸部图像。
图9为本申请实施例提供的一种图像处理装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图9所示，该图像处理装置包括：
获取模块901，用于获取训练样本集，其中，训练样本集包括源样本图像以及目标样本图像；
图像处理模块902，用于根据训练样本集训练图像转换模型和判别模型，源样本图像经过图像转换模型处理后得到目标图像；
计算模块903，用于根据判别模型计算目标图像和目标样本图像之间的第一对抗损失；
输出模块904，用于当第一对抗损失符合第一预设条件时，得到第一目标图像转换模型。
本申请实施例还提供一种电子设备，如图10所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现以上实施例中的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，P C I)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取训练样本集，其中，训练样本集包括源样本图像以及目标样本图像；
根据训练样本集训练图像转换模型和第一判别模型，源样本图像经过图像转换模型处理后得到目标图像；
根据第一判别模型计算目标图像和目标样本图像之间的第一对抗损失；
当第一对抗损失符合第一预设条件时，得到第一目标图像转换模型。
可选的，该计算机程序被处理器执行时还实现以下步骤：
当第一对抗损失不符合第一预设条件时，根据第一对抗损失对所述图像转换模型和第一判别模型中的参数进行调整，直至第一对抗损失符合第一预设条件，得到第一目标图像转换模型；
其中，第一对抗损失符合第一预设条件包括：第一对抗损失小于或等于第一预设阈值，或第一对抗损失不再变化。
可选的，该计算机程序被处理器执行时还实现以下步骤：
根据训练样本集训练图像逆转换模型和第二判别模型，目标样本图像经过图像逆转换模型处理后得到第一源重构图像；
根据第二判别模型计算所述第一源重构图像和源样本图像的第二对抗损失；
基于第一对抗损失和第二对抗损失计算最终对抗损失；
当最终对抗损失不符合第二预设条件时，基于第一对抗损失和第二对抗损失对所述图像转换模型、图像逆转换模型、第一判别模型和第二判别模型中的参数进行调整，直至最终对抗损失符合第二预设条件，得到第二目标图像转换模型；
其中，最终对抗损失符合第二预设条件包括：最终对抗损失小于或等于第二预设阈值，或最终对抗损失不再变化。
可选的，该计算机程序被处理器执行时还实现以下步骤：
根据训练样本集训练图像转换模型和图像逆转换模型，根据图像逆转换模型将目标图像转换为第二源重构图像；
根据图像转换模型将第一源重构图像转换为目标重构图像；
计算源样本图像与第二源重构图像之间的第一重构误差；
计算目标样本图像与目标重构图像之间的第二重构误差；
根据第一重构误差和第二重构误差计算最终重构误差；
当最终重构误差不符合第三预设条件时，基于第一重构误差和第二重构误差对图像转换模型和图像逆转换模型中的参数进行调整，直至最终重构误差符合第三预设条件，得到第三目标图像转换模型；
其中，最终重构误差符合第三预设条件包括：最终重构误差小于或等于第三预设阈值，或所述最终重构误差不再变化。
可选的，该计算机程序被处理器执行时还实现以下步骤：
基于第一对抗损失、第二对抗损失、第一重构误差和第二重构误差计算最终损失；
当最终损失不符合第四预设条件时，基于所述第一对抗损失、第二对抗损失、第一重构误差和第二重构误差对图像转换模型和图像逆转换模型中的参数进行调整，直至最终损失符合第四预设条件，得到第四目标图像转换模型；
其中，最终损失符合第四预设条件包括：最终损失小于或等于第四预设阈值，或最终损失不再变化。
可选的，该计算机程序被处理器执行时还实现以下步骤：该方法还包括：
获取源风格脸部图像；
根据图像转换模型将源风格脸部图像转换为目标风格脸部图像。
可选的，该计算机程序被处理器执行时还实现以下步骤：根据图像转换模型将源风格脸部图像转换为目标风格脸部图像，包括：
提取源风格脸部图像的第一脸部特征信息；
将第一脸部特征信息转换为目标风格的第二脸部特征信息；
根据第二脸部特征信息生成目标风格脸部图像。
需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
进一步需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取训练样本集，其中，所述训练样本集包括源样本图像以及目标样本图像；
根据所述训练样本集训练图像转换模型和第一判别模型，所述源样本图像经过所述图像转换模型处理后得到目标图像；
根据所述第一判别模型计算所述目标图像和所述目标样本图像之间的所述第一对抗损失；
当所述第一对抗损失符合第一预设条件时，得到第一目标图像转换模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述第一对抗损失不符合第一预设条件时，根据所述第一对抗损失对所述图像转换模型和第一判别模型中的参数进行调整；
所述第一对抗损失符合第一预设条件包括：所述第一对抗损失小于或等于第一预设阈值，或所述第一对抗损失不再变化。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述训练样本集训练图像逆转换模型和第二判别模型，所述目标样本图像经过所述图像逆转换模型处理后得到第一源重构图像；
根据所述第二判别模型计算所述第一源重构图像和所述源样本图像的第二对抗损失；
基于所述第一对抗损失和第二对抗损失计算最终对抗损失；
当所述最终对抗损失不符合第二预设条件时，基于所述第一对抗损失和第二对抗损失对所述图像转换模型、图像逆转换模型、第一判别模型和第二判别模型中的参数进行调整，直至所述最终对抗损失符合所述第二预设条件，得到第二目标图像转换模型；
其中，所述最终对抗损失符合所述第二预设条件包括：所述最终对抗损失小于或等于第二预设阈值，或所述最终对抗损失不再变化。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述训练样本集训练图像转换模型和图像逆转换模型，根据所述图像逆转换模型将所述目标图像转换为第二源重构图像；
根据所述图像转换模型将所述第一源重构图像转换为目标重构图像；
计算所述源样本图像与所述第二源重构图像之间的第一重构误差；
计算所述目标样本图像与所述目标重构图像之间的第二重构误差；
根据所述第一重构误差和第二重构误差计算最终重构误差；
当所述最终重构误差不符合第三预设条件时，基于所述第一重构误差和第二重构误差对所述图像转换模型和图像逆转换模型中的参数进行调整，直至所述最终重构误差符合所述第三预设条件，得到第三目标图像转换模型；
其中，所述最终重构误差符合所述第三预设条件包括：所述最终重构误差小于或等于第三预设阈值，或所述最终重构误差不再变化。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
基于所述第一对抗损失、第二对抗损失、第一重构误差和第二重构误差计算最终损失；
当所述最终损失不符合第四预设条件时，基于所述第一对抗损失、第二对抗损失、第一重构误差和第二重构误差对所述图像转换模型和图像逆转换模型中的参数进行调整，直至所述最终损失符合所述第四预设条件，得到第四目标图像转换模型；
其中，所述最终损失符合所述第四预设条件包括：所述最终损失小于或等于第四预设阈值，或所述最终损失不再变化。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
获取源风格脸部图像；
根据图像转换模型将所述源风格脸部图像转换为目标风格脸部图像。
7.根据权利要求6所述的方法，其特征在于，所述根据图像转换模型将所述源风格脸部图像转换为目标风格脸部图像，包括：
提取所述源风格脸部图像的第一脸部特征信息；
将所述第一脸部特征信息转换为目标风格的第二脸部特征信息；
根据所述第二脸部特征信息生成所述目标风格脸部图像。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取训练样本集，其中，所述训练样本集包括源样本图像以及目标样本图像；
训练模块，用于根据所述样本训练集训练图像转换模型和第一判别模型，所述源样本图像经过所述图像转换模型处理后得到目标图像失；
计算模块，用于根据所述第一判别模型计算所述目标图像和所述目标样本图像之间的所述第一对抗损失；
输出模块，用于当第一对抗损失符合第一预设条件时，得到第一目标图像转换模型。
9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现权利要求1-7任一项所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910918266.7A CN110705625A (zh) | 2019-09-26 | 2019-09-26 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910918266.7A CN110705625A (zh) | 2019-09-26 | 2019-09-26 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110705625A true CN110705625A (zh) | 2020-01-17 |
Family
ID=69196526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910918266.7A Pending CN110705625A (zh) | 2019-09-26 | 2019-09-26 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110705625A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111354079A (zh) * | 2020-03-11 | 2020-06-30 | 腾讯科技（深圳）有限公司 | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 |
| CN111402112A (zh) * | 2020-03-09 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
| CN111652242A (zh) * | 2020-04-20 | 2020-09-11 | 北京迈格威科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112734632A (zh) * | 2021-01-05 | 2021-04-30 | 百果园技术(新加坡)有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
| CN112862110A (zh) * | 2021-02-11 | 2021-05-28 | 脸萌有限公司 | 模型生成方法、装置和电子设备 |
| CN113160079A (zh) * | 2021-04-13 | 2021-07-23 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法、人像修复方法和装置 |
| WO2021208601A1 (zh) * | 2020-04-13 | 2021-10-21 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
| WO2022100680A1 (zh) * | 2020-11-13 | 2022-05-19 | 北京字跳网络技术有限公司 | 混血人脸图像生成方法、模型训练方法、装置和设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564127A (zh) * | 2018-04-19 | 2018-09-21 | 腾讯科技（深圳）有限公司 | 图像转换方法、装置、计算机设备及存储介质 |
| CN110147814A (zh) * | 2019-04-04 | 2019-08-20 | 北京奇艺世纪科技有限公司 | 一致性检测方法、装置、终端设备及计算机可读存储介质 |
-
2019
- 2019-09-26 CN CN201910918266.7A patent/CN110705625A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564127A (zh) * | 2018-04-19 | 2018-09-21 | 腾讯科技（深圳）有限公司 | 图像转换方法、装置、计算机设备及存储介质 |
| CN110147814A (zh) * | 2019-04-04 | 2019-08-20 | 北京奇艺世纪科技有限公司 | 一致性检测方法、装置、终端设备及计算机可读存储介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402112A (zh) * | 2020-03-09 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
| CN111354079A (zh) * | 2020-03-11 | 2020-06-30 | 腾讯科技（深圳）有限公司 | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 |
| CN111354079B (zh) * | 2020-03-11 | 2023-05-02 | 腾讯科技（深圳）有限公司 | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 |
| WO2021208601A1 (zh) * | 2020-04-13 | 2021-10-21 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
| CN111652242A (zh) * | 2020-04-20 | 2020-09-11 | 北京迈格威科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111652242B (zh) * | 2020-04-20 | 2023-07-04 | 北京迈格威科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| WO2022100680A1 (zh) * | 2020-11-13 | 2022-05-19 | 北京字跳网络技术有限公司 | 混血人脸图像生成方法、模型训练方法、装置和设备 |
| CN112734632A (zh) * | 2021-01-05 | 2021-04-30 | 百果园技术(新加坡)有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
| CN112734632B (zh) * | 2021-01-05 | 2024-02-27 | 百果园技术(新加坡)有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
| CN112862110A (zh) * | 2021-02-11 | 2021-05-28 | 脸萌有限公司 | 模型生成方法、装置和电子设备 |
| CN112862110B (zh) * | 2021-02-11 | 2024-01-30 | 脸萌有限公司 | 模型生成方法、装置和电子设备 |
| CN113160079A (zh) * | 2021-04-13 | 2021-07-23 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法、人像修复方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705625A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN108898186B (zh) | 用于提取图像的方法和装置 | |
| US11328180B2 (en) | Method for updating neural network and electronic device | |
| CN108399428B (zh) | 一种基于迹比准则的三元组损失函数设计方法 | |
| CN110399825B (zh) | 面部表情迁移方法、装置、存储介质及计算机设备 | |
| CN108121962B (zh) | 基于非负自适应特征提取的人脸识别方法、装置及设备 | |
| CN113486708A (zh) | 人体姿态预估方法、模型训练方法、电子设备和存储介质 | |
| WO2020151175A1 (zh) | 文本生成方法、装置、计算机设备及存储介质 | |
| CN111714124A (zh) | 磁共振电影成像方法、装置、成像设备及存储介质 | |
| CN110807428A (zh) | 煤类样品的识别方法、装置、服务器及存储介质 | |
| CN110570487A (zh) | 欠采样模型生成方法、图像重建方法、装置和计算机设备 | |
| CN116957422B (zh) | 一种基于卷积自编码和尖点突变模型的生态环境评价方法 | |
| CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN111860840B (zh) | 深度学习模型训练方法、装置、计算机设备及存储介质 | |
| CN109558882A (zh) | 基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置 | |
| CN117894038A (zh) | 一种图像中对象姿态生成方法和装置 | |
| CN112561050B (zh) | 一种神经网络模型训练方法及装置 | |
| CN116912296A (zh) | 一种基于位置增强注意力机制的点云配准方法 | |
| CN114239760B (zh) | 多模态模型训练以及图像识别方法、装置、电子设备 | |
| US20240013357A1 (en) | Recognition system, recognition method, program, learning method, trained model, distillation model and training data set generation method | |
| CN116777988A (zh) | 手部关键点的三维坐标构建方法、装置、设备及存储介质 | |
| CN112241740B (zh) | 一种特征提取方法及装置 | |
| CN112530027A (zh) | 一种三维点云修复方法、装置及电子设备 | |
| CN112446345A (zh) | 一种低质量三维人脸识别方法、系统、设备和存储介质 | |
| WO2020040007A1 (ja) | 学習装置、学習方法及び学習プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200117 |
|
| RJ01 | Rejection of invention patent application after publication |