CN117201874B - 一种人脸图像替换方法、装置、电子设备及存储介质 - Google Patents
一种人脸图像替换方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117201874B CN117201874B CN202311474981.9A CN202311474981A CN117201874B CN 117201874 B CN117201874 B CN 117201874B CN 202311474981 A CN202311474981 A CN 202311474981A CN 117201874 B CN117201874 B CN 117201874B
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- hidden
- face
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000013598 vector Substances 0.000 claims abstract description 262
- 230000007246 mechanism Effects 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 25
- 230000002194 synthesizing effect Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 18
- 239000002131 composite material Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011221 initial treatment Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
Abstract
本申请提供了一种人脸图像替换方法、装置、电子设备及存储介质，包括：对包含脸部信息的场景图像以及目标人脸图像进行人脸检测，分别确定出场景图像之中的第一人脸框以及目标人脸图像之中的第二人脸框；将第二人脸框放置在场景图像的第一人脸框后，确定出第一人脸框的第一隐特征向量以及第二人脸框的第二隐特征向量；通过注意力机制对第一隐特征向量以及第二隐特征向量进行处理，生成目标场景图像；若目标场景图像不符合预设的约束条件，则对第一隐特征向量以及第二隐特征向量进行迭代更新，直至确定出的目标场景图像满足约束条件时停止。以使目标人脸图像平滑无痕迹的替换场景图像之中的脸部信息，提高合成图像的准确性。
Description
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种人脸图像替换方法、装置、电子设备及存储介质。
背景技术
人脸替换与生成，成为当前社交网络平台的新玩法，可以利用现成的电影人物场景，将自己的人脸图像进行替换，生成新的人脸场景图像，因此，如何无痕迹的完美替换电影场景中的人脸，显得过渡自然就十分重要。现阶段，人脸生成大多采用GAN的方式，但由于模型收敛不稳定，导致训练困难，目前也有采用扩散模型，但都是基于特定数据集上的优化，且换脸后人脸边缘信息区分度较大。所以，如何平滑无痕迹的进行人脸图像替换成为了不容小觑的技术问题。
发明内容
有鉴于此，本申请的目的在于提供一种人脸图像替换方法、装置、电子设备及存储介质，通过对场景图像以及目标人脸图像进行求解得到隐特征向量，再对隐特征向量进行合成，并且在合成过程中掺杂注意力机制的特征，得到目标人脸图像，以使目标人脸图像平滑无痕迹的替换场景图像之中的脸部信息，提高合成图像的准确性。
本申请实施例提供了一种人脸图像替换方法，所述人脸图像替换方法包括：
对包含脸部信息的场景图像以及目标人脸图像进行人脸检测，分别确定出所述场景图像之中的第一人脸框以及所述目标人脸图像之中的第二人脸框；
将所述第二人脸框放置在所述场景图像的所述第一人脸框所在的位置后，确定出所述第一人脸框的第一隐特征向量以及所述第二人脸框的第二隐特征向量；
通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像；其中，所述目标场景图像为将所述场景图像之中的脸部信息平滑替换成所述目标人脸图像的图像；
若所述目标场景图像不符合预设的约束条件，则对所述第一隐特征向量以及所述第二隐特征向量进行迭代更新，直至确定出的所述目标场景图像满足所述约束条件时停止。
在一种可能的实施方式之中，通过以下步骤确定出所述第一隐特征向量：
对所述第一人脸框中每个像素值进行预设次数处理，确定出多个处理后的像素值；
基于随机微分方程以及随机噪声对多个处理后的像素值进行计算，确定出所述第一隐特征向量。
在一种可能的实施方式之中，所述通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像，包括：
通过所述注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行辅助合成，生成合成图像特征向量；
基于所述合成图像特征向量，生成所述目标场景图像。
在一种可能的实施方式之中，所述通过所述注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行辅助合成，生成合成图像特征向量，包括：
基于所述第一隐特征向量的多个第一隐特征、所述第二隐特征向量的多个第二隐特征以及投影矩阵，确定出每个所述第一隐特征的第一注意力特征以及每个所述第二隐特征的第二注意力特征；
基于所述第一注意力特征以及所述第二注意力特征，确定出第三注意力特征；
在对所述第一隐特征向量以及所述第二隐特征向量进行合成的过程中，基于所述第一注意力特征、所述第二注意力特征以及所述第三注意力特征对相对应的所述第一隐特征以及所述第二隐特征进行预设次数更新，确定出所述合成图像特征向量。
在一种可能的实施方式之中，通过以下步骤确定出所述第一注意力特征：
基于所述投影矩阵之中的第一参数以及所述第一隐特征，确定出所述第一隐特征的查询向量；
基于所述投影矩阵之中的第二参数以及所述第一隐特征，确定出所述第一隐特征的键向量；
基于所述投影矩阵之中的第三参数以及所述第一隐特征，确定出所述第一隐特征的值向量；
基于所述注意力机制对所述查询向量、所述键向量以及所述值向量进行处理，确定出所述第一隐特征的所述第一注意力特征。
在一种可能的实施方式之中，所述基于所述第一注意力特征以及所述第二注意力特征，确定出第三注意力特征，包括：
基于所述第一隐特征的查询向量以及所述第二隐特征的键向量进行注意力计算，确定出所述第一人脸框与所述第二人脸框之间的交叉注意力特征；
基于所述第一注意力特征、所述第二注意力特征以及所述交叉注意力特征合成出第三注意力特征；其中，所述第三注意力特征为所述合成图像特征向量的注意力特征。
在一种可能的实施方式之中，在对所述第一隐特征向量以及所述第二隐特征向量进行合成的过程中，基于所述第一注意力特征、所述第二注意力特征以及所述第三注意力特征对相对应的所述第一隐特征以及所述第二隐特征进行预设次数更新，确定出所述合成图像特征向量，包括：
基于所述第一注意力特征对所述第一隐特征进行更新，得到更新后的第一隐特征；
基于所述第二注意力特征对所述第二隐特征进行更新，得到更新后的第二隐特征；
基于更新后的第一隐特征以及更新后的第二隐特征进行合成，生成合成图像特征，基于所述第三注意力特征对所述合成图像特征进行更新，得到后的合成图像特征；
直至对所述第一隐特征、所述第二隐特征以及所述合成图像特征的更新满足预设次数后停止更新，确定出所述合成图像特征向量。
本申请实施例还提供了一种人脸图像替换装置，所述人脸图像替换装置包括：
检测模块，用于对包含脸部信息的场景图像以及目标人脸图像进行人脸检测，分别确定出所述场景图像之中的第一人脸框以及所述目标人脸图像之中的第二人脸框；
向量确定模块，用于将所述第二人脸框放置在所述场景图像的所述第一人脸框所在的位置后，确定出所述第一人脸框的第一隐特征向量以及所述第二人脸框的第二隐特征向量；
生成模块，用于通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像；其中，所述目标场景图像为将所述场景图像之中的脸部信息平滑替换成所述目标人脸图像的图像；
更新模块，用于若所述目标场景图像不符合预设的约束条件，则对所述第一隐特征向量以及所述第二隐特征向量进行迭代更新，直至确定出的所述目标场景图像满足所述约束条件时停止。
本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的人脸图像替换方法的步骤。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的人脸图像替换方法的步骤。
本申请实施例提供的一种人脸图像替换方法、装置、电子设备及存储介质，所述人脸图像替换方法包括：对包含脸部信息的场景图像以及目标人脸图像进行人脸检测，分别确定出所述场景图像之中的第一人脸框以及所述目标人脸图像之中的第二人脸框；将所述第二人脸框放置在所述场景图像的所述第一人脸框后，确定出所述第一人脸框的第一隐特征向量以及所述第二人脸框的第二隐特征向量；通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像；其中，所述目标场景图像为将所述场景图像之中的脸部信息平滑替换成所述目标人脸图像的图像；若所述目标场景图像不符合预设的约束条件，则对所述第一隐特征向量以及所述第二隐特征向量进行迭代更新，直至确定出的所述目标场景图像满足所述约束条件时停止。通过对场景图像以及目标人脸图像进行求解得到隐特征向量，再对隐特征向量进行合成，并且在合成过程中掺杂注意力机制的特征，得到目标人脸图像，以使目标人脸图像平滑无痕迹的替换场景图像之中的脸部信息，提高合成图像的准确性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种人脸图像替换方法的流程图；
图2为本申请实施例所提供的一种合成图像特征向量生成的流程图；
图3为本申请实施例所提供的一种人脸图像替换装置的结构示意图；
图4为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“对人脸图像进行替换”，给出以下实施方式，对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于图像处理技术领域。
经研究发现，人脸替换与生成，成为当前社交网络平台的新玩法，可以利用现成的电影人物场景，将自己的人脸图像进行替换，生成新的人脸场景图像，因此如何无痕迹的完美替换电影场景中的人脸，显得过渡自然就十分重要。现阶段，人脸生成大多采用GAN的方式，但由于模型收敛不稳定，导致训练困难，目前也有采用扩散模型，但都是基于特定数据集上的优化，且换脸后人脸边缘信息区分度较大。所以，如何平滑无痕迹的进行人脸图像替换成为了不容小觑的技术问题。
基于此，本申请实施例提供了一种人脸图像替换方法，通过对场景图像以及目标人脸图像进行求解得到隐特征向量，再对隐特征向量进行合成，并且在合成过程中掺杂注意力机制的特征，得到目标人脸图像，以使目标人脸图像平滑无痕迹的替换场景图像之中的脸部信息，提高合成图像的准确性。
请参阅图1，图1为本申请实施例所提供的一种人脸图像替换方法的流程图。如图1中所示，本申请实施例提供的人脸图像替换方法，人脸图像替换方法包括：
S101：对包含脸部信息的场景图像以及目标人脸图像进行人脸检测，分别确定出所述场景图像之中的第一人脸框以及所述目标人脸图像之中的第二人脸框。
该步骤中，对包含脸部信息的场景图像以及目标人脸图像进行人脸检测，分别确定出场景图像之中的第一人脸框以及目标人脸图像之中的第二人脸框。
这里，对包含脸部信息的场景图像以及目标人脸图像/>进行人脸检测，分别确定出场景图像/>之中的第一人脸框/>以及目标人脸图像/>之中的第二人脸框。
S102：将所述第二人脸框放置在所述场景图像的所述第一人脸框所在的位置后，确定出所述第一人脸框的第一隐特征向量以及所述第二人脸框的第二隐特征向量。
该步骤中，将第二人脸框放置在场景图像的第一人脸框所在的位置后，确定出第一人脸框的第一隐特征向量以及第二人脸框的第二隐特征向量。
这里，将目标人脸图像，取出第二人脸框/>对应区域的像素并进行缩放后放置在场景图像/>中的第一人脸框/>的位置。
在一种可能的实施方式之中，通过以下步骤确定出所述第一隐特征向量：
对所述第一人脸框中每个像素值进行预设次数处理，确定出多个处理后的像素值；基于随机微分方程以及随机噪声对多个处理后的像素值进行计算，确定出所述第一隐特征向量。
这里，对第一人脸框中每个像素值进行预设次数处理，确定出多个处理后的像素值；根据随机微分方程以及随机噪声对多个处理后的像素值进行计算，确定出所述第一隐特征向量。
其中，通过以下公式确定出第一隐特征向量：
其中，像素值为，用/>代表经过/>次处理后的像素/>，f为随机微分方程的漂移系数，/>为随机微分方程的扩散系数，/>为随机噪声，当/>由0求解到/>时，便得到场景图像/>的第一隐特征向量/>，T为预设次数，/>。
这里，第二隐特征向量的求解过程与上述第一隐特征向量的求解过程相一致，此部分不再进行赘述。
S103：通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像；其中，所述目标场景图像为将所述场景图像之中的脸部信息平滑替换成所述目标人脸图像的图像。
该步骤中，通过注意力机制对第一隐特征向量以及第二隐特征向量进行处理，生成目标场景图像。
其中，所述目标场景图像为将所述场景图像之中的脸部信息平滑替换成所述目标人脸图像的图像。
在一种可能的实施方式之中，所述通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像，包括：
通过所述注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行辅助合成，生成合成图像特征向量；基于所述合成图像特征向量，生成所述目标场景图像。
这里，通过注意力机制对第一隐特征向量以及第二隐特征向量进行辅助合成，生成合成图像特征向量；根据合成图像特征向量，生成目标场景图像。
其中，通过以下公式得到合成图像特征向量：
其中，为合成图像特征向量，第一隐特征向量为/>，第二隐特征向量为/>，第二人脸框为/>，第一人脸框为/>，/>表示/>服从标准正态分布。示替换区域，/>这一项用于润滑替换区域的过渡效果。在合成过程中，为了增强过渡替换区域的润滑效果，提升替换区域周围像素的自然性，对合成过程中的场景图像和目标人脸图像的特征图进行注意力计算的方法进行解决。
进一步的，请参阅图2，图2为本申请实施例所提供的一种合成图像特征向量生成的流程图。如图2所示，所述通过所述注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行辅助合成，生成合成图像特征向量，包括：
S201：基于所述第一隐特征向量的多个第一隐特征、所述第二隐特征向量的多个第二隐特征以及投影矩阵，确定出每个所述第一隐特征的第一注意力特征以及每个所述第二隐特征的第二注意力特征。
该步骤中，根据第一隐特征向量的多个第一隐特征、第二隐特征向量的多个第二隐特征以及投影矩阵，确定出每个第一隐特征的第一注意力特征以及每个第二隐特征的第二注意力特征。
在一种可能的实施方式之中，通过以下步骤确定出所述第一注意力特征：
A：基于所述投影矩阵之中的第一参数以及所述第一隐特征，确定出所述第一隐特征的查询向量。
这里，根据投影矩阵之中的第一参数以及第一隐特征，确定出第一隐特征的查询向量。
其中，在对隐特征向量进行合成过程中，设第步骤的第一隐特征向量的第一隐特征为/>，第/>步骤的第二隐特征向量的第二隐特征/>。
其中，投影矩阵包括第一参数、第二参数以及第三参数分别为。
B：基于所述投影矩阵之中的第二参数以及所述第一隐特征，确定出所述第一隐特征的键向量。
这里，根据投影矩阵之中的第二参数以及第一隐特征，确定出第一隐特征的键向量。
C：基于所述投影矩阵之中的第三参数以及所述第一隐特征，确定出所述第一隐特征的值向量。
这里，根据投影矩阵之中的第三参数以及第一隐特征，确定出第一隐特征的值向量。
其中，通过以下公式确定出第一隐特征的查询向量、键向量以及值向量：
其中，为第一隐特征的查询向量，/>为第一隐特征，/>为第一参数，/>为第一隐特征的键向量，/>为第二参数，/>为第一隐特征的值向量，/>为第三参数。
其中，关于第二隐特征的查询向量、值向量以及键向量的计算方式与上述第一隐特征的查询向量、值向量以及键向量的计算方式相一致，此部分不再进行赘述。
D：基于所述注意力机制对所述查询向量、所述键向量以及所述值向量进行处理，确定出所述第一隐特征的所述第一注意力特征。
这里，根据注意力机制对查询向量、键向量以及值向量进行处理，确定出第一隐特征的第一注意力特征。
其中，通过以下公式确定出第一注意力特征：
其中，第一注意力特征为，/>为第一隐特征的查询向量，/>为第一隐特征的值向量，/>为第一隐特征的键向量。
其中，关于第二注意力特征的确定过程与上述第一注意力特征的确定过程相一致，此部分不再进行赘述。
S202：基于所述第一注意力特征以及所述第二注意力特征，确定出第三注意力特征。
该步骤中，根据第一注意力特征以及第二注意力特征，确定出第三注意力特征。
其中，第三注意力特征为合成图像特征向量的注意力特征。
在一种可能的实施方式之中，所述基于所述第一注意力特征以及所述第二注意力特征，确定出第三注意力特征，包括：
a：基于所述第一隐特征的查询向量以及所述第二隐特征的键向量进行注意力计算，确定出所述第一人脸框与所述第二人脸框之间的交叉注意力特征。
这里，根据第一隐特征的查询向量以及第二隐特征的键向量进行注意力计算，确定出第一人脸框与所述第二人脸框之间的交叉注意力特征。
其中，通过以下公式确定出交叉注意力特征：
其中，为交叉注意力特征，/>为第一隐特征的查询向量，/>为第二隐特征的键向量，/>为第一隐特征的值向量，/>为第二隐特征的值向量。
b：基于所述第一注意力特征、所述第二注意力特征以及所述交叉注意力特征合成出第三注意力特征；其中，所述第三注意力特征为所述合成图像特征向量的注意力特征。
这里，根据第一注意力特征、第二注意力特征以及交叉注意力特征合成出第三注意力特征。
其中，通过以下公式确定出第三注意力特征：
其中，为第三注意力特征，第一注意力特征为/>，第二注意力特征为/>，为交叉注意力特征，d为常数，T为预测次数。
S203：在对所述第一隐特征向量以及所述第二隐特征向量进行合成的过程中，基于所述第一注意力特征、所述第二注意力特征以及所述第三注意力特征对相对应的所述第一隐特征以及所述第二隐特征进行预设次数更新，确定出所述合成图像特征向量。
该步骤中，在对第一隐特征向量以及所述第二隐特征向量进行合成的过程中，根据第一注意力特征、第二注意力特征以及第三注意力特征对相对应的第一隐特征以及第二隐特征进行预设次数更新，确定出合成图像特征向量。
在一种可能的实施方式之中，在对所述第一隐特征向量以及所述第二隐特征向量进行合成的过程中，基于所述第一注意力特征、所述第二注意力特征以及所述第三注意力特征对相对应的所述第一隐特征以及所述第二隐特征进行预设次数更新，确定出所述合成图像特征向量
i：基于所述第一注意力特征对所述第一隐特征进行更新，得到更新后的第一隐特征。
这里，根据第一注意力特征对第一隐特征进行更新得到更新后的第一隐特征。
ii：基于所述第二注意力特征对所述第二隐特征进行更新，得到更新后的第二隐特征。
这里，根据第二注意力特征对第二隐特征进行更新得到更新后的第二隐特征。
iii：基于更新后的第一隐特征以及更新后的第二隐特征进行合成，生成合成图像特征，基于所述第三注意力特征对所述合成图像特征进行更新，得到后的合成图像特征。
这里，根据更新后的第一隐特征以及更新后的第二隐特征进行合成，生成合成图像特征，根据第三注意力特征对合成图像特征进行更新得到后的合成图像特征。
这里，关于利用更新后的第一隐特征以及更新后的第二隐特征进行合成，生成合成图像特征的过程利用现有技术中任意技术手段均可实现，此部分不再进行赘述。
iv：直至对所述第一隐特征、所述第二隐特征以及所述合成图像特征的更新满足预设次数后停止更新，确定出所述合成图像特征向量。
这里，直至对第一隐特征、第二隐特征以及合成图像特征的更新满足预设次数后停止更新，确定出合成图像特征向量。
其中，在合成过程当中，对步骤中第一隐特征/>和第二隐特征/>以及合成图像特征/>进行下一步的更新：
其中，为t步骤下的第一隐特征，/>为在t步骤的基础上经过一次处理后的第一隐特征，第一注意力特征为/>，/>为t步骤下的第二隐特征，/>为在t步骤的基础上经过一次处理后的第二隐特征，第二注意力特征为/>，/>为第三注意力特征，/>为t步骤下的合成图像特征，/>为在t步骤的基础上经过一次处理后的合成图像特征，其中，/>。
S104：若所述目标场景图像不符合预设的约束条件，则对所述第一隐特征向量以及所述第二隐特征向量进行迭代更新，直至确定出的所述目标场景图像满足所述约束条件时停止。
这里，若目标场景图像不符合预设的约束条件，则对第一隐特征向量以及第二隐特征向量进行迭代更新，直至确定出的目标场景图像满足约束条件时停止。
其中，约束条件为：
其中，为场景图像，目标人脸图像为/>，第一人脸框为/>，第二人脸框为/>，/>为目标场景图像，feat表示为对图像进行提取特征的操作，此处/>代表取区域交集。
本申请实施例提供的一种人脸图像替换方法，所述人脸图像替换方法包括：对包含脸部信息的场景图像以及目标人脸图像进行人脸检测，分别确定出所述场景图像之中的第一人脸框以及所述目标人脸图像之中的第二人脸框；将所述第二人脸框放置在所述场景图像的所述第一人脸框所在的位置后，确定出所述第一人脸框的第一隐特征向量以及所述第二人脸框的第二隐特征向量；通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像；其中，所述目标场景图像为将所述场景图像之中的脸部信息平滑替换成所述目标人脸图像的图像；若所述目标场景图像不符合预设的约束条件，则对所述第一隐特征向量以及所述第二隐特征向量进行迭代更新，直至确定出的所述目标场景图像满足所述约束条件时停止。通过对场景图像以及目标人脸图像进行求解得到隐特征向量，再对隐特征向量进行合成，并且在合成过程中掺杂注意力机制的特征，得到目标人脸图像，以使目标人脸图像平滑无痕迹的替换场景图像之中的脸部信息，提高合成图像的准确性。
请参阅图3，图3为本申请实施例所提供的一种人脸图像替换装置的结构示意图。如图3中所示，所述人脸图像替换装置300包括：
检测模块310，用于对包含脸部信息的场景图像以及目标人脸图像进行人脸检测，分别确定出所述场景图像之中的第一人脸框以及所述目标人脸图像之中的第二人脸框；
向量确定模块320，用于将所述第二人脸框放置在所述场景图像的所述第一人脸框所在的位置后，确定出所述第一人脸框的第一隐特征向量以及所述第二人脸框的第二隐特征向量；
生成模块330，用于通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像；其中，所述目标场景图像为将所述场景图像之中的脸部信息平滑替换成所述目标人脸图像的图像；
更新模块340，用于若所述目标场景图像不符合预设的约束条件，则对所述第一隐特征向量以及所述第二隐特征向量进行迭代更新，直至确定出的所述目标场景图像满足所述约束条件时停止。
进一步的，向量确定模块320通过以下步骤确定出所述第一隐特征向量：
对所述第一人脸框中每个像素值进行预设次数处理，确定出多个处理后的像素值；
基于随机微分方程以及随机噪声对多个处理后的像素值进行计算，确定出所述第一隐特征向量。
进一步的，所述通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像，包括：
通过所述注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行辅助合成，生成合成图像特征向量；
基于所述合成图像特征向量，生成所述目标场景图像。
进一步的，生成模块330在用于所述通过所述注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行辅助合成，生成合成图像特征向量时，生成模块330具体用于：
基于所述第一隐特征向量的多个第一隐特征、所述第二隐特征向量的多个第二隐特征以及投影矩阵，确定出每个所述第一隐特征的第一注意力特征以及每个所述第二隐特征的第二注意力特征；
基于所述第一注意力特征以及所述第二注意力特征，确定出第三注意力特征；
在对所述第一隐特征向量以及所述第二隐特征向量进行合成的过程中，基于所述第一注意力特征、所述第二注意力特征以及所述第三注意力特征对相对应的所述第一隐特征以及所述第二隐特征进行预设次数更新，确定出所述合成图像特征向量。
进一步的，生成模块330通过以下步骤确定出所述第一注意力特征：
基于所述投影矩阵之中的第一参数以及所述第一隐特征，确定出所述第一隐特征的查询向量；
基于所述投影矩阵之中的第二参数以及所述第一隐特征，确定出所述第一隐特征的键向量；
基于所述投影矩阵之中的第三参数以及所述第一隐特征，确定出所述第一隐特征的值向量；
基于所述注意力机制对所述查询向量、所述键向量以及所述值向量进行处理，确定出所述第一隐特征的所述第一注意力特征。
进一步的，所述基于所述第一注意力特征以及所述第二注意力特征，确定出第三注意力特征，包括：
基于所述第一隐特征的查询向量以及所述第二隐特征的键向量进行注意力计算，确定出所述第一人脸框与所述第二人脸框之间的交叉注意力特征；
基于所述第一注意力特征、所述第二注意力特征以及所述交叉注意力特征合成出第三注意力特征；其中，所述第三注意力特征为所述合成图像特征向量的注意力特征。
进一步的，生成模块330用于在对所述第一隐特征向量以及所述第二隐特征向量进行合成的过程中，基于所述第一注意力特征、所述第二注意力特征以及所述第三注意力特征对相对应的所述第一隐特征以及所述第二隐特征进行预设次数更新，确定出所述合成图像特征向量时，生成模块330具体用于：
基于所述第一注意力特征对所述第一隐特征进行更新得到，更新后的第一隐特征；
基于所述第二注意力特征对所述第二隐特征进行更新，得到更新后的第二隐特征；
基于更新后的第一隐特征以及更新后的第二隐特征进行合成，生成合成图像特征，基于所述第三注意力特征对所述合成图像特征进行更新，得到后的合成图像特征；
直至对所述第一隐特征、所述第二隐特征以及所述合成图像特征的更新满足预设次数后停止更新，确定出所述合成图像特征向量。
本申请实施例提供的一种人脸图像替换装置，所述人脸图像替换装置包括：检测模块，用于对包含脸部信息的场景图像以及目标人脸图像进行人脸检测，分别确定出所述场景图像之中的第一人脸框以及所述目标人脸图像之中的第二人脸框；向量确定模块，用于将所述第二人脸框放置在所述场景图像的所述第一人脸框所在的位置后，确定出所述第一人脸框的第一隐特征向量以及所述第二人脸框的第二隐特征向量；生成模块，用于通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像；其中，所述目标场景图像为将所述场景图像之中的脸部信息平滑替换成所述目标人脸图像的图像；更新模块，用于若所述目标场景图像不符合预设的约束条件，则对所述第一隐特征向量以及所述第二隐特征向量进行迭代更新，直至确定出的所述目标场景图像满足所述约束条件时停止。通过对场景图像以及目标人脸图像进行求解得到隐特征向量，再对隐特征向量进行合成，并且在合成过程中掺杂注意力机制的特征，得到目标人脸图像，以使目标人脸图像平滑无痕迹的替换场景图像之中的脸部信息，提高合成图像的准确性。
请参阅图4，图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示，所述电子设备400包括处理器410、存储器420和总线430。
所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图1以及图2所示方法实施例中的人脸图像替换方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1以及图2所示方法实施例中的人脸图像替换方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种人脸图像替换方法，其特征在于，所述人脸图像替换方法包括：
对包含脸部信息的场景图像以及目标人脸图像进行人脸检测，分别确定出所述场景图像之中的第一人脸框以及所述目标人脸图像之中的第二人脸框；
将所述第二人脸框放置在所述场景图像的所述第一人脸框所在的位置后，确定出所述第一人脸框的第一隐特征向量以及所述第二人脸框的第二隐特征向量；
通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像；其中，所述目标场景图像为将所述场景图像之中的脸部信息平滑替换成所述目标人脸图像的图像；
若所述目标场景图像不符合预设的约束条件，则对所述第一隐特征向量以及所述第二隐特征向量进行迭代更新，直至确定出的所述目标场景图像满足所述约束条件时停止；
所述通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像，包括：
通过所述注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行辅助合成，生成合成图像特征向量；
基于所述合成图像特征向量，生成所述目标场景图像；
其中，通过以下公式得到合成图像特征向量：
其中，为合成图像特征向量，第一隐特征向量为/>，第二隐特征向量为/>，第二人脸框为/>，第一人脸框为/>，/>表示/>服从标准正态分布；
其中，约束条件为：
其中，为场景图像，目标人脸图像为/>，第一人脸框为/>，第二人脸框为，/>为目标场景图像，feat表示为对图像进行提取特征的操作，此处/>代表取区域交集。
2.根据权利要求1所述的人脸图像替换方法，其特征在于，通过以下步骤确定出所述第一隐特征向量：
对所述第一人脸框中每个像素值进行预设次数处理，确定出多个处理后的像素值；
基于随机微分方程以及随机噪声对多个处理后的像素值进行计算，确定出所述第一隐特征向量。
3.根据权利要求1所述的人脸图像替换方法，其特征在于，所述通过所述注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行辅助合成，生成合成图像特征向量，包括：
基于所述第一隐特征向量的多个第一隐特征、所述第二隐特征向量的多个第二隐特征以及投影矩阵，确定出每个所述第一隐特征的第一注意力特征以及每个所述第二隐特征的第二注意力特征；
基于所述第一注意力特征以及所述第二注意力特征，确定出第三注意力特征；
在对所述第一隐特征向量以及所述第二隐特征向量进行合成的过程中，基于所述第一注意力特征、所述第二注意力特征以及所述第三注意力特征对相对应的所述第一隐特征以及所述第二隐特征进行预设次数更新，确定出所述合成图像特征向量。
4.根据权利要求3所述的人脸图像替换方法，其特征在于，通过以下步骤确定出所述第一注意力特征：
基于所述投影矩阵之中的第一参数以及所述第一隐特征，确定出所述第一隐特征的查询向量；
基于所述投影矩阵之中的第二参数以及所述第一隐特征，确定出所述第一隐特征的键向量；
基于所述投影矩阵之中的第三参数以及所述第一隐特征，确定出所述第一隐特征的值向量；
基于所述注意力机制对所述查询向量、所述键向量以及所述值向量进行处理，确定出所述第一隐特征的所述第一注意力特征。
5.根据权利要求3所述的人脸图像替换方法，其特征在于，所述基于所述第一注意力特征以及所述第二注意力特征，确定出第三注意力特征，包括：
基于所述第一隐特征的查询向量以及所述第二隐特征的键向量进行注意力计算，确定出所述第一人脸框与所述第二人脸框之间的交叉注意力特征；
基于所述第一注意力特征、所述第二注意力特征以及所述交叉注意力特征合成出第三注意力特征；其中，所述第三注意力特征为所述合成图像特征向量的注意力特征。
6.根据权利要求3所述的人脸图像替换方法，其特征在于，在对所述第一隐特征向量以及所述第二隐特征向量进行合成的过程中，基于所述第一注意力特征、所述第二注意力特征以及所述第三注意力特征对相对应的所述第一隐特征以及所述第二隐特征进行预设次数更新，确定出所述合成图像特征向量，包括：
基于所述第一注意力特征对所述第一隐特征进行更新，得到更新后的第一隐特征；
基于所述第二注意力特征对所述第二隐特征进行更新，得到更新后的第二隐特征；
基于更新后的第一隐特征以及更新后的第二隐特征进行合成，生成合成图像特征，基于所述第三注意力特征对所述合成图像特征进行更新，得到后的合成图像特征；
直至对所述第一隐特征、所述第二隐特征以及所述合成图像特征的更新满足预设次数后停止更新，确定出所述合成图像特征向量。
7.一种人脸图像替换装置，其特征在于，所述人脸图像替换装置包括：
检测模块，用于对包含脸部信息的场景图像以及目标人脸图像进行人脸检测，分别确定出所述场景图像之中的第一人脸框以及所述目标人脸图像之中的第二人脸框；
向量确定模块，用于将所述第二人脸框放置在所述场景图像的所述第一人脸框所在的位置后，确定出所述第一人脸框的第一隐特征向量以及所述第二人脸框的第二隐特征向量；
生成模块，用于通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像；其中，所述目标场景图像为将所述场景图像之中的脸部信息平滑替换成所述目标人脸图像的图像；
更新模块，用于若所述目标场景图像不符合预设的约束条件，则对所述第一隐特征向量以及所述第二隐特征向量进行迭代更新，直至确定出的所述目标场景图像满足所述约束条件时停止；
生成模块在用于所述通过注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行处理，生成目标场景图像时，生成模块具体用于：
通过所述注意力机制对所述第一隐特征向量以及所述第二隐特征向量进行辅助合成，生成合成图像特征向量；
基于所述合成图像特征向量，生成所述目标场景图像；
其中，通过以下公式得到合成图像特征向量：
其中，为合成图像特征向量，第一隐特征向量为/>，第二隐特征向量为/>，第二人脸框为/>，第一人脸框为/>，/>表示/>服从标准正态分布；
其中，约束条件为：
其中，为场景图像，目标人脸图像为/>，第一人脸框为/>，第二人脸框为，/>为目标场景图像，feat表示为对图像进行提取特征的操作，此处/>代表取区域交集。
8.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至6任一所述的人脸图像替换方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6任一所述的人脸图像替换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311474981.9A CN117201874B (zh) | 2023-11-08 | 2023-11-08 | 一种人脸图像替换方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311474981.9A CN117201874B (zh) | 2023-11-08 | 2023-11-08 | 一种人脸图像替换方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117201874A CN117201874A (zh) | 2023-12-08 |
| CN117201874B true CN117201874B (zh) | 2024-01-23 |
Family
ID=88989136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311474981.9A Active CN117201874B (zh) | 2023-11-08 | 2023-11-08 | 一种人脸图像替换方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117201874B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915414A (zh) * | 2020-08-31 | 2020-11-10 | 支付宝(杭州)信息技术有限公司 | 向目标用户展示目标对象序列的方法和装置 |
| CN112115188A (zh) * | 2020-11-20 | 2020-12-22 | 支付宝(杭州)信息技术有限公司 | 向目标用户展示目标对象序列的方法和装置 |
| CN112734634A (zh) * | 2021-03-30 | 2021-04-30 | 中国科学院自动化研究所 | 换脸方法、装置、电子设备和存储介质 |
| WO2023005161A1 (zh) * | 2021-07-27 | 2023-02-02 | 平安科技（深圳）有限公司 | 人脸图像相似度的计算方法、装置、设备及存储介质 |
| CN116823596A (zh) * | 2023-07-14 | 2023-09-29 | 南通嘉骏信息科技有限公司 | 一种驾驶状态图像数据集的增广方法、增广装置 |
-
2023
- 2023-11-08 CN CN202311474981.9A patent/CN117201874B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915414A (zh) * | 2020-08-31 | 2020-11-10 | 支付宝(杭州)信息技术有限公司 | 向目标用户展示目标对象序列的方法和装置 |
| CN112115188A (zh) * | 2020-11-20 | 2020-12-22 | 支付宝(杭州)信息技术有限公司 | 向目标用户展示目标对象序列的方法和装置 |
| CN112734634A (zh) * | 2021-03-30 | 2021-04-30 | 中国科学院自动化研究所 | 换脸方法、装置、电子设备和存储介质 |
| WO2023005161A1 (zh) * | 2021-07-27 | 2023-02-02 | 平安科技（深圳）有限公司 | 人脸图像相似度的计算方法、装置、设备及存储介质 |
| CN116823596A (zh) * | 2023-07-14 | 2023-09-29 | 南通嘉骏信息科技有限公司 | 一种驾驶状态图像数据集的增广方法、增广装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117201874A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200342576A1 (en) | Digital Image Completion by Learning Generation and Patch Matching Jointly | |
| US20200143171A1 (en) | Segmenting Objects In Video Sequences | |
| EP4207053A1 (en) | Occlusion detection model training method and facial image beautification method | |
| US9326675B2 (en) | Virtual vision correction for video display | |
| US20180260668A1 (en) | Harmonizing composite images using deep learning | |
| US20190251674A1 (en) | Deep-learning-based automatic skin retouching | |
| CN114820398B (zh) | 基于扩散模型的图片字体替换方法、系统、设备和介质 | |
| US11113609B2 (en) | Machine-learning system and method for identifying same person in genealogical databases | |
| Kaufmann et al. | Finite element image warping | |
| CN108830780A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| WO2023035531A1 (zh) | 文本图像超分辨率重建方法及其相关设备 | |
| US11978216B2 (en) | Patch-based image matting using deep learning | |
| CN114782864B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| US20230100427A1 (en) | Face image processing method, face image processing model training method, apparatus, device, storage medium, and program product | |
| Zhou et al. | Enhancing detail preservation for customized text-to-image generation: A regularization-free approach | |
| JP2023543964A (ja) | 画像処理方法、画像処理装置、電子機器、記憶媒体およびコンピュータプログラム | |
| CN111292333B (zh) | 用于分割图像的方法和装置 | |
| CN113379877B (zh) | 人脸视频生成方法、装置、电子设备及存储介质 | |
| CN108734718B (zh) | 用于图像分割的处理方法、装置、存储介质及设备 | |
| CN117201874B (zh) | 一种人脸图像替换方法、装置、电子设备及存储介质 | |
| AU2019200269B2 (en) | An interactive user interface and its corresponding engine for improving image completion quality | |
| CN111784726A (zh) | 人像抠图方法和装置 | |
| CN108520259A (zh) | 一种前景目标的提取方法、装置、设备及存储介质 | |
| CN114219877A (zh) | 人像头发流动特效处理方法、装置、介质和电子设备 | |
| CN114298227A (zh) | 文本去重方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |