CN112766215A - 人脸融合方法、装置、电子设备及存储介质 - Google Patents
人脸融合方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112766215A CN112766215A CN202110129763.6A CN202110129763A CN112766215A CN 112766215 A CN112766215 A CN 112766215A CN 202110129763 A CN202110129763 A CN 202110129763A CN 112766215 A CN112766215 A CN 112766215A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- face image
- target
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 41
- 239000000463 material Substances 0.000 claims abstract description 222
- 238000012545 processing Methods 0.000 claims abstract description 112
- 230000004927 fusion Effects 0.000 claims abstract description 77
- 238000007499 fusion processing Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 23
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
本公开实施例提供的人脸融合方法、装置、电子设备及存储介质，由于利用素材人脸关键点和目标人脸关键点构建了基准人脸关键点，而通过该基准人脸关键点可对目标人脸图像和素材人脸图像分别进行图像形变处理，以便于将形变后的图像进行融合，这样的方式获得的融合图像能够提升融合过程中的图像稳定性，使得素材人脸图像和目标人脸图像中的人脸在融合后的纹理较为流畅，提升了融合图像的视觉效果。
Description
技术领域
本公开实施例涉及计算机领域，尤其涉及一种人脸融合方法、装置、电子设备及存储介质。
背景技术
人脸融合是一种在终端上具有广泛应用的图像处理技术。
在现有的人脸融合处理过程中，处理设备会将用户上传的人脸图像与预先制作好的素材图像进行图像融合处理，以将人脸图像中的人脸以素材图像的风格进行展示。
现有的人脸融合一般是利用素材图像作为底图，将上传的人脸图像中的人脸直接覆盖在底图上，形成融合人脸图像。但是，由于素材图像与人脸图像的人脸构图的差异，获得的融合人脸图像中的人脸无法很好与素材图像进行匹配，使得获得的融合人脸图像的图像纹理差异较大，真实程度不高，融合效果较差。
发明内容
针对上述问题，本公开实施例拱了一种人脸融合方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种人脸融合方法，包括：
获得待融合的目标人脸图像，并得到所述待融合的目标人脸图像的目标人脸关键点；
获取素材人脸图像，并得到所述素材人脸图像的素材人脸关键点；
根据所述素材人脸关键点和目标人脸关键点之间的相对位置，获得基准人脸关键点；
利用所述基准人脸关键点，对所述目标人脸图像和所述素材人脸图像分别进行形变处理，获得形变后的目标人脸图像以及形变后的素材人脸图像；
对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
第二方面，本公开提供了一种人脸融合装置，包括：
人脸关键点获取模块，用于对获得的待融合的目标人脸图像进行识别，得到所述待融合的目标人脸图像的目标人脸关键点；以及对获取的素材人脸图像进行识别，得到所述素材人脸图像的素材人脸关键点；
处理模块，用于根据所述素材人脸关键点和目标人脸关键点之间的相对位置，获得基准人脸关键点；以及利用所述基准人脸关键点，对所述目标人脸图像和所述素材人脸图像分别进行形变处理，获得形变后的目标人脸图像以及形变后的素材人脸图像；以及
融合模块，用于对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的涉及所述的人脸融合方法。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的人脸融合方法。
本公开实施例提供的人脸融合方法、装置、电子设备及存储介质，由于利用素材人脸关键点和目标人脸关键点构建了基准人脸关键点，而通过该基准人脸关键点可对目标人脸图像和素材人脸图像分别进行图像形变处理，以便于将形变后的图像进行融合，这样的方式获得的融合图像能够提升融合过程中的图像稳定性，使得素材人脸图像和目标人脸图像中的人脸在融合后的纹理较为流畅，提升了融合图像的视觉效果。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开所基于的一种网络架构的示意图；
图2为本公开实施例提供的一种人脸融合方法的流程示意图；
图3为对人脸图像进行人脸关键点检测得到的人脸关键点的示意图；
图4为本公开实施例提供的另一种人脸融合方法的流程示意图；
图5为一种人脸角度的示意图；
图6为本公开实施例提供的人脸融合装置的结构框图；
图7为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
人脸融合是一种在终端上具有广泛应用的图像处理技术。
在现有的人脸融合处理过程中，处理设备会将用户上传的人脸图像与预先制作好的素材图像进行图像融合处理，以将人脸图像中的人脸以素材图像的风格进行展示。
具体来说，将获得待融合图像的人脸关键点以及作为底图的素材图像的人脸关键点之后，将待融合图像的人脸关键点以及该人脸关键点相应的人脸区域，形变至素材图像的人脸关键点所在的人脸区域上，得到人脸融合图。
也就是说，现有的人脸融合是将上传的人脸图像中的人脸直接以素材图像人脸为基准，将人脸图像覆盖在底图上形成融合人脸图像。
但是，由于素材图像与人脸图像的人脸构图的差异，在素材图像和待融合的人脸图像中，当两者图像中的人脸关键点的位置差异较大时，采用现有的人脸融合方法会使得需要融合的人脸区域与不需要融合的非人脸区域的图像纹理差异较大，真实程度不高，融合效果较差。
针对这样的问题，根据本公开的实施例，可在现有的融合处理的基础上，增加中间人脸关键点，即利用素材人脸图像中的素材人脸关键点以及目标人脸图像中的目标人脸关键点先构建基准人脸关键点。该基准人脸关键点可用对原始的素材人脸图像的原始的目标人脸图像先进行图像形变处理，再对形变处理后的图像进行融合。由于通过这样的方式获得的融合图像，使得获得的在融合后的融合区边缘的纹理较为流畅和自然，融合图像的视觉效果得到有效提升。
参考图1，图1为本公开所基于的一种网络架构的示意图，该图1所示网络架构具体可包括至少一个终端1以及服务器2。
其中，终端1具体可为用户手机、智能家居设备、平板电脑、可穿戴设备等可用于拍摄实景并且展现拍摄的实景的硬件设备，其终端1内可集成或安装有人脸融合装置，该人脸融合装置为用于执行本公开人脸融合方法硬件或软件，该人脸融合装置可为终端1提供增强现实显示的展示页面，并且，终端1利用其屏幕或显示组件向用户显示人脸融合装置所提供的增强现实显示的展示页面。
服务器2可具体为设置在云端的服务器或者服务器集群，其服务器或服务器集群中可存储有与本公开提供的人脸融合方法相关的素材人脸图像的图像数据，如素材人脸图像的配置文件等。
具体的，在执行本公开提供的人脸融合方法时，人脸融合装置还可利用终端1的网络组件与服务器2进行交互，获取服务器2中存储的素材人脸图像的图像数据，并进行相应的处理和展示。
图1所示架构可适用于信息呈现领域，换句话说，其可用于在各类应用下的人脸融合场景的呈现。
本公开提供的人脸融合方法可应用于基于换脸特效、虚拟人像生成等场景。
其中，换脸特效是指广泛应用于一些视频类应用的人脸置换的特效，通过本公开提供的人脸融合方法可将用户提供的图像中的脸换到其他人或其他模特的身上等，以向用户提供换脸特效的视频玩法。
虚拟人像生成是指广泛应用于一些游戏类应用或影视后期制作应用中的特效，通过本公开提供的人脸融合方法可将用户提供的图像中的脸动态的融合至预设的虚拟人像中，以得到具有用户面部特征的虚拟人像。
下面将针对本公开提供的人脸融合方法进行进一步说明：
第一方面，图2为本公开实施例提供的一种人脸融合方法的流程示意图。参考图2，本公开实施例提供的人脸融合方法，包括：
步骤101、获得待融合的目标人脸图像，并得到所述待融合的目标人脸图像的目标人脸关键点；
步骤102、获取素材人脸图像及所述素材人脸图像的素材人脸关键点；
步骤103、根据所述素材人脸关键点和目标人脸关键点，获得基准人脸关键点；
步骤104、利用所述基准人脸关键点，对所述目标人脸图像和所述素材人脸图像分别进行形变处理，获得形变后的目标人脸图像以及形变后的素材人脸图像；
步骤105、对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
需要说明的是，本实施例的提供的人脸融合方法的执行主体为前述的人脸融合装置，在本公开的一些实施例中，其具体指代的可安装或集成在终端上的客户端。用户可通过终端，将待融合的目标人脸图像上传至客户端中的人脸融合装置，以供人脸融合装置执行本公开提供的人脸融合方法。
其中，上述的步骤101和步骤102的执行顺序，本公开对此不进行限制。即，上述步骤101可先执行，步骤102顺序执行；或者，步骤102先执行，步骤101顺序执行；有或者，步骤101和步骤102可同步执行。
具体来说，在步骤101中，本公开涉及到的待融合的目标人脸图像可为预先存储在终端中的，用户可从图像存储库中选中的具有人脸的待融合的目标人脸图像，以上传至人脸融合装置中。
或者，用户还可直接调用终端的拍摄模组，以对自己的面部或其他人的面部进行拍摄，在获得拍摄的人脸图像后可将该人脸图像作为待融合的目标人脸图像上传至人脸融合装置中。
又或者，待融合的目标人脸图像还可以为对预先存储的或拍摄模组获取的图像进行预处理后得到的图像。
人脸融合装置在获得该目标人脸图像之后，将调用人脸关键点检测算法，以获得该目标人脸图像的目标人脸关键点。人脸关键点检测算法是一种用于对给定的人脸图像进行关键点定位的算法，图3为对人脸图像进行人脸关键点检测得到的人脸关键点的示意图，如图3所示的，人脸关键点具体可包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓区域的点，这些点可用于表示图像中人脸在各个部位的特征，该特征包括但不限于位置。随着深度学习技术的发展，基于各类神经网络算法，可有效且准确的从人脸图像中识别出人脸关键点。在本公开中，基于人脸关键点检测算，可对待融合的目标人脸图像进行计算，得到该待融合的目标人脸图像的目标人脸关键点。
具体来说，在本公开的步骤102中，素材人脸图像是预存在图1所示的服务器中的。开发人员可预先采集得到符合融合条件或人脸显示形态的素材人脸图像，并将这些素材人脸图像存储在服务器中。
当终端在用户的控制下执行该人脸融合方法时，可基于用户的控制从服务器中接收到用户选中的素材人脸图像的相关数据，该相关数据中包括但不限于素材人脸图像的图像数据，还包括对素材人脸图像进行融合所需要的包括网格参数等在内的配置文件。
可选的，服务器可预先对素材人脸图像进行基于人脸关键点检测算法的处理，以得到相应的素材人脸关键点。随后，将素材人脸图像以及相应的素材人脸关键点一并存储在服务器中。当然，在存储时，素材人脸关键点可存储在素材人脸图像相应的配置文件中，以供融合时一并下发至终端并进行使用。通过这样的方式使得终端在进行人脸融合时不再需要对素材人脸图像进行关键点提取处理，而是直接从素材人脸图像的配置文件中获取相应的素材人脸关键点，从而有效提高了处理效率。
需要说明的是，步骤101和步骤102中，对待融合的目标人脸图像和素材人脸图像所采用的人脸关键点检测算法为相同的检测算法步骤101和步骤102中得到的目标人脸关键点与素材人脸关键点也是相应的，即目标人脸关键点和素材人脸关键点在相同的面部部位将采用相同类型和数量的点进行表示。
步骤103中，为了能够使得人脸图像得到更好的融合效果，本公开实施方式中，可首先确定基准人脸关键点，以作为后续对图像进行形变处理的基础；即，人脸融合装置会利用所述基准人脸关键点，对所述目标人脸图像和所述素材人脸图像分别进行形变处理，获得形变后的目标人脸图像以及形变后的素材人脸图像。
而对于基准人脸关键点的确定可基于各人脸关键点在其各自图像上的坐标实现。一般来说，不同图像的坐标系是不同的，为了可对于不同图像上的关键点进行统一运算，首先可基于像素坐标系对于人脸图像进行坐标统一，以便后续实现用户的目标人脸与素材人脸轮廓和五官的对齐。
下面将以对将素材人脸图像的素材人脸坐标为参考坐标系为例，对如何获得基准人脸关键点进行说明：
人脸融合装置可将目标人脸关键点的坐标Ps，从目标人脸图像所在的原始人脸坐标系映射至素材人脸图像所在的素材人脸坐标，得到所述目标人脸关键点在素材人脸坐标下的映射坐标Pst。
其中，对于坐标的映射可采用如下方式：
获取从所述原始人脸坐标系变换至所述素材人脸坐标的最优仿射变换矩阵M；通过所述最优仿射变换矩阵M将所述目标人脸关键点的坐标Ps变换至素材人脸坐标下的映射坐标Pst。其中，最优仿射变换矩阵M用于实现是通过若干相对应的关键点Ps和关键点Pt计算求取的。
仿射变化具体可包括对于坐标系上的坐标进行坐标平移处理、坐标旋转处理、坐标放缩处理、坐标剪切处理、坐标反射处理等处理。但是，无论是变化前还是变化后，位于相同坐标系下的多个点彼此之间是不发生变化的；即，点的坐标变化是取决于坐标系本身的变化，而上述的最优仿射变换矩阵M则可用于表示坐标系变化。基于此，通过目标人脸关键点Ps以及素材人脸关键点Pt之间的对应关系，即可计算得到最优仿射变换矩阵M。
通过最优仿射变换矩阵M变换能够对用户人脸图像的关键点进行整体的最优变换，但变换至素材人脸坐标下的用户人脸图像关键点的细节仍与素材人脸图像存在误差。为了提升算法的稳定性，还需要通过目标人脸关键点在素材人脸坐标下的坐标Pst和素材人脸关键点坐标Pt进行加权处理，确定基准人脸关键点的坐标，即：对所述目标人脸关键点在素材人脸坐标下的映射坐标Pst，以及所述素材人脸关键点在素材人脸坐标下的坐标Pt进行坐标加权处理，得到处理后的坐标为基准人脸关键点在素材人脸坐标下的坐标Pm，作为人脸图像对齐的参考基准。
进一步的，Pm＝Pst*a+Pt*b，且a+b＝1；其中a和b为权值参数，其具体可基于经验确定。可选的，在实际使用时可配置有a＝b＝0.5，即加权处理具体可为均值处理。
在步骤104中，当获得基准人脸关键点Pm之后，人脸融合装置会将目标人脸图像，根据目标人脸关键点Ps形变至基准人脸关键点Pm，得到形变后的目标人脸图像Is；还会将素材人脸图像，根据素材人脸关键点Pt形变至基准人脸关键点Pm，得到形变后的素材人脸图像It。
在形变处理时，人脸融合装置需要对所述目标人脸图像进行形变处理，以使目标人脸关键点Ps与基准人脸关键点对齐Pm，得到形变后的目标人脸图像Is；以及，对所述素材人脸图像进行形变处理，以使所述素材人脸关键点Pt与所述基准人脸关键点Pm对齐，得到形变后的素材人脸图像It。其中，对于目标人脸图像和素材人脸图像的形变处理可同步执行，也可异步执行。当其异步执行时，其执行顺序不进行任何限制。
示例性地，在形变时可通过人脸的三角网格进行目标人脸图像及素材人脸图像的形变。此时形变后的目标人脸图像Is和形变后的素材人脸图像It皆为素材图大小,且二者的人脸轮廓与五官完全对齐。
最后的，在步骤105中，人脸融合装置还会对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
其中，图像融合处理可包括但不限于基于形变后的素材人脸图像的图像风格，对形变后的目标人脸图像进行图像风格的迁移融合。
具体的，图像融合可基于图像融合算法实现，图像融合算法包括但不限于泊松融合算法、拉普拉斯金字塔融合算法。在执行图像融合处理时，可基于至少一种融合算法实现。当融合算法为多种时，针对每一种融合算法可预置有相应的权重值，从而使得在利用每一种融合算法对图像进行融合处理得到多个融合结果时，可结合融合算法的权重值，对多个融合结果进行进一步处理，进而得到最终的融合后的人脸图像。
需要说明的是，为了保证融合处理时的图像稳定性，在融合处理时，还需要利用人脸掩膜，确定形变后的目标人脸图像以及形变后的素材人脸图像的待处理图像区域。
具体来说，利用所述基准人脸关键点，对预设的人脸掩膜进行形变处理，得到形变后的人脸掩膜；对形变后的人脸掩膜、所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
举例来说，当素材人脸图像为古风人物的人脸图像时，其图像中包括古风人物的人脸区域，以及非人脸区域；在融合时，可建立人脸掩膜，并利用该人脸掩膜在该古风人物的人脸图像将人脸区域作为本次融合的待处理图像区域，而非人脸区域则不进行处理。在融合时，可直接对于待处理图像区域进行处理，最终将经过融合处理后的人脸区域与未经过处理的非人脸区域进行整合，得到非人脸区域显示为古风人物，而人脸区域显示为目标人脸图像的融合后的人脸图像。
在其他示例中，上述的人脸掩膜还可仅包括部分人脸区域，该部分人脸区域可作为前述的待处理图像区域，而该部分人脸区域以外的其他区域则不进行处理。其中，部分人脸区域具体是指人脸区域中的部分区域，如人脸区域中除去眉毛区域之后的区域，或，人脸区域中除去眉毛区域以及额头区域之后的区域。通过采用部分人脸区域作为人脸掩膜所指示的待处理图像区域，能够使得在融合时，将容易导致融合效果较差的区域去除掉，以提高融合效果。当然，上述区域的选取可结合实际需求而定，本公开仅对其进行示例性描述，并不限定其范围。
在上述实施方式的基础上，为了进一步提高图像融合时的稳定性，本实施例中所执行处理的待融合的目标人脸图像和素材人脸图像均为人的正脸图像。而为了得到人的正脸图像，在前述实施方式的基础上，还将对于目标人脸图像进行判定，以使得用于融合的图像均为人的正脸图像。
图4为本公开实施例提供的另一种人脸融合方法的流程示意图。如图4所示的，该人脸融合方法包括：
步骤201、接收用户上传的人脸图像；
步骤202、计算所述人脸图像中的人脸角度，并根据所述人脸角度获得待融合的目标人脸图像。
步骤203、根据所述待融合的目标人脸图像，得到所述待融合的目标人脸图像的目标人脸关键点；
步骤204、获取素材人脸图像及所述素材人脸图像的素材人脸关键点；
步骤205、根据所述素材人脸关键点和目标人脸关键点，获得基准人脸关键点；
步骤206、利用所述基准人脸关键点，对所述目标人脸图像和所述素材人脸图像分别进行形变处理，获得形变后的目标人脸图像以及形变后的素材人脸图像；
步骤207、对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
前述实施例不同的是，本实施例中还包括有获取待融合的目标人脸图像的步骤(步骤201至步骤202)。其他步骤(步骤203至步骤207)与前述实施例类似，不再作赘述。
在本实施例中需要说明的是，为了使得融合后的人脸图像的融合效果较佳，待融合的目标人脸图像以及素材人脸图像均应为人正脸图像。
需要说明的是，素材人脸图像一般为预先设置在服务器中的，可直接选用包括人的正脸图像的素材以作为素材人脸图像。基于此，本实施例中不包括有对于素材人脸图像进行是否为人的正脸图像的判定。
而对于用户上传的人脸图像则需要相应的判定，即步骤201在获得用户上传的人脸图像之后，还将计算上传的人脸图像的人脸角度，并根据计算得到的人脸角度确定是否要使用该人脸图像作为待融合的目标人脸图像。
其中，当人脸角度小于第一阈值，则所述人脸图像为人正脸图像，此时可将所述人脸图像作为所述待融合的目标人脸图像；当人脸角度大于等于第一阈值，且小于第二阈值，则可对所述人脸图像进行转正处理，以使转正处理后的人脸图像中的人脸角度小于所述第一阈值，此时，可将将所述转正处理后的人脸图像作为所述待融合的目标人脸图像；当人脸角度大于第二阈值，则所述人脸图像不为人正脸图像，此时，可向用户发送重新上传人脸图像的提示信息。
具体来说，图5为一种人脸角度的示意图，其中，人脸角度是人脸在三维空间中的角度，一般来说，人脸角度可基于三个不同维度的角度构成，即pitch(俯仰角-围绕X轴旋转)，yaw(偏航角-围绕Y轴旋转)以及roll(滚转角-围绕Z轴旋转)；其中，pitch维度用于表示人是否发生抬头或低头；yaw维度用于表示人是否摇头；而roll维度用于表示人是否转头。
参见图5，当yaw维度的角度或pitch维度的角度满足人正脸角度的要求时，无论roll维度的角度发生如何变化，图像中的人脸始终属于人正脸图像；而当yaw或pitch发生变化时，图像中的人脸则从正脸图像变为非正脸图像。
基于这一考虑，本实施例中在进行人的正脸图像判定时，可先计算出图像中的人脸角度，而该人脸角度可用三个维度的维度值进行表示。如，人脸角度[pitch，roll,yaw]；相应的，第一阈值和第二阈值也可用三个维度的维度区间值表示，如第一阈值[N1p，N1r,N1y]，第二阈值[N2p，N2r,N2y]。
如前所述的，当基于该三个维度的纬度值中的人脸角度yaw的绝对值小于第一阈值的yaw维度区间值N1y，且人脸角度pitch的绝对值小于第一阈值的pitch维度区间值N1p时，一般来说，图像中的人脸为正脸；
当人脸角度yaw的绝对值大于等于第一阈值的yaw维度区间值N1y，且小于第二阈值的yaw维度区间值N2y的同时，人脸角度pitch的绝对值大于等于第一阈值的pitch维度区间值N1p且小于第二阈值的pitch维度区间值N2p时，图像中的人脸为非正脸；
当人脸角度yaw的绝对值大于第二阈值的yaw维度区间值N2y时，图像中的人脸为侧脸；和/或，人脸角度pitch的绝对值大于第二阈值的pitch维度区间值N2p时，图像中的人脸为抬头或低头。
在上述不同情况中，当图像中的人脸为非正脸时，还可对于图像进行人脸转正处理，以得到图像中的人的正脸；当人脸为侧脸或抬头或低头时，提示用户重新上传人脸图像。
具体的，可利用预设的人脸模型对所述人脸图像进行三维建模处理，得到所述人脸图像的三维模型；对所述三维模型进行人脸角度旋转处理，并将处理后的三维模型渲染至二维图像上，得到转正处理后的人脸图像。转正处理后的人脸图像中的人脸角度小于所述第一阈值，即转正处理后的人脸图像中的人脸角度yaw的绝对值小于第一阈值的yaw维度区间值N1y，且人脸角度pitch的绝对值小于第一阈值的pitch维度区间值N1p。
通过上述方式，可使得待融合的目标人脸图像中的人脸为人正脸图像，便于后续的图像融合的稳定性，有利于获得融合效果较佳的人脸图像。
本公开实施例提供的人脸融合方法，由于利用素材人脸关键点和目标人脸关键点构建了基准人脸关键点，而通过该基准人脸关键点可对目标人脸图像和素材人脸图像分别进行图像形变处理，以便于将形变后的图像进行融合，这样的方式获得的融合图像能够提升融合过程中的图像稳定性，使得素材人脸图像和目标人脸图像中的人脸在融合后的纹理较为流畅，提升了融合图像的视觉效果。
对应于上文实施例的人脸融合方法，图6为本公开实施例提供的人脸融合装置的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图6，所述人脸融合装置包括：人脸关键点获取模块10、处理模块20、融合模块30。
人脸关键点获取模块10，用于获得待融合的目标人脸图像，并得到所述待融合的目标人脸图像的目标人脸关键点；以及获取素材人脸图像及所述素材人脸图像的素材人脸关键；
处理模块20，用于根据所述素材人脸关键点和目标人脸关键点，获得基准人脸关键点；以及利用所述基准人脸关键点，对所述目标人脸图像和所述素材人脸图像分别进行形变处理，获得形变后的目标人脸图像以及形变后的素材人脸图像；
融合模块30，用于对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
可选的，人脸关键点获取模块10在获得待融合的目标人脸图像时，具体用于接收用户上传的人脸图像；计算所述人脸图像中的人脸角度，并根据所述人脸角度获得待融合的目标人脸图像。
可选的，人脸关键点获取模块10执行根据所述人脸角度获得待融合的目标人脸图像时，具体用于：若所述人脸角度小于第一阈值，则将所述人脸图像作为所述待融合的目标人脸图像。
可选的，人脸关键点获取模块10执行根据所述人脸角度获得待融合的目标人脸图像时，具体用于：若所述人脸角度大于等于第一阈值，且小于第二阈值，则对所述人脸图像进行转正处理，以使转正处理后的人脸图像中的人脸角度小于所述第一阈值；将所述转正处理后的人脸图像作为所述待融合的目标人脸图像。
可选的，人脸关键点获取模块10执行根据所述人脸角度获得待融合的目标人脸图像时，具体用于：若所述人脸角度大于第二阈值，则向用户发送重新上传人脸图像的提示信息。
可选的，人脸关键点获取模块10在执行对所述人脸图像进行转正处理，具体用于：利用预设的人脸模型对所述人脸图像进行三维建模处理，得到所述人脸图像的三维模型；对所述三维模型进行人脸角度旋转处理，并将旋转处理后的三维模型渲染至二维图像上，得到转正处理后的人脸图像。
可选的，处理模块20在执行根据所述素材人脸关键点和目标人脸关键点，获得基准人脸关键点时，具体用于：将所述目标人脸关键点的坐标，从目标人脸图像所在的原始人脸坐标系映射至素材人脸图像所在的素材人脸坐标系，得到所述目标人脸关键点在素材人脸坐标系下的映射坐标；对所述映射坐标，以及所述素材人脸关键点在素材人脸坐标下的坐标进行坐标加权处理，得到所述人脸基准关键点。
可选的，坐标加权处理为坐标均值处理。
可选的，处理模块20具体用于：获取从所述原始人脸坐标系变换至所述素材人脸坐标的最优仿射变换矩阵；通过所述最优仿射变换矩阵将所述目标人脸关键点在所述原始人脸坐标系的坐标变换至素材人脸坐标下的映射坐标。
可选的，处理模块20具体用于：根据所述目标人脸关键点和所述素材人脸关键点之间的对应关系，计算得到所述最优仿射变换矩阵。
可选的，融合模块30具体用于对所述目标人脸图像进行形变处理，以使所述目标人脸关键点与所述基准人脸关键点对齐，得到形变后的目标人脸图像；以及，对所述素材人脸图像进行形变处理，以使所述素材人脸关键点与所述基准人脸关键点对齐，得到形变后的素材人脸图像。
可选的，融合模块30在执行对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像之前，还用于：利用所述基准人脸关键点，对预设的人脸掩膜进行形变处理，得到形变后的人脸掩膜；以及，对形变后的人脸掩膜、所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
本公开实施例提供的人脸融合装置，由于利用素材人脸关键点和目标人脸关键点构建了基准人脸关键点，而通过该基准人脸关键点可对目标人脸图像和素材人脸图像分别进行图像形变处理，以便于将形变后的图像进行融合，这样的方式获得的融合图像能够提升融合过程中的图像稳定性，使得素材人脸图像和目标人脸图像中的人脸在融合后的纹理较为流畅，提升了融合图像的视觉效果。
本实施例提供的电子设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
参考图7，其示出了适于用来实现本公开实施例的电子设备900的结构示意图，该电子设备900可以为终端设备或媒体库。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable MediaPlayer，简称PMP)、车载终端(例如车载导航终端)、可穿戴电子设备等等的移动终端以及诸如数字TV、台式计算机、智能家居设备等等的固定终端。图7示出的电子设备仅仅是一个实施例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备900可以包括用于执行视频播放方法(例如中央处理器、图形处理器等)的处理器901，其可以根据存储在只读存储器(Read Only Memory，简称ROM)902中的程序或者从存储装置908加载到随机访问存储器(Random Access Memory，简称RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。视频播放方法901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶屏幕(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行根据本公开实施例所述的各流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM 902被安装。在该计算机程序被视频播放方法901执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或媒体库上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体实施例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以下是本公开的一些实施例。
第一方面，根据本公开的一个或多个实施例，一种人脸融合方法，包括：
获得待融合的目标人脸图像，并得到所述待融合的目标人脸图像的目标人脸关键点；
获取素材人脸图像及所述素材人脸图像的素材人脸关键点；
根据所述素材人脸关键点和目标人脸关键点，获得基准人脸关键点；
利用所述基准人脸关键点，对所述目标人脸图像和所述素材人脸图像分别进行形变处理，获得形变后的目标人脸图像以及形变后的素材人脸图像；
对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
可选的，所述获得待融合的目标人脸图像，包括：
接收用户上传的人脸图像；
计算所述人脸图像中的人脸角度，并根据所述人脸角度获得待融合的目标人脸图像。
可选的，所述根据所述人脸角度获得待融合的目标人脸图像，包括：
若所述人脸角度小于第一阈值，则将所述人脸图像作为所述待融合的目标人脸图像。
可选的，所述根据所述人脸角度获得待融合的目标人脸图像，包括：
若所述人脸角度大于等于第一阈值，且小于第二阈值，则对所述人脸图像进行转正处理，以使转正处理后的人脸图像中的人脸角度小于所述第一阈值；
将所述转正处理后的人脸图像作为所述待融合的目标人脸图像。
可选的，所述根据所述人脸角度获得待融合的目标人脸图像，包括：
若所述人脸角度大于第二阈值，则向用户发送重新上传人脸图像的提示信息。
可选的，所述对所述人脸图像进行转正处理，包括：
利用预设的人脸模型对所述人脸图像进行三维建模处理，得到所述人脸图像的三维模型；
对所述三维模型进行人脸角度旋转处理，并将旋转处理后的三维模型渲染至二维图像上，得到转正处理后的人脸图像。
可选的，所述根据所述素材人脸关键点和目标人脸关键点，获得基准人脸关键点，包括：
将所述目标人脸关键点的坐标，从目标人脸图像所在的原始人脸坐标系映射至素材人脸图像所在的素材人脸坐标系，得到所述目标人脸关键点在素材人脸坐标系下的映射坐标；
对所述映射坐标，以及所述素材人脸关键点在素材人脸坐标下的坐标进行坐标加权处理，得到所述人脸基准关键点。
可选的，所述坐标加权处理为坐标均值处理。
可选的，所述将所述目标人脸关键点的坐标，从目标人脸图像所在的原始人脸坐标系映射至素材人脸图像所在的素材人脸坐标系，得到所述目标人脸关键点在素材人脸坐标系下的映射坐标，包括：
获取从所述原始人脸坐标系变换至所述素材人脸坐标的最优仿射变换矩阵；
通过所述最优仿射变换矩阵将所述目标人脸关键点在所述原始人脸坐标系的坐标变换至素材人脸坐标下的映射坐标。
可选的，所述获取从所述原始人脸坐标系变换至所述素材人脸坐标的最优仿射变换矩阵，包括：
根据所述目标人脸关键点和所述素材人脸关键点之间的对应关系，计算得到所述最优仿射变换矩阵。
可选的，所述利用所述基准人脸关键点，对所述目标人脸图像和所述素材人脸图像分别进行形变处理，获得形变后的目标人脸图像以及形变后的素材人脸图像，包括：
对所述目标人脸图像进行形变处理，以使所述目标人脸关键点与所述基准人脸关键点对齐，得到形变后的目标人脸图像；以及，
对所述素材人脸图像进行形变处理，以使所述素材人脸关键点与所述基准人脸关键点对齐，得到形变后的素材人脸图像。
可选的，所述对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像之前，还包括：
利用所述基准人脸关键点，对预设的人脸掩膜进行形变处理，得到形变后的人脸掩膜；
相应的，对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像，包括：
对形变后的人脸掩膜、所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
第二方面，根据本公开的一个或多个实施例，一种人脸融合装置，包括：
人脸关键点获取模块，用于获得待融合的目标人脸图像，并得到所述待融合的目标人脸图像的目标人脸关键点；以及获取素材人脸图像及所述素材人脸图像的素材人脸关键；
处理模块，用于根据所述素材人脸关键点和目标人脸关键点，获得基准人脸关键点；以及利用所述基准人脸关键点，对所述目标人脸图像和所述素材人脸图像分别进行形变处理，获得形变后的目标人脸图像以及形变后的素材人脸图像；
融合模块，用于对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
可选的，人脸关键点获取模块在获得待融合的目标人脸图像时，具体用于接收用户上传的人脸图像；计算所述人脸图像中的人脸角度，并根据所述人脸角度获得待融合的目标人脸图像。
可选的，人脸关键点获取模块执行根据所述人脸角度获得待融合的目标人脸图像时，具体用于：若所述人脸角度小于第一阈值，则将所述人脸图像作为所述待融合的目标人脸图像。
可选的，人脸关键点获取模块执行根据所述人脸角度获得待融合的目标人脸图像时，具体用于：若所述人脸角度大于等于第一阈值，且小于第二阈值，则对所述人脸图像进行转正处理，以使转正处理后的人脸图像中的人脸角度小于所述第一阈值；将所述转正处理后的人脸图像作为所述待融合的目标人脸图像。
可选的，人脸关键点获取模块执行根据所述人脸角度获得待融合的目标人脸图像时，具体用于：若所述人脸角度大于第二阈值，则向用户发送重新上传人脸图像的提示信息。
可选的，人脸关键点获取模块在执行对所述人脸图像进行转正处理，具体用于：利用预设的人脸模型对所述人脸图像进行三维建模处理，得到所述人脸图像的三维模型；对所述三维模型进行人脸角度旋转处理，并将旋转处理后的三维模型渲染至二维图像上，得到转正处理后的人脸图像。
可选的，处理模块在执行根据所述素材人脸关键点和目标人脸关键点，获得基准人脸关键点时，具体用于：将所述目标人脸关键点的坐标，从目标人脸图像所在的原始人脸坐标系映射至素材人脸图像所在的素材人脸坐标系，得到所述目标人脸关键点在素材人脸坐标系下的映射坐标；对所述映射坐标，以及所述素材人脸关键点在素材人脸坐标下的坐标进行坐标加权处理，得到所述人脸基准关键点。
可选的，坐标加权处理为坐标均值处理。
可选的，处理模块具体用于：获取从所述原始人脸坐标系变换至所述素材人脸坐标的最优仿射变换矩阵；通过所述最优仿射变换矩阵将所述目标人脸关键点在所述原始人脸坐标系的坐标变换至素材人脸坐标下的映射坐标。
可选的，处理模块具体用于：根据所述目标人脸关键点和所述素材人脸关键点之间的对应关系，计算得到所述最优仿射变换矩阵。
可选的，融合模块具体用于对所述目标人脸图像进行形变处理，以使所述目标人脸关键点与所述基准人脸关键点对齐，得到形变后的目标人脸图像；以及，对所述素材人脸图像进行形变处理，以使所述素材人脸关键点与所述基准人脸关键点对齐，得到形变后的素材人脸图像。
可选的，融合模块在执行对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像之前，还用于：利用所述基准人脸关键点，对预设的人脸掩膜进行形变处理，得到形变后的人脸掩膜；以及，对形变后的人脸掩膜、所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
第三方面，根据本公开的一个或多个实施例，一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如前任一项所述的人脸融合方法。
第四方面，根据本公开的一个或多个实施例，一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如前任一项所述的人脸融合方法。
第五方面，根据本公开的一个或多个实施例，一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如前任一项所述的人脸融合方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的实施例形式。
Claims (14)
1.一种人脸融合方法，其特征在于，包括：
获得待融合的目标人脸图像，并得到所述待融合的目标人脸图像的目标人脸关键点；
获取素材人脸图像及所述素材人脸图像的素材人脸关键点；
根据所述素材人脸关键点和目标人脸关键点，获得基准人脸关键点；
利用所述基准人脸关键点，对所述目标人脸图像和所述素材人脸图像分别进行形变处理，获得形变后的目标人脸图像以及形变后的素材人脸图像；
对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
2.根据权利要求1所述的人脸融合方法，其特征在于，所述利用所述基准人脸关键点，对所述目标人脸图像和所述素材人脸图像分别进行形变处理，获得形变后的目标人脸图像以及形变后的素材人脸图像，包括：
对所述目标人脸图像进行形变处理，以使所述目标人脸关键点与所述基准人脸关键点对齐，得到形变后的目标人脸图像；以及，
对所述素材人脸图像进行形变处理，以使所述素材人脸关键点与所述基准人脸关键点对齐，得到形变后的素材人脸图像。
3.根据权利要求1所述的人脸融合方法，其特征在于，所述根据所述素材人脸关键点和目标人脸关键点，获得基准人脸关键点，包括：
将所述目标人脸关键点的坐标，从目标人脸图像所在的原始人脸坐标系映射至素材人脸图像所在的素材人脸坐标系，得到所述目标人脸关键点在素材人脸坐标系下的映射坐标；
对所述映射坐标以及所述素材人脸关键点在素材人脸坐标下的坐标进行坐标加权处理，得到所述人脸基准关键点。
4.根据权利要求3所述的人脸融合方法，其特征在于，所述坐标加权处理为坐标均值处理。
5.根据权利要求3所述的人脸融合方法，其特征在于，所述将所述目标人脸关键点的坐标，从目标人脸图像所在的原始人脸坐标系映射至素材人脸图像所在的素材人脸坐标系，得到所述目标人脸关键点在素材人脸坐标系下的映射坐标，包括：
获取从所述原始人脸坐标系变换至所述素材人脸坐标的最优仿射变换矩阵；
通过所述最优仿射变换矩阵将所述目标人脸关键点在所述原始人脸坐标系的坐标变换至素材人脸坐标下的映射坐标。
6.根据权利要求5所述的人脸融合方法，其特征在于，所述获取从所述原始人脸坐标系变换至所述素材人脸坐标的最优仿射变换矩阵，包括：
根据所述目标人脸关键点和所述素材人脸关键点之间的对应关系，计算得到所述最优仿射变换矩阵。
7.根据权利要求1所述的人脸融合方法，其特征在于，所述获得待融合的目标人脸图像，包括：
接收用户上传的人脸图像；
计算所述人脸图像中的人脸角度，并根据所述人脸角度获得待融合的目标人脸图像。
8.根据权利要求7所述的人脸融合方法，其特征在于，所述根据所述人脸角度获得待融合的目标人脸图像，包括：
若所述人脸角度小于第一阈值，则将所述人脸图像作为所述待融合的目标人脸图像；或者
若所述人脸角度大于等于第一阈值，且小于第二阈值，则对所述人脸图像进行转正处理，以使转正处理后的人脸图像中的人脸角度小于所述第一阈值；
将所述转正处理后的人脸图像作为所述待融合的目标人脸图像；或者
若所述人脸角度大于第二阈值，则向用户发送重新上传人脸图像的提示信息。
9.根据权利要求8所述的人脸融合方法，其特征在于，所述对所述人脸图像进行转正处理，包括：
利用预设的人脸模型对所述人脸图像进行三维建模处理，得到所述人脸图像的三维模型；
对所述三维模型进行人脸角度旋转处理，并将旋转处理后的三维模型渲染至二维图像上，得到转正处理后的人脸图像。
10.根据权利要求1-9任一项所述的人脸融合方法，其特征在于，所述对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像之前，还包括：
利用所述基准人脸关键点，对预设的人脸掩膜进行形变处理，得到形变后的人脸掩膜；
相应的，对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像，包括：
对形变后的人脸掩膜、所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
11.一种人脸融合装置，其特征在于，包括：
人脸关键点获取模块，用于获得待融合的目标人脸图像，并得到所述待融合的目标人脸图像的目标人脸关键点；以及获取素材人脸图像及所述素材人脸图像的素材人脸关键；
处理模块，用于根据所述素材人脸关键点和目标人脸关键点，获得基准人脸关键点；以及利用所述基准人脸关键点，对所述目标人脸图像和所述素材人脸图像分别进行形变处理，获得形变后的目标人脸图像以及形变后的素材人脸图像；以及
融合模块，用于对所述形变后的目标人脸图像以及形变后的素材人脸图像进行图像融合处理，获得融合后的人脸图像。
12.一种电子设备，其中，包括：
至少一个处理器；以及
存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-10任一项所述的人脸融合方法。
13.一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-10任一项所述的人脸融合方法。
14.一种计算机程序产品，包括计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-10任一项所述的人脸融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110129763.6A CN112766215A (zh) | 2021-01-29 | 2021-01-29 | 人脸融合方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110129763.6A CN112766215A (zh) | 2021-01-29 | 2021-01-29 | 人脸融合方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112766215A true CN112766215A (zh) | 2021-05-07 |
Family
ID=75703997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110129763.6A Pending CN112766215A (zh) | 2021-01-29 | 2021-01-29 | 人脸融合方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766215A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837925A (zh) * | 2021-09-02 | 2021-12-24 | 广州繁星互娱信息科技有限公司 | 人脸素材融合方法和装置、存储介质及电子设备 |
| CN114821717A (zh) * | 2022-04-20 | 2022-07-29 | 北京百度网讯科技有限公司 | 目标对象融合方法、装置、电子设备及存储介质 |
| WO2023143224A1 (zh) * | 2022-01-28 | 2023-08-03 | 北京字跳网络技术有限公司 | 特效图像生成方法、装置、设备及存储介质 |
Citations (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015090126A1 (zh) * | 2013-12-16 | 2015-06-25 | 北京天诚盛业科技有限公司 | 人脸特征的提取、认证方法及装置 |
| CN105374055A (zh) * | 2014-08-20 | 2016-03-02 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| EP3007431A1 (en) * | 2014-10-10 | 2016-04-13 | Thomson Licensing | Method for obtaining at least one high dynamic range image, and corresponding computer program product, and electronic device |
| WO2016195698A1 (en) * | 2015-06-05 | 2016-12-08 | Siemens Aktiengesellschaft | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation |
| CN106295530A (zh) * | 2016-07-29 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
| CN107146199A (zh) * | 2017-05-02 | 2017-09-08 | 厦门美图之家科技有限公司 | 一种人脸图像的融合方法、装置及计算设备 |
| CN107451950A (zh) * | 2016-05-30 | 2017-12-08 | 北京旷视科技有限公司 | 人脸图像生成方法、人脸识别模型训练方法及相应装置 |
| CN107507217A (zh) * | 2017-08-17 | 2017-12-22 | 北京觅己科技有限公司 | 证件照的制作方法、装置及存储介质 |
| CN107610202A (zh) * | 2017-08-17 | 2018-01-19 | 北京觅己科技有限公司 | 基于人脸图像替换的营销方法、设备及存储介质 |
| CN108198141A (zh) * | 2017-12-28 | 2018-06-22 | 北京奇虎科技有限公司 | 实现瘦脸特效的图像处理方法、装置及计算设备 |
| CN108447017A (zh) * | 2018-05-31 | 2018-08-24 | Oppo广东移动通信有限公司 | 人脸虚拟整容方法和装置 |
| CN108765272A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN108764180A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 人脸识别方法、装置、电子设备及可读存储介质 |
| CN109272579A (zh) * | 2018-08-16 | 2019-01-25 | Oppo广东移动通信有限公司 | 基于三维模型的美妆方法、装置、电子设备和存储介质 |
| CN109272543A (zh) * | 2018-09-21 | 2019-01-25 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
| WO2019024751A1 (zh) * | 2017-07-31 | 2019-02-07 | 腾讯科技（深圳）有限公司 | 一种面部表情合成方法、装置、电子设备及存储介质 |
| CN109325996A (zh) * | 2018-09-21 | 2019-02-12 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN109325437A (zh) * | 2018-09-17 | 2019-02-12 | 北京旷视科技有限公司 | 图像处理方法、装置和系统 |
| WO2019036866A1 (zh) * | 2017-08-21 | 2019-02-28 | 美的集团股份有限公司 | 控制方法、控制装置、智能镜子和计算机可读存储介质 |
| US20190066369A1 (en) * | 2017-08-31 | 2019-02-28 | Ulsee Inc. | Method and System for Quickly Generating a Number of Face Images Under Complex Illumination |
| CN109446892A (zh) * | 2018-09-14 | 2019-03-08 | 杭州宇泛智能科技有限公司 | 基于深度神经网络的人眼注意力定位方法及系统 |
| WO2019080488A1 (zh) * | 2017-10-27 | 2019-05-02 | 东南大学 | 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 |
| CN109726633A (zh) * | 2018-11-23 | 2019-05-07 | 成都品果科技有限公司 | 一种基于查找表激活函数的人脸关键点检测方法 |
| CN109819313A (zh) * | 2019-01-10 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置及存储介质 |
| CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
| CN109859098A (zh) * | 2019-01-15 | 2019-06-07 | 深圳市云之梦科技有限公司 | 人脸图像融合方法、装置、计算机设备及可读存储介质 |
| WO2019114405A1 (zh) * | 2017-12-13 | 2019-06-20 | 北京市商汤科技开发有限公司 | 视频识别及训练方法和装置、电子设备和介质 |
| WO2019128508A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110163832A (zh) * | 2019-05-24 | 2019-08-23 | 北京百度网讯科技有限公司 | 人脸融合方法、装置和终端 |
| WO2019161813A1 (zh) * | 2018-02-23 | 2019-08-29 | 清华-伯克利深圳学院筹备办公室 | 动态场景的三维重建方法以及装置和系统、服务器、介质 |
| CN110298229A (zh) * | 2019-04-29 | 2019-10-01 | 星河视效文化传播(北京)有限公司 | 视频图像处理方法及装置 |
| CN110443230A (zh) * | 2019-08-21 | 2019-11-12 | 北京百度网讯科技有限公司 | 人脸融合方法、装置以及电子设备 |
| WO2019218824A1 (zh) * | 2018-05-15 | 2019-11-21 | 腾讯科技（深圳）有限公司 | 一种移动轨迹获取方法及其设备、存储介质、终端 |
| CN110517214A (zh) * | 2019-08-28 | 2019-11-29 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| WO2019229524A2 (zh) * | 2018-05-31 | 2019-12-05 | 赛灵思公司 | 神经网络计算方法和系统及相应的双神经网络实现 |
| CN110544272A (zh) * | 2019-09-06 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 脸部跟踪方法、装置、计算机设备及存储介质 |
| CN110555796A (zh) * | 2019-07-24 | 2019-12-10 | 广州视源电子科技股份有限公司 | 图像调整方法、装置、存储介质以及设备 |
| CN110580677A (zh) * | 2018-06-08 | 2019-12-17 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
| CN110580733A (zh) * | 2018-06-08 | 2019-12-17 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
| CN110688948A (zh) * | 2019-09-26 | 2020-01-14 | 北京百度网讯科技有限公司 | 视频中人脸性别变换方法、装置、电子设备和存储介质 |
| WO2020019913A1 (zh) * | 2018-07-25 | 2020-01-30 | 腾讯科技（深圳）有限公司 | 一种人脸图像处理方法、装置及存储介质 |
| WO2020019618A1 (zh) * | 2018-07-27 | 2020-01-30 | 深圳市商汤科技有限公司 | 图像打光方法、装置、电子设备及存储介质 |
| WO2020034785A1 (zh) * | 2018-08-16 | 2020-02-20 | Oppo广东移动通信有限公司 | 三维模型处理方法和装置 |
| CN111062328A (zh) * | 2019-12-18 | 2020-04-24 | 中新智擎科技有限公司 | 一种图像处理方法、装置及智能机器人 |
| CN111080511A (zh) * | 2019-11-18 | 2020-04-28 | 杭州时光坐标影视传媒股份有限公司 | 一种端到端的高分辨率多特征提取的人脸交换方法 |
| CN111325823A (zh) * | 2020-02-05 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 人脸纹理图像的获取方法、装置、设备及存储介质 |
| WO2020140832A1 (zh) * | 2019-01-04 | 2020-07-09 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
| CN111444743A (zh) * | 2018-12-27 | 2020-07-24 | 北京奇虎科技有限公司 | 一种视频人像替换方法及装置 |
| CN111563855A (zh) * | 2020-04-29 | 2020-08-21 | 百度在线网络技术（北京）有限公司 | 图像处理的方法及装置 |
| CN111583280A (zh) * | 2020-05-13 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN111640055A (zh) * | 2020-05-22 | 2020-09-08 | 构范(厦门)信息技术有限公司 | 一种二维人脸图片变形方法及系统 |
| CN111696185A (zh) * | 2019-03-12 | 2020-09-22 | 北京奇虎科技有限公司 | 利用静态人脸图像生成动态表情图像序列的方法和装置 |
| WO2020199693A1 (zh) * | 2019-03-29 | 2020-10-08 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
| CN111833257A (zh) * | 2019-04-18 | 2020-10-27 | 北京安云世纪科技有限公司 | 视频动态换脸方法、装置、计算机设备及存储介质 |
| CN111861872A (zh) * | 2020-07-20 | 2020-10-30 | 广州市百果园信息技术有限公司 | 图像换脸方法、视频换脸方法、装置、设备和存储介质 |
| CN112257657A (zh) * | 2020-11-11 | 2021-01-22 | 网易（杭州）网络有限公司 | 脸部图像融合方法及装置、存储介质、电子设备 |
-
2021
- 2021-01-29 CN CN202110129763.6A patent/CN112766215A/zh active Pending
Patent Citations (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015090126A1 (zh) * | 2013-12-16 | 2015-06-25 | 北京天诚盛业科技有限公司 | 人脸特征的提取、认证方法及装置 |
| CN105374055A (zh) * | 2014-08-20 | 2016-03-02 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| EP3007431A1 (en) * | 2014-10-10 | 2016-04-13 | Thomson Licensing | Method for obtaining at least one high dynamic range image, and corresponding computer program product, and electronic device |
| WO2016195698A1 (en) * | 2015-06-05 | 2016-12-08 | Siemens Aktiengesellschaft | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation |
| CN107451950A (zh) * | 2016-05-30 | 2017-12-08 | 北京旷视科技有限公司 | 人脸图像生成方法、人脸识别模型训练方法及相应装置 |
| CN106295530A (zh) * | 2016-07-29 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
| CN107146199A (zh) * | 2017-05-02 | 2017-09-08 | 厦门美图之家科技有限公司 | 一种人脸图像的融合方法、装置及计算设备 |
| WO2019024751A1 (zh) * | 2017-07-31 | 2019-02-07 | 腾讯科技（深圳）有限公司 | 一种面部表情合成方法、装置、电子设备及存储介质 |
| CN107507217A (zh) * | 2017-08-17 | 2017-12-22 | 北京觅己科技有限公司 | 证件照的制作方法、装置及存储介质 |
| CN107610202A (zh) * | 2017-08-17 | 2018-01-19 | 北京觅己科技有限公司 | 基于人脸图像替换的营销方法、设备及存储介质 |
| WO2019036866A1 (zh) * | 2017-08-21 | 2019-02-28 | 美的集团股份有限公司 | 控制方法、控制装置、智能镜子和计算机可读存储介质 |
| US20190066369A1 (en) * | 2017-08-31 | 2019-02-28 | Ulsee Inc. | Method and System for Quickly Generating a Number of Face Images Under Complex Illumination |
| WO2019080488A1 (zh) * | 2017-10-27 | 2019-05-02 | 东南大学 | 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 |
| WO2019114405A1 (zh) * | 2017-12-13 | 2019-06-20 | 北京市商汤科技开发有限公司 | 视频识别及训练方法和装置、电子设备和介质 |
| WO2019128508A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108198141A (zh) * | 2017-12-28 | 2018-06-22 | 北京奇虎科技有限公司 | 实现瘦脸特效的图像处理方法、装置及计算设备 |
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| WO2019161813A1 (zh) * | 2018-02-23 | 2019-08-29 | 清华-伯克利深圳学院筹备办公室 | 动态场景的三维重建方法以及装置和系统、服务器、介质 |
| WO2019218824A1 (zh) * | 2018-05-15 | 2019-11-21 | 腾讯科技（深圳）有限公司 | 一种移动轨迹获取方法及其设备、存储介质、终端 |
| CN108764180A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 人脸识别方法、装置、电子设备及可读存储介质 |
| CN108447017A (zh) * | 2018-05-31 | 2018-08-24 | Oppo广东移动通信有限公司 | 人脸虚拟整容方法和装置 |
| CN108765272A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| WO2019229524A2 (zh) * | 2018-05-31 | 2019-12-05 | 赛灵思公司 | 神经网络计算方法和系统及相应的双神经网络实现 |
| CN110580677A (zh) * | 2018-06-08 | 2019-12-17 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
| CN110580733A (zh) * | 2018-06-08 | 2019-12-17 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
| WO2020019913A1 (zh) * | 2018-07-25 | 2020-01-30 | 腾讯科技（深圳）有限公司 | 一种人脸图像处理方法、装置及存储介质 |
| WO2020019618A1 (zh) * | 2018-07-27 | 2020-01-30 | 深圳市商汤科技有限公司 | 图像打光方法、装置、电子设备及存储介质 |
| WO2020034785A1 (zh) * | 2018-08-16 | 2020-02-20 | Oppo广东移动通信有限公司 | 三维模型处理方法和装置 |
| CN109272579A (zh) * | 2018-08-16 | 2019-01-25 | Oppo广东移动通信有限公司 | 基于三维模型的美妆方法、装置、电子设备和存储介质 |
| CN109446892A (zh) * | 2018-09-14 | 2019-03-08 | 杭州宇泛智能科技有限公司 | 基于深度神经网络的人眼注意力定位方法及系统 |
| CN109325437A (zh) * | 2018-09-17 | 2019-02-12 | 北京旷视科技有限公司 | 图像处理方法、装置和系统 |
| CN109272543A (zh) * | 2018-09-21 | 2019-01-25 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
| CN109325996A (zh) * | 2018-09-21 | 2019-02-12 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN109726633A (zh) * | 2018-11-23 | 2019-05-07 | 成都品果科技有限公司 | 一种基于查找表激活函数的人脸关键点检测方法 |
| CN111444743A (zh) * | 2018-12-27 | 2020-07-24 | 北京奇虎科技有限公司 | 一种视频人像替换方法及装置 |
| WO2020140832A1 (zh) * | 2019-01-04 | 2020-07-09 | 北京达佳互联信息技术有限公司 | 人脸三维重建方法、装置、电子设备及存储介质 |
| CN109819313A (zh) * | 2019-01-10 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置及存储介质 |
| CN109859098A (zh) * | 2019-01-15 | 2019-06-07 | 深圳市云之梦科技有限公司 | 人脸图像融合方法、装置、计算机设备及可读存储介质 |
| CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
| CN111696185A (zh) * | 2019-03-12 | 2020-09-22 | 北京奇虎科技有限公司 | 利用静态人脸图像生成动态表情图像序列的方法和装置 |
| WO2020199693A1 (zh) * | 2019-03-29 | 2020-10-08 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
| CN111833257A (zh) * | 2019-04-18 | 2020-10-27 | 北京安云世纪科技有限公司 | 视频动态换脸方法、装置、计算机设备及存储介质 |
| CN110298229A (zh) * | 2019-04-29 | 2019-10-01 | 星河视效文化传播(北京)有限公司 | 视频图像处理方法及装置 |
| CN110163832A (zh) * | 2019-05-24 | 2019-08-23 | 北京百度网讯科技有限公司 | 人脸融合方法、装置和终端 |
| WO2021012596A1 (zh) * | 2019-07-24 | 2021-01-28 | 广州视源电子科技股份有限公司 | 图像调整方法、装置、存储介质以及设备 |
| CN110555796A (zh) * | 2019-07-24 | 2019-12-10 | 广州视源电子科技股份有限公司 | 图像调整方法、装置、存储介质以及设备 |
| CN110443230A (zh) * | 2019-08-21 | 2019-11-12 | 北京百度网讯科技有限公司 | 人脸融合方法、装置以及电子设备 |
| CN110517214A (zh) * | 2019-08-28 | 2019-11-29 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN110544272A (zh) * | 2019-09-06 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 脸部跟踪方法、装置、计算机设备及存储介质 |
| CN110688948A (zh) * | 2019-09-26 | 2020-01-14 | 北京百度网讯科技有限公司 | 视频中人脸性别变换方法、装置、电子设备和存储介质 |
| CN111080511A (zh) * | 2019-11-18 | 2020-04-28 | 杭州时光坐标影视传媒股份有限公司 | 一种端到端的高分辨率多特征提取的人脸交换方法 |
| CN111062328A (zh) * | 2019-12-18 | 2020-04-24 | 中新智擎科技有限公司 | 一种图像处理方法、装置及智能机器人 |
| CN111325823A (zh) * | 2020-02-05 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 人脸纹理图像的获取方法、装置、设备及存储介质 |
| CN111563855A (zh) * | 2020-04-29 | 2020-08-21 | 百度在线网络技术（北京）有限公司 | 图像处理的方法及装置 |
| CN111583280A (zh) * | 2020-05-13 | 2020-08-25 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN111640055A (zh) * | 2020-05-22 | 2020-09-08 | 构范(厦门)信息技术有限公司 | 一种二维人脸图片变形方法及系统 |
| CN111861872A (zh) * | 2020-07-20 | 2020-10-30 | 广州市百果园信息技术有限公司 | 图像换脸方法、视频换脸方法、装置、设备和存储介质 |
| CN112257657A (zh) * | 2020-11-11 | 2021-01-22 | 网易（杭州）网络有限公司 | 脸部图像融合方法及装置、存储介质、电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| MIN, CHAOBO等: "Non-rigid infrared and visible image registration by enhanced affine transformation", 《PATTERN RECOGNITION》, vol. 106, pages 1 - 15 * |
| 张燕红: "基于卷积神经网络的人脸识别研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 6, pages 138 - 86 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837925A (zh) * | 2021-09-02 | 2021-12-24 | 广州繁星互娱信息科技有限公司 | 人脸素材融合方法和装置、存储介质及电子设备 |
| WO2023143224A1 (zh) * | 2022-01-28 | 2023-08-03 | 北京字跳网络技术有限公司 | 特效图像生成方法、装置、设备及存储介质 |
| CN114821717A (zh) * | 2022-04-20 | 2022-07-29 | 北京百度网讯科技有限公司 | 目标对象融合方法、装置、电子设备及存储介质 |
| CN114821717B (zh) * | 2022-04-20 | 2024-03-12 | 北京百度网讯科技有限公司 | 目标对象融合方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110766777B (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
| CN110058685B (zh) | 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质 | |
| KR102624635B1 (ko) | 메시징 시스템에서의 3d 데이터 생성 | |
| CN112766215A (zh) | 人脸融合方法、装置、电子设备及存储介质 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| CN111833461B (zh) | 一种图像特效的实现方法、装置、电子设备及存储介质 | |
| KR20220167323A (ko) | 메시징 시스템 내의 3d 데이터를 포함하는 증강 현실 콘텐츠 생성기들 | |
| CN111062981A (zh) | 图像处理方法、装置及存储介质 | |
| CN109754464B (zh) | 用于生成信息的方法和装置 | |
| CN112258653A (zh) | 弹性对象的渲染方法、装置、设备及存储介质 | |
| CN115690382B (zh) | 深度学习模型的训练方法、生成全景图的方法和装置 | |
| CN112348937A (zh) | 人脸图像处理方法及电子设备 | |
| CN107766803B (zh) | 基于场景分割的视频人物装扮方法、装置及计算设备 | |
| US11494961B2 (en) | Sticker generating method and apparatus, and medium and electronic device | |
| CN111818265B (zh) | 基于增强现实模型的交互方法、装置、电子设备及介质 | |
| CN113822965A (zh) | 图像渲染处理方法、装置和设备及计算机存储介质 | |
| CN109816791B (zh) | 用于生成信息的方法和装置 | |
| CN111275610A (zh) | 一种人脸变老图像处理方法及系统 | |
| CN107248138B (zh) | 虚拟现实环境中的人类视觉显著性预测方法 | |
| CN115984447A (zh) | 图像渲染方法、装置、设备和介质 | |
| CN114049403A (zh) | 一种多角度三维人脸重建方法、装置及存储介质 | |
| CN114596383A (zh) | 线条特效处理方法、装置、电子设备、存储介质及产品 | |
| CN113223128B (zh) | 用于生成图像的方法和装置 | |
| CN114723600A (zh) | 美妆特效的生成方法、装置、设备、存储介质和程序产品 | |
| CN112099712A (zh) | 人脸图像显示方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |