CN111027465A - 一种基于光照迁移的视频人脸替换方法 - Google Patents
一种基于光照迁移的视频人脸替换方法 Download PDFInfo
- Publication number
- CN111027465A CN111027465A CN201911247743.8A CN201911247743A CN111027465A CN 111027465 A CN111027465 A CN 111027465A CN 201911247743 A CN201911247743 A CN 201911247743A CN 111027465 A CN111027465 A CN 111027465A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- facea
- video
- faceb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 53
- 238000013508 migration Methods 0.000 title claims abstract description 41
- 230000005012 migration Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012546 transfer Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000014509 gene expression Effects 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 7
- 230000001172 regenerating effect Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 claims description 2
- 210000004709 eyebrow Anatomy 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 13
- 210000000887 face Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于光照迁移的视频人脸替换方法，包括：步骤1、人脸侦测和识别，首先将换脸视频中的被换目标人脸faceA定位，识别人脸特征值，定位人脸的多个关键点，确定人脸的角度偏移信息；接下来对替换人脸faceB进行定位，识别人脸特征值，进行人脸的多个关键点检测；步骤2、确定变换矩阵,对换脸视频的人脸信息进行定位与侦测，并进行特征提取，提取特征featureA，找出faceA转换到featureA的所需扭曲变换的矩阵transferA；步骤3、人脸替换，对faceB进行基于transferA的变换，把faceB还原到换脸视频的拍摄角度下，形成新的人脸信息featureB,使用featureB对featureA进行替换；步骤4、光照迁移，运用光照迁移算法，得到视频人脸替换的最终结果。本发明可广泛应用推广到计算机视觉、视觉设计、数字娱乐和电影制片等中。
Description
技术领域
本发明属于可视计算、计算机视觉领域，特别是人脸替换方法，具体地说是一种基于光照迁移的视频人脸替换方法。
背景技术
Cycle GAN是所有人脸转换尝试中早期尝试。在对抗性生成式网络(GANs)的风潮中，大家发现只要给定源类别的样本和目标类别的样本，GANs可以便捷地学习到两个类别之间的转换关系，就天然地适用于图像到图像转换问题，比如同一张风景照的冬天到夏天、一匹马到一匹斑马；Cycle GAN核心思路在于，如果能从源转换到目标、还能从源转换回来，就可以认为模型很好地学习到了两个类别间的转换关系，也更好地保证了转换后的图像的品质。不过Cycle GAN的转换效果针对的是两个不同类别间的，不能实现视频人脸的转换。
Face2Face借助dlib和OpenCV，首先人脸检测器检测出源图片中的人脸、找到人脸上的关键标记点，然后再使用针对人脸的pix2pix转换模型把关键标记点转换为目标人脸图像。但它的侧脸角度的转换效果不好，且换完脸后的肤色差异较大。
三星莫斯科AI研究中心联合斯科尔科沃科学技术研究所在2019年5月发表的一篇论文中提出给定一张人脸图像，可以根据给定的动作让图中的人做出表情，不仅是真人的照片，甚至可以让油画中的人自然地开口说话，但不能将视频人脸中的多个人脸进行表情变换及五官变换。
发明内容
本发明要解决技术问题为：克服现有AI换脸方法的不足，提供一种基于光照迁移的视频人脸替换方法，该方法能够高效的实现视频中目标人脸替换成指定人脸，而且具有还原两人面部的能力，使替换以后的人脸可以生动地模仿原来的动作和表情。并且结合光照迁移算法，大大改善了换脸后人物面部的光照效果，使换脸效果更加自然。
本发明采用的技术方案为：一种基于光照迁移的视频人脸替换方法，将光照迁移和人脸替换算法相结合，实现人脸交换，不同于Photoshop等软件，本发明利用两个面部之间的共同点，通过搭建神经网络来学习人脸，使替换以后的脸可以生动地模仿原来的动作和表情。首先通过人脸检测算法来实现人脸关键点定位，提取特征，然后利用人脸替换算法将视频中的目标人脸替换成参考人脸，最后利用光照迁移算法将视频中目标人脸的光照迁移到换脸后的面部图像上，得到光照迁移后的人脸替换视频。该方法很容易通过软件实现，本发明可广泛应用推广到计算机视觉、视觉设计、数字娱乐和电影制片等中。实现步骤如下：
一种基于光照迁移的视频人脸替换方法，包括以下步骤：
步骤1、人脸侦测和识别，首先将换脸视频中的被换目标人脸faceA定位，识别人脸特征值，定位人脸的关键点，确定人脸的角度偏移信息；接下来对替换人脸faceB进行定位，识别人脸特征值，进行人脸的关键点检测；
步骤2、确定变换矩阵,对换脸视频的人脸信息进行定位与侦测，并进行特征提取，提取特征featureA，然后用featureA与faceA对比，找出faceA转换到featureA的所需扭曲变换的矩阵transferA；
步骤3、人脸替换，对faceB进行基于transferA的变换，把faceB还原到换脸视频的拍摄角度下，形成新的人脸信息featureB,使用featureB对featureA进行替换，对于视频中的每一帧信息重复以上操作直至结束；
步骤4、光照迁移，运用光照迁移算法，基于人脸替换结果，将换脸视频里人脸faceA的光照状态迁移到替换人脸图像faceB上，得到视频人脸替换的最终结果。
进一步的，步骤(1)所述人脸侦测和识别采取以下步骤：
步骤(11)、通过人脸检测器检测出图像中人脸的位置；
步骤(12)、检测出人脸之后，接下来进行人脸关键点定位；
步骤(13)、根据人脸关键点坐标计算人脸的角度，通过旋转，缩放和平移得到摆正后的人脸及对应的人脸轮廓。
进一步的，所述人脸关键点至少包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓点。
进一步的，步骤(2)确定变换矩阵，具体采取以下步骤：
步骤(21)、将faceA的特征信息设为faetureA；
步骤(22)、用featureA与faceA对比，找出faceA转换到featureA的所需扭曲变换的矩阵。
进一步的，步骤(3)所述的人脸替换采取以下步骤：
步骤(31)、将faceA图像输入神经网络中，将其压缩并重新编码，然后从这个编码中解码重新生成原始的输入数据faceA图像；
步骤(32)、将faceB图像输入神经网络中，将其压缩并重新编码，然后从这个编码中解码重新生成原始的输入数据faceB图像；
步骤(33)、将faceA图像放入神经网络中，将其压缩并重新编码，用faceB的解码器从faceA编码器中解码以生成具有faceB五官信息和faceA表情信息的结果图像，使用搭建的神经网络学习人脸，faceB替换以后的结果人脸用于模仿原来的faceA的表情。
步骤(34)、对于视频中的每一帧信息重复以上操作直至结束。
进一步的，步骤(4)所述的光照迁移采取以下步骤：
步骤(41)、将换脸视频里人脸faceA的光照按照光照迁移算法迁移到结果图像；所述光照迁移算法公式如下：
其中，p为图像像素点；R为光照迁移后的结果图像，Rs为结果图像的结构层；I为步骤(3)得到的换脸后的图像，Is为换脸后的图像的结构层；ε为被替换视频中faceA的面部图像，εs为被替换视频中faceA面部图像的结构层；β为光照迁移参数，设定为30；C1为面部图像的皮肤区域；
若输入面部图像，即换脸后的图像的皮肤结构层像素的值不大于参考面部图像，即换脸视频中faceA的面部图像的皮肤结构层，则保留输入面部图像皮肤结构层像素的值为结果图像皮肤结构层像素值；否则，将输入面部图像皮肤结构层像素的值与参考面部图像皮肤结构层像素的值的差值以设定的参数比例保留到结果图像皮肤结构层像素值；
步骤(42)、将输出结果图像分离的结构层、皮肤细节层、色彩层合并回图像CIELAB色彩空间；
步骤(43)、将CIELAB色彩空间下的输出结果图像转化为RGB色彩空间下的图像，得到最终基于光照迁移的视频人脸替换结果。
本发明的原理在于：
根据目前AI换脸方案的缺陷和不足，总结出设计基于光照迁移的视频人脸替换方法的一些规则，如下所述：
(1)在人脸识别方法中，第一个环节是对人脸做预处理，算法必须首先能识别出人脸，而现有技术的人脸检测算法，对面部角度要求比较高，必须是全脸，如果脸的角度比较偏就无法识别，也就无法换脸；因此，必须添加对人脸的手动识别过程，并对人脸的关键点进行标注；
(2)在人脸转换效果上，现有技术的人脸替换算法的人脸转换效果不够好，它依赖于换脸者与被换脸者的面部相似度，导致差异较大的两者替换效果较差。针对转换问题，必须引入生成对抗网络Gan，类似Cycle-Gan这样框架可以进行无监督的语义转换；
(3)在人脸替换部位上，现有技术的算法仅截取了人脸的中间部分，下巴还有额头都没有在训练图片之内，因此还有较大的提高空间；
(4)在人脸替换后期处理上，目前的人脸算法只能实现人脸面部五官的迁移和表情的迁移，替换后的人脸面部肤色、光照等差异性较大。因此，必须利用光照迁移算法将替换后的结果图像进行简单重光照，使替换效果更自然。
根据上述规则，本发明将光照迁移和人脸替换算法相结合，设计了一种新的基于光照迁移的视频人脸替换方案。在该方案中，利用两个面部之间的共同点，通过搭建神经网络来学习人脸，使替换以后的脸可以生动地模仿原来的动作和表情。首先通过人脸检测算法来实现人脸关键点定位，提取特征，对于未检测到的人脸，采用手动识别人脸，并对人脸的68个关键点进行标注。然后利用人脸替换算法将视频中的目标人脸替换成参考人脸，最后利用光照迁移算法将视频中目标人脸的光照迁移到换脸后的面部图像上，得到光照迁移后的人脸替换视频。实验分析表明基于光照迁移的视频人脸替换方法，能够实现效果较好的人脸替换视频。
本发明与现有的技术相比，其优势在于：
(1)本发明的方法在表情迁移的基础上可以实现五官的迁移替换，且融合效果较好；
(2)本发明的方法在人脸识别过程中通过关键点的检测和标点、以及对于部分未检测到或者标记不准的关键点进行手动补充检测及标点，实现了人脸检测的全覆盖，有效的解决了因人脸识别导致的视频抖动问题；
(3)将光照迁移应用到人脸替换中，较好的解决了替换后人脸面部肤色、光照等的差异，使视频人脸替换效果更加自然。
附图说明
图1是本发明应用场景图；
图2是本发明技术方案的流程图。
具体实施方式：
下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和图2所示，本发明方法具体实现如下：
步骤1、人脸侦测和识别过程：
将含有被换脸faceA的视频定位并识别到其中的人脸特征值，定位人脸的68个关键点，确定人脸的角度偏移信息。接下来对替换人脸faceB执行相同操作，即通过人脸检测器检测出图像中人脸的位置；检测出人脸之后，接下来进行人脸关键点定位，得到人脸68个关键点的坐标位置；对于部分关键点进行手动补充检测及标点实现了人脸检测的全覆盖；根据人脸关键点坐标计算人脸的角度，通过旋转，缩放和平移得到摆正后的人脸及对应的人脸轮廓。
步骤2、确定变换矩阵
对换脸视频的人脸信息进行定位与侦测，并进行特征提取，提取特征featureA，然后用featureA与faceA对比，找出faceA转换到featureA的所需扭曲变换的矩阵transferA；
步骤3、人脸替换过程：
将faceA图像输入神经网络中，将其压缩并重新编码，然后从这个编码中解码重新生成原始的输入数据faceA图像；将faceB图像输入神经网络中，使其压缩成一个小的编码，然后从这个编码中解码重新生成原始的输入数据faceB图像；
将faceA图像放入神经网络中，将其压缩并重新编码，用faceB的解码器从faceA编码器中解码以生成具有faceB五官信息和faceA表情信息的结果图像，使用搭建的神经网络来学习人脸，faceB替换以后的结果人脸可以生动地模仿原来的faceA的表情。
利用数字图像处理技术。将替换后的人脸与原图背景(人物)做融合处理，包括消边、模糊、融合等。
步骤4、光照迁移过程：
如图1和图2所示，本发明定义如下公式实现光照迁移：
在结构层，将换脸视频里人脸(faceA)的光照按照光照迁移算法迁移到结果图像；所述光照迁移算法公式如下：
其中，p为图像像素点；R为光照迁移后的结果图像，Rs为结果图像的结构层；I为步骤(3)得到的换脸后的图像，Is为换脸后的图像的结构层；ε为被替换视频中faceA的面部图像，εs为被替换视频中faceA面部图像的结构层；β为光照迁移参数，本发明设定为30；C1为面部图像的皮肤区域；
若输入面部图像(换脸后的图像)皮肤结构层像素的值不大于参考面部图像(被替换视频中faceA的面部图像)皮肤结构层，则保留输入面部图像皮肤结构层像素的值为结果图像皮肤结构层像素值；否则，将输入面部图像皮肤结构层像素的值与参考面部图像皮肤结构层像素的值的差值以设定的参数比例保留到结果图像皮肤结构层像素值；然后将输出结果图像分离的结构层、皮肤细节层、色彩层合并回图像CIELAB色彩空间；最后将CIELAB色彩空间下的输出结果图像转化为RGB色彩空间下的图像，得到最终基于光照迁移的视频人脸替换结果。
总之，本发明中提出的一种基于光照迁移的视频人脸替换方法，能够高效的实现视频中目标人脸替换成指定人脸，该方法利用两个面部之间的共同点，通过搭建神经网络来学习人脸，而且具有还原两人面部的能力，使替换以后的人脸可以生动地模仿原来的动作和表情。利用光照迁移算法将视频中目标人脸的光照迁移到换脸后的面部图像上，大改善了换脸后人物面部的光照效果，使换脸效果更加自然。该方法很容易通过软件实现，本发明可广泛应用推广到计算机视觉、视觉设计、数字娱乐和电影制片等中。
以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。
Claims (6)
1.一种基于光照迁移的视频人脸替换方法，其特征在于，包括以下步骤：
步骤1、人脸侦测和识别，首先将换脸视频中的被换目标人脸faceA定位，识别人脸特征值，定位人脸的关键点，确定人脸的角度偏移信息；接下来对替换人脸faceB进行定位，识别人脸特征值，进行人脸的关键点检测；
步骤2、确定变换矩阵，对换脸视频的人脸信息进行定位与侦测，并进行特征提取，提取特征featureA，然后用featureA与faceA对比，找出faceA转换到featureA的所需扭曲变换的矩阵transferA；
步骤3、人脸替换，对faceB进行基于transferA的变换，把faceB还原到换脸视频的拍摄角度下，形成新的人脸信息featureB,使用featureB对featureA进行替换，对于视频中的每一帧信息重复以上操作直至结束；
步骤4、光照迁移，运用光照迁移算法，基于人脸替换结果，将换脸视频里人脸faceA的光照状态迁移到替换人脸图像faceB上，得到视频人脸替换的最终结果。
2.根据权利要求1所述的基于光照迁移的视频人脸替换方法，其特征在于：步骤(1)所述人脸侦测和识别采取以下步骤：
步骤(11)、通过人脸检测器检测出图像中人脸的位置；
步骤(12)、检测出人脸之后，接下来进行人脸关键点定位；
步骤(13)、根据人脸关键点坐标计算人脸的角度，通过旋转，缩放和平移得到摆正后的人脸及对应的人脸轮廓。
3.根据权利要求2所述的基于光照迁移的视频人脸替换方法，其特征在于：
所述人脸关键点至少包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓点。
4.根据权利要求1所述的基于光照迁移的视频人脸替换方法，其特征在于：步骤(2)确定变换矩阵，具体采取以下步骤：
步骤(21)、将faceA的特征信息设为featureA；
步骤(22)、用featureA与faceA对比，找出faceA转换到featureA的所需扭曲变换的矩阵。
5.根据权利要求1所述的基于光照迁移的视频人脸替换方法，其特征在于：步骤(3)所述的人脸替换采取以下步骤：
步骤(31)、将faceA图像输入神经网络中，将其压缩并重新编码，然后从这个编码中解码重新生成原始的输入数据faceA图像；
步骤(32)、将faceB图像输入神经网络中，将其压缩并重新编码，然后从这个编码中解码重新生成原始的输入数据faceB图像；
步骤(33)、将faceA图像放入神经网络中，将其压缩并重新编码，用faceB的解码器从faceA编码器中解码以生成具有faceB五官信息和faceA表情信息的结果图像，使用搭建的神经网络学习人脸，faceB替换以后的结果人脸用于模仿原来的faceA的表情；
步骤(34)、对于视频中的每一帧信息重复以上操作直至结束。
6.根据权利要求1所述的基于光照迁移的视频人脸替换方法，其特征在于：步骤(4)所述的光照迁移采取以下步骤：
步骤(41)、将换脸视频里人脸faceA的光照按照光照迁移算法迁移到结果图像；所述光照迁移算法公式如下：
其中，p为图像像素点；R为光照迁移后的结果图像，Rs为结果图像的结构层；I为步骤(3)得到的换脸后的图像，Is为换脸后的图像的结构层；ε为被替换视频中faceA的面部图像，εs为被替换视频中faceA面部图像的结构层；β为光照迁移参数，设定为30；C1为面部图像的皮肤区域；
若输入面部图像，即换脸后的图像的皮肤结构层像素的值不大于参考面部图像，即换脸视频中faceA的面部图像的皮肤结构层，则保留输入面部图像皮肤结构层像素的值为结果图像皮肤结构层像素值；否则，将输入面部图像皮肤结构层像素的值与参考面部图像皮肤结构层像素的值的差值以设定的参数比例保留到结果图像皮肤结构层像素值；
步骤(42)、将输出结果图像分离的结构层、皮肤细节层、色彩层合并回图像CIELAB色彩空间；
步骤(43)、将CIELAB色彩空间下的输出结果图像转化为RGB色彩空间下的图像，得到最终基于光照迁移的视频人脸替换结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911247743.8A CN111027465A (zh) | 2019-12-09 | 2019-12-09 | 一种基于光照迁移的视频人脸替换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911247743.8A CN111027465A (zh) | 2019-12-09 | 2019-12-09 | 一种基于光照迁移的视频人脸替换方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111027465A true CN111027465A (zh) | 2020-04-17 |
Family
ID=70204788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911247743.8A Pending CN111027465A (zh) | 2019-12-09 | 2019-12-09 | 一种基于光照迁移的视频人脸替换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111027465A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814660A (zh) * | 2020-07-07 | 2020-10-23 | 集美大学 | 一种图像识别方法、终端设备及存储介质 |
| CN112132743A (zh) * | 2020-09-27 | 2020-12-25 | 上海科技大学 | 可自适应光照的视频换脸方法 |
| CN112489144A (zh) * | 2020-12-14 | 2021-03-12 | Oppo（重庆）智能科技有限公司 | 图像处理方法、图像处理装置、终端设备及存储介质 |
| CN112752147A (zh) * | 2020-09-04 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置和存储介质 |
| CN113627404A (zh) * | 2021-10-12 | 2021-11-09 | 中国科学院自动化研究所 | 基于因果推断的高泛化人脸替换方法、装置和电子设备 |
| CN113947794A (zh) * | 2021-10-22 | 2022-01-18 | 浙江大学 | 基于头部姿态偏差校正的伪造换脸增强检测方法 |
| CN113989868A (zh) * | 2020-07-10 | 2022-01-28 | 广州数字空间网络科技有限公司 | 一种脸部数据的交换方法 |
| CN115065863A (zh) * | 2022-06-14 | 2022-09-16 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、电子设备及存储介质 |
| WO2023016137A1 (zh) * | 2021-08-10 | 2023-02-16 | 腾讯科技（深圳）有限公司 | 脸部图像处理方法、装置、设备以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069746A (zh) * | 2015-08-23 | 2015-11-18 | 杭州欣禾圣世科技有限公司 | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 |
| CN106599817A (zh) * | 2016-12-07 | 2017-04-26 | 腾讯科技（深圳）有限公司 | 一种人脸替换方法及装置 |
| CN109949216A (zh) * | 2019-04-19 | 2019-06-28 | 中共中央办公厅电子科技学院(北京电子科技学院) | 一种基于面部解析和光照迁移的复杂妆容迁移方法 |
| CN110148081A (zh) * | 2019-03-25 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、图像处理方法、装置及存储介质 |
-
2019
- 2019-12-09 CN CN201911247743.8A patent/CN111027465A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069746A (zh) * | 2015-08-23 | 2015-11-18 | 杭州欣禾圣世科技有限公司 | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 |
| CN106599817A (zh) * | 2016-12-07 | 2017-04-26 | 腾讯科技（深圳）有限公司 | 一种人脸替换方法及装置 |
| CN110148081A (zh) * | 2019-03-25 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、图像处理方法、装置及存储介质 |
| CN109949216A (zh) * | 2019-04-19 | 2019-06-28 | 中共中央办公厅电子科技学院(北京电子科技学院) | 一种基于面部解析和光照迁移的复杂妆容迁移方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814660A (zh) * | 2020-07-07 | 2020-10-23 | 集美大学 | 一种图像识别方法、终端设备及存储介质 |
| CN113989868A (zh) * | 2020-07-10 | 2022-01-28 | 广州数字空间网络科技有限公司 | 一种脸部数据的交换方法 |
| CN112752147A (zh) * | 2020-09-04 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置和存储介质 |
| CN112132743A (zh) * | 2020-09-27 | 2020-12-25 | 上海科技大学 | 可自适应光照的视频换脸方法 |
| CN112132743B (zh) * | 2020-09-27 | 2023-06-20 | 上海科技大学 | 可自适应光照的视频换脸方法 |
| CN112489144A (zh) * | 2020-12-14 | 2021-03-12 | Oppo（重庆）智能科技有限公司 | 图像处理方法、图像处理装置、终端设备及存储介质 |
| WO2023016137A1 (zh) * | 2021-08-10 | 2023-02-16 | 腾讯科技（深圳）有限公司 | 脸部图像处理方法、装置、设备以及存储介质 |
| CN113627404A (zh) * | 2021-10-12 | 2021-11-09 | 中国科学院自动化研究所 | 基于因果推断的高泛化人脸替换方法、装置和电子设备 |
| CN113947794A (zh) * | 2021-10-22 | 2022-01-18 | 浙江大学 | 基于头部姿态偏差校正的伪造换脸增强检测方法 |
| CN113947794B (zh) * | 2021-10-22 | 2024-07-05 | 浙江大学 | 基于头部姿态偏差校正的伪造换脸增强检测方法 |
| CN115065863A (zh) * | 2022-06-14 | 2022-09-16 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、电子设备及存储介质 |
| CN115065863B (zh) * | 2022-06-14 | 2024-04-12 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027465A (zh) | 一种基于光照迁移的视频人脸替换方法 | |
| CN111401384B (zh) | 一种变电设备缺陷图像匹配方法 | |
| CN112887698B (zh) | 基于神经辐射场的高质量人脸语音驱动方法 | |
| CN110544251B (zh) | 基于多迁移学习模型融合的大坝裂缝检测方法 | |
| CN110543846B (zh) | 一种基于生成对抗网络的多姿态人脸图像正面化方法 | |
| Lin | Face detection in complicated backgrounds and different illumination conditions by using YCbCr color space and neural network | |
| CN112766160A (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN108537743A (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| US11308678B1 (en) | Systems and methods for generating cartoon images from images | |
| CN109657612B (zh) | 一种基于人脸图像特征的质量排序系统及其使用方法 | |
| CN110472519A (zh) | 一种基于多模型的人脸活体检测方法 | |
| WO2024109374A1 (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| Khan et al. | An efficient sign language translator device using convolutional neural network and customized ROI segmentation | |
| CN111476710A (zh) | 基于移动平台的视频换脸方法及系统 | |
| WO2022160773A1 (zh) | 基于虚拟样本的行人重识别方法 | |
| CN112487981A (zh) | 基于双路分割的ma-yolo动态手势快速识别方法 | |
| CN107169508A (zh) | 一种基于融合特征的旗袍图像情感语义识别方法 | |
| CN111241963A (zh) | 基于交互建模的第一人称视角视频交互行为识别方法 | |
| CN115830652B (zh) | 一种深度掌纹识别装置及方法 | |
| CN113436198A (zh) | 一种协同图像超分辨率重建的遥感图像语义分割方法 | |
| CN113052783A (zh) | 一种基于人脸关键点的人脸图像融合方法 | |
| Ma et al. | Feature extraction for visual speaker authentication against computer-generated video attacks | |
| CN109902730A (zh) | 基于深度学习的输电线路断股检测方法 | |
| CN111950496A (zh) | 一种蒙面人身份识别方法 | |
| CN114944002B (zh) | 文本描述辅助的姿势感知的人脸表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200417 |