CN107330408A - 视频处理方法、装置、电子设备及存储介质 - Google Patents
视频处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN107330408A CN107330408A CN201710531790.XA CN201710531790A CN107330408A CN 107330408 A CN107330408 A CN 107330408A CN 201710531790 A CN201710531790 A CN 201710531790A CN 107330408 A CN107330408 A CN 107330408A
- Authority
- CN
- China
- Prior art keywords
- field picture
- target
- facial image
- image
- point set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000003672 processing method Methods 0.000 title abstract description 4
- 238000000034 method Methods 0.000 claims abstract description 59
- 230000001815 facial effect Effects 0.000 claims description 167
- 238000000605 extraction Methods 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000005611 electricity Effects 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种视频处理方法、装置、电子设备及存储介质，用于解决视频换脸时造成的便利性不足的问题，其中方法包括：对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像；对第一帧图像中的第一人脸图像进行特征点定位，得到第一特征点集合；在所述第一特征点集合中提取目标区域对应的目标特征点集合；根据所述目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像。实施本发明实施例，可提高操作的便利性。
Description
技术领域
本发明涉及数字视频处理技术领域，具体涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
随着网络和计算机技术的发展，人脸交换逐渐成为人们社交娱乐的新热点，多种具备换脸功能的应用被开发出来，为人们的娱乐生活带来了乐趣。
现有技术，往往通过对静态图片中人脸区域进行人脸识别，然后对原始图像的人脸区域进行抠图，并摆放到目标图像中，再进行人脸融合或自然化等处理将图像变得自然，实现对人脸的交换。然而，对于视频中的人物进行换脸时，先将视频拆分成一连串的帧图像，然后一张一张帧图像进行换脸后再合成视频，操作的便利性不足。
发明内容
本发明实施例提供一种视频处理方法、装置、电子设备及存储介质，用于解决视频换脸时分别对每张帧图像进行换脸再合成视频造成的便利性不足的技术问题。
本发明实施例第一方面提供一种视频处理方法，包括：
对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，所述M为大于1的整数；
对第一帧图像中的第一人脸图像进行特征点定位，得到第一特征点集合，所述第一帧图像为所述M个帧图像中除了第二帧图像之外的任一帧图像；
在所述第一特征点集合中提取目标区域对应的目标特征点集合；
根据所述目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像，所述第二输出帧图像为所述第二帧图像中的第一人脸图像与目标人脸图像进行换脸得到的图像。
结合本发明实施例第一方面，在本发明实施例第一方面的第一种可能的实现方式中，所述根据所述目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像，包括：
获取所述目标特征点集合对应的面部区域图像；
将所述面部区域图像与所述第二帧图像进行合成，得到所述第一输出帧图像。
结合本发明实施例第一方面或第一方面的第一种可能的实现方式，在本发明实施例第一方面的第二种可能的实现方式中，在所述根据所述目标特征点集合和第二输出帧图像进行合成之前，所述方法还包括：
对所述第二帧图像中的第一人脸图像进行特征点定位，得到第二特征点集合；
在预设人脸图像库中查找与所述第二特征点集合匹配的所述目标人脸图像。
结合本发明实施例第一方面的第二种可能的实现方式，在本发明实施例第一方面的第三种可能的实现方式中，在所述在预设人脸图像库中查找与所述第二特征点集合匹配的所述目标人脸图像之后，所述方法还包括：
将所述目标人脸图像进行预处理，得到目标帧图像，所述预处理至少包括脸部对齐处理、人脸图像增强和归一化；
将所述第二帧图像中的第一人脸图像替换为所述目标帧图像，得到所述第二输出帧图像。
结合本发明实施例第一方面或第一方面的第一种可能的实现方式，在本发明实施例第一方面的第四种可能的实现方式中，在所述第一特征点集合中提取目标区域对应的目标特征点集合之前，所述方法还包括：
对第三帧图像中的第一人脸图像进行特征点定位，得到第三特征点集合，所述第三帧图像为所述M个帧图像中第一帧图像的前一帧图像；
获取第二子特征集合和第三子特征集合的差异性，所述第二子特征集合对应所述第二特征点集合的参考区域，所述第三子特征集合对应所述第三特征点集合的所述参考区域；
当所述差异性大于预设差异阈值时，将所述第三子特征集合对应的区域作为所述目标区域。
本发明实施例第二方面提供一种视频处理装置，包括：
识别单元，用于对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，所述M为大于1的整数；
第一定位单元，用于对第一帧图像中的第一人脸图像进行特征点定位，得到第一特征点集合，所述第一帧图像为所述M个帧图像中除了第二帧图像之外的任一帧图像；
提取单元，用于在所述第一特征点集合中提取目标区域对应的目标特征点集合；
合成单元，用于根据所述目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像，所述第二输出帧图像为所述第二帧图像中的第一人脸图像与目标人脸图像进行换脸得到的图像。
结合本发明实施例第二方面，在本发明实施例第二方面的第一种可能的实现方式中，所述装置还包括：
第一获取单元，用于获取所述目标特征点集合对应的面部区域图像，由所述合成单元将所述面部区域图像与所述第二帧图像进行合成，得到所述第一输出帧图像。
结合本发明实施例第二方面或第二方面的第一种可能的实现方式，在本发明实施例第二方面的第二种可能的实现方式中，所述装置还包括：
第二定位单元，用于对所述第二帧图像中的第一人脸图像进行特征点定位，得到第二特征点集合；
查找单元，用于在预设人脸图像库中查找与所述第二特征点集合匹配的所述目标人脸图像。
结合本发明实施例第二方面的第二种可能的实现方式，在本发明实施例第二方面的第三种可能的实现方式中，所述装置还包括：
预处理单元，用于将所述目标人脸图像进行预处理，得到目标帧图像，所述预处理至少包括脸部对齐处理、人脸图像增强和归一化；
替换单元，用于将所述第一人脸图像替换为所述目标人脸图像，得到所述第二输出帧图像。
结合本发明实施例第二方面或第二方面的第一种可能的实现方式，在本发明实施例第二方面的第四种可能的实现方式中，所述装置还包括：
第三定位单元，用于对第三帧图像中的第一人脸图像进行特征点定位，得到第三特征点集合，所述第三帧图像为所述M个帧图像中第一帧图像的前一帧图像；
第二获取单元，用于获取第二子特征集合和第三子特征集合的差异性，所述第二子特征集合对应所述第二特征点集合的参考区域，所述第三子特征集合对应所述第三特征点集合的所述参考区域；当所述差异性大于预设差异阈值时，将所述第三子特征集合对应的区域作为所述目标区域。
本发明实施例第三方面提供了一种电子设备，包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本发明实施例第一方面提供的一种视频处理方法。
本发明实施例第四方面提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现本发明实施例第一方面提供的一种视频处理方法。
本发明实施例第五方面提供了一种应用程序，其中，该应用程序用于在运行时执行本发明实施例第一方面提供的一种视频处理方法。
本发明实施例中，对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，只对包含第一人脸图像的帧图像进行特征点定位得到第一特征点集合，可提高提取效率。任取一个包含第一人脸图像的帧图像作为第二帧图像，将第二帧图像与目标人脸图像进行换脸得到第二输出帧图像，提取M个帧图像中除了第二帧图像之外的所有帧图像中的目标特征集合对应的图像，并分别与第二输出帧图像进行合成，从而提高了输出视频的趣味性，且不需根据每张帧图像的人脸特征进行换脸操作，提高了操作的便利性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种视频处理方法的流程图；
图2是本发明实施例提供的一种人脸交换的示意图；
图3是本发明实施例提供的一种人脸交换方法的示意图；
图4是本发明实施例提供的一种人脸特征点定位的示意图；
图5是本发明实施例提供的一种目标特征集合提取图像的示意图；
图6是本发明实施例提供的另一种视频处理方法的流程图；
图7是本发明实施例提供的一种视频处理装置的结构图；
图8是本发明实施例提供的另一种视频处理装置的结构图；
图9是本发明实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明实施例所描述的电子设备可以包括智能手机(如Android手机)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID，Mobile Internet Devices)或穿戴式设备等电子设备，设备仅是举例，而非穷举，包含但不限于电子设备。
本发明实施例提供一种视频处理方法、装置、电子设备及存储介质，用于解决视频换脸时分别对每张帧图像进行换脸再合成视频造成的便利性不足的技术问题。以下分别进行详细说明。
请参阅图1，图1是本发明实施例提供的一种视频处理方法的流程图，该视频处理方法可以包括以下步骤。
101、对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像。
本实施例中，M为大于1的整数。本发明实施例基于人脸交换的场景，对输入视频中的每一帧图像进行人脸识别，只提取包含第一人脸图像的帧图像，可提高提取效率。
本实施例中，可选ffmpeg技术将输入视频划分帧图像，可减小处理整个输入视频的复杂度，从而提高处理视频的速率，对于拆分视频片段的技术不作限定。
本实施例中，可采用HOG(HistogramofOrientedGradient，方向梯度直方图)、LBP(LocalBinaryPattern，局部二值模式)、Gabor小波、类哈尔(Haar-like)等特征提取算法提取人脸特征，对于具体的特征提取算法不作限定。当目标人脸为多个时，可依照本发明实施例的方法依序处理即可。
当识别出帧图像中的人脸信息后，应根据识别出的人脸信息选取与目标人脸匹配的帧图像。由于帧图像中可能包含多个人脸，则当识别出第一人脸图像时，对该第一人脸图像进行身份信息的标识，身份信息除了第一人脸图像的特征信息之外，还应该包括第一人脸图像出现在输入视频上的时间点。
可选的，提取每一帧图像的人脸特征，根据人脸特征对帧图像进行积分处理得到积分图像；采用自适应增强算法区分积分图像中的人脸和非人脸的强分类器；采用瀑布型级联分类器将人脸的强分类器级联起来，得到人脸图像；判断得到的人脸图像是否为第一人脸图像，若是，则确定视频片段包含目标人脸。采用本方法，在多种尺度下用相同的时间计算不同的特征，可迅速淘汰大量待检测区域，降低了平均检测开销，从而提高人脸识别的效率。
需要说明的是，输入视频除了是视频之外，还可以是由多个连续帧图像构成的动态图像，或者是通过连拍形成的图像文件。输入视频可以上传至服务器端，也可导入本地端，还可通过本地端上传至服务器。其中，将输入视频上传至服务器端，由于服务器端采用大量的标签对输入视频中的对象、场景和人物进行识别，利于提高识别人脸信息的准确性。
102、对第一帧图像中的第一人脸图像进行特征点定位，得到第一特征点集合。
本实施例中，第二帧图像为M个帧图像中的任一帧图像。将第二帧图像中的第一人脸图像换成目标人脸图像，也就是说，将目标人脸图像的人脸特征换成第一人脸图像的人脸特征。如图2所示，目标人脸图像为用户指定的图像，将第一人脸图像换成目标人脸图像。
可选的，将目标人脸图像进行预处理，得到目标帧图像；将第二帧图像中的第一人脸图像替换为目标帧图像，得到第二输出帧图像。
其中，预处理可以是对脸部对齐处理、图像增强和归一化等工作。对目标人脸图像进行脸部对齐处理，可得到人脸位置端正的人脸图像，对转换后的目标人脸图像进行反对齐处理，可得到与目标人脸图像中的人脸位置一致的人脸图像，从而增强了图像效果。图像增强是为了改善人脸图像的质量，不仅在视觉上更加清晰图像，而且使图像更利于计算机的处理与识别；归一化工作的目标是取得尺寸一致，灰度取值范围相同的标准化人脸图像，从而进一步提高图片效果。
举例来说，如图3所示的人脸交换方法的示意图，将目标人脸图像进行脸部对齐处理，得到目标帧图像，将第二帧图像中的第一人脸图像换成目标帧图像，得到第二输出帧图像，从而提高了换脸后的图像效果，增强了趣味性。
需要说明的是，目标帧图像没有清除目标人脸图像的人脸特征，也就是说，目标帧图像融合了第一人脸图像的人脸特征和目标人脸图像的人脸特征。
可选的，通过损失函数修正目标帧图像。其中，损失函数为经过类神经网络训练的网络模型，用来修正换脸后的图像损耗，从而提高图像效果。
本实施例中，第一帧图像为M个帧图像中除了第二帧图像之外的任一帧图像。第一特征点集合的数量可为68。人脸特征点定位的目的是在人脸识别的基础上，进一步确定脸部特征点(眼睛、眉毛、鼻子、嘴巴、脸部外轮廓)的位置。定位算法的基本思路是：人脸的纹理特征和各个特征点之间的位置约束结合。如图4所示，图中的点为人脸图像的特征点位置，其中每个特征点对应的一个特征值。
103、在第一特征点集合中提取目标区域对应的目标特征点集合。
本实施例中，目标特征集合为第一人脸图像中的一个特征集合，可为用户根据输入视频确定的特征集合。如图5所示，目标特征集合为嘴巴，则提取嘴巴的面部区域图像。
104、根据目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像。
本实施例中，M个帧图像中除了第二帧图像之外的任一帧图像，包括第一帧图像，在第二输出帧图像的基础上与对应的目标特征点集合进行合成，得到新的输出帧图像，从而提高了换脸后的输出视频的趣味性，且不需根据每张帧图像的人脸特征进行换脸操作，提高了操作的便利性。
可选的，获取目标特征点集合对应的面部区域图像；将面部区域图像与第二帧图像进行合成，得到第一输出帧图像。也就是说，先根据每一帧图像的目标特征集得到面部区域图像，再与换脸后的第一帧图像进行合成得到M-1个换脸后的帧图像。
在图1所描述的视频处理方法中，对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，只对包含第一人脸图像的帧图像进行特征点定位得到第一特征点集合，可提高提取效率。任取一个包含第一人脸图像的帧图像作为第二帧图像，将第二帧图像与目标人脸图像进行换脸得到第二输出帧图像，提取M个帧图像中除了第二帧图像之外的所有帧图像中的目标特征集合对应的图像，并分别与第二输出帧图像进行合成，从而提高了输出视频的趣味性，且不需根据每张帧图像的人脸特征进行换脸操作，提高了操作的便利性。
请参阅图6，图6是本发明实施例提供的另一种视频处理方法的流程图，该视频处理方法可以包括以下步骤。
201、对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像。
202、分别对第一帧图像、第二帧图像、第三帧图像中的第一人脸图像进行特征点定位，得到第一特征点集合、第二特征点集合、第三特征点集合。
本实施例中，第一帧图像、第二帧图像、第三帧图像中的第一人脸图像进行特征点定位的方向同第一帧图像的特征点定位，在此不再赘述。
203、在预设人脸图像库中查找与第二特征点集合匹配的目标人脸图像。
在本实施例中，预设人脸图像库包括多种类型的人脸图像，根据第二特征点集合可从预设人脸图像库中选择至少一个目标人脸图像。当确定多个目标人脸图像时，可接收用户发送的指定换脸图像指令，从而确定最终转换的目标人脸图像，也可全部进行转换后供用户选择。
可选的，将输入图像经过类神经网络训练的图像生成网络，图像生成网络根据第二特征点集合和预设人脸图像库输出目标人脸图像。
204、将目标人脸图像进行预处理，得到目标帧图像，将第二帧图像中的第一人脸图像替换为目标帧图像，得到第二输出帧图像。
其中，预处理可以是对脸部对齐处理、图像增强和归一化等工作。对第二人脸图像进行脸部对齐处理，可得到人脸位置端正的人脸图像，对转换后的第二人脸图像进行反对齐处理，可得到与目标人脸图像对应的图像中的第二人脸图像的人脸位置一致的人脸图像，从而增强了图像效果。图像增强是为了改善人脸图像的质量，不仅在视觉上更加清晰图像，而且使图像更利于计算机的处理与识别；归一化工作的目标是取得尺寸一致，灰度取值范围相同的标准化人脸图像，从而进一步提高图像效果。
当预处理为脸部对齐处理时，为了保证输出图像与目标人脸图像中人脸方向一致，还需将第四人脸图像进行反脸部对齐处理。
其中，损失函数为经过类神经网络训练的网络图像，用来修正换脸处理后的图像损耗，从而提高图像效果。
需要说明的是，替换后的目标帧图像没有清除第二人脸图像的人脸特征，也就是说，目标帧图像融合了第一人脸图像的人脸特征和目标人脸图像特征。
205、获取第二子特征集合和第三子特征集合的差异性，当差异性大于预设差异阈值时，将第三子特征集合对应的区域作为目标区域。
本实施例中，第三帧图像为M个帧图像中第一帧图像的前一帧图像。由于输入视频中的第一人脸图像不可能保持一致，也就是说用户会有说话或是表情的变化，为了让最后合成的视频也具有同样的效果，则获取相邻的帧图像的每一特征集合的差异性，当相邻帧的特征集合的差异性大于预设差异阈值时，则将该特征集合作为该帧图像的目标特征集合。
举例来说，第一帧图像和第三帧图像的嘴巴特征集合的差异性大于预设差异阈值，第一帧图像和第三帧图像的嘴巴特征集合的差异性均小于预设差异阈值，则确定第二帧图像的目标特征集合为嘴巴特征集合。
206、在第一特征点集合中提取目标区域对应的目标特征点集合。
207、根据目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像。
其中，步骤206-207的具体描述可参照如图1所示的视频处理方法中的相关步骤。
在图6所描述的视频处理方法中，对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，只对包含第一人脸图像的帧图像进行特征点定位得到第一特征点集合，可提高提取效率。任取一个包含第一人脸图像的帧图像作为第二帧图像，根据第二特征点集合在预设人脸图像库中查找与第一人脸图像匹配的目标人脸图像，将第二帧图像中的第一人脸图像换成目标人脸图像，提高了换脸后的图像效果。根据第三帧图像与第一帧图像之间的特征集合的差异性确定目标特征集合，确保换脸前后的输入视频的一致性。根据每一帧图像的目标特征集合分别与第二输出帧图像进行合成，从而将输出帧图像的时间节点合成输出视频具有五官的动态效果，从而提高了输出视频的趣味性，且不需根据每张帧图像的人脸特征进行换脸操作，提高了操作的便利性。
请参阅图7，图7是本发明实施例提供的一种视频处理装置的结构图，该视频处理装置300可以包括：
识别单元301，用于对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，M为大于1的整数。
第一定位单元302，用于对第一帧图像中的第一人脸图像进行特征点定位，得到第一特征点集合，第一帧图像为M个帧图像中除了第二帧图像之外的任一帧图像。
提取单元303，用于在第一特征点集合中提取目标区域对应的目标特征点集合。
合成单元304，用于根据目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像，第二输出帧图像为第二帧图像中的第一人脸图像与目标人脸图像进行换脸得到的图像。
在图7所描述的视频处理装置中，对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，只对包含第一人脸图像的帧图像进行特征点定位得到第一特征点集合，可提高提取效率。任取一个包含第一人脸图像的帧图像作为第二帧图像，将第二帧图像与目标人脸图像进行换脸得到第二输出帧图像，提取M个帧图像中除了第二帧图像之外的所有帧图像中的目标特征集合对应的图像，并分别与第二输出帧图像进行合成，从而提高了输出视频的趣味性，且不需根据每张帧图像的人脸特征进行换脸操作，提高了操作的便利性。
请参阅图8，图8是本发明实施例提供的另一种视频处理装置的结构图，该视频处理装置400可以包括：
识别单元401，用于对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，M为大于1的整数。
定位单元402，用于分别对第一帧图像、第二帧图像、第三帧图像中的第一人脸图像进行特征点定位，得到第一特征点集合、第二特征点集合、第三特征点集合，第一帧图像为M个帧图像中除了第二帧图像之外的任一帧图像，第三帧图像为M个帧图像中第一帧图像的前一帧图像；
查找单元403，用于在预设人脸图像库中查找与第二特征点集合匹配的目标人脸图像。
预处理单元404，用于将目标人脸图像进行预处理，得到目标帧图像，预处理至少包括脸部对齐处理、人脸图像增强和归一化；
替换单元405，用于将第一人脸图像替换为目标人脸图像，得到第二输出帧图像。
第二获取单元406，用于获取第二子特征集合和第三子特征集合的差异性，第二子特征集合对应第二特征点集合的参考区域，第三子特征集合对应第三特征点集合的参考区域；当差异性大于预设差异阈值时，将第三子特征集合对应的区域作为目标区域。
提取单元407，用于在第一特征点集合中提取目标区域对应的目标特征点集合。
合成单元408，用于根据目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像，第二输出帧图像为第二帧图像中的第一人脸图像与目标人脸图像进行换脸得到的图像。
可选的，装置还包括：
第一获取单元409，用于获取目标特征点集合对应的面部区域图像，由合成单元408将面部区域图像与第二帧图像进行合成，得到第一输出帧图像。
在图8所描述的视频处理装置中，在图6所描述的视频处理方法中，对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，只对包含第一人脸图像的帧图像进行特征点定位得到第一特征点集合，可提高提取效率。任取一个包含第一人脸图像的帧图像作为第二帧图像，根据第二特征点集合在预设人脸图像库中查找与第一人脸图像匹配的目标人脸图像，将第二帧图像中的第一人脸图像换成目标人脸图像，提高了换脸后的图像效果。根据第三帧图像与第一帧图像之间的特征集合的差异性确定目标特征集合，确保换脸前后的输入视频的一致性。根据每一帧图像的目标特征集合分别与第二输出帧图像进行合成，从而将输出帧图像的时间节点合成输出视频具有五官的动态效果，从而提高了输出视频的趣味性，且不需根据每张帧图像的人脸特征进行换脸操作，提高了操作的便利性。
请参阅图9，图9是本发明实施例公开的一种电子设备。其中，电子设备可以为手机、平板电脑等。如图9所示，该电子设备可以包括壳体501、处理器502、存储器503、电路板504和电源电路505，其中，电路板504安置在壳体围成的空间内部，处理器502和存储器503设置在电路板504上；电源电路505，用于为电子设备的各个电路或器件供电；存储器503用于存储可执行程序代码；处理器502通过读取存储器503中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：
对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，M为大于1的整数；
对第一帧图像中的第一人脸图像进行特征点定位，得到第一特征点集合，第一帧图像为M个帧图像中除了第二帧图像之外的任一帧图像；
在第一特征点集合中提取目标区域对应的目标特征点集合；
根据目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像，第二输出帧图像为第二帧图像中的第一人脸图像与目标人脸图像进行换脸得到的图像。
作为一种可能的实施方式，在根据目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像方面，处理器502具体用于执行以下操作：
获取目标特征点集合对应的面部区域图像；
将面部区域图像与第二帧图像进行合成，得到第一输出帧图像。
作为一种可能的实施方式，在根据目标特征点集合和第二输出帧图像进行合成，处理器502还用于执行以下操作：
对第二帧图像中的第一人脸图像进行特征点定位，得到第二特征点集合；
在预设人脸图像库中查找与第二特征点集合匹配的目标人脸图像。
作为一种可能的实施方式，在在预设人脸图像库中查找与第二特征点集合匹配的目标人脸图像之后，处理器502还用于执行以下操作：
将目标人脸图像进行预处理，得到目标帧图像，预处理至少包括脸部对齐处理、人脸图像增强和归一化；
将第二帧图像中的第一人脸图像替换为目标帧图像，得到第二输出帧图像。
作为一种可能的实施方式，在第一特征点集合中提取目标区域对应的目标特征点集合之前，处理器502还用于执行以下操作：
对第三帧图像中的第一人脸图像进行特征点定位，得到第三特征点集合，第三帧图像为M个帧图像中第一帧图像的前一帧图像；
获取第二子特征集合和第三子特征集合的差异性，第二子特征集合对应第二特征点集合的参考区域，第三子特征集合对应第三特征点集合的参考区域；
当差异性大于预设差异阈值时，将第三子特征集合对应的区域作为目标区域。
在图9所描述的电子设备中，对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，只对包含第一人脸图像的帧图像进行特征点定位得到第一特征点集合，可提高提取效率。任取一个包含第一人脸图像的帧图像作为第二帧图像，将第二帧图像与目标人脸图像进行换脸得到第二输出帧图像，提取M个帧图像中除了第二帧图像之外的所有帧图像中的目标特征集合对应的图像，并分别与第二输出帧图像进行合成，从而提高了输出视频的趣味性，且不需根据每张帧图像的人脸特征进行换脸操作，提高了操作的便利性。
在一个实施例中提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现实施例一或实施例二的视频处理方法。
在一个实施例中提供了一种应用程序，该应用程序用于在运行时执行实施例一或实施例二的视频处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种视频处理方法，其特征在于，包括：
对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，所述M为大于1的整数；
对第一帧图像中的第一人脸图像进行特征点定位，得到第一特征点集合，所述第一帧图像为所述M个帧图像中除了第二帧图像之外的任一帧图像；
在所述第一特征点集合中提取目标区域对应的目标特征点集合；
根据所述目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像，所述第二输出帧图像为所述第二帧图像中的第一人脸图像与目标人脸图像进行换脸得到的图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像，包括：
获取所述目标特征点集合对应的面部区域图像；
将所述面部区域图像与所述第二帧图像进行合成，得到所述第一输出帧图像。
3.根据权利要求1或2所述的方法，其特征在于，在所述根据所述目标特征点集合和第二输出帧图像进行合成之前，所述方法还包括：
对所述第二帧图像中的第一人脸图像进行特征点定位，得到第二特征点集合；
在预设人脸图像库中查找与所述第二特征点集合匹配的所述目标人脸图像。
4.根据权利要求3所述的方法，其特征在于，在所述在预设人脸图像库中查找与所述第二特征点集合匹配的所述目标人脸图像之后，所述方法还包括：
将所述目标人脸图像进行预处理，得到目标帧图像，所述预处理至少包括脸部对齐处理、人脸图像增强和归一化；
将所述第二帧图像中的第一人脸图像替换为所述目标帧图像，得到所述第二输出帧图像。
5.根据权利要求1或2所述的方法，其特征在于，在所述第一特征点集合中提取目标区域对应的目标特征点集合之前，所述方法还包括：
对第三帧图像中的第一人脸图像进行特征点定位，得到第三特征点集合，所述第三帧图像为所述M个帧图像中第一帧图像的前一帧图像；
获取第二子特征集合和第三子特征集合的差异性，所述第二子特征集合对应所述第二特征点集合的参考区域，所述第三子特征集合对应所述第三特征点集合的所述参考区域；
当所述差异性大于预设差异阈值时，将所述第三子特征集合对应的区域作为所述目标区域。
6.一种视频处理装置，其特征在于，包括：
识别单元，用于对输入视频中的每一帧图像进行目标识别，得到M个包含第一人脸图像的帧图像，所述M为大于1的整数；
第一定位单元，用于对第一帧图像中的第一人脸图像进行特征点定位，得到第一特征点集合，所述第一帧图像为所述M个帧图像中除了第二帧图像之外的任一帧图像；
提取单元，用于在所述第一特征点集合中提取目标区域对应的目标特征点集合；
合成单元，用于根据所述目标特征点集合和第二输出帧图像进行合成，得到第一输出帧图像，所述第二输出帧图像为所述第二帧图像中的第一人脸图像与目标人脸图像进行换脸得到的图像。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一获取单元，用于获取所述目标特征点集合对应的面部区域图像，由所述合成单元将所述面部区域图像与所述第二帧图像进行合成，得到所述第一输出帧图像。
8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：
第二定位单元，用于对所述第二帧图像中的第一人脸图像进行特征点定位，得到第二特征点集合；
查找单元，用于在预设人脸图像库中查找与所述第二特征点集合匹配的所述目标人脸图像。
9.一种电子设备，其特征在于，包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行如权利要求1-5中任一所述的方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710531790.XA CN107330408B (zh) | 2017-06-30 | 2017-06-30 | 视频处理方法、装置、电子设备及存储介质 |
| US15/913,314 US10733421B2 (en) | 2017-06-30 | 2018-03-06 | Method for processing video, electronic device and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710531790.XA CN107330408B (zh) | 2017-06-30 | 2017-06-30 | 视频处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107330408A true CN107330408A (zh) | 2017-11-07 |
| CN107330408B CN107330408B (zh) | 2021-04-20 |
Family
ID=60197822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710531790.XA Active CN107330408B (zh) | 2017-06-30 | 2017-06-30 | 视频处理方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10733421B2 (zh) |
| CN (1) | CN107330408B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038892A (zh) * | 2017-11-28 | 2018-05-15 | 北京川上科技有限公司 | 表情包制作方法、装置、电子设备和计算机可读存储介质 |
| CN108965740A (zh) * | 2018-07-11 | 2018-12-07 | 深圳超多维科技有限公司 | 一种实时视频换脸方法、装置、设备和存储介质 |
| CN109035288A (zh) * | 2018-07-27 | 2018-12-18 | 北京市商汤科技开发有限公司 | 一种图像处理方法及装置、设备和存储介质 |
| CN109543560A (zh) * | 2018-10-31 | 2019-03-29 | 百度在线网络技术（北京）有限公司 | 一种视频中人物的分割方法、装置、设备和计算机存储介质 |
| CN109819313A (zh) * | 2019-01-10 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置及存储介质 |
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN112132743A (zh) * | 2020-09-27 | 2020-12-25 | 上海科技大学 | 可自适应光照的视频换脸方法 |
| CN112446255A (zh) * | 2019-08-31 | 2021-03-05 | 华为技术有限公司 | 一种视频图像处理方法及装置 |
| CN112863010A (zh) * | 2020-12-29 | 2021-05-28 | 宁波友好智能安防科技有限公司 | 一种防盗锁的视频图像处理系统 |
| CN113691806A (zh) * | 2017-05-26 | 2021-11-23 | Line 株式会社 | 图像压缩方法、图像恢复方法及计算机可读记录介质 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200065559A1 (en) * | 2018-08-22 | 2020-02-27 | Nitin Vats | Generating a video using a video and user image or video |
| CN109829433B (zh) * | 2019-01-31 | 2021-06-25 | 北京市商汤科技开发有限公司 | 人脸图像识别方法、装置、电子设备及存储介质 |
| US11074733B2 (en) | 2019-03-15 | 2021-07-27 | Neocortext, Inc. | Face-swapping apparatus and method |
| CN110148081B (zh) * | 2019-03-25 | 2024-02-23 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、图像处理方法、装置及存储介质 |
| US10949715B1 (en) | 2019-08-19 | 2021-03-16 | Neon Evolution Inc. | Methods and systems for image and voice processing |
| US10671838B1 (en) | 2019-08-19 | 2020-06-02 | Neon Evolution Inc. | Methods and systems for image and voice processing |
| US10803646B1 (en) | 2019-08-19 | 2020-10-13 | Neon Evolution Inc. | Methods and systems for image and voice processing |
| US10552667B1 (en) | 2019-08-19 | 2020-02-04 | Neon Evolution Inc. | Methods and systems for image processing |
| US10658005B1 (en) | 2019-08-19 | 2020-05-19 | Neon Evolution Inc. | Methods and systems for image and voice processing |
| CN110826593B (zh) * | 2019-09-29 | 2021-02-05 | 腾讯科技（深圳）有限公司 | 融合图像处理模型的训练方法、图像处理方法、装置 |
| EP4060603A4 (en) * | 2019-12-13 | 2023-05-10 | Huawei Technologies Co., Ltd. | IMAGE PROCESSING METHOD AND IMAGE DEVICE |
| CN112991147B (zh) * | 2019-12-18 | 2023-10-27 | 抖音视界有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| US11120595B2 (en) * | 2019-12-27 | 2021-09-14 | Ping An Technology (Shenzhen) Co., Ltd. | Face swap method and computing device |
| CN111667518B (zh) * | 2020-06-24 | 2023-10-31 | 北京百度网讯科技有限公司 | 人脸图像的显示方法、装置、电子设备及存储介质 |
| CN111950497B (zh) * | 2020-08-20 | 2022-07-01 | 重庆邮电大学 | 一种基于多任务学习模型的ai换脸视频检测方法 |
| CN113111770B (zh) * | 2021-04-12 | 2022-09-13 | 杭州赛鲁班网络科技有限公司 | 一种视频处理方法、装置、终端及存储介质 |
| US11308657B1 (en) | 2021-08-11 | 2022-04-19 | Neon Evolution Inc. | Methods and systems for image processing using a learning engine |
| CN113705422B (zh) * | 2021-08-25 | 2024-04-09 | 山东浪潮超高清视频产业有限公司 | 一种通过人脸获取人物视频片段的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140153832A1 (en) * | 2012-12-04 | 2014-06-05 | Vivek Kwatra | Facial expression editing in images based on collections of images |
| US20150221069A1 (en) * | 2014-02-05 | 2015-08-06 | Elena Shaburova | Method for real time video processing involving changing a color of an object on a human face in a video |
| CN105118023A (zh) * | 2015-08-31 | 2015-12-02 | 电子科技大学 | 基于人脸特征点的实时视频人脸卡通化生成方法 |
| CN105118082A (zh) * | 2015-07-30 | 2015-12-02 | 科大讯飞股份有限公司 | 个性化视频生成方法及系统 |
| CN105139438A (zh) * | 2014-09-19 | 2015-12-09 | 电子科技大学 | 视频人脸卡通动画生成方法 |
| CN106210545A (zh) * | 2016-08-22 | 2016-12-07 | 北京金山安全软件有限公司 | 一种视频拍摄方法、装置及电子设备 |
| CN106339694A (zh) * | 2016-09-14 | 2017-01-18 | 北京金山安全软件有限公司 | 一种图像处理方法、装置及电子设备 |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6283858B1 (en) * | 1997-02-25 | 2001-09-04 | Bgk International Incorporated | Method for manipulating images |
| US7068835B1 (en) * | 1997-11-28 | 2006-06-27 | Minolta Co., Ltd. | Data processing apparatus for processing a 3-dimensional data of an object and a method therefor |
| JP3709803B2 (ja) * | 2001-03-28 | 2005-10-26 | 日本電気株式会社 | パターン照合装置とそのパターン照合方法、及びパターン照合プログラム |
| US6720523B1 (en) * | 2002-09-23 | 2004-04-13 | Igor Troitski | Method for production of laser-induced images represented by incomplete data, which are supplemented during production |
| US20060159370A1 (en) * | 2004-12-10 | 2006-07-20 | Matsushita Electric Industrial Co., Ltd. | Video retrieval system and video retrieval method |
| JP4645411B2 (ja) * | 2005-10-28 | 2011-03-09 | コニカミノルタホールディングス株式会社 | 認証システム、登録システム及びプログラム |
| JP4767718B2 (ja) * | 2006-02-24 | 2011-09-07 | 富士フイルム株式会社 | 画像処理方法および装置ならびにプログラム |
| US7787664B2 (en) * | 2006-03-29 | 2010-08-31 | Eastman Kodak Company | Recomposing photographs from multiple frames |
| JPWO2008012905A1 (ja) * | 2006-07-27 | 2009-12-17 | パナソニック株式会社 | 認証装置および認証用画像表示方法 |
| US8270764B1 (en) * | 2007-09-21 | 2012-09-18 | Adobe Systems Incorporated | Replacing pixels within a boundary area of a base image to generate a composite image |
| WO2009094661A1 (en) * | 2008-01-24 | 2009-07-30 | The Trustees Of Columbia University In The City Of New York | Methods, systems, and media for swapping faces in images |
| US8831379B2 (en) * | 2008-04-04 | 2014-09-09 | Microsoft Corporation | Cartoon personalization |
| WO2009148404A1 (en) * | 2008-06-03 | 2009-12-10 | Xid Technologies Pte Ltd | Method for replacing objects in images |
| CA2774649A1 (en) * | 2008-09-18 | 2010-03-25 | Screen Test Studios, Llc | Interactive entertainment system for recording performance |
| JP2010086178A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 画像合成装置およびその制御方法 |
| US8839118B2 (en) * | 2010-06-30 | 2014-09-16 | Verizon Patent And Licensing Inc. | Users as actors in content |
| CN103080979B (zh) * | 2010-09-03 | 2015-12-09 | 王晓刚 | 从照片合成肖像素描的系统和方法 |
| JP5564384B2 (ja) * | 2010-09-28 | 2014-07-30 | 任天堂株式会社 | 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法 |
| TWI420405B (zh) * | 2010-10-20 | 2013-12-21 | Hon Hai Prec Ind Co Ltd | 人臉影像代換系統及方法 |
| US20130050395A1 (en) * | 2011-08-29 | 2013-02-28 | DigitalOptics Corporation Europe Limited | Rich Mobile Video Conferencing Solution for No Light, Low Light and Uneven Light Conditions |
| JP5880182B2 (ja) * | 2012-03-19 | 2016-03-08 | カシオ計算機株式会社 | 画像生成装置、画像生成方法及びプログラム |
| JP2014085796A (ja) * | 2012-10-23 | 2014-05-12 | Sony Corp | 情報処理装置およびプログラム |
| KR102013928B1 (ko) * | 2012-12-28 | 2019-08-23 | 삼성전자주식회사 | 영상 변형 장치 및 그 방법 |
| CN104125392B (zh) * | 2013-04-24 | 2017-10-10 | 株式会社摩如富 | 图像合成装置及图像合成方法 |
| US9336583B2 (en) * | 2013-06-17 | 2016-05-10 | Cyberlink Corp. | Systems and methods for image editing |
| US9478056B2 (en) * | 2013-10-28 | 2016-10-25 | Google Inc. | Image cache for replacing portions of images |
| US9799096B1 (en) * | 2014-07-08 | 2017-10-24 | Carnegie Mellon University | System and method for processing video to provide facial de-identification |
| TWI553565B (zh) * | 2014-09-22 | 2016-10-11 | 銘傳大學 | 利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法 |
| US9898835B2 (en) * | 2015-02-06 | 2018-02-20 | Ming Chuan University | Method for creating face replacement database |
| EP3098752A1 (en) * | 2015-05-29 | 2016-11-30 | Thomson Licensing | Method and device for generating an image representative of a cluster of images |
| EP3185176A1 (en) * | 2015-12-21 | 2017-06-28 | THOMSON Licensing | Method and device for synthesizing an image of a face partially occluded |
| JP2017228913A (ja) * | 2016-06-22 | 2017-12-28 | オリンパス株式会社 | 撮像装置 |
| WO2018096661A1 (ja) * | 2016-11-25 | 2018-05-31 | 日本電気株式会社 | 画像生成装置、顔照合装置、画像生成方法、およびプログラムを記憶した記憶媒体 |
| US9971933B1 (en) * | 2017-01-09 | 2018-05-15 | Ulsee Inc. | Facial image screening method and face recognition system thereof |
| JP2018180875A (ja) * | 2017-04-12 | 2018-11-15 | 富士通株式会社 | 判定装置、判定方法および判定プログラム |
| JP6839771B2 (ja) * | 2017-04-20 | 2021-03-10 | スノー コーポレーション | 補正パターン分析による映像補正方法およびシステム |
| JP6790995B2 (ja) * | 2017-04-27 | 2020-11-25 | 富士通株式会社 | 照合装置、照合方法および照合プログラム |
| CN107330904B (zh) * | 2017-06-30 | 2020-12-18 | 北京乐蜜科技有限责任公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2017
- 2017-06-30 CN CN201710531790.XA patent/CN107330408B/zh active Active
-
2018
- 2018-03-06 US US15/913,314 patent/US10733421B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140153832A1 (en) * | 2012-12-04 | 2014-06-05 | Vivek Kwatra | Facial expression editing in images based on collections of images |
| US20150221069A1 (en) * | 2014-02-05 | 2015-08-06 | Elena Shaburova | Method for real time video processing involving changing a color of an object on a human face in a video |
| CN105139438A (zh) * | 2014-09-19 | 2015-12-09 | 电子科技大学 | 视频人脸卡通动画生成方法 |
| CN105118082A (zh) * | 2015-07-30 | 2015-12-02 | 科大讯飞股份有限公司 | 个性化视频生成方法及系统 |
| CN105118023A (zh) * | 2015-08-31 | 2015-12-02 | 电子科技大学 | 基于人脸特征点的实时视频人脸卡通化生成方法 |
| CN106210545A (zh) * | 2016-08-22 | 2016-12-07 | 北京金山安全软件有限公司 | 一种视频拍摄方法、装置及电子设备 |
| CN106339694A (zh) * | 2016-09-14 | 2017-01-18 | 北京金山安全软件有限公司 | 一种图像处理方法、装置及电子设备 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113691806A (zh) * | 2017-05-26 | 2021-11-23 | Line 株式会社 | 图像压缩方法、图像恢复方法及计算机可读记录介质 |
| CN108038892A (zh) * | 2017-11-28 | 2018-05-15 | 北京川上科技有限公司 | 表情包制作方法、装置、电子设备和计算机可读存储介质 |
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108965740A (zh) * | 2018-07-11 | 2018-12-07 | 深圳超多维科技有限公司 | 一种实时视频换脸方法、装置、设备和存储介质 |
| CN109035288A (zh) * | 2018-07-27 | 2018-12-18 | 北京市商汤科技开发有限公司 | 一种图像处理方法及装置、设备和存储介质 |
| CN109035288B (zh) * | 2018-07-27 | 2024-04-16 | 北京市商汤科技开发有限公司 | 一种图像处理方法及装置、设备和存储介质 |
| CN109543560A (zh) * | 2018-10-31 | 2019-03-29 | 百度在线网络技术（北京）有限公司 | 一种视频中人物的分割方法、装置、设备和计算机存储介质 |
| CN109819313A (zh) * | 2019-01-10 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置及存储介质 |
| CN109819313B (zh) * | 2019-01-10 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置及存储介质 |
| CN112446255A (zh) * | 2019-08-31 | 2021-03-05 | 华为技术有限公司 | 一种视频图像处理方法及装置 |
| CN112132743A (zh) * | 2020-09-27 | 2020-12-25 | 上海科技大学 | 可自适应光照的视频换脸方法 |
| CN112132743B (zh) * | 2020-09-27 | 2023-06-20 | 上海科技大学 | 可自适应光照的视频换脸方法 |
| CN112863010B (zh) * | 2020-12-29 | 2022-08-05 | 宁波友好智能安防科技有限公司 | 一种防盗锁的视频图像处理系统 |
| CN112863010A (zh) * | 2020-12-29 | 2021-05-28 | 宁波友好智能安防科技有限公司 | 一种防盗锁的视频图像处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107330408B (zh) | 2021-04-20 |
| US10733421B2 (en) | 2020-08-04 |
| US20190005305A1 (en) | 2019-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330408A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN108319953B (zh) | 目标对象的遮挡检测方法及装置、电子设备及存储介质 | |
| Aguilera et al. | Learning cross-spectral similarity measures with deep convolutional neural networks | |
| CN107333071A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN109492627B (zh) | 一种基于全卷积网络的深度模型的场景文本擦除方法 | |
| CN107330904A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN107633204A (zh) | 人脸遮挡检测方法、装置及存储介质 | |
| Kumari et al. | A novel periocular biometrics solution for authentication during Covid-19 pandemic situation | |
| Sajid et al. | Data augmentation‐assisted makeup‐invariant face recognition | |
| CN112215180A (zh) | 一种活体检测方法及装置 | |
| CN105740808B (zh) | 人脸识别方法和装置 | |
| CN108012081A (zh) | 智能美颜方法、装置、终端和计算机可读存储介质 | |
| CN107844742B (zh) | 人脸图像眼镜去除方法、装置及存储介质 | |
| CN108846792A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN108694719A (zh) | 图像输出方法和装置 | |
| CN109726619A (zh) | 一种基于参数共享的卷积神经网络人脸识别方法及系统 | |
| CN110866469A (zh) | 一种人脸五官识别方法、装置、设备及介质 | |
| CN106709431A (zh) | 虹膜识别方法及装置 | |
| CN113298158A (zh) | 数据检测方法、装置、设备及存储介质 | |
| CN112733946A (zh) | 一种训练样本的生成方法、装置、电子设备及存储介质 | |
| CN108319916A (zh) | 人脸识别方法、装置、机器人及存储介质 | |
| CN108197608A (zh) | 人脸识别方法、装置、机器人及存储介质 | |
| CN116129473A (zh) | 基于身份引导的联合学习换衣行人重识别方法及系统 | |
| CN107862259A (zh) | 人像采集方法及装置、终端装置和计算机可读存储介质 | |
| Watson et al. | Person re-identification combining deep features and attribute detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201126 Address after: Room 115, area C, 1 / F, building 8, yard 1, yaojiayuan South Road, Chaoyang District, Beijing Applicant after: Beijing LEMI Technology Co.,Ltd. Address before: 100085 Beijing City, Haidian District Road 33, two floor East Xiaoying Applicant before: BEIJING KINGSOFT INTERNET SECURITY SOFTWARE Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230922 Address after: 100000 3870A, 3rd Floor, Building 4, No. 49 Badachu Road, Shijingshan District, Beijing Patentee after: Beijing Jupiter Technology Co.,Ltd. Address before: Room 115, area C, 1 / F, building 8, yard 1, yaojiayuan South Road, Chaoyang District, Beijing Patentee before: Beijing LEMI Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |