CN116993576A - 视频换脸方法、装置、存储介质及设备 - Google Patents
视频换脸方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN116993576A CN116993576A CN202310735505.1A CN202310735505A CN116993576A CN 116993576 A CN116993576 A CN 116993576A CN 202310735505 A CN202310735505 A CN 202310735505A CN 116993576 A CN116993576 A CN 116993576A
- Authority
- CN
- China
- Prior art keywords
- face
- video
- key point
- facial
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000001815 facial effect Effects 0.000 claims abstract description 131
- 230000009466 transformation Effects 0.000 claims abstract description 29
- 238000013507 mapping Methods 0.000 claims abstract description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 19
- 210000000056 organ Anatomy 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种视频换脸方法、装置、存储介质及设备，属于图像处理技术领域。所述方法包括：获取源人脸的关键点和待换脸的目标视频；提取目标视频的视频帧序列中目标人脸的关键点，得到第一关键点序列；根据关键点和第一关键点序列计算第二关键点序列，第二关键点序列具有源人脸的面部五官轮廓和脸型的信息，且具有目标人脸在前后帧的面部五官轮廓和脸型的变换信息；根据第一关键点序列和第二关键点序列对视频帧序列中的目标人脸进行面部五官轮廓和脸型调整；利用SimSwap模型将源人脸的人脸特征映射到调整后的视频帧序列中的目标人脸上；将映射后的视频帧序列编码为换脸视频。本申请保证了换脸的相似度，达到了稳定且真实的换脸效果。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种视频换脸方法、装置、存储介质及设备。
背景技术
随着人工智能及计算机视觉技术的快速发展，换脸技术也越来越成熟。视频换脸是指将源图片中的人脸特征转移到目标图片中的目标人脸上，且需要保证目标人脸的其它属性信息(表情、光照、姿态等)不会发生改变。
基于SimSwap(An Efficient FrameWork For High Fidelity Face Swapping，一种高效的高保真人脸交换框架)的换脸模型能够很好地转移人脸特征，换脸效果相对稳定，且针对不同身份的人脸也具有一定的通用性，得到了比较广泛的应用。但是SimSwap模型在面部五官轮廓及脸型的相似度上表现较差，不能明显地改变目标人脸的面部五官轮廓及脸型。
发明内容
本申请提供了一种视频换脸方法、装置、存储介质及设备，用于解决SimSwap模型不能明显地改变目标人脸的面部五官轮廓及脸型的问题。所述技术方案如下：
一方面，提供了一种视频换脸方法，所述方法包括：
获取源人脸的关键点和待换脸的目标视频；
提取所述目标视频的视频帧序列中目标人脸的关键点，得到第一关键点序列；
根据所述关键点和所述第一关键点序列计算第二关键点序列，所述第二关键点序列具有所述源人脸的面部五官轮廓和脸型的信息，且具有所述目标人脸在前后帧的面部五官轮廓和脸型的变换信息；
根据所述第一关键点序列和所述第二关键点序列对所述视频帧序列中的目标人脸进行面部五官轮廓和脸型调整；
利用SimSwap模型将所述源人脸的人脸特征映射到调整后的视频帧序列中的目标人脸上；
将映射后的视频帧序列编码为换脸视频。
在一种可能的实现方式中，所述根据所述关键点和所述第一关键点序列计算第二关键点序列，包括：
将所述关键点与首个视频帧中的目标人脸进行人脸对齐；
根据所述第一关键点序列计算前后帧中目标人脸的关键点的偏移量；
以所述关键点为基础，根据所述偏移量计算第二关键点序列。
在一种可能的实现方式中，所述将所述关键点与首个视频帧中的目标人脸进行人脸对齐，包括：
计算所述源人脸与首个视频帧中的目标人脸的仿射变换矩阵；
基于所述仿射变换矩阵，将所述关键点与首个视频帧中的目标人脸进行人脸对齐。
在一种可能的实现方式中，所述根据所述第一关键点序列和所述第二关键点序列对所述视频帧序列中的目标人脸进行面部五官轮廓和脸型调整，包括：
利用所述第一关键点序列中第n个视频帧的关键点对所述目标人脸进行三角剖分，得到多个第一三角区域，n为正整数；
利用所述第二关键点序列中第n个视频帧的关键点对所述源人脸进行三角剖分，得到多个第二三角区域；
根据每个第二三角区域对对应的第一三角区域进行面部五官轮廓和脸型调整。
在一种可能的实现方式中，所述根据每个第二三角区域对对应的第一三角区域进行面部五官轮廓和脸型调整，包括：
对于每个第一三角区域，根据所述第一三角区域与对应的第二三角区域的位置差异，利用仿射变换对所述第一三角区域进行面部五官轮廓和脸型调整。
在一种可能的实现方式中，所述获取源人脸的关键点，包括：
获取包含源人脸的图像；
提取所述图像中源人脸的关键点。
一方面，提供了一种视频换脸装置，所述装置包括：
获取模块，用于获取源人脸的关键点和待换脸的目标视频；
提取模块，用于提取所述目标视频的视频帧序列中目标人脸的关键点，得到第一关键点序列；
计算模块，用于根据所述关键点和所述第一关键点序列计算第二关键点序列，所述第二关键点序列具有所述源人脸的面部五官轮廓和脸型的信息，且具有所述目标人脸在前后帧的面部五官轮廓和脸型的变换信息；
调整模块，用于根据所述第一关键点序列和所述第二关键点序列对所述视频帧序列中的目标人脸进行面部五官轮廓和脸型调整；
映射模块，用于利用SimSwap模型将所述源人脸的人脸特征映射到调整后的视频帧序列中的目标人脸上；
编码模块，用于将映射后的视频帧序列编码为换脸视频。
在一种可能的实现方式中，所述计算模块，还用于：
将所述关键点与首个视频帧中的目标人脸进行人脸对齐；
根据所述第一关键点序列计算前后帧中目标人脸的关键点的偏移量；
以所述关键点为基础，根据所述偏移量计算第二关键点序列。
在一种可能的实现方式中，
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的视频换脸方法。
一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的视频换脸方法。
本申请提供的技术方案的有益效果至少包括：
通过源人脸的关键点和目标人脸的第一关键点序列计算第二关键点序列，由于第二关键点序列既具有源人脸的面部五官轮廓和脸型的信息，也具有目标人脸在前后帧的面部五官轮廓和脸型的变换信息，所以，可以根据第一关键点序列和第二关键点序列对视频帧序列中的目标人脸进行面部五官轮廓和脸型调整，然后利用SimSwap模型将源人脸的人脸特征映射到调整后的视频帧序列中的目标人脸上，最后将映射后的视频帧序列编码为换脸视频，保证了换脸的相似度，达到了稳定且真实的换脸效果。
通过对源人脸和目标人脸进行三角剖分，并根据源人脸的三角区域对目标人脸中对应的三角区域进行仿射变换，使得目标人脸的面部五官轮廓和脸型与源图片的人脸分布一致。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的视频换脸方法的方法流程图；
图2是本申请另一实施例提供的视频换脸方法的流程示意图；
图3是本申请另一实施例提供的视频换脸方法的方法流程图；
图4是本申请另一实施例提供的视频换脸方法的流程示意图；
图5是本申请再一实施例提供的视频换脸装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的视频换脸方法的方法流程图，该视频换脸方法可以应用于计算机设备中。该视频换脸方法，可以包括：
步骤101，获取源人脸的关键点和待换脸的目标视频。
目标视频是包含人脸的视频，可以是播报视频、演讲视频等。本实施例中将目标视频中的人脸称为目标人脸，将需要合成到目标视频中的人脸称为源人脸。比如，计算机设备已获取到主播A的目标视频和明星B的人脸，且需要将明星B的人脸替换主播A的人脸，则可以将主播A的人脸称为目标人脸，将明星B的人脸称为源人脸。
源人脸的关键点包括用于表示人脸轮廓、眼睛、眉毛、嘴唇以及鼻子轮廓等。
步骤102，提取目标视频的视频帧序列中目标人脸的关键点，得到第一关键点序列。
计算机设备可以对目标视频进行解码，得到视频帧序列；对于每个视频帧，对该视频帧进行人脸识别，再从识别出的目标人脸中提取关键点；将所有提取到的关键点组成第一关键点序列，本实施例中不对关键点的提取算法作限定。
步骤103，根据关键点和第一关键点序列计算第二关键点序列，第二关键点序列具有源人脸的面部五官轮廓和脸型的信息，且具有目标人脸在前后帧的面部五官轮廓和脸型的变换信息。
计算机设备可以采用预定算法对源人脸的关键点和目标人脸的第一关键点序列进行计算，得到源人脸的第二关键点序列。其中，预定算法包括人脸对齐和仿射变换。
步骤104，根据第一关键点序列和第二关键点序列对视频帧序列中的目标人脸进行面部五官轮廓和脸型调整。
由于第二关键点序列既具有源人脸的面部五官轮廓和脸型的信息，也具有目标人脸在前后帧的面部五官轮廓和脸型的变换信息，所以，计算机设备可以根据第一关键点序列和第二关键点序列对目标人脸进行面部五官轮廓和脸型调整。
步骤105，利用SimSwap模型将源人脸的人脸特征映射到调整后的视频帧序列中的目标人脸上。
计算机设备利用SimSwap模型，将源人脸的人脸特征逐一替换到调整后的视频帧序列中的目标人脸上。
步骤106，将映射后的视频帧序列编码为换脸视频。
计算机设备可以映射后的视频帧序列进行编码，最终得到的换脸视频中的目标人脸被替换为源人脸。
本实施例中，计算机设备先对目标视频进行视频解码，得到视频帧序列；然后，根据视频帧序列和源人脸的关键点生成面部五官轮廓和脸型调整后的视频帧序列；再利用SimSwap模型对调整后的视频帧进行人脸特征映射，得到面部五官轮廓和脸型调整+换脸后的视频帧序列；最后，对该视频帧序列进行视频编码，得到换脸视频，如图2所示。
综上所述，本申请实施例提供的视频换脸方法，通过源人脸的关键点和目标人脸的第一关键点序列计算第二关键点序列，由于第二关键点序列既具有源人脸的面部五官轮廓和脸型的信息，也具有目标人脸在前后帧的面部五官轮廓和脸型的变换信息，所以，可以根据第一关键点序列和第二关键点序列对视频帧序列中的目标人脸进行面部五官轮廓和脸型调整，然后利用SimSwap模型将源人脸的人脸特征映射到调整后的视频帧序列中的目标人脸上，最后将映射后的视频帧序列编码为换脸视频，保证了换脸的相似度，达到了稳定且真实的换脸效果。
请参考图3，其示出了本申请一个实施例提供的视频换脸方法的方法流程图，该视频换脸方法可以应用于计算机设备中。该视频换脸方法，可以包括：
步骤301，获取源人脸的关键点和待换脸的目标视频。
目标视频是包含人脸的视频，可以是播报视频、演讲视频等。本实施例中将目标视频中的人脸称为目标人脸，将需要合成到目标视频中的人脸称为源人脸。比如，计算机设备已获取到主播A的目标视频和明星B的人脸，且需要将明星B的人脸替换主播A的人脸，则可以将主播A的人脸称为目标人脸，将明星B的人脸称为源人脸。
源人脸的关键点包括用于表示人脸轮廓、眼睛、眉毛、嘴唇以及鼻子轮廓等。
计算机设备可以直接获取到关键点，或者，计算机设备可以获取包含源人脸的图像，提取图像中源人脸的关键点，本实施例中不对关键点的提取算法作限定。
步骤302，提取目标视频的视频帧序列中目标人脸的关键点，得到第一关键点序列。
计算机设备可以对目标视频进行解码，得到视频帧序列；对于每个视频帧，对该视频帧进行人脸识别，再从识别出的目标人脸中提取关键点；将所有提取到的关键点组成第一关键点序列，本实施例中不对关键点的提取算法作限定。
步骤303，将关键点与首个视频帧中的目标人脸进行人脸对齐。
计算机设备可以采用预定算法对源人脸的关键点和目标人脸的第一关键点序列进行计算，得到源人脸的第二关键点序列。其中，预定算法包括人脸对齐和仿射变换。
具体的，将关键点与首个视频帧中的目标人脸进行人脸对齐，可以包括：计算源人脸与首个视频帧中的目标人脸的仿射变换矩阵；基于仿射变换矩阵，将关键点与首个视频帧中的目标人脸进行人脸对齐。
步骤304，根据第一关键点序列计算前后帧中目标人脸的关键点的偏移量。
计算机设备每次从视频帧序列中选择相邻的两个视频帧，根据这两个视频帧中的关键点计算偏移量。
步骤305，以关键点为基础，根据偏移量计算第二关键点序列。
计算机设备可以根据每个视频帧对应的偏移量，分别对人脸对齐后的源人脸的关键点进行偏移，得到第二关键点序列。其中，第二关键点序列具有源人脸的面部五官轮廓和脸型的信息，且具有目标人脸在前后帧的面部五官轮廓和脸型的变换信息。
步骤306，根据第一关键点序列和第二关键点序列对视频帧序列中的目标人脸进行面部五官轮廓和脸型调整。
具体的，计算机设备可以利用第一关键点序列中第n个视频帧的关键点对目标人脸进行三角剖分，得到多个第一三角区域，n为正整数；利用第二关键点序列中第n个视频帧的关键点对源人脸进行三角剖分，得到多个第二三角区域；根据每个第二三角区域对对应的第一三角区域进行面部五官轮廓和脸型调整。其中，对目标人脸的三角剖分方法与对源人脸的三角剖分方法相同，以使源人脸及目标人脸的三角区域一一对应。
其中，根据每个第二三角区域对对应的第一三角区域进行面部五官轮廓和脸型调整，可以包括：对于每个第一三角区域，计算机设备根据第一三角区域与对应的第二三角区域的位置差异，利用仿射变换对第一三角区域进行面部五官轮廓和脸型调整。
步骤307，利用SimSwap模型将源人脸的人脸特征映射到调整后的视频帧序列中的目标人脸上。
计算机设备利用SimSwap模型，将源人脸的人脸特征逐一替换到调整后的视频帧序列中的目标人脸上。
步骤308，将映射后的视频帧序列编码为换脸视频。
计算机设备可以映射后的视频帧序列进行编码，最终得到的换脸视频中的目标人脸被替换为源人脸。
本实施例中，计算机设备对源图片进行关键点检测，得到源人脸的关键点；计算机设备还对目标视频进行视频解码，得到视频帧序列；然后，对视频帧序列进行关键点检测，得到第一关键点序列；再将源人脸与首帧的目标人脸进行人脸对齐，计算前后帧的目标人脸的偏移量，根据对齐结果和偏移量计算第二关键点序列；利用三角剖分和仿射变换对第一关键点序列和第二关键点序列进行计算，得到面部五官轮廓和脸型调整后的视频帧序列；再利用SimSwap模型对调整后的视频帧进行人脸特征映射，得到面部五官轮廓和脸型调整+换脸后的视频帧序列；最后，对该视频帧序列进行视频编码，得到换脸视频，如图4所示。
综上所述，本申请实施例提供的视频换脸方法，通过源人脸的关键点和目标人脸的第一关键点序列计算第二关键点序列，由于第二关键点序列既具有源人脸的面部五官轮廓和脸型的信息，也具有目标人脸在前后帧的面部五官轮廓和脸型的变换信息，所以，可以根据第一关键点序列和第二关键点序列对视频帧序列中的目标人脸进行面部五官轮廓和脸型调整，然后利用SimSwap模型将源人脸的人脸特征映射到调整后的视频帧序列中的目标人脸上，最后将映射后的视频帧序列编码为换脸视频，保证了换脸的相似度，达到了稳定且真实的换脸效果。
通过对源人脸和目标人脸进行三角剖分，并根据源人脸的三角区域对目标人脸中对应的三角区域进行仿射变换，使得目标人脸的面部五官轮廓和脸型与源图片的人脸分布一致。
下面以利用明星A对主播B进行视频换脸为例，对换脸视频的生成流程进行说明。
(1)计算机设备获取用户输入的明星A的免冠正面照片以及主播B的单人新闻播报视频；
(2)计算机设备对单人新闻播报视频进行视频解码，得到视频帧序列；
(3)计算机设备使用面部关键点检测模型对视频帧序列进行关键点检测，得到主播B的第一关键点序列；
(4)计算机设备使用面部关键点检测模型对明星A的免冠正面照片进行关键点检测，得到明星A的人脸关键点；
(5)计算机设备将明星A的人脸关键点与主播B的首帧关键点进行人脸对齐，并将主播B前后帧的关键点的变化量结合明星A的人脸关键点，得到明星A的第二关键点序列；
(6)计算机设备将第二关键点序列与第一关键点序列进行三角剖分，根据对应帧中所有三角区域的位置差异，对主播B的所有三角区域进行仿射变换，得到主播B的面部五官轮廓和脸型调整之后的视频帧序列；
(7)计算机设备使用SimSwap模型，将明星A的人脸特征逐一替换到上述调整后的视频帧序列的人脸上；
(8)计算机设备将替换后的视频帧序列重新编码成换脸视频。
请参考图5，其示出了本申请一个实施例提供的视频换脸装置的结构框图，该视频换脸装置可以应用于计算机设备中。该视频换脸装置，可以包括：
获取模块510，用于获取源人脸的关键点和待换脸的目标视频；
提取模块520，用于提取目标视频的视频帧序列中目标人脸的关键点，得到第一关键点序列；
计算模块530，用于根据关键点和第一关键点序列计算第二关键点序列，第二关键点序列具有源人脸的面部五官轮廓和脸型的信息，且具有目标人脸在前后帧的面部五官轮廓和脸型的变换信息；
调整模块540，用于根据第一关键点序列和第二关键点序列对视频帧序列中的目标人脸进行面部五官轮廓和脸型调整；
映射模块550，用于利用SimSwap模型将源人脸的人脸特征映射到调整后的视频帧序列中的目标人脸上；
编码模块560，用于将映射后的视频帧序列编码为换脸视频。
在一个可选的实施例中，计算模块530，还用于：
将关键点与首个视频帧中的目标人脸进行人脸对齐；
根据第一关键点序列计算前后帧中目标人脸的关键点的偏移量；
以关键点为基础，根据偏移量计算第二关键点序列。
在一个可选的实施例中，计算模块530，还用于：
计算源人脸与首个视频帧中的目标人脸的仿射变换矩阵；
基于仿射变换矩阵，将关键点与首个视频帧中的目标人脸进行人脸对齐。
在一个可选的实施例中，调整模块540，还用于：
利用第一关键点序列中第n个视频帧的关键点对目标人脸进行三角剖分，得到多个第一三角区域，n为正整数；
利用第二关键点序列中第n个视频帧的关键点对源人脸进行三角剖分，得到多个第二三角区域；
根据每个第二三角区域对对应的第一三角区域进行面部五官轮廓和脸型调整。
在一个可选的实施例中，调整模块540，还用于：
对于每个第一三角区域，根据第一三角区域与对应的第二三角区域的位置差异，利用仿射变换对第一三角区域进行面部五官轮廓和脸型调整。
在一个可选的实施例中，获取模块510，还用于：
获取包含源人脸的图像；
提取图像中源人脸的关键点。
综上所述，本申请实施例提供的视频换脸装置，通过源人脸的关键点和目标人脸的第一关键点序列计算第二关键点序列，由于第二关键点序列既具有源人脸的面部五官轮廓和脸型的信息，也具有目标人脸在前后帧的面部五官轮廓和脸型的变换信息，所以，可以根据第一关键点序列和第二关键点序列对视频帧序列中的目标人脸进行面部五官轮廓和脸型调整，然后利用SimSwap模型将源人脸的人脸特征映射到调整后的视频帧序列中的目标人脸上，最后将映射后的视频帧序列编码为换脸视频，保证了换脸的相似度，达到了稳定且真实的换脸效果。
通过对源人脸和目标人脸进行三角剖分，并根据源人脸的三角区域对目标人脸中对应的三角区域进行仿射变换，使得目标人脸的面部五官轮廓和脸型与源图片的人脸分布一致。
本申请一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的视频换脸方法。
本申请一个实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的视频换脸方法。
需要说明的是：上述实施例提供的视频换脸装置在进行视频换脸时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将视频换脸装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频换脸装置与视频换脸方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。
Claims (10)
1.一种视频换脸方法，其特征在于，所述方法包括：
获取源人脸的关键点和待换脸的目标视频；
提取所述目标视频的视频帧序列中目标人脸的关键点，得到第一关键点序列；
根据所述关键点和所述第一关键点序列计算第二关键点序列，所述第二关键点序列具有所述源人脸的面部五官轮廓和脸型的信息，且具有所述目标人脸在前后帧的面部五官轮廓和脸型的变换信息；
根据所述第一关键点序列和所述第二关键点序列对所述视频帧序列中的目标人脸进行面部五官轮廓和脸型调整；
利用SimSwap模型将所述源人脸的人脸特征映射到调整后的视频帧序列中的目标人脸上；
将映射后的视频帧序列编码为换脸视频。
2.根据权利要求1所述的视频换脸方法，其特征在于，所述根据所述关键点和所述第一关键点序列计算第二关键点序列，包括：
将所述关键点与首个视频帧中的目标人脸进行人脸对齐；
根据所述第一关键点序列计算前后帧中目标人脸的关键点的偏移量；
以所述关键点为基础，根据所述偏移量计算第二关键点序列。
3.根据权利要求2所述的视频换脸方法，其特征在于，所述将所述关键点与首个视频帧中的目标人脸进行人脸对齐，包括：
计算所述源人脸与首个视频帧中的目标人脸的仿射变换矩阵；
基于所述仿射变换矩阵，将所述关键点与首个视频帧中的目标人脸进行人脸对齐。
4.根据权利要求1所述的视频换脸方法，其特征在于，所述根据所述第一关键点序列和所述第二关键点序列对所述视频帧序列中的目标人脸进行面部五官轮廓和脸型调整，包括：
利用所述第一关键点序列中第n个视频帧的关键点对所述目标人脸进行三角剖分，得到多个第一三角区域，n为正整数；
利用所述第二关键点序列中第n个视频帧的关键点对所述源人脸进行三角剖分，得到多个第二三角区域；
根据每个第二三角区域对对应的第一三角区域进行面部五官轮廓和脸型调整。
5.根据权利要求4所述的视频换脸方法，其特征在于，所述根据每个第二三角区域对对应的第一三角区域进行面部五官轮廓和脸型调整，包括：
对于每个第一三角区域，根据所述第一三角区域与对应的第二三角区域的位置差异，利用仿射变换对所述第一三角区域进行面部五官轮廓和脸型调整。
6.根据权利要求1至5中任一所述的视频换脸方法，其特征在于，所述获取源人脸的关键点，包括：
获取包含源人脸的图像；
提取所述图像中源人脸的关键点。
7.一种视频换脸装置，其特征在于，所述装置包括：
获取模块，用于获取源人脸的关键点和待换脸的目标视频；
提取模块，用于提取所述目标视频的视频帧序列中目标人脸的关键点，得到第一关键点序列；
计算模块，用于根据所述关键点和所述第一关键点序列计算第二关键点序列，所述第二关键点序列具有所述源人脸的面部五官轮廓和脸型的信息，且具有所述目标人脸在前后帧的面部五官轮廓和脸型的变换信息；
调整模块，用于根据所述第一关键点序列和所述第二关键点序列对所述视频帧序列中的目标人脸进行面部五官轮廓和脸型调整；
映射模块，用于利用SimSwap模型将所述源人脸的人脸特征映射到调整后的视频帧序列中的目标人脸上；
编码模块，用于将映射后的视频帧序列编码为换脸视频。
8.根据权利要求7所述的视频换脸装置，其特征在于，所述计算模块，还用于：
将所述关键点与首个视频帧中的目标人脸进行人脸对齐；
根据所述第一关键点序列计算前后帧中目标人脸的关键点的偏移量；
以所述关键点为基础，根据所述偏移量计算第二关键点序列。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7中任一所述的视频换脸方法。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至7中任一所述的视频换脸方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310735505.1A CN116993576B (zh) | 2023-06-21 | 2023-06-21 | 视频换脸方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310735505.1A CN116993576B (zh) | 2023-06-21 | 2023-06-21 | 视频换脸方法、装置、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116993576A true CN116993576A (zh) | 2023-11-03 |
| CN116993576B CN116993576B (zh) | 2024-03-08 |
Family
ID=88523924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310735505.1A Active CN116993576B (zh) | 2023-06-21 | 2023-06-21 | 视频换脸方法、装置、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116993576B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765265A (zh) * | 2018-05-21 | 2018-11-06 | 北京微播视界科技有限公司 | 图像处理方法、装置、终端设备和存储介质 |
| CN111476710A (zh) * | 2020-04-13 | 2020-07-31 | 上海艾麒信息科技有限公司 | 基于移动平台的视频换脸方法及系统 |
| CN112101073A (zh) * | 2019-06-18 | 2020-12-18 | 北京陌陌信息技术有限公司 | 脸部图像处理方法、装置、设备及计算机存储介质 |
| CN113658035A (zh) * | 2021-08-17 | 2021-11-16 | 北京百度网讯科技有限公司 | 脸部变换方法、装置、设备、存储介质以及产品 |
| CN114007099A (zh) * | 2021-11-04 | 2022-02-01 | 北京搜狗科技发展有限公司 | 一种视频处理方法、装置和用于视频处理的装置 |
| CN114943799A (zh) * | 2021-06-10 | 2022-08-26 | 腾讯科技（深圳）有限公司 | 一种面部图像处理方法、装置和计算机可读存储介质 |
| CN115147885A (zh) * | 2021-03-29 | 2022-10-04 | 北京新氧科技有限公司 | 脸型对比方法、装置、设备及存储介质 |
-
2023
- 2023-06-21 CN CN202310735505.1A patent/CN116993576B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765265A (zh) * | 2018-05-21 | 2018-11-06 | 北京微播视界科技有限公司 | 图像处理方法、装置、终端设备和存储介质 |
| CN112101073A (zh) * | 2019-06-18 | 2020-12-18 | 北京陌陌信息技术有限公司 | 脸部图像处理方法、装置、设备及计算机存储介质 |
| CN111476710A (zh) * | 2020-04-13 | 2020-07-31 | 上海艾麒信息科技有限公司 | 基于移动平台的视频换脸方法及系统 |
| CN115147885A (zh) * | 2021-03-29 | 2022-10-04 | 北京新氧科技有限公司 | 脸型对比方法、装置、设备及存储介质 |
| CN114943799A (zh) * | 2021-06-10 | 2022-08-26 | 腾讯科技（深圳）有限公司 | 一种面部图像处理方法、装置和计算机可读存储介质 |
| CN113658035A (zh) * | 2021-08-17 | 2021-11-16 | 北京百度网讯科技有限公司 | 脸部变换方法、装置、设备、存储介质以及产品 |
| CN114007099A (zh) * | 2021-11-04 | 2022-02-01 | 北京搜狗科技发展有限公司 | 一种视频处理方法、装置和用于视频处理的装置 |
Non-Patent Citations (2)
| Title |
|---|
| RENWANG CHEN 等: "Simswap: An efficient framework for high fidelity face swapping", 《PROCEEDINGS OF THE 28TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》, 12 October 2020 (2020-10-12), pages 1 - 13 * |
| 孙劲光;赵文霞;: "条件随机场下的人脸图像融合方法", 辽宁工程技术大学学报(自然科学版), no. 05, 15 October 2020 (2020-10-15), pages 428 - 433 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116993576B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
| CN112733795B (zh) | 人脸图像的视线矫正方法、装置、设备及存储介质 | |
| CN109829396B (zh) | 人脸识别运动模糊处理方法、装置、设备及存储介质 | |
| CN109493297B (zh) | 低质量人脸图像增强方法、系统、设备及存储介质 | |
| CN103745209B (zh) | 一种人脸识别方法及系统 | |
| CN109064548B (zh) | 视频生成方法、装置、设备及存储介质 | |
| CN107301626B (zh) | 一种适合移动设备拍摄图像的磨皮算法 | |
| CN103745206B (zh) | 一种人脸识别方法及系统 | |
| CN110853071A (zh) | 图像编辑方法及终端设备 | |
| CN111612878B (zh) | 将静态照片制作成三维效果视频的方法及装置 | |
| CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Lu et al. | Rethinking prior-guided face super-resolution: A new paradigm with facial component prior | |
| CN112348937A (zh) | 人脸图像处理方法及电子设备 | |
| CN109325994B (zh) | 一种基于三维人脸数据增强的方法 | |
| KR20140074201A (ko) | 추적 장치 | |
| CN111402403B (zh) | 高精度三维人脸重建方法 | |
| CN113658035B (zh) | 脸部变换方法、装置、设备、存储介质以及产品 | |
| Fan et al. | Stereoscopic image retargeting based on deep convolutional neural network | |
| CN116993576B (zh) | 视频换脸方法、装置、存储介质及设备 | |
| CN106023299B (zh) | 一种基于深度图的虚拟视图绘制方法及系统 | |
| CN113362243B (zh) | 模型训练方法、图像处理方法及装置、介质和电子设备 | |
| CN115861515A (zh) | 一种三维人脸重建方法、计算机程序产品及电子设备 | |
| Lee et al. | Light-weighted Network based Human Pose Estimation for Mobile AR Service | |
| CN106780318B (zh) | 人脸幻构方法和人脸幻构系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |