CN114429666B - 视频的人脸替换方法、装置、设备及存储介质 - Google Patents
视频的人脸替换方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114429666B CN114429666B CN202210352988.2A CN202210352988A CN114429666B CN 114429666 B CN114429666 B CN 114429666B CN 202210352988 A CN202210352988 A CN 202210352988A CN 114429666 B CN114429666 B CN 114429666B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- replacement
- processing
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 1
- 238000011946 reduction process Methods 0.000 claims 1
- 210000004709 eyebrow Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 210000001331 nose Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人脸替换领域，公开了一种视频的人脸替换方法、装置、设备及存储介质。该方法包括：获取待处理的视频数据和目标人脸图像，对视频数据进行拆解处理，得到图像帧集；读取图像帧集中的图像帧，对图像帧进行人脸检测处理，得到图像帧中的人脸图像；根据预置人脸采集算法，对人脸图像进行节点覆盖处理，得到人脸图像的特征覆盖区域；根据预置face‑parsing算法，对人脸图像进行裁剪处理，得到人脸图像的面部覆盖区域；将特征覆盖区域和面部覆盖区域进行交集处理，得到面部替换区域；根据预置替换虚化算法，将目标人脸图像替换掉面部替换区域的人脸图像，得到替换图像帧。
Description
技术领域
本发明涉及人脸替换领域，尤其涉及一种视频的人脸替换方法、装置、设备及存储介质。
背景技术
人脸替换可以定制化满足一些特效和动作的需求，现有的人脸替换方法在处理图像过程中，裁剪人脸再进行黏贴处理，可以满足一般的简单场景。但是在需要移动的视频上这种简易裁剪方法会导致整个视频的替换上的脸部较为突兀不自然，而且这种替换方式太久，在耗时上使得用户体验较为糟糕。
因此，为了应对新的脸部替换需要，需要一种新的技术在视频上不仅能自然的替换人脸而且在耗时较小，解决当前视频人脸替换不自然且耗时过长的技术问题。
发明内容
本发明的主要目的在于解决当前视频人脸替换不自然且耗时过长的技术问题。
本发明第一方面提供了一种视频的人脸替换方法，所包括步骤：
获取待处理的视频数据和目标人脸图像，对所述视频数据进行拆解处理，得到图像帧集；
读取所述图像帧集中的图像帧，对所述图像帧进行人脸检测处理，得到所述图像帧中的人脸图像；
根据预置人脸采集算法，对所述人脸图像进行节点覆盖处理，得到所述人脸图像的特征覆盖区域；
根据预置face-parsing算法，对所述人脸图像进行裁剪处理，得到所述人脸图像的面部覆盖区域；
将所述特征覆盖区域和所述面部覆盖区域进行交集处理，得到面部替换区域；
根据预置替换虚化算法，将所述目标人脸图像替换掉所述面部替换区域的人脸图像，得到替换图像帧。
可选的，在本发明第一方面的第一种实现方式中，所述读取所述图像帧集中的图像帧，对所述图像帧进行人脸检测处理，得到所述图像帧中的人脸图像包括：
根据预置DBface人脸检测算法，对所述图像帧进行范围标记处理，得到所述图像帧的人脸检测框。
可选的，在本发明第一方面的第二种实现方式中，所述将根据预置人脸采集算法，对所述人脸图像进行节点覆盖处理，得到所述人脸图像的特征覆盖区域包括：
基于预置dlib数据库，对所述人脸检测框中的图像进行关键点测量处理，得到N个关键点坐标，其中，N为正整数；
基于所述N个关键点坐标，对所述人脸检测框的区域进行迭代逼近处理，得到所述人脸图像的特征覆盖区域。
可选的，在本发明第一方面的第三种实现方式中，所述基于所述N个关键点坐标，对所述人脸检测框的区域进行迭代逼近处理，得到所述人脸图像的特征覆盖区域包括：
提取所述N个关键点坐标中的M个关键点坐标，留下N-M个关键点坐标，其中，M为不大于N的正整数；
对所述M个关键点坐标进行连接面积扩大处理，对所述N-M个关键点坐标进行面积缩小处理，得到所述人脸图像的特征覆盖区域。
可选的，在本发明第一方面的第四种实现方式中，所述对所述M个关键点坐标进行连接面积扩大处理，对所述N-M个关键点坐标进行面积缩小处理，得到所述人脸图像的特征覆盖区域包括：
将所述M个关键点坐标的X坐标/Y坐标增加所述人脸检测框1/R的X坐标值/Y坐标值，将所述N-M个关键点坐标的X坐标/Y坐标减少所述人脸检测框1/R的X坐标值/Y坐标值，得到所述人脸图像的特征覆盖区域，其中,R为大于1的正整数。
可选的，在本发明第一方面的第五种实现方式中，所述根据预置替换虚化算法，将所述目标人脸图像替换掉所述面部替换区域的人脸图像，得到替换图像帧包括：
对所述面部替换区域进行高斯模糊处理，得到模糊替换区域；
将所述目标人脸图像替换掉所述面部替换区域的人脸图像，得到替换图像帧。
可选的，在本发明第一方面的第六种实现方式中，所述获取待处理的视频数据和目标人脸图像，对所述视频数据进行拆解处理，得到图像帧集包括：
获取待处理的视频数据和目标人脸图像；
根据预置first-order-motion-model算法，对所述视频数据进行动作拆分处理，得到图像帧集。
本发明第二方面提供了一种视频的人脸替换装置，所述视频的人脸替换装置包括：
拆解模块，用于获取待处理的视频数据和目标人脸图像，对所述视频数据进行拆解处理，得到图像帧集；
检测模块，用于读取所述图像帧集中的图像帧，对所述图像帧进行人脸检测处理，得到所述图像帧中的人脸图像；
节点覆盖模块，用于根据预置人脸采集算法，对所述人脸图像进行节点覆盖处理，得到所述人脸图像的特征覆盖区域；
裁剪模块，用于根据预置face-parsing算法，对所述人脸图像进行裁剪处理，得到所述人脸图像的面部覆盖区域；
交集处理模块，用于将所述特征覆盖区域和所述面部覆盖区域进行交集处理，得到面部替换区域；
替换模块，用于根据预置替换虚化算法，将所述目标人脸图像替换掉所述面部替换区域的人脸图像，得到替换图像帧。
本发明第三方面提供了一种视频的人脸替换设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述视频的人脸替换设备执行上述的视频的人脸替换方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的视频的人脸替换方法。
在本发明实施例中，通过对视频进行拆解成一个个图像帧，然后通过对人像的特征节点的覆盖区域和对人脸裁剪处理的区域进行交集处理，产生了认定的替换区域，将目标人脸在替换区域中进行替换，最后将每个替换的图像帧重新组合为原有视频，实现了视频人脸替换的快速与自然，解决了当前视频人脸替换不自然且耗时过长的技术问题。
附图说明
图1为本发明实施例中视频的人脸替换方法的一个实施例示意图；
图2为本发明实施例中视频的人脸替换装置的一个实施例示意图；
图3为本发明实施例中视频的人脸替换装置的另一个实施例示意图；
图4为本发明实施例中视频的人脸替换设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种视频的人脸替换方法、装置、设备及存储介质。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中视频的人脸替换方法的一个实施例，包括步骤：
101、获取待处理的视频数据和目标人脸图像，对视频数据进行拆解处理，得到图像帧集；
在本实施例中，对视频数据的拆解可以逐帧进行拆解，但是处理上可以全部处理也可以降低帧数处理。例如原视频是80帧每秒的视频，而拆解上是80帧，但是处理每秒的图像帧，可以是间隔1帧，每秒只处理40帧的图像，最后生成视频为40帧每秒的视频图像。可选的，每秒也能处理80帧或者60帧这样帧数比例。
进一步的，101还可以执行以下步骤：
1011、获取待处理的视频数据和目标人脸图像；
1012、根据预置first-order-motion-model算法，对视频数据进行动作拆分处理，得到图像帧集。
在1011-1012步骤中，获取视频数据后，以first-order-motion-model算法基于人物动作进行图像帧分解，这样消耗的资源比按视频帧的分解更少，而处理图像帧的人脸替换可以基于动作变化来进行处理，处理会更快。
102、读取图像帧集中的图像帧，对图像帧进行人脸检测处理，得到图像帧中的人脸图像；
在本实施例中，按顺序读取图像帧集中的图像帧，依次处理图像帧集中的图像帧，人脸检测出来后，给出一个长方形的框作为标记。在标记长方形框时，采用长方形框四个顶点坐标来确定框的大小和位置。
进一步的，在102中还可以执行以下步骤：
1021、根据预置DBface人脸检测算法，对图像帧进行范围标记处理，得到图像帧的人脸检测框。
在本实施例中，使用DBface人脸检测算法得到人脸检测框坐标(含左上角x、y坐标点，右下角x、y坐标点)。
103、根据预置人脸采集算法，对人脸图像进行节点覆盖处理，得到人脸图像的特征覆盖区域；
在本实施例中，通过图像分布直方图，可得人脸皮肤的色域非常接近；通过边缘检测，可得眼、眉、鼻、嘴等区域梯度最大，替换后的结果需要尽可能跟原图一致，这样的结果通过肉眼看不出P图的痕迹，因为更接近原图，替换的区域边缘应梯度最小、色域最接近，因此替换的区域应该包含眼、眉、鼻、嘴，节点也应该包括眼、眉、鼻、嘴等节点。
进一步的，在103可以执行以下步骤：
1031、基于预置dlib数据库，对人脸检测框中的图像进行关键点测量处理，得到N个关键点坐标，其中，N为正整数；
1032、基于N个关键点坐标，对人脸检测框的区域进行迭代逼近处理，得到人脸图像的特征覆盖区域。
在1031-1032步骤中，基于DBface人脸检测算法计算得到的检测框坐标，使用dlib的68个关键点检测器，得到68个人脸坐标点，将68个坐标分为27个坐标进行缩小处理找到人脸的眼、眉、鼻、嘴等特征，而留下的41个点向外扩张，逐渐逼近人脸的边界和眼、眉、鼻、嘴等特征的边界。
进一步的，在1032可以执行以下步骤：
10321、提取N个关键点坐标中的M个关键点坐标，留下N-M个关键点坐标，其中，M为不大于N的正整数；
10322、对M个关键点坐标进行连接面积扩大处理，对N-M个关键点坐标进行面积缩小处理，得到人脸图像的特征覆盖区域。
在10321-10322步骤中，取68个人脸关键点中的前27个坐标点，使用循环赋值的方法，将后10个坐标点顺序取反，得到新的27个坐标点，前17个点在脸部边缘，后10个坐标点在眉毛上，这27个坐标点围成的区域包含了眼、鼻、嘴，眉毛。
进一步的，在10322可以执行以下步骤：
103221、将M个关键点坐标的X坐标/Y坐标增加人脸检测框1/R的X坐标值/Y坐标值，将N-M个关键点坐标的X坐标/Y坐标减少人脸检测框1/R的X坐标值/Y坐标值，得到人脸图像的特征覆盖区域，其中,R为大于1的正整数。
在103221步骤中，前17个坐标点需要内缩一圈，使区域边缘能落在人脸皮肤上)，后10个坐标点需要外扩一圈，使区域包含眉毛。计算方法如下：前17个坐标点的y值都减去4中人脸检测框高度的1/6，后10个坐标点的y加上人脸检测框高度的1/6。使用opencv中fillPoly方法基于新的27个坐标点在包围区域中绘制多边形形成特征覆盖区域。
104、根据预置face-parsing算法，对人脸图像进行裁剪处理，得到人脸图像的面部覆盖区域；
105、将特征覆盖区域和面部覆盖区域进行交集处理，得到面部替换区域；
在本实施例中，使用face-parsing作为辅助方法，通过face-parsing得到人脸的完整分割区域，通过与特征覆盖区域的交集计算，可得特征覆盖区域中部分区域不在脸部内。由于103步骤做了区域补偿，导致部分区域可能超出脸部区域，需要把多余区域去掉，所以把特征覆盖区域和face-parsing的分割区域做交集，得到最后的面部替换区域。
106、根据预置替换虚化算法，将目标人脸图像替换掉面部替换区域的人脸图像，得到替换图像帧。
在本实施例中，直接将对面部替换区域做高斯模糊，对边缘进行羽化使得边缘更加自然，然后将在面部替换区域的人脸图像替换成需要目标人脸图像，实现了目标人脸图像与原有人脸图像之间的人脸替换融合。
进一步的，在106中可以执行以下步骤：
1061、对面部替换区域进行高斯模糊处理，得到模糊替换区域；
1062、将目标人脸图像替换掉面部替换区域的人脸图像，得到替换图像帧。
在1061-1062步骤中，可以对面部替换区域做高斯模糊，对边缘进行羽化。
面部替换区域*图像帧+(人脸图像-面部替换区域)*原图，通过该逻辑将视频的每一帧分别替换原图像的脸部区域，实现无缝融合。
在本发明实施例中，通过对视频进行拆解成一个个图像帧，然后通过对人像的特征节点的覆盖区域和对人脸裁剪处理的区域进行交集处理，产生了认定的替换区域，将目标人脸在替换区域中进行替换，最后将每个替换的图像帧重新组合为原有视频，实现了视频人脸替换的快速与自然，解决了当前视频人脸替换不自然且耗时过长的技术问题。
上面对本发明实施例中视频的人脸替换方法进行了描述，下面对本发明实施例中视频的人脸替换装置进行描述，请参阅图2，本发明实施例中视频的人脸替换装置一个实施例，所述视频的人脸替换装置包括：
拆解模块201，用于获取待处理的视频数据和目标人脸图像，对所述视频数据进行拆解处理，得到图像帧集；
检测模块202，用于读取所述图像帧集中的图像帧，对所述图像帧进行人脸检测处理，得到所述图像帧中的人脸图像；
节点覆盖模块203，用于根据预置人脸采集算法，对所述人脸图像进行节点覆盖处理，得到所述人脸图像的特征覆盖区域；
裁剪模块204，用于根据预置face-parsing算法，对所述人脸图像进行裁剪处理，得到所述人脸图像的面部覆盖区域；
交集处理模块205，用于将所述特征覆盖区域和所述面部覆盖区域进行交集处理，得到面部替换区域；
替换模块206，用于根据预置替换虚化算法，将所述目标人脸图像替换掉所述面部替换区域的人脸图像，得到替换图像帧。
在本发明实施例中，通过对视频进行拆解成一个个图像帧，然后通过对人像的特征节点的覆盖区域和对人脸裁剪处理的区域进行交集处理，产生了认定的替换区域，将目标人脸在替换区域中进行替换，最后将每个替换的图像帧重新组合为原有视频，实现了视频人脸替换的快速与自然，解决了当前视频人脸替换不自然且耗时过长的技术问题。
请参阅图4，本发明实施例中视频的人脸替换装置的另一个实施例，所述视频的人脸替换装置包括：
拆解模块201，用于获取待处理的视频数据和目标人脸图像，对所述视频数据进行拆解处理，得到图像帧集；
检测模块202，用于读取所述图像帧集中的图像帧，对所述图像帧进行人脸检测处理，得到所述图像帧中的人脸图像；
节点覆盖模块203，用于根据预置人脸采集算法，对所述人脸图像进行节点覆盖处理，得到所述人脸图像的特征覆盖区域；
裁剪模块204，用于根据预置face-parsing算法，对所述人脸图像进行裁剪处理，得到所述人脸图像的面部覆盖区域；
交集处理模块205，用于将所述特征覆盖区域和所述面部覆盖区域进行交集处理，得到面部替换区域；
替换模块206，用于根据预置替换虚化算法，将所述目标人脸图像替换掉所述面部替换区域的人脸图像，得到替换图像帧。
其中，所述检测模块202具体用于：
根据预置DBface人脸检测算法，对所述图像帧进行范围标记处理，得到所述图像帧的人脸检测框。
其中，所述节点覆盖模块203包括：
关键点测量单元2031，用于基于预置dlib数据库，对所述人脸检测框中的图像进行关键点测量处理，得到N个关键点坐标，其中，N为正整数；
迭代逼近单元2032，用于迭代基于所述N个关键点坐标，对所述人脸检测框的区域进行迭代逼近处理，得到所述人脸图像的特征覆盖区域。
其中，所述迭代逼近单元2032具体用于：
提取所述N个关键点坐标中的M个关键点坐标，留下N-M个关键点坐标，其中，M为不大于N的正整数；
对所述M个关键点坐标进行连接面积扩大处理，对所述N-M个关键点坐标进行面积缩小处理，得到所述人脸图像的特征覆盖区域。
其中，所述迭代逼近单元2032还可以具体用于：
将所述M个关键点坐标的X坐标/Y坐标增加所述人脸检测框1/R的X坐标值/Y坐标值，将所述N-M个关键点坐标的X坐标/Y坐标减少所述人脸检测框1/R的X坐标值/Y坐标值，得到所述人脸图像的特征覆盖区域，其中,R为大于1的正整数。
其中，所述替换模块206具体用于：
对所述面部替换区域进行高斯模糊处理，得到模糊替换区域；
将所述目标人脸图像替换掉所述面部替换区域的人脸图像，得到替换图像帧。
其中，所述拆解模块201具体用于：
获取待处理的视频数据和目标人脸图像；
根据预置first-order-motion-model算法，对所述视频数据进行动作拆分处理，得到图像帧集。
在本发明实施例中，通过对视频进行拆解成一个个图像帧，然后通过对人像的特征节点的覆盖区域和对人脸裁剪处理的区域进行交集处理，产生了认定的替换区域，将目标人脸在替换区域中进行替换，最后将每个替换的图像帧重新组合为原有视频，实现了视频人脸替换的快速与自然，解决了当前视频人脸替换不自然且耗时过长的技术问题。
上面图2和图3从模块化功能实体的角度对本发明实施例中的视频的人脸替换装置进行详细描述，下面从硬件处理的角度对本发明实施例中视频的人脸替换设备进行详细描述。
图4是本发明实施例提供的一种视频的人脸替换设备的结构示意图，该视频的人脸替换设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）410（例如，一个或一个以上处理器）和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430（例如一个或一个以上海量存储设备）。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对视频的人脸替换设备400中的一系列指令操作。更进一步地，处理器410可以设置为与存储介质430通信，在视频的人脸替换设备400上执行存储介质430中的一系列指令操作。
基于视频的人脸替换设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口460，和/或，一个或一个以上操作系统431，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图4展示的视频的人脸替换设备结构并不构成对基于视频的人脸替换设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述视频的人脸替换方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种视频的人脸替换方法，其特征在于，包括步骤：
获取待处理的视频数据和目标人脸图像，对所述视频数据进行拆解处理，得到图像帧集；
读取所述图像帧集中的图像帧，对所述图像帧进行人脸检测处理，得到所述图像帧中的人脸图像；
根据预置人脸采集算法，对所述人脸图像进行节点覆盖处理，得到所述人脸图像的特征覆盖区域；
根据预置face-parsing算法，对所述人脸图像进行裁剪处理，得到所述人脸图像的面部覆盖区域；
将所述特征覆盖区域和所述面部覆盖区域进行交集处理，得到面部替换区域；
根据预置替换虚化算法，将所述目标人脸图像替换掉所述面部替换区域的人脸图像，得到替换图像帧；
其中，所述读取所述图像帧集中的图像帧，对所述图像帧进行人脸检测处理，得到所述图像帧中的人脸图像包括：
根据预置DBface人脸检测算法，对所述图像帧进行范围标记处理，得到所述图像帧的人脸检测框；
其中，所述根据预置人脸采集算法，对所述人脸图像进行节点覆盖处理，得到所述人脸图像的特征覆盖区域包括：
基于预置dlib数据库，对所述人脸检测框中的图像进行关键点测量处理，得到N个关键点坐标，其中，N为正整数；
基于所述N个关键点坐标，对所述人脸检测框的区域进行迭代逼近处理，得到所述人脸图像的特征覆盖区域；
其中，所述基于所述N个关键点坐标，对所述人脸检测框的区域进行迭代逼近处理，得到所述人脸图像的特征覆盖区域包括：
提取所述N个关键点坐标中的M个关键点坐标，留下N-M个关键点坐标，其中，M为不大于N的正整数；
对所述M个关键点坐标进行连接面积扩大处理，对所述N-M个关键点坐标进行面积缩小处理，得到所述人脸图像的特征覆盖区域。
2.根据权利要求1所述的视频的人脸替换方法，其特征在于，所述对所述M个关键点坐标进行连接面积扩大处理，对所述N-M个关键点坐标进行面积缩小处理，得到所述人脸图像的特征覆盖区域包括：
将所述M个关键点坐标的X坐标/Y坐标增加所述人脸检测框1/R的X坐标值/Y坐标值，将所述N-M个关键点坐标的X坐标/Y坐标减少所述人脸检测框1/R的X坐标值/Y坐标值，得到所述人脸图像的特征覆盖区域，其中,R为大于1的正整数。
3.根据权利要求1所述的视频的人脸替换方法，其特征在于，所述根据预置替换虚化算法，将所述目标人脸图像替换掉所述面部替换区域的人脸图像，得到替换图像帧包括：
对所述面部替换区域进行高斯模糊处理，得到模糊替换区域；
将所述目标人脸图像替换掉所述面部替换区域的人脸图像，得到替换图像帧。
4.根据权利要求1所述的视频的人脸替换方法，其特征在于，所述获取待处理的视频数据和目标人脸图像，对所述视频数据进行拆解处理，得到图像帧集包括：
获取待处理的视频数据和目标人脸图像；
根据预置first-order-motion-model算法，对所述视频数据进行动作拆分处理，得到图像帧集。
5.一种视频的人脸替换装置，其特征在于，所述视频的人脸替换装置包括：
拆解模块，用于获取待处理的视频数据和目标人脸图像，对所述视频数据进行拆解处理，得到图像帧集；
检测模块，用于读取所述图像帧集中的图像帧，对所述图像帧进行人脸检测处理，得到所述图像帧中的人脸图像；
节点覆盖模块，用于根据预置人脸采集算法，对所述人脸图像进行节点覆盖处理，得到所述人脸图像的特征覆盖区域；
裁剪模块，用于根据预置face-parsing算法，对所述人脸图像进行裁剪处理，得到所述人脸图像的面部覆盖区域；
交集处理模块，用于将所述特征覆盖区域和所述面部覆盖区域进行交集处理，得到面部替换区域；
替换模块，用于根据预置替换虚化算法，将所述目标人脸图像替换掉所述面部替换区域的人脸图像，得到替换图像帧；
其中，所述检测模块具体用于：
根据预置DBface人脸检测算法，对所述图像帧进行范围标记处理，得到所述图像帧的人脸检测框；
其中，所述节点覆盖模块包括：
关键点测量单元，用于基于预置dlib数据库，对所述人脸检测框中的图像进行关键点测量处理，得到N个关键点坐标，其中，N为正整数；
迭代逼近单元，用于迭代基于所述N个关键点坐标，对所述人脸检测框的区域进行迭代逼近处理，得到所述人脸图像的特征覆盖区域；
其中，所述迭代逼近单元具体用于：
提取所述N个关键点坐标中的M个关键点坐标，留下N-M个关键点坐标，其中，M为不大于N的正整数；
对所述M个关键点坐标进行连接面积扩大处理，对所述N-M个关键点坐标进行面积缩小处理，得到所述人脸图像的特征覆盖区域。
6.一种视频的人脸替换设备，其特征在于，所述视频的人脸替换设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述视频的人脸替换设备执行如权利要求1-4中任一项所述的视频的人脸替换方法。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的视频的人脸替换方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210352988.2A CN114429666B (zh) | 2022-04-06 | 2022-04-06 | 视频的人脸替换方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210352988.2A CN114429666B (zh) | 2022-04-06 | 2022-04-06 | 视频的人脸替换方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114429666A CN114429666A (zh) | 2022-05-03 |
| CN114429666B true CN114429666B (zh) | 2022-07-01 |
Family
ID=81314309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210352988.2A Active CN114429666B (zh) | 2022-04-06 | 2022-04-06 | 视频的人脸替换方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114429666B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018176958A1 (zh) * | 2017-03-28 | 2018-10-04 | 武汉斗鱼网络科技有限公司 | 一种随图像中关键点移动的自适应贴图方法和系统 |
| CN111915479A (zh) * | 2020-07-15 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN112488064A (zh) * | 2020-12-18 | 2021-03-12 | 平安科技（深圳）有限公司 | 一种人脸追踪方法、系统、终端及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949360A (zh) * | 2019-12-11 | 2021-06-11 | 广州市久邦数码科技有限公司 | 一种视频换脸方法和装置 |
| CN113361320A (zh) * | 2021-04-07 | 2021-09-07 | 汇纳科技股份有限公司 | 基于稠密人脸关键点的视频换脸方法、系统、介质及设备 |
| CN113870102B (zh) * | 2021-12-06 | 2022-03-08 | 深圳市大头兄弟科技有限公司 | 图像的动漫化方法、装置、设备及存储介质 |
-
2022
- 2022-04-06 CN CN202210352988.2A patent/CN114429666B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018176958A1 (zh) * | 2017-03-28 | 2018-10-04 | 武汉斗鱼网络科技有限公司 | 一种随图像中关键点移动的自适应贴图方法和系统 |
| CN111915479A (zh) * | 2020-07-15 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN112488064A (zh) * | 2020-12-18 | 2021-03-12 | 平安科技（深圳）有限公司 | 一种人脸追踪方法、系统、终端及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Face2face:Real-time face capture and reenactment of rgb 20 videos;THIES J et al;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition》;20161231;2387-2395 * |
| 基于Candide-3算法的图像中面部替换技术;黄诚;《计算技术与自动化》;20180615(第02期);105-109 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114429666A (zh) | 2022-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102304674B1 (ko) | 얼굴 표정 합성 방법과 장치, 전자 기기, 및 저장 매체 | |
| CN108960229B (zh) | 一种面向多方向的文字检测方法和装置 | |
| CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
| KR20140004230A (ko) | 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체 | |
| CN111553923A (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
| CN110163866A (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
| RU2697627C1 (ru) | Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ | |
| WO2022242397A1 (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| CN111243051A (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
| CN111489322A (zh) | 给静态图片加天空滤镜的方法及装置 | |
| CN111127668A (zh) | 一种角色模型生成方法、装置、电子设备和存储介质 | |
| CN114862725B (zh) | 基于光流法实现运动感知模糊特效的方法及装置 | |
| CN113177526B (zh) | 基于人脸识别的图像处理方法、装置、设备及存储介质 | |
| CN115270184A (zh) | 视频脱敏、车辆的视频脱敏方法、车载处理系统 | |
| CN114429666B (zh) | 视频的人脸替换方法、装置、设备及存储介质 | |
| CN113591433A (zh) | 一种文本排版方法、装置、存储介质及计算机设备 | |
| CN106056575B (zh) | 一种基于似物性推荐算法的图像匹配方法 | |
| CN111179287A (zh) | 人像实例分割方法、装置、设备及存储介质 | |
| CN111798481A (zh) | 图像序列分割方法及装置 | |
| CN114862716A (zh) | 人脸图像的图像增强方法、装置、设备及存储介质 | |
| CN114647361A (zh) | 一种基于人工智能的触摸屏物体定位方法及装置 | |
| CN113256484A (zh) | 一种对图像进行风格化处理的方法及装置 | |
| Pourjam et al. | Segmentation of Human Instances Using Grab-cut and Active Shape Model Feedback. | |
| Pan et al. | Salient structural elements based texture synthesis | |
| CN115050086B (zh) | 样本图像生成方法、模型训练方法、图像处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 518000 Building 1901, 1902, 1903, Qianhai Kexing Science Park, Labor Community, Xixiang Street, Bao'an District, Shenzhen, Guangdong Province Patentee after: Shenzhen Flash Scissor Intelligent Technology Co.,Ltd. Address before: 518000 Unit 9ABCDE, Building 2, Haihong Industrial Plant Phase II, Haihong Industrial Plant, West Side of Xixiang Avenue, Labor Community, Xixiang Street, Bao'an District, Shenzhen, Guangdong Patentee before: Shenzhen big brother Technology Co.,Ltd. |