CN107203961B - 一种表情迁移的方法及电子设备 - Google Patents
一种表情迁移的方法及电子设备 Download PDFInfo
- Publication number
- CN107203961B CN107203961B CN201610152492.5A CN201610152492A CN107203961B CN 107203961 B CN107203961 B CN 107203961B CN 201610152492 A CN201610152492 A CN 201610152492A CN 107203961 B CN107203961 B CN 107203961B
- Authority
- CN
- China
- Prior art keywords
- sum
- coordinates
- feature points
- key feature
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000014509 gene expression Effects 0.000 title claims abstract description 14
- 230000005012 migration Effects 0.000 title claims abstract description 13
- 238000013508 migration Methods 0.000 title claims abstract description 13
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
Images
Classifications
-
- G06T3/08—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
本发明公开了一种表情迁移的方法及电子设备，该方法包括：获取视频帧中人脸的关键特征点的二维坐标；获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的3D图像，该方法具有算法简单，效率高，速度快的优点，能够有效地满足即时视频的实时性要求。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种表情迁移的方法及电子设备。
背景技术
现有的表情迁移方法中，将人脸的2D图像转换为3D图像的方法大多需要对人脸的2D图像进行预处理，获取深度图像后，才能进一步转换为3D图像，存在算法复杂，效率低下，无法满足实时性等问题。
发明内容
为了解决上述问题，本发明提供一种表情迁移的方法及电子设备。
所述技术方案如下：
第一方面，提供了一种表情迁移的方法，所述方法包括：
获取视频帧中人脸的关键特征点的二维坐标；
获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的3D图像。
结合第一方面，在第一种可能的实现方式中，所述根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标包括：
通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
结合第一方面，在第二种可能的实现方式中，所述获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系包括：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
结合第一方面，在第三种可能的实现方式中，所述根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标包括：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
结合第一方面至第一方面第三种任一可能的实现方式，在第四种可能的实现方式中，所述方法还包括：
发送所述对应的3D图像。
第二方面，提供了一种电子设备，所述电子设备包括：
人脸的关键特征点的二维坐标获取模块，用于获取人脸的关键特征点的二维坐标；
对应关键特征点的二维坐标获取模块，用于获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
顶点二维坐标获取模块，用于根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
对比关系获取模块，用于获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
Z轴坐标获取模块，用于根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
显示模块，用于根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的伪3D图像。
结合第二方面，在第一种可能的实现方式中，所述顶点二维坐标获取模块通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
结合第二方面，在第二种可能的实现方式中，所述对比关系获取模块具体用于：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
结合第二方面，在第三种可能的实现方式中，所述Z轴坐标获取模块具体用于：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
结合第二方面至第二方面第三种任一可能的实现方式，在第四种可能的实现方式中，所述设备还包括：
发送模块，用于发送所述对应的3D图像。
第三方面，提供了一种电子设备，所述设备包括存储器、显示屏、发送模块以及与所述存储器、显示屏、发送模块连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
获取视频帧中人脸的关键特征点的二维坐标；
获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的3D图像。
结合第三方面，在第一种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
结合第三方面，在第二种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
结合第三方面，在第三种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
结合第三方面至第三方面第三种任一可能的实现方式，在第四种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
发送所述对应的3D图像。
本发明实施例提供了一种表情迁移的方法及电子设备，通过插值获取3D图像中顶点的二维坐标，并通过视频帧中人脸与3D图像中关键点的对比关系获取3D图像中顶点的Z轴坐标，能够快速的将视频帧中的人脸转换为伪3D图像，具有算法简单，效率高，速度快的优点，能够有效地满足即时视频的实时性要求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种表情迁移的方法的流程图；
图2是本发明实施例提供的一种表情迁移的方法的流程图；
图3是本发明实施例提供的一种电子设备的结构示意图；
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一
本发明实施例提供了一种表情迁移的方法，参照图1所示，方法流程包括：
101、获取视频帧中人脸的关键特征点的二维坐标。
具体的，该过程可以为：
获取视频帧中人脸的关键特征点；
获取所有关键特征点的二维坐标。
102、获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标。
具体的，该过程可以为：
根据获取到的所述人脸中的关键特征点，在预设的3D模型中标注出与之对应的关键特征点；
获取所述3D模型中标注出的关键特征点的二维坐标。
103、根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标。
具体的，该过程可以为：
通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
104、获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系。
具体的，该过程可以为：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
105、根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标。
具体的，该过程可以为：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
106、根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的伪3D图像。
可选的，在步骤106之后还包括：发送所述对应的3D图像。
本发明实施例提供了一种表情迁移的方法，通过插值获取3D图像中顶点的二维坐标，并通过视频帧中人脸与3D图像中关键点的对比关系获取3D图像中顶点的Z轴坐标，能够快速的将视频帧中的人脸转换为伪3D图像，具有算法简单，效率高，速度快的优点，能够有效地满足即时视频的实时性要求。
实施例二
本发明实施例提供了一种表情迁移的方法，参照图2所示，方法流程包括：
201、获取视频帧中人脸的关键特征点的二维坐标。
具体的，该过程可以为：
获取视频中人脸的关键特征点。
对于人脸图片，所述的特征点可以为SIFT点，可以通过对视频帧进行滤波的方式，获取视频帧中人脸的特征点，该过程可以具体为：
设置滤波条件；
根据该滤波条件，对视频帧进行滤波获取视频帧中人脸的特征点。
上述通过对视频帧进行滤波的方式，实现获取视频帧中人脸的特征点的过程仅仅是示例性的，还可以通过其他方式实现该过程，本发明实施例对具体的实现方式不加以限定。
获取所有关键特征点的二维坐标。
示例性的，关键特征点可以为33个,本发明实施例对关键特征点的具体数量不加以限定个。
需要指出的是所述视频帧可以是通过摄像头实时获取的，也可以是从预先存储的视频文件中获取的，本发明实施例对具体的视频帧获取方法不加以限定。
202、获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标。
具体的，该过程可以为：
根据获取到的所述人脸中的关键特征点，在预设的3D模型中标注出与之对应的关键特征点；
获取所述3D模型中标注出的关键特征点的二维坐标。
示例性的，对应于人脸图片，所述3D模型是人脸的3D模型，根据所述人脸图片中的关键特征点，例如眼睛，眉毛，鼻子，嘴巴对应的特征点，在所述预设的人脸3D模型中标注出对应的特征点，如果所述人脸图片中的关键特征点为33个，那么在所述预设的人脸3D模型中标注出的特征点也是33个。
203、根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标。
具体的，该过程可以为：
通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
示例性的，可以通过RBF(径向基函数)插值法获取所述预设的3D模型的所有顶点的新的二维坐标。RBF插值法的公式如下：
其中，n为所述人脸的所有关键特征点的个数，p＝1...n，X＝(xp,yp)为所述人脸的第p个关键特征点的二维坐标，Xp＝(x'p,y'p)为所述预设的3D模型的第p个关键特征点的二维坐标。
根据上述公式求得F(X)的插值函数，对于所述预设的3D模型的所有顶点，将其二维坐标代入所述插值函数中即可求得所述预设的3D模型的所有顶点的新的二维坐标。
204、获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系。
具体的，该过程可以为：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
具体公式如下：
其中，r为所述对比关系，n为所述人脸的所有关键特征点的个数，i＝1...n，
为所述人脸的所有关键特征点的二维坐标中X轴坐标的均值，
为所述人脸的所有关键特征点的二维坐标中Y轴坐标的均值，xi为所述人脸的第i个关键特征点的二维坐标中X轴坐标的值，yi为所述人脸的第i个关键特征点的二维坐标中Y轴坐标的值，
为所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值，
为所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标的均值，x'i为所述预设的3D模型的第i个关键特征点的二维坐标中X轴坐标的值，y'i为所述预设的3D模型的第i个关键特征点的二维坐标中Y轴坐标的值。
205、根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标。
具体的，该过程可以为：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
具体公式如下：
z′i＝zi×r，
其中，i＝1...m，m为所述预设的3D模型的所有顶点的个数，z′i为所述预设的3D模型的第i个顶点的新的Z轴坐标，zi为所述预设的3D模型的第i个顶点的Z轴坐标，r为所述对比关系。
示例性的，m的取值可以为97或者300，本发明实施例对所述预设的3D模型的所有顶点的个数不加以限定。
206、根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的伪3D图像。
可选的，在步骤206之后还包括：发送所述对应的3D图像。
本发明实施例提供了一种表情迁移的方法，通过插值获取3D图像中顶点的二维坐标，并通过视频帧中人脸与3D图像中关键点的对比关系获取3D图像中顶点的Z轴坐标，能够快速的将视频帧中的人脸转换为伪3D图像，具有算法简单，效率高，速度快的优点，能够有效地满足即时视频的实时性要求。
实施例三
本发明实施例提供了一种电子设备，参照图3所示，该电子设备包括：
人脸的关键特征点的二维坐标获取模块301，用于获取人脸的关键特征点的二维坐标；
对应关键特征点的二维坐标获取模块302，用于获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
顶点二维坐标获取模块303，用于根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
对比关系获取模块304，用于获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
Z轴坐标获取模块305，用于根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
显示模块306，用于根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的伪3D图像。
优选的，所述顶点二维坐标获取模块303通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
优选的，所述对比关系获取模块304具体用于：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
优选的，所述Z轴坐标获取模块305具体用于：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
可选的，所述设备还包括：
发送模块307，用于发送所述对应的3D图像。
本发明实施例提供了一种电子设备，通过插值获取3D图像中顶点的二维坐标，并通过视频帧中人脸与3D图像中关键点的对比关系获取3D图像中顶点的Z轴坐标，能够快速的将视频帧中的人脸转换为伪3D图像，具有算法简单，效率高，速度快的优点，能够有效地满足即时视频的实时性要求。
实施例四
本发明实施例提供了一种电子设备，参照图4所示，所述设备包括存储器401、显示屏402、发送模块403，以及与存储器401、显示屏402、发送模块403连接的处理器404，其中，存储器401用于存储一组程序代码，处理器404调用存储器401所存储的程序代码用于执行以下操作：
获取视频帧中人脸的关键特征点的二维坐标；
获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的3D图像。
优选的，所述处理器404调用所述存储器401所存储的程序代码用于执行以下操作：
通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
优选的，所述处理器404调用所述存储器401所存储的程序代码用于执行以下操作：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
优选的，所述处理器404调用所述存储器401所存储的程序代码用于执行以下操作：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
可选的，所述处理器404调用所述存储器401所存储的程序代码用于执行以下操作：
发送所述对应的3D图像。
本发明实施例提供了一种电子设备，通过插值获取3D图像中顶点的二维坐标，并通过视频帧中人脸与3D图像中关键点的对比关系获取3D图像中顶点的Z轴坐标，能够快速的将视频帧中的人脸转换为伪3D图像，具有算法简单，效率高，速度快的优点，能够有效地满足即时视频的实时性要求。
以上仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，本领域普通技术人员在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (6)
1.一种表情迁移的方法，其特征在于，所述方法包括：
获取视频帧中人脸的关键特征点的二维坐标；
获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的3D图像；
其中，所述获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系包括：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系；
且其中，所述根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标包括：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标包括：
通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
3.根据权利要求1或2所述方法，其特征在于，所述方法还包括：
发送所述对应的3D图像。
4.一种电子设备，其特征在于，所述电子设备包括：
人脸的关键特征点的二维坐标获取模块，用于获取人脸的关键特征点的二维坐标；
对应关键特征点的二维坐标获取模块，用于获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
顶点二维坐标获取模块，用于根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
对比关系获取模块，用于获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
Z轴坐标获取模块，用于根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
显示模块，用于根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的伪3D图像；
其中，所述对比关系获取模块具体用于：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系；
且其中，所述Z轴坐标获取模块具体用于：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
5.根据权利要求4所述的设备，其特征在于，所述顶点二维坐标获取模块通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
6.根据权利要求4或5所述设备，其特征在于，所述设备还包括：
发送模块，用于发送所述对应的3D图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610152492.5A CN107203961B (zh) | 2016-03-17 | 2016-03-17 | 一种表情迁移的方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610152492.5A CN107203961B (zh) | 2016-03-17 | 2016-03-17 | 一种表情迁移的方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107203961A CN107203961A (zh) | 2017-09-26 |
| CN107203961B true CN107203961B (zh) | 2020-12-29 |
Family
ID=59903568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610152492.5A Active CN107203961B (zh) | 2016-03-17 | 2016-03-17 | 一种表情迁移的方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107203961B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135215B (zh) * | 2018-02-02 | 2021-11-05 | 上海大学 | 一种基于Avatar表情移植的虚拟社交方法 |
| CN108399383B (zh) * | 2018-02-14 | 2021-03-23 | 深圳市商汤科技有限公司 | 表情迁移方法、装置存储介质及程序 |
| CN109064548B (zh) * | 2018-07-03 | 2023-11-03 | 百度在线网络技术（北京）有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN111582121A (zh) * | 2020-04-29 | 2020-08-25 | 北京攸乐科技有限公司 | 用于捕捉面部表情特征的方法、终端设备和计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383055A (zh) * | 2008-09-18 | 2009-03-11 | 北京中星微电子有限公司 | 一种三维人脸模型的构造方法和系统 |
| CN101976359A (zh) * | 2010-09-26 | 2011-02-16 | 浙江大学 | 一种三维人脸的特征点自动定位的方法 |
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN104899563A (zh) * | 2015-05-29 | 2015-09-09 | 深圳大学 | 一种二维人脸关键特征点定位方法及系统 |
| CN104978548A (zh) * | 2014-04-02 | 2015-10-14 | 汉王科技股份有限公司 | 一种基于三维主动形状模型的视线估计方法与装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101315661B (zh) * | 2008-07-18 | 2010-07-07 | 东南大学 | 一种减小表情影响的快速三维人脸识别方法 |
| US8941651B2 (en) * | 2011-09-08 | 2015-01-27 | Honeywell International Inc. | Object alignment from a 2-dimensional image |
| CN104850838B (zh) * | 2015-05-19 | 2017-12-08 | 电子科技大学 | 基于表情不变区域的三维人脸识别方法 |
-
2016
- 2016-03-17 CN CN201610152492.5A patent/CN107203961B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383055A (zh) * | 2008-09-18 | 2009-03-11 | 北京中星微电子有限公司 | 一种三维人脸模型的构造方法和系统 |
| CN101976359A (zh) * | 2010-09-26 | 2011-02-16 | 浙江大学 | 一种三维人脸的特征点自动定位的方法 |
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN104978548A (zh) * | 2014-04-02 | 2015-10-14 | 汉王科技股份有限公司 | 一种基于三维主动形状模型的视线估计方法与装置 |
| CN104899563A (zh) * | 2015-05-29 | 2015-09-09 | 深圳大学 | 一种二维人脸关键特征点定位方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| "三维人脸对齐与重建";孙圣鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130115(第1期);第I138-1763页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107203961A (zh) | 2017-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102319177B1 (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
| CN108198141B (zh) | 实现瘦脸特效的图像处理方法、装置及计算设备 | |
| CN115699114B (zh) | 用于分析的图像增广的方法和装置 | |
| CN107203962B (zh) | 一种利用2d图片制作伪3d图像的方法及电子设备 | |
| JP2019057248A (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| US10726612B2 (en) | Method and apparatus for reconstructing three-dimensional model of object | |
| CN107958446B (zh) | 信息处理设备和信息处理方法 | |
| CN107203961B (zh) | 一种表情迁移的方法及电子设备 | |
| CN109906600B (zh) | 模拟景深 | |
| CN103914876A (zh) | 用于在3d地图上显示视频的方法和设备 | |
| CN112651881B (zh) | 图像合成方法、装置、设备、存储介质以及程序产品 | |
| CN113420719A (zh) | 生成动作捕捉数据的方法、装置、电子设备以及存储介质 | |
| CN111724481A (zh) | 对二维图像进行三维重构的方法、装置、设备及存储介质 | |
| US11557086B2 (en) | Three-dimensional (3D) shape modeling based on two-dimensional (2D) warping | |
| KR20160088814A (ko) | 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법 | |
| JP2010121945A (ja) | ３次元形状生成装置 | |
| CN108430032B (zh) | 一种实现vr/ar设备位置共享的方法及设备 | |
| CN110390712B (zh) | 图像渲染方法及装置、三维图像构建方法及装置 | |
| CN111508058A (zh) | 图像三维重建的方法、装置、存储介质及电子设备 | |
| CN112714263B (zh) | 视频生成方法、装置、设备及存储介质 | |
| US11682234B2 (en) | Texture map generation using multi-viewpoint color images | |
| CN111161138B (zh) | 用于二维全景图像的目标检测方法、装置、设备、介质 | |
| CN113496506A (zh) | 图像处理方法、装置、设备及存储介质 | |
| US20220068024A1 (en) | Determining a three-dimensional representation of a scene |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210317 Address after: 2503, building 15, Longhai home, 5246 Yihai Avenue, Nanshan District, Shenzhen, Guangdong 518051 Patentee after: Xiao Feng Address before: Room 515, 28 tanjiadu Road, Putuo District, Shanghai 200063 Patentee before: Palmwin Information Technology (Shanghai) Co.,Ltd. |
|
| TR01 | Transfer of patent right |