CN107203961A - 一种表情迁移的方法及电子设备 - Google Patents
一种表情迁移的方法及电子设备 Download PDFInfo
- Publication number
- CN107203961A CN107203961A CN201610152492.5A CN201610152492A CN107203961A CN 107203961 A CN107203961 A CN 107203961A CN 201610152492 A CN201610152492 A CN 201610152492A CN 107203961 A CN107203961 A CN 107203961A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- feature points
- dimensional coordinate
- key feature
- models
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000005012 migration Effects 0.000 title claims abstract description 14
- 238000013508 migration Methods 0.000 title claims abstract description 14
- 238000009877 rendering Methods 0.000 claims abstract description 40
- 230000008901 benefit Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种表情迁移的方法及电子设备，该方法包括：获取视频帧中人脸的关键特征点的二维坐标；获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的3D图像，该方法具有算法简单，效率高，速度快的优点，能够有效地满足即时视频的实时性要求。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种表情迁移的方法及电子设备。
背景技术
现有的表情迁移方法中，将人脸的2D图像转换为3D图像的方法大多需要对人脸的2D图像进行预处理，获取深度图像后，才能进一步转换为3D图像，存在算法复杂，效率低下，无法满足实时性等问题。
发明内容
为了解决上述问题，本发明提供一种表情迁移的方法及电子设备。
所述技术方案如下：
第一方面，提供了一种表情迁移的方法，所述方法包括：
获取视频帧中人脸的关键特征点的二维坐标；
获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的3D图像。
结合第一方面，在第一种可能的实现方式中，所述根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标包括：
通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
结合第一方面，在第二种可能的实现方式中，所述获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系包括：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
结合第一方面，在第三种可能的实现方式中，所述根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标包括：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
结合第一方面至第一方面第三种任一可能的实现方式，在第四种可能的实现方式中，所述方法还包括：
发送所述对应的3D图像。
第二方面，提供了一种电子设备，所述电子设备包括：
人脸的关键特征点的二维坐标获取模块，用于获取人脸的关键特征点的二维坐标；
对应关键特征点的二维坐标获取模块，用于获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
顶点二维坐标获取模块，用于根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
对比关系获取模块，用于获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
Z轴坐标获取模块，用于根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
显示模块，用于根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的伪3D图像。
结合第二方面，在第一种可能的实现方式中，所述顶点二维坐标获取模块通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
结合第二方面，在第二种可能的实现方式中，所述对比关系获取模块具体用于：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
结合第二方面，在第三种可能的实现方式中，所述Z轴坐标获取模块具体用于：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
结合第二方面至第二方面第三种任一可能的实现方式，在第四种可能的实现方式中，所述设备还包括：
发送模块，用于发送所述对应的3D图像。
第三方面，提供了一种电子设备，所述设备包括存储器、显示屏、发送模块以及与所述存储器、显示屏、发送模块连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
获取视频帧中人脸的关键特征点的二维坐标；
获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的3D图像。
结合第三方面，在第一种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
结合第三方面，在第二种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
结合第三方面，在第三种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
结合第三方面至第三方面第三种任一可能的实现方式，在第四种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
发送所述对应的3D图像。
本发明实施例提供了一种表情迁移的方法及电子设备，通过插值获取3D图像中顶点的二维坐标，并通过视频帧中人脸与3D图像中关键点的对比关系获取3D图像中顶点的Z轴坐标，能够快速的将视频帧中的人脸转换为伪3D图像，具有算法简单，效率高，速度快的优点，能够有效地满足即时视频的实时性要求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种表情迁移的方法的流程图；
图2是本发明实施例提供的一种表情迁移的方法的流程图；
图3是本发明实施例提供的一种电子设备的结构示意图；
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一
本发明实施例提供了一种表情迁移的方法，参照图1所示，方法流程包括：
101、获取视频帧中人脸的关键特征点的二维坐标。
具体的，该过程可以为：
获取视频帧中人脸的关键特征点；
获取所有关键特征点的二维坐标。
102、获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标。
具体的，该过程可以为：
根据获取到的所述人脸中的关键特征点，在预设的3D模型中标注出与之对应的关键特征点；
获取所述3D模型中标注出的关键特征点的二维坐标。
103、根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标。
具体的，该过程可以为：
通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
104、获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系。
具体的，该过程可以为：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
105、根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标。
具体的，该过程可以为：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
106、根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的伪3D图像。
可选的，在步骤106之后还包括：发送所述对应的3D图像。
本发明实施例提供了一种表情迁移的方法，通过插值获取3D图像中顶点的二维坐标，并通过视频帧中人脸与3D图像中关键点的对比关系获取3D图像中顶点的Z轴坐标，能够快速的将视频帧中的人脸转换为伪3D图像，具有算法简单，效率高，速度快的优点，能够有效地满足即时视频的实时性要求。
实施例二
本发明实施例提供了一种表情迁移的方法，参照图2所示，方法流程包括：
201、获取视频帧中人脸的关键特征点的二维坐标。
具体的，该过程可以为：
获取视频中人脸的关键特征点。
对于人脸图片，所述的特征点可以为SIFT点，可以通过对视频帧进行滤波的方式，获取视频帧中人脸的特征点，该过程可以具体为：
设置滤波条件；
根据该滤波条件，对视频帧进行滤波获取视频帧中人脸的特征点。
上述通过对视频帧进行滤波的方式，实现获取视频帧中人脸的特征点的过程仅仅是示例性的，还可以通过其他方式实现该过程，本发明实施例对具体的实现方式不加以限定。
获取所有关键特征点的二维坐标。
示例性的，关键特征点可以为33个,本发明实施例对关键特征点的具体数量不加以限定个。
需要指出的是所述视频帧可以是通过摄像头实时获取的，也可以是从预先存储的视频文件中获取的，本发明实施例对具体的视频帧获取方法不加以限定。
202、获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标。
具体的，该过程可以为：
根据获取到的所述人脸中的关键特征点，在预设的3D模型中标注出与之对应的关键特征点；
获取所述3D模型中标注出的关键特征点的二维坐标。
示例性的，对应于人脸图片，所述3D模型是人脸的3D模型，根据所述人脸图片中的关键特征点，例如眼睛，眉毛，鼻子，嘴巴对应的特征点，在所述预设的人脸3D模型中标注出对应的特征点，如果所述人脸图片中的关键特征点为33个，那么在所述预设的人脸3D模型中标注出的特征点也是33个。
203、根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标。
具体的，该过程可以为：
通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
示例性的，可以通过RBF(径向基函数)插值法获取所述预设的3D模型的所有顶点的新的二维坐标。RBF插值法的公式如下：
其中，n为所述人脸的所有关键特征点的个数，p＝1...n，X＝(xp,yp)为所述人脸的第p个关键特征点的二维坐标，Xp＝(x'p,y'p)为所述预设的3D模型的第p个关键特征点的二维坐标。
根据上述公式求得F(X)的插值函数，对于所述预设的3D模型的所有顶点，将其二维坐标代入所述插值函数中即可求得所述预设的3D模型的所有顶点的新的二维坐标。
204、获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系。
具体的，该过程可以为：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
具体公式如下：
其中，r为所述对比关系，n为所述人脸的所有关键特征点的个数，i＝1...n，为所述人脸的所有关键特征点的二维坐标中X轴坐标的均值，为所述人脸的所有关键特征点的二维坐标中Y轴坐标的均值，xi为所述人脸的第i个关键特征点的二维坐标中X轴坐标的值，yi为所述人脸的第i个关键特征点的二维坐标中Y轴坐标的值，为所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值，为所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标的均值，x'i为所述预设的3D模型的第i个关键特征点的二维坐标中X轴坐标的值，y'i为所述预设的3D模型的第i个关键特征点的二维坐标中Y轴坐标的值。
205、根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标。
具体的，该过程可以为：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
具体公式如下：
z′i＝zi×r，
其中，i＝1...m，m为所述预设的3D模型的所有顶点的个数，z′i为所述预设的3D模型的第i个顶点的新的Z轴坐标，zi为所述预设的3D模型的第i个顶点的Z轴坐标，r为所述对比关系。
示例性的，m的取值可以为97或者300，本发明实施例对所述预设的3D模型的所有顶点的个数不加以限定。
206、根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的伪3D图像。
可选的，在步骤206之后还包括：发送所述对应的3D图像。
本发明实施例提供了一种表情迁移的方法，通过插值获取3D图像中顶点的二维坐标，并通过视频帧中人脸与3D图像中关键点的对比关系获取3D图像中顶点的Z轴坐标，能够快速的将视频帧中的人脸转换为伪3D图像，具有算法简单，效率高，速度快的优点，能够有效地满足即时视频的实时性要求。
实施例三
本发明实施例提供了一种电子设备，参照图3所示，该电子设备包括：
人脸的关键特征点的二维坐标获取模块301，用于获取人脸的关键特征点的二维坐标；
对应关键特征点的二维坐标获取模块302，用于获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
顶点二维坐标获取模块303，用于根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
对比关系获取模块304，用于获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
Z轴坐标获取模块305，用于根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
显示模块306，用于根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的伪3D图像。
优选的，所述顶点二维坐标获取模块303通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
优选的，所述对比关系获取模块304具体用于：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
优选的，所述Z轴坐标获取模块305具体用于：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
可选的，所述设备还包括：
发送模块307，用于发送所述对应的3D图像。
本发明实施例提供了一种电子设备，通过插值获取3D图像中顶点的二维坐标，并通过视频帧中人脸与3D图像中关键点的对比关系获取3D图像中顶点的Z轴坐标，能够快速的将视频帧中的人脸转换为伪3D图像，具有算法简单，效率高，速度快的优点，能够有效地满足即时视频的实时性要求。
实施例四
本发明实施例提供了一种电子设备，参照图4所示，所述设备包括存储器401、显示屏402、发送模块403，以及与存储器401、显示屏402、发送模块403连接的处理器404，其中，存储器401用于存储一组程序代码，处理器404调用存储器401所存储的程序代码用于执行以下操作：
获取视频帧中人脸的关键特征点的二维坐标；
获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的3D图像。
优选的，所述处理器404调用所述存储器401所存储的程序代码用于执行以下操作：
通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
优选的，所述处理器404调用所述存储器401所存储的程序代码用于执行以下操作：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
优选的，所述处理器404调用所述存储器401所存储的程序代码用于执行以下操作：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
可选的，所述处理器404调用所述存储器401所存储的程序代码用于执行以下操作：
发送所述对应的3D图像。
本发明实施例提供了一种电子设备，通过插值获取3D图像中顶点的二维坐标，并通过视频帧中人脸与3D图像中关键点的对比关系获取3D图像中顶点的Z轴坐标，能够快速的将视频帧中的人脸转换为伪3D图像，具有算法简单，效率高，速度快的优点，能够有效地满足即时视频的实时性要求。
以上仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，本领域普通技术人员在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (10)
1.一种表情迁移的方法，其特征在于，所述方法包括：
获取视频帧中人脸的关键特征点的二维坐标；
获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的3D图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标包括：
通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
3.根据权利要求1所述的方法，其特征在于，所述获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系包括：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
4.根据权利要求1所述方法，其特征在于，所述根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标包括：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
5.根据权利要求1至4任意一项所述方法，其特征在于，所述方法还包括：
发送所述对应的3D图像。
6.一种电子设备，其特征在于，所述电子设备包括：
人脸的关键特征点的二维坐标获取模块，用于获取人脸的关键特征点的二维坐标；
对应关键特征点的二维坐标获取模块，用于获取预设的3D模型中与所述人脸的关键特征点对应的关键特征点的二维坐标；
顶点二维坐标获取模块，用于根据所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的位置关系获取所述预设的3D模型的所有顶点的新的二维坐标；
对比关系获取模块，用于获取所述人脸的关键特征点的二维坐标和所述预设的3D模型的关键特征点的二维坐标的对比关系；
Z轴坐标获取模块，用于根据所述对比关系获取所述预设的3D模型的所有顶点的新的Z轴坐标；
显示模块，用于根据所述预设的3D模型的所有顶点的新的二维坐标和新的Z轴坐标显示对应的伪3D图像。
7.根据权利要求6所述的设备，其特征在于，所述顶点二维坐标获取模块通过插值的方式获取所述预设的3D模型的所有顶点的新的二维坐标。
8.根据权利要求6所述设备，其特征在于，所述对比关系获取模块具体用于：
分别获取所述人脸的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述人脸的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第一总和；
获取所述人脸的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第二总和；
分别获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标的均值和Y轴坐标的均值；
获取所述预设的3D模型的所有关键特征点的二维坐标中X轴坐标与所述X轴坐标的均值的差值的绝对值的和，记为第三总和；
获取所述预设的3D模型的所有关键特征点的二维坐标中Y轴坐标与所述Y轴坐标的均值的差值的绝对值的和，记为第四总和；
以所述第一总和与第二总和的和值除以所述第三总和与第四总和的和值为所述对比关系。
9.根据权利要求6所述的设备，其特征在于，所述Z轴坐标获取模块具体用于：
对所述预设的3D模型的每一个顶点的三维坐标的Z轴坐标乘以所述对比关系，获得所述顶点的新的Z轴坐标。
10.根据权利要求6至9任意一项所述设备，其特征在于，所述设备还包括：
发送模块，用于发送所述对应的3D图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610152492.5A CN107203961B (zh) | 2016-03-17 | 2016-03-17 | 一种表情迁移的方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610152492.5A CN107203961B (zh) | 2016-03-17 | 2016-03-17 | 一种表情迁移的方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107203961A true CN107203961A (zh) | 2017-09-26 |
| CN107203961B CN107203961B (zh) | 2020-12-29 |
Family
ID=59903568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610152492.5A Active CN107203961B (zh) | 2016-03-17 | 2016-03-17 | 一种表情迁移的方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107203961B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108399383A (zh) * | 2018-02-14 | 2018-08-14 | 深圳市商汤科技有限公司 | 表情迁移方法、装置存储介质及程序 |
| CN109064548A (zh) * | 2018-07-03 | 2018-12-21 | 百度在线网络技术（北京）有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN110135215A (zh) * | 2018-02-02 | 2019-08-16 | 上海大学 | 一种基于Avatar表情移植的虚拟社交方法 |
| CN111582121A (zh) * | 2020-04-29 | 2020-08-25 | 北京攸乐科技有限公司 | 用于捕捉面部表情特征的方法、终端设备和计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101315661A (zh) * | 2008-07-18 | 2008-12-03 | 东南大学 | 一种减小表情影响的快速三维人脸识别方法 |
| CN101383055A (zh) * | 2008-09-18 | 2009-03-11 | 北京中星微电子有限公司 | 一种三维人脸模型的构造方法和系统 |
| CN101976359A (zh) * | 2010-09-26 | 2011-02-16 | 浙江大学 | 一种三维人脸的特征点自动定位的方法 |
| US20130063417A1 (en) * | 2011-09-08 | 2013-03-14 | Honeywell International Inc. | Object alignment from a 2-dimensional image |
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN104850838A (zh) * | 2015-05-19 | 2015-08-19 | 电子科技大学 | 基于表情不变区域的三维人脸识别方法 |
| CN104899563A (zh) * | 2015-05-29 | 2015-09-09 | 深圳大学 | 一种二维人脸关键特征点定位方法及系统 |
| CN104978548A (zh) * | 2014-04-02 | 2015-10-14 | 汉王科技股份有限公司 | 一种基于三维主动形状模型的视线估计方法与装置 |
-
2016
- 2016-03-17 CN CN201610152492.5A patent/CN107203961B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101315661A (zh) * | 2008-07-18 | 2008-12-03 | 东南大学 | 一种减小表情影响的快速三维人脸识别方法 |
| CN101383055A (zh) * | 2008-09-18 | 2009-03-11 | 北京中星微电子有限公司 | 一种三维人脸模型的构造方法和系统 |
| CN101976359A (zh) * | 2010-09-26 | 2011-02-16 | 浙江大学 | 一种三维人脸的特征点自动定位的方法 |
| US20130063417A1 (en) * | 2011-09-08 | 2013-03-14 | Honeywell International Inc. | Object alignment from a 2-dimensional image |
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN104978548A (zh) * | 2014-04-02 | 2015-10-14 | 汉王科技股份有限公司 | 一种基于三维主动形状模型的视线估计方法与装置 |
| CN104850838A (zh) * | 2015-05-19 | 2015-08-19 | 电子科技大学 | 基于表情不变区域的三维人脸识别方法 |
| CN104899563A (zh) * | 2015-05-29 | 2015-09-09 | 深圳大学 | 一种二维人脸关键特征点定位方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 孙圣鹏: ""三维人脸对齐与重建"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135215A (zh) * | 2018-02-02 | 2019-08-16 | 上海大学 | 一种基于Avatar表情移植的虚拟社交方法 |
| CN110135215B (zh) * | 2018-02-02 | 2021-11-05 | 上海大学 | 一种基于Avatar表情移植的虚拟社交方法 |
| CN108399383A (zh) * | 2018-02-14 | 2018-08-14 | 深圳市商汤科技有限公司 | 表情迁移方法、装置存储介质及程序 |
| CN108399383B (zh) * | 2018-02-14 | 2021-03-23 | 深圳市商汤科技有限公司 | 表情迁移方法、装置存储介质及程序 |
| CN109064548A (zh) * | 2018-07-03 | 2018-12-21 | 百度在线网络技术（北京）有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN109064548B (zh) * | 2018-07-03 | 2023-11-03 | 百度在线网络技术（北京）有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN111582121A (zh) * | 2020-04-29 | 2020-08-25 | 北京攸乐科技有限公司 | 用于捕捉面部表情特征的方法、终端设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107203961B (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102319177B1 (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
| US11315328B2 (en) | Systems and methods of rendering real world objects using depth information | |
| CN109961406A (zh) | 一种图像处理的方法、装置及终端设备 | |
| CN107203962A (zh) | 一种利用2d图片制作伪3d图像的方法及电子设备 | |
| CN107203961A (zh) | 一种表情迁移的方法及电子设备 | |
| CN107454332A (zh) | 图像处理方法、装置及电子设备 | |
| CN109584358A (zh) | 一种三维人脸重建方法及装置、设备和存储介质 | |
| CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
| US9996899B2 (en) | Systems and methods for scaling an object | |
| US20230237683A1 (en) | Model generation method and apparatus based on multi-view panoramic image | |
| WO2023075493A1 (en) | Method and apparatus for three-dimensional scene reconstruction and dense depth map | |
| CN107133981B (zh) | 图像处理方法和装置 | |
| CN103049933A (zh) | 图像处理装置与其方法 | |
| US10650488B2 (en) | Apparatus, method, and computer program code for producing composite image | |
| CN107170007A (zh) | 具有图像散焦功能的图像装置及其产生散焦图像的方法 | |
| CN107592520A (zh) | Ar设备的成像装置及成像方法 | |
| CN106570901A (zh) | 一种基于cuda的双目深度信息恢复加速方法 | |
| US11758101B2 (en) | Restoration of the FOV of images for stereoscopic rendering | |
| CN114399800A (zh) | 人脸姿态估计方法及装置 | |
| CN114387324A (zh) | 深度成像方法、装置、电子设备和计算机可读存储介质 | |
| CN104519332B (zh) | 产生视角平移影像的方法及其便携式电子设备 | |
| CN106934759A (zh) | 一种人脸特征点的正面化方法及电子设备 | |
| CN112584130A (zh) | 实现3d显示的方法、装置及3d显示终端 | |
| US9964772B2 (en) | Three-dimensional image display apparatus, methods and systems | |
| CN105991938B (zh) | 一种虚拟曝光方法、装置及交通摄像机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210317 Address after: 2503, building 15, Longhai home, 5246 Yihai Avenue, Nanshan District, Shenzhen, Guangdong 518051 Patentee after: Xiao Feng Address before: Room 515, 28 tanjiadu Road, Putuo District, Shanghai 200063 Patentee before: Palmwin Information Technology (Shanghai) Co.,Ltd. |