CN106373182A - 一种增强现实人脸互动娱乐方法 - Google Patents

一种增强现实人脸互动娱乐方法 Download PDF

Info

Publication number
CN106373182A
CN106373182A CN201610685587.3A CN201610685587A CN106373182A CN 106373182 A CN106373182 A CN 106373182A CN 201610685587 A CN201610685587 A CN 201610685587A CN 106373182 A CN106373182 A CN 106373182A
Authority
CN
China
Prior art keywords
face
human face
video
characteristic point
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610685587.3A
Other languages
English (en)
Inventor
许奇明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Liduo Digital Technology Co Ltd
Original Assignee
Suzhou Liduo Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Liduo Digital Technology Co Ltd filed Critical Suzhou Liduo Digital Technology Co Ltd
Priority to CN201610685587.3A priority Critical patent/CN106373182A/zh
Publication of CN106373182A publication Critical patent/CN106373182A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种增强现实人脸互动娱乐方法，其包括如下步骤：步骤一、预先制作标准人脸三维模型和脸部三维素材；步骤二、输入人脸视频，并在输入的人脸视频中的每一帧检测2D人脸特征点；步骤三、结合标准人脸三维模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态；步骤四、根据步骤三中所得到的人脸的3D位置和姿态将预先制作好的脸部三维素材转换到视频中人脸的相同姿态下，并且渲染叠加在人脸视频中实现增强现实效果；步骤五、录制人脸增强现实效果视频并保存后与朋友分享互动。本发明只需要通过普通的手机摄像头即可拍摄人脸视频，无需特殊传感器等外接设备，使用范围不受限制，便于推广，且具有很好的跟随性，效果自然。

Description

一种增强现实人脸互动娱乐方法
技术领域
本发明属于计算机视觉和计算机图形学技术领域，具体地涉及一种增强现实人脸互动娱乐方法。
背景技术
增强现实人脸互动娱乐技术主要通过手机拍摄人脸视频，实时在线地通过跟踪人脸特征点进一步估计人脸的3D位置和姿态，从而将预设的脸部三维素材叠加到人脸视频中并跟随人脸旋转移动，得到新奇的增强现实互动效果，进一步地，还可以通过录制视频与朋友分享而实现互动。由于人脸动作是人类情感传递的一个重要途径，因此上述技术在人机交互、影视广告、游戏制作、视频会议等方面都有广泛的应用。
目前增强现实的方案一般均依赖于标记（如ARToolKit设计的特殊类型的标记），将标记印到纸张上然后放到场景中，通过识别该特殊标记可以估计3D位置和姿态，从而可以将虚拟三维物体以合适的姿态叠加到视频场景中，此类方法需要额外的标记并且始终将标记放置在场景需要叠加虚拟三维物体的位置上，并不适用于人脸互动娱乐。估计人脸的3D位置和姿态一般需要知道人脸的三维模型结构信息，目前可以通过RGB-D摄像机实时获取人脸3D信息（如微软的Kinect传感器），但是该类技术需要特殊的传感器，因此大大限制了其使用范围。
发明内容
本发明的发明目的是提供一种增强现实人脸互动娱乐方法，通过手机摄像头拍摄人脸视频，在视频中跟踪人脸特征点，并且根据特征点进一步估计人脸的3D位置和姿态，从而能够将预设的脸部三维素材叠加到人脸视频中并且跟随人脸旋转移动，从而实现适用于人脸互动娱乐的增强现实方法，使用范围广。
为达到上述发明目的，本发明采用的技术方案是：一种增强现实人脸互动娱乐方法，其包括如下步骤：
步骤一、预先制作标准人脸三维模型和脸部三维素材；
步骤二、输入人脸视频，并在输入的人脸视频中的每一帧检测2D人脸特征点；
步骤三、结合标准人脸三维模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态；
步骤四、根据步骤三中所得到的人脸的3D位置和姿态将预先制作好的脸部三维素材转换到视频中人脸的相同姿态下，并且渲染叠加在人脸视频中实现增强现实效果；
步骤五、录制人脸增强现实效果视频并保存后与朋友分享互动。
上述技术方案中，所述标准人脸三维模型和脸部三维素材由三维建模软件制作而成。
进一步地，所述步骤二中在输入的人脸视频中的每一帧检测2D人脸特征点的具体步骤包括：
其中，为视频中的一2D人脸特征点坐标；为2D人脸特征点对应的在标准人脸三维模型中的顶点三维坐标；和分别为3D旋转矩阵和平移矢量；为正射投影操作；为L2范数。
进一步地，所述步骤三中结合标准人脸三维模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态是通过优化如下函数得到的：
（3）定位2D人脸特征点。
（2）提取人脸图像特征；
（1）构建2D人脸特征点训练数据库；
优选地，所述步骤二中检测2D人脸特征点个数为66个。
优选地，所述步骤（2）中提取人脸图像特征时采用HoG特征作为每个特征点处的特征描述方式。
优选地，所述步骤（3）中定位2D人脸特征点的方法为，对于每个特征点使用上一帧的位置作为初始值，通过估计偏移得到在当前帧中特征点的位置。
优选地，对于所述每个特征点处的特征矢量，通过线性回归的方式分别计算水平和垂直方向的偏移量，线性回归的系数通过在2D人脸特征点训练数据库中学习得到。
优选地，所述特征矢量由特征点处的HoG特征前后拼接而成。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：
1．本发明只需要通过普通的手机摄像头即可拍摄人脸视频，无需特殊传感器等外接设备，使用范围不受限制，便于推广；
2.本发明的脸部三维素材通过估计到的人脸3D位置和姿态来叠加，对人脸运动有着很好的跟随性，效果自然。
附图说明
图1是实施例一中本发明的方法流程图。
图2是实施例一中标准人脸三维模型示意图。
图3是实施例一中定义人脸2D特征点示意图。
图4是实施例一中本发明增强现实人脸互动娱乐效果图。
具体实施方式
下面结合附图及实施例对本发明作进一步描述：
实施例一：
参见图1所示，一种增强现实人脸互动娱乐方法，其包括如下步骤：
步骤一、预先制作标准人脸三维模型和脸部三维素材；
步骤二、输入人脸视频，并在输入的人脸视频中的每一帧检测2D人脸特征点；
步骤三、结合标准人脸三维模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态；
步骤四、根据步骤三中所得到的人脸的3D位置和姿态将预先制作好的脸部三维素材转换到视频中人脸的相同姿态下，并且渲染叠加在人脸视频中实现增强现实效果；
步骤五、录制人脸增强现实效果视频并保存后与朋友分享互动。
本实施例中，所述标准人脸三维模型由建模师利用三维建模软件（如3DSMax）制作而成，模型顶点数在3000左右即可，参见图2所示，脸部三维素材也可以用类似的方法制作，精细程度和标准人脸三维模型接近即可。
具体地，所述步骤二中在输入的人脸视频中的每一帧检测2D人脸特征点的具体步骤包括：
（1）构建2D人脸特征点训练数据库；
（2）提取人脸图像特征；
（3）定位2D人脸特征点。
其中，对于步骤（1），首先收集不同性别、种族、脸部姿态和表情的人脸图像，收集图像数量在1000幅左右即可，其中性别、种族、脸部姿态和表情尽可能分布均匀，然后通过手工标记每幅人脸图像中66个特征点的位置。特征点的定义参见图3所示。
对于步骤（2），在人脸图像中当前每个特征点的位置，以该位置为中心，选取周围的一个方形区域子图像,该区域的边长可以选择成与两眼瞳孔间距相同，然后在该方形区域子图像中计算HoG图像特征，并构成每个特征点处的特征矢量。
对于步骤（3），首先将66个特征点处的HoG特征前后拼接形成一个联合特征矢量。也就是说，假设步骤（2）中计算得到的每个特征点处的HoG特征矢量的维数为k ，则为66k 维列矢量。则第i 个特征点的水平和垂直方向的偏移量通过下式线性回归的方式计算得到：
其中，和分别为第i 个特征点的水平和垂直方向的偏移量；为第i 个特征点对应的尺寸为2×66k 的线性回归系数矩阵，该矩阵通过在步骤（1）构造的2D人脸特征点训练数据库中对66个特征点中的每个特征点进行机器学习得到。在实际操作过程中通常单次线性回归得到的偏移量不足以准确定位特征点，因此需要进行迭代计算，也就是说当本次偏移完成后在新的特征点位置处重新按照步骤（2）的方法计算所有特征点处的HoG图像特征，将新的HoG图像特征拼接形成一个联合特征矢量再一次进行线性回归计算新的偏移量。迭代次数通常设为3～6次即可。
对于2D人脸特征点的初始位置设定方法如下：对于第一帧图像，首先用Viola-Jones人脸检测器检测人脸区域的外接矩形框，然后将步骤（1）构造的2D人脸特征点训练数据得到的2D人脸特征点平均形状缩放到人脸区域的外接矩形框内，将此作为特征点的初始位置；对于其他情况，初始位置可以设定为上一帧人脸2D特征点检测位置。
对于步骤三，需要确定当前帧中人脸相对于世界坐标系下的3D位置和姿态，通过3×3的旋转矩阵和2×1的平移矢量来表示，其中为正交矩阵。则和通过下式的优化来计算：
其中，N 为特征点个数，在本发明中为66；为视频中某一2D人脸特征点坐标；为2D人脸特征点对应的在标准人脸三维模型中的顶点三维坐标，其在定义好66个特征点过后即可确定在标准人脸三维模型网格中的顶点位置；为正射投影操作；为L2范数。
步骤三的优化可以通过Levenberg-Marquadt算法实现。其中可以参数化为欧拉角，即分别为绕x，y，z轴旋转的角度。和初始值设定方法如下：对于第一帧图像，可以设置为单位矩阵，也就是说，将绕x，y，z轴旋转的角度都置为0；可以设置为0；对于其他情况，和可以设置为前一帧的3D位置和姿态估计值。
步骤四中，首先根据步骤三得到的人脸的3D位置和姿态对预先制作好的脸部三维素材模型进行如下几何变换：
然后将该三维模型通过OpenGL绘制叠加到人脸视频中实现增强现实效果。
步骤五中，通过实时抓取屏幕帧并组装成视频后保存在本地，进一步可以通过微信、QQ等媒介与朋友分享互动。
参见图4所述，用户在收集摄像头前晃动旋转头部，虚拟的橄榄球头盔能够自动的贴合在视频中的恰当位置并且跟随头部运动。

Claims (9)

1.一种增强现实人脸互动娱乐方法，其包括如下步骤：
步骤一、预先制作标准人脸三维模型和脸部三维素材；
步骤二、输入人脸视频，并在输入的人脸视频中的每一帧检测2D人脸特征点；
步骤三、结合标准人脸三维模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态；
步骤四、根据步骤三中所得到的人脸的3D位置和姿态将预先制作好的脸部三维素材转换到视频中人脸的相同姿态下，并且渲染叠加在人脸视频中实现增强现实效果；
步骤五、录制人脸增强现实效果视频并保存后与朋友分享互动。
2.根据权利要求1所述的增强现实人脸互动娱乐方法，其特征在于：所述标准人脸三维模型以及脸部三维素材由三维建模软件制作而成。
3.根据权利要求1所述的增强现实人脸互动娱乐方法，其特征在于：所述步骤二中在输入的人脸视频中的每一帧检测2D人脸特征点的具体步骤包括：
（1）构建2D人脸特征点训练数据库；
（2）提取人脸图像特征；
（3）定位2D人脸特征点。
4.根据权利要求1所述的增强现实人脸互动娱乐方法，其特征在于：所述步骤三中结合标准人脸三维模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态是通过优化如下函数得到的：
其中，为视频中的一2D人脸特征点坐标；为2D人脸特征点对应的在标准人脸三维模型中的顶点三维坐标；和分别为3D旋转矩阵和平移矢量；为正射投影操作；为L2范数。
5.根据权利要求1所述的增强现实人脸互动娱乐方法，其特征在于：所述步骤二中检测2D人脸特征点个数为66个。
6.根据权利要求3所述的增强现实人脸互动娱乐方法，其特征在于：所述步骤（2）中提取人脸图像特征时采用HoG特征作为每个特征点处的特征描述方式。
7.根据权利要求3所述的增强现实人脸互动娱乐方法，其特征在于：所述步骤（3）中定位2D人脸特征点的方法为，对于每个特征点使用上一帧的位置作为初始值，通过估计偏移得到在当前帧中特征点的位置。
8.根据权利要求7所述的增强现实人脸互动娱乐方法，其特征在于：对于所述每个特征点处的特征矢量，通过线性回归的方式分别计算水平和垂直方向的偏移量，线性回归的系数通过在2D人脸特征点训练数据库中学习得到。
9.根据权利要求8所述的增强现实人脸互动娱乐方法，其特征在于：所述特征矢量由特征点处的HoG特征前后拼接而成。
CN201610685587.3A 2016-08-18 2016-08-18 一种增强现实人脸互动娱乐方法 Pending CN106373182A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610685587.3A CN106373182A (zh) 2016-08-18 2016-08-18 一种增强现实人脸互动娱乐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610685587.3A CN106373182A (zh) 2016-08-18 2016-08-18 一种增强现实人脸互动娱乐方法

Publications (1)

Publication Number Publication Date
CN106373182A true CN106373182A (zh) 2017-02-01

Family

ID=57879505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610685587.3A Pending CN106373182A (zh) 2016-08-18 2016-08-18 一种增强现实人脸互动娱乐方法

Country Status (1)

Country Link
CN (1) CN106373182A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437272A (zh) * 2017-08-31 2017-12-05 深圳锐取信息技术股份有限公司 基于增强现实的互动娱乐方法、装置及终端设备
CN108629248A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN108875499A (zh) * 2017-11-06 2018-11-23 北京旷视科技有限公司 人脸形状点和状态属性检测及增强现实方法和装置
CN109145688A (zh) * 2017-06-28 2019-01-04 武汉斗鱼网络科技有限公司 视频图像的处理方法及装置
WO2019019927A1 (zh) * 2017-07-27 2019-01-31 腾讯科技（深圳）有限公司 一种视频处理方法、网络设备和存储介质
CN109427105A (zh) * 2017-08-24 2019-03-05 Tcl集团股份有限公司 虚拟视频的生成方法及装置
CN110262763A (zh) * 2018-03-21 2019-09-20 腾讯科技（深圳）有限公司 基于增强现实的显示方法和装置以及存储介质和电子设备
WO2023211364A3 (zh) * 2022-04-24 2023-12-28 脸萌有限公司 图像处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102332095A (zh) * 2011-10-28 2012-01-25 中国科学院计算技术研究所 一种人脸运动跟踪方法和系统以及一种增强现实方法
CN103430218A (zh) * 2011-03-21 2013-12-04 英特尔公司 用3d脸部建模和地标对齐扩增造型的方法
US9224248B2 (en) * 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
CN105354876A (zh) * 2015-10-20 2016-02-24 何家颖 一种基于移动终端的实时立体试衣方法
CN105528805A (zh) * 2015-12-25 2016-04-27 苏州丽多数字科技有限公司 一种虚拟人脸动画合成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430218A (zh) * 2011-03-21 2013-12-04 英特尔公司 用3d脸部建模和地标对齐扩增造型的方法
CN102332095A (zh) * 2011-10-28 2012-01-25 中国科学院计算技术研究所 一种人脸运动跟踪方法和系统以及一种增强现实方法
US9224248B2 (en) * 2012-07-12 2015-12-29 Ulsee Inc. Method of virtual makeup achieved by facial tracking
CN105354876A (zh) * 2015-10-20 2016-02-24 何家颖 一种基于移动终端的实时立体试衣方法
CN105528805A (zh) * 2015-12-25 2016-04-27 苏州丽多数字科技有限公司 一种虚拟人脸动画合成方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629248A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN109145688A (zh) * 2017-06-28 2019-01-04 武汉斗鱼网络科技有限公司 视频图像的处理方法及装置
WO2019019927A1 (zh) * 2017-07-27 2019-01-31 腾讯科技（深圳）有限公司 一种视频处理方法、网络设备和存储介质
TWI678099B (zh) * 2017-07-27 2019-11-21 大陸商騰訊科技（深圳）有限公司 視頻處理方法、裝置和儲存介質
CN109427105A (zh) * 2017-08-24 2019-03-05 Tcl集团股份有限公司 虚拟视频的生成方法及装置
CN107437272A (zh) * 2017-08-31 2017-12-05 深圳锐取信息技术股份有限公司 基于增强现实的互动娱乐方法、装置及终端设备
CN108875499A (zh) * 2017-11-06 2018-11-23 北京旷视科技有限公司 人脸形状点和状态属性检测及增强现实方法和装置
CN110262763A (zh) * 2018-03-21 2019-09-20 腾讯科技（深圳）有限公司 基于增强现实的显示方法和装置以及存储介质和电子设备
CN110262763B (zh) * 2018-03-21 2021-10-15 腾讯科技（深圳）有限公司 基于增强现实的显示方法和装置以及存储介质和电子设备
WO2023211364A3 (zh) * 2022-04-24 2023-12-28 脸萌有限公司 图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN106373182A (zh) 一种增强现实人脸互动娱乐方法
KR102069964B1 (ko) 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법
Rematas et al. Soccer on your tabletop
AU2018292610B2 (en) Method and system for performing simultaneous localization and mapping using convolutional image transformation
Achenbach et al. Fast generation of realistic virtual humans
TWI659335B (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
CN105279795B (zh) 基于3d标记的增强现实系统
CN110825234A (zh) 一种面向工业场景的投影式增强现实跟踪显示方法和系统
EP3533218B1 (en) Simulating depth of field
CA2599483A1 (en) Automatic scene modeling for the 3d camera and 3d video
CN104915978A (zh) 基于体感相机Kinect的真实感动画生成方法
CN107330980A (zh) 一种基于无标志物的虚拟家具布置系统
CN107145224A (zh) 基于三维球面泰勒展开的人眼视线跟踪方法和装置
Bebie et al. A Video‐Based 3D‐Reconstruction of Soccer Games
CN104732560A (zh) 基于动作捕捉系统的虚拟摄像机拍摄方法
CN104599231B (zh) 一种基于Kinect和网络摄像机的动态人像合成方法
CN110008873B (zh) 面部表情捕捉方法、系统及设备
JP2018116421A (ja) 画像処理装置および画像処理方法
CN110097644B (zh) 一种基于混合现实的表情迁移方法、装置、系统和处理器
KR101741149B1 (ko) 가상 카메라의 시점 제어 방법 및 장치
Tang Application of Expression Capture based on Image Perspective Analysis in Animation Production
US11417043B2 (en) Method for generating simulations of thin film interfaces for improved animation
Will et al. An Optimized Marker Layout for 3D Facial Motion Capture.
US20240020901A1 (en) Method and application for animating computer generated images
US20240005600A1 (en) Nformation processing apparatus, information processing method, and information processing program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170201