CN106296784A - 一种通过人脸3d数据，进行面部3d装饰物渲染的算法 - Google Patents
一种通过人脸3d数据，进行面部3d装饰物渲染的算法 Download PDFInfo
- Publication number
- CN106296784A CN106296784A CN201610635395.1A CN201610635395A CN106296784A CN 106296784 A CN106296784 A CN 106296784A CN 201610635395 A CN201610635395 A CN 201610635395A CN 106296784 A CN106296784 A CN 106296784A
- Authority
- CN
- China
- Prior art keywords
- face
- distance
- algorithm
- data
- renders
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种通过人脸3D数据，进行面部3D装饰物渲染的算法。通过利用面部识别中的采样点距离变化来计算出人脸的3D运动轨迹，同时还采用了通过一路数据来测算出另一路数据的方式来解决传输过程中带宽不稳定等问题造成3D模型不同步抖动等问题。比起现有技术，不但能给客户带来更好更逼真的交互体验，还能保证数据传输的过程不受带宽的影响，从而能更好的提高用户满意度。
Description
技术领域
本发明属于3D渲染算法技术领域。
背景技术
随着3D相机的广泛应用，越来越多的应用都开始采用3D双目设备来进行采集了，特别是VR、AR等相关应用，在很多互动直播的时候都会采用人脸的交互和特效的叠加来增加乐趣，比如交互时在人脸上叠加红脸蛋等。但是现有技术叠加的特效均为2D的平面效果，在人脸转动，抬头等变化时，叠加的特效仍然为2D平面图形，不能跟随人脸3D空间变化而变化。
鉴于此，对于采用3D取景的设备的人脸识别系统，迫切的需要有一种通过人脸3D数据，进行面部3D装饰物渲染的算法来解决现有技术存在的问题和风险。本发明就是用来解决此类问题的，通过本发明的方法可以在原有2D面部识别的基础上，通过测量特定采集点之间的距离变化来建立3D的面部模型，从而使提供3D的面部装饰物成为可能。人脸的交互和效果叠加也会有上升到3D装饰的高度，能够增添装饰物的立体感，增加交互的乐趣，提高客户满意度。
发明内容
本发明的目的就是提供一种通过人脸3D数据，进行面部3D装饰物渲染的算法，来解决现有技术中存在的诸多问题。
为了实现本发明的目的，本发明提供了一种通过人脸3D数据，进行面部3D装饰物渲染的算法，所述方法包括如下步骤：
步骤1.用现在已经有的面部特征点算法方案(face++,sencetime等)标注出面部的特征点。
步骤2.根据算法中自带的各个特征点的距离可以得到人脸颊此时的宽度，如人侧脸或低头，能取到多数特征点，就可以根据，脸颊边缘点，到鼻子边缘点的距离比例，还有眼睛和嘴角之间的距离，算出此人面部的倾斜角度。从而换算出面部相对宽度和观看者视觉中心点到被观看者的物理距离。
步骤3.先通过面部特征和面部角度先渲染出左边的面部3D模型，然后再根据视觉中心点到被观看者的距离，和瞳距（平均6.5cm），渲染出稍微倾斜的右眼看到的面部3D模型的视图。
本发明，与现有技术相比，通过利用面部识别中的采样点距离变化来计算出人脸的3D运动轨迹，同时还采用了通过一路数据来测算出另一路数据的方式来解决传输过程中带宽不稳定等问题造成3D模型不同步抖动等问题。比起现有技术，不但能给客户带来更好更逼真的交互体验，还能保证数据传输的过程不受带宽的影响，从而能更好的提高用户满意度。
附图说明
图1是本发明的方法流程图。
图2图3图4本发明的实例1示意图。
具体实例方式
为了使本发明的目的，技术方案及有益效果更加清楚明白，以下结合实例，对本发明进行进一步详细说明。应当理解为此处所描述的具体实例仅用以解释本发明，并不用于限制本发明的保护范围。
如图1所示，本发明提供了一种通过人脸3D数据，进行面部3D装饰物渲染的算法，所述方法包括如下步骤：
步骤S101.用现在已经有的面部特征点算法方案(face++,sencetime等)标注出面部的特征点。仅需标注一边的特征点，另外一边的特征点可忽略。
步骤S102.根据算法中自带的各个特征点的距离可以得到人脸颊此时的宽度，如人侧脸或低头，能取到多数特征点，就可以根据，脸颊边缘点，到鼻子边缘点的距离比例，还有眼睛和嘴角，之间的距离，算出此人面部的倾斜角度。从而换算出面部相对宽度和观看者视觉中心点到被观看者的物理距离。
步骤S103. 先通过面部特征和面部角度先渲染出左边的面部3D模型，然后再根据视觉中心点到被观看者的距离，和瞳距（平均6.5cm），渲染出稍微倾斜的右眼看到的面部3D模型的视图。
以上所述仅是本发明的优选方式，应当指出，不局限于3D装饰物的算法，其他类似于面部识别点间距离变化来推算3D角度变化的方法都应视为本发明的保护范围。还应当指出对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
如图2所示，具体实例。
以下介绍本发明的一种通过人脸3D数据，进行面部3D装饰物渲染的算法。
实例1
如图2所示，假设在VR直播中，提供的是一个面具装饰，传统的2D装饰很难实现，根据步骤S101.用现在已经有的面部特征点算法方案(face++,sencetime等)标注出面部的特征点。仅需标注一边的特征点，另外一边的特征点可忽略。如图3所示，根据步骤S102. 根据算法中自带的各个特征点的距离可以得到此人脸颊此时的宽度，如人侧脸或低头，能取到多数特征点，就可以根据，脸颊边缘点，到鼻子边缘点的距离比例，还有眼睛和嘴角，之间的距离，算出此人面部的倾斜角度。从而换算出面部相对宽度，和观看者视觉中心店到被观看者的物理距离。
如图4所示，步骤S103. 先通过面部特征和面部角度先渲染出左边的面部3D模型，然后再根据视觉中心点到被观看者的距离，和瞳距（平均6.5cm），渲染出稍微倾斜的右眼看到的面部3D模型的视图。通过此方法渲染后的左右眼3D模型，通过VR眼镜观看，会看到一个有景深的立体感的任务，面部分布了立体感的面部装饰物。
Claims (3)
1.一种通过人脸3D数据，进行面部3D装饰物渲染的算法，其特征在于，包括如下步骤：步骤1用现在已经有的面部特征点算法方案(face++,sencetime等) 标注出面部的特征点，步骤2根据算法中自带的各个特征点的距离可以得到人脸颊此时的宽度，如人侧脸或低头，能取到多数特征点，就可以根据，脸颊边缘点，到鼻子边缘点的距离比例，还有眼睛和嘴角之间的距离，算出此人面部的倾斜角度，从而换算出面部相对宽度和观看者视觉中心点到被观看者的物理距离，步骤3先通过面部特征和面部角度先渲染出左边的面部3D模型，然后再根据视觉中心点到被观看者的距离，和瞳距（平均6.5cm），渲染出稍微倾斜的右眼看到的面部3D模型的视图。
2.根据权利要求1所述的一种通过人脸3D数据，进行面部3D装饰物渲染的算法，其特征在于，步骤2中，不局限于根据脸颊到鼻子的距离或者眼睛到嘴角的距离来推送人面部倾斜角度，凡是通过面部特定采样点之间距离变化来推算人脸3D位置的策略都是其特征。
3.根据权利要求1所述的一种通过人脸3D数据，进行面部3D装饰物渲染的算法，其特征在于，步骤3中通过一边的3D模型来推测另一端渲染数据的方法，不局限于本专利描述的3D装饰物的应用，凡是为了避免用两边分别根据面部特征点渲染，由于视频传输过程中的不稳定，和双目摄像机的偏差，特征点可能会有所变差，会造成左右3D模型的不同步抖动等问题，而采用的只渲染一边的模型在推算出另一边数据的策略都是其特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610635395.1A CN106296784A (zh) | 2016-08-05 | 2016-08-05 | 一种通过人脸3d数据，进行面部3d装饰物渲染的算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610635395.1A CN106296784A (zh) | 2016-08-05 | 2016-08-05 | 一种通过人脸3d数据，进行面部3d装饰物渲染的算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106296784A true CN106296784A (zh) | 2017-01-04 |
Family
ID=57665410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610635395.1A Pending CN106296784A (zh) | 2016-08-05 | 2016-08-05 | 一种通过人脸3d数据，进行面部3d装饰物渲染的算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106296784A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845425A (zh) * | 2017-01-25 | 2017-06-13 | 迈吉客科技（北京）有限公司 | 一种视觉跟踪方法和跟踪装置 |
| CN107831902A (zh) * | 2017-11-23 | 2018-03-23 | 腾讯科技（上海）有限公司 | 一种运动控制方法及其设备、存储介质、终端 |
| CN112869701A (zh) * | 2021-01-11 | 2021-06-01 | 上海微创医疗机器人（集团）股份有限公司 | 视线检测方法、手术机器人系统、控制方法和存储介质 |
| US11915347B2 (en) | 2018-06-11 | 2024-02-27 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for reconstructing cardiac images |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1787012A (zh) * | 2004-12-08 | 2006-06-14 | 索尼株式会社 | 用于处理图像的方法、装置和计算机程序 |
| CN102004905A (zh) * | 2010-11-18 | 2011-04-06 | 无锡中星微电子有限公司 | 人脸认证方法及装置 |
| CN102332095A (zh) * | 2011-10-28 | 2012-01-25 | 中国科学院计算技术研究所 | 一种人脸运动跟踪方法和系统以及一种增强现实方法 |
| US20130215112A1 (en) * | 2012-02-17 | 2013-08-22 | Etron Technology, Inc. | Stereoscopic Image Processor, Stereoscopic Image Interaction System, and Stereoscopic Image Displaying Method thereof |
| CN105704419A (zh) * | 2014-11-27 | 2016-06-22 | 程超 | 一种基于可调模板头像的人人交互的方法 |
-
2016
- 2016-08-05 CN CN201610635395.1A patent/CN106296784A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1787012A (zh) * | 2004-12-08 | 2006-06-14 | 索尼株式会社 | 用于处理图像的方法、装置和计算机程序 |
| CN102004905A (zh) * | 2010-11-18 | 2011-04-06 | 无锡中星微电子有限公司 | 人脸认证方法及装置 |
| CN102332095A (zh) * | 2011-10-28 | 2012-01-25 | 中国科学院计算技术研究所 | 一种人脸运动跟踪方法和系统以及一种增强现实方法 |
| US20130215112A1 (en) * | 2012-02-17 | 2013-08-22 | Etron Technology, Inc. | Stereoscopic Image Processor, Stereoscopic Image Interaction System, and Stereoscopic Image Displaying Method thereof |
| CN105704419A (zh) * | 2014-11-27 | 2016-06-22 | 程超 | 一种基于可调模板头像的人人交互的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 梁国远 等: "基于三维模型和仿射对应原理的人脸姿态估计方法", 《计算机学报》 * |
| 金城等: "基于主动外观模型的人脸合成技术", 《浙江大学学报(工学版)》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845425A (zh) * | 2017-01-25 | 2017-06-13 | 迈吉客科技（北京）有限公司 | 一种视觉跟踪方法和跟踪装置 |
| WO2018137456A1 (zh) * | 2017-01-25 | 2018-08-02 | 迈吉客科技（北京）有限公司 | 一种视觉跟踪方法和跟踪装置 |
| CN107831902A (zh) * | 2017-11-23 | 2018-03-23 | 腾讯科技（上海）有限公司 | 一种运动控制方法及其设备、存储介质、终端 |
| CN107831902B (zh) * | 2017-11-23 | 2020-08-25 | 腾讯科技（上海）有限公司 | 一种运动控制方法及其设备、存储介质、终端 |
| US11915347B2 (en) | 2018-06-11 | 2024-02-27 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for reconstructing cardiac images |
| CN112869701A (zh) * | 2021-01-11 | 2021-06-01 | 上海微创医疗机器人（集团）股份有限公司 | 视线检测方法、手术机器人系统、控制方法和存储介质 |
| CN112869701B (zh) * | 2021-01-11 | 2024-03-29 | 上海微创医疗机器人（集团）股份有限公司 | 视线检测方法、手术机器人系统、控制方法和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106296784A (zh) | 一种通过人脸3d数据，进行面部3d装饰物渲染的算法 | |
| CN106910247B (zh) | 用于生成三维头像模型的方法和装置 | |
| CN105447823B (zh) | 一种图像处理方法及一种电子设备 | |
| JP2751145B2 (ja) | 眼鏡形状デザイン設計システム | |
| WO2013052132A3 (en) | Image-based head position tracking method and system | |
| CN107037592B (zh) | 头戴显示设备的视觉优化系统、智能终端及头戴设备 | |
| CN106600665B (zh) | 一种相机动画路径生成方法和装置 | |
| GB2532613A (en) | Real-time visual feedback for user positioning with respect to a camera and a display | |
| CN108921050A (zh) | 一种基于移动端的虚拟现实图像处理系统 | |
| CN104809638A (zh) | 一种基于移动终端的眼镜虚拟试戴方法和系统 | |
| CN102647606B (zh) | 立体影像处理器、立体影像互动系统及立体影像显示方法 | |
| CN105825499A (zh) | 基准平面的确定方法和确定系统 | |
| CN104581113B (zh) | 基于观看角度的自适应全息显示方法及全息显示装置 | |
| CN109284778A (zh) | 人脸颜值计算方法、计算装置及电子设备 | |
| CN103260040B (zh) | 基于人眼视觉特性的3d显示自适应调节方法 | |
| CN106249407A (zh) | 预防及矫正近视的系统 | |
| CN109155055A (zh) | 关注区域图像生成装置 | |
| CN104965739A (zh) | 虚拟现实显示器显示参数的设定方法和虚拟现实显示器 | |
| CN106570747A (zh) | 结合手势识别的眼镜在线适配方法及系统 | |
| CN104581114A (zh) | 基于人眼图像追踪的自适应全息显示方法及全息显示装置 | |
| CN101547332A (zh) | 图像处理方法和设备 | |
| CN107065198A (zh) | 头戴显示设备的视觉优化方法 | |
| CN105931204B (zh) | 图片还原方法及系统 | |
| CN104680574A (zh) | 一种根据照片自动生成3d人脸的方法 | |
| CN109255327A (zh) | 人脸特征信息的获取方法、脸部整形手术评价方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170104 |