CN105825187A - 一种跨维度人脸地标点定位的方法 - Google Patents
一种跨维度人脸地标点定位的方法 Download PDFInfo
- Publication number
- CN105825187A CN105825187A CN201610149949.7A CN201610149949A CN105825187A CN 105825187 A CN105825187 A CN 105825187A CN 201610149949 A CN201610149949 A CN 201610149949A CN 105825187 A CN105825187 A CN 105825187A
- Authority
- CN
- China
- Prior art keywords
- face
- dictionary
- dimensional
- landmark point
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种跨维度人脸地标点定位的方法,包括如下步骤:1)构造基于自旋图特征的三维人脸锚点自动检测算法;2)基于VCP特征进行boosting学习,构造二维人脸锚点自动检测算法;3)定义包括锚点在内的地标点集合,对部分三维人脸地标点进行标注,构造三维人脸+三维地标点耦合字典。基于在线LCC对该耦合字典进行学习,从而构造并实现基于在线LCC的三维地标点定位算法;4)考虑二维‑三维耦合人脸之间的类质同象特性,通过锚点计算三维到二维人脸的投影变换矩阵,将该投影变换矩阵应用于三维人脸地标点,得到对应二维人脸地标点位置。通过跨维度人脸地标点定位算法,能够做到二维‑三维人脸地标点的准确一致性定位。
Description
技术领域
本发明属于计算机视觉领域,涉及跨维度人脸地标点定位的方法。
背景技术
随着计算机视觉的蓬勃发展,人脸识别技术日趋进步与完善,可被用于多个计算机视觉方向,如:网络游戏、视频监控、门禁系统、人机交互等领域。而脸地标点定位方法通常是在人脸检测的基础上进行的,需要精确地得到每一个面部特征的坐标,是人脸识别中非常重要的一环。
在计算机视觉领域,已有的人脸地标点定位方法分为二维人脸地标点定位和三维人脸地标点定位。二维人脸特征点定位其基本思想是通过点分布模型对人脸的形状变化进行统计建模,再利用地标点附近的局部视觉特征确定的最佳定位,该局部视觉特征包括灰度值梯度分布、纹理特征等。三维人脸地标点定位方法可以分为三类:基于启发式规则的定位、基于几何特征的定位以及基于图模型的定位,但传统的三维人脸地标点定位过度依赖局部特征检测,对于局部特征不明显的地标点定位误差较大。
然而现有的人脸地标点定位方法都是针对单一维度人脸的,无法进行跨维度人脸地标点定位。跨维度人脸地标点定位有以下两个难点:一方面,通过手工方式完成跨维度地标点定位工作量太大,且不同维度人脸地标点的一致性也难以保障。另一方面,由于二维人脸仅是三维人脸一个投影,通过二维人脸地标点对三维人脸地标点进行定位是困难的。
发明内容
本发明要克服现有技术的上述缺点,提供一种跨维度人脸地标点定位的方法,以实现跨维度人脸地标点的准确一致性定位。
本发明提供了一种跨维度人脸地标点定位的方法,包括以下步骤:
1)按照金字塔策略提取标定锚点的多尺度的自旋图特征,利用标注数据对三维锚点的自旋图特征进行boosting学习,构造三维锚点的自动检测算法,确定对应的三维锚点坐标位置;
2)基于视觉上下文模式VCP(Visual Context Pattern)特征的boosting学习,构造并实现的二维人脸锚点检测算法,确定对应的二维锚点坐标位置;
3)定义包括锚点在内的地标点集合,对部分三维人脸地标点进行标注,构造三维人脸+三维地标点耦合字典,基于重建误差最小化和稀疏表达思想,构造基于在线局部坐标编码LCC(Local Coordinate Coding)的三维人脸地标点定位算法;
4)给定新的二维-三维人脸组合,完成三维地标点定位,考虑二维-三维耦合人脸之间的类质同象特性,通过锚点检测计算三维人脸到二维人脸之间的投影变换矩阵,将该投影变换矩阵应用于三维人脸地标点,得到对应二维人脸地标点位置,实现跨维度人脸地标点定位。
步骤3)中所述的基于在线LCC的三维人脸地标点定位算法具体是:
31)通过标注三维地标点可以将不同的三维人脸进行对齐,从而使不同的三维人脸具有相同数目的顶点,在此基础上,构造三维人脸+三维地标点耦合数据;
32)对于第i个数据样本xi:xi={xf(i),xl(i)},其中xf(i)是第i个数据样本的三维人脸,xl(i)是第i个数据样本的三维地标点,进行LCC耦合字典学习,获得该字典的基如下:
其中字典表示为D={Df,Dl}={{df(j),dl(j)}}j∈[1,K],其中K表示样本个数,Df是三维人脸字典,df(j)是第j个数据样本的三维人脸字典,Dl是三维地标点字典,dl(j)是第j个数据样本的三维地标点字典,dj是第j个数据样本的三维人脸地点字典和三维地标点字典组成的字典,αi是第i个数据样本字典dj的系数向量,是第i个数据样本字典到第j个数据样本字典的映射向量,μ是权重系数。由于求解上式的时间开销较大,因此引入在线求解算法取得快速收敛,其迭代策略为:
其中Dt是每次迭代求得到字典表示, 是αi的转置,At和Bt是每次迭代求得的基所对应的系数分布,t表示迭代次数;
33)在获得字典的基之后,对于给定新的三维人脸xf,可以很方便地获得其三维人脸字典Df的系数向量α,直接将α应用于三维人脸地标点字典Dl,从而估计给定三维人脸的地标点坐标如下:
xl=∑Dlα, 式3
根据估计结果可以在给定三维人脸上进行准确的地标点定位。
步骤4)中所述的跨维度人脸地标点定位算法:
考虑二维‐三维耦合人脸之间的类质同象特性,在获得三维人脸锚点及其对应二维人脸锚点的检测之后,通过最小二乘法求解三维人脸到二维人脸的投影变换矩阵H如下:
其中H是一个2×3矩阵,而我们拥有6组锚点,因此上式可解,进而,将H应用于已经定位的三维人脸地标点获得对应的二维人脸地标点坐标:
从而实现跨维度的人脸地标点定位。
本发明的一种跨维度人脸地标点定位的方法:首先进行二维-三维耦合人脸数据之间的类质同象学习,获得三维到二维人脸的投影变换矩阵,然后进行三维人脸地标点定位,进而对所定位的三维人脸地标点进行投影,获取对应二维地标点的位置信息,实现跨维度人脸地标点的准确一致性定位。
现有的人脸地标点定位方法都是针对单一维度人脸的,无法进行跨维度人脸地标点定位。
本发明的优点是:对于给定的二维-三维人脸数据对,能够做到二者地标点的准确一致性定位,且本方法并不过度依赖于局部特征检测,对于局部特征不明显的地标点定位误差较小。
附图说明
图1是本发明方法的训练流程图;
图2是本发明一种跨维度的人脸地标点定位方法的测试流程图;
图3是二维(左)和三维(右)人脸地标点(被圈住的为锚点)。
具体实施方式
下面结合本发明中的附图,对本发明的技术方案进行清晰、完整地描述。
本发明提供了一种跨维度人脸地标点定位方法,图1展示了该方法的整体流程。基于跨维度人脸地标点定位方法具体实施步骤如下:
1.一种跨维度人脸地标点定位的方法,其特征是包括如下步骤:
1)按照金字塔策略提取标定锚点的多尺度的自旋图特征,利用标注数据对三维锚点的自旋图特征进行boosting学习,构造三维锚点的自动检测算法,确定对应的三维锚点坐标位置;
2)基于视觉上下文模式VCP(Visual Context Pattern)特征的boosting学习,构造并实现的二维人脸锚点检测算法,确定对应的二维锚点坐标位置;
3)定义包括锚点在内的地标点集合,对部分三维人脸地标点进行标注,构造三维人脸+三维地标点耦合字典,基于重建误差最小化和稀疏表达思想,构造基于在线局部坐标编码LCC(Local Coordinate Coding)的三维人脸地标点定位算法;
4)给定新的二维-三维人脸组合,完成三维地标点定位,考虑二维-三维耦合人脸之间的类质同象特性,通过锚点检测计算三维人脸到二维人脸之间的投影变换矩阵,将该投影变换矩阵应用于三维人脸地标点,得到对应二维人脸地标点位置,实现跨维度人脸地标点定位。
步骤3)中所述的基于在线LCC的三维人脸地标点定位算法:
31)通过标注三维地标点可以将不同的三维人脸进行对齐,从而使不同的三维人脸具有相同数目的顶点,在此基础上,构造三维人脸+三维地标点耦合数据;
32)对于第i个数据样本xi={xf(i),xl(i)},其中xf(i)是第i个数据样本的三维人脸,xl(i)是第i个数据样本的三维地标点,进行LCC耦合字典学习,获得该字典的基如下:
其中字典表示为D={Df,Dl}={{df(j),dl(j)}}j∈[1,K],其中K表示样本个数,Df是三维人脸字典,df(j)是第j个数据样本的三维人脸字典,Dl是三维地标点字典,dl(j)是第j个数据样本的三维地标点字典,dj是第j个数据样本的三维人脸地点字典和三维地标点字典组成的字典,αi是第i个数据样本字典dj的系数向量,是第i个数据样本字典到第j个数据样本字典的映射向量,μ是权重系数。由于求解上式的时间开销较大,因此引入在线求解算法取得快速收敛,其迭代策略为:
其中Dt是每次迭代求得到字典表示, 是αi的转置,At和Bt是每次迭代求得的基所对应的系数分布,t表示迭代次数;
33)在获得字典的基之后,对于给定新的三维人脸xf,可以很方便地获得其三维人脸字典Df的系数向量α,直接将α应用于三维人脸地标点字典Dl,从而估计给定三维人脸的地标点坐标如下:
xl=∑Dlα, 式3
根据估计结果可以在给定三维人脸上进行准确的地标点定位。
步骤4)中所述的跨维度人脸地标点定位算法:
考虑二维‐三维耦合人脸之间的类质同象特性,在获得三维人脸锚点及其对应二维人脸锚点的检测之后,通过最小二乘法求解三维人脸到二维人脸的投影变换矩阵H如下:
其中H是一个2×3矩阵,而我们拥有6组锚点,因此上式可解,进而,将H应用于已经定位的三维人脸地标点获得对应的二维人脸地标点坐标:
从而实现跨维度的人脸地标点定位。
最后,以上所述仅为本发明较有代表性的实施例。本领域的普通技术人员可在不脱离本发明的发明思想情况下,对上述实施例做出种种修改或变化,因而本发明的保护范围并不被上述实施例所限,而应该是符合权利要求数提到的创新性特征的最大范围。
Claims (3)
1.一种跨维度人脸地标点定位的方法,包括如下步骤:
1)按照金字塔策略提取标定锚点的多尺度的自旋图特征,利用标注数据对三维锚点的自旋图特征进行boosting学习,构造三维锚点的自动检测算法,确定对应的三维锚点坐标位置;
2)基于视觉上下文模式VCP特征的boosting学习,构造并实现的二维人脸锚点检测算法,确定对应的二维锚点坐标位置;
3)定义包括锚点在内的地标点集合,对部分三维人脸地标点进行标注,构造三维人脸+三维地标点耦合字典,基于重建误差最小化和稀疏表达思想,构造基于在线局部坐标编码LCC的三维人脸地标点定位算法;
4)给定新的二维-三维人脸组合,完成三维地标点定位,考虑二维-三维耦合人脸之间的类质同象特性,通过锚点检测计算三维人脸到二维人脸之间的投影变换矩阵,将该投影变换矩阵应用于三维人脸地标点,得到对应二维人脸地标点位置,实现跨维度人脸地标点定位。
2.根据权利要求1所述的一种跨维度人脸地标点定位的方法,其特征在于:所述的步骤3)中所述的基于在线LCC的三维人脸地标点定位算法具体是:
31)通过标注三维地标点可以将不同的三维人脸进行对齐,从而使不同的三维人脸具有相同数目的顶点,在此基础上,构造三维人脸+三维地标点耦合数据;
32)对于第i个数据样本xi:xi={xf(i),xl(i)},其中xf(i)是第i个数据样本的三维人脸,xl(i)是第i个数据样本的三维地标点,进行LCC耦合字典学习,获得该字典的基如下:
其中字典表示为D={Df,Dl}={{df(j),dl(j)}}j∈[1,K],其中K表示样本个数,Df是三维人脸字典,df(j)是第j个数据样本的三维人脸字典,Dl是三维地标点字典,dl(j)是第j个数据样本的三维地标点字典,dj是第j个数据样本的三维人脸地点字典和三维地标点字典组成的字典,αi是第i个数据样本字典dj的系数向量,是第i个数据样本字典到第j个数据样本字典的映射向量,μ是权重系数;由于求解上式的时间开销较大,因此引入在线求解算法取得快速收敛,其迭代策略为:
其中Dt是每次迭代求得到字典表示, 是αi的转置,At和Bt是每次迭代求得的基所对应的系数分布,t表示迭代次数;
33)在获得字典的基之后,对于给定新的三维人脸xf,可以很方便地获得其三维人脸字典Df的系数向量α,直接将α应用于三维人脸地标点字典Dl,从而估计给定三维人脸的地标点坐标如下:
xl=∑Dlα, 式3
根据估计结果可以在给定三维人脸上进行准确的地标点定位。
3.根据权利要求1所述的一种跨维度人脸地标点定位的方法,其特征在于:所述的步骤4)中所述的跨维度人脸地标点定位算法具体是:
考虑二维-三维耦合人脸之间的类质同象特性,在获得三维人脸锚点及其对应二维人脸锚点的检测之后,通过最小二乘法求解三维人脸到二维人脸的投影变换矩阵H如下:
其中H是一个2×3矩阵,而我们拥有6组锚点,因此上式可解,进而,将H应用于已经定位的三维人脸地标点获得对应的二维人脸地标点坐标:
从而实现跨维度的人脸地标点定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610149949.7A CN105825187B (zh) | 2016-03-16 | 2016-03-16 | 一种跨维度人脸地标点定位的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610149949.7A CN105825187B (zh) | 2016-03-16 | 2016-03-16 | 一种跨维度人脸地标点定位的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105825187A true CN105825187A (zh) | 2016-08-03 |
CN105825187B CN105825187B (zh) | 2019-03-12 |
Family
ID=56523483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610149949.7A Active CN105825187B (zh) | 2016-03-16 | 2016-03-16 | 一种跨维度人脸地标点定位的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105825187B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101196988A (zh) * | 2007-12-25 | 2008-06-11 | 哈尔滨工业大学 | 三维掌纹身份鉴别系统的手掌定位及中心区提取方法 |
CN103942822A (zh) * | 2014-04-11 | 2014-07-23 | 浙江大学 | 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法 |
-
2016
- 2016-03-16 CN CN201610149949.7A patent/CN105825187B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101196988A (zh) * | 2007-12-25 | 2008-06-11 | 哈尔滨工业大学 | 三维掌纹身份鉴别系统的手掌定位及中心区提取方法 |
CN103942822A (zh) * | 2014-04-11 | 2014-07-23 | 浙江大学 | 一种基于单视频摄像机的面部特征点跟踪和人脸动画方法 |
Non-Patent Citations (2)
Title |
---|
MINGLI SONG ET AL: ""Robust 3D Face Landmark Localization based on Local Coordinate Coding"", 《IEEE》 * |
金城 等: ""自底向上的人脸特征点定位"", 《浙江大学学报(工学版)》 * |
Also Published As
Publication number | Publication date |
---|---|
CN105825187B (zh) | 2019-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105843223B (zh) | 一种基于空间词袋模型的移动机器人三维建图与避障方法 | |
CN108038420B (zh) | 一种基于深度视频的人体行为识别方法 | |
CN102880866B (zh) | 一种人脸特征提取方法 | |
CN103729885B (zh) | 多视角投影与三维注册联合的手绘场景三维建模方法 | |
CN108416840A (zh) | 一种基于单目相机的三维场景稠密重建方法 | |
CN108921926A (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
CN103646416A (zh) | 一种三维卡通人脸纹理生成方法及设备 | |
CN102750704B (zh) | 一种摄像机分步自标定方法 | |
CN105046710A (zh) | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 | |
CN101377812B (zh) | 一种空间平面物体位姿识别方法 | |
CN102663820A (zh) | 三维头部模型重建方法 | |
CN108305289B (zh) | 基于最小二乘法的三维模型对称性特征检测方法及系统 | |
CN110096925A (zh) | 人脸表情图像的增强方法、获取方法和装置 | |
CN104346824A (zh) | 基于单张人脸图像自动合成三维表情的方法及装置 | |
CN105913444B (zh) | 基于软激光测距的牲畜体型轮廓重构方法及体况评分方法 | |
CN110334701A (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
CN107944428A (zh) | 一种基于超像素集的室内场景语义标注方法 | |
CN108564619B (zh) | 一种基于两张照片的真实感三维人脸重建方法 | |
CN101794459A (zh) | 一种立体视觉影像与三维虚拟物体的无缝融合方法 | |
CN103198475B (zh) | 基于多层次迭代可视化优化的全聚焦合成孔径透视成像方法 | |
CN108830888A (zh) | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 | |
CN105261062A (zh) | 一种人物分段建模方法 | |
CN104318552A (zh) | 基于凸包投影图匹配的模型配准方法 | |
CN105678833A (zh) | 一种基于多视点图像三维建模的点云几何数据的自动拼接算法 | |
Darujati et al. | Facial motion capture with 3D active appearance models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |