CN107680138B - 基于人脸图像的交互式摄像机标定方法 - Google Patents

基于人脸图像的交互式摄像机标定方法 Download PDF

Info

Publication number
CN107680138B
CN107680138B CN201710856329.1A CN201710856329A CN107680138B CN 107680138 B CN107680138 B CN 107680138B CN 201710856329 A CN201710856329 A CN 201710856329A CN 107680138 B CN107680138 B CN 107680138B
Authority
CN
China
Prior art keywords
points
camera
line
face
right symmetrical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710856329.1A
Other languages
English (en)
Other versions
CN107680138A (zh
Inventor
张慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Zhongshi Technology Co ltd
Original Assignee
Zhuhai Zhongshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Zhongshi Technology Co ltd filed Critical Zhuhai Zhongshi Technology Co ltd
Priority to CN201710856329.1A priority Critical patent/CN107680138B/zh
Publication of CN107680138A publication Critical patent/CN107680138A/zh
Application granted granted Critical
Publication of CN107680138B publication Critical patent/CN107680138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸图像的交互式摄像机标定方法，包括七个步骤，本发明属于摄相机标定技术领域，本发明基于人脸图像的交互式摄像机标定方法，是一种很简单的相机内参标定算法，不需要通过打印相机标定板，只需要拍摄人脸图像视频，并通过人脸左右对称性调整相机方位，当左右对应点的对称中心线和中心平面消失线恰好吻合时，获得关于相机标定的一对共轭约束，因此多次调整相机方位可以获得关于相机标定的多对共轭约束，从而获得相机标定。本方法方便迅速，对普通用户在实践中简单易用，便于大规模推广应用。

Description

基于人脸图像的交互式摄像机标定方法
技术领域
本发明属于摄相机标定技术领域，具体是指基于人脸图像的交互式摄像机标定方法。
背景技术
在诸多计算机视觉应用中，如运动检测以及三维重建，摄相机标定是其中非常重要的一项基本任务。目前流行的相机标定方法主要分为两类，一类是利用各种维度的标定物进行相机标定，二是直接利用目标对象的运动或场景中隐含的几何约束进行自动相机标定。在基于物体的标定方法中，大多数的标定方法需要使用高精度、特制的标定板图像，比如等大小的棋格、圆等。在一般的重建任务中，对于普通用户来说，打印标定板图像，并在摄像机前面摆放出各个不同的方位使得相机标定的过程非常繁琐和耗时。因此利用普通常见物体来完成相机标定非常必要。
发明内容
为解决上述现有难题，本发明提供了一种基于人脸图像的交互式摄像机标定方法，用来解决在没有标定板的情况下，用人脸作为摄像机标定物自动标定摄像机内部以及外部参数的问题。该方法通过调整位于人脸前面的摄相机位置，使摄像机刚好位于人脸左右脸的中心分割平面上，利用人脸呈现的左右对称性，获得中心分割平面的消失线以及法向方向的消失点，从而得到关于摄像机内参矩阵和绝对二次曲线的一对共轭约束。更进一步的，该方法通过改变摄相机相对于人脸方向，同时也调整摄相机位置使得摄像机刚好位于人脸左右脸的中心分割平面上，从而得到关于摄像机内参矩阵和绝对二次曲线更多对共轭约束。在得到大于等于三对以上共轭约束下，可以唯一标定摄像机内部参数。该方法在获得摄像机的内部参数后，外部参数可以通过极线几何获得，因此利用该方法还可以重建三维人脸模型。
本发明采用的技术方案如下：
(1)对于内部参数不变，方位改变的手持相机，在固定位置的人脸面前拍摄人脸视频；
(2)在视频中实时获得人脸对称特征，如内外眼角、眼睛轮廓、内外鼻尖、左右眉毛起始点、眉上双切点、嘴左右角点、嘴轮廓等，对于轮廓特征，计算双切线和双切点获得平行线消失点的初始估计，随机选两组对称点x1,x2,y1,y2，可得到线x1x2和线y1y2的交点vx，通过RANSAC的方法，连接人脸左右对称点保留正确的对应点，去除不正确的对应点，以获得最优化的消失点vx估计；
(3)利用保留的正确对称点，随机选两组点x1,x2,y1,y2，可得到线x1x2和线y1y2的交点vx以及左右对称点中心线l1，其中l1可以通过连接x1y2和x2y1的交点和x1y1和x2y2的交点而得到
l1＝((x1×y1)×(x2×y2))×((x1×y2)×(x2×y1))；(1)
(4)重复以上步骤，随机再选取多组对称点可获得多条左右对称点中心线li，其中i＝1，2，...；
(5)观察到多条左右对称中心线相互重合时，相机的位置处于中心分割平面，这也意味着相互重合的左右对称中心线是中心分割平面的消失线，因此可以交互移动相机，实时计算以上步骤(2)到步骤(3)的结果，使得多条左右对称中心线相互重合；
可通过以下方法来判断各条左右对称中心线是否相互重合，将左右对称中心线li(i＝1，2，...)作为行向量，构造矩阵
Figure BDA0001414122850000021
使得
Figure BDA0001414122850000022
因为矩阵L的前两列为关于线交点(x，y)的系数矩阵，L为增广矩阵，当系数矩阵和增广矩阵的秩相等，并小于2时，可以得到方程
Figure BDA0001414122850000023
有无穷多个解，左右对称中心线重合；
(6)当多条左右对称中心线相互重合时，记录左右对称中心线即为中心分割面的消失线l的最优估计，通过步骤(2)计算该图像中的平行线消失点v的最优估计，而平行线消失点为中心面的法向消失点，因此为相机标定带来一对正交的独立线性约束
l＝ωw，(3)
其中，ω＝K-TK-1是关于相机内参的绝对二次曲线图像；
(7)多次调整相机方位可以获得关于相机标定的多对共轭约束，在得到大于等于三对以上共轭约束下，可以获得六个以上的独立线性约束，从而，相机的内部参数矩阵K可以由对绝对二次曲线ω的Cholesky分解获得。
采用上述方案本发明取得有益效果如下：本发明基于人脸图像的交互式摄像机标定方法，是一种很简单的相机内参标定算法，不需要通过打印相机标定板，只需要拍摄人脸图像视频，并通过人脸左右对称性调整相机方位，当左右对应点的对称中心线和中心线消失线恰好吻合时，获得关于相机标定的一对共轭约束，从而多次调整相机方位可以获得关于相机标定的多对共轭约束，从而获得相机标定。本方法方便迅速，对普通用户在实践中简单易用，便于大规模推广应用。
附图说明
图1为人脸对称特征及平行线消失点示意图；
图2为通过人脸左右对称点获得多条左右对称点中心线示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
基于人脸图像的交互式摄像机标定方法，包括如下步骤：
(1)对于内部参数不变，方位改变的手持相机，在固定位置的人脸面前拍摄人脸视频；
(2)在视频中实时获得人脸对称特征，如内外眼角、眼睛轮廓、内外鼻尖、左右眉毛起始点、眉上双切点(Bi-tangent points)、嘴左右角点、嘴轮廓等，对于轮廓特征，计算双切线和双切点获得平行线消失点的初始估计，随机选两组对称点x1,x2,y1,y2(如图1)，可得到线x1x2和线y1y2的交点vx，通过RANSAC的方法，连接人脸左右对称点保留正确的对应点(inliers)，去除不正确的对应点(outliers)，以获得最优化的消失点vx估计；
(3)利用保留的正确对称点(inliers)，随机选两组点x1,x2,y1,y2(如图1)，可得到线x1x2和线y1y2的交点vx以及左右对称点中心线l1，其中l1可以通过连接x1y2和x2y1的交点和x1y1和x2y2的交点而得到
l1＝((x1×y1)×(x2×y2))×((x1×y2)×(x2×y1))；(1)
(4)重复以上步骤，随机再选取多组对称点可获得多条左右对称点中心线li(图2)，其中i＝1，2，...；
(5)观察到多条左右对称中心线相互重合时，相机的位置处于中心分割平面，这也意味着相互重合的左右对称中心线是中心分割平面的消失线，因此可以交互移动相机，实时计算以上步骤(2)到步骤(3)的结果，使得多条左右对称中心线相互重合；
可通过以下方法来判断各条左右对称中心线是否相互重合，将左右对称中心线li(i＝1，2，...)作为行向量，构造矩阵
Figure BDA0001414122850000031
使得
Figure BDA0001414122850000032
因为矩阵L的前两列为关于线交点(x，y)的系数矩阵，L为增广矩阵，当系数矩阵和增广矩阵的秩相等，并小于2时，可以得到方程
Figure BDA0001414122850000033
有无穷多个解，左右对称中心线重合；
(6)当多条左右对称中心线相互重合时，记录左右对称中心线即为中心分割面的消失线l的最优估计，通过步骤(2)计算该图像中的平行线消失点v的最优估计，而平行线消失点为中心面的法向消失点，因此为相机标定带来一对正交的独立线性约束
l＝ωv，(3)
其中，ω＝K-TK-1是关于相机内参的绝对二次曲线图像；
(7)多次调整相机方位可以获得关于相机标定的多对共轭约束，在得到大于等于三对以上共轭约束下，可以获得六个以上的独立线性约束，从而，相机的内部参数矩阵K可以由对绝对二次曲线ω的Cholesky分解获得。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (1)

1.基于人脸图像的交互式摄像机标定方法，其特征在于利用人脸面部轮廓和点呈现的对称性获取相机标定相关约束，包括如下步骤：
(1)对于内部参数不变，方位改变的手持相机，在固定位置的人脸面前拍摄人脸视频；
(2)在视频中实时获得人脸对称特征，人脸对称特征包括内外眼角、眼睛轮廓、内外鼻尖、左右眉毛起始点、眉上双切点、嘴左右角点、嘴轮廓，对于轮廓特征，计算双切线和双切点获得平行线消失点的初始估计，随机选两组对称点x1，x2，y1，y2，得到线x1x2和线y1y2的交点vx，通过RANSAC的方法，连接人脸左右对称点保留正确的对应点，去除不正确的对应点，以获得最优化的消失点vx估计；
(3)利用保留的正确对称点，随机选两组点x1，x2，y1，y2，得到线x1x2和线y1y2的交点vx以及左右对称点中心线l1，其中l1通过连接x1y2和x2y1的交点和x1y1和x2y2的交点而得到
l1＝((x1×y1)×(x2×y2))×((x1×y1)×(x2×y1))；(1)
(4)重复以上步骤，随机再选取多组对称点获得多条左右对称点中心线li，其中i＝1，2，...；
(5)观察到多条左右对称中心线相互重合时，相机的位置处于中心分割平面，这也意味着相互重合的左右对称中心线是中心分割平面的消失线，因此交互移动相机，实时计算以上步骤(2)到步骤(3)的结果，使得多条左右对称中心线相互重合；
通过以下方法来判断各条左右对称中心线是否相互重合，将左右对称中心线li作为行向量，i＝1，2，...，构造矩阵
Figure FDA0002650012710000011
使得
Figure FDA0002650012710000012
因为矩阵L的前两列为关于线交点(x，y)的系数矩阵，L为增广矩阵，当系数矩阵和增广矩阵的秩相等，并小于2时，得到方程
Figure FDA0002650012710000013
有无穷多个解，左右对称中心线重合；
(6)当多条左右对称中心线相互重合时，记录左右对称中心线即为中心分割面的消失线l的最优估计，通过步骤(2)计算该图像中的平行线消失点v的最优估计，而平行线消失点为中心面的法向消失点，因此为相机标定带来一对正交的独立线性约束
l＝ωv，(3)
其中，ω＝K-TK-1是关于相机内参的绝对二次曲线图像；
(7)多次调整相机方位获得关于相机标定的多对共轭约束，在得到三对以上共轭约束下，获得六个以上的独立线性约束，从而，相机的内部参数矩阵K由对绝对二次曲线ω的Cholesky分解获得。
CN201710856329.1A 2017-09-21 2017-09-21 基于人脸图像的交互式摄像机标定方法 Active CN107680138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710856329.1A CN107680138B (zh) 2017-09-21 2017-09-21 基于人脸图像的交互式摄像机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710856329.1A CN107680138B (zh) 2017-09-21 2017-09-21 基于人脸图像的交互式摄像机标定方法

Publications (2)

Publication Number Publication Date
CN107680138A CN107680138A (zh) 2018-02-09
CN107680138B true CN107680138B (zh) 2021-03-05

Family

ID=61136070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710856329.1A Active CN107680138B (zh) 2017-09-21 2017-09-21 基于人脸图像的交互式摄像机标定方法

Country Status (1)

Country Link
CN (1) CN107680138B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115190236B (zh) * 2021-04-07 2024-05-28 深圳市万普拉斯科技有限公司 图像拍摄方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN103440639A (zh) * 2013-07-15 2013-12-11 江南大学 基于正三角形模板的摄像机内参数标定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN103440639A (zh) * 2013-07-15 2013-12-11 江南大学 基于正三角形模板的摄像机内参数标定方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
3D Face Reconstruction Using Images from Cameras with Varying Parameters;Mostafa Merras等;《International Journal of Automation and Computing》;20160725;第661-671页 *
Camera Calibration based on Symmetry Property of Profile of Revolution;Shunyi Zheng等;《PROCEEDINGS OF SPIE》;20051231;第1-11页 *
Camera Calibration from Profile of Revolution;ZHENG Shunyi等;《Geo-spatial Information Science》;20060331;第9卷(第1期);第38-44页 *
Camera Calibration from Symmetry;Kwan-Yee K. Wong等;《Proceedings of the 9th IMA Conference on the Mathematics of Surfaces》;20000930;第214-226页 *
Symmetry-based face pose estimation from a single uncalibrated view;Vinod Pathangay等;《ResearchGate》;20081231;第1-8页 *

Also Published As

Publication number Publication date
CN107680138A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
CN109272570B (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN106355570B (zh) 一种结合深度特征的双目立体视觉匹配方法
CN102663820B (zh) 三维头部模型重建方法
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
CN103971408B (zh) 三维人脸模型生成系统及方法
CN109887030A (zh) 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN108921926A (zh) 一种基于单张图像的端到端三维人脸重建方法
CN104599317B (zh) 一种实现3d扫描建模功能的移动终端及方法
CN101866497A (zh) 基于双目立体视觉的智能三维人脸重建方法及系统
CN106778660B (zh) 一种人脸姿态校正方法及装置
CN103426168B (zh) 基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法
CN105279789A (zh) 一种基于图像序列的三维重建方法
CN108053373A (zh) 一种基于深度学习模型鱼眼图像校正方法
CN105869157B (zh) 多镜头立体视觉视差的计算方法
CN106170086B (zh) 绘制三维图像的方法及其装置、系统
TWI712002B (zh) 三維人臉重建方法
CN111062326A (zh) 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
François et al. Mirror symmetry⇒ 2-view stereo geometry
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
Zhang et al. A line scan camera-based structure from motion for high-resolution 3D reconstruction
CN113160335A (zh) 一种基于双目视觉的模型点云及三维表面重建方法
François et al. Reconstructing mirror symmetric scenes from a single view using 2-view stereo geometry
CN113902851A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN107958489B (zh) 一种曲面重建方法及装置
CN108921904B (zh) 利用单个球及渐近线的性质标定针孔摄像机的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant