CN107680138A - 基于人脸图像的交互式摄像机标定方法 - Google Patents

基于人脸图像的交互式摄像机标定方法 Download PDF

Info

Publication number
CN107680138A
CN107680138A CN201710856329.1A CN201710856329A CN107680138A CN 107680138 A CN107680138 A CN 107680138A CN 201710856329 A CN201710856329 A CN 201710856329A CN 107680138 A CN107680138 A CN 107680138A
Authority
CN
China
Prior art keywords
camera
line
point
face
symmetrical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710856329.1A
Other languages
English (en)
Other versions
CN107680138B (zh
Inventor
张慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Medium Vision Technology Co Ltd
Original Assignee
Zhuhai Medium Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Medium Vision Technology Co Ltd filed Critical Zhuhai Medium Vision Technology Co Ltd
Priority to CN201710856329.1A priority Critical patent/CN107680138B/zh
Publication of CN107680138A publication Critical patent/CN107680138A/zh
Application granted granted Critical
Publication of CN107680138B publication Critical patent/CN107680138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于人脸图像的交互式摄像机标定方法，包括七个步骤，本发明属于摄相机标定技术领域，本发明基于人脸图像的交互式摄像机标定方法，是一种很简单的相机内参标定算法，不需要通过打印相机标定板，只需要拍摄人脸图像视频，并通过人脸左右对称性调整相机方位，当左右对应点的对称中心线和中心平面消失线恰好吻合时，获得关于相机标定的一对共轭约束，因此多次调整相机方位可以获得关于相机标定的多对共轭约束，从而获得相机标定。本方法方便迅速，对普通用户在实践中简单易用，便于大规模推广应用。

Description

基于人脸图像的交互式摄像机标定方法
技术领域
本发明属于摄相机标定技术领域，具体是指基于人脸图像的交互式摄像机标定方法。
背景技术
在诸多计算机视觉应用中，如运动检测以及三维重建，摄相机标定是其中非常重要的一项基本任务。目前流行的相机标定方法主要分为两类，一类是利用各种维度的标定物进行相机标定，二是直接利用目标对象的运动或场景中隐含的几何约束进行自动相机标定。在基于物体的标定方法中，大多数的标定方法需要使用高精度、特制的标定板图像，比如等大小的棋格、圆等。在一般的重建任务中，对于普通用户来说，打印标定板图像，并在摄像机前面摆放出各个不同的方位使得相机标定的过程非常繁琐和耗时。因此利用普通常见物体来完成相机标定非常必要。
发明内容
为解决上述现有难题，本发明提供了一种基于人脸图像的交互式摄像机标定方法，用来解决在没有标定板的情况下，用人脸作为摄像机标定物自动标定摄像机内部以及外部参数的问题。该方法通过调整位于人脸前面的摄相机位置，使摄像机刚好位于人脸左右脸的中心分割平面上，利用人脸呈现的左右对称性，获得中心分割平面的消失线以及法向方向的消失点，从而得到关于摄像机内参矩阵和绝对二次曲线的一对共轭约束。更进一步的，该方法通过改变摄相机相对于人脸方向，同时也调整摄相机位置使得摄像机刚好位于人脸左右脸的中心分割平面上，从而得到关于摄像机内参矩阵和绝对二次曲线更多对共轭约束。在得到大于等于三对以上共轭约束下，可以唯一标定摄像机内部参数。该方法在获得摄像机的内部参数后，外部参数可以通过极线几何获得，因此利用该方法还可以重建三维人脸模型。
本发明采用的技术方案如下：
(1)对于内部参数不变，方位改变的手持相机，在固定位置的人脸面前拍摄人脸视频；
(2)在视频中实时获得人脸对称特征，如内外眼角、眼睛轮廓、内外鼻尖、左右眉毛起始点、眉上双切点、嘴左右角点、嘴轮廓等，对于轮廓特征，计算双切线和双切点获得平行线消失点的初始估计，随机选两组对称点x1,x2,y1,y2，可得到线x1x2和线y1y2的交点vx，通过RANSAC的方法，连接人脸左右对称点保留正确的对应点，去除不正确的对应点，以获得最优化的消失点vx估计；
(3)利用保留的正确对称点，随机选两组点x1,x2,y1,y2，可得到线x1x2和线y1y2的交点vx以及左右对称点中心线l1，其中l1可以通过连接x1y2和x2y1的交点和x1y1和x2y2的交点而得到
l1＝((x1×y1)×(x2×y2))×((x1×y2)×(x2×y1))；(1)
(4)重复以上步骤，随机再选取多组对称点可获得多条左右对称点中心线li，其中i＝1，2，...；
(5)观察到多条左右对称中心线相互重合时，相机的位置处于中心分割平面，这也意味着相互重合的左右对称中心线是中心分割平面的消失线，因此可以交互移动相机，实时计算以上步骤(2)到步骤(3)的结果，使得多条左右对称中心线相互重合；
可通过以下方法来判断各条左右对称中心线是否相互重合，将左右对称中心线li(i＝1，2，...)作为行向量，构造矩阵
使得因为矩阵L的前两列为关于线交点(x，y)的系数矩阵，L为增广矩阵，当系数矩阵和增广矩阵的秩相等，并小于2时，可以得到方程有无穷多个解，左右对称中心线重合；
(6)当多条左右对称中心线相互重合时，记录左右对称中心线即为中心分割面的消失线l的最优估计，通过步骤(2)计算该图像中的平行线消失点v的最优估计，而平行线消失点为中心面的法向消失点，因此为相机标定带来一对正交的独立线性约束
l＝ωw，(3)
其中，ω＝K-TK-1是关于相机内参的绝对二次曲线图像；
(7)多次调整相机方位可以获得关于相机标定的多对共轭约束，在得到大于等于三对以上共轭约束下，可以获得六个以上的独立线性约束，从而，相机的内部参数矩阵K可以由对绝对二次曲线ω的Cholesky分解获得。
采用上述方案本发明取得有益效果如下：本发明基于人脸图像的交互式摄像机标定方法，是一种很简单的相机内参标定算法，不需要通过打印相机标定板，只需要拍摄人脸图像视频，并通过人脸左右对称性调整相机方位，当左右对应点的对称中心线和中心线消失线恰好吻合时，获得关于相机标定的一对共轭约束，从而多次调整相机方位可以获得关于相机标定的多对共轭约束，从而获得相机标定。本方法方便迅速，对普通用户在实践中简单易用，便于大规模推广应用。
附图说明
图1为人脸对称特征及平行线消失点示意图；
图2为通过人脸左右对称点获得多条左右对称点中心线示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
基于人脸图像的交互式摄像机标定方法，包括如下步骤：
(1)对于内部参数不变，方位改变的手持相机，在固定位置的人脸面前拍摄人脸视频；
(2)在视频中实时获得人脸对称特征，如内外眼角、眼睛轮廓、内外鼻尖、左右眉毛起始点、眉上双切点(Bi-tangent points)、嘴左右角点、嘴轮廓等，对于轮廓特征，计算双切线和双切点获得平行线消失点的初始估计，随机选两组对称点x1,x2,y1,y2(如图1)，可得到线x1x2和线y1y2的交点vx，通过RANSAC的方法，连接人脸左右对称点保留正确的对应点(inliers)，去除不正确的对应点(outliers)，以获得最优化的消失点vx估计；
(3)利用保留的正确对称点(inliers)，随机选两组点x1,x2,y1,y2(如图1)，可得到线x1x2和线y1y2的交点vx以及左右对称点中心线l1，其中l1可以通过连接x1y2和x2y1的交点和x1y1和x2y2的交点而得到
l1＝((x1×y1)×(x2×y2))×((x1×y2)×(x2×y1))；(1)
(4)重复以上步骤，随机再选取多组对称点可获得多条左右对称点中心线li(图2)，其中i＝1，2，...；
(5)观察到多条左右对称中心线相互重合时，相机的位置处于中心分割平面，这也意味着相互重合的左右对称中心线是中心分割平面的消失线，因此可以交互移动相机，实时计算以上步骤(2)到步骤(3)的结果，使得多条左右对称中心线相互重合；
可通过以下方法来判断各条左右对称中心线是否相互重合，将左右对称中心线li(i＝1，2，...)作为行向量，构造矩阵
使得因为矩阵L的前两列为关于线交点(x，y)的系数矩阵，L为增广矩阵，当系数矩阵和增广矩阵的秩相等，并小于2时，可以得到方程有无穷多个解，左右对称中心线重合；
(6)当多条左右对称中心线相互重合时，记录左右对称中心线即为中心分割面的消失线l的最优估计，通过步骤(2)计算该图像中的平行线消失点v的最优估计，而平行线消失点为中心面的法向消失点，因此为相机标定带来一对正交的独立线性约束
l＝ωv，(3)
其中，ω＝K-TK-1是关于相机内参的绝对二次曲线图像；
(7)多次调整相机方位可以获得关于相机标定的多对共轭约束，在得到大于等于三对以上共轭约束下，可以获得六个以上的独立线性约束，从而，相机的内部参数矩阵K可以由对绝对二次曲线ω的Cholesky分解获得。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (1)

1.基于人脸图像的交互式摄像机标定方法，其特征在于利用人脸面部轮廓和点等呈现的对称性获取相机标定相关约束，包括如下步骤：
(1)对于内部参数不变，方位改变的手持相机，在固定位置的人脸面前拍摄人脸视频；
(2)在视频中实时获得人脸对称特征，如内外眼角、眼睛轮廓、内外鼻尖、左右眉毛起始点、眉上双切点、嘴左右角点、嘴轮廓，对于轮廓特征，计算双切线和双切点获得平行线消失点的初始估计，随机选两组对称点x1,x2,y1,y2，可得到线x1x2和线y1y2的交点vx，通过RANSAC的方法，连接人脸左右对称点保留正确的对应点，去除不正确的对应点，以获得最优化的消失点vx估计；
(3)利用保留的正确对称点，随机选两组点x1,x2,y1,y2，可得到线x1x2和线y1y2的交点vx以及左右对称点中心线l1，其中l1可以通过连接x1y2和x2y1的交点和x1y1和x2y2的交点而得到
l1((x1×y1)×(x2×y2))×((x1×y2)×(x2×y1))； (1)
(4)重复以上步骤，随机再选取多组对称点可获得多条左右对称点中心线li，其中i＝1，2，...；
(5)观察到多条左右对称中心线相互重合时，相机的位置处于中心分割平面，这也意味着相互重合的左右对称中心线是中心分割平面的消失线，因此可以交互移动相机，实时计算以上步骤(2)到步骤(3)的结果，使得多条左右对称中心线相互重合；
可通过以下方法来判断各条左右对称中心线是否相互重合，将左右对称中心线li(i＝1，2，...)作为行向量，构造矩阵
<mrow> <mi>L</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msubsup> <mi>l</mi> <mn>1</mn> <mi>T</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <mn>...</mn> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>l</mi> <mi>n</mi> <mi>T</mi> </msubsup> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
使得因为矩阵L的前两列为关于线交点(x，y)的系数矩阵，L为增广矩阵，当系数矩阵和增广矩阵的秩相等，并小于2时，可以得到方程有无穷多个解，左右对称中心线重合；
(6)当多条左右对称中心线相互重合时，记录左右对称中心线即为中心分割面的消失线l的最优估计，通过步骤(2)计算该图像中的平行线消失点v的最优估计，而平行线消失点为中心面的法向消失点，因此为相机标定带来一对正交的独立线性约束
l＝ωv， (3)
其中，ω＝K-TK-1是关于相机内参的绝对二次曲线图像；
(7)多次调整相机方位可以获得关于相机标定的多对共轭约束，在得到大于等于三对以上共轭约束下，可以获得六个以上的独立线性约束，从而，相机的内部参数矩阵K可以由对绝对二次曲线ω的Cholesky分解获得。
CN201710856329.1A 2017-09-21 2017-09-21 基于人脸图像的交互式摄像机标定方法 Active CN107680138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710856329.1A CN107680138B (zh) 2017-09-21 2017-09-21 基于人脸图像的交互式摄像机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710856329.1A CN107680138B (zh) 2017-09-21 2017-09-21 基于人脸图像的交互式摄像机标定方法

Publications (2)

Publication Number Publication Date
CN107680138A true CN107680138A (zh) 2018-02-09
CN107680138B CN107680138B (zh) 2021-03-05

Family

ID=61136070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710856329.1A Active CN107680138B (zh) 2017-09-21 2017-09-21 基于人脸图像的交互式摄像机标定方法

Country Status (1)

Country Link
CN (1) CN107680138B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115190236A (zh) * 2021-04-07 2022-10-14 深圳市万普拉斯科技有限公司 图像拍摄方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN103440639A (zh) * 2013-07-15 2013-12-11 江南大学 基于正三角形模板的摄像机内参数标定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN103440639A (zh) * 2013-07-15 2013-12-11 江南大学 基于正三角形模板的摄像机内参数标定方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KWAN-YEE K. WONG等: "Camera Calibration from Symmetry", 《PROCEEDINGS OF THE 9TH IMA CONFERENCE ON THE MATHEMATICS OF SURFACES》 *
MOSTAFA MERRAS等: "3D Face Reconstruction Using Images from Cameras with Varying Parameters", 《INTERNATIONAL JOURNAL OF AUTOMATION AND COMPUTING》 *
SHUNYI ZHENG等: "Camera Calibration based on Symmetry Property of Profile of Revolution", 《PROCEEDINGS OF SPIE》 *
VINOD PATHANGAY等: "Symmetry-based face pose estimation from a single uncalibrated view", 《RESEARCHGATE》 *
ZHENG SHUNYI等: "Camera Calibration from Profile of Revolution", 《GEO-SPATIAL INFORMATION SCIENCE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115190236A (zh) * 2021-04-07 2022-10-14 深圳市万普拉斯科技有限公司 图像拍摄方法、装置、计算机设备和存储介质
CN115190236B (zh) * 2021-04-07 2024-05-28 深圳市万普拉斯科技有限公司 图像拍摄方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN107680138B (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
CN104182982B (zh) 双目立体视觉摄像机标定参数的整体优化方法
CN104333675B (zh) 一种基于球面投影的全景电子稳像方法
CN104835144B (zh) 利用一个球的球心的像及正交性求解摄像机内参数的方法
CN108053373A (zh) 一种基于深度学习模型鱼眼图像校正方法
CN103617615B (zh) 径向畸变参数获取方法及获取装置
CN109758355A (zh) 一种基于人体穴位二维图像处理和三维立体定位方法
CN102521586B (zh) 一种用于拍照手机的高分辨率三维人脸扫描方法
CN104182969B (zh) 一种单线阵相机内外参数标定方法
CN107038722A (zh) 一种设备定位方法及装置
CN107633489A (zh) 鱼眼镜头圆心重提取映射法畸变矫正方法
CN103955889B (zh) 一种基于增强现实技术的制图类作业评阅方法
CN106780374A (zh) 一种基于鱼眼成像模型的鱼眼图像畸变矫正方法
CN104881866A (zh) 一种扩展小孔成像模型的鱼眼相机矫正与标定方法
CN101188020A (zh) 投影仪投影图象与计算机帧缓存图象之间象素几何位置对应关系精确获取方法
CN104807405B (zh) 一种基于光线角度标定的三维坐标测量方法
CN109465830A (zh) 机器人单目立体视觉标定系统及方法
CN103247048A (zh) 一种基于二次曲线与直线的摄像机混合标定方法
CN109308472B (zh) 一种基于虹膜投影匹配函数的三维视线估计方法
CN105915877A (zh) 一种三维视频的自由观影方法及设备
CN110264527A (zh) 基于zynq的实时双目立体视觉输出方法
CN109471533A (zh) 一种vr/ar教室内的学生端系统及其使用方法
CN107862733A (zh) 基于视线更新算法的大规模场景实时三维重建方法和系统
CN105303518A (zh) 一种基于区域特征的视频帧间拼接方法
CN107580203A (zh) 沉浸式主动立体投影透视变换矩阵求解方法
CN105046691B (zh) 一种基于正交消失点的相机自标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant