CN109636847B - 一种基于单张照片的相机外部参数解算方法 - Google Patents

一种基于单张照片的相机外部参数解算方法 Download PDF

Info

Publication number
CN109636847B
CN109636847B CN201811510425.1A CN201811510425A CN109636847B CN 109636847 B CN109636847 B CN 109636847B CN 201811510425 A CN201811510425 A CN 201811510425A CN 109636847 B CN109636847 B CN 109636847B
Authority
CN
China
Prior art keywords
camera
reference system
equation
image plane
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811510425.1A
Other languages
English (en)
Other versions
CN109636847A (zh
Inventor
赵吉松
龚柏春
李爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201811510425.1A priority Critical patent/CN109636847B/zh
Publication of CN109636847A publication Critical patent/CN109636847A/zh
Application granted granted Critical
Publication of CN109636847B publication Critical patent/CN109636847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于单张照片的相机外部参数解算方法，包括以下步骤：S1、根据相机成像原理的几何关系，建立二维DLT方程；S2、求解二维DLT变换的参数；S3、设图像的像素为正方形，建立相机外部参数校准方程；S4、基于非线性最小二乘法求解相机参数校准方程；S5、设相机镜头的主轴与像平面的交点位于像平面的中心，计算相机的姿态方向。本发明方法只需要一张照片就可以解算出相机拍摄的姿态方向，计算过程简单、计算量较小，使得应用SSLC涂层测量壁面摩擦力场更加方便快捷。

Description

一种基于单张照片的相机外部参数解算方法
技术领域
本发明设计一种相机外部参数解算方法，属于空气动力学实验测量技术领域。
背景技术
壁面摩擦阻力是空气动力学领域的一个重要参数，许多重要的流动特征信息可以通过测量壁面摩擦阻力的矢量场而获取，准确测量壁面摩擦阻力矢量场具有重要意义。剪切敏感液晶(shear-sensitive liquid crystal,SSLC)涂层技术是一种非接触式测量壁面摩擦力矢量场的方法，其原理是在待测表面喷涂一层厚度约为10um的SSLC涂层，在气流摩擦力的作用下，SSLC涂层在不同方向呈现不同的颜色，通过对不同方向显示的颜色进行分析处理，可以解算出整个待测壁面的摩擦力矢量分布。
在风洞实验测量壁面摩擦力时，采用SSLC涂层技术进行测量需要记录SSLC涂层在若干个不同方向显示的颜色，这要求我们确定图像对应的相机观测方向。由于实验场所客观条件的限制，直接测量相机的观测方向比较繁琐且困难，如果能够从拍摄的照片中解算出相机的观测观测方向，那么会使得SSLC涂层技术的应用更为方便。
确定相机观测方向属于相机外部参数(包括相机位置和姿态)校准问题，直接线性变换(direct linear transformation,DLT)模型是经典的相机参数校准模型。DLT模型需要三维空间的控制点解算相机的全部参数。对于二维对象，比如需要测量摩擦力的平面表面，DLT模型退化为欠定问题，相机参数的求解过程比较繁琐。此外，基于单张照片不能唯一确定相机参数，至少需要两张不同角度拍摄的照片才能解算出相机参数。
发明内容
针对目前相机参数解算方法求解过程繁琐、需要多张照片才能解算的问题，本发明提供了一种基于单张照片的相机外部参数解算方法，引入两条合理假设：照片像素为正方形和相机镜头的主轴与像平面的交点位于像平面的中心，创建二维DLT方程和相机外部参数校准方程，基于最小二乘法求解相机参数并计算相机的姿态方向。
为解决上述技术问题，本发明采用了如下技术手段：
一种基于单张照片的相机外部参数解算方法，包括以下步骤：
S1、根据相机成像原理的几何关系，建立二维DLT方程；
S2、求解二维DLT变换的参数；
S3、在步骤S1中图像参考系中的变量采用实际长度单位，比如cm或mm等；在步骤S2的数字化成像系统中通常采用其它长度单位，比如像素；设图像的像素为正方形，则二维DLT方程与二维DLT变换方程等价，建立相机外部参数校准方程；
S4、基于非线性最小二乘法求解相机参数校准方程；
S5、设相机镜头的主轴与像平面的交点位于像平面的中心，计算相机的姿态方向。
进一步的，所述的步骤S1中二维DLT方程满足以下公式：
Figure BDA0001900607430000021
其中，(u,v)是图像平面参考系内的坐标，(u0,v0)是图像平面参考系内的主点，即镜头主轴方向与图像平面的交点，(x,y,z)是物体空间参考系内的坐标，(x0,y0,z0)是镜头投影中心在物体参考系内的位置坐标，d为镜头的主距，λ＝r31x0+r32y0+r33z0，rij是从物体空间参考系到图像参考系的坐标转换矩阵TI/O的元素，i＝1,2,3,j＝1,2,3。
进一步的，所述的步骤S2具体操作如下：
S21、用二维DLT变换参数建立二维DLT方程：
Figure BDA0001900607430000022
其中，h1,h2,...,h8是二维DLT变换的参数。
S22、采用4个非共线的校准点建立方程组，求解二维DLT变换的参数，具体方程组如下：
Figure BDA0001900607430000031
其中，(uk,vk)为校准点在图像平面参考系的坐标，(xk,yk)为校准点在物体空间参考系的xoy平面内的坐标，k＝1,2,3,4。
进一步的，所述的步骤S3中相机外部参数校准方程如下：
Figure BDA0001900607430000032
进一步的，所述的步骤S4具体操作如下：
S41、设相机的主点(u0,v0)位于像平面的中心，即u0＝umax/2，v0＝vmax/2，其中，umax和vmax分别为照片u方向和v方向的像素数。
S42、整理相机外部参数校准方程：
Figure BDA0001900607430000041
其中，x＝(α,β,γ,d,x0,y0,z0)T，(x0,y0,z0)是镜头投影中心在物体参考系内的位置坐标，α，β，γ是从物体参考系到图像参考系的坐标转换欧拉角。
S43、采用非线性最小二乘法求解步骤S42中的公式，得到最小二乘解x*。
进一步的，所述的步骤S5具体操作如下：
S51、在增广图像参考系o-uvw内，相机镜头的主轴方向矢量如下：
PI＝(0,0,-1)T (6)
其中，增广图像参考系o-uvw是在图像平面坐标系o-uv的基础上增加一个与u轴和v轴构成右手直角坐标系的w轴。
S52、基于坐标变换矩阵，将PI变换至物体空间参考系：
PO＝[TI/O]-1PI (7)
S53、解算相机的俯视角和周向观测角，公式如下：
Figure BDA0001900607430000042
Figure BDA0001900607430000051
其中，俯视角αc为相机镜头的主轴方向与物体空间参考系的xoy平面之间的夹角，周向观测角φ为主轴方向在物体空间参考系的xoy平面的投影矢量与y轴的夹角，
Figure BDA0001900607430000052
Figure BDA0001900607430000053
和
Figure BDA0001900607430000054
分别是向量PO在物体空间参考系x、y、z三个方向上的分量，即
Figure BDA0001900607430000055
采用以上技术手段后可以获得以下优势：
本发明提出了一种基于单张照片的相机外部参数解算方法，引入两条合理假设：第一条假设是照片像素为正方形；第二条假设是相机镜头的主轴与像平面的交点位于像平面的中心。建立二维DLT方程，利用最小二乘法求解相机参数校准方程，从而获得从物体空间参考系到图像参考系的坐标转换矩阵TI/O，最后计算出相机的姿态方向。本发明方法只需要使用单张照片就可以解算出相机外部参数，计算量较小、计算过程简单，使得应用SSLC涂层测量壁面摩擦力场更加方便快捷。
附图说明
图1为本发明一种基于单张照片的相机外部参数解算方法的实验照片。
图2为本发明一种基于单张照片的相机外部参数解算方法中相机观测方向解析图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明：
一种基于单张照片的相机外部参数解算方法，包括以下步骤：
S1、根据相机成像原理的几何关系，建立二维DLT方程。
本具体实施例提供了实验平台的一张照片，如图1所示，在实验平面上取4个非共线的校准点1、2、3、4，在本具体实施例中取一个正方形的4个顶点作为校准点，校准点1作为物理空间参考系的xoy平面的原点o，物理空间参考系的x轴沿校准点1指向校准点2，物理空间参考系的y轴沿校准点1指向校准点4，物理空间参考系的z轴与x轴和y轴构成右手直角坐标系。
根据从二维物体平面xoy到二维图像平面uov的映射关系，二维DLT方程如下：
Figure BDA0001900607430000061
其中，(u,v)是图像平面参考系内的坐标，(u0,v0)是图像平面参考系内的主点，即镜头主轴方向与图像平面的交点，(x,y,z)是物体空间参考系内的坐标，(x0,y0,z0)是镜头投影中心在物体参考系内的位置坐标，d为镜头的主距，λ＝r31x0+r32y0+r33z0，rij是从物体空间参考系到图像参考系的坐标转换矩阵TI/O的元素，i＝1,2,3,j＝1,2,3。
坐标转换矩阵TI/O具体公式如下：
Figure BDA0001900607430000062
其中，α，β，γ是从物体参考系到图像参考系的坐标转换欧拉角。
S2、求解二维DLT变换的参数；具体操作如下：
S21、用二维DLT变换参数建立二维DLT方程：
Figure BDA0001900607430000063
其中，h1,h2,...,h8是二维DLT变换的参数。
S22、二维映射的每个校准点具有2个坐标，带入公式(12)可以提供2个方程，采用4个非共线的校准点建立8个方程组，求解二维DLT变换的参数，具体方程组如下：
Figure BDA0001900607430000071
其中，(uk,vk)为校准点在图像平面参考系的坐标，(xk,yk)为校准点在物体空间参考系的xoy平面内的坐标，k＝1,2,3,4。
在本具体实施例中，图1中的校准点1、2、3和4在物体空间坐标系的xoy平面和图像平面坐标系的uov平面的坐标如表1所示：
表1
Figure BDA0001900607430000072
将表1中的4组坐标值代入方程组(13)，可解出h1＝24.87,h2＝-4.74,h3＝2046.17,h4＝4.71,h5＝13.61,h6＝1.12,h7＝0.00,h8＝0.00。
S3、在步骤S1中u,v,u0,v0和d是图像参考系中的变量，采用的是实际长度单位，比如cm或mm等；在步骤S2描述的数字化成像系统中，u,v通常采用其它长度单位，比如像素。为了解决步骤S1、S2单位不统一的问题，本方法假设图像的像素为正方形，对于现代绝大多数的数码相机而言这一假设是较合理的，在这个假设的基础上公式(10)和公式(12)是等价的，比较两个公式对应项系数建立相机外部参数校准方程，并将步骤S2计算出的二维DLT变换的参数代入，可得：
Figure BDA0001900607430000081
S4、基于非线性最小二乘法求解相机参数校准方程；具体操作如下：
S41、设相机的主点(u0,v0)位于像平面的中心，u0＝umax/2，v0＝vmax/2，其中，umax和vmax分别为照片u方向和v方向的像素数。在本具体实施例中，图1中照片分辨率为4000×6000，因此u0＝umax/2＝2000，v0＝vmax/2＝3000。
S42、整理相机外部参数校准方程：
Figure BDA0001900607430000082
其中，x＝(α,β,γ,d,x0,y0,z0)T。
S43、采用非线性最小二乘法求解步骤S42中的公式，得到最小二乘解x*＝(α,β,γ,d,x0,y0,z0)T＝(-60.06°,15.43°,9.63°,20201.58pixel,-171.35mm,-664.09mm,414.98mm)T。将其中的α，β，γ代入公式(11)得到坐标变换矩阵TI/O。
S5、设相机镜头的主轴与像平面的交点位于像平面的中心，计算相机的姿态方向。
相机观测的实验平面为物体空间参考系的xoy平面，如图2所示，相机5的俯视角αc定义为相机镜头的主轴方向6与物体空间参考系的xoy平面之间的夹角，主轴方向6指向xoy平面为正值；周向观测角φ定义为主轴方向6在xoy平面的投影矢量7与y轴正方向的夹角，投影矢量7指向y轴左侧方向时为正。
S51、在增广图像参考系o-uvw内，相机镜头的主轴方向矢量如下：
PI＝(0,0,-1)T (16)
其中，增广图像参考系o-uvw是在图像平面坐标系o-uv的基础上增加一个与u轴和v轴构成右手直角坐标系的w轴。
S52、基于坐标变换矩阵，将PI变换至物体空间参考系：
PO＝[TI/O]-1PI (17)
在本具体实施例中，PO＝[TI/O]-1PI＝(0.27,0.84,-0.48)T。
S53、解算相机的俯视角和周向观测角，公式如下：
Figure BDA0001900607430000091
Figure BDA0001900607430000092
其中，
Figure BDA0001900607430000093
和
Figure BDA0001900607430000094
分别是向量PO在物体空间参考系x、y、z三个方向上的分量，即
Figure BDA0001900607430000095
表2是本发明方法计算和实验中实际测量得到的相机的俯视角和周向观测角度数：
表2
Figure BDA0001900607430000101
根据表2中的数据，本发明方法解算的相机姿态方向与实际方向相差不大，俯视角误差为0.26°，周向角误差为-0.33°，本发明方法是有效可行的。
上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.一种基于单张照片的相机外部参数解算方法，其特征在于，包括以下步骤：
S1、根据相机成像原理的几何关系，建立二维DLT方程；
S2、求解二维DLT变换的参数；
S3、设图像的像素为正方形，建立相机外部参数校准方程；
S4、基于非线性最小二乘法求解相机参数校准方程；
S5、设相机镜头的主轴与像平面的交点位于像平面的中心，计算相机的姿态方向；
其中步骤S4具体操作如下：
S41、设相机的主点(u0,v0)位于像平面的中心，即u0＝umax/2，v0＝vmax/2，其中，umax和vmax分别为照片u方向和v方向的像素数；
S42、整理相机外部参数校准方程：
Figure FDA0003938684900000011
Figure FDA0003938684900000012
Figure FDA0003938684900000013
Figure FDA0003938684900000014
Figure FDA0003938684900000015
Figure FDA0003938684900000016
Figure FDA0003938684900000017
Figure FDA0003938684900000018
其中，x＝(α,β,γ,d,x0,y0,z0)T，α，β，γ是从物体参考系到图像参考系的坐标转换欧拉角；
S43、采用非线性最小二乘法求解步骤S42中的方程组，得到最小二乘解x*。
2.根据权利要求1所述的一种基于单张照片的相机外部参数解算方法，其特征在于，所述的步骤S1中二维DLT方程满足以下公式：
Figure FDA0003938684900000021
Figure FDA0003938684900000022
其中，(u,v)是图像平面参考系内的坐标，(u0,v0)是图像平面参考系内的主点，即镜头主轴方向与图像平面的交点，(x,y,z)是物体空间参考系内的坐标，(x0,y0,z0)是镜头投影中心在物体参考系内的位置坐标，d为镜头的主距，λ＝r31x0+r32y0+r33z0，rij是从物体空间参考系到图像参考系的坐标转换矩阵TI/O的元素，i＝1,2,3,j＝1,2,3。
3.根据权利要求2所述的一种基于单张照片的相机外部参数解算方法，其特征在于，所述的步骤S2具体操作如下：
S21、用二维DLT变换参数建立二维DLT方程：
Figure FDA0003938684900000023
Figure FDA0003938684900000024
其中，h1,h2,...,h8是二维DLT变换的参数；
S22、采用4个非共线的校准点建立方程组，求解二维DLT变换的参数，具体方程组如下：
Figure FDA0003938684900000025
Figure FDA0003938684900000026
Figure FDA0003938684900000027
Figure FDA0003938684900000028
其中，(uk,vk)为校准点在图像平面参考系的坐标，(xk,yk)为校准点在物体空间参考系的xoy平面内的坐标，k＝1,2,3,4。
4.根据权利要求3所述的一种基于单张照片的相机外部参数解算方法，其特征在于，所述的步骤S3中相机外部参数校准方程如下：
Figure FDA0003938684900000031
Figure FDA0003938684900000032
Figure FDA0003938684900000033
Figure FDA0003938684900000034
5.根据权利要求1所述的一种基于单张照片的相机外部参数解算方法，其特征在于，所述的步骤S5具体操作如下：
S51、在增广图像参考系o-uvw内，相机镜头的主轴方向矢量如下：
PI＝(0,0,-1)T
其中，增广图像参考系o-uvw是在图像平面坐标系o-uv的基础上增加一个与u轴和v轴构成右手直角坐标系的w轴；
S52、基于坐标变换矩阵，将PI变换至物体空间参考系：
PO＝[TI/O]-1PI
S53、解算相机的俯视角和周向观测角，公式如下：
Figure FDA0003938684900000035
Figure FDA0003938684900000036
其中，俯视角αc为相机镜头的主轴方向与物体空间参考系的xoy平面之间的夹角，周向观测角φ为主轴方向在物体空间参考系的xoy平面的投影矢量与y轴的夹角，
Figure FDA0003938684900000037
和
Figure FDA0003938684900000038
分别是向量PO在物体空间参考系x、y、z三个方向上的分量，即
Figure FDA0003938684900000039
CN201811510425.1A 2018-12-11 2018-12-11 一种基于单张照片的相机外部参数解算方法 Active CN109636847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811510425.1A CN109636847B (zh) 2018-12-11 2018-12-11 一种基于单张照片的相机外部参数解算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811510425.1A CN109636847B (zh) 2018-12-11 2018-12-11 一种基于单张照片的相机外部参数解算方法

Publications (2)

Publication Number Publication Date
CN109636847A CN109636847A (zh) 2019-04-16
CN109636847B true CN109636847B (zh) 2023-03-21

Family

ID=66072691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811510425.1A Active CN109636847B (zh) 2018-12-11 2018-12-11 一种基于单张照片的相机外部参数解算方法

Country Status (1)

Country Link
CN (1) CN109636847B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384368A (zh) * 2016-09-14 2017-02-08 河南埃尔森智能科技有限公司 一种非测量型相机镜头和感光芯片的畸变自纠正方法
CN107680155A (zh) * 2017-10-27 2018-02-09 深圳市唯特视科技有限公司 一种基于三维变形模型的面部拟合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8750382B2 (en) * 2001-01-23 2014-06-10 Kenneth Martin Jacobs System and method for calculating 3Deeps action specs motion estimation from the motion vectors in an MPEG file

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384368A (zh) * 2016-09-14 2017-02-08 河南埃尔森智能科技有限公司 一种非测量型相机镜头和感光芯片的畸变自纠正方法
CN107680155A (zh) * 2017-10-27 2018-02-09 深圳市唯特视科技有限公司 一种基于三维变形模型的面部拟合方法

Also Published As

Publication number Publication date
CN109636847A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN110057295B (zh) 一种免像控的单目视觉平面距离测量方法
CN107507235B (zh) 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法
CN107767440B (zh) 基于三角网内插及约束的文物序列影像精细三维重建方法
CN107194974B (zh) 一种基于多次识别标定板图像的多目相机外参标定精度的提高方法
CN105096329B (zh) 一种精确校正超广角摄像头图像畸变的方法
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN111735439B (zh) 地图构建方法、装置和计算机可读存储介质
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
CN109900205B (zh) 一种高精度的单线激光器和光学相机的快速标定方法
CN107067437B (zh) 一种基于多视几何和光束法平差的无人机定位系统及方法
CN103017653A (zh) 一种球面全景影像与三维激光扫描点云的配准及测量方法
CN112132908B (zh) 一种基于智能检测技术的相机外参数标定方法及设备
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN104376553B (zh) 一种基于移动相机和双靶标的单轴旋转角的视觉测量方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN109887041B (zh) 一种机械臂控制数字相机摄影中心位置和姿态的方法
CN108362205B (zh) 基于条纹投影的空间测距方法
CN113870366B (zh) 基于位姿传感器的三维扫描系统的标定方法及其标定系统
CN110836662A (zh) 基于相对定向和绝对定向算法的边坡位移监测方法
CN109342008B (zh) 基于单应性矩阵的风洞试验模型迎角单相机视频测量方法
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN115326025A (zh) 一种用于海浪的双目影像测量与预测方法
CN112985258B (zh) 一种三维测量系统的标定方法及测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant