CN105379264B

CN105379264B - 用于成像设备建模与校准的系统和方法

Info

Publication number: CN105379264B
Application number: CN201480038248.5A
Authority: CN
Inventors: 盖伊·马丁
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-07-02
Filing date: 2014-07-02
Publication date: 2017-12-26
Anticipated expiration: 2034-07-02
Also published as: RU2016103197A; JP6722323B2; RU2677562C2; JP2019149809A; CN105379264A; US9792684B2; CA2819956C; US20160140713A1; JP2016531281A; RU2016103197A3; WO2015000056A1; EP3017599A4; BR112015033020A2; KR20160030228A; CA2819956A1; EP3017599A1

Abstract

本发明涉及相机建模和校准系统以及方法，其采用一组新变量以补偿与相机平面垂直的视线轴中的缺陷，并且所述系统和方法增加在测量由几何和色透镜畸变引起的图像弯曲而引入的畸变时的精度，并且其中，相机像平面从全三维视角投影表示。

Description

用于成像设备建模与校准的系统和方法

交叉引用相关申请

本专利申请要求2013年7月2日提交的加拿大申请序列号2,819,956的优先权。

技术领域

本发明涉及用于成像设备建模与校准的系统和方法，其用来补偿与成像设备的像平面垂直的视轴中的缺陷。

背景技术

数字相机和其它成像设备的校准试图建立如何通过透镜将图像“打印”在成像设备表面的数学模型。程序首先采用来自具有精确已知容差的校准目标的图片，且从图像中提取出目标元素。最后，数学模型将图像信息与真实的三维(3D)目标信息关联。一旦校准，成像设备便可以采用比例因子(焦距f)映射真实世界的物体。在采用现成的相机和透镜工作时，我们需要对相机进行校准，以补偿透镜焦距上的容差，其中容差可高达10％。

而且，一旦模型精确已知，其便能够用于再建完美的相机图像，也称为针孔(pinhole)，用于几乎每个高端自动成像系统。通过软件图像校正，我们能够补偿由于透镜的不完美性质、称为几何畸变的鱼眼图像变形，以及称为色畸变的透镜光学中彩虹光分散所引起的图像误差。几个成像设备将呈现相对于图像平面的视线偏置垂直度偏离(off-squareness line of sight bias)。为了准确测量图像畸变，需要补偿图像平面相对于视线透镜的垂直度偏离。为此，已知的校准技术采用倾斜轴假设。然而，已经证明该假设会使模型中的每个相机参数偏置，引起系统测量误差。结果，在图像中引入比例大小畸变偏差(scale-size-distortion)，其它每个相机参数都要补偿，这些相机参数也偏置了。在3D扫描或遥测中，当从一对同时相机图像中重建时，这个称为3D物体的几何和位置偏置。

由此，需要改善现有成像设备的校准与建模技术。

发明内容

提出的校准与建模技术引入精确的视角校正，以考虑成像设备或相机/透镜系统中的装配容差，该容差引起透镜轴与图像平面的垂直度偏离。

精确的相机平面和透镜装配知识将去除遥测系统和采用数字相机或相机立体对的三维扫面中的系统偏置，产生精确的焦距(图像比例)测量，确定相机平面上真实的图像中心位置，以及提高测量由像弯曲(几何畸变)和透镜光学中的彩虹光分散(色畸变)所引起的畸变中的精度。

精确的相机平面和透镜装配知识会提高去除透镜几何畸变和色畸变中的计算效率和精度。

去除透镜畸变会提高图像压缩比，但不会增加任何损耗。

根据第一大方面，描述一种计算机实施的方法，其对成像设备进行建模以用于校准和图像校正，该方法包括：定义原点位于成像设备的焦点处的第一3D正交坐标系，第一坐标系的第一轴沿成像设备的视线方向延伸；定义原点位于与焦点相距单位距离处的第二3D正交坐标系，第二坐标系的第一轴沿视线方向延伸，第二坐标系的第二轴和第三轴分别大致平行于第一坐标系的第二轴和第三个轴，由此，第二坐标系的第二轴和第三轴定义与视线垂直的真实比例平面(true scale plane)；定义原点位于与焦点相距焦距处的第三3D坐标系，第三坐标系的第一轴沿视线方向延伸，第三坐标系的第二轴和第三轴相对于第二坐标系的第二轴和第三轴的方位分别倾斜第一角度和第二角度，由此，第三坐标系的第二轴和第三轴定义相对于视线垂直度偏离的像平面；接收与由成像设备捕捉的真实世界3D物体的点相关的3D坐标；计算点到真实比例平面上的投影，由此获得第一组平面坐标，以及计算点到像平面上的投影，由此获得第二组平面坐标系；以及输出指示与3D物体的点对应的像点的位置的第二组平面坐标。

在某些实施例中，第二坐标系被定义为使得真实比例平面建立至成像设备的透镜系统的入口，并且在真实比例平面上的投影表示成像设备的外部模型的输出，以及第三坐标系被定义成使得像平面建立至透镜系统的输出，并且像平面上的投影表示成像设备的内部模型的输出。

在某些实施例中，所接收的一组3D坐标是[x y z 1]^T，并且3D物体的点在真实比例平面上的投影计算为：

其中，≈是比例等价运算符(scale equivalent operator)，P₁定义相对于第一坐标系的在真实比例平面上的投影操作。

在某些实施例中，3D物体的点在像平面上的投影计算为：

其中，P_f定义在像平面上的投影操作，f是焦距，α是第一角度，β是第二角度，R(x,α)是相对于像平面的x轴的旋转矩阵，x轴被定义为在执行α旋转之前大致平行于第一坐标系的第二轴，R(y,β)是相对于像平面的y轴的旋转矩阵，y轴被定义为在执行β旋转之前大致平行于第一坐标系的第三轴，α旋转从最右边计算以便β旋转是相对于旋转角度α的x轴来执行的，其中

h₁₁＝cosβ,

h₁₂＝sinβsinα,

h₁₃＝sinβcosα,

h₂₂＝cosα,

h₂₃＝-sinα,

h₃₁＝-sinβ,

h₃₂＝cosβsinα，以及

h₃₃＝cosβcosα。

在某些实施例中，该方法还包括将真实比例平面和像平面之间的单应性H确定为：

其中，h₃₁和h₃₂是将视角校正应用到像平面中x和y比例(scale)的非零元素，且第二组平面坐标(x”,y”)是真实比例平面上的点图像的畸变位置(x’,y’)的单应变换(homographic transformation)，单应变换表示为：

[x″ y″ 1]^T≈[u v w]^T＝H[x' y' 1]^T，

其中，u＝f(cosβx’+sinβsinαy’+sinβcosα)，

v＝f(cosαy’-sinα)，

w＝-sinβx’+cosβsinαy’+cosβcosα，

x”＝u/w+C_X，并且

y”＝v/w+C_Y，其中，(C_X,C_Y)是第三坐标系的原点位置。

在某些实施例中，单应性H被确定为：

其中，对于小角度α和β，使用近似cosθ～1和sinθ～θ。

在某些实施例中，该方法还包括补偿真实比例平面处成像设备的透镜的畸变，补偿包括应用如下定义的透镜畸变模型：

r'＝r+k₁r³+k₂r⁵+…,

其中，第一组平面坐标包括在用径向坐标(r,θ)表示的真实比例平面上的点的图像的未畸变位置(x,y)，r²＝x²+y²和tanθ＝y/x，(x’,y’)表示在像平面上点的投影之前在透镜输出处的畸变位置(x,y)，r’是基于(x’,y’)计算的畸变径向距离，以及k₁和k₂是透镜的几何畸变参数。

根据第二大方面，描述了一种对成像设备进行建模以用于校准和图像校正的系统，该系统包括：存储器；处理器；以及存储在存储器中且可由处理器执行的至少一个应用程序，该应用程序用于：定义原点位于成像设备的焦点处的第一3D正交坐标系，第一坐标系的第一轴沿成像设备的视线方向延伸；定义原点位于与焦点相距单位距离处的第二3D正交坐标系，第二坐标系的第一轴沿视线方向延伸，第二坐标系的第二轴和第三轴分别大致平行于第一坐标系的第二轴和第三轴，由此，第二坐标系的第二轴和第三定义与视线垂直的真实比例平面；定义原点位于与焦点相距焦距处的第三3D正交坐标系，第三坐标系的第一轴沿视线方向延伸，第三坐标系的第二轴和第三轴分别相对于第二坐标系的第二轴和第三轴轴倾斜第一和第二角度，由此，第三坐标系的第二轴和第三轴定义相对于视线垂直度偏离的像平面；接收与由成像设备捕捉的真实世界3D物体的点相关的一组3D坐标；计算点到真实比例平面上的投影，由此获得第一组平面坐标，以及计算点到像平面上的投影，由此获得第二组平面坐标；以及输出指示与3D物体的点对应的像点的位置的第二组平面坐标。

在某些实施例中，至少一个应用程序可由处理器执行，以用来定义第二坐标系，以便真实比例平面建立至成像设备的透镜系统的入口且在真实比例平面上的投影表示成像设备的外部模型的输出，以及定义第三坐标系，以便像平面建立至透镜系统的输出且像平面上的投影表示成像设备内部模型的输出。

在某些实施例中，至少一个应用程序可由处理器执行，以用来接收作为[x y z 1]^T的一组3D坐标系，并且将3D物体的点在真实比例平面上的投影计算为：

其中，≈是比例等价运算符，并且P₁定义相对于第一坐标系的到真实比例平面上的投影操作。

在某些实施例中，至少一个应用程序可由处理器执行，以用来将3D物体的点在像平面上的投影计算为：

其中，P_f定义到像平面上的投影操作，f是焦距，α是第一角度，β是第二角度，R(x,α)是相对于像平面的x轴的旋转矩阵，x轴定义为在执行旋转α之前与第一坐标系的第二轴大致平行，R(y,β)是相对于像平面的y轴的β旋转矩阵，y轴定义为在执行旋转β之前与第一坐标系的第三轴大致平行，α旋转从最右边计算以便β旋转是按照相对于旋转角度α的x轴来进行的，并且其中

h₁₁＝cosβ，

h₁₂＝sinβsinα，

h₁₃＝sinβcosα，

h₂₂＝cosα，

h₂₃＝-sinα，

h₃₁＝-sinβ，

h₃₂＝cosβsinα，以及

h₃₃＝cosβcosα。

在某些实施例中，至少一个应用程序可由处理器执行，以用来将真实比例平面和像平面之间的单应性H确定为：

其中，h₃₁和h₃₂是将视角校正应用到像平面中的x和y比例的非零元素，且第二组平面坐标系(x”,y”)是真实比例平面上点的图像的畸变位置(x’,y’)的单应变换，单应变换表示为：

[x″ y″ 1]^T≈[u v w]^T＝H[x' y' 1]^T，

其中，u＝f(cosβx’+sinβsinαy’+sinβcosα)，

v＝f(cosαy’-sinα)，

w＝-sinβx’+cosβsinαy’+cosβcosα，

x”＝u/w+C_X，以及

y”＝v/w+C_Y，其中，(C_X,C_Y)是第三坐标系的原点位置。

在某些实施例中，至少一个应用程序可由处理器执行，以用来将单应性H确定为：

其中，对于小角度α和β，使用近似cosθ～1和sinθ～θ。

在某些实施例中，至少一个应用程序可由处理器执行，以用来补偿真实比例平面处的成像设备透镜的畸变，补偿包括应用如下定义的透镜畸变模型：

r'＝r+k₁r³+k₂r⁵+…,

其中，第一组平面坐标包括用径向坐标(r,θ)所表示的真实比例平面上的点的图像的未畸变位置(x,y)，r²＝x²+y²和tanθ＝y/x，(x’,y’)表示在像平面上点的投影之前在透镜输出处的畸变位置(x,y)，r’是基于(x’,y’)计算的畸变径向距离，以及k₁和k₂是透镜的几何畸变参数。

在某些实施例中，成像设备包括变焦镜头相机、近红外成像设备、短波长红外成像设备、长波长红外成像设备、雷达设备、光探测和测距设备、抛物面反射镜望远镜成像仪、外科内窥镜相机、计算机断层扫描设备、卫星成像设备、声纳设备，以及多光谱传感器融合系统。

根据第三大方面，描述了一种计算机可读介质，其上存储有可由处理器执行的程序代码，以对在校准和图像校正中所使用的成像设备进行建模，可执行的程序代码用来定义原点位于成像设备的焦点处的第一3D正交坐标系，第一坐标系的第一轴沿成像设备视线方向延伸；定义原点位于与焦点相距单位距离处的第二3D正交坐标系，第二坐标系的第一轴沿视线方向延伸，第二坐标系的第二轴和第三轴分别大致平行于第一坐标系的第二轴和第三轴，由此，第二坐标系的第二轴和第三轴定义与视线垂直的真实比例平面；定义原点位于与焦点相距焦距处的第三3D正交坐标系，第三坐标系的第一轴沿视线方向延伸，第三坐标系的第二轴和第三轴分别相对于第二坐标系的第二轴和第三轴的方位倾斜第一和第二角度，由此，第三坐标系的第二轴和第三轴定义相对于视线垂直度偏离的像平面；接收与由成像设备捕捉的真实世界3D物体的点相关的一组3D坐标；计算点到真实比例平面上的投影，由此获得第一组平面坐标，以及计算点到像平面上的投影，由此获得第二组平面坐标；以及输出指示与3D物体的点对应的像点的位置的第二组平面坐标。

附图说明

通过参考附图进行的以下详细说明，本发明的进一步的特点和优点将变得明显，其中：

图1是示出透镜畸变的示意图；

图2是示出桶形和枕形透镜几何畸变的示意图；

图3是示出在两个相邻像素颜色混合时边缘抖动的平面图；

图4是示出假设像平面与视线垂直的在理想相机模型表示中定义相机/透镜结合行为的参数的示意图；

图5是相机内部模型的倾斜轴假设的示意图，其中对图4中的理想相机表示进行倾斜轴补偿；

图6是根据本发明的示例性实施例的相机内部模型一组新变量的示意图；

图7是根据本发明的示例性实施例的径向畸变模式的示意图；

图8a是根据本发明的示例性实施例的计算像点位置的方法的流程图；

图8b是采用外部相机模型的在平面f＝1上进行投影的图8a的步骤的流程图；

图8c是应用透镜畸变模型的图8a的步骤的流程图；

图8d是采用内部相机模型的在倾斜像平面f上进行投影的图8a的步骤的流程图；

图9a是根据本发明的示例性实施例的计算像点位置的系统的示意图；

图9b是示出在图9a的处理器上运行的示范性应用的方框图；

图10是校准目标的畸变照片视图；

图11是具有电路板的微型透镜测试相机的照片视图；

图12是目标提取的综合说明；

图13是同时采用两个相机图像来测量3D物体的立体对的示意图；

图14是采用测试相机说明几何畸变校正的照片；

图15是说明f＝4mmC Mount透镜的色畸变的图；

图16是说明红色畸变、径向校正相对与图像中心的距离(像素)的图；

图17是说明蓝色畸变、径向校正相对与图像中心的距离(像素)的图；以及

图18是彩色相机的Bayer模式布局的示意图。

值得注意的是，整个附图中，相同的特征用相同的参考标号表示。

具体实施方式

1.1透镜畸变

透镜畸变介绍了数字成像中发现的最大误差。这在图1和图2中说明。如图1所示，鱼眼效应指几何畸变，使得直线弯曲。图像边缘处的彩影(coloured shading)(称为图1中的《蓝色染边》和《红色染边》)称为色畸变，且由成像设备(未示出)透镜中的光分裂引起。这些偏离针孔行为随着透镜视角而增加。这些畸变必须建模，并进行补偿以实现亚像素精度，补偿可能只能通过软件进行，超出了硬件能力的范围。如图2所示，当几何畸变压缩图像本身时，它称为桶形畸变(见图2(a))；当图像膨胀时，它称为枕形畸变(见图2(b))。

1.2抖动

参考图3，抖动是在边缘穿过给定像素和相邻颜色混合时，中间像素颜色所遇到的。像素颜色是相对于像素内每种颜色各自的平面，在边缘的每侧的相邻颜色值的加权平均。

在低清晰度图像中，边缘抖动(在实体边缘的阴影)与透镜几何和色畸变相互干扰。采用来自黑白目标的彩色图像，彩色边缘阴影是由色畸变引起。对于黑白目标而言，类似几何畸变，抖动呈现为灰色阴影。所以，最好采用边缘颜色，以将色透镜畸变与边缘抖动或几何畸变分离开。

1.3相机模型

对相机(或其它成像设备)建模需要数学模型和校准程序，以测量定义特定相机/透镜组合的行为的参数。

虽然此处提到相机，但应该理解，所提出的系统和方法也适应于其它成像设备。尤其是，包括但不局限于变焦镜头相机；近红外(NIR)、短波长红外(SWIR)和长波长红外(LWIR)成像设备；雷达以及光探测和测距(LIDAR)设备；抛物面反射镜望远镜成像仪；外科内窥镜相机；计算机断层(CT)扫描设备；卫星成像设备；声纳设备；以及多光谱传感器融合系统的设备也可以应用：

根据该主题已发表的文献，理想的相机模型有三个部分，如图4所示，即：

1-外部模型：位于焦点O处(其中所有光折射到单个点的空间中的点)的相机坐标和世界坐标系中的世界坐标(X_W Y_W Z_W)之间的关系；

2-内部模型：相机平面坐标系(X_C Y_C Z_C)，其中Z_C是透镜轴(即透镜视线)；以及

3-透镜模型：透镜几何和色畸变方程。

焦点O是在其中所有图像折射到单个点的空间中的位置；焦点O前面是相机像平面(未示出)。透镜轴Z_C在两个(2)直角(即，随之为垂直)处穿过像平面，由此规定图像中心位置(C_X,C_Y)。

1.3相机外部模型

整个文献中，相机外部模型显示精确。定义两套坐标，

1-原点设在(0,0,0)处的世界(X_W Y_W Z_W)；以及

2-焦点O处的相机(X_C Y_C Z_C)。

如图4可见，其示出了理想的相机模型，相机坐标组(X_C Y_C Z_C)设置从透镜轴Z_C开始且焦点O作为原点，选择X_C与相机像平面的水平轴(未示出)对准。几何地，竖直轴Y_C应该采用右手定则完成设置。外部模型写为矩阵[R_3x3 T_3x1](下面进一步讨论)，表示原点设在(0,0,0)处的世界坐标设置(X_W Y_W Z_W)。

外部相机模型表示旋转和平移(T_X T_Y T_Z)，需要将相机坐标设置(X_C Y_CZ_C)与世界坐标设置(X_W Y_W Z_W)对齐，以及将焦点O带至世界原点(0,0,0)处。所以，外部相机模型具有六个(6)自由度，即旋转角度和平移(T_X T_Y T_Z)。

1.3.2相机内部模型

除图4之外，现在参照图5，现在将描述现有技术相机内部模型，其中进行了垂直度偏离补偿。若像平面能与透镜轴Z_C完全垂直，那么在x和y方向上，世界测量X_W Y_W和相机测量X_C Y_C之间的比例因子都将是f。考虑到透镜轴Z_C与像平面之间源自制造误差的垂直度缺失，研究团体引入倾斜轴假设，如图5所示。在倾斜轴假设中，假设像平面轴倾斜，由此可以认为像平面与透镜轴相互垂直。

存在多种公式化，必要地：

-参数a是水平图像比例，与相机像素栅格阵列的水平轴完全对齐；

-区别于a，竖直比例设定为b；

-相对于轴Y_C，像平面竖直轴的比例和取向倾斜偏移参数s，其中s是相对于图像比例的比例倾斜测量。

图像中心(C_X,C_Y)是透镜轴Z_C与像平面的交点，根据已出版工作采用的倾斜轴假设，坐标(C_X,C_Y)、a、b和s将是五个内部相机参数。所以，内部相机模型具有五个(5)自由度。

具有非常精确制造过程的像平面像素栅格阵列，校准应该检索水平图像比例等于竖直图像比例，即a＝b＝f，没有竖直轴倾斜，即s＝0。然而，通过移动所有其它相机参数，广泛的倾斜轴假设都引入了视角偏置，且它应该被保留了相机像平面几何的像平面全3D视角模型替代。所以，建议为内部相机模型引入一组新变量，如图6所示，在相机坐标(从焦点O开始)中表示模型。

在建议的模型中，图像中心(C_X,C_Y)保留在透镜轴Z_C与相机(像)平面的交点。考虑外部3D世界目标(其P点位于相对于轴(X_C Y_C Z_C)的给定坐标处的世界中的某处)的两个比例独立同时的视角。

直观地说，透镜系统的入口定义为沿视线轴Z_C的在f＝1处的理论平面，该理论平面由图6中的两个轴表示，在单位焦距f＝1处，且与透镜轴Z_C完全垂直(即直角)。第一平面表示3D目标在x和y无穷维平面上完全的1:1真实比例投影。

所以，在f＝1的投影表示为矩阵变换[R_3x3 T_3x1]:

采用齐次坐标，3D世界坐标(X Y Z相对于世界坐标(X_W Y_W Z_W)，X’Y’Z’相对于相机坐标系(X_C Y_C Z_C))中的点P＝[X Y Z 1]^T投影为：

[R_3x3T_3x1][X Y Z 1]^T＝[X' Y' Z']^T≈[X'/Z' Y'/Z 1]^T (2)

其中，产生的3D矢量中的第三分量Z’重新归一，由此[X’ Y’ Z’]^T比例等价于[X’/Z’ Y’/Z’ 1]^T。3D点P＝(X Y Z)在两维中投影为(X’/Z’,Y’/Z’)。方程(2)中的符号≈表示齐次坐标中的比例等价运算符。

方程(1)中的元素r_ij,i,j＝1,2,3是模型参数，即上述三个旋转角度和相对于焦点O的世界原点的位置(T_X T_Y T_Z)的函数。

除外部3D世界目标的真实比例视角之外，第二视角是像平面本身，即透镜系统的输出。像平面由图6中在(C_X,C_Y)处相交的两个轴来表示。因为焦距f处的相机平面与透镜轴Z_C是垂直度偏离的，所以它需要五个(5)参数。采用如焦点O处的坐标设置(即坐标设置(X_CY_C Z_C))，位于f处像平面上相同的水平和竖直轴取向，相对于x和y轴的两个旋转角度α和β用来考虑相机平面的倾斜。具体地并且如图6中所示，像平面的x轴旋转角度α，而像平面的y轴旋转角度β，由此，相对于x和y轴，像平面倾斜角度α和β，其中像平面的x和y轴最初，即旋转前与原点O处的X_C和Y_C相平行。换句话说，在采用旋转倾斜像平面之前，x和y轴示意性地与原点O处的X_C和Y_C相平行，且在像平面是可再现的。所以，像平面的倾斜可由空间中两个(2)3D旋转表示，即关于Y_C轴旋转度角α和关于X_C轴第二旋转角度β。因为像平面的x轴任意选择为与水平相机平面方向相一致，所以没必要对z轴旋转角度。在某些实施例，例如，同时采用沿同一个视线的两个成像设备，捕获世界目标的图像的实施，或采用三CCD相机(三个独立的电荷耦合设备(CCDs))的实施例中，应该理解为最好是z轴旋转角度。除了旋转角度α和β，随后相机内部模型剩余的自由度是焦距f(或相机图像比例)和图像中心坐标(C_X,C_Y)。

与图5中普遍倾斜轴假设对应的内部K矩阵由以下等式(3)给出。

方程(3)中的左上角2×2矩阵部分表示像平面x和y轴，其倾斜参数s，水平比例a和竖直比例b。像平面x轴与相机平面像素栅格阵列(未示出)的水平轴相一致，作为列向量，记为K矩阵(2,1)位置中的值0。如图5所示，像平面y轴沿x方向倾斜s。最后一列表示图像中心位置(C_X，C_Y)。

图5的倾斜轴假设的误差在左下角1×2矩阵部分可见。当透镜轴与相机平面垂直度偏离时，左下角1×2部分的两(2)项不应该是0。当它们非零时，随着一个从图像中心移开，这些项将对像平面中的x和y比例进行视角校正。

为了计算投影的x和y轴，此时应该考虑视角，所以建议从相机像平面与透镜轴Z_C完全垂直开始。于是，如上所述，投影的x和y轴分别计算为倾斜角度α和β，由此，获得与透镜轴Z_C垂直度偏离的像平面。在提出的方法中，内部相机模型被定义为具有五个(5)自由度的视角转换，该转换将真实1:1比例的外部相机模型投影与共同视线Z_C上焦距f处的像平面投影关联起来，且其中像平面相对于像平面的x和y轴倾斜角度α和β，在任何旋转之前，所采用x和y轴与原点O处的X_C和Y_C相平行。图6示出了视线Z_C处的(C_X,C_Y)。在图6中，Z_C作为所有平面与视线相交的原点。最初，我们假设(C_X,C_Y)＝(0,0)，而且，投影后，原点的移动用来将像平面中心从(0,0)偏移至(C_X,C_Y)。

在齐次坐标系，空间[x y z 1]^T中的任何3D点在1:1f＝1真实比例平面上的投影为：

等式(4)中的最后运算是将第四个(第4个)坐标重置归一。第三个坐标示出了点(x/z,y/z)位于平面z＝1上。

对于相对于x和y轴分别倾斜角度α和β并具有焦距f的像平面而言，同一个点在倾斜像平面上还可投影为：

其中P_f定义为如下投影运算，其中元素(4,3)为1/f，f为焦距，R(y,β)是相对于y轴的β旋转矩阵，以及R(x,α)是相对于x轴的α旋转矩阵。

等式(5)中的α旋转从最右边计算，这样，β旋转相对于旋转角度α的像平面y轴来执行。应该理解，β旋转能够从方程(5)的最右边操作，这意味着α旋转将相对于旋转β的x轴来执行。从右向左读的齐次方程以及反转乘法的顺序产生不同的数学公式。几种模型是可行的。

相乘方程(5)的矩阵，我们获得：

最后的运算(方程(8))又是将第四个(第4个)坐标重置归一。

P₁[x y z 1]^T和P_fR(y,β)R(x,α)[x y z 1]^T是同一个3D点[x y z 1]^T的两个投影，并且通过简单的单应变换相关。进行替换x’＝x/z和y’＝y/z，注意到(x’,y’)是投影P₁[x yz 1]^T，其中我们忽略了z分量(1，位于z＝1处的平面)和单位比例因子，P_fR(y,β)R(x,α)[x yz 1]^T可写为：

其中，h₁₁＝cosβ

h₁₂＝sinβsinα

h₁₃＝sinβcosα

h₂₂＝cosα

h₂₃＝-sinα

h₃₁＝-sinβ

h₃₂＝cosβsinα

h₃₃＝cosβcosα

定义两个平面(在f＝1和f处)之间的单应性H为：

倾斜像平面坐标(x”,y”)是(x’,y’)1:1真实比例平面投影的单应变换，在二维齐次坐标中表示为：

[x″ y″ 1]^T≈[u v w]^T＝H[x'y'1]^T，其中x”＝u/w和y”＝v/w (11)

其中，符号≈表示齐次坐标中的比例等价运算符。正如预期的，H(等式(10))中的元素(2,1)为0，意味着x轴与相机平面水平栅格相平行。在第3行(方程(10))中的视角元素h₃₁和h₃₂产生从图像中心移开的平面视角比例变化。当相机平面与透镜轴相垂直，即α＝β＝0时，这些元素消失为0。

对于非零(C_X,C_Y)，因为内部相机模型必须在齐次坐标中处理，所以在添加图像中心(C_X,C_Y)之前，需要视角重新定标。在两步过程中，假设没有透镜畸变，在1:1真实比例的外部模型点(x’,y’)和像平面坐标(x”,y”)之间，我们得到：

步骤1：[u v w]^T＝H[x’ y’ 1]^T

u＝f(cosβx’+sinβsinαy’+sinβcosα)

v＝f(cosαy’–sinα) (12)

w＝–sinβx’+cosβsinαy’+cosβcosα

步骤2：重新定标归一w＝1，以及平移(C_X,C_Y)给出像点(x”,y”)

x”＝(u/w+CX)

y”＝(v/w+CY) (13)

因为没有透镜畸变，所以校准找到了两个(2)投影之间的最佳匹配。空间中的每个点映射至两个(2)独立投影平面，即真实比例平面和倾斜图像平面。如上所述，f＝1(即真实比例)平面与透镜轴示意性地完全垂直，且具有六(6)个自由度：和(T_X T_Y T_Z)，给出了我们建议的外部模型(即相机和世界坐标之间的关系)。在f处，相机(即图像)平面与真实比例平面的比例是恒定的：在f处的图像不能单纯是f＝1真实比例图像的纯比例倍数。在f处，像平面有五(5)个自由度：平面倾斜角α和β、图像中心(C_X,C_Y)和焦距f，给出内部模型。

于是，f＝1真实大小平面中的点与倾斜像平面中的点对应，以及f和f＝1处所有相对应的投影点对定义通过焦点O的线(没有透镜畸变)。两个平面之间的透镜畸变依然会发生，在模型中必须考虑到。由此，知道了校准目标准确的3D物体几何形状，校准可发现两个平面中所投影的成对坐标之间的3D对应，用来补偿透镜畸变。

采用上述同样的基本原理，对内部相机模型的替代方程是可行的，例如相对于像平面上x和y轴的旋转，在旋转之前与原点O处的X_C和Y_C相平行。能够几何地应用在反转的顺序中。如上所述，当两个像平面共享同一个视线时，z轴旋转能够添加到其中一个上，由此表达两个图像x水平轴之间的相对偏置。

1.3.3透镜畸变模型

一旦正确考虑到相机平面倾斜角α和β，相机图像便能够在与透镜轴Z_c完全垂直的平面上进行计算，其中，f＝1处的平面或f处的平面相对于考虑作为所有平面的视线的透镜轴Z_c进行垂直度校正，如上所述。虽然这里讨论提出的技术采用在f＝1处平面和f处平面上的投影，对成像设备建模，应该理解为，可以采用多于两个的投影平面对透镜畸变进行建模。实际上，当f＝1是外部模型中的投影，且f位于像平面时，f＝1处和f处的平面是示意性地最低要求。在某些实施例中，可以在f＝1处平面和f处平面之间，对一个或多个中间平面进行建模。例如，第三个中间平面可以定位在成像设备最小焦距f_min处，第一单应性在f＝1和f_min处的平面之间进行计算，第二单应性在f_min和f处的平面之间进行计算。

对于与Z_C成直角的投影平面，透镜畸变模型能够简化为单纯的几何和色径向函数。

有很多透镜几何畸变模型已被发布。一些作者在去除几何透镜畸变时要求1/20像素精度。总之，他们的基本准则或多或少是相同的：一旦去除了几何畸变，真实生活中的直线在图像中看起来应该是直的。很少有作者在他们的透镜模型中考虑色畸变。最广泛的透镜色畸变模型是贝克尔肖恩模型，如下[3]：

x'＝x+x(k₁r²+k₂r⁴+k₃r⁶)+p₁*(r²+2x²)+2p₂xy (14)

y'＝y+y(k₁r²+k₂r⁴+k₃r⁶)+p₂*(r²+2y²)+2p₁xy,r²＝x²+y² (15)

其中，(x’,y’)表示点(x,y)的新位置，相对于图像中心(C_X,C_Y)进行计算，k₁,k₂,和k₃是径向畸变的三项，p₁和p₂是偏心畸变的两项。校准检索参数k₁,k₂,k₃,p₁和p₂的数值。图像分析给出(x’,y’)。采用二维搜索算法，求解两个方程，发现无畸变的(x,y)位置。

大多数透镜畸变模型能够将曲线变直。从校准的立体对检索3D位置时，会出现建模误差。看起来直的直线不足以作为保证精确的几何畸变校正的准则。错误的视角将导致图像的测量误差，图5中的倾斜轴假设会产生系统视角偏置。

所提出的相机模型校正提高了校准精度，减少了透镜几何畸变模型的复杂性。只保留了贝克尔肖恩透镜几何畸变模型中的k₁和k₂参数，贝克尔肖恩的两个方程(14)、(15)减少到只有一个：

r'＝r+k₁r³+k₂r⁵+…(能被展开)，从完全径向位移模型知道r'，发现r，(16)

采用r的奇数项能够进行展开，其中r²＝x²+y²。如图7可见，在几何畸变能够建模为完全径向位移处，能够采用完全径向位移模型。外部模型像点(x,y)(它是可测量量值的示意性表示，例如英寸或毫米，而不是像素)能够用极坐标(r,θ)表示，其中，r²＝x²+y²和tanθ＝y/x，x和y相对于图像中心来取。

即使从查询表(LUT)，采用方程(16)减少了4:1的计算，使用相当少的存储器，使所提出的相机模型更加适合真实的时间计算。即使采用该简化模型，从带有f＝4mm微镜(视角约90°)的640×480Bayer模式1/3CCD彩色相机，焦距f已检索到10^-10mm的精度。

一旦真实的图像中心已知，色畸变便能够从单个图像中心进行建模。对于色畸变，有几个方程是可行的：

1-采用蓝色和红色偏离，来自绿色通道上的几何校准的单个中心；

2-红绿和蓝通道的各自校准；

3-平均的红绿和蓝的几何校准，红和蓝的色偏离；

1.3.4整个相机模型

现在参考图8a，示出了一种采用以上提出的相机模型来计算像点位置的方法100。空间的3D点经过三个变换，给出位于像平面上的像点。方法100示意性地包括步骤102采用所建议的外部相机模型在f＝1平面上的投影，步骤104应用透镜畸变模型，以及步骤106采用内部相机模型在f处的倾斜像平面上投影。执行步骤106之后，获得与相机捕获的3D点(X,Y,Z)相对应的相机像点的位置(x”,y”)。

现在参考图8b，步骤102示意性地计算所提出的外部相机模型变换，并且包括在步骤106中接收相对于世界坐标系(X_W,Y_W,Z_W)表示的3D点P的坐标(X,Y,Z)。

如上所述，给定3D物体点P所属的姿态、相机看物体的角度和位置，f＝1投影从物体的六(6)个自由度给出其唯一的1:1真实比例图像：规定世界和相机坐标参考系(X_W Y_WZ_W)和(X_C Y_C Z_C)之间的相对取向和位置的三(3)个角度和位置(T_X T_Y T_Z)。采用模型参数(T_X T_Y T_Z)，步骤108在均匀坐标中进行如下计算，如上所述：

P＝[X Y Z 1]^T

r_ij,i,j＝1,..,3是目标姿态角度的函数，

[X’ Y’ Z’]^T＝[R_3x3T_3x1][X Y Z 1]^T

比例归一Z’给出了外部模型像点(x,y)，其中：

[x y 1]^T＝[X’/Z’ Y’/Z’ 1]^T≈[X’ Y’ Z’]^T。

于是，在步骤110输出外部模型像点。

现在参考图8c，步骤104应用透镜畸变模型示意性地包括步骤112接收外部模型像点(x,y)。步骤114采用模型参数，即透镜几何畸变参数k₁和k₂示意性地包括计算r，r’，以及畸变像点(x’,y’)。应该理解为，在某些实施例中，例如，根据成像设备透镜的鱼眼，参数k₁和k₂可以展开。实际上，如上所述，在最简单的形式中，几何畸变可以作为完全径向位移进行建模。外部模型像点(x,y)可以用径向坐标(r,θ)表示，其中r²＝x²+y²和tanθ＝y/x，(x,y)相对于图像中心(0,0)进行选取。已知r，新的畸变距离r’由以下给出：

r'＝r+k₁r³+k₂r⁵+…(能够展开),

其中，k₁和k₂透镜的几何畸变参数。已知θ或相似的三角性质，能够计算畸变像点(x’,y’)：

(x’,y’)＝(r’cosθ,r’sinθ),

或(x’,y’)＝(x r’/r,y r’/r)

于是，步骤106输出畸变像点(x’,y’)。

在一个实施例中，(0,0)作为图像中心，按照1:1f＝1比例对透镜畸变建模。于是，如下面进一步的讨论，应该理解为f能够从内部相机模型和按照f比例处理的透镜畸变进行分解。

现在参考图8d，获得106内部相机模型示意性地包括步骤118接收畸变像点(x’,y’)。从畸变像点(x’,y’)，以及从内部相机模型五个自由度，即α和β(像平面倾斜角)、焦距f和图像中心(CX,CY)，步骤120计算如下：

u＝f(cosβx’+sinβsinαy’+sinβcosα)

v＝f(cosαy’–sinα)

w＝–sinβx’+cosβsinαy’+cosβcosα

x”＝(u/w+CX)

y”＝(v/w+CY)

其中，(x”,y”)是相机内部像平面上的像点，可以在步骤122输出。

如上所述，f能够从内部相机模型进行分解。为了产生内部相机模型的近似，我们能够在小角度α和β下采用近似cosθ～1和sinθ～θ。应该理解为sin和cos其它系列的近似是可能的。从下面方程(12)可见，进行替代，h₃₃归一，h₁₃＝fβ和h₂₃＝-fα产生图像中心的校正，h₁₁和h₂₂变为f且沿x和y给予相同的比例，h₁₂＝fαβ产生图像中的倾斜等价。如前所示，h₃₁＝-β和h₃₂＝α不能变为0。它们给出采用w’＝1+yα–xβ重标，图像从图像中心沿x和y移开的视角校正，其中x和y相对于图像中心进行测量。

如前所述，相对像平面比例f，透镜畸变能够建模。根据像平面比例，为了对透镜畸变建模，必须将沿Z_C位于f处，且与透镜轴Z_C完全垂直的投影假象中间平面加入模型。

采用单纯的比例单应性Sf表示变换

我们能够从内部相机模型的H对Sf进行分解。我们能够在外部模型的末尾采用Sf比例来计算(fx,fy)，在透镜畸变模型中使用(fx,fy)，由此在内部相机模型中设置f＝1。于是，按照f比例计算了透镜畸变参数，就像像平面被校正，且在图像中心位置(0,0)处，倾斜回到与视线Z_C之间为直角一样。

需要透镜畸变建模去计算相对于图像中心，沿视线方向与平面完全垂直的径向距离r。虽然它在建模固定透镜中提供了附加自由度，但是透镜畸变的f＝1 1:1真实比例建模对于变焦透镜应用是有优势的，可使透镜畸变参数独立于f。

现在参照图9a，示出了对成像设备进行建模和校准的系统200。系统200包括通过网络204访问的一个或多个服务器202。例如，可以采用与网络服务器相对于的一系列服务器、应用服务器和数据库服务器。这些服务器全都由服务器202表示。用户可以采用多个适于通过网络204通信的设备206中的一个来访问服务器202。设备206可以包括任何设备，例如个人电脑、平板电脑、个人数字助理、智能手机或之类的，该设备配置为通过网络204进行通信，例如互联网、公共转接电话网络(PSTN)、蜂窝网络，或为技术领域中技术人员所知的其它网络。虽然示出的服务器202是独立的且远离设备206的，应该理解为，它还可以与设备206集成为或供下载的软件应用、固件应用、或它们的组合。应该理解为，206中的几个设备可立刻访问服务器202。

由成像设备207可以获得用来校准和图像校正的成像数据。设备207可以独立于设备206(如图所示)或与之集成。成像数据包括真实世界3D物体(未示出)，例如下面将进一步讨论的校准目标的一个或多个图像。随后在服务器202处理成像数据，以按上述参考图8a、图8b、图8c和图8d描述的方式获得成像设备207的模型。示意性地获得了物体，例如其空间运动可被监测的移动物体的实时(例如，每秒30张图像的速率)成像数据。接下来，服务器202可处理成像数据，以确定与所得每张图像中每个点相关联的像点。另外，还可处理成像数据，以确定与图像中一个或多个点中每个点利益相关的像点。

服务器202可包括，除其它物品之外，耦接至存储器201且有多个应用程序212a...212n在其上运行的处理器208。应该理解为，当出现在这的应用程序212a...212n作为独立的实体进行说明和描述时，它们可以以多种方式组合或分离。

一个或多个数据库214可以直接集成到存储器210，或可由此单独提供和从服务器202远程提供(如图所示)。如上所述，在远程访问数据库214情况下，访问可通过任何类型的网络204来实现。这里描述的各种数据库214可以是由计算机快速搜索和检索组织的数据或信息采集。构造数据库214以便于与各种处理数据操作相关的数据存储、检索、校正和删除。数据库214可包括能被分解为数条记录的一份文件或一套文件，其中每条记录包括一个或多个字段。为了快速搜索、重置、分组和选择字段，通过采用关键词和分类命令询问，可以检索数据库信息。数据库214可以是数据存储介质，例如一个或多个服务器上的任何数据组织。

在一个实施例中，数据库214是安全网络服务器和能够支持传输层安全(TLS)的超文本传输协议安全(HTTPS)，后者是用来访问数据的协议。采用安全套接字层(SSL)可以保证去向和来自安全网络服务器的通信安全。针对所有用户，采用用户名和密码可以进行用户身份验证。可以给多种级别的用户提供各种级别的访问权限。

可替代地，可以采用能够使计算机网络中的设备进行信息交换的任何已知的通信协议。协议的实例如下：IP(互联网协议)、UDP(用户数据包协议)和TCP(传输控制协议)、DHCP(动态主机配置协议)、HTTP(超文本传输协议)、FTP(文件传输协议)、Telnet(telnet远程协议)，SSH(安全壳远程协议)。

可由处理器208访问的存储器210接收和存储数据。存储器210可以是一个主存储器，例如高速随机存取存储器(RAM)，或辅助存储单元，例如硬盘、闪存、或磁带驱动器。存储器210可以是任何其他类型的存储器，例如只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、或光存储介质，例如录像盘和光盘。

处理器208可访问存储器210以检索数据。处理器208可以是可对数据执行操作的任何设备。实例是中央处理单元(CPU)、前端处理器、微处理器和网络处理器。应用层序212a…212n耦接至处理器208，且被配置为执行如下更详细解释的各种任务。输出可传输到设备206。

图9b是在处理器208上运行的应用程序212a的一个示例性实施例。应用程序212a可以包括接收模块302、外部模型投影模块304、透镜畸变补偿模块306、内部模型投影模块308和输出模块310，其中，接收模块302接收来自成像设备207的成像数据，且由此获得成像设备207所捕获的真实3D世界物体的点的坐标；外部模型投影模块304实现参考图8b说明和描述的方法；透镜畸变补偿模块306实现参考图8c说明和描述的方法；内部模型投影模块308实现参考图8d说明和描述的方法；以及输出模块310输出由内部模型规定模块308计算所得的相机图像点的坐标。2.0校准

现在参考图10、图11和图12，校准对3D到2D图像的创建过程建模。来自两(2)个校准相机，采用2D到3D的立体对逆运算验证模型的准确性。

2.1实验装备

提出的实验装备是为了现场使用，即使短波红外成像仪(SWIR)的分辨率较低。在黑色阳极铝(未示出)的两(2)个90°平面上，形成(例如，划刻)两个圆形栅格(未示出)，以改变SWIR光谱中的表面发射性能，以及为色彩校准提供黑白信息，如图10所示。

一些已发表的方法使用图像的中心部分来避免畸变和隔离一些相机参数。不幸的是，它还产生了一个参数估计偏置。在所提出的方法中，在图像任何地方采取的任何椭圆中心都应该适合模型。因此，所提出的模型在整个图像都是准确的，即使是广角镜头。

一旦从图像中测得椭圆中心，我们就有一个把3D真实世界目标位置与图像中它们各自的二维位置关联起来的数据集。采用相机模型关联它们，使用Levenberg-Marquardt搜索算法计算模型参数。应该理解，可以应用除了Levenberg-Marquardt算法之外的算法。例如，可以使用最速下降或牛顿算法。由所提出的技术取得的精度改进，允许使用误差标准的最小二乘法，而没有偏置。误差规定为来自模型和3D数据集的图像预测目标位置，减去相应2D的真实图像测量。

校准目标使用直径为1”的圆，其中心到中心间距为2”。使用圆确保不会有角被探测到，即使高像素图像，见图12。

每个圆给出了相机行为的本地估计，无偏置或任何优选的边缘取向。我们更关注的是边缘检测上精确的椭圆中心位置精度，而不是信号-噪声(S/N)比。重要工作是要测试各种椭圆建模技术，并避免了中心偏置估计。由于图像是高像素化的，所以边缘检测器的足迹示意性地限制在3×3像素区域。

因为它旨在低分辨率相机上使用所提出的技术，所以示意性地选择640×480Bayer模式点灰度研究萤火虫^TM彩色摄像机，其提供f＝4mm微镜用于测试，如图11所示。

最后得出结论，目前技术是无法处理眩光和反射的，因此不能用于现场校准。在几种情况下，我们发现了1/4至1/2的像素中心偏置。那些误差如此之小，所以需要广泛的数学分析将他们从形状恢复过程中消除；人眼是看不见他们的。

另一方面，当边缘取向没有沿着水平或竖直相机栅格像素阵列排列时，边缘梯度传感技术表现出子像素位置偏置。最后，在Devernay[1]的“非极大值抑制”子像素扩展上使用子像素校正。在两步过程中，步骤1恢复边缘点的初始估计，对边缘取向偏置加入赔偿。在该初始设置中，计算椭圆几何的第一估计。在步骤2中，初始椭圆拟合用来估计局部弯曲和校正边缘位置。

2.2校准结果

使用相同的实验数据，比较两(2)个相机模型的参数估计，如下面表1所示。

表1

最左边的相机参数设置是从发布的最准确的模型获得的，在我们自己的实验数据上进行测试。最右边的设置是从所提出的模型计算得来的，其中，透镜模型用作单纯的径向几何畸变，以及内部相机模型采用所建议的实施。

上述表格的前六(6)行是外部相机参数，计算[R_3x3T_3x1]所需的三(3)个角和三(3)个位置。接下来的五(5)行是内部相机参数；我们修改我们的参数以迎合图5的通用模型。我们的自由度使用不同的数学公式。然后，剩下的2(2)行示出了主要的透镜几何畸变参数K₁和K₂。这两者在大多数模型中都有，并导致了大多数鱼眼几何畸变。

如这里上述所讨论的，从a，b和s，我们考虑a＝b＝f，伴有s＝0表示相机像素垂直度，以及焦距f上的误差。如果像素是正方形的，高度比例应等于宽度比例，两者应该完全呈直角，且a＝b＝f应该表示图像比例。

切换到所提出的模型，f误差从10^-3毫米减少至10^-10毫米。最初，焦距f错了0.03％。虽然它看起来很小，但是模型偏置将图像中心(C_X，C_Y)大致沿Y方向移动了近两(2)个像素。同时，所有外部参数也移动了。所有的角度都发生了改变，且目标距离T_Z错了0.3％：相对于f上的误差，范围测量误差放大了十(10)倍。这是系统范围测量误差：1米距离上的3毫米误差在10公里距离上将扩展到30米。T_X和T_Y上的误差百分比甚至更糟，说明左边的模型旨在保护沿透镜轴Z_C的距离。从校准的立体对来看，3D恢复显示出了相当于图像比例下的两(2)个像素的误差。下面，将进一步深入讨论立体3D测量。

考虑畸变参数K₁和K₂(K₁中的负号意味着桶形畸变)，值得注意的是两者都是估计的。当有人从图像中心离开时，会有一些残余弯曲。它可能小于像素，但如果有人试图从多个图片拼接图像以生成一份图时，弯曲就会建立。

3.0模型/校准偏置影响

来自立体对的3D遥测上显示出了主要模型偏置的影响，如3D扫描仪应用中所采用的那样。同样的结论对于来自移动相机的3D提取也成立，因为数学三角测量过程基本一样。

3.1从立体对恢复3D

正如前面提到的，在相机模型中忽略所提出的校正，会产生3D的三角测量系统误差。图13示出了测量3D物体所用的典型的立体对，使用两(2)个同步相机图像。[5]给出三角测量的完整讨论。

O和O'是两相机的光学中心(未示出)，两个透镜轴呈直角投影在图像中心分别为(C_X，C_Y，f)和(C_X'，C_Y'，f')(未清晰示出)的像平面上，其中(C_X，C_Y)是像平面的原点，且f是O和像平面之间的距离，如图4所示。相似地，(C_X'，C_Y')是像平面的原点，且f'是O'和像平面之间的距离。

两个相机都看到了物体(未示出)上的同一个的点M。M在两个相机图像中投影为m和m’。

为了找出M在空间中的位置，从O和O'拉出两条线，通过它们各自的相机像点m和m’。M计算为两条相交的地方。

3D精度取决于精确的知识：

1.光学中心O和O’

2.焦距f和f’

3.图像中心(C_X，C_Y)和(C_X'，C_Y')

4.透镜轴取向Z_C和Z_C’

5.像点的精度m和m’

6.OM和O’M的交点

通过相机校准，发现3D遥测精度需要前四(4)个，亚像素图像特征提取需要第五个。最后一个是三角测量3D恢复本身。

如上所述，前四(4)个误差依赖性，即光学中心O和O’、焦距f和f’、图像中心(C_X，C_Y)和(C_X'，C_Y')，和透镜轴取向Z_C和Z_C’，受制于上述所发现的相机模型偏置。

虽然倾斜轴假设在焦距f上产生了一个非常小的误差，但它将会在图像中心(C_X，C_Y)和焦点O和O’上产生一个很大的偏置。因为O和O’偏离了位置，所以用来找到M的三角测量会产生系统的3D误差。从所建议的校准实例，因为我们能够检索到1/4像素精度，所以光学中心O和O’上的两(2)个像素误差主宰着像点m和m’上的任何测量误差。

特征点的提取(m和m’)受制于边缘取向偏置，以及必须校准处理的拐角探测偏置。

最后，三角测量，采用经典的奇异值分解(SVD)方法，因其稳定性和速度。没有什么能保证两条线在空间相交。因此，M是在两条线最接近的空间中找到的点。

在我们的调查过程中，测量了几个影响准确性的偏置源，相机模型偏置作为主要贡献者。偏置源包括以下：

-相机/透镜模型(图像中心(C_X，C_Y)上的2像素误差)

-亚像素边缘取向偏置(1/4像素边缘移动)

-亚像素角探测偏置(1/4像素角偏移)

-未考虑的色畸变(与色彩相关的1/2像素边缘移动)

-补偿下的几何畸变(不易探测到的1/2像素残余弯曲)

-亚像素级JPEG图像过滤(JPEG质量参数变量)

除了相机模型偏置，大多数偏置源将导致特征点提取误差。消除这些偏置来源导致累积效益。使用广角微镜头通过简单地改变相机的内部模型，实现低分辨率拜尔型相机的f精确到10^-10mm显示出了主要的改进，并且，解释了为什么到现在为止精确的变焦镜头模型是不可能的。

3.2模型偏置：整体和变焦镜头

如上所述，参考倾斜轴假设，每个镜头参数都被内部相机模型偏置'污染'了。为了3D内部相机像平面的精确视角模型，可以通过改变倾斜假设去除偏置。

在3D三角测量中，无论是从立体或是从移动相机，其影响是，因为图像比例和图像中心是错误的，三角测量会偏移。

表1中示出的实例也示出透镜畸变参数是估计的，K₁中的负号意味着桶形畸变。在将多幅图像拼接成一个图时，结果形成了从图像到图像的弯曲累积。

范围和目的测量也被偏置了，且与焦距f上的误差百分比相关，因为相机给出了比例测量。

它还阻止了变焦镜头相机的精确建模。在变焦镜头，焦点O沿透镜轴线Z_C移动。来自校准，已知图像中心(C_X，C_Y)，找到O，f是与像平面呈直角的远离。所提出的实例示出了这些参数中的系统偏置。当考虑到透镜机制结束时时，它会变得更糟，因为它沿透镜轴Z_C移动。

如果相机模型没有所建议的修改，那么将不可能对变焦镜头进行建模。

变焦镜头相机的建模需要在空间中绘制焦点O的位移。理想的变焦镜头将沿透镜轴线Z_C上的直线移动O，入口平面f＝1沿着移动。一旦出现机械装配误差，点O的线性位移关系就会破坏。因此，评估变焦镜头机械质量的唯一的方法取决于图像中心(C_X，C_Y)和f的准确知识。

机械质量行为还是变焦镜头的权衡：在透镜机制中，必要时，需要以损失装配公差精度为代价，放大去获得额外的精度。

3.3几何畸变去除实例

现在参考图14，使用如上所述先前校准的测试相机，并且从所提出的透镜几何畸变表示为方程(16)的算法，图14示出了如何从图像中去除透镜畸变。在黑白图像上看不见色畸变。

3.4色畸变

现在，参考图15，其示出了来自f＝4mmC Mount的透镜色畸变，分辨率为1024×768。一旦真实的图像中心(C_X，C_Y)已知，即可对色畸变进行建模。在大多数图像中，色畸变几乎是不可见的，除非对象是全黑白色，且采用彩色相机拍照。文献[2]给出了一个模型，其中，每个RGB彩色通道都是独立建模的。

在图15中，示出放大了五十(50)倍的色畸变目标位移。目标位置显示为红、绿和蓝(RGB)相机彩色通道，并且按三(3)个一群进行分组。“×”或十字标记符号表示蓝色的目标提取，“+”或加标记符号表示红色的目标提取，以及点或点标记符号表示绿色的目标提取。可见光谱扩展把红色目标中心向外推动，相对于绿色，蓝色目标中心向里推动。图15中的图示出了大致的径向行为。对于任何给定的目标位置，连接红色、绿色和蓝色中心的假想线，倾向于排队，并瞄准接近(500，400)像素坐标，由圆形加号标记符号表示的图像中心。

接下来的两(2)个图，如图16和图17中所示，示出了在图像中心处，蓝色和红色的色畸变是零，从预期的坐标原点(0,0)开始。如透镜理论行为所预测，图像中心处的色畸变应该为零。

在距离中心不同的径向距离处，蓝色和红色的色畸变有其峰值。从超过±1/2像素，色畸变能够建模，且下降至小于±1/8像素。

在从图像中心(C_X，C_Y)所取的径向坐标中，改变对象的颜色，或改变光源的光谱，未考虑的色畸变会在边缘位置产生±1/2像素的误差。它强调从Bayer模式彩色图像提取RGB时要小心，因为边缘检测是颜色偏置的。

3.5Bayer模式恢复

现在参考图18，Bayer模式彩色相机给每个给定的像素，红色、绿色或蓝色一个颜色信号，如图18像素数中R、G或B前缀所示。使用邻近的像素信息对缺失的颜色信息进行插值。

最准确的Bayer模式插值方案使用边缘检测来恢复缺失的RGB信息。我们不能在边缘插值，因为精确的Bayer模式恢复需要避免中断。

在两步骤的过程中，我们首先计算在B和R像素上缺失的G像素值。例如，在红色像素R13上，缺失的G13值计算如下：

(G12+G14)/2如果边缘是水平的(R13>(R3+R23)/2) (11)

(G8+G18)/2如果边缘是竖直的(R13>(R11+R15)/2) (12)

(G12+G8+G14+G18)/4其它 (13)

在第二步，我们使用已知的边缘检测的G值，计算缺失的B和R值，假设发现B和R的边缘与G的边缘在相同的像平面位置。

由于透镜引入色畸变，所以Bayer模式恢复需要调整，以弥补当我们从B到G再到R像素进行扫描时的“颜色转移”边缘位置。

3.6光学系统设计权衡

对于监视、3D遥测和扫描仪，已证明需要消除相机校准偏置。该技术的其它主要资产包括，但不局限于：

1.软件方法创建开放的集成架构；

2.允许使用广角镜头或减小镜头尺寸；

3.允许对变焦镜头相机建模；

4.图像几何和色畸变校正算法计算速度增加，且加入无损图像压缩；

5.去除色畸变造成的Bayer模式恢复误差。

应该注意的是，超越相机硬件的功能，软件似乎是提高精度的唯一策略。

作为一个推动者，该技术允许：

·广角镜头的使用，增加了相机的视角，并不损失精度。1/3CCDf＝4mm的结合提供了90度的视角。

·通过加入色畸变建模和频谱的亚像素边缘测量，来补偿相机的低分辨率。

·小型化：使用微镜和焦距评价，我们实现了精确至10^-10mm的校准，大约是氢分子的大小。

·SWIR彩色合成图像雷达LIDAR之间的传感器融合：实现精确融合，每个图像比例和图像中心都已知，且已去除图像畸变。

数字图像滞后可导致人类观察者恶心，优选所建议的几何畸变去除4:1简化。来自校准偏置的残余3D误差也将导致人不适，例如头痛或网络疾病。测试士兵视力的视觉放大得出结论，合成成像滞后1/4秒实际能让观测者恶心。

由于该解决方案是软件实现，它成为跨平台独立的。

在低分辨率图像上，亚像素边缘提取和绘图帮助人脑解读图像。低分辨率SWIR图像可以与更高分辨率彩色图像融合。

在增强现实中，计算机生成的图像具有理想的角度和已知的焦距。由于计算机生成的图像是完全的针孔，从设定值f产生的，它要去校正相机图像畸变，并将其按照与合成图像相同的比例进行拟合。

在地球观测和卫星监视中，任何透镜系统将在一定程度上表现出畸变。地球的大气还增加了畸变，只有当透镜畸变精确已知时，才可以补偿该畸变。拼接图像时，欠补偿的几何畸变将建立弯曲，以及由倾斜轴假设造成的偏置视角将产生形状变化：垂直度的损失，垂直度的损失…

亚像素边缘提取是目前最有效的图像压缩方法。校正透镜畸变图像和通过JPEG修改，还表明了额外的30％无损图像压缩。

所提出的方法对于变焦镜头遥测是优选的，提高了广角镜头应用中的速度和精度，并允许两种方式的系统小型化。首先，从较小的透镜系统提供附加的精度，其次，通过软件过滤允许更简化的光学。

它为精度、速度、成本、体积、重量、维护和升级提供了最佳的权衡。4.0结论

没有比它的仪器更精确的自动化系统。在智能系统(IS)中作为测量工具使用的数码相机需要相机校准。

增加的精度只有通过软件才可实现，因为商业镜头在焦距f上可以有10％的公差，而且，软件是在亚像素级补偿透镜畸变的唯一途径。

倾斜轴假设产生了主要的偏置，并且必须由像平面的视角模型替换，该模型保留了相机像平面3D几何形状：水平和垂直图像比例相等且呈直角。倾斜轴假设引入了出现在3D三角测量上的校准偏置，因为图像中心偏离了位置。在上述实例中，两(2)个像素图像中心偏置控制了三角测量过程中的其它每个误差，因为图像特征可以提取到1/4像素精度。

因为可能会出现几个子像素的偏置，所以在提取图像特征的校准中需要注意。亚像素偏置源包括，但不局限于：

-亚像素边缘位置-取向偏置；

-亚像素角探测偏置；

-未考虑的色畸变；

-补偿下的几何畸变；

-亚像素级JPEG图像过滤。

内部相机像平面的视角模型是必要的，以确定在变焦镜头中的透镜焦距位移。软件校正方法提高了速度和广角镜头应用的精度，且允许两种方式的系统小型化。首先，从较小的透镜系统提供附加的精度，其次，通过软件过滤允许更简化的光学。超越硬件限制，软件模型/校准是提高相机性能的唯一技术。

在框图中所示的成组的离散组件，通过不同的数据信号连接彼此通信，本领域的技术人员将理解，本实施例由硬件和软件组件的组合提供，其中，一些组件由给定的硬件或软件系统的功能或操作来实现，并且示出的许多数据路径由计算机应用或操作系统中的数据通信来实现。由此，示出的结构提供了教导本实施例的效率。

应该注意的是，本发明可以作为一种方法执行，可在系统中和/或在计算机可读介质上体现。上述发明的实施例仅仅旨在是示例性的。因此，本发明的范围旨在仅由所附权利要求的范围限制。

参考文献

[1]Frédéric Devernay.A Non-Maxima Suppression Method for EdgeDetection with Sub-Pixel Accuracy.INRIA:INSTITUT NATIONAL DE RECHERCHE ENINFORMATIQUE ET EN AUTOMATIQUE.Report N°2724,1995.11,20页.

[2]Y.M.Harry Ng,C.P.Kwong.Correcting the Chromatic Aberration inBarrel Distortion of Endoscopic Images.Department of Automation and ComputerAided Engineering,Chinese University of Hong Kong.6页

[3]Shawn Becker.Semiautomatic Camera Lens Calibration from PartiallyKnown Structure.MIT:Massachusetts Institute of Technology.

http://alumni.media.mit.edu/～sbeck/results/Distortion/distortion.html1994,1995

[4]Konstantinos G.Derpanis.The Harris Corner Detector.2004.10,2页.

[5]L.H.Hartley,P.Sturm.Triangulation.Proc.of the ARPA ImageUnderstanding Workshop 1994,Monterey,CA 1994,pp.957-966.

Claims

1.一种对成像设备进行建模以用于校准和图像校正的计算机实施的方法，所述方法包括：

定义原点位于所述成像设备的焦点处的第一3D正交坐标系，所述第一3D正交坐标系的第一轴沿所述成像设备的视线方向延伸；

定义原点位于与所述焦点相距单位距离处的第二3D正交坐标系，所述第二3D正交坐标系的第一轴沿所述视线方向延伸，所述第二3D正交坐标系的第二轴和第三轴分别平行于所述第一3D正交坐标系的第二轴和第三轴，从而所述第二3D正交坐标系的第二轴和第三轴定义与所述视线垂直的真实比例平面；

定义原点位于与所述焦点相距焦距处的第三3D正交坐标系，所述第三3D正交坐标系的第一轴沿所述视线方向延伸，所述第三3D正交坐标系的第二轴和第三轴相对于所述第二3D正交坐标系的第二轴和第三轴的方位分别倾斜第一角度和第二角度，从而所述第三3D正交坐标系的第二轴和第三轴定义相对于所述视线垂直度偏离的像平面；

接收与由所述成像设备捕捉的真实世界3D物体的点相关的一组3D坐标；

计算所述点在所述真实比例平面上的投影，从而获得第一组平面坐标，并且计算所述点在所述像平面上的投影，从而获得第二组平面坐标；以及

输出所述第二组平面坐标，所述第二组平面坐标指示与所述3D物体的所述点对应的像点的位置，其中

使用模型参数从接收到的3D点计算外部模型像点，然后通过对外部模型像点应用透镜畸变模型来计算畸变像点，最后根据畸变像点使用模型参数计算相机像点。

2.根据权利要求1所述的方法，其中，所述第二3D正交坐标系被定义为使得所述真实比例平面建立至所述成像设备的透镜系统的入口且在所述真实比例平面上的投影表示所述成像设备的外部模型的输出，并且所述第三3D正交坐标系被定义为使得所述像平面建立至所述透镜系统的输出且在所述像平面上的投影表示所述成像设备的内部模型的输出。

3.根据权利要求1所述的方法，其中，所接收的一组三维坐标是[x y z1]^T，并且所述3D物体的点在所述真实比例平面上的投影计算为：

其中，≈是比例等价运算符，并且P₁定义相对于所述第一3D正交坐标系在所述真实比例平面上的投影操作。

4.根据权利要求3所述的方法，其中，所述3D物体的点在所述像平面上的投影计算为：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>P</mi> <mi>f</mi> </msub> <mi>R</mi> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>&beta;</mi> <mo>)</mo> </mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> <msup> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> <mtd> <mi>y</mi> </mtd> <mtd> <mi>z</mi> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mi>T</mi> </msup> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mn>1</mn> <mo>/</mo> <mi>f</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>cos</mi> <mi>&beta;</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>sin</mi> <mi>&beta;</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>sin</mi> <mi>&beta;</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&beta;</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&alpha;</mi> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mi>sin</mi> <mi>&alpha;</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>sin</mi> <mi>&alpha;</mi> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&alpha;</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> <mtr> <mtd> <mi>z</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>h</mi> <mn>11</mn> </msub> <mi>x</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>12</mn> </msub> <mi>y</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>13</mn> </msub> <mi>z</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>h</mi> <mn>22</mn> </msub> <mi>y</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>23</mn> </msub> <mi>z</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>h</mi> <mn>31</mn> </msub> <mi>x</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>32</mn> </msub> <mi>y</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>33</mn> </msub> <mi>z</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>1</mn> <mo>/</mo> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mn>31</mn> </msub> <mi>x</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>32</mn> </msub> <mi>y</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>33</mn> </msub> <mi>z</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>&ap;</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mn>11</mn> </msub> <mi>x</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>12</mn> </msub> <mi>y</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>13</mn> </msub> <mi>z</mi> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mn>31</mn> </msub> <mi>x</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>32</mn> </msub> <mi>y</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>33</mn> </msub> <mi>z</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mn>22</mn> </msub> <mi>y</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>23</mn> </msub> <mi>z</mi> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mn>31</mn> </msub> <mi>x</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>32</mn> </msub> <mi>y</mi> <mo>+</mo> <msub> <mi>h</mi> <mn>33</mn> </msub> <mi>z</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mi>f</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mn>11</mn> </msub> <msup> <mi>x</mi> <mo>&prime;</mo> </msup> <mo>+</mo> <msub> <mi>h</mi> <mn>12</mn> </msub> <msup> <mi>y</mi> <mo>&prime;</mo> </msup> <mo>+</mo> <msub> <mi>h</mi> <mn>13</mn> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mn>31</mn> </msub> <msup> <mi>x</mi> <mo>&prime;</mo> </msup> <mo>+</mo> <msub> <mi>h</mi> <mn>32</mn> </msub> <msup> <mi>y</mi> <mo>&prime;</mo> </msup> <mo>+</mo> <msub> <mi>h</mi> <mn>33</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mn>22</mn> </msub> <msup> <mi>y</mi> <mo>&prime;</mo> </msup> <mo>+</mo> <msub> <mi>h</mi> <mn>23</mn> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mn>31</mn> </msub> <msup> <mi>x</mi> <mo>&prime;</mo> </msup> <mo>+</mo> <msub> <mi>h</mi> <mn>32</mn> </msub> <msup> <mi>y</mi> <mo>&prime;</mo> </msup> <mo>+</mo> <msub> <mi>h</mi> <mn>33</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mi>f</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msup> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msup> <mi>x</mi> <mrow> <mo>&prime;</mo> <mo>&prime;</mo> </mrow> </msup> </mtd> <mtd> <msup> <mi>y</mi> <mrow> <mo>&prime;</mo> <mo>&prime;</mo> </mrow> </msup> </mtd> <mtd> <mi>f</mi> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mi>T</mi> </msup> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中，P_f定义在所述像平面上的投影操作，f是所述焦距，α是所述第一角度，β是所述第二角度，R(x,α)是相对于所述像平面的x轴的α旋转矩阵，所述x轴被定义为在执行α旋转之前平行于所述第二3D正交坐标系的第二轴，R(y,β)是相对于所述像平面的y轴的β旋转矩阵，所述y轴被定义为在执行β旋转之前平行于所述第二3D正交坐标系的第三轴，所述α旋转从最右边计算以便所述β旋转是相对于被旋转角度α的所述x轴来进行的，并且其中

h₁₁＝cosβ，

h₁₂＝sinβsinα，

h₁₃＝sinβcosα，

h₂₂＝cosα，

h₂₃＝-sinα，

h₃₁＝-sinβ，

h₃₂＝cosβsinα，并且

h₃₃＝cosβcosα。

5.根据权利要求4所述的方法，还包括将所述真实比例平面和所述像平面之间的单应性H确定为：

其中，h₃₁和h₃₂是将视角校正应用到所述像平面中的x和y比例的非零元素，且所述第二组平面坐标(x”,y”)是所述真实比例平面上的点的图像的畸变位置(x’,y’)的单应变换，所述单应变换表示为：

[x” y” 1]^T≈[u v w]^T＝H[x' y' 1]^T，

其中，u＝f(cosβx’+sinβsinαy’+sinβcosα)，

v＝f(cosαy’-sinα)，

w＝-sinβx’+cosβsinαy’+cosβcosα，

x”＝u/w+C_X，并且

y”＝v/w+C_Y，其中，(C_X,C_Y)是所述第三3D正交坐标系的原点位置。

6.根据权利要求5所述的方法，其中，所述单应性H被确定为：

<mrow> <mi>H</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>f</mi> <mi> </mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&beta;</mi> </mrow> </mtd> <mtd> <mrow> <mi>f</mi> <mi> </mi> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&beta;</mi> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&alpha;</mi> </mrow> </mtd> <mtd> <mrow> <mi>f</mi> <mi> </mi> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&beta;</mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&alpha;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>f</mi> <mi> </mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&alpha;</mi> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mi>f</mi> <mi> </mi> <mi>sin</mi> <mi>a</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>sin</mi> <mi>&beta;</mi> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&beta;</mi> <mi>sin</mi> <mi>&alpha;</mi> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&beta;</mi> <mi>cos</mi> <mi>&alpha;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>~</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>f</mi> </mtd> <mtd> <mrow> <mi>f</mi> <mi>&alpha;</mi> <mi>&beta;</mi> </mrow> </mtd> <mtd> <mrow> <mi>f</mi> <mi>&beta;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mi>f</mi> </mtd> <mtd> <mrow> <mo>-</mo> <mi>f</mi> <mi>&alpha;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>&beta;</mi> </mrow> </mtd> <mtd> <mi>&alpha;</mi> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>

其中，对于小角度α和β，使用近似cosθ～1和sinθ～θ。

7.根据权利要求1所述的方法，还包括补偿在所述真实比例平面处的所述成像设备的透镜的畸变，所述补偿包括应用由下式定义的透镜畸变模型：

r'＝r+k₁r³+k₂r⁵+…,

其中，所述第一组平面坐标包括以径向坐标(r,θ)所表示的所述真实比例平面上的所述点的图像的未畸变位置(x,y)，其中，r²＝x²+y²且tanθ＝y/x，(x’,y’)表示在所述像平面上的点的投影之前在所述透镜的输出处的畸变位置(x,y)，r’是基于(x’,y’)计算的畸变径向距离，并且k₁和k₂是所述透镜的几何畸变参数。

8.一种对成像设备进行建模以用于校准和图像校正的系统，所述系统包括：

存储器；

处理器；以及

至少一个应用程序，存储在所述存储器中且可由所述处理器执行以用于

定义原点位于所述成像设备的焦点处的第一3D正交坐标系，第一3D正交坐标系的第一轴沿所述成像设备的视线方向延伸；

定义原点位于与所述焦点相距单位距离处的第二3D正交坐标系，第二3D正交坐标系的第一轴沿视线方向延伸，所述第二3D正交坐标系的第二轴和第三轴分别平行于所述第一3D正交坐标系的第二轴和第三轴，从而所述第二3D正交坐标系的第二轴和第三轴定义与所述视线垂直的真实比例平面；

定义原点位于与所述焦点相距焦距处的第三3D正交坐标系，第三3D正交坐标系的第一轴沿视线方向延伸，所述第三3D正交坐标系的第二轴和第三轴分别相对于所述第二3D正交坐标系的第二轴和第三轴的方位倾斜第一角度和第二角度，从而所述第三3D正交坐标系的第二轴和第三轴定义相对于所述视线垂直度偏离的像平面；

计算点在所述真实比例平面上的投影，由此获得第一组平面坐标，以及计算点在所述像平面上的投影，由此获得第二组平面坐标；以及

输出所述第二组平面坐标，所述第二组平面坐标指示与所述3D物体的点对应的像点的位置，其中

9.根据权利要求8所述的系统，其中，所述至少一个应用程序可由所述处理器执行以用来定义所述第二3D正交坐标系，以便所述真实比例平面建立至所述成像设备的透镜系统的入口且在所述真实比例平面上的投影表示所述成像设备的外部模型的输出，并且定义所述第三3D正交坐标系以便所述像平面建立至所述透镜系统的输出且在所述像平面上的投影表示所述成像设备的内部模型的输出。

10.根据权利要求8所述的系统，其中，所述至少一个应用程序可由所述处理器执行以用来接收所述一组3D坐标作为[x y z 1]^T，并且将所述3D物体的点在所述真实比例平面上的投影计算为：

其中，≈是比例等价运算符，P₁定义相对于所述第一3D正交坐标系在所述真实比例平面上的投影操作。

11.根据权利要求10所述的系统，其中，所述至少一个应用程序可由所述处理器执行以用来将所述3D物体的点在所述像平面上的投影计算为：

其中，P_f定义在所述像平面上的投影操作，f是焦距，α是所述第一角度，β是所述第二角度，R(x,α)是相对于所述像平面的x轴的α旋转矩阵，所述x轴被定义为在执行α旋转之前平行于所述第二3D正交坐标系的第二轴，R(y,β)是相对于所述像平面的y轴的β旋转矩阵，所述y轴被定义为在执行β旋转之前平行于所述第二3D正交坐标系的第三轴，α旋转从最右边计算以便β旋转是相对于被旋转角度α的所述x轴来进行的，并且其中

h₁₁＝cosβ，

h₁₂＝sinβsinα，

h₁₃＝sinβcosα，

h₂₂＝cosα，

h₂₃＝-sinα，

h₃₁＝-sinβ，

h₃₂＝cosβsinα，并且

h₃₃＝cosβcosα。

12.根据权利要求11所述的系统，其中，所述至少一个应用程序可由所述处理器执行以用来将所述真实比例平面和所述像平面之间的单应性H确定为：

[x” y” 1]^T≈[u v w]^T＝H[x' y' 1]^T，

其中，u＝f(cosβx’+sinβsinαy’+sinβcosα)，

v＝f(cosαy’-sinα)，

w＝-sinβx’+cosβsinαy’+cosβcosα，

x”＝u/w+C_X，并且

y”＝v/w+C_Y，其中(C_X,C_Y)是所述第三3D正交坐标系的原点位置。

13.根据权利要求12所述的系统，其中，所述至少一个应用程序可由所述处理器执行以用来将所述单应性H确定为：

<mrow> <mi>H</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>f</mi> <mi> </mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&beta;</mi> </mrow> </mtd> <mtd> <mrow> <mi>f</mi> <mi> </mi> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&beta;</mi> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&alpha;</mi> </mrow> </mtd> <mtd> <mrow> <mi>f</mi> <mi> </mi> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&beta;</mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&alpha;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>f</mi> <mi> </mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&alpha;</mi> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mi>f</mi> <mi>sin</mi> <mi>a</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>sin</mi> <mi>&beta;</mi> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&beta;</mi> <mi>sin</mi> <mi>&alpha;</mi> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&beta;</mi> <mi>cos</mi> <mi>&alpha;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>~</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>f</mi> </mtd> <mtd> <mrow> <mi>f</mi> <mi>&alpha;</mi> <mi>&beta;</mi> </mrow> </mtd> <mtd> <mrow> <mi>f</mi> <mi>&beta;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mi>f</mi> </mtd> <mtd> <mrow> <mo>-</mo> <mi>f</mi> <mi>&alpha;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>&beta;</mi> </mrow> </mtd> <mtd> <mi>&alpha;</mi> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>

其中，对于小角度α和β，使用近似cosθ～1和sinθ～θ。

14.根据权利要求13所述的系统，其中，所述至少一个应用程序可由所述处理器执行以用来补偿在所述真实比例平面处的所述成像设备的透镜的畸变，所述补偿包括应用由下式定义的透镜畸变模型：

r'＝r+k₁r³+k₂r⁵+…,

其中，所述第一组平面坐标包括以径向坐标(r,θ)所表示的所述真实比例平面上的点的图像的未畸变位置(x,y)，其中，r²＝x²+y²且tanθ＝y/x，(x’,y’)表示在所述像平面上的点的投影之前在透镜的输出处的畸变位置(x,y)，r’是基于(x’,y’)计算的畸变径向距离，并且k₁和k₂是透镜的几何畸变参数。

15.根据权利要求8所述的系统，其中，所述成像设备包括变焦镜头相机、近红外成像设备、短波长红外成像设备、长波长红外成像设备、雷达设备、光探测和测距设备、抛物面反射镜望远镜成像仪、外科内窥镜相机、计算机断层扫描设备、卫星成像设备、声纳设备，以及多光谱传感器融合系统。

16.一种计算机可读介质，包括用于对成像设备进行建模以用于校准和图像校正的程序，当所述程序被执行时，使包括所述计算机可读介质的设备：

定义原点位于与所述焦点相距单位距离处的第二3D正交坐标系，第二3D正交坐标系的第一轴沿视线方向延伸，所述第二3D正交坐标系的第二轴和第三轴分别平行于所述第一3D正交坐标系的第二轴和第三轴，从而所述第二3D正交坐标系的第二轴和第三轴定义与视线垂直的真实比例平面；

定义原点位于与所述焦点相距焦距处的第三3D正交坐标系，第三3D正交坐标系的第一轴沿视线方向延伸，所述第三3D正交坐标系的第二轴和第三轴分别相对于所述第二3D正交坐标系的第二轴和第三轴的方位倾斜第一角度和第二角度，由此所述第三3D正交坐标系的第二轴和第三轴定义相对于所述视线垂直度偏离的像平面；

计算所述点在所述真实比例平面上的投影，由此获得第一组平面坐标，并且计算所述点在所述像平面上的投影，由此获得第二组平面坐标；以及