CN115797461B - 基于双目视觉的火焰空间定位系统标定与校正方法 - Google Patents

Abstract

本发明公开基于双目视觉的火焰空间定位系统标定与校正方法，其中基于双目视觉的火焰空间定位系统包括：图像获取单元，用于从不同视角同步获取火焰图像和/或视频，图像获取单元为两台视角不同的双目摄像机；以及火焰三维信息获取单元，基于火焰图像和/或视频求解火焰三维信息；标定与校正方法包括：建立摄像机模型，包括摄像机的小孔成型模型和摄像机成像变换关系模型；基于摄像机模型和2D平面靶标进行单目摄像机的标定与校正，单目摄像机的标定与校正包括摄像机参数求解和单目摄像机标定实现；基于单目摄像机的标定与校正结果和对极几何原理对双目摄像机构成的双目系统进行立体标定与校正。还公开了对应系统、电子设备及计算机可读存储介质。

Description

基于双目视觉的火焰空间定位系统标定与校正方法

技术领域

本发明属于安全科学与工程技术领域，尤其涉及基于双目视觉的火焰空间定位系统标定与校正方法。

背景技术

火灾是人们所不希望的一种在时空上失去控制的由燃烧造成的灾害，也是最常见的严重灾害之一。据不完全统计，全球每年发生的火灾就有600万～700万起，约70000人死于火灾。如何及时并准确地探测火灾，是预防此类灾害发生减少人民生命财产损失的有效手段。及时并准确地探测火灾应该包含两方面的意义，一是从时间上及时探测到火灾并报警，二是从空间上准确探测到火灾并实施灭火。及时发现火灾并实现早期报警无疑能从很大程度上降低人民生命及财产的损失，但是，仅仅做到及时探测并早期预警还远远不够，如果不能准确找到火点，这将给后续的扑救和调查带来很大的困难。及时探测火灾并早期预警一直都是火灾探测领域的研究热点。传统的感温、感烟、感光等探测技术应用都已经比较成熟；新型的图像型探测技术的研究也日渐深入，相应的产品也已经有工程实例。但是无论是传统的探测器还是图像型探测器都主要研究了及时探测火灾的问题，关于如何在空间上准确定位火焰位置的研究却并不多。进而对于系统的标定和校正方法属于空白。

发明内容

本发明的目的是提供基于双目视觉的火焰空间定位系统标定与校正方法，其中定位系统是在仿生学原理的基础上，结合数字图像处理和立体视觉等技术，以实现火焰空间定位的一种监测技术，利用两只摄像机同时对目标环境进行监控，如果发现火情，就及时获取火焰的双目图像，根据双目立体视觉原理，求出火焰目标的空间坐标，实现从空间上准确探测到火灾，系统实施过程中，能够获取摄像机的内外参数；并且针对现实情况下不可能使双摄像机严格的平行对准的问题，立体标定与立体校正能够使系统采集到的双目图像对在数学意义上实现了平行对准，从而指导消防设施和消防人员实施灭火工作，同时还可以为火调工作提供参考资料，具有突出的理论意义和应用价值。

本发明一方面提供了基于双目视觉的火焰空间定位系统标定与校正方法，其中基于双目视觉的火焰空间定位系统包括：

图像获取单元，用于从不同视角同步获取火焰图像和/或视频，所述图像获取单元为两台视角不同的双目摄像机；以及

火焰三维信息获取单元，基于所述火焰图像和视频根据双目视觉原理求解火焰三维信息，从而实现火焰的空间定位；

所述标定与校正方法包括：

S1，建立摄像机模型，所述摄像机模型包括摄像机的小孔成型模型和摄像机成像变换关系模型；

S2，基于所述摄像机模型和2D平面靶标进行单目摄像机的标定与校正，所述单目摄像机的标定与校正包括摄像机参数求解和单目摄像机标定实现；

S3，基于单目摄像机的标定与校正结果和对极几何原理对双目摄像机构成的双目系统进行立体标定与校正。

优选的，所述摄像机的小孔成像模型包括：在摄像机的小孔成像模型中，三维环境中的任意一点P(x_c,y_c,z_c)，通过中心透视投影，在摄像机成像平面中投影为p(x,y)，光心到成像平面的距离为焦距f，则通过相似三角形容易得到：

将上述投影关系修正为：

对于一般的摄像机，通常取前三项泰勒系数k₁、k₂、k₃作为径向畸变参数，径向畸变可以由下式来表述：

用两个额外参数p₁、p₂来描述切向畸变，由下式来表示：

优选的，所述摄像机成像变换关系模型包括三个相关的坐标系：图像平面坐标系、摄像机坐标系和世界坐标系，以及它们之间的变换关系，其中图像平面坐标系包括图像平面的像素坐标系和图像平面的物理坐标系；三个坐标系的关系以及摄像机成像的变换过程：

(1)从世界坐标系到摄像机坐标系的变换

通过三维旋转和平移来实现，将旋转矩阵记作R；平移向量记作T，则场景中一点从世界坐标系到摄像机坐标系的变换可以由下式表示：

用齐次坐标表示为：

式中，平移向量T＝[t_x t_y t_z]^T，0＝[0 0 0]^T，旋转矩阵R是3×3的单位正交矩阵，该矩阵中的元素满足：

(2)从摄像机坐标系到无失真的理想图像平面的物理坐标系的变换，为理想的小孔成像，前面的式(2)给出了小孔成像模型的变换关系，用齐次式表示如下：

(3)在图像平面的物理坐标系下从理想图像坐标到实际图像坐标的变换：

在图像平面的物理坐标系下从理想图像坐标到实际图像坐标的变换实际上就是考虑到受镜头的畸变影响，而对图像的物理坐标进行修正的变换，由式(3)和(4)可得：

(4)从图像平面的物理坐标系到像素坐标系的变换

设成像晶片中每个像素单元在X轴与Y轴方向上的物理尺寸分别为d_x、d_y，则图像中一点从图像平面的物理坐标系到图像平面的像素坐标系的变换可以表示为：

用齐次坐标形式表示为：

以上四步，准确地描述了摄像机成像变换的所有过程，因此，如果不考虑畸变的影响，结合式(6)、式(8)、式(11)就可以得到三维场景中某物点P(x_w,y_w,z_w)与其在摄像机成像平面上的投影点P_u(x,y)之间的关系可表示为：

式中，

是客观场景中的物点P在世界坐标系下的齐次坐标；f_x＝f/d_x为摄像机焦距与X方向的像素物理尺寸的比值，单位为像素，f_y＝f/d_y为摄像机焦距与Y方向的像素物理尺寸的比值，单位为像素，这里f_x和f_y本质上是一样的，都是摄像机的焦距，只是由于像素单位在X方向和Y方向的物理尺寸不一样，导致以像素为单位的焦距在数值上有所差异；(u₀,v₀)为摄像机的主点；R为3×3的旋转矩阵；T为平移向量；M₁、M₂分别为摄像机内参数矩阵和外参数矩阵；由式(12)可知，内参数矩阵M₁描述的是摄像机本身的性质，主要包括摄像机的焦距f_x、f_y、主点在图像像素坐标系下的坐标(u₀,v₀)；外参数矩阵M₂由3×3的旋转矩阵R和三维的平移向量T组成，描述的是摄像机坐标系与世界坐标系的相对位置关系，外参数可以认为是12个，包括旋转矩阵R的9个参数，和平移向量T的3个参数，但旋转矩阵R是一个3×3单位正交矩阵，所以它只有三个独立变量，分别对应三个方向的旋转角，因此实际上外参数有6个，包括旋转矩阵的三个偏转角和平移向量的三个分量；M₃₄即为3×4的摄像机的投影矩阵；如果通过摄像机标定获得了摄像机的u₀、v₀、f_x、f_y、R、T等内外参数，就可得到M₁、M₂，也就得到了在无畸变的情况下摄像机的投影矩阵M₃₄；通过两个前向平行对准的双摄像机获得了三维场景中某物点对应的图像对，且在参考图像和待匹配图像上对应的像点坐标均已知，便可由两条射线唯一确定该物点的准确位置。

优选的，所述S2包括：对于单目摄像机而言，标定要获得该摄像机的4个内参数(u₀、v₀、f_x、f_y)，6个外参数(三个旋转角和三个平移分量)，以及畸变参数(k₁、k₂、k₃、p₁、p₂)；具体包括：

S21，摄像机参数求解

对单目摄像机而言，分三步进行：第一步，先在不考虑摄像机畸变的前提下，求解基于线性模型的内外参数；第二步，再利用最大似然估计对得到的解进行非线性修正；第三步，考虑各种畸变因素，通过非线性优化对结果进行修正；

S22，单目摄像机标定实现：首先在不考虑畸变影响的条件下，利用单应性矩阵，求解摄像机内外参数的理想值；进而以该理想值为初值，求得理想的单应性矩阵，获取像点的估计值，并建立最大似然估计的目标函数，对之前所求的结果进行优化；最后考虑畸变，继续以前面求取的结果为初值，建立带畸变参数的最大似然估计的目标函数，最终优化求得摄像机的内外参数及畸变参数

优选的，所述S21包括：

(1)单应性矩阵求解

平面靶目标上某点世界坐标记为P＝(x_w,y_w,z_w)^T，其在图像上的像点的像素坐标记为p＝(u,v)^T，相应的齐次坐标分别为

由式(12)可得，空间物点到图像像素点的映射关系为：

其中，s是任意的非零比例因子；假设该2D靶目标平面在世界坐标系下的xy平面上，即z＝0；如果把旋转矩阵R分解为3个3×1的向量(即R＝[r₁ r₂ r₃])，其中的一个向量就不需要了，具体如下：

靶目标平面上的点P与对应像点像素坐标之间存在一个3×3的变换矩阵H，这个矩阵即为单应性矩阵，单应性矩阵H直接把靶目标上点集的坐标与图像平面的点集的像素坐标联系；

将单应性矩阵H分解为三个3×1的列向量，则H＝[h₁ h₂ h₃]，由式(14)可知：

sH＝M₁·[r₁ r₂ T] (15)

将方程(15)分解得到：

旋转矩阵R是单位正交矩阵，向量r₁、r₂、r₃两两相互正交，向量正交包含两个含义：向量的点积为0，且向量长度相等，既满足：

将式(16)带入到式(17)中可得关于摄像机内参数的两个基本约束：

令

其中λ是常数比例因子，由式(11)可得：/>

重新排列B的元素得到一个6维的向量b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T，则有：

h_i ^TBh_j＝v_ij ^Tb (20)

其中，

式(18)的两个约束条件可以写成两个以b为未知数的齐次方程：

假设已经获得了该2D靶平面在不同位置下的N幅图像，那么就有N个这样的方程，将它们叠加起来便可得到：

加上一个附加条件[0 1 0 0 0 0]b＝0，通过对矩阵V进行奇异值分解(SVD)便可解出b，解出b后由(19)便可解出摄像机的内参数：

外参数可由单应性条件式(16)计算得到：

这里比例因子s由单位正交条件确定：

(2)最大似然估计

用最大似然估计对求得的结果进行优化；假设拍摄到N幅平面靶目标的图像，每幅图像有M个控制点，每个点都有独立同分布的噪声，建立如下的目标函数：

其中，p_ij是第i个2D靶目标图像中第j个控制点在图像上的像素坐标；P_ij是第i个靶目标图像中第j个控制点在的世界坐标；

则是通过己知初始值得到的第i个靶目标图像中第j个特征点在图像上的像素坐标的估计值。式(25)的非线性优化问题，可以利用LM优化算法求得目标函数最小值的稳定解；

(3)镜头畸变的修正

假设理想的针孔模型下的像点的像素坐标为p(u,v)，考虑畸变的像素坐标为p^*(u^*,v^*)，根据前面的畸变模型式(3)和(4)可得：

考虑到畸变模型，利用前面解得的摄像机内外参数，设畸变参数向量K_c＝(k_1,k₂,k₃,p₁,p₂)，将其均设置为0，作为初始值，采用最大似然估计，将前面的目标函数(25)修正为：

再次利用LM优化算法，进一步求解，获得摄像机的内外参数以及畸变参数。

优选的，所述S22，单目摄像机标定实现基于MATLAB的GUI编程实现对单摄像机参数的求解和标定，包括：

制作标定靶目标，获取靶目标的图像；

提取靶目标图像角点；

以及标定求解及结果分析。

优选的，所述S3双目系统立体标定与校正包括：

S31，建立对极几何模型，包括：

每台摄像机各自都有一个独立的投影中心，分别为O_l、O_r，直线O_lO_r的就是双目系统的基线；空间一点P在两摄像机成像平面的投影点分别为p_l、p_r，因此p_l、p_r一定位于由P、O_l、O_r确定的平面内，这个平面就称为极平面；基线分别与左、右像平面相交的交点e_l、e_r称为极点；而极平面分别与左、右像平面相交的交线l_l、l_r则称为极线；场景中某点在一台摄像机成像系统中的投影光线在另一台摄像成像平面内的投影即是该点的共轭极线；给定左图像中某一极线l_l上的一点，该点在右图像中的匹配点必定被限制在它的共轭极线l_r上。同理，右图像中某一极线l_r上的一点，该点在左图像中的匹配点也必定被限制在它的共轭极线l_l上；双目系统的立体标定与校正通过一系列几何处理将系统获取的图像对校正至平行对准；

S32，立体标定，用于获取两台摄像机之间的旋转矩阵R和平移向量T，包括：假如给定世界坐标系下的任意一点P，则分别用两台摄像机单目标定的结果来获得点P到左右摄像机的变换关系：

式中：p_l和p_r分别是点P在左、右摄像机坐标系下的坐标；R_l和R_r分别为左、右两台摄像机从各自坐标系到世界坐标系的旋转矩阵；T_l和T_r分别为左、右两台摄像机从各自坐标系到世界坐标系的平移向量；由于p_l和p_r实际上是同一个点在不同坐标系下的不同描述，因此，p_l和p_r可以通过等式p_l＝R(p_r-T)相关联，其中R和T也就是立体标定所要求解的旋转矩阵和平移向量可得：

单目摄像机标定之后按照式(30)对双目系统进行立体标定；

S33，立体校正包括：通过对双目图像进行重投影，可以使双目图像在数学意义上严格地平行对准，这样图像的Y轴方向完全对准，这个重投影过程就叫做立体校正；立体校正分为三步进行：获取左右图像对；畸变矫正和对准校正；利用标定获得的畸变参数，即可完成对摄像机畸变的校正；

所述对准校正包括：以基线方向为X轴，任意建立坐标系，在该坐标系下，图像在的Y轴方向都将是平行对齐的，将这个坐标系的三个基向量组合起来，构造一个旋转矩阵R_rect，通过该矩阵变换使双目图像在极线方向水平对准，所述旋转矩阵R_rect的计算过程如下：

首先以主点(u₀,v₀)作为左图像的原点，计算基线方向的单位向量；极点连线的方向其实也就是投影中心之间的平移向量方向：

下一个向量e₂则必须与e₁正交，选择同时与主光轴方向正交的单位向量；通过计算e₁和主光轴方向的叉积来获得，然后归一化得到：

第三个向量只需要与e₁和e₂都正交即可，因此只需要通过e₁和e₂叉积得到：

e₃＝e₂×e₁ (33)

因此，使双目图像在极线方向水平对准的矩阵R_rect如下：

R_rect＝[e₁ ^T e₂ ^T e₃ ^T]^T (34)

通过以上两步旋转，就可以使双目图像极线变成水平，且极点在无穷远处。两台摄像机的行对准就可以通过以下变换来实现：

此时的双目图像在数学意义上就是前向平行对准的。

本发明的第二方面提供一种基于双目视觉的火焰空间定位系统标定与校正系统包括：

模型建立模块，用于建立摄像机模型，所述摄像机模型包括摄像机的小孔成型模型和摄像机成像变换关系模型；

单目摄像机标定与校正模块，用于基于所述摄像机模型和2D平面靶标进行单目摄像机的标定与校正，所述单目摄像机的标定与校正包括摄像机参数求解和单目摄像机标定实现；

双目系统立体标定与校正系统，用于基于单目摄像机的标定与校正结果和对极几何原理对双目摄像机构成的双目系统进行立体标定与校正。

本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的方法。

本发明提供的方法、装置、电子设备以及计算机可读存储介质，具有如下有益的技术效果：

(1)在摄像机小孔成像原理的基础上，确定了摄像机线性成像模型中的坐标变换关系，同时分析了摄像机的畸变模型，确定了摄像机内参数矩阵、外参数矩阵和畸变参数的含义；解决基于2D平面靶目标的单目摄像机标定方法，利用MATLAB平台实现了对单目摄像机内外参数和畸变参数的标定；在对极几何原理的基础上，分析了双目立体视觉系统的立体标定方法，利用MATLAB平台获得了双摄像机之间的旋转矩阵和平移向量，最终通过立体校正将系统获取的双目图像对校正为数学意义上的前向平行对准。

(2)能够获取摄像机的内外参数；并且针对现实情况下不可能使双摄像机严格的平行对准的问题，立体标定与立体校正能够使系统采集到的双目图像对在数学意义上实现了平行对准。

附图说明

图1为根据本发明优选实施例示出的火焰空间定位系统结构图；

图2中的(a)和图2中的(b)分别为根据本发明优选实施例示出的摄像机畸变的径向畸变和切向畸变示意图；

图3为根据本发明优选实施例示出的摄像机成像模型中的相关坐标系及变换过程示意图；

图4为根据本发明优选实施例示出的图像坐标系示意图。

图5为根据本发明优选实施例示出的单目标定界面示意图；

图6为根据本发明优选实施例示出的标定靶目标示意图；

图7为根据本发明优选实施例示出的角点提取示意图，其中图7中的(a)为角点提取示意图，图7中的(b)为角点误差示意图；

图8为根据本发明优选实施例示出的单目摄像机标定结果，其中图8中的(a)为左摄像机与标定块的位置关系示意图；图8中的(b)为右摄像机与标定块的位置关系

图9为根据本发明优选实施例示出的对极几何示意图；

图10为根据本发明优选实施例示出的立体校正示意图；

图11为根据本发明优选实施例示出的双目摄像机标定结果示意图；

图12为根据本发明优选实施例示出的立体校正示意图；

图13为根据本发明优选实施例示出的立体校正结果示意图；

图14为本发明提供的电子设备一种实施例的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

摄像机的参数和配置模型是双目视觉实现空间定位的重要因素。一般情况下，厂家给出的摄像机参数并不是完全准确的；而且理想的双目视觉系统是前向平行对准配置的，然而这样的系统实际上是不可能做到的，这些问题就需要通过系统的标定与校正来完成。摄像机的参数描述了视场中的某点在空间中的位置与其在图像中的对应点之间的变换关系，一般来说，这些参数需要通过摄像机的标定才能得到，利用这些标定参数对双目图像进行一系列几何处理，使系统获取的双目图像对尽可能在数学意义上达到前向平行对准，这个过程叫做立体校正。

实施例一

基于双目视觉的火焰空间定位系统标定与校正方法，其中基于双目视觉的火焰空间定位系统包括：

图像获取单元，用于从不同视角同步获取火焰图像和/或视频，所述图像获取单元为两台视角不同的双目摄像机；以及

火焰三维信息获取单元，基于所述火焰图像和视频根据双目视觉原理求解火焰三维信息，从而实现火焰的空间定位；

所述标定与校正方法包括：

S1，建立摄像机模型，所述摄像机模型包括摄像机的小孔成型模型和摄像机成像变换关系模型；

S2，基于所述摄像机模型和2D平面靶标进行单目摄像机的标定与校正，所述单目摄像机的标定与校正包括摄像机参数求解和单目摄像机标定实现；

S3，基于单目摄像机的标定与校正结果和对极几何原理对双目摄像机构成的双目系统进行立体标定与校正。

作为优选的实施方式，所述摄像机的小孔成像模型包括：

摄像机的成像几何模型可以简化为小孔成像模型，如图1所示。

摄像机通过透镜将视场中的景物投影到其成像平面中，这种透镜成像过程与小孔成像类似，即像点落在物点到光心的射线与像平面的交点上，如图1所示，因此常用小孔成像模型来简化摄像机的成像过程。在小孔成像模型中，将光心当作一个小孔，假设光沿直线传播。设P为三维场景中的一点，根据光的直线传播理论，物点P的反射光经光心后，投影到成像平面，表现为一个倒立的像点p。显然，小孔成像模型主要由光心、光轴和像平面三部分组成。

在摄像机的小孔成像模型中，三维环境中的任意一点P(x_c,y_c,z_c)，通过中心透视投影，在摄像机成像平面中投影为p(x,y)，如图1所示，光心到成像平面的距离为焦距f，则通过相似三角形容易得到：

这里在摄像机前端，距离光心f处虚构一个平面，容易理解，被拍摄的物体在该成像平面的投影与原成像平面的投影应该是一致的，唯一不同的是该成像平面中的图像不再是倒立的，这样便可以将上述投影关系修正为：

但是现实中的摄像机在成像过程中并不是严格地遵循小孔成像模型，由于透镜自身的缘故，成像过程中会产生一系列的畸变，这些畸变是不可避免的，因此要得到三维空间中某点到摄像机成像平面的无歧义的变换关系，还必须矫正这些畸变带来的影响。根据产生畸变的机理不同，一般将摄像机的畸变主要分为两大类：径向畸变、切向畸变，分别如图2中的(a)和图2中的(b)所示：

径向畸变，主要由透镜本身的几何形状引起，如图2中的(a)所示。这一类畸变的特点是：畸变的大小关于镜头的主光轴成中心对称，在成像中心处的畸变为0，与成像中心的距离越远，畸变也越大。Brown对这类畸变建立了数学模型，即在成像中心r＝0处按泰勒级数展开来描述这类畸变。对于一般的摄像机，通常取前三项泰勒系数k₁、k₂、k₃作为径向畸变参数，因此，径向畸变可以由下式来表述：

切向畸变，不同于径向畸变，产生切向畸变主要原因是在镜头的制作过程中不能使透镜本身与图像平面严格平行，导致镜头各部件的光学中心不能严格的共线，如图2中的(b)所示。Brown同样对这类畸变也建立了数学模型，一般用两个额外参数p₁、p₂来描述。可以由下式来表示：

作为优选的实施方式，所述摄像机成像变换关系模型包括：

小孔成像模型简单的描述了摄像机的成像原理。但是，为了定量的描述摄像机的成像过程，这里有必要先介绍三个与之相关的坐标系：图像平面坐标系(包括图像平面的像素坐标系和图像平面的物理坐标系)、摄像机坐标系和世界坐标系，以及它们之间的变换关系。从现实客观场景中的某一点到数字图像中的某个像素的无歧义的变换过程可以简单的分解为四步，图3简单的描述了三个坐标系的关系以及摄像机成像的变换过程：

(1)从世界坐标系到摄像机坐标系的变换

一般情况下，摄像机和被拍摄物体的位置并不是固定不变的，不同的实验环境下，位置往往也不一样，这样就有必要在实验场景中选择一个基准坐标系来确定场景中的任意物体的空间位置，这个基准坐标系就叫做世界坐标系，如图3中的O_w-X_wY_wZ_w。而摄像机坐标系则一般是以摄像机的光心O_c为原点，光轴为Z_c轴，建立的坐标系，如图3中的O_c-X_cY_cZ_c。

事实上，从世界坐标系到摄像机坐标系的变换可以通过简单的三维旋转和平移来实现。由几何知识可知，任意的旋转都可以用一个矩阵来描述，这个矩阵就称为旋转矩阵，记作R；同样，任意的平移则可以用一个向量来描述，这个向量就称为平移向量，记作T，则场景中一点从世界坐标系到摄像机坐标系的变换可以由下式表示：

用齐次坐标表示为：

式中，平移向量T＝[t_x t_y t_z]^T，0＝[000]^T，旋转矩阵R是3×3的单位正交矩阵，该矩阵中的元素满足：

(2)从摄像机坐标系到无失真的理想图像平面的物理坐标系的变换

图像平面的物理坐标系是图像平面中的一个二维直角坐标系，它以图像的主点为原点，即光轴与像平面的交点O_i，X、Y轴分别与X_c、Y_c轴平行，容易看出O_iO_c的距离即为摄像机的焦距。由图3不难发现，从摄像机坐标系到无失真的理想图像平面物理坐标系的变换其实也就是理想的小孔成像，前面的式(2)给出了小孔成像模型的变换关系，用齐次式表示如下：

(3)在图像平面的物理坐标系下从理想图像坐标到实际图像坐标的变换

由前面的分析知道，由于受到摄像机畸变的影响，成像过程往往会产生一些偏移，而在图像平面的物理坐标系下从理想图像坐标到实际图像坐标的变换实际上就是考虑到受镜头的畸变影响，而对图像的物理坐标进行修正的变换，如图3中的从p(x,y)到p*(x*,y*)的变换，由式(3)和(4)可得：

(4)从图像平面的物理坐标系到像素坐标系的变换

摄像机采集的图像在计算机中一般以数组的形式储存，数组中的每一个单元即为一个像素。那么，可以在图像平面上定义一个二维直角坐标系，如图3中的UV坐标系，在该坐标系中每个像素的坐标就是该像素在图像数组中的行数和列数，这个坐标系就称为图像平面的像素坐标系。该坐标系以图像的左上角为坐标原点O，U轴和V轴分别与图像平面的物理坐标系的X轴和Y轴平行。

事实上，图像平面的物理坐标系和像素坐标系都是图像平面中的二维直角坐标系，不同的是前者以摄像机的光轴与成像平面的交点为原点，也称为主点，且以毫米为单位，而后者则以图像的左上角作为原点，且以像素为单位，如图4所示。

设成像晶片中每个像素单元在X轴与Y轴方向上的物理尺寸分别为d_x、d_y，则图像中一点从图像平面的物理坐标系到图像平面的像素坐标系的变换可以表示为：

用齐次坐标形式表示为：

以上四步，准确地描述了摄像机成像变换的所有过程，因此，如果不考虑畸变的影响，结合式(6)、式(8)、式(11)就可以得到三维场景中某物点P(x_w,y_w,z_w)与其在摄像机成像平面上的投影点P_u(x,y)之间的关系可表示为：

式中，

是客观场景中的物点P在世界坐标系下的齐次坐标；f_x＝f/d_x为摄像机焦距与X方向的像素物理尺寸的比值，单位为像素，f_y＝f/d_y为摄像机焦距与Y方向的像素物理尺寸的比值，单位为像素，这里f_x和f_y本质上是一样的，都是摄像机的焦距，只是由于像素单位在X方向和Y方向的物理尺寸不一样，导致以像素为单位的焦距在数值上有所差异；(u₀,v₀)为摄像机的主点；R为3×3的旋转矩阵；T为平移向量；M₁、M₂分别为摄像机内参数矩阵和外参数矩阵。由式(12)可知，内参数矩阵M₁描述的是摄像机本身的性质，主要包括摄像机的焦距f_x、f_y、主点在图像像素坐标系下的坐标(u₀,v₀)。外参数矩阵M₂由3×3的旋转矩阵R和三维的平移向量T组成，它们描述的是摄像机坐标系与世界坐标系的相对位置关系，外参数可以认为是12个，包括旋转矩阵R的9个参数，和平移向量T的3个参数，但旋转矩阵R是一个3×3单位正交矩阵，所以它只有三个独立变量，分别对应三个方向的旋转角，因此实际上外参数有6个，包括旋转矩阵的三个偏转角和平移向量的三个分量。M₃₄即为3×4的摄像机的投影矩阵。如果通过摄像机标定获得了摄像机的u₀、v₀、f_x、f_y、R、T等内外参数，就可得到M₁、M₂，也就得到了在无畸变的情况下摄像机的投影矩阵M₃₄。

对于场景中某点P，设其在世界坐标系下的坐标为P＝(x_w,y_w,z_w)^T，如果通过标定已经获得了投影矩阵M₃₄，由式(12)便可唯一确定P点在图像平面对应的坐标P_u＝(u,v)^T；但是反之却不成立，即如果已知像点的图像坐标P_u＝(u,v)^T，也不能唯一确定物点P。这是因为投影矩阵是一个3×4的不可逆矩阵。实际上，如果已知像点，可以解出一条空间直线方程，该直线即为摄像机的光心与物点P相连的一条射线。从图1可以看出其物理意义，当像点的图像坐标P_u＝(u,v)^T已知时，由小孔成像原理可以看出，所有位于射线OP上的物点，其图像都在P_u点。但是，如果通过两个前向平行对准的双摄像机获得了三维场景中某物点对应的图像对，且在参考图像和待匹配图像上对应的像点坐标均已知，便可由两条射线唯一确定该物点的准确位置。

上述摄像机模型为线性模型，但是实际上，摄像机不可避免的存在一些畸变，因此实际的摄像机标定往往还需要获得摄像机的畸变参数，以此对摄像机的线性成像模型进行一定的修正。

作为优选的实施方式，所述S2包括：

如上所述，对于单目摄像机而言，标定实际上就是要获得该摄像机的4个内参数(u₀、v₀、f_x、f_y)，6个外参数(三个旋转角和三个平移分量)，以及畸变参数(k₁、k₂、k₃、p₁、p₂)。

经典的摄像机标定方法中，一般需要将一个特制的标定参照物(如国际象棋棋盘平面，或立体标定块等)放置在摄像机的视场内，用摄像机在不同视角下获取该参照物的多幅图像，再经过数学变换和优化计算，求取摄像机的内外参数。这里就基于2D平面靶目标的标定方法进行分析。

具体包括：

S21，摄像机参数求解

对单目摄像机而言，整个标定过程大致可分三步进行：第一步，先在不考虑摄像机畸变的前提下，求解基于线性模型的内外参数；第二步，再利用最大似然估计对得到的解进行非线性修正；第三步，考虑各种畸变因素，通过非线性优化对结果进行修正。过程如下：

(1)单应性矩阵求解

平面靶目标上某点世界坐标记为P＝(x_w,y_w,z_w)^T，其在图像上的像点的像素坐标记为p＝(u,v)^T，相应的齐次坐标分别为

由式(12)可得，空间物点到图像像素点的映射关系为：/>

其中，s是任意的非零比例因子。为简化计算，可以假设该2D靶目标平面在世界坐标系下的xy平面上，即z＝0。这样的话，如果把旋转矩阵R分解为3个3×1的向量(即R＝[r₁r₂ r₃])，其中的一个向量就不需要了，具体如下：

这样靶目标平面上的点P与对应像点像素坐标之间存在一个3×3的变换矩阵H，这个矩阵即为单应性矩阵，单应性矩阵H直接把靶目标上点集的坐标与图像平面的点集的像素坐标联系起来。

将单应性矩阵H分解为三个3×1的列向量，则H＝[h₁ h₂ h₃]，由式(14)可知：

sH＝M₁·[r₁ r₂ T] (15)

将方程(15)分解得到：

由前面的分析可知，旋转矩阵R是单位正交矩阵，因此，向量r₁、r₂、r₃应该两两相互正交，向量正交包含两个含义：向量的点积为0，且向量长度相等，既满足：

将式(16)带入到式(17)中可得关于摄像机内参数的两个基本约束：

为了方便，这里令

其中λ是常数比例因子，由式(11)可得：

可以看出B为对称矩阵，因此可以重新排列B的元素得到一个6维的向量b＝[B₁₁B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T，则有：

h_i ^TBh_j＝v_ij ^Tb (20)

其中，

这样，式(18)的两个约束条件就可以写成两个以b为未知数的齐次方程：

假设已经获得了该2D靶平面在不同位置下的N幅图像，那么就有N个这样的方程，将它们叠加起来便可得到：

Vb＝0 (22)

这里，V是一个2N×6的矩阵。因此，如果N≥3，可以得到唯一的确定解b；如果N＝2，考虑到B₁₂＝0，这就为方程提供了一个附加约束，因此，可以加上一个附加条件[0 1 0 0 00]b＝0，通过对矩阵V进行奇异值分解(SVD)便可解出b，解出b后由(19)便可解出摄像机的内参数：

外参数可由单应性条件式(16)计算得到：

这里比例因子s由单位正交条件确定：

以上分析求解单应性矩阵的方法，这里假设有N幅平面靶目标的图像，每幅图像有M个控制点，需要求解的独立参数有：4个内参数和6N个外参数，而此时独立的方程有2MN个，根据简单的代数知识可以知道，方程有解的前提是：2MN≥6N+4，也就是：N(M-3)≥2，因此求解该方程，最少需要2幅4个控制点的平面靶目标的图像。

(2)最大似然估计

上面求解摄像机内外参数的方法是基于线性方程确定解的，但这在物理上没有什么意义，因此还需要用最大似然估计对求得的结果进行优化。假设拍摄到N幅平面靶目标的图像，每幅图像有M个控制点，每个点都有独立同分布的噪声，建立如下的目标函数：

其中，p_ij是第i个2D靶目标图像中第j个控制点在图像上的像素坐标；P_ij是第i个靶目标图像中第j个控制点在的世界坐标；

则是通过己知初始值得到的第i个靶目标图像中第j个特征点在图像上的像素坐标的估计值。式(25)是一个经典的非线性优化问题，可以利用LM优化算法求得目标函数最小值的稳定解。

(3)镜头畸变的修正

前面的求解过程，是在假定没有畸变的条件下进行的，但是摄像机的畸变是不可避免的，因而还需要对畸变进行修正。

由于畸变，图像上的得到的像素点是不真实的。假设理想的针孔模型下的像点的像素坐标为p(u,v)，考虑畸变的像素坐标为p^*(u^*,v^*)，根据前面的畸变模型式(3)和(4)可得：

考虑到畸变模型，利用前面解得的摄像机内外参数，设畸变参数向量K_c＝(k₁,k₂,k₃,p₁,p₂)，将其均设置为0，作为初始值，采用最大似然估计，将前面的目标函数(25)修正为：

再次利用LM优化算法，进一步求解，获得摄像机的内外参数以及畸变参数。

S22，单目摄像机标定实现

根据前面的分析可知，单目摄像机标定的整体思路：首先在不考虑畸变影响的条件下，利用单应性矩阵，求解摄像机内外参数的理想值；进而以该理想值为初值，求得理想的单应性矩阵，获取像点的估计值，并建立最大似然估计的目标函数，对之前所求的结果进行优化；最后考虑畸变，继续以前面求取的结果为初值，建立带畸变参数的最大似然估计的目标函数，最终优化求得摄像机的内外参数及畸变参数。因此，对单目摄像机进行标定主要分三步：获取靶目标图像、提取特征点、标定求解。本文利用MATLAB的GUI编程实现对单摄像机参数的求解和标定，如图5所示：

1、制作标定靶目标，获取靶目标的图像

理论上，任何规则的物体都可以用作标定的靶目标，但实际上一般都选用如国际象棋棋盘这样的规则模板，这种棋盘的黑白方块交替排列的模式，角点特征比较明显，可以让程序更准确的找到亚像素角点。由前面的分析可知，系统至少需要获取2幅4个控制点的平面靶目标的图像。实验中采用6×9(内角点数)的黑白棋盘方格模板作为标定靶目标，每个方格大小为26mm×26mm，如图6所示，打印并粘贴在刚性物体上。利用平行配置好的双目系统，获取靶目标在不同位置下的左右图像各12幅。

2、提取靶目标图像角点

在棋盘图像上按一定顺序手动选取某个方形区域上的四个角点，选取第一个角点为坐标原点，以垂直模板平面向外为Z_w轴正方向，根据右手系确定X_w轴和Y_w轴，建立世界坐标系，然后利用MATLAB工具在该方形区域内自动检测和提取所有角点坐标。

分别对左右摄像机获得的12棋盘图像进行角点提取，如图7，图7中的(a)显示了角点提取的结果以及世界坐标系的建立；图7中的(b)显示了角点提取结果的误差分布，其中每种颜色代表一幅图像中角点坐标的误差情况，可以看出角点提取的误差基本控制在0.5个像素单位以内。

3、标定求解及结果分析

提取到角点坐标数据，根据上一节的分析，利用MATLAB平台求解左右摄像机的内外参数和畸变参数，这里用焦距为6mm的摄像机进行标定实验，得到结果如表1所示：

表1单目摄像机标定结果

由表1给出的内参都是以像素为单位的，图像中单位像素的物理尺寸d_x，d_y由摄像机成像晶片决定，本实施例中所选摄像机的图像传感器为1/4标准尺寸的成像晶片(3.2mm×2.4mm)，有效像素为640(H)×480(V)，因此有：

由此可得左摄像机焦距

右摄像机焦距/>

与参考焦距6.000mm很接近，误差在1.0％以内。如果以图像中心坐标(u,v)＝(320,240)为主点的参考坐标，左摄像机主点位置坐标为(u₀,v₀)＝(331.44,250.97)，右摄像机主点位置坐标为(u₀,v₀)＝(366.40,230.82)，与参考主点的位置相差也不大。标定结果较为理想。

作为优选的实施方式，所述S3双目系统立体标定与校正

S31，对极几何

在双目视觉系统中，一个很重要的几何关系，就是对极几何，它描述了空间中两台任意放置的摄像机构成的成像系统的几何关系。如图9，每台摄像机各自都有一个独立的投影中心，分别为O_l、O_r，直线O_lO_r的就是双目系统的基线；空间一点P在两摄像机成像平面的投影点分别为p_l、p_r，因此p_l、p_r一定位于由P、O_l、O_r确定的平面内，这个平面就称为极平面；基线分别与左、右像平面相交的交点e_l、e_r称为极点；而极平面分别与左、右像平面相交的交线l_l、l_r则称为极线。场景中某点在一台摄像机成像系统中的投影光线在另一台摄像成像平面内的投影即是该点的共轭极线。因此，若给定左图像中某一极线l_l上的一点，该点在右图像中的匹配点必定被限制在它的共轭极线l_r上。同理，右图像中某一极线l_r上的一点，该点在左图像中的匹配点也必定被限制在它的共轭极线l_l上。这就是极线约束条件。

理想的前向平行对准的双目模型就是使基线与水平轴重合、两台摄像机的光轴平行，这时极点将消失，且极线将重合，如图10所示。

这样的布局可以有效地消除图像对的对应点间在Y轴方向上的视差，这样在匹配搜索时，只需要在另一幅图像的水平扫描线上进行搜索，从而大大减少了匹配搜索的难度。此时，两个投影中心在对方图像中的投影，也就是极点，可以看作位于无穷远处，因此对应点所在的极线都可以看作是与基线O_lO_r和X轴平行。但实际上，两个相机的成像平面通常并不在同一个平面上，而且它们的内、外部参数也不完全相同，所以相应的极线并不平行。而双目系统的立体标定与校正就是通过一系列几何处理将系统获取的图像对校正至平行对准。

S32，立体标定

简单的说，立体标定的目的就在于获取两台摄像机之间的旋转矩阵R和平移向量T。假如给定世界坐标系下的任意一点P，则可以分别用两台摄像机单目标定的结果来获得点P到左右摄像机的变换关系：

式中：p_l和p_r分别是点P在左、右摄像机坐标系下的坐标；R_l和R_r分别为左、右两台摄像机从各自坐标系到世界坐标系的旋转矩阵；T_l和T_r分别为左、右两台摄像机从各自坐标系到世界坐标系的平移向量；由于pl和p_r实际上是同一个点在不同坐标系下的不同描述，因此，p_l和p_r可以通过等式p_l＝R(p_r-T)相关联，其中R和T也就是立体标定所要求解的旋转矩阵和平移向量。经过简单的推导可得：

单目摄像机标定之后即可按照式(30)对双目系统进行立体标定。单目标定时，靶目标的位置每变换一次就可以解得一组摄像机的外参数：R_l、R_r和T_l、T_r。根据式(30)便可得到一组R和T，将获得的多组R和T(本实施例取12组)取平均值，该平均值就可以作为最终的标定结果。本系统立体标定结果见表2和图11，实验中实测基线距离为205mm。

表2双目摄像机标定结果

双目标定结果立体显示如图11双目摄像机标定结果所示。

S33，立体校正

由对极几何可知，当两个摄像机成理想的前向平行对准布置时，可以有效地消除图像对应点间在Y轴方向上的视差，可以大大的简化计算的复杂程度。正如前面所说，理想的前向平行对准现实中根本就做不到，但是通过对双目图像进行重投影，可以使双目图像在数学意义上严格地平行对准，这样图像的Y轴方向完全对准，这个重投影过程就叫做立体校正，如图12所示。

由图12可知，立体校正主要分为三步：获取左右图像对；畸变矫正；对准校正。根据前面分析的畸变模型，利用标定获得的畸变参数，即可完成对摄像机畸变的矫正，这里重点分析一下对准校正的过程。其主要思想就是：假设通过立体标定已经获得了双目摄像机的旋转矩阵R和平移向量T，将旋转矩阵R分为两部分，记作r₁和r₂，通过r₁和r₂，将两台摄像机分别旋转一半。通过这样的处理，可以实现双摄像机像平面共面，但是Y轴方向还没有对准。由图10，如果以基线方向为X轴，任意建立坐标系，在该坐标系下，图像在的Y轴方向都将是平行对齐的，那么将这个坐标系的三个基向量组合起来，构造一个旋转矩阵R_rect，通过该矩阵变换，就将使双目图像在极线方向水平对准。旋转矩阵R_rect的计算过程如下：

首先以主点(u₀,v₀)作为左图像的原点，计算基线方向的单位向量。由对极几何容易知道，极点连线的方向其实也就是投影中心之间的平移向量方向：

下一个向量e₂则必须与e₁正交，没有其他限制。但是，为了方便计算，可以选择同时与主光轴方向正交的单位向量。这样就可以通过计算e₁和主光轴方向的叉积来获得，然后归一化得到：

第三个向量只需要与e₁和e₂都正交即可，因此只需要通过e₁和e₂叉积得到：

e₃＝e₂×e₁ (33)

因此，使双目图像在极线方向水平对准的矩阵R_rect如下：

R_rect＝[e₁ ^T e₂ ^T e₃ ^T]^T (34)

通过以上两步旋转，就可以使双目图像极线变成水平，且极点在无穷远处。这样，两台摄像机的行对准就可以通过以下变换来实现：

此时的双目图像在数学意义上就是前向平行对准的。校正结果如图13所示。

对校正后的图像对再次进行立体标定，校正后的标定结果见表3：

表3立体校正后的立体标定结果

理想的平行对准的双目系统的旋转矩阵R应该为对角线元素为1其他元素为0的单位矩阵，平移向量T在X轴方向的分量t_x应为基线距离b，而在Y、Z轴方向分量均为0。具体如下：

这里基线距离b＝205mm，对比校正前后的标定结果和图13发现，经过立体校正，双目图像对已基本实现理想的平行对准。

实施例二

一种基于双目视觉的火焰空间定位系统标定与校正系统包括：

模型建立模块，用于建立摄像机模型，所述摄像机模型包括摄像机的小孔成型模型和摄像机成像变换关系模型；

单目摄像机标定与校正模块，用于基于所述摄像机模型和2D平面靶标进行单目摄像机的标定与校正，所述单目摄像机的标定与校正包括摄像机参数求解和单目摄像机标定实现；

双目系统立体标定与校正系统，用于基于单目摄像机的标定与校正结果和对极几何原理对双目摄像机构成的双目系统进行立体标定与校正。

本发明还提供了一种存储器，存储有多条指令，所述指令用于实现如实施例一所述的方法。

如图6所示，本发明还提供了一种电子设备，包括处理器301和与所述处理器301连接的存储器302，所述存储器302存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如实施例一所述的方法。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.基于双目视觉的火焰空间定位系统标定与校正方法，其特征在于，其中基于双目视觉的火焰空间定位系统包括：

图像获取单元，用于从不同视角同步获取火焰图像和/或视频，所述图像获取单元为两台视角不同的双目摄像机；以及

火焰三维信息获取单元，基于所述火焰图像和/或视频根据双目视觉原理求解火焰三维信息，从而实现火焰的空间定位；

所述标定与校正方法包括：

S1，建立摄像机模型，所述摄像机模型包括摄像机的小孔成型模型和摄像机成像变换关系模型；

S2，基于所述摄像机模型和2D平面靶标进行单目摄像机的标定与校正，所述单目摄像机的标定与校正包括摄像机参数求解和单目摄像机标定实现；

S3，基于单目摄像机的标定与校正结果和对极几何原理对双目摄像机构成的双目系统进行立体标定与校正；

所述摄像机的小孔成像模型包括：在摄像机的小孔成像模型中，三维环境中的任意一点P(x_c,y_c,z_c)，通过中心透视投影，在摄像机成像平面中投影为p(x,y)，光心到成像平面的距离为焦距f，则通过相似三角形容易得到：

将上述投影关系修正为：

对于一般的摄像机，通常取前三项泰勒系数k₁、k₂、k₃作为径向畸变参数，径向畸变可以由下式来表述：

用两个额外参数p₁、p₂来描述切向畸变，由下式来表示：

所述摄像机成像变换关系模型包括三个相关的坐标系：图像平面坐标系、摄像机坐标系和世界坐标系，以及它们之间的变换关系，其中图像平面坐标系包括图像平面的像素坐标系和图像平面的物理坐标系；三个坐标系的关系以及摄像机成像的变换过程：

(1)从世界坐标系到摄像机坐标系的变换

通过三维旋转和平移来实现，将旋转矩阵记作R；平移向量记作T，则场景中一点从世界坐标系到摄像机坐标系的变换可以由下式表示：

用齐次坐标表示为：

式中，平移向量T＝[t_x t_y t_z]^T，0＝[000]^T，旋转矩阵R是3×3的单位正交矩阵，该矩阵中的元素满足：

(2)从摄像机坐标系到无失真的理想图像平面的物理坐标系的变换，为理想的小孔成像，前面的式(2)给出了小孔成像模型的变换关系，用齐次式表示如下：

(3)在图像平面的物理坐标系下从理想图像坐标到实际图像坐标的变换：在图像平面的物理坐标系下从理想图像坐标到实际图像坐标的变换实际上就是考虑到受镜头的畸变影响，而对图像的物理坐标进行修正的变换，由式(3)和(4)可得：

(4)从图像平面的物理坐标系到像素坐标系的变换

设成像晶片中每个像素单元在X轴与Y轴方向上的物理尺寸分别为d_x、d_y，则图像中一点从图像平面的物理坐标系到图像平面的像素坐标系的变换可以表示为：

用齐次坐标形式表示为：

如果不考虑畸变的影响，结合式(6)、式(8)、式(11)就可以得到三维场景中某物点P(x_w,y_w,z_w)与其在摄像机成像平面上的投影点P_u(x,y)之间的关系可表示为：

式中，

是客观场景中的物点P在世界坐标系下的齐次坐标；f_x＝f/d_x为摄像机焦距与X方向的像素物理尺寸的比值，单位为像素，f_y＝f/d_y为摄像机焦距与Y方向的像素物理尺寸的比值，单位为像素，这里f_x和f_y本质上是一样的，都是摄像机的焦距，只是由于像素单位在X方向和Y方向的物理尺寸不一样，导致以像素为单位的焦距在数值上有所差异；(u₀,v₀)为摄像机的主点；R为3×3的旋转矩阵；T为平移向量；M₁、M₂分别为摄像机内参数矩阵和外参数矩阵；由式(12)可知，内参数矩阵M₁描述的是摄像机本身的性质，主要包括摄像机的焦距f_x、f_y、主点在图像像素坐标系下的坐标(u₀,v₀)；外参数矩阵M₂由3×3的旋转矩阵R和三维的平移向量T组成，描述的是摄像机坐标系与世界坐标系的相对位置关系，外参数可以认为是12个，包括旋转矩阵R的9个参数，和平移向量T的3个参数，但旋转矩阵R是一个3×3单位正交矩阵，所以它只有三个独立变量，分别对应三个方向的旋转角，因此实际上外参数有6个，包括旋转矩阵的三个偏转角和平移向量的三个分量；M₃₄即为3×4的摄像机的投影矩阵；如果通过摄像机标定获得了摄像机的u₀、v₀、f_x、f_y、R、T等内外参数，就可得到M₁、M₂，也就得到了在无畸变的情况下摄像机的投影矩阵M₃₄；通过两个前向平行对准的双摄像机获得了三维场景中某物点对应的图像对，且在参考图像和待匹配图像上对应的像点坐标均已知，便可由两条射线唯一确定该物点的准确位置；

所述S2包括：对于单目摄像机而言，标定要获得该摄像机的4个内参数(u₀、v₀、f_x、f_y)，6个外参数(三个旋转角和三个平移分量)，以及畸变参数(k₁、k₂、k₃、p₁、p₂)；具体包括：

S21，摄像机参数求解

对单目摄像机而言，分三步进行：第一步，先在不考虑摄像机畸变的前提下，求解基于线性模型的内外参数；第二步，再利用最大似然估计对得到的解进行非线性修正；第三步，考虑各种畸变因素，通过非线性优化对结果进行修正；

S22，单目摄像机标定实现：首先在不考虑畸变影响的条件下，利用单应性矩阵，求解摄像机内外参数的理想值；进而以该理想值为初值，求得理想的单应性矩阵，获取像点的估计值，并建立最大似然估计的目标函数，对之前所求的结果进行优化；最后考虑畸变，继续以前面求取的结果为初值，建立带畸变参数的最大似然估计的目标函数，最终优化求得摄像机的内外参数及畸变参数；

所述S21包括：

(1)单应性矩阵求解

平面靶目标上某点世界坐标记为P＝(x_w,y_w,z_w)^T，其在图像上的像点的像素坐标记为p＝(u,v)^T，相应的齐次坐标分别为

由式(12)可得，空间物点到图像像素点的映射关系为：

其中，s是任意的非零比例因子；假设该2D靶目标平面在世界坐标系下的xy平面上，即z＝0；如果把旋转矩阵R分解为3个3×1的向量，即R＝[r₁r₂r₃])，其中的一个向量就不需要了，具体如下：

靶目标平面上的点P与对应像点像素坐标之间存在一个3×3的变换矩阵H，这个矩阵即为单应性矩阵，单应性矩阵H直接把靶目标上点集的坐标与图像平面的点集的像素坐标联系；

将单应性矩阵H分解为三个3×1的列向量，则H＝[h₁ h₂ h₃]，由式(14)可知：sH＝M₁·[r₁ r₂ T] (15)

将方程(15)分解得到：

/>

旋转矩阵R是单位正交矩阵，向量r₁、r₂、r₃两两相互正交，向量正交包含两个含义：向量的点积为0，且向量长度相等，既满足：

将式(16)带入到式(17)中可得关于摄像机内参数的两个基本约束：

令

其中λ是常数比例因子，由式(11)可得：

重新排列B的元素得到一个6维的向量b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T，则有：h_i ^TBh_j＝v_ij ^Tb(20)

其中，

式(18)的两个约束条件可以写成两个以b为未知数的齐次方程：

假设已经获得了该2D靶平面在不同位置下的N幅图像，那么就有N个这样的方程，将它们叠加起来便可得到：

加上一个附加条件[010000]b＝0，通过对矩阵V进行奇异值分解便可解出b，解出b后由(19)便可解出摄像机的内参数：

外参数可由单应性条件式(16)计算得到：

这里比例因子s由单位正交条件确定：

(2)最大似然估计

用最大似然估计对求得的结果进行优化；假设拍摄到N幅平面靶目标的图像，每幅图像有M个控制点，每个点都有独立同分布的噪声，建立如下的目标函数：

其中，p_ij是第i个2D靶目标图像中第j个控制点在图像上的像素坐标；P_ij是第i个靶目标图像中第j个控制点在的世界坐标；

则是通过己知初始值得到的第i个靶目标图像中第j个特征点在图像上的像素坐标的估计值；式(25)的非线性优化问题，可以利用LM优化算法求得目标函数最小值的稳定解；

(3)镜头畸变的修正

假设理想的针孔模型下的像点的像素坐标为p(u,v)，考虑畸变的像素坐标为p^*(u^*,v^*)，根据前面的畸变模型式(3)和(4)可得：

考虑到畸变模型，利用前面解得的摄像机内外参数，设畸变参数向量K_c＝

(k₁,k₂,k₃,p₁,p₂)，将其均设置为0，作为初始值，采用最大似然估计，将前面的目标函数(25)修正为：

再次利用LM优化算法，进一步求解，获得摄像机的内外参数以及畸变参数；

所述S3双目系统立体标定与校正包括：

S31，建立对极几何模型，包括：

每台摄像机各自都有一个独立的投影中心，分别为O_l、O_r，直线O_lO_r的就是双目系统的基线；空间一点P在两摄像机成像平面的投影点分别为p_l、p_r，因此p_l、p_r一定位于由P、O_l、O_r确定的平面内，这个平面就称为极平面；基线分别与左、右像平面相交的交点e_l、e_r称为极点；而极平面分别与左、右像平面相交的交线l_l、l_r则称为极线；场景中某点在一台摄像机成像系统中的投影光线在另一台摄像成像平面内的投影即是该点的共轭极线；给定左图像中某一极线l_l上的一点，该点在右图像中的匹配点必定被限制在它的共轭极线l_r上；同理，右图像中某一极线l_r上的一点，该点在左图像中的匹配点也必定被限制在它的共轭极线l_l上；双目系统的立体标定与校正通过一系列几何处理将系统获取的图像对校正至平行对准；

S32，立体标定，用于获取两台摄像机之间的旋转矩阵R和平移向量T，包括：假如给定世界坐标系下的任意一点P，则分别用两台摄像机单目标定的结果来获得点P到左右摄像机的变换关系：

式中：p_l和p_r分别是点P在左、右摄像机坐标系下的坐标；R_l和R_r分别为左、右两台摄像机从各自坐标系到世界坐标系的旋转矩阵；T_l和T_r分别为左、右两台摄像机从各自坐标系到世界坐标系的平移向量；由于p_l和p_r实际上是同一个点在不同坐标系下的不同描述，因此，p_l和p_r可以通过等式p_l＝R(p_r-T)相关联，其中R和T也就是立体标定所要求解的旋转矩阵和平移向量可得：

单目摄像机标定之后按照式(30)对双目系统进行立体标定；

S33，立体校正包括：通过对双目图像进行重投影，可以使双目图像在数学意义上严格地平行对准，这样图像的Y轴方向完全对准，这个重投影过程就叫做立体校正；立体校正分为三步进行：获取左右图像对；畸变矫正和对准校正；利用标定获得的畸变参数，即可完成对摄像机畸变的校正；

所述对准校正包括：以基线方向为X轴，任意建立坐标系，在该坐标系下，图像在的Y轴方向都将是平行对齐的，将这个坐标系的三个基向量组合起来，构造一个旋转矩阵R_rect，通过该矩阵变换使双目图像在极线方向水平对准，所述旋转矩阵R_rect的计算过程如下：

首先以主点(u₀,v₀)作为左图像的原点，计算基线方向的单位向量；极点连线的方向其实也就是投影中心之间的平移向量方向：

下一个向量e₂则必须与e₁正交，选择同时与主光轴方向正交的单位向量；通过计算e₁和主光轴方向的叉积来获得，然后归一化得到：

第三个向量只需要与e₁和e₂都正交即可，因此只需要通过e₁和e₂叉积得到：

e₃＝e₂×e₁(33)

因此，使双目图像在极线方向水平对准的矩阵R_rect如下：

R_rect＝[e₁ ^Te₂ ^Te₃ ^T]^T(34)

通过公式(33)和公式(34)的两步旋转，就可以使双目图像极线变成水平，且极点在无穷远处；两台摄像机的行对准就可以通过以下变换来实现：

此时的双目图像在数学意义上就是前向平行对准的。

2.根据权利要求1所述的基于双目视觉的火焰空间定位系统标定与校正方法，其特征在于，所述S22，单目摄像机标定实现基于MATLAB的GUI编程实现对单摄像机参数的求解和标定，包括：

制作标定靶目标，获取靶目标的图像；

提取靶目标图像角点；

以及标定求解及结果分析。

3.一种基于双目视觉的火焰空间定位系统标定与校正系统，用于实施权利要求1-2任一所述的方法，其特征在于，包括：

模型建立模块，用于建立摄像机模型，所述摄像机模型包括摄像机的小孔成型模型和摄像机成像变换关系模型；

单目摄像机标定与校正模块，用于基于所述摄像机模型和2D平面靶标进行单目摄像机的标定与校正，所述单目摄像机的标定与校正包括摄像机参数求解和单目摄像机标定实现；

双目系统立体标定与校正系统，用于基于单目摄像机的标定与校正结果和对极几何原理对双目摄像机构成的双目系统进行立体标定与校正。

4.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如权利要求1-2任一所述的方法。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如权利要求1-2任一所述的方法。

Images