CN103761732B - 一种可见光与热红外融合的立体成像装置及其标定方法 - Google Patents

Abstract

本发明适用于计算机视觉及热红外成像技术领域，提供了一种可见光与热红外融合的立体成像装置及其标定方法。所述可见光与热红外融合的立体成像装置包括双相机云台、用以支撑所述双相机云台的支架以及置于所述双相机云台的可见光相机和热红外相机。所述标定方法包括以下步骤：对可见光相机的内参数和畸变参数进行标定；对热红外相机的内参数和畸变参数进行标定；对所述可见光相机与热红外相机之间的相对旋转和平移进行标定。该装置结构简单，易于标定，满足立体热环境研究及应用需求。

Description

一种可见光与热红外融合的立体成像装置及其标定方法

技术领域

本发明属于计算机视觉及热红外成像技术领域，尤其涉及一种可见光与热红外融合的立体成像装置及其标定方法。

背景技术

随着热红外成像设备的普及以及城市热环境研究的深入，普通的热红外平面成像已经满足不了城市立体（三维）热环境的研究需求。

发明内容

本发明实施例的目的在于提供一种可见光与热红外融合的立体成像装置并对其进行标定的方法。

本发明实施例是这样实现的，一种可见光与热红外融合的立体成像装置，包括双相机云台、用以支撑所述双相机云台的支架以及置于所述双相机云台的可见光相机和热红外相机。

本发明实施例的另一目的在于提供一种对上述立体成像装置进行标定的方法，所述方法包括以下步骤：

对可见光相机的内参数和畸变参数进行标定；

对热红外相机的内参数和畸变参数进行标定；

对所述可见光相机与热红外相机之间的相对旋转和平移进行标定。

本发明实施例主要由双相机云台、用以支撑所述双相机云台的支架以及置于所述双相机云台的可见光相机和热红外相机构成用以同时获取空间三维点的可见光图像位置及与之对应的温度的立体成像装置，该装置结构简单，易于标定，满足立体热环境研究及应用需求。

附图说明

图1是本发明实施例提供的可见光与热红外融合的立体成像装置的结构示意图；

图2是本发明实施例提供的可见光与热红外融合的立体成像装置的成像原理图；

图3是本发明实施例提供的标定板的结构示意图；

图4是图3所示标定板坐标系的定义图；

图5是本发明实施例提供的标定方法的原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例主要由双相机云台、用以支撑所述双相机云台的支架以及置于所述双相机云台的可见光相机和热红外相机构成用以同时获取空间三维点的可见光图像位置及与之对应的温度的立体成像装置，该装置结构简单，易于标定，满足立体热环境研究及应用需求。

以下结合具体实施例对本发明提供的可见光与热红外融合的立体成像装置及其标定方法进行详细描述。

如图1所示，所述可见光与热红外融合的立体成像装置包括可见光相机1、热红外相机2以及固定二者用的双相机云台3和支架4（如三脚架），所述可见光相机1与热红外相机2由遥控器控制，使其中一个相机单独或两个相机同时曝光。所述可见光-热红外立体成像装置的目的在于同时获得空间三维点的可见光图像位置以及与之对应的温度，具体成像过程（步骤）如下：

（1）对于空间点P，其三维世界坐标为(x_w,y_w,z_w)^T，利用可见光相机的外参数[R_c t_c]，其中R_c为旋转矩阵，t_c为平移量，根据公式(1)获得点P在可见光相机坐标系下的坐标P_c(x_c,y_c,z_c)^T。

$P_c=\left(\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right){=R}_c*\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)+t_c=R_c*P_w+t_c---\left(1\right)$

（2）根据可见光相机的内参数矩阵K_c和畸变参数k_c1,k_c2,p_c1,p_c2，以及公式(2)-(5)获得点P在可见光相机成像的图像坐标I_c(u_c,v_c)^T。

$x_n=\left(\begin{array}{c}\frac{x_c}{z_c}\\ \frac{y_c}{z_c}\end{array}\right)=\left(\begin{array}{c}{u}_{\mathrm{cn}}\\ v_{\mathrm{cn}}\end{array}\right),r^2={u_{\mathrm{cn}}}^2+{v_{\mathrm{cn}}}^2---\left(2\right)$

$d_x=\left(\begin{array}{c}2p_{c1}\mathrm{xy}+p_{c2}\left(r^2\text{+2}{x}^2\right)\\ p_{c1}(r^2+2y^2)+2p_{c2}\mathrm{xy}\end{array}\right)---\left(3\right)$

x_d=(1+p_c1r²+p_c2r⁴)x_n+d_x (4)

$\mathrm{\λ}\left(\begin{array}{c}{I}_c\\ 1\end{array}\right)=\mathrm{\λ}\left(\begin{array}{c}{u}_c\\ v_c\\ 1\end{array}\right)=K_c*\left(\begin{array}{c}{x}_d\\ 1\end{array}\right)---\left(5\right)$

其中，λ为尺度因子，f_cu,f_cv,u_c0,v_c0分别为可见光相机的横纵焦距和主点的图像坐标。

（3）利用可见光相机与热红外相机之间的旋转与平移R_tc，t_tc，根据公式(6)获得点P在热红外相机坐标系下的坐标P_t（x_t,y_t,z_t）^T。

$P_t=\left(\begin{array}{c}{x}_t\\ y_t\\ z_t\end{array}\right){=R}_{\mathrm{tc}}*\left(\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right)+t_{\mathrm{tc}}=R_c*P_{\mathrm{tc}}+t_{\mathrm{tc}}---\left(6\right)$

（4）根据热红外相机的内参数矩阵K_t和畸变参数k_t1,k_t2,p_t1,p_t2，并结合步骤（2）的计算过程，同理可获得点P在热红外相机成像的图像坐标I_t(u_t,v_t)^T，依照热红外相机图像的温度度数，读取点I_t对应的温度T_t。其中，图2示出了点P的成像原理。

至此，获得了世界坐标点P对应的可见光图像坐标I_c和温度T_t。

由前述可见光与热红外融合的立体成像装置的工作过程可知，为了精确计算三维点P与热红外相机所测温度T_t之间的对应关系，需要对可见光相机、热红外相机的内参数矩阵K_c,K_t、畸变参数k_c1,k_c2,p_c1,p_c2,k_t1,k_t2,p_t1,p_t2以及二者坐标系之间的旋转R_tc与平移t_tc进行精确的系统标定。以下对所述标定方法所涉及的标定板及具体标定过程进行说明。

a）标定板

所述标定方法所使用的标定板5采用发光二极管阵列6与黑白棋盘格7共同组成，二者相对位置固定，具体结构如图3所示。其中，发光二极管阵列6用来标定热红外相机参数，黑白棋盘格7用来标定可见光相机参数。

具体地，黑白棋盘格横向14格，纵向9格，边长为3cm，利用横纵向奇偶方格数不同来识别棋盘格的方向，共13×8个交叉点。发光二极管阵列采用矩形排列，横向13个，纵向8个排列，发光二极管直径5mm，相邻两个发光二极管中心距离3cm，利用右上角缺少一个发光二极管来识别其方向，共13×8－1个发光二极管。

b）可见光相机的标定

利用可见光相机在不同角度获得标定板中黑白棋盘格可见光成像的图像序列。对于图像序列中每一幅图像利用棋盘格识别算法自动提取棋盘格交叉点，最后根据张正友平面标定法，标定可见光相机的内参数矩阵K_c及其镜头畸变参数k_c1,k_c2,p_c1,p_c2。

c）热红外相机的标定

利用热红外相机在不同角度获得标定板中发光二极管阵列热红外成像的图像序列。对于图像序列中每一幅图像，首先进行图像二值化，对二值图像中所有亮点，分别提取白色部分轮廓，拟合椭圆形区域，求出椭圆圆心图像位置，根据张正友平面标定法，标定热红外相机的内参数矩阵K_t及其镜头畸变参数k_t1,k_t2,p_t1,p_t2。

d）可见光相机与热红外相机相对旋转R_tc和平移t_tc的标定

利用a)中所述标定板，规定可见光相机的参考坐标系，以及热红外相机的参考坐标系。可见光相机参考坐标系定义为，以棋盘格左上角交叉点为坐标原点O_c，向下为X_c轴，向右为Y_c轴，垂直棋盘格平面向外为Z_c轴；热红外相机参考坐标系定义为，以发光二极管阵列左上角为坐标原点O_t，向下为X_t轴，向右为Y_t轴，垂直标定板平面向外为Z_t轴，具体坐标系定义如图4所示。

如图5所示，利用可见光与热红外融合的立体成像装置在不同角度多次对a）中所述标定板进行成像，分别获取可见光图像序列和热红外图像序列。对于每一幅可见光图像C_i提取棋盘格交叉点坐标，利用PNP（Perspective N Point）算法，求得此时可见光相机相对于其参考坐标系的旋转R_ci和平移t_ci；对于每一幅热红外图像T_i，提取所有发光二极管成像光斑的中心点坐标，同样利用PNP算法，求得此时热红外相机相对于其参考坐标系的旋转R_ti和平移t_ti。利用相邻两次不同图像对C_i，C_j和T_i，T_j获得的R_ci，t_ci，R_cj，t_cj和R_ti，t_ti，R_tj，t_tj通过公式(7)、(8)分别计算两幅可见光图像的可见光相机相对旋转R_cij，相对平移t_cij以及两幅热红外图像的热红外相机相对旋转R_tij，相对平移t_tij。

$\left(\begin{array}{cc}{R}_{\mathrm{cij}}& t_{\mathrm{cij}}\\ 0^T& 1\end{array}\right)=\left(\begin{array}{cc}{R}_{\mathrm{ci}}& t_{\mathrm{ci}}\\ 0^T& 1\end{array}\right)*{\left(\begin{array}{cc}{R}_{\mathrm{cj}}& t_{\mathrm{cj}}\\ o^T& 1\end{array}\right)}^{-1}---\left(7\right)$

$\left(\begin{array}{cc}{R}_{\mathrm{tij}}& t_{\mathrm{tij}}\\ 0^T& 1\end{array}\right)=\left(\begin{array}{cc}{R}_{\mathrm{ti}}& t_{\mathrm{ti}}\\ 0^T& 1\end{array}\right)*{\left(\begin{array}{cc}{R}_{\mathrm{tj}}& t_{\mathrm{tj}}\\ o^T& 1\end{array}\right)}^{-1}---\left(8\right)$

对于所有R_cij，t_cij和R_tij，t_tij，满足公式(9)的手眼标定方程。根据经典手眼标定方法，解出R_ct，t_ct，再根据公式(10)的转换关系最终获得热红外相机以及可见光相机的相对旋转R_tc和平移t_tc的标定结果。

$\left(\begin{array}{cc}{R}_{\mathrm{cij}}& t_{\mathrm{cij}}\\ 0^T& 1\end{array}\right)*\left(\begin{array}{cc}{R}_{\mathrm{ct}}& t_{\mathrm{ct}}\\ 0^T& 1\end{array}\right)=\left(\begin{array}{cc}{R}_{\mathrm{ct}}& t_{\mathrm{ct}}\\ 0^T& 1\end{array}\right)*\left(\begin{array}{cc}{R}_{\mathrm{ti}}& t_{\mathrm{ti}}\\ 0^T& 1\end{array}\right)---\left(9\right)$

$\left(\begin{array}{cc}{R}_{\mathrm{tc}}& t_{\mathrm{tc}}\\ 0& 1\end{array}\right)={\left(\begin{array}{cc}{R}_{\mathrm{ct}}& t_{\mathrm{tc}}\\ 0& 1\end{array}\right)}^{-1}---\left(10\right)$

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种可见光与热红外融合的立体成像装置，其特征在于，包括双相机云台、用以支撑所述双相机云台的支架以及置于所述双相机云台的可见光相机和热红外相机，进一步包括分别对所述可见光相机和热红外相机的内参数、畸变参数以及所述可见光相机与热红外相机之间的相对旋转和平移进行标定的标定板。

2.如权利要求1所述的可见光与热红外融合的立体成像装置，其特征在于，所述立体成像装置还包括用以控制所述可见光相机和热红外相机，使其中一个相机单独或两个相机同时曝光的遥控器。

3.如权利要求1或2所述的立体成像装置，其特征在于，所述标定板由发光二极管阵列和黑白棋盘格组成，两者相对位置固定且处于同一平面。

4.一种对如权利要求1所述的立体成像装置进行标定的方法，其特征在于，所述方法包括以下步骤：

对可见光相机的内参数和畸变参数进行标定；

对热红外相机的内参数和畸变参数进行标定；

对所述可见光相机与热红外相机之间的相对旋转和平移进行标定。

5.如权利要求4所述的方法，其特征在于，所述对可见光相机的内参数和畸变参数进行标定的步骤具体为：

利用所述可见光相机从不同角度获得标定板中黑白棋盘格可见光成像的图像序列；

通过棋盘格识别算法自动提取所述图像序列中每一幅图像中的棋盘格交叉点；

根据张正友平面标定法，标定出所述可见光相机的内参数K_c和畸变参数k_c1,k_c2,p_c1,p_c2。

6.如权利要求4或5所述的方法，其特征在于，所述对热红外相机的内参数和畸变参数进行标定的步骤具体为：

利用所述热红外相机从不同角度获得标定板中发光二极管阵列热红外成像的图像序列；

对于所述图像序列中每一幅图像，首先进行图像二值化，对二值图像中所有亮点，分别提取白色部分轮廓，拟合椭圆形区域，求出椭圆圆心图像位置；

根据张正友平面标定法，标定出所述热红外相机的内参数K_t和畸变参数k_t1,k_t2,p_t1,p_t2。

7.如权利要求6所述的方法，其特征在于，所述对所述可见光相机与热红外相机之间的相对旋转和平移进行标定的步骤具体为：

利用整个可见光与热红外融合的立体成像装置从不同角度多次对所述标定板进行成像，成像时使所述可见光相机和热红外相机同时曝光，分别获得可见光图像序列和热红外图像序列；

对于每一幅可见光图像C_i，提取棋盘格交叉点坐标，利用PNP算法，求得此时可见光相机相对于其参考坐标系的旋转R_ci和平移t_ci；

对于每一幅热红外图像T_i，提取所有发光二极管成像光斑的中心点坐标，利用PNP算法，求得此时热红外相机相对于其参考坐标系的旋转R_ti和平移t_ti；

利用相邻两次不同图像对C_i，C_j和T_i，T_j，获得的R_ci，t_ci，R_cj，t_cj和R_ti，t_ti，R_tj，t_tj，分别计算出两幅可见光图像的可见光相机相对旋转R_cij和相对平移t_cij以及两幅热红外图像的热红外相机相对旋转R_tij和相对平移t_tij；

根据手眼标定方法，计算获得所述热红外相机与可见光相机之间的相对旋转R_tc和平移t_tc的标定结果。

8.如权利要求7所述的方法，其特征在于，所述可见光相机的参考坐标系以棋盘格左上角交叉点为坐标原点O_c，向下为X_c轴，向右为Y_c轴，垂直棋盘格平面向外为Z_c轴；

所述热红外相机的参考坐标系以发光二极管阵列左上角为坐标原点O_t，向下为X_t轴，向右为Y_t轴，垂直标定板平面向外为Z_t轴。