CN113409450B - 一种包含rgbdt信息的鸡只三维重建方法 - Google Patents

Abstract

本发明公开了一种包含RGBDT信息的鸡只三维重建方法。方法包括：建立鸡只图像采集系统，根据张正友平面标定法标定获得鸡只图像采集系统的相机参数；对相机进行立体标定，得到两个可见光相机之间的旋转矩阵和平移向量；采集鸡只的三张原始图像，对鸡只的三张原始图像分别进行去畸变操作后获得对应的三张去畸变图像，对三张去畸变图像处理后分别获得第一校正可见光图像、校正后的热红外图像和深度图像；构建场景三维颜色点云和场景三维温度场点云，处理后获得包含RGBDT信息的鸡只点云模型。本发明首次构建包含RGBDT信息的鸡只点云模型，能够直观反映鸡只羽毛的颜色、各部位的温度及体型体况，实现养殖过程自动化和智能化管理。

Description

一种包含RGBDT信息的鸡只三维重建方法

技术领域

本发明涉及畜禽智能感知技术领域的一种鸡只三维重建方法，具体涉及了一种包含RGBDT信息的鸡只三维重建方法。

背景技术

畜禽养殖业是支撑我国国民经济的重大产业，高品质的消费需求和紧缺的劳动力资源促使畜禽养殖业向信息化、精细化与智能化方向转型，对于畜禽生理健康状况智能监测技术的需求尤为迫切，畜禽的多源图像融合至关重要。

传统二维图像由于缺少真实的三维数据，难以反映畜禽的体型及体况信息，近年来，越来越多的学者使用三维重建技术来估测动物的体型和体重(Mortensen A K,Lisouski P,Ahrendt P.Weight prediction of broiler chickens using 3D computervision[J].Computers&Electronics in Agriculture,2016,123:319-326.)。然而这种方法只能获取到动物的颜色和深度信息，对于鸡只而言，体表温度信息至关重要，它能直观反映鸡只的生理健康状况，如环境温度过高时，鸡只将难以散热、温度升高，处于热应激状态，从而导致其生理不适、福利低下(Souza-Junior J B F,El-Sabrout K,Arruda A M V D,etal.Estimating sensible heat loss in laying hens through thermal imaging[J].Computers and Electronics in Agriculture,2019,166:105038.)。随着热成像技术的发展，红外热成像被证明在评估动物的热生理状态方面具有显著优势，若能将鸡只的颜色、温度及三维数据进行多源融合，则可以直观地观察并判断出鸡只的健康福利状况，有利于提升畜禽监测的智能化水平。

双目立体视觉是计算机视觉领域的重要分支，通过双目图像进行立体匹配可以获得场景的深度图像，重建出三维几何信息。考虑到直接用两个热像仪进行三维重建，由于热红外图像分辨率低、细节模糊，会导致重建得到的三维数据误差较大，因此采用双目可见光相机进行三维几何数据的获取较为合适。立体匹配是双目重建中最为关键的一步，传统的立体匹配算法往往受光照影响大、难以克服图像中弱纹理区域，导致图像匹配误差大；受深度学习浪潮影响，越来越多学者使用深度学习方法应用到立体匹配研究，并取得了较好的效果，如自适应聚合网络AANet+(Xu H,Zhang J.AANet:Adaptive Aggregation Networkfor Efficient Stereo Matching.In:Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition,2020,1959-1968.)。

考虑到上述提到的不宜直接用两个热像仪进行三维重建，要使可见光图像、热红外图像以及深度图像达到像素级对应，需要对可见光图像与热红外图像进行图像配准。而通常可见光图像具有较高空间分辨率和图像对比度，热红外图像分辨率较低、图像细节表现较差，传统的基于特征的图像配准方法，如SIFT、SURF等特征检测算法，难以检测到正确的匹配对，无法保障异源数据的融合。

发明内容

为了解决背景技术中存在的问题，本发明提供了一种包含RGBDT信息的鸡只三维重建方法。方法构建一种包含颜色、深度及温度(RGB-Depth-Thermal，RGBDT)信息的鸡只三维模型，克服可见光图像与热红外图像难以找到匹配对的问题，并采用自适应聚合网络AANet+进行立体匹配，提高算法的鲁棒性。

本发明解决其技术问题所采用的技术方案如下：

方法包括以下步骤：

1)建立鸡只图像采集系统，包括相机装置和计算机，相机装置通过网线与计算机相连，鸡只或加热标定板的正上方固定安装有相机装置，相机装置主要由第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁平行且间隔布置构成；

2)根据张正友平面标定法，利用鸡只图像采集系统中的第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁同步拍摄N个不同角度的加热标定板后分别采集获得N组加热标定板图像，利用第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁分别采集获得的N组加热标定板图像对相机自身进行标定后分别获得第一可见光相机C₁的外参数EX_a、内参矩阵K_a和畸变系数，第二可见光相机C₂的外参数EX_b、内参矩阵K_b和畸变系数，热红外相机T₁的内参矩阵K_c和畸变系数；

3)根据第一可见光相机C₁的外参数EX_a和第二可见光相机C₂的外参数EX_b，对第一可见光相机C₁和第二可见光相机C₂进行立体标定，得到第一可见光相机C₁和第二可见光相机C₂之间的旋转矩阵R和平移向量t；

4)利用鸡只图像采集系统采集鸡只的原始图像，并利用第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁的畸变系数对鸡只的原始图像进行去畸变操作后获得去畸变图像；

5)根据第一可见光相机C₁的内参矩阵K_a及热红外相机T₁的内参矩阵K_c，构建尺度与位置变换矩阵Q，利用尺度与位置变换矩阵Q对去畸变热红外图像I_c1进行尺度与位置调整后，再利用投影变换矩阵进行空间变换得到配准后热红外图像I_c3；

6)根据第一可见光相机C₁的内参矩阵K_a、第二可见光相机C₂的内参矩阵K_b、旋转矩阵R和平移向量t，对第一去畸变可见光图像I_a1和第二去畸变可见光图像I_b1进行立体校正以及视差估计处理后获得深度图像I_depth；

7)利用Bouguet极线校正方法对配准后热红外图像I_c3进行与第一去畸变可见光图像I_a1相同的立体校正，获得校正后的热红外图像I_ir；

8)利用第一校正可见光图像I_a2与深度图像I_depth构建场景三维颜色点云P_c，利用校正后的热红外图像I_ir与深度图像I_depth构建场景三维温度场点云P_t，根据地面与相机间的已知距离，选取深度阈值d，根据深度阈值d分别提取场景三维颜色点云P_c与场景三维温度场点云P_t中地面以上的点云，分别获得背景剔除后的三维颜色点云P′_c和三维温度场点云P′_t；

9)利用DB-SCAN聚类方法分别对背景剔除后的三维颜色点云P′_c和三维温度场点云P′_t进行聚类后分别获得对应的聚类结果，分别选取对应的聚类结果中包含点数最多的类并分别作为鸡只三维颜色点云P″_c和鸡只三维温度场点云P″_t，将鸡只三维颜色点云P″_c和鸡只三维温度场点云P″_t级联后获得包含RGBDT信息的鸡只点云模型M₁。

所述步骤2)中，第一可见光相机C₁的内参矩阵K_a、第二可见光相机C₂的内参矩阵K_b及热红外相机T₁的内参矩阵K_c分别表示为：

其中，

分别表示第一可见光相机C₁的横向焦距和纵向焦距，

分别表示第一可见光相机C₁的主点在像素坐标系中的两个坐标值；

分别表示第二可见光相机C₂的横向焦距和纵向焦距，

分别表示第二可见光相机C₁的主点在像素坐标系中的两个坐标值；

分别表示热红外相机T₁的横向焦距和纵向焦距，

分别表示热红外相机T₁的主点在像素坐标系中的两个坐标值。

所述步骤4)具体为：

4.1)利用鸡只图像采集系统中的第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁同步拍摄鸡只后分别采集获得鸡只的第一原始可见光图像I_a0、第二原始可见光图像I_b0和原始热红外图像I_c0；

4.2)利用第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁的畸变系数分别对第一原始可见光图像I_a0、第二原始可见光图像I_b0和原始热红外图像I_c0进行去畸变操作后分别获得第一去畸变可见光图像I_a1、第二去畸变可见光图像I_b1和去畸变热红外图像I_c1；其中，去畸变操作包括径向畸变操作和切向畸变操作，主要通过以下公式进行设置：

u_d＝(u-u₀)(1+k₁r²+k₂r⁴+k₃r⁶)+2p₁xy+p₂(r²+2x²)+u₀

v_d＝(v-v₀)(1+k₁r²+k₂r⁴+k₃r⁶)+p₁(r²+2y²)xy+2p₂xy+v₀

r²＝x²+y²

其中，u，v分别表示第一原始可见光图像I_a0、第二原始可见光图像I_b0或原始热红外图像I_c0中一个像素点的两个坐标值，u_d，v_d分别表示第一去畸变可见光图像I_a1、第二去畸变可见光图像I_b1或去畸变热红外图像I_c1中对应像素点的两个坐标值，k₁、k₂、k₃分别表示第一可见光相机C₁、第二可见光相机C₂或热红外相机T₁的第一、第二和第三径向畸变系数，p₁、p₂分别表示第一可见光相机C₁、第二可见光相机C₂或热红外相机T₁的第一和第二切向畸变系数，r表示第一可见光相机C₁、第二可见光相机C₂或热红外相机T₁的径向半径，u₀，v₀分别表示第一可见光相机C₁、第二可见光相机C₂或热红外相机T₁的主点在像素坐标系中的两个坐标值。

所述步骤5)具体为：

5.1)根据第一可见光相机C₁的内参矩阵K_a及热红外相机T₁的内参矩阵K_c，构建尺度与位置变换矩阵Q，利用尺度与位置变换矩阵Q对去畸变热红外图像I_c1进行尺度与位置调整后，获得初次热红外变换图像I_c2，通过以下公式进行设置；

I_c2＝QI_c1

其中，α_a/c、β_a/c、T_x、T_y分别表示去畸变热红外图像I_c1的横向放大倍数、纵向放大倍数、横向平移距离、纵向平移距离；c_a和c_c分别表示第一去畸变可见光图像I_a1和去畸变热红外图像I_c1的列数，r_a和r_c分别表示第一去畸变可见光图像I_a1和去畸变热红外图像I_c1的行数，T_x和T_y分别表示去畸变热红外图像I_c1在像素坐标系中横向和纵向上的平移量；

5.2)将步骤2)中第一可见光相机C₁采集获得的N组加热标定板图像，记为

依次提取各个第一可见光相机C₁采集的加热标定板图像

的棋盘格角点坐标，同时将提取获得的棋盘格角点坐标依次存储至可见光角点矩阵M₁中；

5.3)将步骤2)中热红外相机T₁采集获得的N组加热标定板图像，记为

利用尺度与位置变换矩阵Q对热红外相机T₁采集获得的N组加热标定板图像

进行尺度与位置变换，得到变换后的N组标定板图像

依次提取变换后的标定板图像

的棋盘格角点坐标，同时将提取获得的棋盘格角点坐标依次存储至热红外角点矩阵M₂中；

5.4)由可见光角点矩阵M₁和热红外角点矩阵M₂构成棋盘格角点对集，采用M估计抽样一致性算法剔除错误匹配点对，筛选出最优的L对匹配点对，基于最优的L对匹配点对利用投影变换模型求得投影矩阵P，利用求得的投影矩阵P对初次热红外变换图像I_c2进行平移、旋转、透视操作后，获得配准后热红外图像I_c3，通过以下公式进行设置：

I_c3＝PI_c2。

所述步骤6)具体为：

6.1)根据第一可见光相机C₁的内参矩阵K_a、第二可见光相机C₂的内参矩阵K_b、旋转矩阵R和平移向量t，利用Bouguet极线校正方法对第一去畸变可见光图像I_a1和第二去畸变可见光图像I_b1进行立体校正后分别得到第一校正可见光图像I_a2和第二校正可见光图像I_b2；

6.2)将第一校正可见光图像I_a2和第二校正可见光图像I_b2输入到自适应聚合网络模型进行立体匹配与视差估计，输出视差图像I_disp；

6.3)利用三角测量原理对视差图像I_disp进行深度求解，得到深度图像I_depth。

所述步骤6.1)具体为：

首先，根据第一可见光相机C₁的内参矩阵K_a、第二可见光相机C₂的内参矩阵K_b、旋转矩阵R和平移向量t，将第一可见光相机C₁和第二可见光相机C₂的两个相机坐标系分别朝对方的相机坐标系旋转，旋转的角度为两个相机坐标系夹角的一半，旋转方向相反，使得第一可见光相机C₁和第二可见光相机C₂的两个成像平面共面，具体公式如下：

接着，将第一可见光相机C₁和第二可见光相机C₂绕自身光轴旋转，使得第一可见光相机C₁和第二可见光相机C₂的两个成像平面行对准，具体公式如下：

其中，R为第一可见光相机C₁和第二可见光相机C₂之间的旋转矩阵，r_l为第一可见光相机C₁绕自身相机坐标系旋转的第一相机旋转矩阵，r_r为第二可见光相机C₂绕自身相机坐标系旋转的第二相机旋转矩阵，r_rect为第一可见光相机C₁或第二可见光相机C₂绕自身光轴旋转的光轴矩阵，R_l为第一可见光相机C₁两次旋转操作的第一立体校正矩阵，R_r为第二可见光相机C₂两次旋转操作的第二立体校正矩阵；

最后，将R_l、R_r分别左乘至第一去畸变可见光图像I_a1和第二去畸变可见光图像I_b1，将两张左乘后的可见光图像进行裁剪，使得两张裁剪后的图像的大小与第一去畸变可见光图像I_a1或第二去畸变可见光图像I_b1的大小相同并分别作为第一校正可见光图像I_a2和第二校正可见光图像I_b2。

本发明具有的有益效果是：

本发明构建包含RGBDT信息的鸡只点云模型，解决了可见光与热红外图像的配准问题，并采用自适应聚合网络AANet+进行立体匹配，提高了算法的鲁棒性。

本发明包含RGBDT信息的鸡只点云模型能够直观反映鸡只羽毛的颜色、各部位的温度及体型体况，实现养殖过程自动化和智能化管理。

附图说明

图1是本发明的总体流程图。

图2是本发明的鸡只图像采集系统示意图。

图3是本发明的相机标定与配准过程示意图。

图4是本发明实施例可见光相机C₁采集的原始图像I_a0示意图。

图5是本发明实施例可见光相机C₂采集的原始图像I_b0示意图。

图6是本发明实施例可见光相机T₁采集的原始图像I_c0示意图。

图7是本发明实施例可见光相机C₁立体校正后的图像I_a2示意图。

图8是本发明实施例可见光相机C₂立体校正后的图像I_b2示意图。

图9是本发明实施例图6与图7立体匹配后的深度图像I_depth示意图。

图10是本发明实施例I_c0经过图像配准和立体校正变换后的热红外图像I_ir示意图。

图11是本发明实施例场景三维颜色点云P_c示意图。

图12是本发明实施例场景三维温度场点云P_t示意图。

图13是本发明实施例背景剔除后的三维颜色点云P′_c示意图。

图14是本发明实施例背景剔除后的三维温度场点云P′_t示意图。

图15是本发明实施例包含RGBDT信息的鸡只点云模型M₁示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

如图1所示，本发明实施例具体过程如下：

1)建立鸡只图像采集系统，如图2所示，包括相机装置和计算机，相机装置通过网线与计算机相连，鸡只或加热标定板的正上方固定安装有相机装置，相机装置主要由第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁平行且间隔布置构成，第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁均通过网线与计算机相连，加热标定板由棋盘格标定板的背面层叠放置加热板而成；其中，两个可见光相机之间距离为11cm，第一可见光相机C₁与热红外相机T₁之间距离为4cm，系统距离地面的安装高度为150cm，第一可见光相机C₁与第二可见光相机C₂的图像分辨率均为1920pix*1080pix，热红外相机T₁的图像分辨率为384pix*288pix；棋盘格标定板为16×15阵列的黑白棋格，每个方格尺寸为25mm*25mm。

2)如图3所示，根据张正友平面标定法，利用鸡只图像采集系统中的第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁同步拍摄N个不同角度的加热标定板后分别采集获得N组加热标定板图像，其中N＞15，本实施例中，N＝23，利用第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁分别采集获得的N组加热标定板图像对相机自身进行标定后分别获得第一可见光相机C₁的外参数EX_a、内参矩阵K_a和畸变系数，第二可见光相机C₂的外参数EX_b、内参矩阵K_b和畸变系数，热红外相机T₁的内参矩阵K_c和畸变系数；

步骤2)中，第一可见光相机C₁的内参矩阵K_a、第二可见光相机C₂的内参矩阵K_b及热红外相机T₁的内参矩阵K_c分别表示为：

其中，

分别表示第一可见光相机C₁的横向焦距和纵向焦距，

分别表示第一可见光相机C₁的主点在像素坐标系中的两个坐标值；

分别表示第二可见光相机C₂的横向焦距和纵向焦距，

分别表示第二可见光相机C₁的主点在像素坐标系中的两个坐标值；

分别表示热红外相机T₁的横向焦距和纵向焦距，

分别表示热红外相机T₁的主点在像素坐标系中的两个坐标值。

3)根据第一可见光相机C₁的外参数EX_a和第二可见光相机C₂的外参数EX_b，对第一可见光相机C₁和第二可见光相机C₂进行立体标定，得到第一可见光相机C₁和第二可见光相机C₂之间的旋转矩阵R和平移向量t；

4)利用鸡只图像采集系统采集鸡只的原始图像，并利用第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁的畸变系数对鸡只的原始图像进行去畸变操作后获得去畸变图像；

步骤4)具体为：

4.1)利用鸡只图像采集系统中的第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁同步拍摄鸡只后分别采集获得鸡只的第一原始可见光图像I_a0、第二原始可见光图像I_b0和原始热红外图像I_c0，分别如图4-6所示；

4.2)利用第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁的畸变系数分别对第一原始可见光图像I_a0、第二原始可见光图像I_b0和原始热红外图像I_c0进行去畸变操作后分别获得第一去畸变可见光图像I_a1、第二去畸变可见光图像I_b1和去畸变热红外图像I_c1。其中，去畸变操作包括径向畸变操作和切向畸变操作，主要通过以下公式进行设置：

u_d＝(u-u₀)(1+k₁r²+k₂r⁴+k₃r⁶)+2p₁xy+p₂(r²+2x²)+u₀

v_d＝(v-v₀)(1+k₁r²+k₂r⁴+k₃r⁶)+p₁(r²+2y²)xy+2p₂xy+v₀

r²＝x²+y²

其中，u，v分别表示第一原始可见光图像I_a0、第二原始可见光图像I_b0或原始热红外图像I_c0中一个像素点的两个坐标值，u_d，v_d分别表示第一去畸变可见光图像I_a1、第二去畸变可见光图像I_b1或去畸变热红外图像I_c1中对应像素点的两个坐标值，k₁、k₂、k₃分别表示第一可见光相机C₁、第二可见光相机C₂或热红外相机T₁的第一、第二和第三径向畸变系数，p₁、p₂分别表示第一可见光相机C₁、第二可见光相机C₂或热红外相机T₁的第一和第二切向畸变系数，r表示第一可见光相机C₁、第二可见光相机C₂或热红外相机T₁的径向半径，u₀，v₀分别表示第一可见光相机C₁、第二可见光相机C₂或热红外相机T₁的主点在像素坐标系中的两个坐标值。

5)根据第一可见光相机C₁的内参矩阵K_a及热红外相机T₁的内参矩阵K_c，构建尺度与位置变换矩阵Q，利用尺度与位置变换矩阵Q对去畸变热红外图像I_c1进行尺度与位置调整后，再利用投影变换矩阵进行空间变换得到配准后热红外图像I_c3；

步骤5)具体为：

5.1)根据第一可见光相机C₁的内参矩阵K_a及热红外相机T₁的内参矩阵K_c，构建尺度与位置变换矩阵Q，利用尺度与位置变换矩阵Q对去畸变热红外图像I_c1进行尺度与位置调整后，使去畸变热红外图像I_c1与第一去畸变可见光图像I_a1具有相同焦距与主点，初步消除分辨率和位置差异，获得初次热红外变换图像I_c2，通过以下公式进行设置；

I_c2＝QI_c1

其中，α_a/c、β_a/c、T_x、T_y分别表示去畸变热红外图像I_c1的横向放大倍数、纵向放大倍数、横向平移距离、纵向平移距离；具体实施中，α_a/c为第一可见光相机C₁和热红外相机T₁水平焦距的比值，β_a/c为第一可见光相机C₁和热红外相机T₁垂直焦距的比值，c_a和c_c分别表示第一去畸变可见光图像I_a1和去畸变热红外图像I_c1的列数，r_a和r_c分别表示第一去畸变可见光图像I_a1和去畸变热红外图像I_c1的行数，T_x和T_y分别表示去畸变热红外图像I_c1在像素坐标系中横向和纵向上的平移量；

在本发明实施例中，

5.2)将步骤2)中第一可见光相机C₁采集获得的N组加热标定板图像，记为

依次提取各个第一可见光相机C₁采集的加热标定板图像

的棋盘格角点坐标，同时将提取获得的棋盘格角点坐标依次存储至可见光角点矩阵M₁中；

5.3)将步骤2)中热红外相机T₁采集获得的N组加热标定板图像，记为

利用尺度与位置变换矩阵Q对热红外相机T₁采集获得的N组加热标定板图像

进行尺度与位置变换，得到变换后的N组标定板图像

依次提取变换后的标定板图像

的棋盘格角点坐标，同时将提取获得的棋盘格角点坐标依次存储至热红外角点矩阵M₂中；

5.4)由可见光角点矩阵M₁和热红外角点矩阵M₂构成棋盘格角点对集，采用M估计抽样一致性(MSAC)M-Estimator Sample Consensus方法剔除错误匹配点对，筛选出最优的L对匹配点对，基于最优的L对匹配点对利用投影变换模型求得投影矩阵P，利用求得的投影矩阵P对初次热红外变换图像I_c2进行平移、旋转、透视操作后，获得配准后热红外图像I_c3，通过以下公式进行设置：

I_c3＝PI_c2

在本实施例中，

6)根据第一可见光相机C₁的内参矩阵K_a、第二可见光相机C₂的内参矩阵K_b、旋转矩阵R和平移向量t，对第一去畸变可见光图像I_a1和第二去畸变可见光图像I_b1进行立体校正以及视差估计处理后获得深度图像I_depth；

步骤6)具体为：

6.1)根据第一可见光相机C₁的内参矩阵K_a、第二可见光相机C₂的内参矩阵K_b、旋转矩阵R和平移向量t，利用Bouguet极线校正方法对第一去畸变可见光图像I_a1和第二去畸变可见光图像I_b1进行立体校正后分别得到第一校正可见光图像I_a2和第二校正可见光图像I_b2，如图7和8所示。

步骤6.1)具体为：

首先，根据第一可见光相机C₁的内参矩阵K_a、第二可见光相机C₂的内参矩阵K_b、旋转矩阵R和平移向量t，将第一可见光相机C₁和第二可见光相机C₂的两个相机坐标系分别朝对方的相机坐标系旋转，旋转的角度为两个相机坐标系夹角的一半，旋转方向相反，使得第一可见光相机C₁和第二可见光相机C₂的两个成像平面共面，具体公式如下：

接着，将第一可见光相机C₁和第二可见光相机C₂绕自身光轴旋转，使得第一可见光相机C₁和第二可见光相机C₂的两个成像平面行对准，具体公式如下：

其中，R为第一可见光相机C₁和第二可见光相机C₂之间的旋转矩阵，r_l为第一可见光相机C₁绕自身相机坐标系旋转的第一相机旋转矩阵，r_r为第二可见光相机C₂绕自身相机坐标系旋转的第二相机旋转矩阵，r_rect为第一可见光相机C₁或第二可见光相机C₂绕自身光轴旋转的光轴矩阵，R_l为第一可见光相机C₁两次旋转操作的第一立体校正矩阵，R_r为第二可见光相机C₂两次旋转操作的第二立体校正矩阵；

最后，将R_l、R_r分别左乘至第一去畸变可见光图像I_a1和第二去畸变可见光图像I_b1，将两张左乘后的可见光图像进行裁剪，使得两张裁剪后的图像的大小与第一去畸变可见光图像I_a1或第二去畸变可见光图像I_b1的大小相同并分别作为第一校正可见光图像I_a2和第二校正可见光图像I_b2。

6.2)将第一校正可见光图像I_a2和第二校正可见光图像I_b2输入到自适应聚合网络AANet+模型进行立体匹配与视差估计，输出视差图像I_disp；

6.3)利用三角测量原理对视差图像I_disp进行深度求解，得到深度图像I_depth，如图9所示；

7)利用Bouguet极线校正方法对配准后热红外图像I_c3进行与第一去畸变可见光图像I_a1相同的立体校正，获得校正后的热红外图像I_ir，如图10所示；即根据第一可见光相机C₁两次旋转操作的第一立体校正矩阵R_l，将第一立体校正矩阵R_l左乘至配准后热红外图像I_c3后，将左乘后的热红外图像的大小裁剪至配准后热红外图像I_c3的大小后作为校正后的热红外图像I_ir。

8)利用第一校正可见光图像I_a2与深度图像I_depth构建场景三维颜色点云P_c，利用校正后的热红外图像I_ir与深度图像I_depth构建场景三维温度场点云P_t，如图11和12所示，根据地面与相机间的已知距离，选取深度阈值d，具体实施中，d＝145mm。根据深度阈值d分别提取场景三维颜色点云P_c与场景三维温度场点云P_t中地面以上的点云，分别获得背景剔除后的三维颜色点云P′_c和三维温度场点云P′_t；

9)利用DB-SCAN聚类方法分别对背景剔除后的三维颜色点云P′_c和三维温度场点云P′_t进行聚类后分别获得对应的聚类结果，如图13和14所示，分别选取对应的聚类结果中包含点数最多的类并分别作为鸡只三维颜色点云P″_c和鸡只三维温度场点云P″_t，将鸡只三维颜色点云P″_c和鸡只三维温度场点云P″_t级联后获得包含RGBDT信息的鸡只点云模型M₁，如图15所示。

以上所述仅为本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是未脱离本发明技术方案的内容，依据本发明的技术实质所作的任何修改、等同替换、等效变化等，均应包含在本发明的保护范围内。

Claims (6)

1.一种包含RGBDT信息的鸡只三维重建方法，其特征在于，包括以下步骤：

1)建立鸡只图像采集系统，包括相机装置和计算机，相机装置通过网线与计算机相连，鸡只或加热标定板的正上方固定安装有相机装置，相机装置主要由第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁平行且间隔布置构成；

2)根据张正友平面标定法，利用鸡只图像采集系统中的第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁同步拍摄N个不同角度的加热标定板后分别采集获得N组加热标定板图像，利用第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁分别采集获得的N组加热标定板图像对相机自身进行标定后分别获得第一可见光相机C₁的外参数EX_a、内参矩阵K_a和畸变系数，第二可见光相机C₂的外参数EX_b、内参矩阵K_b和畸变系数，热红外相机T₁的内参矩阵K_c和畸变系数；

3)根据第一可见光相机C₁的外参数EX_a和第二可见光相机C₂的外参数EX_b，对第一可见光相机C₁和第二可见光相机C₂进行立体标定，得到第一可见光相机C₁和第二可见光相机C₂之间的旋转矩阵R和平移向量t；

4)利用鸡只图像采集系统采集鸡只的原始图像，并利用第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁的畸变系数对鸡只的原始图像进行去畸变操作后获得去畸变图像；

5)根据第一可见光相机C₁的内参矩阵K_a及热红外相机T₁的内参矩阵K_c，构建尺度与位置变换矩阵Q，利用尺度与位置变换矩阵Q对去畸变热红外图像I_c1进行尺度与位置调整后，再利用投影变换矩阵进行空间变换得到配准后热红外图像I_c3；

6)根据第一可见光相机C₁的内参矩阵K_a、第二可见光相机C₂的内参矩阵K_b、旋转矩阵R和平移向量t，对第一去畸变可见光图像I_a1和第二去畸变可见光图像I_b1进行立体校正以及视差估计处理后获得深度图像I_depth；

7)利用Bouguet极线校正方法对配准后热红外图像I_c3进行与第一去畸变可见光图像I_a1相同的立体校正，获得校正后的热红外图像I_ir；

8)利用第一校正可见光图像I_a2与深度图像I_depth构建场景三维颜色点云P_c，利用校正后的热红外图像I_ir与深度图像I_depth构建场景三维温度场点云P_t，根据地面与相机间的已知距离，选取深度阈值d，根据深度阈值d分别提取场景三维颜色点云P_c与场景三维温度场点云P_t中地面以上的点云，分别获得背景剔除后的三维颜色点云P′_c和三维温度场点云P′_t；

9)利用DB-SCAN聚类方法分别对背景剔除后的三维颜色点云P′_c和三维温度场点云P′_t进行聚类后分别获得对应的聚类结果，分别选取对应的聚类结果中包含点数最多的类并分别作为鸡只三维颜色点云P″_c和鸡只三维温度场点云P″_t，将鸡只三维颜色点云P″_c和鸡只三维温度场点云P″_t级联后获得包含RGBDT信息的鸡只点云模型M₁。

2.根据权利要求1所述的一种包含RGBDT信息的鸡只三维重建方法，其特征在于：所述步骤2)中，第一可见光相机C₁的内参矩阵K_a、第二可见光相机C₂的内参矩阵K_b及热红外相机T₁的内参矩阵K_c分别表示为：

其中，

分别表示第一可见光相机C₁的横向焦距和纵向焦距，

分别表示第一可见光相机C₁的主点在像素坐标系中的两个坐标值；

分别表示第二可见光相机C₂的横向焦距和纵向焦距，

分别表示第二可见光相机C₂的主点在像素坐标系中的两个坐标值；

分别表示热红外相机T₁的横向焦距和纵向焦距，

分别表示热红外相机T₁的主点在像素坐标系中的两个坐标值。

3.根据权利要求1所述的一种包含RGBDT信息的鸡只三维重建方法，其特征在于，所述步骤4)具体为：

4.1)利用鸡只图像采集系统中的第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁同步拍摄鸡只后分别采集获得鸡只的第一原始可见光图像I_a0、第二原始可见光图像I_b0和原始热红外图像I_c0；

4.2)利用第一可见光相机C₁、第二可见光相机C₂、热红外相机T₁的畸变系数分别对第一原始可见光图像I_a0、第二原始可见光图像I_b0和原始热红外图像I_c0进行去畸变操作后分别获得第一去畸变可见光图像I_a1、第二去畸变可见光图像I_b1和去畸变热红外图像I_c1；其中，去畸变操作包括径向畸变操作和切向畸变操作，主要通过以下公式进行设置：

u_d＝(u-u₀)(1+k₁r²+k₂r⁴+k₃r⁶)+2p₁xy+p₂(r²+2x²)+u₀

v_d＝(v-v₀)(1+k₁r²+k₂r⁴+k₃r⁶)+p₁(r²+2y²)xy+2p₂xy+v₀

r²＝x²+y²

其中，u，v分别表示第一原始可见光图像I_a0、第二原始可见光图像I_b0或原始热红外图像I_c0中一个像素点的两个坐标值，u_d，v_d分别表示第一去畸变可见光图像I_a1、第二去畸变可见光图像I_b1或去畸变热红外图像I_c1中对应像素点的两个坐标值，k₁、k₂、k₃分别表示第一可见光相机C₁、第二可见光相机C₂或热红外相机T₁的第一、第二和第三径向畸变系数，p₁、p₂分别表示第一可见光相机C₁、第二可见光相机C₂或热红外相机T₁的第一和第二切向畸变系数，r表示第一可见光相机C₁、第二可见光相机C₂或热红外相机T₁的径向半径，u₀，v₀分别表示第一可见光相机C₁、第二可见光相机C₂或热红外相机T₁的主点在像素坐标系中的两个坐标值。

4.根据权利要求1所述的一种包含RGBDT信息的鸡只三维重建方法，其特征在于，所述步骤5)具体为：

5.1)根据第一可见光相机C₁的内参矩阵K_a及热红外相机T₁的内参矩阵K_c，构建尺度与位置变换矩阵Q，利用尺度与位置变换矩阵Q对去畸变热红外图像I_c1进行尺度与位置调整后，获得初次热红外变换图像I_c2，通过以下公式进行设置；

I_c2＝QI_c1

其中，α_a/c、β_a/c、T_x、T_y分别表示去畸变热红外图像I_c1的横向放大倍数、纵向放大倍数、横向平移距离、纵向平移距离；c_a和c_c分别表示第一去畸变可见光图像I_a1和去畸变热红外图像I_c1的列数，r_a和r_c分别表示第一去畸变可见光图像I_a1和去畸变热红外图像I_c1的行数，T_x和T_y分别表示去畸变热红外图像I_c1在像素坐标系中横向和纵向上的平移量；

分别表示第一可见光相机C₁的横向焦距和纵向焦距，

分别表示热红外相机T₁的横向焦距和纵向焦距；

5.2)将步骤2)中第一可见光相机C₁采集获得的N组加热标定板图像，记为

依次提取各个第一可见光相机C₁采集的加热标定板图像

的棋盘格角点坐标，同时将提取获得的棋盘格角点坐标依次存储至可见光角点矩阵M₁中；

5.3)将步骤2)中热红外相机T₁采集获得的N组加热标定板图像，记为

利用尺度与位置变换矩阵Q对热红外相机T₁采集获得的N组加热标定板图像

进行尺度与位置变换，得到变换后的N组标定板图像

依次提取变换后的标定板图像

的棋盘格角点坐标，同时将提取获得的棋盘格角点坐标依次存储至热红外角点矩阵M₂中；

5.4)由可见光角点矩阵M₁和热红外角点矩阵M₂构成棋盘格角点对集，采用M估计抽样一致性算法剔除错误匹配点对，筛选出最优的L对匹配点对，基于最优的L对匹配点对利用投影变换模型求得投影矩阵P，利用求得的投影矩阵P对初次热红外变换图像I_c2进行平移、旋转、透视操作后，获得配准后热红外图像I_c3，通过以下公式进行设置：

I_c3＝PI_c2。

5.根据权利要求1所述的一种包含RGBDT信息的鸡只三维重建方法，其特征在于，所述步骤6)具体为：

6.1)根据第一可见光相机C₁的内参矩阵K_a、第二可见光相机C₂的内参矩阵K_b、旋转矩阵R和平移向量t，利用Bouguet极线校正方法对第一去畸变可见光图像I_a1和第二去畸变可见光图像I_b1进行立体校正后分别得到第一校正可见光图像I_a2和第二校正可见光图像I_b2；

6.2)将第一校正可见光图像I_a2和第二校正可见光图像I_b2输入到自适应聚合网络模型进行立体匹配与视差估计，输出视差图像I_disp；

6.3)利用三角测量原理对视差图像I_disp进行深度求解，得到深度图像I_depth。

6.根据权利要求5所述的一种包含RGBDT信息的鸡只三维重建方法，其特征在于，所述步骤6.1)具体为：

首先，根据第一可见光相机C₁的内参矩阵K_a、第二可见光相机C₂的内参矩阵K_b、旋转矩阵R和平移向量t，将第一可见光相机C₁和第二可见光相机C₂的两个相机坐标系分别朝对方的相机坐标系旋转，旋转的角度为两个相机坐标系夹角的一半，旋转方向相反，使得第一可见光相机C₁和第二可见光相机C₂的两个成像平面共面，具体公式如下：

接着，将第一可见光相机C₁和第二可见光相机C₂绕自身光轴旋转，使得第一可见光相机C₁和第二可见光相机C₂的两个成像平面行对准，具体公式如下：

其中，R为第一可见光相机C₁和第二可见光相机C₂之间的旋转矩阵，r_l为第一可见光相机C₁绕自身相机坐标系旋转的第一相机旋转矩阵，r_r为第二可见光相机C₂绕自身相机坐标系旋转的第二相机旋转矩阵，r_rect为第一可见光相机C₁或第二可见光相机C₂绕自身光轴旋转的光轴矩阵，R_l为第一可见光相机C₁两次旋转操作的第一立体校正矩阵，R_r为第二可见光相机C₂两次旋转操作的第二立体校正矩阵；

最后，将R_l、R_r分别左乘至第一去畸变可见光图像I_a1和第二去畸变可见光图像I_b1，将两张左乘后的可见光图像进行裁剪，使得两张裁剪后的图像的大小与第一去畸变可见光图像I_a1或第二去畸变可见光图像I_b1的大小相同并分别作为第一校正可见光图像I_a2和第二校正可见光图像I_b2。

Images