CN113390514B - 一种基于多传感器阵列的三维红外温度测量方法 - Google Patents

Abstract

本发明提出一种基于多传感器阵列的三维红外温度测量方法，本方法以红外热像仪、三维激光雷达形成多个传感器节点，利用红外与三维激光雷达的数据融合，建立具有温度信息的三维模型，在此基础上，利用多个节点的视场重叠与衔接，将多个携带温度信息的三维点云模型进行拼接融合，解决单红外传感器视场小、覆盖存在盲区的问题，可以逼真、完整地反映伪装评估对象的外观信息、温度信息和三维结构，快速实现伪装物在长时间过程中的温度分布及其动态变化的测量，更好地为红外伪装性能的评估提供数据支撑。

Description

一种基于多传感器阵列的三维红外温度测量方法

技术领域

本发明涉及工程红外伪装技术，具体是一种基于多传感器阵列的三维红外温度测量方法。

背景技术

输油管道、高温气体排放管道等垂直地埋热管道，可以有效遮蔽其可见光特征，具有一定的防护伪装能力。但直埋管道的热扩散会影响地面的温度均匀性，引起红外特征的暴露。为有效评估不同热红外伪装措施的效果，在理论模拟计算的基础上，应建立局部试验环境模拟野外环境，实际获取伪装物的三维温度实时数据，从而发现物体表面的高温异常点，快速验证伪装存在的短板，具有十分重要的工程应用价值。

热红外成像作为一种非接触式、图形化的测温技术，可以获得物体的二维平面温度，但由于视角单一、缺少三维信息，传统的热像仪测温方式不能适应红外伪装三维温度分析与可视化的需求。目前，随着三维重构技术的快速发展，使得采用组合传感器实现三维热成像重构成为可能。有学者利用机器人或无人机平台搭载激光雷达/深度相机等点云采集设备以及红外热像仪，通过平台运动连续采集数据实现热红外三维场景建模。而红外伪装评估需要长时间对伪装物进行大区域、无死角覆盖测温，平台运动的模式配准难度大、精度低、时效性慢，显然无法满足同一时刻对整个区域的长时间覆盖测温，因此，现有的三维红外测温技术在工程红外伪装领域无法应用。

发明内容

针对背景技术中存在的问题，本发明的目的是提出一种基于多传感器阵列的三维红外温度测量方法，以解决现有技术中无法实现同时刻全视角的覆盖测量的问题，本方法以红外热像仪、三维激光雷达形成多个传感器节点，利用红外与三维激光雷达的数据融合，建立具有温度信息的三维模型，在此基础上，利用多个节点的视场重叠与衔接，将多个携带温度信息的三维点云模型进行拼接融合，解决单红外传感器视场小、覆盖存在盲区的问题，可以逼真、完整地反映伪装评估对象的外观信息、温度信息和三维结构，快速实现伪装物在长时间过程中的温度分布及其动态变化的测量，更好地为红外伪装性能的评估提供数据支撑。

为实现上述目的，本发明采用以下技术方案：

一种基于多传感器阵列的三维红外温度测量方法，具体包括如下步骤：

步骤S1：构建传感器节点，所述传感器节点由红外热像仪和三维激光雷达组成，红外热像仪用于采集被测伪装物的温度信息，三维激光雷达用于采集被测伪装物的三维点云信息；

步骤S2：对方形网格标定板进行加热，利用红外热像仪从不同角度对加热后的标定板进行拍摄，要求覆盖完整的标定板，通过内参标定程序进行红外热像仪内参标定；

步骤S3：对三维激光雷达与红外热像仪进行外参标定；首先，将含ArUco码图案的方形金属板进行加热；然后，采用红外热像仪与三维激光雷达同时进行采集数据，利用2D-3D点对配准求解两者之间的旋转与平移矩阵；

步骤S4：根据被测伪装物的大小，在试验区域适当高度固定安装传感器节点阵列，每个传感器节点的视场与相邻传感器节点的视场具有重叠的区域；

步骤S5：将步骤S2中使用的标定板置于相邻两个红外热像仪重叠的视场区域内，利用双目标定原理进行红外热像仪外参的交叉标定；

步骤S6：重复步骤S5，依次逐对实现所有相邻红外热像仪的外参交叉标定工作；直至完成整个多传感器节点阵列的标定；

步骤S7：将被测对象置于试验区，使用红外热像仪与三维激光雷达采集数据；

步骤S8：利用标定好的多传感器节点阵列，将步骤S7获取的点云数据与红外温度数据进行融合。

所述步骤S1中，构成同一传感器节点的红外热像仪和三维激光雷达固定连接。

所述步骤S2中，采用的内参标定板为定制的Hermann网格标定板，通过内参标定得到内参矩阵[f_x,f_y,γ,c_x,c_y]，其中,f_x为x方向焦距,f_y为y方向焦距，由于一般相机f_x＝f_y,为简单起见，用f_x代表f_y；γ为x,y不垂直时的扭曲系数；c_x、c_y光轴对于投影平面坐标中心的偏移量。

所述步骤S3中，采用的方形金属板采用碳钢板材料，表面做镀锌处理，然后在其左下角喷涂黑色哑光漆，形成ArUco码图案，以达到方形金属板表面具有不同红外发射率的目的；在金属板加热后，在红外热像仪图像中形成ArUco码热图，同时从三维激光雷达点云数据中标记方板3D角点；由于方板的尺寸以及ArUco码的物理位置是已知的，利用提取的2D-3D特征点对，求解红外热像仪与三维三维激光雷达坐标系的旋转矩阵R与平移矩阵t，属于Perspective-n-Point问题，2D与3D特征点的转换关系如下：

其中，u，v表示的是图像像素坐标(u，v)，x,y,z表示的是世界坐标系坐标(x，y，z)；P为3D-2D的投影操作,表示取x，y分量；T表示从世界坐标系转为图像坐标系的转换矩阵，这里定义转换矩阵T＝[R t]；

其中，r表示矩阵中的元素，下角标表示在元素基于0索引的在矩阵中的位置，第一个数为行号，第二数为列号，下同；

选择Lepetit2009年发表的“EPnP:Efficient Perspective-n-Point CameraPose Estimation”论文中的EPnP方法进行求解，如下式，

其中，argmin表示求得误差最小化时的R、t矩阵；

表示3D点，

表示2D点。

所述步骤S5中，双目标定原理为：设定相邻的两个红外热像仪分别为红外热像仪Ⅰ和红外热像仪Ⅱ，根据2D-2D特征点对，求解红外热像仪Ⅰ和红外热像仪Ⅱ的单应性矩阵H，得到转换关系如下：

其中，u₁、v₁表示的是红外热像仪Ⅰ的图像坐标(u₁，v₁)，u₂、v₂表示的是与其相邻的红外热像仪Ⅱ的图像坐标(u₂，v₂)，单应性矩阵H描述了两个相邻的红外热像仪的坐标变换关系。

6、所述步骤S8中，将步骤S7获取的点云数据与红外温度数据融合的具体方法为：

设定相邻的两个传感器节点分别为节点Ⅰ和节点Ⅱ，则节点Ⅰ包括红外热像仪Ⅰ和三维激光雷达Ⅰ，节点Ⅱ包括红外热像仪Ⅱ和三维激光雷达Ⅱ；

利用步骤S5与步骤S3中的标定参数，将相邻三维激光雷达的3D点云数据进行拼接，同时，将点云数据携带的温度数据投影到三维模型上，如下式：

其中，

表示三维激光雷达Ⅰ坐标系到相邻的三维激光雷达Ⅱ坐标系的转换矩阵；

表示三维激光雷达Ⅰ坐标系到红外热像仪Ⅱ坐标系的转换矩阵，为步骤S4中标定结果；

表示红外热像仪Ⅰ到与其相邻的红外热像仪Ⅱ的坐标系的转换矩阵，为步骤S5中标定结果。

本发明的有益效果：

1)组合使用三维激光雷达与红外热像仪，可以同时获取三维点云与二维温度数据。利用多种标定方式的组合，准确地将二维温度数据与三维点云数据进行了配准与融合，很好地解决了室内或室外固定场景下，对伪装对象长时间温度测量的需求，该方式也避免了运动平台三维重建导致的配准难度大、精度低、时效性慢的问题。

2)通过多传感器阵列的安装布局，利用传感器节点间相对坐标关系标定与坐标转换矩阵传递，实现室内固定场景下对测量对象的大视角与无死角覆盖的三维温度测量，可为伪装评估提供完整的数据；通过三维数据的展示，便于准确发现工程红外伪装的设计盲点。

附图说明

图1为本发明的流程图；

图2为本发明实施例中传感器节点的示意图；

图3为本发明实施例中红外热像仪内参标定采用的方形网格标定板示意图；

图4为本发明实施例中三维激光雷达与红外热像仪外参交叉标定采用的含ArUco码的标定板设计图；

图5为本发明实施例中相邻红外热像仪之间外参标定处理过程；

图6为本发明实施例中三维激光雷达与红外热像仪标定后叠加显示模拟示意图；

图7为本发明实施例中传感器节点1所拍摄到的含温度信息的三维点云数据；

图8为本发明实施例中传感器节点2所拍摄到的含温度信息的三维点云数据。

具体实施方式

下面将结合本说明书附图，对本发明的技术方案进行清楚、完整地描述，但所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于多传感器阵列的三维红外温度测量方法，主要包括三个阶段：离线标定、数据采集与数据处理；其中离线标定采用基于标定物的方式，包括红外热像仪内参标定、三维激光雷达与红外热像仪外参标定、红外热像仪外参交叉标定，标定可以得到传感器自身、单传感器节点之间以及传感器节点阵列间的参数；数据采集利用安装好的多传感器节点阵列，获取被测对象的三维点云数据以及红外温度数据；数据处理根据离线标定好的系统位姿关系、焦距、畸变校正参数等，将多个三维点云与温度数据进行融合拼接，实现更大场景、更多视角的数据同时获取。本方法的具体步骤见权利要求书，此处不再重复描述。

实施例1

传感器节点如图2所示，包括一台三维激光雷达与一台长波红外热像仪，两者通过一体的外壳结构固定，便于保持稳定的相对位姿关系。

本实施例中，采用了两个传感器阵列节点，共两台Livox Mid40与AT31F，相隔0.5m并排放置以增大覆盖视野。

本实施例中，三维激光雷达选择Livox Mid40非重复扫描式激光雷达，该雷达可以通过时间延迟扫描，提高点云密度，实现更稠密的点云数据获取；红外热像仪采用艾睿AT31F系列在线测温网络热像仪，波长8-14μm；三维激光雷达为圆锥形视场，视场角为38.4°；三维激光雷达与红外热像仪将点云数据与温度数据通过RJ45网口传输到计算机，计算机对采集到的信息运用标定的参数进行处理，实现数据的拼接融合与显示。

本实施例中，采用Hermann网格标定板进行红外热像仪内参标定以及红外热像仪间的交叉标定；所采用的网格标定板为碳钢材料，表面喷哑光黑色漆，如图3所示，大小为800*800mm，方格大小为60*60mm，方格间隔60mm，数量5*6个，方格中间镂空处理。该标定板通过通过2kW的电磁感应加热控制器实现加热控制。采用的内参标定程序为BoofCV库中Hermann网格标定板的内参标定函数，实现每个方格的角点位置的提取，进而实现内参矩阵[f_x，f_y，γ，c_x，c_y]的求取。

本实施例中，采用双目标定原理标定相邻红外热像仪的外参。将标定板置于相邻红外热像仪的共视区域，使用BoofCV库，完成相邻红外热像仪对Hermann网格标定板的外参矩阵H求解，如图5所示，图中I、Ⅱ所指即为相邻红的两个外热像仪，得到转换关系如下：

其中，u₁、v₁表示的是红外热像仪I的图像坐标(u₁，v₁)，u₂、v₂表示的是红外热像仪Ⅱ的图像坐标(u₂，v₂)，单应性矩阵H描述了两相邻红外热像仪的坐标变换关系。

本实施例中，三维激光雷达与红外热像仪进行外参标定采用的方形金属板采用碳钢板材料，表面做镀锌处理，然后在其左下角喷涂黑色哑光漆，形成ArUco码图案，以达到表面不同红外发射率的目的，如图4所示。在金属板加热后，可以在红外热像仪图像中形成ArUco码热图，利用OpenCV库中的ArUco库函数，提取出2D角点，同时从三维激光雷达点云数据中标记方板3D角点。由于方板的尺寸以及ArUco码的物理位置是已知的，可以利用提取的2D-3D特征点对，使用PnP求解红外热像仪与三维激光雷达坐标系的旋转矩阵R与平移矩阵t，如下式，

其中，P为3D-2D的投影操作，X表示3D点，x表示2D点。通过误差最小化求得最佳的R与t。

图6给出了三维激光雷达与红外热像仪标定后的点云叠加在红外温度上的效果。

利用离线标定的参数，将相邻三维激光雷达的3D点云进行拼接，同时点云数据携带的温度数据也实现了在三维模型上的投影。具体如下：

表示三维激光雷达Ⅰ坐标系到相邻的三维激光雷达Ⅱ坐标系的转换矩阵；

表示三维激光雷达Ⅰ坐标系到红外热像仪Ⅰ坐标系的转换矩阵，为步骤S4中标定结果；

表示红外热像仪Ⅰ到与其相邻的红外热像仪Ⅱ的坐标系的转换矩阵，为步骤S5中标定结果。

图7、图8给出了两个节点所采集到的含温度信息的三维点云数据，两个点云的重叠区域并未出现明显的过渡带，也验证了本发明技术的正确性与可行性。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明未详述部分为现有技术。

Claims (5)

1.一种基于多传感器阵列的三维红外温度测量方法，其特征是：包括如下步骤：

步骤S1：构建传感器节点，所述传感器节点由红外热像仪和三维激光雷达组成，红外热像仪用于采集被测伪装物的温度信息，三维激光雷达用于采集被测伪装物的三维点云信息；

步骤S2：对方形网格标定板进行加热，利用红外热像仪从不同角度对加热后的标定板进行拍摄，要求覆盖完整的标定板，通过内参标定程序进行红外热像仪内参标定；

步骤S3：对三维激光雷达与红外热像仪进行外参标定；首先，将含ArUco码图案的方形金属板进行加热；然后，采用红外热像仪与三维激光雷达同时进行采集数据，利用2D-3D点对配准求解两者之间的旋转与平移矩阵；

步骤S4：根据被测伪装物的大小，在试验区域适当高度固定安装传感器节点阵列，每个传感器节点的视场与相邻传感器节点的视场具有重叠的区域；

步骤S5：将步骤S2中使用的标定板置于相邻两个红外热像仪重叠的视场区域内，利用双目标定原理进行红外热像仪外参的交叉标定；

步骤S6：重复步骤S5，依次逐对实现所有相邻红外热像仪的外参交叉标定工作；直至完成整个多传感器节点阵列的标定；

步骤S7：将被测对象置于试验区，使用红外热像仪与三维激光雷达采集数据；

步骤S8：利用标定好的多传感器节点阵列，将步骤S7获取的点云数据与红外温度数据进行融合；

所述步骤S3中，外参标定的具体方法为：采用的方形金属板为碳钢板材料，表面做镀锌处理，其左下角喷涂黑色哑光漆，形成ArUco码图案，以达到方形金属板表面具有不同红外发射率的目的；在方形金属板加热后，在红外热像仪图像中形成ArUco码热图，同时从三维激光雷达点云数据中标记方形金属板3D角点；由于方板的尺寸以及ArUco码的物理位置是已知的，利用提取的2D-3D特征点对，求解红外热像仪与三维激光雷达坐标系的旋转矩阵R与平移矩阵t，属于Perspective-n-Point问题，2D与3D特征点的转换关系如下：

其中，u，v表示的是图像像素坐标(u，v)，x,y,z表示的是世界坐标系坐标(x，y，z)；P为3D-2D的投影操作,表示取x，y分量；T表示从世界坐标系转为图像坐标系的转换矩阵，这里定义转换矩阵T＝[R t]；

其中，r表示矩阵中的元素，下角标表示在元素基于0索引的在矩阵中的位置，第一个数为行号，第二数为列号，下同；

选择EPnP方法进行求解，如下式，

其中，argmin表示求得误差最小化时的R、t矩阵；

表示3D点，

表示2D点。

2.根据权利要求1所述的一种基于多传感器阵列的三维红外温度测量方法，其特征是：所述步骤S1中，构成同一传感器节点的红外热像仪和三维激光雷达固定连接。

3.根据权利要求1所述的一种基于多传感器阵列的三维红外温度测量方法，其特征是：所述步骤S2中，采用的内参标定板为定制的Hermann网格标定板，通过内参标定得到内参矩阵[f_x,f_y,γ,c_x,c_y]，其中,f_x为x方向焦距,f_y为y方向焦距，f_x＝f_y；γ为x,y不垂直时的扭曲系数；c_x、c_y为光轴对于投影平面坐标中心的偏移量。

4.根据权利要求1所述的一种基于多传感器阵列的三维红外温度测量方法，其特征是：所述步骤S5中，双目标定原理为：设定相邻的两个红外热像仪分别为红外热像仪Ⅰ和红外热像仪Ⅱ，根据2D-2D特征点对，求解红外热像仪Ⅰ和红外热像仪Ⅱ的单应性矩阵H，得到转换关系如下：

其中，u₁、v₁表示的是红外热像仪Ⅰ的图像坐标(u₁，v₁)，u₂、v₂表示的是与其相邻的红外热像仪Ⅱ的图像坐标(u₂，v₂)，单应性矩阵H描述了相邻的两个红外热像仪的坐标变换关系。

5.根据权利要求1所述的一种基于多传感器阵列的三维红外温度测量方法，其特征是：所述步骤S8中，将步骤S7获取的点云数据与红外温度数据融合的具体方法为：

设定相邻的两个传感器节点分别为节点Ⅰ和节点Ⅱ，则节点Ⅰ包括红外热像仪Ⅰ和三维激光雷达Ⅰ，节点Ⅱ包括红外热像仪Ⅱ和三维激光雷达Ⅱ；

利用步骤S5与步骤S3中的标定参数，将相邻三维激光雷达的3D点云数据进行拼接，同时，将点云数据携带的温度数据投影到三维模型上，如下式：

其中，

表示三维激光雷达Ⅰ坐标系到相邻的三维激光雷达Ⅱ坐标系的转换矩阵；

表示三维激光雷达Ⅰ坐标系到红外热像仪Ⅱ坐标系的转换矩阵，为步骤S4中标定结果；

表示红外热像仪Ⅰ到与其相邻的红外热像仪Ⅱ的坐标系的转换矩阵，为步骤S5中标定结果。

Images