CN116310678A - 固态激光雷达与热成像视觉融合的火源识别及定位方法 - Google Patents

Abstract

本发明公开了一种固态激光雷达与热成像视觉融合的火源识别及定位方法，采用将激光点云图像与热成像图像两者融合，通过基于热成像视觉与激光雷达点云配准、融合的火源识别与定位算法，将激光雷达点云的深度信息与热成像视觉的颜色信息结合，弥补了单一热成像没有火源位置信息的缺点。本发明的方法首先利用图像阈值化对热成像图像进行处理，解决热成像图像分辨率低的问题，接着将处理过后的热成像图像经过位姿变换对点云进行上色，解决了点云没有颜色信息的缺点，最终实现两个图像各个点的融合，获得具有深度信息和颜色信息的融合后图像，从而能根据融合后图像有效提高了火源识别及定位的精准性。

Description

固态激光雷达与热成像视觉融合的火源识别及定位方法

技术领域

本发明涉及一种火焰识别及定位方法，具体为一种固态激光雷达与热成像视觉融合的火源识别及定位方法，属于火灾预警及定位技术领域。

背景技术

火灾事故是各类灾害中发生最为频繁、具有较高危险性以及毁灭性的灾害之一，并且具有危害面广、破坏性大等严重问题，给社会生产和人民生命与财产安全带来很大损失。近年来，石油化工、超高压输变电系统、大型仓储物流园区等规模逐渐扩大，火灾隐患以及各种致灾因素大量增多，因此上述地方是火灾防范的重点场所。

传统的火灾探测技术通常根据火灾发生时的温度变化、燃烧气体成分、气溶胶等来探测火源。然而这些特征信号在空间传播过程中会逐渐减弱，而且受火场外围风速风向的影响很大，因此传统的火源探测方法准确度较低。随着数字图像处理技术的发展，基于图像和视频的火灾探测技术逐渐出现并加以应用。然而传统的火灾图像特征提取方法对不同火灾场景和火灾类型的判别能力较弱，识别精度较低。

利用深度学习框架对火焰进行识别检测以及使用多传感器融合进行火焰图像处理识别已成为当前较为常用的两类方法。有学者提出了一种基于卷积神经网络(Convolutional Neural Networks，CNN)的火焰边缘检测器，能够较好的生成边缘图和提取边缘图，但是火灾往往伴随着复杂的环境，极少出现单一火源的情况，这将会导致较大的识别误差。还有学者采用了CNN以及其改进模型结合视频流对火源进行特征提取，但是受限与网络的结构庞大并且对硬件配置的要求高，导致普通设备无法进行计算，对算法使用限制高。另外还有利用深度学习神经网络结合视频流，利用多任务学习策略来联合识别烟雾和估计光流，同时捕捉视频帧内外观特征和帧间运动特征。深度学习可以自适应地提取火源的特征，受环境影响较小，但是深度学习中大多利用视频流进行特征提取无法获得火源的深度信息，不能引导消防机器人进行灭火。

因此，仅使用热成像图像无法表征深度信息，而激光雷达图像无法获得温度信息，故需要采用图像融合策略将可见光与激光雷达图像融合。采用多传感器融合，利用各类传感器的数据特征对火源识别与检测是另一种主流的方法。现有利用多传感器融合的方法对火焰识别大多使用可见光视觉融合，而如果将红外热成像视觉与激光图像融合，则会由于激光图像和红外图像的差异性也限制了图像间的信息融合，受制于激光的线数，激光图像的精度与红外图像有着一定差别，并且激光图像物体清晰，边缘明显锐利，热成像图像成像模糊，区分度低，这使得直接将激光图像与热成像图像进行叠加融合存在困难，目前还没有较好的融合方法，因此如何能将激光图像与热成像图像两者融合，从而提高火焰识别及定位的精度，是本行业的研究方向之一。

发明内容

针对上述现有技术存在的问题，本发明提供一种固态激光雷达与热成像视觉融合的火源识别及定位方法，能较好地将激光点云图像与热成像图像两者融合，从而提高火焰识别及定位的精度。

为了实现上述目的，本发明采用的技术方案是：一种固态激光雷达与热成像视觉融合的火源识别及定位方法，具体步骤为：

A、在所需监控的场所分别安装固态激光雷达和热成像相机，并将固态激光雷达和热成像相机均与计算机连接，完成火焰识别及定位系统的布设工作；

B、采用计算机对热成像相机采用张正友标定法进行相机内参系数的标定；

C、采用计算机将热成像相机和固态激光雷达的时钟源统一，接着将两者的采样时间戳进行对齐，完成热成像相机和固态激光雷达的时间同步；

D、开始进行火源识别及定位时，通过固态激光雷达和热成像相机分别开始采集雷达点云图像和热成像图像，并将采集的图像均传递给计算机；

E、采用计算机求解获得热成像相机与固态激光雷达联合标定的外参；

F、计算机先选择步骤D采集的一帧热成像图像，然后对该帧图像进行二进制阈值化处理；

G、计算机根据步骤F处理后的一帧热成像图像选择出与该帧热成像图像时间同步的一帧雷达点云图像，然后根据步骤E确定的外参使雷达点云图像每个点云点进行坐标变换后与该帧热成像图像一一对应，实现两个图像各个点的融合，最终获得具有深度信息和颜色信息的融合后图像；

H、根据步骤G获得的融合后图像，确定火源范围及位置。

进一步，所述步骤B中进行相机内参系数的标定具体为：

设热成像相机拍摄的图像中每个点像素坐标为[u，v]^T，设O-x-y-z为相机坐标系，通过针孔模型中的针孔投影之后，现实世界的空间点P[X′,Y′,Z′]在成像平面上的坐标为P_camera[X,Y,Z]，相机焦距为f，那么有

在物理成像平面设定一个像素平面o-u-v，在像素平面下得到P′的像素坐标：[u，v]^T；原o位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行；像素坐标在u轴上缩放了α倍，在v轴上缩放了β倍，同时，原点平移[c_x，c_y]^T.那么，P′的坐标与像素坐标[u，v]^T的关系为

并且令αf＝f_x，βf＝f_y，则有

将该式改写为矩阵形式，用到齐次坐标得出

式(4)中K为相机的内参，从而计算得出热成像相机的内参系数。

进一步，所述步骤E中联合标定外参的具体过程为：

设热成像每个像素点为[u，v]^T，雷达点云图像每个像素点为P[X′,Y′,Z′]，求解热成像相机与固态激光雷达之间的外参

根据公式(5)能得出外参

的值；

进一步，所述步骤F进行二进制阈值化处理的具体过程为：

设一帧热成像图像中每一像素点的温度为T_(x,y)，单位为℃，设每一像素点对应的RGB值为C_(x,y)(i,j,k)，设阈值为ε，按照如下规则对该帧热成像图像的每一像素点进行RGB重新赋值：

当某一像素点的温度T_(x,y)大于等于阈值ε时，将该像素点对应的RGB值重新赋值为(255，0，0)，否则，保持该像素点的RGB值，当完成该帧热成像图像的所有像素点处理后，完成该帧热成像图像的二进制阈值化处理。

进一步，所述步骤G中雷达点云图像每个像素点进行坐标变换的具体过程为：

根据已经获得的热成像相机的内参K和热成像相机与固态激光雷达联合标定的外参

则激光雷达的每一个雷达点云点P_lidar＝(x,y,z)转换到相机坐标系的坐标，具体转换过程为：

通过上述变换可以将热成像图像的像素点与点云点P_lidar＝(x,y,z)对应，从而使雷达点云图像每个点云点进行坐标变换后与该帧热成像图像一一对应，实现两个图像各个点的融合，最终获得具有深度信息和颜色信息的融合后图像。

与现有技术相比，为了应对火灾的情况多变性，提高对火源的识别效率与对火源的定位效率，本发明采用将激光点云图像与热成像图像两者融合，通过基于热成像视觉与激光雷达点云配准、融合的火源识别与定位算法，将激光雷达点云的深度信息与热成像视觉的颜色信息结合，弥补了单一热成像没有火源位置信息的缺点；另外本发明首先对热成像相机进行内参标定，接着将相机与雷达进行外参标定，然后利用图像阈值化对热成像图像进行处理，解决热成像图像分辨率低的问题，接着将处理过后的热成像图像根据外参标定情况经过位姿变换对点云进行上色，解决了点云没有颜色信息的缺点，最终实现两个图像各个点的融合，获得具有深度信息和颜色信息的融合后图像，从而能根据融合后图像有效提高了火源识别及定位的精准性。

附图说明

图1是本发明实施例的整体流程原理图；

图2是本发明实施例中二进制阈值化处理流程图；

图3是本发明实施例中二进制阈值化处理后的热成像图像；

图4是本发明实施例中融合后的三维火场图，其中4a为左视图，4b为右视图；

图5是本发明实施例融合前后的对比图，其中5a为未采用本发明融合的图像，5b为采用本发明融合后的图像。

具体实施方式

下面将对本发明作进一步说明。

如图1所示，本发明的具体步骤为：

A、在所需监控的场所分别安装固态激光雷达和热成像相机，并将固态激光雷达和热成像相机均与计算机连接，完成火焰识别及定位系统的布设工作；

B、采用计算机对热成像相机采用张正友标定法进行相机内参系数的标定，热成像相机的内参是相机的内在属性，反应了空间点与像素点之间的变换关系，在固态激光雷达与热成像图像配准的过程中，相机内参影响了配准的位姿精度，本实施例热成像相机为海康威士DS-2TD2166-7/V1型号热成像网络相机，进行内参标定的步骤为：首先，将标定板置于加热器前加热5分钟，为了获得更好的效果，将标定板和加热器之间的距离控制在10cm之内；然后，利用热成像相机从不同的角度对热成像标定板进行拍照，获取标定图片；最后将获取的所有标定图片输入Matlab下的相机标定工具箱，标定工具箱会自动剔除不满足标定要求的图片。工具箱采用张正友标定法进行相机内参系数的标定，具体为：

设热成像相机拍摄的图像中每个点像素坐标为[u，v]^T，设O-x-y-z为相机坐标系，通过针孔模型中的针孔投影之后，现实世界的空间点P[X′,Y′,Z′]在成像平面上的坐标为P_camera[X,Y,Z]，相机焦距为f，那么有

在物理成像平面设定一个像素平面o-u-v，在像素平面下得到P′的像素坐标：[u，v]^T；原o位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行；像素坐标在u轴上缩放了α倍，在v轴上缩放了β倍，同时，原点平移[c_x，c_y]^T.那么，P′的坐标与像素坐标[u，v]^T的关系为

并且令αf＝f_x，βf＝f_y，则有

将该式改写为矩阵形式，用到齐次坐标得出

式(4)中K为相机的内参，

最终得出热成像相机的内参矩阵：

C、采用计算机将热成像相机和固态激光雷达的时钟源统一，接着将两者的采样时间戳进行对齐，由于热成像相机的采样频率大于固态激光雷达的采样频率，每当激光雷达完成一次采样周期之后，寻找其最邻近的相机数据帧，并且将两帧数据进行匹配对齐；完成热成像相机和固态激光雷达的时间同步；

D、开始进行火源识别及定位时，通过固态激光雷达和热成像相机分别开始采集雷达点云图像和热成像图像，并将采集的图像均传递给计算机；

E、采用计算机求解获得热成像相机与固态激光雷达联合标定的外参，具体过程为：

设热成像每个像素点为[u，v]^T，雷达点云图像每个像素点为P[X′,Y′,Z′]，求解热成像相机与固态激光雷达之间的外参

根据公式(5)能得出外参

的值：

F、计算机先选择步骤D采集的一帧热成像图像，然后对该帧图像进行二进制阈值化处理，如图2所示，具体过程为：

设一帧热成像图像中每一像素点的温度为T_(x,y)，单位为℃，设每一像素点对应的RGB值为C_(x,y)(i,j,k)，设阈值为ε，按照如下规则对该帧热成像图像的每一像素点进行RGB重新赋值：

当某一像素点的温度T_(x,y)大于等于阈值ε时，将该像素点对应的RGB值重新赋值为(255，0，0)，否则，保持该像素点的RGB值或者重新赋值为(85，85，85)，当完成该帧热成像图像的所有像素点处理后，如图3所示，完成该帧热成像图像的二进制阈值化处理。

G、计算机根据步骤F处理后的一帧热成像图像选择出与该帧热成像图像时间同步的一帧雷达点云图像，然后根据步骤E确定的外参使雷达点云图像每个点云点进行坐标变换，具体过程为：

根据已经获得的热成像相机的内参K和热成像相机与固态激光雷达联合标定的外参

则激光雷达的每一个雷达点云点P_lidar＝(x,y,z)转换到相机坐标系的坐标，具体转换过程为：

通过上述变换可以将热成像图像的像素点与点云点P_lidar＝(x,y,z)对应，从而使雷达点云图像每个点云点进行坐标变换后与该帧热成像图像一一对应，实现两个图像各个点的融合，如图4所示，最终获得具有深度信息和颜色信息的融合后图像；然后将拍摄的其余各帧图像均重复上述步骤，从而能获得每帧融合后的图像；

H、根据步骤G获得的融合后图像，确定火源范围及位置。

效果验证：

为了验证本发明提出的方法有效性与准确性采用无人车平台在室内对火源进行识别与定位实验。无人车平搭载了海康威士DS-2TD2166-7/V1型号热成像网络相机与大疆Livox-avia型号激光雷达，热成像相机的分辨率为1280×720的热成像图像，采样频率为25Hz；激光雷达的探测距离为0.5～150m，采用花瓣式非重复扫描，水平范围为70.4°竖直范围为77.2°，采样频率为25Hz。为了保证实验的安全性与准确性，将火源替换为同样产生热量的取暖器。在实验的过程中改变热源的位置，使用融合定位算法对热源进行定位，对比测量值与真值，从而对算法进行评估：

热源的识别实验：

将图像阈值处理前的图像与图像阈值处理后的图像进行识别效果对比。实验变量为在不同的光照条件下与不同的距离下，以此进行算法性能分析和比较。如图5所示，基于图像处理过后的热成像图像与原始图像有着显著的差别，对火源的识别及其范围有着显著的区分度；本次共进行两组不同条件下的对比实验，分别为不同光照环境下的对比实验与不同距离下的对比实验。对经过图像处理后的热成像图像进行RGB信息提取，对照两者中红色信息的占比来验证算法的有效性；其中占比为融合前后图像中颜色信息R＝255像素点个数之比，准确率为融合后给火源点云成功赋值颜色信息R＝255的概率。通过提取图像融合过后点云的RGB信息来验证图像处理的准确性。具体数据如下表1所示；

表1图像处理数据

通过表1的数据可以看出，在使用图像处理过后火源在图像中的占比降低，经过图像处理过后提高对火源的识别效率。在图像融合过后，激光点云火源中有红色颜色信息的点云概率高，给火源点云上色的准确率接近为100％，证明本文所提出的融合方法对火源识别及范围确定的准确性高。

热源的定位实验：

对于热源的定位实验，为了验证图像融合的对火源定位的准确性，共测试了10组数据分别在不同的光照条件下与不同的距离下。物体的实际坐标为(x,y,y)，通过算法获得的物体的测量坐标为(x′,y′,z′)，采用欧式距离

来衡量算法的定位误差，采用相对误差/>

来描述最终定位的准确度，结果如表2所示。

表2(a)火源相对定位误差(光照充足)

表2(b)火源相对定位误差(光照不足)

通过表2可得出，在经过图像处理与图像融合过后，在光照充足与光照不足且火源距离在15m以内情况下，相对误差保持在5％以内。光照不足情况下的相对定位误差较光照充足情况下的相对定位误差提升。由于受传感器本身采集距离的影响，测量范围超过20m无法获得精确的定位数据。由此得出，本发明所提出的图像融合对火源实现定位在短距离(15m以内)能实现精确定位，并且受光照影响不大。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种固态激光雷达与热成像视觉融合的火源识别及定位方法，其特征在于，具体步骤为：

A、在所需监控的场所分别安装固态激光雷达和热成像相机，并将固态激光雷达和热成像相机均与计算机连接，完成火焰识别及定位系统的布设工作；

B、采用计算机对热成像相机采用张正友标定法进行相机内参系数的标定；

C、采用计算机将热成像相机和固态激光雷达的时钟源统一，接着将两者的采样时间戳进行对齐，完成热成像相机和固态激光雷达的时间同步；

D、开始进行火源识别及定位时，通过固态激光雷达和热成像相机分别开始采集雷达点云图像和热成像图像，并将采集的图像均传递给计算机；

E、采用计算机求解获得热成像相机与固态激光雷达联合标定的外参；

F、计算机先选择步骤D采集的一帧热成像图像，然后对该帧图像进行二进制阈值化处理；

G、计算机根据步骤F处理后的一帧热成像图像选择出与该帧热成像图像时间同步的一帧雷达点云图像，然后根据步骤E确定的外参使雷达点云图像每个点云点进行坐标变换后与该帧热成像图像一一对应，实现两个图像各个点的融合，最终获得具有深度信息和颜色信息的融合后图像；

H、根据步骤G获得的融合后图像，确定火源范围及位置。

2.根据权利要求1所述固态激光雷达与热成像视觉融合的火源识别及定位方法，其特征在于，所述步骤B中进行相机内参系数的标定具体为：

设热成像相机拍摄的图像中每个点像素坐标为[u，v]^T，设O-x-y-z为相机坐标系，通过针孔模型中的针孔投影之后，现实世界的空间点P[X^′,Y^′,Z^′]在成像平面上的坐标为P_camera[X,Y,Z]，相机焦距为f，那么有

在物理成像平面设定一个像素平面o-u-v，在像素平面下得到P^′的像素坐标：[u，v]^T；原o位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行；像素坐标在u轴上缩放了α倍，在v轴上缩放了β倍，同时，原点平移[c_x，c_y]^T.那么，P′的坐标与像素坐标[u，v]^T的关系为

并且令αf＝f_x，βf＝f_y，则有

将该式改写为矩阵形式，用到齐次坐标得出

式(4)中K为相机的内参，从而计算得出热成像相机的内参系数。

3.根据权利要求1所述固态激光雷达与热成像视觉融合的火源识别及定位方法，其特征在于，所述步骤E中联合标定外参的具体过程为：

设热成像每个像素点为[u，v]^T，雷达点云图像每个像素点为P[X′,Y′,Z′]，求解热成像相机与固态激光雷达之间的外参

根据公式(5)能得出外参

的值。

4.根据权利要求1所述固态激光雷达与热成像视觉融合的火源识别及定位方法，其特征在于，所述步骤F进行二进制阈值化处理的具体过程为：

设一帧热成像图像中每一像素点的温度为T_(x,y)，单位为℃，设每一像素点对应的RGB值为C_(x,y)(i,j,k)，设阈值为ε，按照如下规则对该帧热成像图像的每一像素点进行RGB重新赋值：

当某一像素点的温度T_(x,y)大于等于阈值ε时，将该像素点对应的RGB值重新赋值为(255，0，0)，否则，保持该像素点的RGB值，当完成该帧热成像图像的所有像素点处理后，完成该帧热成像图像的二进制阈值化处理。

5.根据权利要求1所述固态激光雷达与热成像视觉融合的火源识别及定位方法，其特征在于，所述步骤G中雷达点云图像每个像素点进行坐标变换的具体过程为：

根据已经获得的热成像相机的内参K和热成像相机与固态激光雷达联合标定的外参

则激光雷达的每一个雷达点云点P_lidar＝(x,y,z)转换到相机坐标系的坐标，具体转换过程为：

通过上述变换可以将热成像图像的像素点与点云点P_lidar＝(x,y,z)对应，从而使雷达点云图像每个点云点进行坐标变换后与该帧热成像图像一一对应，实现两个图像各个点的融合，最终获得具有深度信息和颜色信息的融合后图像。

Images