CN115731545A - 一种基于融合感知的电缆隧道巡检方法及装置 - Google Patents

Abstract

本发明公开了一种基于融合感知的电缆隧道巡检方法及装置，方法包括如下步骤：分别采用相机和激光雷达采集电缆隧道内环境的图像信息和点云信息；解析图像信息的高层语义特征，给出含有目标的2D定位矩形框；对2D定位矩形框进行极大抑制，获得锥形区域推荐框；将点云信息进行坐标转换处理，并与锥形区域推荐框关联，获取含局部色彩编码的融合点云信息；基于对融合点云信息的分析，给出含目标的3D检测框；融合2D定位矩形框和3D检测框，给出融合检测结果，完成基于融合感知的电缆隧道巡检。基于视觉和激光雷达的融合感知进行巡检，解决电缆隧道环境下巡检机器人检测性能受光照条件影响的问题，提高巡检机器人作业的可靠性。

Description

一种基于融合感知的电缆隧道巡检方法及装置

技术领域

本发明属于智能巡检技术领域，具体涉及一种基于融合感知的电缆隧道巡检方法及装置。

背景技术

作为电网安全运行管理的重要组成部分，巡检电缆隧道成为十分重要的一项工作。近年来，随着人工智能、大数据、计算机视觉等技术的不断发展，通过智能机器人进行电缆隧道巡检已成为可能。电缆隧道智能巡检机器人可以提高电缆管网的现代化管理水平、有效地减轻巡检人员的工作强度、降低人员安全隐患及事故隐患、避免电缆事故的发生，从而大幅度提升电缆管理的现代化和智能化程度，实现精细化监测。

如专利CN115272815A给出了一种基于图像的电缆隧道环境异常识别方法，方法包括以下步骤：步骤1：获取电缆隧道的高清图像；步骤2：将获取的高清图像输入到电缆隧道环境异常识别定位模型，此模型采用深度学习方法训练获得，从而获得电缆隧道环境异常目标图像；步骤3：根据识别结果判定电缆隧道环境异常情况；步骤4：利用双目定位方法获得电缆隧道异常环境的位置坐标；步骤5：机器人朝电缆隧道异常区域靠近。该方案具有方法简单、提高电缆隧道环境检测的自动化程度、数据化程度和实时性、提高自动识别准确率与效率的优点。

如专利CN114419470A给出了一种基于巡检机器人的电缆隧道内壁渗水检测方法及系统，首先获取训练样本集，基于所述训练样本集对特征提取网络进行训练，得到训练好的所述特征提取网络，进一步得到特征图；然后基于所述特征图对候选框网络进行训练，得到训练好的所述候选框网络，进一步得到候选框；其次基于所述特征图和所述候选框对检测网络进行训练，得到训练好的所述检测网络；最后基于训练好的所述特征提取网络、所述候选框网络和所述检测网络对巡检机器人获取的图像进行识别，得到是否发生渗水。该方案在降低人工巡检的工作量的同时，避免了人为主观因素的影响，提升巡检效率的同时，提高了准确性。。

但是，如以上类似的现有技术中，电缆隧道巡检机器人大多使用视觉传感器来检测障碍物，而巡检作业大多在条件很差的电缆隧道内，单一的视觉传感器容易受到光照等条件影响无法保证电缆隧道巡检机器人行进途中的安全性和准确性。

因此，如何电缆隧道巡检机器人进行设定改进，克服电缆隧道中光线差的问题，以实现巡检的安全性和准确性是本领域技术人员亟待解决的问题。

发明内容

针对上述现有技术中存在的缺陷，本发明提供了一种基于融合感知的电缆隧道巡检方法及装置，对电缆隧道内环境数据实时采集并处理多传感器信息的融合感知的方法，具体通过“前融合-检测主干网络-后融合”的步骤，解决电缆隧道环境下电缆巡检机器人检测性能受光照条件影响的问题，实现电缆隧道巡检的安全性和准确性。

第一方面，本发明提供一种基于融合感知的电缆隧道巡检方法，包括如下步骤：

分别采用相机和激光雷达采集电缆隧道内环境的图像信息和点云信息；

解析图像信息的高层语义特征，给出含有目标的2D定位矩形框；

对2D定位矩形框进行极大抑制，获得锥形区域推荐框；

将点云信息进行坐标转换处理，并与锥形区域推荐框关联，获取含局部色彩编码的融合点云信息；

基于对融合点云信息的分析，给出含目标的3D检测框；

融合2D定位矩形框和3D检测框，给出融合检测结果，完成基于融合感知的电缆隧道巡检。

进一步的，对2D定位矩形框进行极大抑制，获得锥形区域推荐框，具体步骤包括：

在2D定位矩形框内进行局部搜索，获取最大置信度的预测框；

分析预测框与2D定位矩形框内其他框的交并比，删除超过交并比阈值的相应框；

迭代以上步骤，至到差值小于设定的mAP阈值，获得锥形区域推荐框。

进一步的，将点云信息进行坐标转换处理，并与锥形区域推荐框关联，获取含局部色彩编码的融合点云信息，具体包括如下步骤：

将预先过滤后的点云信息由激光雷达坐标系转换为像素坐标系，形成初始平面点云信息；

通过映射关系将初始平面点云信息投射到锥形区域推荐框，滤除锥形区域推荐框范围之外的点云，形成中间平面点云信息；

基于锥形区域推荐框内的图像信息和中间平面点云信息，扩充点云信息的编码通道，获取含局色彩编码的融合点云信息。

进一步的，点云信息由激光雷达坐标系转换为像素坐标系，具体关系如下：

其中，

为像素坐标系的某一点，width为像素坐标的宽度，height为像素坐标的高度，(u₀，v₀)为像素坐标系的原点，f为激光雷达的焦距，Φ为旋转矩阵，Δ为偏移向量，0^T为数值0的向量，(x_L，y_L，z_L)为激光坐标系下的某一点。

基于锥形区域推荐框内的图像信息和中间平面点云信息，扩充点云信息的编码通道，具体为：

获取中间平面点云信息对应的锥形区域推荐框内的图像信息和点云信息；

将点云信息由编码通道(x,y,z,r)扩充为(x,y,z,r,S,R,G,B)的编码通道，其中x、y、z为点云信息的空间位置信息，r为采集点云信息的激光雷达反射强度，S为推荐通道，R、G、B为点云信息对应的颜色通道。

进一步的，基于对融合点云信息的分析，给出含目标的3D检测框，具体包括如下步骤：

将融合点云信息输入预先构建的通道扩充的点云检测系统；

融合点云信息转换为稀疏伪图像，并通过引入上下文特征关联模块的卷积神经网络，提取稀疏伪图像中的点云特征；

基于提取的点云特征，通过SSD检测头给出含目标的3D检测框。

进一步的，预先构建的通道扩充的点云检测系统包括依次连接的特征编码网络、卷积神经网络和SSD检测头，特征编码网络将融合点云信息进行划分，在俯视图平面进行投影，形成稀疏伪图像；卷积神经网络包括空间特征提取模型和上下文特征提取模型，空间特征提取模型中的线性层卷积通道数与融合点云信息的维度对应扩充，卷积神经网络输出稀疏伪图像中的由空间特征和上下文特征融合的点云特征。

进一步的，通过引入上下文特征关联模块的卷积神经网络，提取稀疏伪图像中的点云特征，具体包括：

将稀疏伪图像输入空间特征提取模型，获得空间特征；

将稀疏伪图像输入上下文特征提取模型，获取上下文特征；

将空间特征和上下文特征进行串联融合，形成点云特征；

其中，将稀疏伪图像输入上下文特征提取模型，获取上下文特征，具体包括：

选取稀疏伪图像中的任意点，计算与待提取上下文特征的目标点之间的相关程度；

重复以上计算相关程度步骤，通过与稀疏伪图像中其余点的加权求和给出目标点的特征信息；

遍历稀疏伪图像中所有点的特征信息，获取稀疏伪图像的上下文特征。

进一步的，融合2D定位矩形框和3D检测框，给出融合检测结果，具体包括如下步骤：

将2D定位矩形框和3D检测框编码成第一联合稀疏张量；

针对第一联合稀疏张量中的非空元素采用二维卷积进行对应特征的融合，获得第二联合稀疏张量；

通过最大池化将第二联合稀疏张量映射到概率值图像中；

对概率值图像进行极大抑制，并进行目标检测，给出融合检测结果。

进一步的，针对第一联合稀疏张量中的非空元素采用二维卷积进行对应特征的融合，获得第二联合稀疏张量，具体公式关系如下：

其中，T_m,n为2D定位矩形框中第m个候选框与对应的3D检测框中第n个候选框的第二联合稀疏张量，IoU_m,n为2D定位矩形框中第m个候选框与对应的3D检测框中第n个候选框的交并比，

为2D定位矩形框中第m个候选框的置信度分数，

为3D检测框中第n个候选框的置信度分数，dN_n为3D检测框中第n个候选框到俯视图平面的归一化距离，

为2D定位矩形框中第m个候选框，X_m,1,Y_m,1为2D定位矩形框中第m个候选框的左上像素坐标，X_m,2,Y_m,2为2D定位矩形框中第m个候选框的右下像素坐标，

为3D检测框中第n个候选框，H_n,W_n,L_n为3D检测框中第n个候选框的高宽长尺度数值，X_n,Y_n,Z_n为3D检测框中第n个候选框的位置坐标，θ_n为3D检测框中第n个候选框的偏航角。

第二方面，本发明还提供一种基于融合感知的电缆隧道巡检装置，采用如上述的基于融合感知的电缆隧道巡检方法，包括：采集模块以及目标检测模块，采集模块分别采用相机和激光雷达采集电缆隧道内环境的图像信息和点云信息；

目标检测模块包括第一目标检测模块、第二目标检测模块和第三目标检测模块，第一目标检测模块解析图像信息的高层语义特征，给出含有目标的2D定位矩形框，对2D定位矩形框进行极大抑制，获得锥形区域推荐框；第二目标检测模块将点云信息进行坐标转换处理，并与锥形区域推荐框关联，获取含局部色彩编码的融合点云信息，基于对融合点云信息的分析，给出含目标的3D检测框；第三目标检测模块融合2D定位矩形框和3D检测框，给出融合检测结果，完成基于融合感知的电缆隧道巡检。

本发明提供的一种基于融合感知的电缆隧道巡检方法及装置，至少包括如下有益效果：

(1)对电缆隧道内环境数据实时采集并处理多传感器信息的融合感知的方法，具体通过“前融合-检测主干网络-后融合”的步骤，解决电缆隧道环境下电缆巡检机器人检测性能受光照条件影响的问题，实现电缆隧道巡检的安全性和准确性。

(2)在前融合中使用检测网络进行点云顺序编码，能在准确率上保持了较高的水准；在锥形区域推荐框内的局部点云编码，为点云增加了额外的信息量，对3D目标检测有指导作用；点云向图像投影过程中保留了区域内的RGB颜色信息，目标的边界信息可以通过颜色的落差更加准确地体现出来。

(3)点云检测系统中提取空间特征使用了增加深度的卷积层，使原本卷积核的感受野足够大以捕获编码后的点云信息，但网络层数增加，提取到的特征的重要性是逐渐降低的。再结合引入上下文特征提取模型来平衡这种矛盾，通过获取全局点云信息，将所有点云位置的特征加权求和到目标位置，通过嵌入空间中各位置特征之间的相似度函数动态计算相应的权重。

(4)融合2D定位检测框和3D检测框的空间位置与类别语义以概率驱动进行选择，在同一坐标系下不同传感器对同一目标的检测结果会在几何和语义有一致性的原理，决策选择可能被某一单模态方法错误地抑制的候选检测结果，最终获得更加准确的3D目标检测结果。

附图说明

图1为本发明提供的一种基于融合感知的电缆隧道巡检方法流程示意图；

图2为本发明提供的某一实施例的获取含局部色彩编码的融合点云信息流程示意图；

图3为本发明提供的某一实施例的给出含目标的3D检测框流程示意图；

图4为本发明提供的某一实施例的融合2D定位矩形框和3D检测框给出检测结果的流程示意图；

图5为本发明提供的一种基于融合感知的电缆隧道巡检装置结构图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。

现有巡检机器人使用的检测方法大多是基于单一传感器的，视觉传感器采集的图像信息丰富、成本低，但缺乏深度信息且成像质量受光线干扰，在电缆隧道环境下检测性能会受到一定影响；激光雷达采集的激光点云信息提供距离信息、不受光线天气干扰，但缺乏颜色纹理信息，难以单独应用到电缆隧道的巡检作业中。

如图1所示，本发明提供一种基于融合感知的电缆隧道巡检方法，包括如下步骤：

分别采用相机和激光雷达采集电缆隧道内环境的图像信息和点云信息；

解析图像信息的高层语义特征，给出含有目标的2D定位矩形框；

对2D定位矩形框进行极大抑制，获得锥形区域推荐框；

将点云信息进行坐标转换处理，并与锥形区域推荐框关联，获取含局部色彩编码的融合点云信息；

基于对融合点云信息的分析，给出含目标的3D检测框；

融合2D定位矩形框和3D检测框，给出融合检测结果，完成基于融合感知的电缆隧道巡检。

本发明提供一种基于视觉和激光雷达的融合感知的电缆隧道巡检方法，解决电缆隧道环境下巡检机器人检测性能受光照条件影响的问题。其中，相机的型号可以选择萤石C6CN，激光雷达型号可以选择RS-LiDAR-16。当然，在不同的电缆隧道环境下也可以选择其他型号的相机和激光雷达。

相机采集巡检机器人周围环境的图像信息，图像格式可以选择为PNG，再将图像输入2D目标检测器，检测结果经极大抑制(NMS)处理后生成锥形区域推荐框。2D目标检测器可以通过对图像信息高层语义特征的理解，实现对目标的定位和识别，输出定位矩形框。

本发明不对使用的2D目标检测器的具体类型做限制。2D目标检测器对图像直接回归得到目标检测框的坐标、置信度和目标类别的可能性。其中，2D目标检测器在多尺度预测方面则采用了FPN的思想，输出三个尺度的特征层：13×13，26×26，52×52。其中13×13适用于检测大目标，52×52适用于检测小目标，这使得具有大小远近目标的检测鲁棒性。在保持了相同精度的同时，将检测速度提高了两倍以上，适用于本发明前融合的串行数据处理结构。

对2D定位矩形框进行极大抑制，获得锥形区域推荐框，具体步骤包括：

在2D定位矩形框内进行局部搜索，获取最大置信度的预测框；

分析预测框与2D定位矩形框内其他框的交并比，删除超过交并比阈值的相应框；

迭代以上步骤，至到差值小于设定的mAP阈值，获得锥形区域推荐框。

极大抑制(NMS)是进行局部最大值搜索，抑制非极大值元素，在局部区域内只取置信度高的预测框，抑制置信度低的误检框。NMS可以通过迭代不断消除冗余，定位最佳目标位置。

如图2所示，将点云信息进行坐标转换处理，并与锥形区域推荐框关联，获取含局部色彩编码的融合点云信息，具体包括如下步骤：

将预先过滤后的点云信息由激光雷达坐标系转换为像素坐标系，形成初始平面点云信息；

通过映射关系将初始平面点云信息投射到锥形区域推荐框，滤除锥形区域推荐框范围之外的点云，形成中间平面点云信息；

基于锥形区域推荐框内的图像信息和中间平面点云信息，扩充点云信息的编码通道，获取含局色彩编码的融合点云信息。

激光雷达采集巡检机器人周围环境的点云数据，由于激光雷达的探测范围是360度全方位的，而相机视角是水平有限的，因此将点云坐标系与图像坐标系进行关联。

点云信息由激光雷达坐标系转换为像素坐标系，具体关系如下：

其中，

为像素坐标系的某一点，width为像素坐标的宽度，height为像素坐标的高度，(u₀，v₀)为像素坐标系的原点，f为激光雷达的焦距，Φ为旋转矩阵，Δ为偏移向量，0^T为数值0的向量，(x_L，y_L，z_L)为激光坐标系下的某一点。

基于锥形区域推荐框内的图像信息和中间平面点云信息，扩充点云信息的编码通道，具体为：

获取中间平面点云信息对应的锥形区域推荐框内的图像信息和点云信息；

将点云信息由编码通道(x,y,z,r)扩充为(x,y,z,r,S,R,G,B)的编码通道，其中x、y、z为点云信息的空间位置信息，r为采集点云信息的激光雷达反射强度，S为推荐通道，R、G、B为点云信息对应的颜色通道。

过滤后的激光雷达点云利用映射关系均匀变换后向2D图像上投影，在锥视区内的局部编码形成一个目标的推荐区域，在这个区域内进行RGB的颜色编码和推荐通道编码，最后输出局部彩色涂抹编码后的雷达点云。在锥视区对点云进行彩色涂抹，将点云在局部区域内进行顺序编码融合，在点云“反射率”通道后附加一个“推荐通道”和三个“颜色通道”。点云向图像投影过程中保留了区域内的RGB颜色信息，目标的边界信息可以通过颜色的落差更加准确地体现出来。

如图3所示，基于对融合点云信息的分析，给出含目标的3D检测框，具体包括如下步骤：

将融合点云信息输入预先构建的通道扩充的点云检测系统；

融合点云信息转换为稀疏伪图像，并通过引入上下文特征关联模块的卷积神经网络，提取稀疏伪图像中的点云特征；

基于提取的点云特征，通过SSD检测头给出含目标的3D检测框。

进一步的，预先构建的通道扩充的点云检测系统包括依次连接的特征编码网络、卷积神经网络和SSD检测头，特征编码网络将融合点云信息进行划分，在俯视图平面进行投影，形成稀疏伪图像；卷积神经网络包括空间特征提取模型和上下文特征提取模型，空间特征提取模型中的线性层卷积通道数与融合点云信息的维度对应扩充，卷积神经网络输出稀疏伪图像中的由空间特征和上下文特征融合的点云特征。

SSD是一种单阶段检测算法，具有检测速度快、精度高、多尺度适应性好等优点，保证了点云检测系统整体上高效、高速的检测能力。

进一步的，通过引入上下文特征关联模块的卷积神经网络，提取稀疏伪图像中的点云特征，具体包括：

将稀疏伪图像输入空间特征提取模型，获得空间特征；

将稀疏伪图像输入上下文特征提取模型，获取上下文特征；

将空间特征和上下文特征进行串联融合，形成点云特征；

其中，将稀疏伪图像输入上下文特征提取模型，获取上下文特征，具体包括：

选取稀疏伪图像中的任意点，计算与待提取上下文特征的目标点之间的相关程度；

重复以上计算相关程度步骤，通过与稀疏伪图像中其余点的加权求和给出目标点的特征信息；

遍历稀疏伪图像中所有点的特征信息，获取稀疏伪图像的上下文特征。

点云检测系统中提取空间特征使用了增加深度的卷积层，使原本卷积核的感受野足够大以捕获编码后的点云信息，但网络层数增加，提取到的特征的重要性是逐渐降低的。再结合引入上下文特征提取模型来平衡这种矛盾，通过获取全局点云信息，将所有点云位置的特征加权求和到目标位置，通过嵌入空间中各位置特征之间的相似度函数动态计算相应的权重。

如图4所示，融合2D定位矩形框和3D检测框，给出融合检测结果，具体包括如下步骤：

将2D定位矩形框和3D检测框编码成第一联合稀疏张量；

针对第一联合稀疏张量中的非空元素采用二维卷积进行对应特征的融合，获得第二联合稀疏张量；

通过最大池化将第二联合稀疏张量映射到概率值图像中；

对概率值图像进行极大抑制，并进行目标检测，给出融合检测结果。

进一步的，针对第一联合稀疏张量中的非空元素采用二维卷积进行对应特征的融合，获得第二联合稀疏张量，具体公式关系如下：

其中，T_m,n为2D定位矩形框中第m个候选框与对应的3D检测框中第n个候选框的第二联合稀疏张量，IoU_m,n为2D定位矩形框中第m个候选框与对应的3D检测框中第n个候选框的交并比，

为2D定位矩形框中第m个候选框的置信度分数，

为3D检测框中第n个候选框的置信度分数，dN_n为3D检测框中第n个候选框到俯视图平面的归一化距离，

为2D定位矩形框中第m个候选框，X_m,1,Y_m,1为2D定位矩形框中第m个候选框的左上像素坐标，X_m,2,Y_m,2为2D定位矩形框中第m个候选框的右下像素坐标，

为3D检测框中第n个候选框，H_n,W_n,L_n为3D检测框中第n个候选框的高宽长尺度数值，X_n,Y_n,Z_n为3D检测框中第n个候选框的位置坐标，θ_n为3D检测框中第n个候选框的偏航角。

融合2D定位检测框和3D检测框的空间位置与类别语义以概率驱动进行选择，在同一坐标系下不同传感器对同一目标的检测结果会在几何和语义有一致性的原理，决策选择可能被某一单模态方法错误地抑制的候选检测结果，最终获得更加准确的3D目标检测结果。

如图5所示，本发明还提供一种基于融合感知的电缆隧道巡检装置，采用如上述的基于融合感知的电缆隧道巡检方法，包括：采集模块以及目标检测模块，采集模块分别采用相机和激光雷达采集电缆隧道内环境的图像信息和点云信息；

目标检测模块包括第一目标检测模块、第二目标检测模块和第三目标检测模块，第一目标检测模块解析图像信息的高层语义特征，给出含有目标的2D定位矩形框，对2D定位矩形框进行极大抑制，获得锥形区域推荐框；第二目标检测模块将点云信息进行坐标转换处理，并与锥形区域推荐框关联，获取含局部色彩编码的融合点云信息，基于对融合点云信息的分析，给出含目标的3D检测框；第三目标检测模块融合2D定位矩形框和3D检测框，给出融合检测结果，完成基于融合感知的电缆隧道巡检。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于融合感知的电缆隧道巡检方法，其特征在于，包括如下步骤：

分别采用相机和激光雷达采集电缆隧道内环境的图像信息和点云信息；

解析图像信息的高层语义特征，给出含有目标的2D定位矩形框；

对2D定位矩形框进行极大抑制，获得锥形区域推荐框；

将点云信息进行坐标转换处理，并与锥形区域推荐框关联，获取含局部色彩编码的融合点云信息；

基于对融合点云信息的分析，给出含目标的3D检测框；

融合2D定位矩形框和3D检测框，给出融合检测结果，完成基于融合感知的电缆隧道巡检。

2.如权利要求1所述的基于融合感知的电缆隧道巡检方法，其特征在于，对2D定位矩形框进行极大抑制，获得锥形区域推荐框，具体步骤包括：

在2D定位矩形框内进行局部搜索，获取最大置信度的预测框；

分析预测框与2D定位矩形框内其他框的交并比，删除超过交并比阈值的相应框；

迭代以上步骤，至到差值小于设定的mAP阈值，获得锥形区域推荐框。

3.如权利要求1所述的基于融合感知的电缆隧道巡检方法，其特征在于，将点云信息进行坐标转换处理，并与锥形区域推荐框关联，获取含局部色彩编码的融合点云信息，具体包括如下步骤：

将预先过滤后的点云信息由激光雷达坐标系转换为像素坐标系，形成初始平面点云信息；

通过映射关系将初始平面点云信息投射到锥形区域推荐框，滤除锥形区域推荐框范围之外的点云，形成中间平面点云信息；

基于锥形区域推荐框内的图像信息和中间平面点云信息，扩充点云信息的编码通道，获取含局色彩编码的融合点云信息。

4.如权利要求3所述的基于融合感知的电缆隧道巡检方法，其特征在于，点云信息由激光雷达坐标系转换为像素坐标系，具体关系如下：

其中，

为像素坐标系的某一点，width为像素坐标的宽度，height为像素坐标的高度，(u₀，v₀)为像素坐标系的原点，f为激光雷达的焦距，Φ为旋转矩阵，Δ为偏移向量，0^T为数值0的向量，(x_L，y_L，z_L)为激光坐标系下的某一点；

基于锥形区域推荐框内的图像信息和中间平面点云信息，扩充点云信息的编码通道，具体为：

获取中间平面点云信息对应的锥形区域推荐框内的图像信息和点云信息；

将点云信息由编码通道(x,y,z,r)扩充为(x,y,z,r,S,R,G,B)的编码通道，其中x、y、z为点云信息的空间位置信息，r为采集点云信息的激光雷达反射强度，S为推荐通道，R、G、B为点云信息对应的颜色通道。

5.如权利要求1所述的基于融合感知的电缆隧道巡检方法，其特征在于，基于对融合点云信息的分析，给出含目标的3D检测框，具体包括如下步骤：

将融合点云信息输入预先构建的通道扩充的点云检测系统；

融合点云信息转换为稀疏伪图像，并通过引入上下文特征关联模块的卷积神经网络，提取稀疏伪图像中的点云特征；

基于提取的点云特征，通过SSD检测头给出含目标的3D检测框。

6.如权利要求5所述的基于融合感知的电缆隧道巡检方法，其特征在于，预先构建的通道扩充的点云检测系统包括依次连接的特征编码网络、卷积神经网络和SSD检测头，特征编码网络将融合点云信息进行划分，在俯视图平面进行投影，形成稀疏伪图像；卷积神经网络包括空间特征提取模型和上下文特征提取模型，空间特征提取模型中的线性层卷积通道数与融合点云信息的维度对应扩充，卷积神经网络输出稀疏伪图像中的由空间特征和上下文特征融合的点云特征。

7.如权利要求6所述的基于融合感知的电缆隧道巡检方法，其特征在于，通过引入上下文特征关联模块的卷积神经网络，提取稀疏伪图像中的点云特征，具体包括：

将稀疏伪图像输入空间特征提取模型，获得空间特征；

将稀疏伪图像输入上下文特征提取模型，获取上下文特征；

将空间特征和上下文特征进行串联融合，形成点云特征；

其中，将稀疏伪图像输入上下文特征提取模型，获取上下文特征，具体包括：

选取稀疏伪图像中的任意点，计算与待提取上下文特征的目标点之间的相关程度；

重复以上计算相关程度步骤，通过与稀疏伪图像中其余点的加权求和给出目标点的特征信息；

遍历稀疏伪图像中所有点的特征信息，获取稀疏伪图像的上下文特征。

8.如权利要求1所述的基于融合感知的电缆隧道巡检方法，其特征在于，融合2D定位矩形框和3D检测框，给出融合检测结果，具体包括如下步骤：

将2D定位矩形框和3D检测框编码成第一联合稀疏张量；

针对第一联合稀疏张量中的非空元素采用二维卷积进行对应特征的融合，获得第二联合稀疏张量；

通过最大池化将第二联合稀疏张量映射到概率值图像中；

对概率值图像进行极大抑制，并进行目标检测，给出融合检测结果。

9.如权利要求8所述的基于融合感知的电缆隧道巡检方法，其特征在于，针对第一联合稀疏张量中的非空元素采用二维卷积进行对应特征的融合，获得第二联合稀疏张量，具体公式关系如下：

其中，T_m,n为2D定位矩形框中第m个候选框与对应的3D检测框中第n个候选框的第二联合稀疏张量，IoU_m,n为2D定位矩形框中第m个候选框与对应的3D检测框中第n个候选框的交并比，

为2D定位矩形框中第m个候选框的置信度分数，

为3D检测框中第n个候选框的置信度分数，dN_n为3D检测框中第n个候选框到俯视图平面的归一化距离，

为2D定位矩形框中第m个候选框，X_m,1,Y_m,1为2D定位矩形框中第m个候选框的左上像素坐标，X_m,2,Y_m,2为2D定位矩形框中第m个候选框的右下像素坐标，

为3D检测框中第n个候选框，H_n,W_n,L_n为3D检测框中第n个候选框的高宽长尺度数值，X_n,Y_n,Z_n为3D检测框中第n个候选框的位置坐标，θ_n为3D检测框中第n个候选框的偏航角。

10.一种基于融合感知的电缆隧道巡检装置，其特征在于，采用如权利要求1-9任一所述的基于融合感知的电缆隧道巡检方法，包括：采集模块以及目标检测模块，采集模块分别采用相机和激光雷达采集电缆隧道内环境的图像信息和点云信息；

目标检测模块包括第一目标检测模块、第二目标检测模块和第三目标检测模块，第一目标检测模块解析图像信息的高层语义特征，给出含有目标的2D定位矩形框，对2D定位矩形框进行极大抑制，获得锥形区域推荐框；第二目标检测模块将点云信息进行坐标转换处理，并与锥形区域推荐框关联，获取含局部色彩编码的融合点云信息，基于对融合点云信息的分析，给出含目标的3D检测框；第三目标检测模块融合2D定位矩形框和3D检测框，给出融合检测结果，完成基于融合感知的电缆隧道巡检。

Images