CN112837262B - 一种刀闸开合状态的检测方法、介质及系统 - Google Patents

Abstract

本发明公开一种刀闸开合状态的检测方法、介质及系统。该方法包括：获取待检测的刀闸和刀臂所在区域的激光点云数据和可见光图；将激光点云数据投影得到稀疏深度图并对齐；将可见光图和稀疏深度图输入到卷积神经网络后，输出稠密深度图；从可见光图中确定刀闸和刀臂，并得到刀闸和刀臂在可见光图的图像坐标系中的二维坐标；根据稠密深度图中对应刀闸和刀臂的二维坐标的像素点的像素值，将刀闸和刀臂的二维坐标转换为三维坐标；采用刀闸和刀臂的三维坐标计算刀闸和刀臂之间的空间距离；若刀闸和刀臂之间的空间距离小于预设阈值，则确定刀闸闭合；若刀闸和刀臂之间的空间距离不小于预设阈值，则确定刀闸断开。本发明能够更准确地判断刀闸的状态。

Description

一种刀闸开合状态的检测方法、介质及系统

技术领域

本发明涉及刀闸状态检测技术领域，尤其涉及一种刀闸开合状态的检测方法、介质及系统。

背景技术

变电站是连接发电和用户的枢纽，是整个电网安全、可靠运行的重要环节。刀闸开关在变电站中应用广泛且更容易出现故障，部分刀闸经常会出现合闸不完全到位的情况，比如合闸只能到位80％-90％，而这时检测刀闸开合状况的传感器无法区分，给出的信号是已经合闸。这种现象存在严重的安全隐患，随着时间的延长会酿成重大安全事故。因此，如何准确检测刀闸分合操作状态成为影响电网安全的技术难题。

目前检测刀闸状态的方法有：人工观看或者通过向刀闸缝隙处塞纸片等来检查开合情况；人工拍照检查，通过放大刀闸触头位置，查看是否闭合到位；现场装设高清摄像头，调控员远程查看刀闸是否闭合到位。

人工检查显然有许多不便之处，也不符合智能变电站的发展方向。现场装设的单摄像头不能提供空间立体信息，再加上现场光线亮度、天气、视角以及调控员经验等各种因素影响，对于一些刀闸闭合是否已百分之百到位可能无法准确判断，会导致一些本身就有问题的刀闸在送电带负荷后因刀口接触不良而发热，留下重大安全隐患。

因此，现有技术都只能部分解决问题，对问题比较明显的可以给出定性的判断，无法准确判断刀闸闭合是否完全到位。

发明内容

本发明实施例提供一种刀闸开合状态的检测方法、介质及系统，以解决现有技术无法准确判断刀闸闭合是否完全到位的问题。

第一方面，提供一种刀闸开合状态的检测方法，包括：获取待检测的刀闸和刀臂所在区域的激光点云数据和可见光图；将所述激光点云数据投影得到稀疏深度图，并将所述可见光图与所述稀疏深度图对齐；将所述可见光图和所述稀疏深度图输入到融合全局与局部深度信息的基于注意力机制的卷积神经网络后，输出稠密深度图；从所述可见光图中确定所述刀闸和所述刀臂，并得到所述刀闸和所述刀臂在所述可见光图的图像坐标系中的二维坐标；根据所述刀闸和刀臂的二维坐标以及所述稠密深度图中对应所述刀闸和所述刀臂的二维坐标的像素点的像素值，将所述刀闸和所述刀臂的二维坐标转换为三维坐标；采用所述刀闸和所述刀臂的三维坐标计算所述刀闸和所述刀臂之间的空间距离；若所述刀闸和所述刀臂之间的空间距离小于预设阈值，则确定所述刀闸闭合；若所述刀闸和所述刀臂之间的空间距离不小于预设阈值，则确定所述刀闸断开。

第二方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上述第一方面实施例所述的刀闸开合状态的检测方法。

第三方面，提供一种刀闸开合状态的检测系统，包括：如上述第二方面实施例所述的计算机可读存储介质。

这样，本发明实施例，可以得到图像稠密的深度信息，从而更准确地获取刀闸和刀臂，以便更准确地获取刀闸和刀臂的位置，得到更准确的刀闸和刀臂之间的距离，从而能够更准确地判断刀闸的状态是闭合还是断开。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的刀闸开合状态的检测方法的流程图；

图2是本发明实施例的可见光图像编码器的结构示意图；

图3是本发明实施例的降采样模块的结构示意图；

图4是本发明实施例的非对称卷积子模块的结构示意图；

图5是本发明实施例的稀疏深度图像编码器的结构示意图；

图6是本发明实施例的空间注意力模块的结构示意图；

图7是本发明实施例的通道注意力模块的结构示意图；

图8是本发明实施例的可见光解码器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种刀闸开合状态的检测方法。如图1所示，该检测方法包括如下的步骤：

步骤S1：获取待检测的刀闸和刀臂所在区域的激光点云数据和可见光图。

其中，激光点云数据可通过机载激光雷达对刀闸和刀臂所在区域进行扫描得到。可见光图可通过可见光相机拍摄得到。

步骤S2：将激光点云数据投影得到稀疏深度图，并将可见光图与稀疏深度图对齐。

具体的，利用点与处理库PCL将激光点云数据投影至2D平面。首先选取投影平面，构造投影矩阵。这里选取图像坐标系的xOy平面作为投影平面，构造图像坐标系齐次向量，根据齐次向量得到投影矩阵。将点云的三维坐标通过投影矩阵得到对应的前视图，即稀疏深度图。该稀疏深度图是带有稀疏深度信息的16位灰度图。在本发明一具体实施例中，所生成稀疏深度图的图像尺寸为1216×357。对于没有深度值的像素使用零元素进行填充。将可见光图与稀疏深度图的每一像素点一一对应实现对齐的操作。

步骤S3：将可见光图和稀疏深度图输入到融合全局与局部深度信息的基于注意力机制的卷积神经网络后，输出稠密深度图。

在输入到卷积神经网络之前，对可见光图和稀疏深度图进行预处理，预处理的过程如下：

对稀疏深度图进行裁剪。在一具体实施例中，由于稀疏深度图中上方部分是天空，这部分是没有深度值，因此为了简化处理，将1216×357的稀疏深度图裁剪为1216×256。同时将对应的可见光图也裁剪为1216×256。最后将稀疏深度图与可见光图馈入融合全局与局部深度信息的基于注意力机制的卷积神经网络。

具体的，卷积神经网络包括：可见光图像编码器、稀疏深度图像编码器、注意力网络和可见光解码器。基于该卷积神经网络的结构，该步骤具体包括如下的过程：

(1)将可见光图输入到可见光图像编码器后，输出第一特征图、第二特征图和第三特征图。

具体的，如图2所示，可见光编码器包括依次级联的第一降采样模块、第二降采样模块、第一非对称卷积模块、第三降采样模块、第二非对称卷积模块和第三非对称卷积模块。

其中，如图3所示，第一降采样模块、第二降采样模块和第三降采样模块均包括两路并行且依次级联的第一卷积层和池化层，两路输出的特征图按通道串联。两个池化层后依次添加第一归一化层和第一ReLU激活函数层。在一具体实施例中，第一卷积层的卷积核大小为3×3。池化层的卷积核大小为2×2。每经过一次降采样模块，输出的特征图相对于输入的特征图尺寸减小一半。

第一非对称卷积模块、第二非对称卷积模块和第三非对称卷积模块均包括依次级联的两个非对称卷积子模块。如图4所示，每一非对称卷积子模块包括依次级联的第二卷积层、第二ReLU激活函数层、第三卷积层、第二归一化层和第三ReLU激活函数层。在一具体实施例中，第二卷积层的卷积核大小为3×1，第三卷积层的卷积核大小为1×3。第一降采样模块输出第一特征图，第二降采样模块输出第二特征图，第三非对称卷积模块输出第三特征图。第一特征图、第二特征图和第三特征图的尺寸依次减小。第一特征图的尺寸是第二特征图的尺寸的两倍，第二特征图的尺寸是第三特征图的尺寸的两倍。在一具体的实施例中，第一特征图的尺寸为608×128×16，第二特征图的尺寸为304×64×64，第三特征图的尺寸为152×32×128。

具体的，尺寸为1216×256×3(可见光图有RGB三通道)的可见光图输入到第一降采样模块的两路第一卷积层和池化层中，输出的图像经过通道串联后，输入到第一归一化层通过批量归一化处理后，输入到第一ReLU激活函数层通过ReLU激活函数处理后，输出608×128×16的第一特征图。第一特征图输入到第二降采样模块。在第二降采样模块中进行与第一降采样模块相同的操作后，输出304×64×64的第二特征图。该特征图输入到第一非对称卷积模块的第二卷积层处理后，输入到第二ReLU激活函数层通过ReLU激活函数处理后，输入到第三卷积层处理后，输入到第二归一化层通过归一化处理后，输入到第三ReLU激活函数层通过ReLU激活函数处理后，输入到下一级的第二卷积层，重复上述的步骤，输出的特征图再依次输入第三降采样模块、第二非对称卷积模块和第三非对称卷积模块。第三降采样模块中的处理过程与第一降采样模块相同，第二非对称卷积模块和第三非对称卷积模块中的处理过程与第一非对称卷积模块的处理过程相同，在此不再赘述。第三非对称卷积模块输出152×32×128的第三特征图。

(2)将稀疏深度图输入到稀疏深度图像编码器后，在第一特征图、第二特征图和第三特征图的引导下，输出第四特征图、第五特征图、第六特征图和第七特征图。

具体的，如图5所示，稀疏深度图像编码器由依次级联的第一沙漏型子网络和第二沙漏型子网络组成。

其中，第一沙漏型子网络由依次级联的第一下采样卷积层、第二下采样卷积层、第三下采样卷积层、第一上采样反卷积层和第二上采样反卷积层组成。第二沙漏型子网络由依次级联的第四下采样卷积层、第五下采样卷积层、第三上采样反卷积层、第四上采样反卷积层和第五上采样反卷积层组成。第一下采样卷积层、第二下采样卷积层、第三下采样卷积层、第四下采样卷积层和第五下采样卷积层均由依次级联的第一预设步长的第一子卷积层和第二预步长的第二子卷积层组成。在一具体实施例中，第一预设步长为2，第二预设步长为1。第一下采样卷积层、第二下采样卷积层、第三下采样卷积层、第四下采样卷积层和第五下采样卷积层输出的图均依次进行归一化处理和激活函数处理。每一下采样卷积层和上采样反卷积层的卷积核大小均为3×3，通过不同的步长控制特征图的大小。通过上述的结构设计，稀疏深度图像编码器通过下采样卷积层对图像进行编码，通过上采样反卷积层对图像进行解码。

第三特征图与第三下采样卷积层输出的图的通道串联后输入第一上采样反卷积层，第三特征图与第三下采样卷积层输出的图的尺寸和通道数均相同。第二特征图与第一上采样反卷积层输出的图的通道串联后输入第二上采样反卷积层，第二特征图与第一上采样反卷积层输出的图的尺寸和通道数均相同。第一特征图与第二上采样反卷积层输出的图的通道串联后输入第四下采样卷积层，第一特征图与第二上采样反卷积层输出的图的尺寸和通道数均相同。其中，第四特征图、第五特征图、第六特征图和第七特征图的尺寸依次增大。第五特征图的尺寸是第四特征图的尺寸的两倍，第六特征图的尺寸是第五特征图的尺寸的两倍，第七特征图的尺寸是第六特征图的尺寸的两倍。

具体的，尺寸为1216×256×1(灰度图为单通道)的稀疏深度图输入第一沙漏型子网络的第一下采样卷积层后，输出第六特征图的尺寸为608×128×16，第六特征图输入第二下采样卷积层后，输出第五特征图的尺寸为304×64×64，第五特征图输入第三下采样卷积层，输出第四特征图的尺寸为152×32×128。第四特征图和第三特征图(作为引导图)的通道串联后一起输入第一上采样反卷积层，输出第一输出图的尺寸为304×64×64。第一输出图和第二特征图(作为引导图)的通道串联后一起输入第二上采样反卷积层，输出尺寸为608×128×16的第二输出图。第二输出图和第一特征图(作为引导图)的通道串联后一起输入第四下采样卷积层后，输出尺寸为304×64×64的第三输出图。第三输出图输入第五下采样卷积层后，输出尺寸为152×32×128的第四输出图。第四输出图输入第三上采样反卷积层后，输出尺寸为304×64×64的第五输出图。第五输出图输入第四上采样反卷积层后输出尺寸为608×128×16的第六输出图。第六输出图输入第五上采样反卷积层后输出尺寸为1216×256×2的第七特征图。第七特征图包括置信度图和深度图。

通过上述的两个步骤使可见光图和稀疏深度图分别由不同的编码器进行编码，采取后期融合的方式对编码器提取的特征进行融合。

(3)将第三特征图输入到注意力网络后，输出第八特征图。

具体的，注意力网络由依次级联的空间注意力模块和通道注意力模块组成。

其中，如图6所示，空间注意力模块包括并行的四路空间结构。第一路空间结构由依次级联的第一卷积层、第一变形层和第一转置层组成。第一卷积层的卷积核为3×3。第二路空间结构由依次级联的第二卷积层和第二变形层组成。第二卷积层的卷积核为3×3。第三路空间结构为第三变形层。第四路空间结构为第一像素相加层。第一转置层和第二变形层的下一级均级联第一图像相乘层。第一图像相乘层的下一级级联第一Softmax函数层。第一Softmax函数层和第三变形层的下一级均级联第二图像相乘层。第二图像相乘层的下一级依次级联第四变形层和第一像素相加层。

以第一Softmax函数层输出的图的尺寸为128×4864×4864，第三特征图尺寸为152×32×128为例，第一Softmax函数层输出的图对应了152×32的128通道的第三特征图的每个点和该通道特征图上其他点的关系，其数学表达式为：

其中，B和C表示卷积变形后的两张特征图，S_ij表示两个点之间的关系强度，N表示特征图的尺寸，i，j代表两个点。

具体的，以尺寸152×32×128的第三特征图为例。将第三特征图分别输入到第一卷积层、第二卷积层、第三变形层和第一像素相加层。第一卷积层将第三特征图像进行卷积处理后，输出尺寸为152×32×128的第七输出图。第七输出图输入到第一变形层，第一变形层使用pytorch中的reshape操作对图像进行变形处理后，输出尺寸为128×1×4864的第八输出图。第八输出图输入到第一转置层进行转置处理后，输出尺寸为128×4864×1的第九输出图。第二卷积层将第三特征图像进行卷积处理后，输出尺寸为152×32×128的第十输出图。第十输出图输入到第二变形层，第二变形层使用pytorch中的reshape操作对图像进行变形处理后，输出尺寸为128×1×4864的第十一输出图。第三变形层使用pytorch中的reshape操作对第三特征图像进行变形处理后，输出尺寸为128×1×4864的第十二输出图。第九输出图和第十一输出图输入到第一图像相乘层进行图像相乘处理后，输出尺寸为128×4864×4864的第十三输出图。第十三输出图输入到第一Softmax函数层通过Softmax函数进行打分，得到图中每个像素的权重分布后，输入到第二图像相乘层，同时，将第十二输出图也输入到第二图像相乘层。第二图像相乘层将权重分布与第十二输出图相乘后，输入到第四变形层通过pytorch中的reshape操作对图像进行变形处理后，输出尺寸为152×32×128的第十四输出图。将第十四输出图输入到第一像素相加层。第一像素相加层将第十四输出图和第三特征图进行像素相加处理后，输出尺寸为152×32×128的空间特征图。

具体的，如图7所示，通道注意力模块包括并行的四路通道结构。第一路通道结构为第五变形层。第二路通道结构为第六变形层。第三路通道结构为依次级联的第七变形层和第三转置层。第四路通道结构为第二像素相加层。第六变形层和第三转置层的下一级均级联第三图像相乘层。第三图像相乘层的下一级级联第二Softmax函数层。第二Softmax函数层和第五变形层的下一级均级联第四图像相乘层。第四图像相乘层的下一级依次级联第七变形层和第二像素相加层。

其中，通道注意力模块的数学表达式为：

其中，A表示输入特征图。S_ij表示两个通道之间的相关性强度。β表示一个从0开始逐渐学习的权重。E_j表示最后输出的特征图，在一具体实施例中，大小为152×32×128。C表示通道的数量。i，j代表两个通道。

具体的，以尺寸152×32×128的空间特征图为例。将空间特征图分别输入到第五变形层、第六变形层、第七变形层和第二像素相加层。第五变形层使用pytorch中的reshape操作对空间特征图进行变形处理后，输出尺寸为152×4096的第十五输出图。第六变形层使用pytorch中的reshape操作对空间特征图进行变形处理后，输出尺寸为152×4096第十六输出图。第七变形层使用pytorch中的reshape操作对空间特征图进行变形处理后，输入到第三转置层通过转置处理后，输出尺寸为4096×152的第十七输出图。第十六输出图和第十七输出图输入到第三图像相乘层进行图像相乘处理后，输入到第二Softmax函数层通过Softmax函数进行打分，得到图中每个像素的权重分布后，输入到第四图像相乘层，同时，将第十五输出图输入到第四图像相乘层。第四图像相乘层将将权重分布与第十五输出图进行图像相乘处理后，输入到第七变形层通过pytorch中的reshape操作对特征图进行变形处理后，输出尺寸为152×32×128的第十八输出图。将第十八输出图输入到第二像素相加层。第二像素相加层将空间特征图和第十八输出图进行像素相加处理后，输出尺寸为152×32×128的第八特征图。

通过本步骤对两种不同编码器得到的图像特征应用注意力机制，对图像中不同的位置以及不同的通道分配不同的权重。

(4)将第八特征图、第四特征图、第五特征图和和第六特征图输入到可见光解码器后，输出第九特征图。

具体的，如图8所示，可见光解码器由依次级联的第一通道串联层、第三卷积层、第一反卷积层、第二通道串联层、第四卷积层、第二反卷积层、第三通道串联层、第五卷积层和第三反卷积层组成。第七特征图和第六特征图输入第一通道串联层，第五特征图输入第二通道串联层，第四特征图输入第三通道串联层。

具体的，以尺寸为152×32×128的第八特征图、尺寸为152×32×128的第四特征图、尺寸为304×64×64的第五特征图、尺寸为608×128×16的第六特征图为例。将第八特征图和第四特征图输入第一通道串联层通过通道维度串联处理后，输入到第三卷积层通过卷积处理后，输入到第一反卷积层通过反卷积处理后，输入到第二通道串联层。第五特征图输入到第二通道串联层，第二通道串联层将第五特征图和第一反卷积层输出的图通过通道维度串联处理后，输入到第四卷积层通过卷积处理后，输入到第二反卷积层通过反卷积处理后，输入到第三通道串联层。第六特征图输入到第三通道串联层，第三通道串联层将第六特征图和第二反卷积层输出的图通过通道维度串联处理后，输入到第五卷积层通过卷积处理后，输入到第三反卷积层通过反卷积处理后，输出尺寸为1216×256×2的第九特征图。第九特征图包括两个通道，一个通道为置信度图，另一个通道为表示全局信息的密集的深度图。

通过该步骤，采取多尺度的特征融合方式对编码器提取的特征解码，恢复稀疏深度图像中缺失的深度信息，解码器与编码器一样使用不同的卷积核分别解码全局特征以及局部特征。

(5)将第九特征图的置信度图采用softmax激活函数处理后与第九特征图的深度图逐像素相乘得到第一预测深度图。

(6)将第七特征图的置信度图采用softmax激活函数处理后与第七特征图的深度图逐像素相乘得到第二预测深度图。

(7)将第一预测深度图和第二预测深度图加和处理得到稠密深度图。

通过上述的三个步骤将全局特征和局部特征根据不同的权重进行融合，得到最终的稠密深度图。

综上，通过步骤S3可得到稠密的深度信息，从而便于后续步骤通过基于深度学习的目标检测算法确定刀闸和刀臂。

步骤S4：从可见光图中确定刀闸和刀臂，并得到刀闸和刀臂在可见光图的图像坐标系中的二维坐标。

具体的，可通过现有的基于深度学习的目标检测算法(例如，Yolo v3目标检测算法)从可见光图中找到刀闸和刀臂。在可见光图中建立图像坐标系，得到刀闸和刀臂的二维坐标。该图像坐标系的坐标原点为稠密深度图的中心，横向为x轴，纵向为y轴。可见光图与稀疏深度图对齐后，在可见光图坐标系下的坐标也是其在稀疏深度图中的坐标。因此，可见光图的像素点与稠密深度图的像素点在图像坐标系中的坐标相同。

步骤S5：根据刀闸和刀臂的二维坐标以及稠密深度图中对应刀闸和刀臂的二维坐标的像素点的像素值，将刀闸和刀臂的二维坐标转换为三维坐标。

三维坐标为激光雷达坐标系中的坐标，即点云坐标。激光雷达坐标系以激光雷达中心点为原点，遵循右手坐标系的规则，x轴表示深度。

具体的，可通过转换公式进行转换，该转换公式如下：

其中，

表示图像坐标系中的二维坐标，z(c)表示稠密深度图中坐标为

处的像素值，A表示可见光相机的内参矩阵，f_x和f_y表示相机焦距，c_x和c_y表示表示相机主点偏移量。(R|T)表示一个未知的增广矩阵，其中包括了待求的旋转矩阵R与平移矩阵T，(R|T)共同构成了未知的3×4增广矩阵。

表示激光雷达坐标系中的三维坐标。根据EPNP算法求解PNP问题，得到未知的旋转矩阵R与平移矩阵T。r表示旋转矩阵。t表示平移向量。

通过上述转换公式，可将二维坐标

转换为三维坐标

步骤S6：采用刀闸和刀臂的三维坐标计算刀闸和刀臂之间的空间距离。

具体的，以刀闸的中心点代表刀闸，以刀臂的中心点代表刀臂，采用欧式距离计算公式计算刀闸的中心点和刀臂的中心点之间的空间距离作为刀闸和刀臂之间的空间距离。

步骤S7：若刀闸和刀臂之间的空间距离小于预设阈值，则确定刀闸闭合。

该预设阈值可根据经验选择。在一具体实施例中，该预设阈值为0.01m。

步骤S8：若刀闸和刀臂之间的空间距离不小于预设阈值，则确定刀闸断开。

本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现如上述实施例所述的刀闸闭合状态的检测方法。

本发明实施例还公开了一种刀闸闭合状态的检测系统，包括：上述实施例所述的计算机可读存储介质。

综上，本发明实施例，可以得到图像稠密的深度信息，从而更准确地获取刀闸和刀臂，以便更准确地获取刀闸和刀臂的位置，得到更准确的刀闸和刀臂之间的距离，从而能够更准确地判断刀闸的状态是闭合还是断开。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (3)

1.一种刀闸开合状态的检测方法，其特征在于，包括：

获取待检测的刀闸和刀臂所在区域的激光点云数据和可见光图；

将所述激光点云数据投影得到稀疏深度图，并将所述可见光图与所述稀疏深度图对齐；

将所述可见光图和所述稀疏深度图输入到融合全局与局部深度信息的基于注意力机制的卷积神经网络后，输出稠密深度图；

从所述可见光图中确定所述刀闸和所述刀臂，并得到所述刀闸和所述刀臂在所述可见光图的图像坐标系中的二维坐标；

根据所述刀闸和所述刀臂的二维坐标以及所述稠密深度图中对应所述刀闸和所述刀臂的二维坐标的像素点的像素值，将所述刀闸和所述刀臂的二维坐标转换为三维坐标；

采用所述刀闸和所述刀臂的三维坐标计算所述刀闸和所述刀臂之间的空间距离；

若所述刀闸和所述刀臂之间的空间距离小于预设阈值，则确定所述刀闸闭合；

若所述刀闸和所述刀臂之间的空间距离不小于预设阈值，则确定所述刀闸断开；

所述卷积神经网络包括：可见光图像编码器、稀疏深度图像编码器、注意力网络和可见光解码器；所述输出稠密深度图的步骤，包括：

将所述可见光图输入到可见光图像编码器后，输出第一特征图、第二特征图和第三特征图，其中，所述第一特征图、所述第二特征图和所述第三特征图的尺寸依次减小；

将所述稀疏深度图输入到稀疏深度图像编码器后，在所述第一特征图、所述第二特征图和所述第三特征图的引导下，输出第四特征图、第五特征图、第六特征图和第七特征图，其中，所述第四特征图、所述第五特征图、所述第六特征图和所述第七特征图的尺寸依次增大；

将所述第三特征图输入到注意力网络后，输出第八特征图；

将所述第八特征图、所述第四特征图、所述第五特征图和和所述第六特征图输入到可见光解码器后，输出第九特征图；

将所述第九特征图的置信度图采用softmax激活函数处理后与所述第九特征图的深度图逐像素相乘得到第一预测深度图；

将所述第七特征图的置信度图采用softmax激活函数处理后与所述第七特征图的深度图逐像素相乘得到第二预测深度图；

将所述第一预测深度图和所述第二预测深度图加和处理得到稠密深度图；

所述可见光图像编码器包括依次级联的第一降采样模块、第二降采样模块、第一非对称卷积模块、第三降采样模块、第二非对称卷积模块和第三非对称卷积模块，其中，所述第一降采样模块、所述第二降采样模块和所述第三降采样模块均包括两路并行且依次级联的第一卷积层和池化层，两个所述池化层后依次添加第一归一化层和第一ReLU激活函数层，所述第一非对称卷积模块、所述第二非对称卷积模块和所述第三非对称卷积模块均包括依次级联的两个非对称卷积子模块，每一所述非对称卷积子模块包括依次级联的第二卷积层、第二ReLU激活函数层、第三卷积层、第二归一化层和第三ReLU激活函数层；

所述第一降采样模块输出所述第一特征图，所述第二降采样模块输出所述第二特征图，所述第三非对称卷积模块输出所述第三特征图；

所述稀疏深度图像编码器由依次级联的第一沙漏型子网络和第二沙漏型子网络组成，其中，所述第一沙漏型子网络由依次级联的第一下采样卷积层、第二下采样卷积层、第三下采样卷积层、第一上采样反卷积层和第二上采样反卷积层组成，所述第二沙漏型子网络由依次级联的第四下采样卷积层、第五下采样卷积层、第三上采样反卷积层、第四上采样反卷积层和第五上采样反卷积层组成，所述第一下采样卷积层、所述第二下采样卷积层、所述第三下采样卷积层、所述第四下采样卷积层和所述第五下采样卷积层均由依次级联的第一预设步长的第一子卷积层和第二预步长的第二子卷积层组成，所述第一下采样卷积层、所述第二下采样卷积层、所述第三下采样卷积层、所述第四下采样卷积层和所述第五下采样卷积层输出的图均依次进行归一化处理和激活函数处理；

所述第三特征图与所述第三下采样卷积层输出的图的通道串联后输入所述第一上采样反卷积层，所述第二特征图与所述第一上采样反卷积层输出的图的通道串联后输入所述第二上采样反卷积层，所述第一特征图与所述第二上采样反卷积层输出的图的通道串联后输入所述第四下采样卷积层；

所述第一下采样卷积层输出所述第六特征图，所述第二下采样卷积层输出所述第五特征图，所述第三下采样卷积层输出所述第四特征图，所述第二上采样反卷积层输出所述第七特征图；

所述注意力网络由依次级联的空间注意力模块和通道注意力模块组成；

所述空间注意力模块包括并行的四路空间结构，第一路空间结构由依次级联的第一卷积层、第一变形层和第一转置层组成，第二路空间结构由依次级联的第二卷积层和第二变形层组成，第三路空间结构为第三变形层，第四路空间结构为第一像素相加层，所述第一转置层和所述第二变形层的下一级均级联第一图像相乘层，所述第一图像相乘层的下一级级联第一Softmax函数层，所述第一Softmax函数层和所述第三变形层的下一级均级联第二图像相乘层，所述第二图像相乘层的下一级依次级联第四变形层和所述第一像素相加层；

所述通道注意力模块包括并行的四路通道结构，第一路通道结构为第五变形层，第二路通道结构为第六变形层，第三路通道结构为依次级联的第七变形层和第三转置层，第四路通道结构为第二像素相加层，所述第六变形层和所述第三转置层的下一级均级联第三图像相乘层，所述第三图像相乘层的下一级级联第二Softmax函数层，所述第二Softmax函数层和所述第五变形层的下一级均级联第四图像相乘层，所述第四图像相乘层的下一级依次级联第七变形层和所述第二像素相加层；

所述可见光解码器由依次级联的第一通道串联层、第三卷积层、第一反卷积层、第二通道串联层、第四卷积层、第二反卷积层、第三通道串联层、第五卷积层和第三反卷积层组成；

所述第八特征图和所述第四特征图输入所述第一通道串联层，所述第五特征图输入所述第二通道串联层，所述第六特征图输入所述第三通道串联层。

2.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如权利要求1所述的刀闸开合状态的检测方法。

3.一种刀闸开合状态的检测系统，其特征在于，包括：如权利要求2所述的计算机可读存储介质。

Images