CN115359055B - 运输机皮带边缘检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开涉及计算机技术领域，尤其涉及一种运输机皮带边缘检测方法、装置、电子设备和存储介质。其中，该运输机皮带边缘检测方法，包括：获取初始运输机皮带图像；控制双流运输机皮带边缘检测网络模型中的编码器对初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合，其中，双流运输机皮带边缘检测网络模型包括深度自注意力变换网络和卷积神经网络；控制双流运输机皮带边缘检测网络模型中的解码器对运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像。采用本公开可以提高对运输机皮带进行边缘检测时的准确性和实时性。

Description

运输机皮带边缘检测方法、装置、电子设备和存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种运输机皮带边缘检测方法、装置、电子设备和存储介质。

背景技术

在工业实际生产场景中，需要采用运输机皮带来运输物品。运输机皮带跑偏事故会对企业造成巨大经济损失，严重时甚至会造成人员伤亡，及时准确地检测出传送带跑偏情况，并采取有效措施，可以有效避免事故发生，对安全生产意义重大。而实现对运输机皮带跑偏的实时性监测，关键技术是对运输机皮带进行边缘检测。但是相关技术中，对运输机皮带进行边缘检测时的准确性和实时性较低。

发明内容

本公开提供了一种运输机皮带边缘检测方法、装置、电子设备和存储介质，主要目的在于提高对运输机皮带进行边缘检测时的准确性和实时性。

根据本公开的一方面，提供了一种运输机皮带边缘检测方法，包括：

获取初始运输机皮带图像；

控制双流运输机皮带边缘检测网络模型中的编码器对所述初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合，其中，所述双流运输机皮带边缘检测网络模型包括深度自注意力变换网络和卷积神经网络；

控制所述双流运输机皮带边缘检测网络模型中的解码器对所述运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像。

可选的，所述编码器包括深度自注意力变换网络基础模块和卷积神经网络基础模块，所述控制双流运输机皮带边缘检测网络模型中的编码器对所述初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合，包括：

控制所述深度自注意力变换网络基础模块将所述初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像；

控制所述卷积神经网络基础模块将所述初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像；

根据所述第一运输机皮带特征图像、第二运输机皮带特征图像、第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像，确定所述运输机皮带特征图像集合。

可选的，所述深度自注意力变换网络基础模块包括图像块分割层、线性嵌入层、第一使用移动划窗的深度分层视觉自注意变换网络基础模块、图像块合并层和第二使用移动划窗的深度分层视觉自注意变换网络基础模块，所述控制所述深度自注意力变换网络基础模块将所述初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像，包括：

控制所述初始运输机皮带图像依次通过所述图像块分割层、所述线性嵌入层和所述第一使用移动划窗的深度分层视觉自注意变换网络基础模块，得到所述第一运输机皮带特征图像；

控制所述第一运输机皮带特征图像依次通过所述图像块合并层和所述第二使用移动划窗的深度分层视觉自注意变换网络基础模块，得到所述第二运输机皮带特征图像。

可选的，所述卷积神经网络基础模块包括主干层、第一下采样层和第二下采样层，所述控制所述卷积神经网络基础模块将所述初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像，包括：

将所述初始运输机皮带图像输入至所述主干层，得到所述第三运输机皮带特征图像；

控制所述第一下采样层对所述第三运输机皮带特征图像进行下采样，得到所述第四运输机皮带特征图像；

控制所述第二下采样层对所述第四运输机皮带特征图像进行下采样，得到所述第五运输机皮带特征图像。

可选的，所述解码器包括加法器、第一上卷积单元、第二上卷积单元、第三上卷积单元和线性映射层，所述控制所述双流运输机皮带边缘检测网络模型中的解码器对所述运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像，包括：

控制所述加法器对所述第一运输机皮带特征图像和所述第五运输机皮带特征图像进行逐元素相加，得到第六运输机皮带特征图像；

控制所述第一上卷积单元对所述第六运输机皮带特征图像和所述第二运输机皮带特征图像进行上采样，得到第七运输机皮带特征图像；

控制所述第二上卷积单元对所述第七运输机皮带特征图像和所述第四运输机皮带特征图像进行上采样，得到第八运输机皮带特征图像；

控制所述第三上卷积单元对所述第八运输机皮带特征图像和所述第三运输机皮带特征图像进行上采样，得到第九运输机皮带特征图像；

控制所述线性映射层对所述第九运输机皮带特征图像进行分割预测，得到所述目标运输机皮带图像。

可选的，在所述得到目标运输机皮带图像之后，还包括：

对所述目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果。

可选的，所述对所述目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果，包括：

确定所述目标运输机皮带图像中边缘中心线对应的偏移量；

根据所述偏移量和偏移量阈值，确定所述目标运输机皮带图像对应的皮带跑偏结果。

根据本公开的另一方面，提供了一种运输机皮带边缘检测装置，包括：

图像获取单元，用于获取初始运输机皮带图像；

图像编码单元，用于控制双流运输机皮带边缘检测网络模型中的编码器对所述初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合，其中，所述双流运输机皮带边缘检测网络模型包括深度自注意力变换网络和卷积神经网络；

图像解码单元，用于控制所述双流运输机皮带边缘检测网络模型中的解码器对所述运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像。

可选的，所述编码器包括深度自注意力变换网络基础模块和卷积神经网络基础模块，所述图像编码单元包括第一图像转换子单元、第二图像转换子单元和集合确定子单元，所述图像编码单元，用于控制双流运输机皮带边缘检测网络模型中的编码器对所述初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合时：

所述第一图像转换子单元，用于控制所述深度自注意力变换网络基础模块将所述初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像；

所述第二图像转换子单元，用于控制所述卷积神经网络基础模块将所述初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像；

所述集合确定子单元，用于根据所述第一运输机皮带特征图像、第二运输机皮带特征图像、第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像，确定所述运输机皮带特征图像集合。

可选的，所述深度自注意力变换网络基础模块包括图像块分割层、线性嵌入层、第一使用移动划窗的深度分层视觉自注意变换网络基础模块、图像块合并层和第二使用移动划窗的深度分层视觉自注意变换网络基础模块，所述第一图像转换子单元用于控制所述深度自注意力变换网络基础模块将所述初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像时，具体用于：

控制所述初始运输机皮带图像依次通过所述图像块分割层、所述线性嵌入层和所述第一使用移动划窗的深度分层视觉自注意变换网络基础模块，得到所述第一运输机皮带特征图像；

控制所述第一运输机皮带特征图像依次通过所述图像块合并层和所述第二使用移动划窗的深度分层视觉自注意变换网络基础模块，得到所述第二运输机皮带特征图像。

可选的，所述卷积神经网络基础模块包括主干层、第一下采样层和第二下采样层，所述第二图像转换子单元用于控制所述卷积神经网络基础模块将所述初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像时，具体用于：

将所述初始运输机皮带图像输入至所述主干层，得到所述第三运输机皮带特征图像；

控制所述第一下采样层对所述第三运输机皮带特征图像进行下采样，得到所述第四运输机皮带特征图像；

控制所述第二下采样层对所述第四运输机皮带特征图像进行下采样，得到所述第五运输机皮带特征图像。

可选的，所述解码器包括加法器、第一上卷积单元、第二上卷积单元、第三上卷积单元和线性映射层，所述图像解码单元用于控制所述双流运输机皮带边缘检测网络模型中的解码器对所述运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像时，具体用于：

控制所述加法器对所述第一运输机皮带特征图像和所述第五运输机皮带特征图像进行逐元素相加，得到第六运输机皮带特征图像；

控制所述第一上卷积单元对所述第六运输机皮带特征图像和所述第二运输机皮带特征图像进行上采样，得到第七运输机皮带特征图像；

控制所述第二上卷积单元对所述第七运输机皮带特征图像和所述第四运输机皮带特征图像进行上采样，得到第八运输机皮带特征图像；

控制所述第三上卷积单元对所述第八运输机皮带特征图像和所述第三运输机皮带特征图像进行上采样，得到第九运输机皮带特征图像；

控制所述线性映射层对所述第九运输机皮带特征图像进行分割预测，得到所述目标运输机皮带图像。

可选的，在所述得到目标运输机皮带图像之后，还包括：

跑偏检测单元，用于对所述目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果。

可选的，所述跑偏检测单元用于对所述目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果时，具体用于：

确定所述目标运输机皮带图像中边缘中心线对应的偏移量；

根据所述偏移量和偏移量阈值，确定所述目标运输机皮带图像对应的皮带跑偏结果。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述一方面中任一项所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述一方面中任一项所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现前述一方面中任一项所述的方法。

在本公开一个或多个实施例中，通过获取初始运输机皮带图像；控制双流运输机皮带边缘检测网络模型中的编码器对初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合，其中，双流运输机皮带边缘检测网络模型包括深度自注意力变换网络和卷积神经网络；控制双流运输机皮带边缘检测网络模型中的解码器对运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像。因此，通过采用包括深度自注意力变换网络和卷积神经网络的双流运输机皮带边缘检测网络模型进行运输机皮带边缘检测，可以将卷积神经网络的卷积对局部特征的提取能力与深度自注意力变换网络结构对全局、长距离信息感知能力相结合，可以较好地提高皮带边缘检测精度并抑制皮带图像噪声和背景的干扰。同时，通过设计深度自注意力变换网络和卷积神经网络特征融合模块，形成编码器-解码器结构，可以更好地融合全局上下信息，避免了深度自注意力变换网络结构在大规模数据集上预训练，可以灵活调节网络结构，从而可以提高对运输机皮带进行边缘检测时的准确性和实时性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示出本公开实施例提供的第一种运输机皮带边缘检测方法的流程示意图；

图2示出本公开实施例提供的第二种运输机皮带边缘检测方法的流程示意图；

图3示出本公开实施例提供的第二种运输机皮带边缘检测方法的网络结构图；

图4示出本公开实施例提供的使用移动划窗的深度分层视觉自注意变换网络基础模块的结构示意图；

图5示出本公开实施例提供的卷积神经网络基础模块的结构示意图；

图6示出本公开实施例提供的皮带跑偏检测的检测示意图；

图7示出本公开实施例提供的运输机皮带边缘检测方法的场景示意图；

图8示出本公开实施例提供的第一种运输机皮带边缘检测装置的结构示意图；

图9示出本公开实施例提供的第二种运输机皮带边缘检测装置的结构示意图；

图10示出本公开实施例提供的第三种运输机皮带边缘检测装置的结构示意图；

图11是用来实现本公开实施例的运输机皮带边缘检测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在工业实际生产场景中，运输机皮带边缘跑偏往往是某一部分区域的跑偏而导致发生最整体跑偏的故障，相关技术中，可以采用人工检查和传统运输机皮带跑偏检测技术对运输机皮带进行边缘检测，从而对运输机皮带进行跑偏的实时性监测。

根据一些实施例，传统运输机皮带跑偏检测技术主要分为接触式和非接触检测两种。接触式检测技术通常借助机械装置来进行皮带跑偏的定性检测；非接触式检测技术主要是使用传感器、单片机、采集芯片等进行定量检测，两种方式都需要建立专门的通讯设施将数据传输到后台进行处理。

在一些实施例中，传统运输机皮带跑偏检测技术安装耗时、成本高、稳定性差，适应性差，仅靠传感器等信号，无法适应多场景的皮带检测，抗干扰能力差，随着使用时间加长，机械结构老化，准确率下降、检测装置需要运输机皮带跑偏超过一定限度时才能检测到跑偏情况，跑偏处理反应时间长，极大降低了设备的利用率。

易于理解的是，人工检查及传统运输机皮带跑偏检测技术存在着成本高、不稳定、易错检或者漏检等问题，对于长距离、复杂环境下的工业皮带场景往往并不适用。随着工业中摄像头的普及，工业皮带图像数据量日益增长，基于对运输机皮带图像数据的研究并积极探索相关应用技术，成为了新的趋势和突破口。

根据一些实施例，由工业现场皮带跑偏的图像可知，皮带跑偏在图像上往往又较明显的区域变化或者光影变化。因此，只要在适当光照条件下，利用合适的技术就能及时捕捉到明显的图像区域变化，可以实现基于视觉图像的运输机皮带跑偏检测技术，并且可以对运输机皮带边缘进行连续地检测。

在一些实施例中，基于视觉图像的运输机皮带跑偏检测技术主要分为传统边缘检测算法和基于深度学习的边缘检测算法两种。其中，传统边缘检测算法主要根据为当皮带跑偏时，图像灰度值会在皮带边缘附近发生变化，并采用基于微分的方法进行边缘的提取。基于深度学习的边缘检测算法主要根据为将全卷积网络（Fully ConvolutionalNetworks，FCN），DeepLab，整体嵌套边缘检测（Holistically-Nested Edge Detection，HED）网络应用于传送带边缘检测任务，在HED网络的基础上压缩了模型结构并简化了最后的网络输出。

易于理解的是，传统边缘检测算法虽然有检测速度快、实现方便等优点，但是选取合适的梯度阈值比较困难，结果受到阈值选取的影响也较高，从而导致对运输机皮带进行边缘检测时的准确性较低。基于深度学习的边缘检测算法预测的边缘效果较粗糙且处理速度较慢，由于卷积操作本身仅进行局部运算，很难构建像素间长距离的依赖关系，并且实时性较低，检测速度没有达到每秒25帧的实时性要求。

下面结合具体的实施例对本公开进行详细说明。

在第一个实施例中，如图1所示，图1示出本公开实施例提供的第一种运输机皮带边缘检测方法的流程示意图，该方法可依赖于计算机程序实现，可运行于进行运输机皮带边缘检测方法的装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。

其中，运输机皮带边缘检测装置可以是具有运输机皮带边缘检测功能的电子设备，该电子设备包括但不限于：服务器、可穿戴设备、手持设备、个人电脑、平板电脑、车载设备、智能手机、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中电子设备可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理（personal digital assistant，PDA）、第五代移动通信技术（5th Generation Mobile Communication Technology，5G）网络、第四代移动通信技术（the 4th generation mobile communication technology，4G)网络、第三代移动通信技术（3rd-Generation，3G)网络或未来演进网络中的电子设备等。

具体的，该运输机皮带边缘检测方法包括：

S101，获取初始运输机皮带图像；

根据一些实施例，初始运输机皮带图像指的是未经处理的运输机皮带图像。该初始运输机皮带图像并不特指某一固定图像。例如，当运输机皮带发生变化时，该初始运输机皮带图像可以发生变化。

易于理解的是，当电子设备进行运输机皮带边缘检测时，电子设备可以获取初始运输机皮带图像。

S102，控制双流运输机皮带边缘检测网络模型中的编码器对初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合；

根据一些实施例，双流运输机皮带边缘检测网络模型（DFTNet）指的是包括深度自注意力变换网络（Transformer）和卷积神经网络（Convolutional Neural Networks, CNN）的网络模型。该双流运输机皮带边缘检测网络模型将Transformer和CNN进行融合，构建对应的编码器-解码器结构，可以提高网络模型对全局、长距离信息感知能力，可以增强网络上下文信息感知能力以及保留丰富的细节信息，可以将全局与局部信息进行相互融合，并且，可以在较少的参数下，可以提高对运输机皮带进行边缘检测时的准确性，可以实现对运输机皮带边缘的准确检测。

在一些实施例中，Transformer结构不受限于局部运算，能够建模全局上下文信息，在自然语言处理任务上有着出色的表现。

在一些实施例中，该CNN例如可以为CNN双流融合网络。

在一些实施例中，编码器（Encoder）-解码器（Decoder）结构指的是编码器将原始输入信号转化为中间格式，然后解码器将中间格式转化为目的信号的结构。该编码器-解码器结构并不特指某一固定结构。例如，当编码器发生变化时，该编码器-解码器结构可以发生变化。当解码器发生变化时，该编码器-解码器结构也可以发生变化。

根据一些实施例，运输机皮带特征图像指的是编码器对初始运输机皮带图像进行编码处理后得到的图像。该运输机皮带特征图像并不特指某一固定图像。例如，当初始运输机皮带图像发生变化时，该运输机皮带特征图像可以发生变化。当编码器发生变化时，该运输机皮带特征图像也可以发生变化。

在一些实施例中，运输机皮带特征图像集合指的是由至少一个运输机皮带特征图像汇聚而成的一个集合。该运输机皮带特征图像集合并不特指某一固定集合。例如，当运输机皮带特征图像发生变化时，该运输机皮带特征图像集合可以发生变化。当初始运输机皮带图像发生变化时，该运输机皮带特征图像集合也可以发生变化。

易于理解的是，当电子设备获取到初始运输机皮带图像，电子设备可以控制双流运输机皮带边缘检测网络模型中的编码器对初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合。

S103，控制双流运输机皮带边缘检测网络模型中的解码器对运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像。

根据一些实施例，目标运输机皮带图像指的是对运输机皮带特征图像集合进行解码处理后得到的图像。该目标运输机皮带图像包含运输机皮带边缘检测结果。

易于理解的是，当电子设备获取到运输机皮带特征图像集合时，电子设备可以控制双流运输机皮带边缘检测网络模型中的解码器对运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像。

综上，本公开实施例提供的方法，通过获取初始运输机皮带图像；控制双流运输机皮带边缘检测网络模型中的编码器对初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合；控制双流运输机皮带边缘检测网络模型中的解码器对运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像。因此，针对初始运输机皮带图像中边缘不明显、背景复杂、干扰物信息较多且连续变化的特点，通过采用包括深度自注意力变换网络和卷积神经网络的双流运输机皮带边缘检测网络模型进行运输机皮带边缘检测，可以将卷积神经网络的卷积对局部特征的提取能力与深度自注意力变换网络结构对全局、长距离信息感知能力相结合，可以较好地提高皮带边缘检测精度并抑制皮带图像噪声和背景的干扰。同时，通过设计深度自注意力变换网络和卷积神经网络特征融合模块，形成编码器-解码器结构，可以更好地融合全局上下信息，可以避免了深度自注意力变换网络结构在大规模数据集上预训练，可以灵活调节网络结构，从而可以提高对运输机皮带进行边缘检测时的准确性和实时性。

请参见图2和图3，图2示出本公开实施例提供的第二种运输机皮带边缘检测方法的流程示意图，图3示出本公开实施例提供的第二种运输机皮带边缘检测方法的网络结构图。该方法可以由电子设备执行。具体的，该运输机皮带边缘检测方法包括：

S201，获取初始运输机皮带图像；

根据一些实施例，电子设备获取初始运输机皮带图像时，可以控制至少一个摄像头对工厂现场的运输机皮带进行图像采集，得到运输机皮带现场图像，并对该运输机皮带现场图像进行数据处理，得到初始运输机皮带图像，接着，可以控制网络传输设备将该初始运输机皮带图像输入至电子设备。

在一些实施例中，摄像头可以根据实际情况安装在工业场景中不同位置的皮带机相应区域内。

在一些实施例中，网络传输设备例如可以为数据传输网线，从而，电子设备可以通过工业以太网连接摄像头来获取皮带实际运行图像，可以实时监测到运输机皮带的运行转态，并在显示屏中展示监测到的运输机皮带的运行转态。

易于理解的是，当电子设备进行运输机皮带边缘检测时，电子设备可以获取初始运输机皮带图像。

S202，控制深度自注意力变换网络基础模块将初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像；

根据一些实施例，由于双流运输机皮带边缘检测网络模型将Transformer和CNN进行融合，构建对应的编码器-解码器结构，因此，编码器可以包括深度自注意力变换网络基础模块和卷积神经网络基础模块两个分支。

在一些实施例中，深度自注意力变换网络基础模块包括图像块分割（PatchPartition）层、线性嵌入（Linear Embedding）层、第一使用移动划窗的深度分层视觉自注意变换网络（SwinT）基础模块、图像块合并（Patch Merging）层和第二使用移动划窗的深度分层视觉自注意变换网络（SwinT）基础模块。

根据一些实施例，如图3所示，当电子设备控制深度自注意力变换网络基础模块将初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像时，电子设备可以控制初始运输机皮带图像依次通过Patch Partition层、Linear Embedding层和第一SwinT基础模块，得到第一运输机皮带特征图像。接着，电子设备可以控制第一运输机皮带特征图像依次通过Patch Merging层和第二SwinT基础模块，得到第二运输机皮带特征图像。

在一些实施例中，当电子设备控制初始运输机皮带图像依次通过PatchPartition层、Linear Embedding层和第一SwinT基础模块，得到第一运输机皮带特征图像时，首先，电子设备可以通过Patch Partition层将初始运输机皮带图像转换为相互不重叠的4×4的序列小块，并将皮带图像特征的通道数变为4×4×3=48。接着，电子设备可以控制Linear Embedding层将运输机皮带特征图像转换为任意维度，得到一个图像大小（分辨率）表示为H/4×W/4×C的运输机皮带特征图像，其中，H表示初始运输机皮带图像的高度，W表示初始运输机皮带图像的宽度，C表示皮带图像特征的通道数。最后，电子设备可以通过第一SwinT基础模块将该图像大小表示为H/4×W/4×C的运输机皮带特征图像转换为第一运输机皮带特征图像，其中，该第一运输机皮带特征图像的图像大小可以表示为H/4×W/4×32C。

在一些实施例中，当电子设备控制第一运输机皮带特征图像依次通过PatchMerging层和第二SwinT基础模块，得到第二运输机皮带特征图像时，电子设备可以通过Patch Merging层和第二SwinT基础模块将图像大小表示为H/4×W/4×32C的第一运输机皮带特征图像转换为图像大小表示为H/8×W/8×64C的第二运输机皮带特征图像。

根据一些实施例，图4示出本公开实施例提供的SwinT基础模块的结构示意图。如图4所示，有别于卷积的多头注意力机制（multi-head self attention，MSA），本公开实施例采用的SwinT基础模块，也就是第一SwinT基础模块和第二SwinT基础模块，由第一多头自注意力模块和第二多头自注意力模块构成。第一多头自注意力模块的输出端与第二多头自注意力模块的输入端连接，第一多头自注意力模块的输入端为SwinT基础模块的输入端，第二多头自注意力模块的输出端为SwinT基础模块的输出端。

在一些实施例中，如图4所示，第一多头自注意力模块包括两个层归一化（LayerNormalization，LN）、基于窗口的多头自注意力机制（Window Based Multi-head SelfAttention，W-MSA）、两个残差连接和多层感知机（Multi-Layer Perceptron，MLP），其中，第一个LN的输入端与第一个残差连接的第一输入端连接，第一个LN的输出端与W-MSA的输入端连接，W-MSA的输出端与第一个残差连接的第二输入端连接，第一个残差连接的输出端分别与第二个LN的输入端和第二个残差连接的第一输入端连接，第二个LN的输出端和MLP的输入端连接，MLP的输出端和第二个残差连接的第二输入端连接，第二个残差连接的输出端与第二多头自注意力模块的输入端连接。

在一些实施例中，如图4所示，第二多头自注意力模块包括两个LN、加入滑动窗口（Shift-Window）操作的基于窗口的多头自注意力机制（Shift Window Based Multi-headSelf Attention，SW-MSA）、两个残差连接和多层感知机（Multi-Layer Perceptron，MLP），其中，第一个LN的输入端分别与第一个残差连接的第一输入端和第一多头自注意力模块的输出端连接，第一个LN的输出端与SW-MSA的输入端连接，SW-MSA的输出端与第一个残差连接的第二输入端连接，第一个残差连接的输出端分别与第二个LN的输入端和第二个残差连接的第一输入端连接，第二个LN的输出端和MLP的输入端连接，MLP的输出端和第二个残差连接的第二输入端连接，第二个残差连接的输出端为SwinT基础模块的输出端。

在一些实施例中，MLP可以由两层线性层及GELU（Gaussian Error Linear Unit）激活函数组成。

根据一些实施例，SwinT基础模块采用W-MSA可以降低常用自注意力机制的计算复杂度，整体计算过程可以参考下式：

其中，z ^l 表示第l个SwinT基础模块(即本公开实施例中的第一SwinT基础模块)经MLP和残差连接后输出的特征，

表示经W-MSA和残差连接后输出的特征，z ^l+1表示第l+1个SwinT基础模块(即本公开实施例中的第二SwinT基础模块)经MLP和残差连接后输出的特征，

表示经SW-MSA和残差连接后输出的特征，z ^l-1表示输入至第一SwinT基础模块中的特征。

在一些实施例中，计算多头自注意力机制时，每头的计算方式如下式所示：

其中，

分别代表Query矩阵，Key矩阵，Value矩阵，M²和d分别代表一个窗口里图像块数量和Query矩阵或Key矩阵的特征维度数，B的值来源于偏置矩阵

，K ^T 代表Key矩阵的转置矩阵。

易于理解的是，当电子设备获取到初始运输机皮带图像时，电子设备可以控制Transformer基础模块将初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像。

S203，控制卷积神经网络基础模块将初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像；

根据一些实施例，图5示出本公开实施例提供的卷积神经网络基础模块的结构示意图。如图5所示，卷积神经网络基础模块包括主干（Stem）层、第一下采样层和第二下采样层。

在一些实施例中，如图5所示，该主干层包括两个子主干层，其中，每一个子主干层均由一个卷积核大小为3×3、步幅为1、填充数为1的卷积，以及批量标准化（BatchNormalization, BN）和线性整流函数（Rectified Linear Unit，ReLU）组成。其中，第一个子主干层的输出端连接第二个子主干层输入端，第一个子主干层的输入端为主干层的输入端，第二个子主干层的输出端为主干层的输出端。

在一些实施例中，该主干层还可以包括一个卷积核大小为3×3、步幅为2、填充数为1的卷积。

在一些实施例中，第一下采样层和第二下采样层可以实现大小为2×2、步幅为2的最大池化（maxpooling）操作，即下采样操作。其中，每次下采样后皮带图像特征的通道数加倍。

根据一些实施例，如图3所示，当电子设备控制卷积神经网络基础模块将初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像时，首先，电子设备可以将初始运输机皮带图像输入至主干层，得到第三运输机皮带特征图像，该第三运输机皮带特征图像的图像大小可以为H×W×8C。接着，电子设备可以控制第一下采样层对第三运输机皮带特征图像进行下采样，得到第四运输机皮带特征图像，该第四运输机皮带特征图像的图像大小可以为H/2×W/2×16C。最后，电子设备可以控制第二下采样层对第四运输机皮带特征图像进行下采样，得到第五运输机皮带特征图像，该第五运输机皮带特征图像的图像大小可以为H/4×W/4×32C。

易于理解的是，当电子设备获取到初始运输机皮带图像时，电子设备可以控制卷积神经网络基础模块将初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像。

S204，根据第一运输机皮带特征图像、第二运输机皮带特征图像、第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像，确定运输机皮带特征图像集合；

易于理解的是，当电子设备获取到第一运输机皮带特征图像、第二运输机皮带特征图像、第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像时，电子设备可以确定运输机皮带特征图像集合，其中，该运输机皮带特征图像集合可以包括第一运输机皮带特征图像、第二运输机皮带特征图像、第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像。

S205，控制加法器对第一运输机皮带特征图像和第五运输机皮带特征图像进行逐元素相加，得到第六运输机皮带特征图像，控制第一上卷积单元对第六运输机皮带特征图像和第二运输机皮带特征图像进行上采样，得到第七运输机皮带特征图像；

根据一些实施例，本公开实施例提供的上卷积单元，例如第一上卷积单元、第二上卷积单元和第三上卷积单元，均可以由双线性差值、1×1卷积组成。

在一些实施例中，运输机皮带特征图像通过上卷积单元进行上采样操作后，特征图像的通道数量减半。

易于理解的是，当电子设备获取到运输机皮带特征图像集合时，电子设备可以控制加法器对第一运输机皮带特征图像和第五运输机皮带特征图像进行逐元素相加，得到第六运输机皮带特征图像，控制第一上卷积单元对第六运输机皮带特征图像和第二运输机皮带特征图像进行上采样，得到第七运输机皮带特征图像。

S206，控制第二上卷积单元对第七运输机皮带特征图像和第四运输机皮带特征图像进行上采样，得到第八运输机皮带特征图像；

易于理解的是，当电子设备获取到第七运输机皮带特征图像时，电子设备可以控制第二上卷积单元对第七运输机皮带特征图像和第四运输机皮带特征图像进行上采样，得到第八运输机皮带特征图像。

S207，控制第三上卷积单元对第八运输机皮带特征图像和第三运输机皮带特征图像进行上采样，得到第九运输机皮带特征图像；

根据一些实施例，运输机皮带特征图像集合在经过第一上卷积单元、第二上卷积单元和第三上卷积单元时，每个上采样步骤由一个可以使图像特征通道数量减半的上卷积操作构成，通过将提取到的上下文特征与编码器的多尺度特征融合在一起，进而可以抵消由于CNN卷积操作带来的空间信息的损失。

易于理解的是，当电子设备获取到第八运输机皮带特征图像时，电子设备可以控制第三上卷积单元对第八运输机皮带特征图像和第三运输机皮带特征图像进行上采样，得到第九运输机皮带特征图像，该第九运输机皮带特征图像的图像大小可以为H×W×3。

S208，控制线性映射层对第九运输机皮带特征图像进行分割预测，得到目标运输机皮带图像；

根据一些实施例，通过线性映射层（Linear Projection）可以将上采样操作得到的上采样特征进行像素级的分割预测，最终实现对皮带边缘的准确检测。

根据一些实施例，当电子设备获取到目标运输机皮带图像时，电子设备还可以根据DFTNet中的损失函数对该目标运输机皮带图像进行预测。

在一些实施例中，该损失函数例如可以为交叉熵损失函数（CrossEntropy Loss），该交叉熵损失函数可以用于检测实际预测值与标签值两个概率之间描述。当交叉熵损失函数的值越小时，表明预测的结果越接近于目标结果。具体计算公式如下：

其中，x表示样本，class表示类别，j表示样本x的标签值，正类为1，负类为0。

根据一些实施例，当构建完成DFTNet时，可以通过构建工业皮带数据集，并在数据集上通过大量实验分别对DFTNet、传统运输机皮带跑偏检测技术和基于视觉图像的运输机皮带跑偏检测技术进行验证，验证结果表明，相比与传统运输机皮带跑偏检测技术和基于视觉图像的运输机皮带跑偏检测技术，DFTNet取得了最好的mIoU、ACC、mF1、mRecall分数，且在保证检测精度的同时，浮点运算和参数量也颇具优势，处理图像帧率达53.07fps，更加适用于工业实际场景。

在一些实施例中，可以对DFTNet进行进一步改进及优化，同时对工业皮带数据集进行扩充，使DFTNet更加具有泛化性，可以更加有效地应用到背景更加复杂的工业场景下皮带边缘检测中。

易于理解的是，当电子设备获取到第九运输机皮带特征图像时，电子设备可以控制线性映射层对第九运输机皮带特征图像进行分割预测，得到目标运输机皮带图像，该目标运输机皮带图像的图像大小可以为H×W×2。

S209，对目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果。

根据一些实施例，当电子设备对目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果时，首先，电子设备可以确定目标运输机皮带图像中边缘中心线对应的偏移量。接着，电子设备可以根据偏移量和偏移量阈值，确定目标运输机皮带图像对应的皮带跑偏结果。

在一些实施例中，图6示出本公开实施例提供的皮带跑偏检测的检测示意图。如图6所示，

为目标运输机皮带图像中左侧边缘起始点横坐标，

为目标运输机皮带图像中右侧边缘起始点横坐标，

为目标运输机皮带图像中左侧边缘终点横坐标，

为目标运输机皮带图像中右侧边缘终点横坐标，

为两侧起始点横坐标的平均值，

为两侧终点横坐标的平均值，其中，

，

。

在一些实施例中，通过两侧起始点横坐标的平均值和两侧终点横坐标的平均值，可以根据下式确定目标运输机皮带图像中边缘中心线对应的偏移量δ：

其中，

表示标签图中两侧起始点横坐标的平均值，

表示标签图中两侧终点横坐标的平均值。

在一些实施例中，标签图指的是皮带处于无跑偏状态时的运输机皮带图像。

在一些实施例中，当偏移量δ大于偏移量阈值时，可以认为皮带跑偏结果为传送带跑偏，或传送带已有跑偏迹象。

在一些实施例中，当电子设备判断皮带跑偏结果为传送带跑偏，或传送带已有跑偏迹象时，电子设备可以进行异常预警。

根据一些实施例，图7示出本公开实施例提供的运输机皮带边缘检测方法的场景示意图。如图7所示，摄像头可以将运输机皮带的现场图片通过数据传输网线输入至服务器中，服务器可以根据该运输机皮带的现场图片确定目标运输机皮带图像以及皮带跑偏结果，并将皮带跑偏结果存储至日志中，同时，还可以在显示屏中展示该目标运输机皮带图像、皮带跑偏结果以及存储的日志。

易于理解的是，当电子设备获取到目标运输机皮带图像时，电子设备可以对目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果。

综上，本公开实施例提供的方法，通过获取初始运输机皮带图像，控制深度自注意力变换网络基础模块将初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像，控制卷积神经网络基础模块将初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像，根据第一运输机皮带特征图像、第二运输机皮带特征图像、第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像，确定运输机皮带特征图像集合，控制加法器对第一运输机皮带特征图像和第五运输机皮带特征图像进行逐元素相加，得到第六运输机皮带特征图像，控制第一上卷积单元对第六运输机皮带特征图像和第二运输机皮带特征图像进行上采样，得到第七运输机皮带特征图像，控制第二上卷积单元对第七运输机皮带特征图像和第四运输机皮带特征图像进行上采样，得到第八运输机皮带特征图像，控制第三上卷积单元对第八运输机皮带特征图像和第三运输机皮带特征图像进行上采样，得到第九运输机皮带特征图像，控制线性映射层对第九运输机皮带特征图像进行分割预测，得到目标运输机皮带图像，对目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果。因此，通过采用包括深度自注意力变换网络和卷积神经网络的双流运输机皮带边缘检测网络模型进行运输机皮带边缘检测，可以有效利用深度自注意力变换网络和卷积神经网络的各自优势分别提取局部和全局特征，可以将卷积神经网络的卷积对局部特征的提取能力与深度自注意力变换网络结构对全局、长距离信息感知能力相结合，可以较好地提高皮带边缘检测精度并抑制皮带图像噪声和背景的干扰，并且，通过通道加法和上采样操作，达到交互融合的状态，既构建了皮带特征图像上下文依赖关系，又丰富了局部细节信息，可以增强网络提取特征的能力。同时，通过设计深度自注意力变换网络和卷积神经网络特征融合模块，形成编码器-解码器结构，可以更好地融合全局上下信息，避免了深度自注意力变换网络结构在大规模数据集上预训练，可以灵活调节网络结构，从而可以提高对运输机皮带进行边缘检测时的准确性和实时性。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

请参见图8，其示出本公开实施例提供的第一种运输机皮带边缘检测装置的结构示意图。该运输机皮带边缘检测装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该运输机皮带边缘检测装置800包括图像获取单元801、图像编码单元802和图像解码单元803，其中：

图像获取单元801，用于获取初始运输机皮带图像；

图像编码单元802，用于控制双流运输机皮带边缘检测网络模型中的编码器对初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合，其中，双流运输机皮带边缘检测网络模型包括深度自注意力变换网络和卷积神经网络；

图像解码单元803，用于控制双流运输机皮带边缘检测网络模型中的解码器对运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像。

可选的，图9示出本公开实施例提供的第二种运输机皮带边缘检测装置的结构示意图。如图9所示，编码器包括深度自注意力变换网络基础模块和卷积神经网络基础模块，图像编码单元802包括第一图像转换子单元812、第二图像转换子单元822和集合确定子单元832，图像编码单元802用于控制双流运输机皮带边缘检测网络模型中的编码器对初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合时：

第一图像转换子单元812，用于控制深度自注意力变换网络基础模块将初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像；

第二图像转换子单元822，用于控制卷积神经网络基础模块将初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像；

集合确定子单元832，用于根据第一运输机皮带特征图像、第二运输机皮带特征图像、第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像，确定运输机皮带特征图像集合。

可选的，深度自注意力变换网络基础模块包括图像块分割层、线性嵌入层、第一使用移动划窗的深度分层视觉自注意变换网络基础模块、图像块合并层和第二使用移动划窗的深度分层视觉自注意变换网络基础模块，第一图像转换子单元812用于控制深度自注意力变换网络基础模块将初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像时，具体用于：

控制初始运输机皮带图像依次通过图像块分割层、线性嵌入层和第一使用移动划窗的深度分层视觉自注意变换网络基础模块，得到第一运输机皮带特征图像；

控制第一运输机皮带特征图像依次通过图像块合并层和第二使用移动划窗的深度分层视觉自注意变换网络基础模块，得到第二运输机皮带特征图像。

可选的，卷积神经网络基础模块包括主干层、第一下采样层和第二下采样层，第二图像转换子单元822用于控制卷积神经网络基础模块将初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像时，具体用于：

将初始运输机皮带图像输入至主干层，得到第三运输机皮带特征图像；

控制第一下采样层对第三运输机皮带特征图像进行下采样，得到第四运输机皮带特征图像；

控制第二下采样层对第四运输机皮带特征图像进行下采样，得到第五运输机皮带特征图像。

可选的，解码器包括加法器、第一上卷积单元、第二上卷积单元、第三上卷积单元和线性映射层，图像解码单元803用于控制双流运输机皮带边缘检测网络模型中的解码器对运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像时，具体用于：

控制加法器对第一运输机皮带特征图像和第五运输机皮带特征图像进行逐元素相加，得到第六运输机皮带特征图像；

控制第一上卷积单元对第六运输机皮带特征图像和第二运输机皮带特征图像进行上采样，得到第七运输机皮带特征图像；

控制第二上卷积单元对第七运输机皮带特征图像和第四运输机皮带特征图像进行上采样，得到第八运输机皮带特征图像；

控制第三上卷积单元对第八运输机皮带特征图像和第三运输机皮带特征图像进行上采样，得到第九运输机皮带特征图像；

控制线性映射层对第九运输机皮带特征图像进行分割预测，得到目标运输机皮带图像。

可选的，图10示出本公开实施例提供的第三种运输机皮带边缘检测装置的结构示意图。如图10所示，在得到目标运输机皮带图像之后，还包括：

跑偏检测单元804，用于对目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果。

可选的，跑偏检测单元804用于对目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果时，具体用于：

确定目标运输机皮带图像中边缘中心线对应的偏移量；

根据偏移量和偏移量阈值，确定目标运输机皮带图像对应的皮带跑偏结果。

需要说明的是，上述实施例提供的运输机皮带边缘检测装置在执行运输机皮带边缘检测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的运输机皮带边缘检测装置与运输机皮带边缘检测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

综上，本公开实施例提供的装置，通过图像获取单元获取初始运输机皮带图像；图像编码单元控制双流运输机皮带边缘检测网络模型中的编码器对初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合，其中，双流运输机皮带边缘检测网络模型包括深度自注意力变换网络和卷积神经网络；图像解码单元控制双流运输机皮带边缘检测网络模型中的解码器对运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像。因此，通过采用包括深度自注意力变换网络和卷积神经网络的双流运输机皮带边缘检测网络模型进行运输机皮带边缘检测，可以将卷积神经网络的卷积对局部特征的提取能力与深度自注意力变换网络结构对全局、长距离信息感知能力相结合，可以较好地提高皮带边缘检测精度并抑制皮带图像噪声和背景的干扰。同时，通过设计深度自注意力变换网络和卷积神经网络特征融合模块，形成编码器-解码器结构，可以更好地融合全局上下信息，避免了深度自注意力变换网络结构在大规模数据集上预训练，可以灵活调节网络结构，从而可以提高对运输机皮带进行边缘检测时的准确性和实时性。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器（ROM）1102中的计算机程序或者从存储单元1108加载到随机访问存储器（RAM）1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储电子设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出（I/O）接口1105也连接至总线1104。

电子设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如运输机皮带边缘检测方法。例如，在一些实施例中，运输机皮带边缘检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到电子设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的运输机皮带边缘检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行运输机皮带边缘检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或电子设备上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据电子设备）、或者包括中间件部件的计算系统（例如，应用电子设备）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、互联网和区块链网络。

计算机系统可以包括客户端和电子设备。客户端和电子设备一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-电子设备关系的计算机程序来产生客户端和电子设备的关系。电子设备可以是云电子设备，又称为云计算电子设备或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（"Virtual Private Server"，或简称 "VPS"）中，存在的管理难度大，业务扩展性弱的缺陷。电子设备也可以为分布式系统的电子设备，或者是结合了区块链的电子设备。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (8)

1.一种运输机皮带边缘检测方法，其特征在于，包括：

获取初始运输机皮带图像；

控制双流运输机皮带边缘检测网络模型中的编码器对所述初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合，其中，所述双流运输机皮带边缘检测网络模型包括深度自注意力变换网络和卷积神经网络；

控制所述双流运输机皮带边缘检测网络模型中的解码器对所述运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像；

对所述目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果；

所述编码器包括深度自注意力变换网络基础模块和卷积神经网络基础模块，所述控制双流运输机皮带边缘检测网络模型中的编码器对所述初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合，包括：

控制所述深度自注意力变换网络基础模块将所述初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像；

控制所述卷积神经网络基础模块将所述初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像；

根据所述第一运输机皮带特征图像、第二运输机皮带特征图像、第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像，确定所述运输机皮带特征图像集合。

2.根据权利要求1所述的方法，其特征在于，所述深度自注意力变换网络基础模块包括图像块分割层、线性嵌入层、第一使用移动划窗的深度分层视觉自注意变换网络基础模块、图像块合并层和第二使用移动划窗的深度分层视觉自注意变换网络基础模块，所述控制所述深度自注意力变换网络基础模块将所述初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像，包括：

控制所述初始运输机皮带图像依次通过所述图像块分割层、所述线性嵌入层和所述第一使用移动划窗的深度分层视觉自注意变换网络基础模块，得到所述第一运输机皮带特征图像；

控制所述第一运输机皮带特征图像依次通过所述图像块合并层和所述第二使用移动划窗的深度分层视觉自注意变换网络基础模块，得到所述第二运输机皮带特征图像。

3.根据权利要求1所述的方法，其特征在于，所述卷积神经网络基础模块包括主干层、第一下采样层和第二下采样层，所述控制所述卷积神经网络基础模块将所述初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像，包括：

将所述初始运输机皮带图像输入至所述主干层，得到所述第三运输机皮带特征图像；

控制所述第一下采样层对所述第三运输机皮带特征图像进行下采样，得到所述第四运输机皮带特征图像；

控制所述第二下采样层对所述第四运输机皮带特征图像进行下采样，得到所述第五运输机皮带特征图像。

4.根据权利要求1所述的方法，其特征在于，所述解码器包括加法器、第一上卷积单元、第二上卷积单元、第三上卷积单元和线性映射层，所述控制所述双流运输机皮带边缘检测网络模型中的解码器对所述运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像，包括：

控制所述加法器对所述第一运输机皮带特征图像和所述第五运输机皮带特征图像进行逐元素相加，得到第六运输机皮带特征图像；

控制所述第一上卷积单元对所述第六运输机皮带特征图像和所述第二运输机皮带特征图像进行上采样，得到第七运输机皮带特征图像；

控制所述第二上卷积单元对所述第七运输机皮带特征图像和所述第四运输机皮带特征图像进行上采样，得到第八运输机皮带特征图像；

控制所述第三上卷积单元对所述第八运输机皮带特征图像和所述第三运输机皮带特征图像进行上采样，得到第九运输机皮带特征图像；

控制所述线性映射层对所述第九运输机皮带特征图像进行分割预测，得到所述目标运输机皮带图像。

5.根据权利要求1所述的方法，其特征在于，所述对所述目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果，包括：

确定所述目标运输机皮带图像中边缘中心线对应的偏移量；

根据所述偏移量和偏移量阈值，确定所述目标运输机皮带图像对应的皮带跑偏结果。

6.一种运输机皮带边缘检测装置，其特征在于，包括：

图像获取单元，用于获取初始运输机皮带图像；

图像编码单元，用于控制双流运输机皮带边缘检测网络模型中的编码器对所述初始运输机皮带图像进行编码处理，得到运输机皮带特征图像集合，其中，所述双流运输机皮带边缘检测网络模型包括深度自注意力变换网络和卷积神经网络；

图像解码单元，用于控制所述双流运输机皮带边缘检测网络模型中的解码器对所述运输机皮带特征图像集合进行解码处理，得到目标运输机皮带图像；

所述装置还用于：对所述目标运输机皮带图像进行皮带跑偏检测，得到皮带跑偏结果；

所述编码器包括深度自注意力变换网络基础模块和卷积神经网络基础模块，所述图像编码单元具体用于：

控制所述深度自注意力变换网络基础模块将所述初始运输机皮带图像转换为第一运输机皮带特征图像和第二运输机皮带特征图像；

控制所述卷积神经网络基础模块将所述初始运输机皮带图像转换为第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像；

根据所述第一运输机皮带特征图像、第二运输机皮带特征图像、第三运输机皮带特征图像、第四运输机皮带特征图像和第五运输机皮带特征图像，确定所述运输机皮带特征图像集合。

7.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。

Images