CN113269106A - 运输工具的运输带的状态检测方法及装置 - Google Patents

Abstract

本公开涉及一种运输工具的运输带的状态检测方法及装置。该方法包括：获取拍摄有运输带的多个历史视频；对各历史视频进行数据清洗，得到指示运输带的运行状态的多个目标视频；为各目标视频添加用于指示所述目标视频中运输带的运行状态的标签，得到训练样本；基于所述训练样本对预设的运输带状态判别模型进行训练，得到运输带状态判别模型，所述运输带判别模型用于对实时视频中运输带的运行状态进行检测。通过该方法，可以根据训练得到的运输带状态判别模型，实时、准确地基于实时视频确定出运输带的运行状态，降低了运输带的维护成本，加强了井下作业人员的安全保护，符合安全、智慧生产的要求。

Description

运输工具的运输带的状态检测方法及装置

技术领域

本公开涉及数据处理领域，尤其涉及一种运输工具的运输带的状态检测方法及装置。

背景技术

在煤矿、铁矿等矿井中会使用皮带机等运输工具将所采集的矿产、矿井中的垃圾等运出矿井，也会利用运输工具将工具等作业人员所需物品、器械运输至矿井中，为保证安全生产，需要对运输工具的运输带的运行状态进行检测。但由于矿井下的生产环境恶劣等因素的影响，相关技术中对运输带的运行状态的检测方式容易对运输带的运行状态造成误判。而若将没有故障的运输带误确定为出现故障，则会对运输工具进行紧急制动，并通知井下设备检修人员及时维修运输工具，会影响整个运输系统对运输任务的执行效率。而将出现故障的运输带误确定为没有故障，则会对井下作业人员的安全造成一定的威胁。两种误判均无法满足安全、智慧生产的要求。因此，如何实时、准确地检测运输工具的运输带的运行状态是亟待解决的技术问题。

发明内容

有鉴于此，本公开提出了一种运输工具的运输带的状态检测方法及装置。

根据本公开的一方面，提供了一种运输工具的运输带的状态检测方法，所述方法包括：

获取拍摄有运输带的多个历史视频；

对各历史视频进行数据清洗，得到指示运输带的运行状态的多个目标视频；

为各目标视频添加用于指示所述目标视频中运输带的运行状态的标签，得到训练样本；

基于所述训练样本对预设的运输带状态判别模型进行训练，得到运输带状态判别模型，所述运输带判别模型用于对实时视频中运输带的运行状态进行检测。

在一种可能的实现方式中，所述方法还包括：

获取拍摄有运输带的实时视频，所述实时视频包括实时视频流；

利用所述运输带状态判别模型，检测所述实时视频中运输带的运行状态。

在一种可能的实现方式中，所述预设的运输带状态判别模型包括卷积层、激活层，所述卷积层包括三维卷积核，所述激活层所使用的函数包括softmax函数，

所述卷积层利用三维卷积核对各目标视频进行特征提取，得到各目标视频的特征数据，所述特征数据包括空间特征数据和时序特征数据；

所述激活层根据所述特征数据确定各目标视频中运输带的运行状态。

在一种可能的实现方式中，在为各目标视频添加用于指示所述目标视频中运输带的运行状态的标签之前，所述方法还包括：

对所述多个目标视频中时长大于预设时长范围的最大值的目标视频进行切分处理，以使得用于添加所述标签的各目标视频的时长均在预设时长范围内；和/或

将所述多个目标视频中时长小于预设时长范围的最小值的目标视频删除。

在一种可能的实现方式中，各目标视频中运输带的运行状态包括静止状态或运行状态。

在一种可能的实现方式中，在基于所述训练样本对预设的运输带状态判别模型进行训练之前，所述方法还包括：

对所述训练样本进行数据增强处理。

在一种可能的实现方式中，所述基于所述训练样本对预设的运输带状态判别模型进行训练，得到运输带状态判别模型，包括：

采用随机梯度下降法对所述运输带状态判别模型进行优化，在所述预设的运输带状态判别模型的学习率大于或等于预设学习率的情况下，结束模型训练，得到所述运输带状态判别模型。

根据本公开的另一方面，提供了一种运输工具的运输带的状态检测装置，所述装置包括：

视频获取模块，用于获取拍摄有运输带的多个历史视频；

数据清洗模块，对各历史视频进行数据清洗，得到指示运输带的运行状态的多个目标视频；

标签添加模块，为各目标视频添加用于指示所述目标视频中运输带的运行状态的标签，得到训练样本；

模型训练模块，基于所述训练样本对预设的运输带状态判别模型进行训练，得到运输带状态判别模型，所述运输带判别模型用于对实时视频中运输带的运行状态进行检测。

根据本公开的另一方面，提供了一种运输工具的运输带的状态检测装置，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述的方法。

根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

根据本公开实施例提供的运输工具的运输带的状态检测方法及装置，可以根据训练得到的运输带状态判别模型，实时、准确地基于实时视频确定出运输带的运行状态，降低了运输带的维护成本，加强了井下作业人员的安全保护，符合安全、智慧生产的要求。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开实施例的运输工具的运输带的状态检测方法的流程图。

图2示出根据本公开实施例的运输工具的运输带的状态检测方法的另一流程图。

图3示出根据本公开实施例的运输工具的运输带的状态检测装置的框图。

图4示出根据本公开实施例的运输工具的运输带的状态检测装置800的框图。

图5示出根据本公开实施例的运输工具的运输带的状态检测装置1900的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

相关技术中，主要通过在运输带上安装多种传感器，例如速度传感器、电流传感器等，根据这些传感器实时测量得到运输带的各种运行参数，分析运输带的运行状态。然而，在复杂生产环境，例如粉尘过多、空气湿度较大等环境中，或者传感器老化或故障停机等因素的影响下，直接根据安装在运输带上的多种传感器测得的各种运行参数确定运输带的运行状态，容易出现对运输带状态造成误判等问题，影响整个运输系统执行运输任务的可靠性。因此，如何实时、准确地检测运输工具的运输带的运行状态，是亟待解决的技术问题。

基于此，本公开提供了一种运输工具的运输带的状态检测方法及装置。图1示出根据本公开实施例的运输工具的运输带的状态检测方法的流程图。该方法可以应用于运输工具在矿井等运输过程中对运输带的运行状态进行检测。其中，当运输工具为皮带机时，运输带可以为皮带。

如图1所示，该方法包括步骤S11至步骤S14。

在步骤S11中，获取拍摄有运输带的多个历史视频。

在步骤S12中，对各历史视频进行数据清洗，得到指示运输带的运行状态的多个目标视频。

通过对各历史视频进行数据清洗，可以去除各历史视频中模糊、包含噪声较多、重复性较高的历史视频，进而获取到满足数据质量要求的用于指示运输带的运行状态的多个目标视频。

其中，对历史视频进行数据清洗的方式可以包括以下一种或多种方式，本公开对此不作限制。

方式一，保留各历史视频中多个相同的视频中的一个，删除其余相同的视频。

方式二，删除各历史视频中清晰度低于清晰度阈值的视频。

其中，可以根据视频是否能够指示出运输带的运行状态对清晰度阈值进行设置，以保证得到的目标视频均能够通过预设的运输带状态判别模型检测出其中运输带的运行状态。这样，在确定多个历史视频中存在清晰度低于清晰度阈值的历史视频的情况下，可以确定该清晰度低于清晰度阈值的历史视频无法指示运输带的运行状态，则删除该清晰度低于清晰度阈值的历史视频。

在步骤S13中，为各目标视频添加用于指示所述目标视频中运输带的运行状态的标签，得到训练样本。其中，各目标视频中运输带的运行状态包括静止状态或运行状态。

其中，可以通过例如对各目标视频进行命名等方式为各目标视频添加用于指示各目标视频中运输带的运行状态的标签，例如，将目标视频中运输带的运行状态为静止状态的目标视频命名为“stop x”，将目标视频中运输带的运行状态为运行状态的目标视频命名为“move x”，本公开对此不作限制。

通过为各目标视频添加标签，可以直接根据各目标视频的标签，确定各目标视频中运输带的运行状态。

在一种可能的实现方式中，在步骤S13之前，该方法还可以包括：对多个目标视频中时长大于预设时长范围的最大值的目标视频进行切分处理，以使得用于添加标签的各目标视频的时长均在预设时长范围内；和/或

将目标视频中时长小于预设时长范围的最小值的目标视频删除。

其中，可以根据检测精度、执行该方法的装置的数据处理能力等对预设时长范围进行设置。其中，检测精度越高，所设置的预设时长范围可以越短。执行该方法的装置的数据处理能力越强，所设置的预设时长范围可以越长。例如，预设时长范围可以为5-10秒，本公开对此不作限制。作为一个示例，在确定某一个目标视频A的时长为13秒的情况下，可以将该目标视频A切分为时长分别为5秒和8秒的视频分段A1、A2，并将视频分段A1、A2作为新的目标视频。也可以将该目标视频A切分为时长分别为6秒和7秒的视频分段A3、A4，并将视频分段A3、A4作为新的目标视频。或者还可以将该目标视频A切分为时长分别为10秒和3秒的视频分段A5、A6，并将视频分段A5作为新的目标视频，删除视频分段A6。本领域技术人员可以根据实际需要对切分处理的实现方式进行设置，本公开对此不作限制，只要使用于添加标签的各目标视频的时长均在预设时长范围内即可。

通过对多个目标视频中时长不在预设时长范围的目标视频进行处理，保证为满足预设时长范围的目标视频添加标签，可以提高后续对训练样本中各目标视频进行处理的效率，提高利用训练样本进行模型训练的效率和速度。

在一种可能的实现方式中，在对多个目标视频中时长不在预设时长范围的目标视频进行处理的同时，该方法还可以包括：对时长处于预设时长范围的目标视频进行标准化处理，形成预设视频尺寸“X×Y×Z”的视频片段，并将该标准化处理后得到的各视频片段作为新的目标视频，使得用于添加标签的各目标视频均为X×Y×Z的视频。其中，X表示视频帧的数量，Y×Z表示视频帧的尺寸、Y为宽度、Z为高度，且Y与Z的数值可以相同也可以不同，如预设视频尺寸可以为X×Y×Y。

其中，预设视频尺寸“X×Y×Z”均为预先设置的，X需参考预设时长范围和下述预设的运输带状态判别模型对输入的带有标签的目标视频的尺寸限制等进行设定，以使得各时长处于预设时长范围的目标视频标准化处理后可以形成整数个“X×Y×Z”的视频片段。X、Y可以基于获取不同历史视频本身的视频帧尺寸、下述预设的运输带状态判别模型对输入的带有标签的目标视频的尺寸限制等进行设置。本领域技术人员可以根据实际需要对预设视频尺寸“X×Y×Z”进行设置，本公开对此不作限制。

其中，标准化处理可以包括对目标视频的切分和/或视频帧尺寸调整。例如，假定预设视频尺寸为“X×Y×Y”。若已经得到的时长处于预设时长范围的目标视频1的视频总帧数Q大于X、视频帧尺寸与Y×Y一致，则需要对目标视频1进行切分，将目标视频1切分成Q/X个视频片段，并将Q/X个视频片段作为新的目标视频。若已经得到的时长处于预设时长范围的目标视频2的视频总帧数Q等于X、视频帧尺寸与Y×Y不一致，则需要对目标视频2进行视频帧尺寸调整，可以对目标视频2进行缩放、剪裁和/或数据补充等处理，以使得目标视频2的视频帧尺寸从y×z调整为Y×Z。示例性地，预设视频尺寸“X×Y×Z”可以为128×64×64。

这样，通过标准化处理后可以进一步提高后续进行模型训练的速度。

在步骤S14中，基于所述训练样本对预设的运输带状态判别模型进行训练，得到运输带状态判别模型，所述运输带判别模型用于对实时视频中运输带的运行状态进行检测。

根据本公开实施例提供的运输工具的运输带的状态检测方法，可以根据训练得到的运输带状态判别模型，实时、准确地基于实时视频确定出运输带的运行状态，降低了运输带的维护成本，加强了井下作业人员的安全保护，符合安全、智慧生产的要求。

在一种可能的实现方式中，预设的运输带状态判别模型可以包括卷积层、激活层。其中，卷积层包括三维卷积核，该卷积层可以利用三维卷积核对各目标视频进行特征提取，得到各目标视频的特征数据。其中，各目标视频的特征数据可以包括各目标视频的空间特征数据和各目标视频的时序特征数据。其中，激活层所使用的函数包括softmax函数，该激活层可以根据各目标视频的特征数据确定各目标视频中运输带的运行状态。其中，三维卷积核可以为3*3*3卷积核。

其中，通过上述将训练样本中的各目标视频裁剪为X×Y×Y的片段，有利于更好地根据预设的运输带状态判别模型中的卷积层对各目标视频进行特征提取。

其中，在卷积层之后，该预设的运输带状态判别模型还可以包括池化层，用于改变各目标视频中各视频帧的尺寸大小。在池化层之后，激活层之前，该预设的运输带状态判别模型还可以包括全连接层，该全连接层用于连接各目标视频的特征数据。

在一种可能的实现方式中，步骤S14可以包括：采用随机梯度下降法对运输带状态判别模型进行优化，在预设的运输带判别模型的学习率大于或等于预设学习率的情况下，结束模型训练，得到运输带状态判别模型。

例如，可以设置预设的运输带状态判别模型的初始学习率为0.0001，dropout为0.5，采用relu函数进行激活，预设学习率为0.01，本公开对此不作限制。

通过对运输带状态判别模型进行优化，可以提高根据所得到的运输带状态判别模型对实时视频中运输带的运行状态进行检测的准确性。

在基于训练样本对预设的运输带状态模型进行训练之前，该方法还可以包括：将训练样本按照预设比例分为训练集、验证集和测试集。其中，预设比例可以为7:2:1，本公开对此不作限制。

其中，可以基于训练集对预设的运输带状态模型进行训练，在模型的学习率大于或等于预设学习率的情况下，结束基于训练集的模型训练，得到第一运输带状态模型。利用验证集中的各目标视频对第一运输带状态模型进行初步评估以及调整第一运输带状态模型的超参数，得到运输带状态模型。最后，利用测试集对运输带状态模型的泛化能力进行评估。

通过将训练样本按照预设比例分为训练集、验证集和测试集，对预设的运输带状态判别模型进行训练，可以提高运输带状态判别模型进行运输带的运行状态检测的准确性。

在一种可能的实现方式中，在步骤S14之前，该方法还可以包括：对训练样本进行数据增强处理。其中，可以通过水平翻转、垂直翻转、角度旋转等方式对训练样本进行数据增强处理，本公开对此不作限制。

通过对训练样本进行数据增强处理，可以扩充训练样本，克服训练样本在空间和时间上的抖动，提高基于训练样本对预设的运输带判别模型进行训练得到的运输带状态判别模型的鲁棒性、泛化性。

根据本公开实施例提供的运输工具的运输带的状态检测方法，可以根据训练得到的运输带状态判别模型，准确地对实时视频中运输带的运行状态进行检测，减少井下作业人员，符合安全生产要求。

图2示出根据本公开实施例的运输工具的运输带的状态检测方法的另一流程图。如图2所示，在执行完步骤S14后，该方法还可以包括步骤S15至步骤S16。

在步骤S15中，获取拍摄有运输带的实时视频，所述实时视频包括实时视频流。以视频流的形式进行实时视频的传输可以提高实时视频的传输速度，提高确定实时视频中运输带的运行状态的速度，实现运输带运行状态的实时、准确确定，在运输带出现问题时可以及时响应处理。

其中，实时视频可以是根据预先安装在矿井巷道和/或运输工具上的图像采集设备获取的。可以根据矿井巷道结构、运输工具中运输带的数量、矿井巷道与运输带之间的相对位置等信息，选择图像采集设备在矿井巷道和/或运输工具上的安装位置和安装数量，并在安装后调整图像采集设备，例如调整图像采集设备的拍摄角度、像素和拍摄图像的曝光度等，使得根据该图像采集设备拍摄的运输带的实时视频可以符合预设要求。其中，图像采集设备可以包括相机、补光灯等。其中，预设要求可以包括运输带位于所拍摄的实时视频的视频画面的中心位置、所拍摄的实时视频的视频画面中仅包括一个目标运输带、所拍摄的实时视频的视频帧尺寸与上述预设视频尺寸“X×Y×Z”中Y、Z一致等中的一个或多个。

在一种可能的实现方式中，步骤S15还可以包括：在获取实时视频之后，还可以对实时视频的视频尺寸进行判断，在确定实时视频的视频尺寸与上述预设视频尺寸“X×Y×Z”不一致时，则对实时视频进行标准化处理，以使得经过标准化处理后的实时视频的视频尺寸为上述预设视频尺寸“X×Y×Z”，而后执行步骤S16。在确定实时视频的视频尺寸与上述预设视频尺寸“X×Y×Z”一致，则直接执行步骤S16。

在一种可能的实现方式中，在确定某一时间段内，根据图像采集设备获取的针对某一运输带的多个视频的清晰度均低于清晰度阈值的情况下，还可以调整图像采集设备的内部参数，以提高拍摄有运输带的实时视频的清晰度。

在步骤S16中，利用所述运输带状态判别模型，检测所述实时视频中运输带的运行状态。也即，将实时视频输入运输带状态判别模型，得到所述实时视频中运输带的运行状态。

根据本公开实施例提供的运输工具的运输带的状态检测方法，通过将拍摄有运输带的实时视频输入至运输带状态判别模型中，就可以直接得到实时视频中运输带的运输状态，相比于现有技术中利用传感器检测运输带的运输状态的方式，更加简单、高效、准确，从而提高了设备检修人员的安全性。

图3示出根据本公开实施例的运输工具的运输带的状态检测装置的框图。如图3所示，该装置包括视频获取模块11、数据清洗模块12、标签添加模块13以及模型训练模块14。

视频获取模块11，用于获取拍摄有运输带的多个历史视频。

数据清洗模块12，对各历史视频进行数据清洗，得到指示运输带的运行状态的多个目标视频。

标签添加模块13，为各目标视频添加用于指示所述目标视频中运输带的运行状态的标签，得到训练样本。

模型训练模块14，基于所述训练样本对预设的运输带状态判别模型进行训练，得到运输带状态判别模型，所述运输带判别模型用于对实时视频中运输带的运行状态进行检测。

根据本公开实施例提供的运输工具的运输带的状态检测装置，可以根据训练得到的运输带状态判别模型，实时、准确地基于实时视频确定出运输带的运行状态，降低了运输带的维护成本，加强了井下作业人员的安全保护，符合安全、智慧生产的要求。

在一种可能的实现方式中，该装置还可以包括：实时视频获取模块和检测模块。实时视频获取模块用于获取拍摄有运输带的实时视频，所述实时视频包括实时视频流。检测模块，用于利用所述运输带状态判别模型，检测所述实时视频中运输带的运行状态。

在一种可能的实现方式中，所述预设的运输带状态判别模型包括卷积层、激活层，所述卷积层包括三维卷积核，所述激活层所使用的函数包括softmax函数，

所述卷积层利用三维卷积核对各目标视频进行特征提取，得到各目标视频的特征数据，所述特征数据包括空间特征数据和时序特征数据；

所述激活层根据所述特征数据确定各目标视频中运输带的运行状态。

在一种可能的实现方式中，标签添加模块，还用于在为各目标视频添加用于指示所述目标视频中运输带的运行状态的标签之前，对所述多个目标视频中时长大于预设时长范围的最大值的目标视频进行切分处理，以使得用于添加所述标签的各目标视频的时长均在预设时长范围内；和/或

将所述多个目标视频中时长小于预设时长范围的最小值的目标视频删除。

在一种可能的实现方式中，各目标视频中运输带的运行状态包括静止状态或运行状态。

在一种可能的实现方式中，模型训练模块，还用于在基于所述训练样本对预设的运输带状态判别模型进行训练之前，对所述训练样本进行数据增强处理。

在一种可能的实现方式中，所述模型训练模块，包括训练子模块，用于采用随机梯度下降法对所述运输带状态判别模型进行优化，在所述预设的运输带状态判别模型的学习率大于或等于预设学习率的情况下，结束模型训练，得到所述运输带状态判别模型。

本公开的实施例还提供了一种运输工具的运输带的状态检测装置，该装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述运输工具的运输带的状态检测方法。

本公开实施例还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述运输工具的运输带的状态检测方法。

图4示出根据本公开实施例的运输工具的运输带的状态检测装置800的框图。例如，装置800可以是移动电话，计算机，消息收发设备，平板设备等。

参照图4，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由装置800的处理器820执行以完成上述方法。

图5示出根据本公开实施例的运输工具的运输带的状态检测装置1900的框图。例如，装置1900可以被提供为一服务器。参照图5，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种运输工具的运输带的状态检测方法，其特征在于，包括：

获取拍摄有运输带的多个历史视频；

对各历史视频进行数据清洗，得到指示运输带的运行状态的多个目标视频；

为各目标视频添加用于指示所述目标视频中运输带的运行状态的标签，得到训练样本；

基于所述训练样本对预设的运输带状态判别模型进行训练，得到运输带状态判别模型，所述运输带判别模型用于对实时视频中运输带的运行状态进行检测。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取拍摄有运输带的实时视频，所述实时视频包括实时视频流；

利用所述运输带状态判别模型，检测所述实时视频中运输带的运行状态。

3.根据权利要求1所述的方法，其特征在于，所述预设的运输带状态判别模型包括卷积层、激活层，所述卷积层包括三维卷积核，所述激活层所使用的函数包括softmax函数，

所述卷积层利用三维卷积核对各目标视频进行特征提取，得到各目标视频的特征数据，所述特征数据包括空间特征数据和时序特征数据；

所述激活层根据所述特征数据确定各目标视频中运输带的运行状态。

4.根据权利要求1所述的方法，其特征在于，在为各目标视频添加用于指示所述目标视频中运输带的运行状态的标签之前，所述方法还包括：

对所述多个目标视频中时长大于预设时长范围的最大值的目标视频进行切分处理，以使得用于添加所述标签的各目标视频的时长均在预设时长范围内；和/或

将所述多个目标视频中时长小于预设时长范围的最小值的目标视频删除。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，各目标视频中运输带的运行状态包括静止状态或运行状态。

6.根据权利要求1所述的方法，其特征在于，在基于所述训练样本对预设的运输带状态判别模型进行训练之前，所述方法还包括：

对所述训练样本进行数据增强处理。

7.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本对预设的运输带状态判别模型进行训练，得到运输带状态判别模型，包括：

采用随机梯度下降法对所述运输带状态判别模型进行优化，在所述预设的运输带状态判别模型的学习率大于或等于预设学习率的情况下，结束模型训练，得到所述运输带状态判别模型。

8.一种运输工具的运输带的状态检测装置，其特征在于，所述装置包括：

视频获取模块，用于获取拍摄有运输带的多个历史视频；

数据清洗模块，对各历史视频进行数据清洗，得到指示运输带的运行状态的多个目标视频；

标签添加模块，为各目标视频添加用于指示所述目标视频中运输带的运行状态的标签，得到训练样本；

模型训练模块，基于所述训练样本对预设的运输带状态判别模型进行训练，得到运输带状态判别模型，所述运输带判别模型用于对实时视频中运输带的运行状态进行检测。

9.一种运输工具的运输带的状态检测装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至7中任意一项所述的方法。

10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。

Images