CN117326290B - 基于稠密光流的皮带状态监测方法及装置 - Google Patents

Abstract

本申请提出一种基于稠密光流的皮带状态监测方法及装置，其中，方法包括：对摄像头采集的包含皮带的视频流进行采样，以获取第一图像序列；基于稠密光流算法，确定第一图像序列中每相邻两帧图像对应的稠密光流矩阵；根据每相邻两帧图像对应的稠密光流矩阵，确定皮带在每相邻两帧图像中的后一帧图像下对应的第一运行状态；根据第一运行状态，确定皮带对应的实际运行状态。由此，采用稠密光流算法，对每帧图像中皮带的第一运行状态进行检测，进而可以根据多个第一运行状态，确定皮带的实际运行状态，从而提高了确定的皮带实际运行状态的准确性和稳定性。

Description

基于稠密光流的皮带状态监测方法及装置

技术领域

本申请涉及煤矿技术领域，尤其涉及一种基于稠密光流的皮带状态监测方法及装置。

背景技术

煤矿皮带输送机是一种将煤炭或其他物料从煤矿井下或地面运输到目标地点的设备。在煤炭行业中，皮带输送机具有长距离运输、长时间运行的特点，同时由于煤矿井下煤炭运输过程中淋水、粉尘、异物等因素的影响，皮带输送机在高强度使用下，容易出现各类运行故障，而人工难以及时发现并处理皮带输送机运行问题，给煤矿企业的生产安全和经济收入造成重大影响。因此实现煤矿皮带输送机运行状态的智能监测，对于煤矿采煤生产安全和煤矿智能化发展有着重要意义。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于稠密光流的皮带状态监测方法，以提高对皮带实际运行状态监测的准确性和稳定性。

本申请的第二个目的在于提出一种基于稠密光流的皮带状态监测装置。

为达上述目的，本申请第一方面实施例提出了一种基于稠密光流的皮带状态监测方法，包括：

对摄像头采集的包含皮带的视频流进行采样，以获取第一图像序列；

基于稠密光流算法，确定所述第一图像序列中每相邻两帧图像对应的稠密光流矩阵；

根据所述每相邻两帧图像对应的稠密光流矩阵，确定所述皮带在所述每相邻两帧图像中的后一帧图像下对应的第一运行状态；

根据所述第一运行状态，确定所述皮带对应的实际运行状态。

为达上述目的，本申请第二方面实施例提出了一种基于稠密光流的皮带状态监测装置，包括：

采样模块，用于对摄像头采集的包含皮带的视频流进行采样，以获取第一图像序列；

第一确定模块，用于基于稠密光流算法，确定所述第一图像序列中每相邻两帧图像对应的稠密光流矩阵；

第二确定模块，用于根据所述每相邻两帧图像对应的稠密光流矩阵，确定所述皮带在所述每相邻两帧图像中的后一帧图像下对应的第一运行状态；

第三确定模块，用于根据所述第一运行状态，确定所述皮带对应的实际运行状态。

本申请提供的基于稠密光流的皮带状态监测方法及装置，首先对摄像头采集的包含皮带的视频流进行采样，以获取第一图像序列，之后基于稠密光流算法，确定第一图像序列中每相邻两帧图像对应的稠密光流矩阵，进而根据每相邻两帧图像对应的稠密光流矩阵，确定皮带在每相邻两帧图像中的后一帧图像下对应的第一运行状态，最后根据第一运行状态，确定皮带对应的实际运行状态。由此，采用稠密光流算法，对每帧图像中皮带的第一运行状态进行检测，进而可以根据多个第一运行状态，确定皮带的实际运行状态，从而提高了确定的皮带实际运行状态的准确性和稳定性。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种基于稠密光流的皮带状态监测方法的流程示意图；

图2为本申请实施例所提供的又一种基于稠密光流的皮带状态监测方法的流程示意图；

图3为本公开一实施例提供的一种笛卡尔坐标系分隔示意图；

图4为本申请实施例所提供的又一种基于稠密光流的皮带状态监测方法的流程示意图；以及

图5为本公开一实施例提供的一种煤矿皮带运输系统的示意图；

图6为本公开一实施例提供的一种皮带运输系统运行状态异常情况报警示意图；

图7为本申请实施例所提供的一种基于稠密光流的皮带状态监测装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的基于稠密光流的皮带状态监测方法和装置。

图1为本申请实施例所提供的一种基于稠密光流的皮带状态监测方法的流程示意图。

如图1所示，该基于稠密光流的皮带状态监测方法包括以下步骤：

步骤101，对摄像头采集的包含皮带的视频流进行采样，以获取第一图像序列。

本公开实施例中，对摄像头的安装位置不做具体限定，可以是皮带正上方或者其他可以看到皮带运输内容（原煤）的侧面位置。

在一些可能的实现方式中，为了提高算法的速度和效果，可以基于预设的采样频率对视频流进行采样，比如，采样频率可以为每10帧采样一次。即第一图像序列中图像和之间隔了9帧，且两幅图像的高和宽相同，可以分别用/>和/>表示。

在一些可能的实现方式中，还可以对采集的图像进行感兴趣区域提取，以获取只包含皮带的图像。

考虑算法实时性、准确性和工程实施需求，并保证感兴趣区域提取的代表性和准确度，可以根据视频先验知识，人为在图像上提取感兴趣矩形图像区域（认为在摄像头固定前提下，感兴趣区域位置是不变的），感兴趣区域高和宽分别为和/>，且/>，截取/>和/>的感兴趣区域，分别得到的对应两帧图像称为前一帧图像/>和当前帧图像/>，两个图像的高和宽则为/>和/>。

步骤102，基于稠密光流算法，确定第一图像序列中每相邻两帧图像对应的稠密光流矩阵。

其中，相邻两帧图像对应的稠密光流矩阵可以为：

其中，其中是稠密光流矩阵的大小，稠密光流矩阵/>中每个元素值/>：和/>的绝对值大小代表相邻两张图像中前一帧图像运动到后一帧图像，在图像横向和纵向的偏移量大小。/>和/>的正负值代表像素点前一帧图像运动到后一帧图像的运动趋势。

步骤103，根据每相邻两帧图像对应的稠密光流矩阵，确定皮带在每相邻两帧图像中的后一帧图像下对应的第一运行状态。

本公开实施例中，在得到稠密光流矩阵之后，即可根据稠密光流矩阵中皮带对应的元素的偏移量，确定皮带的第一运行状态。具体的，若皮带所在位置对应的元素的偏移量都大于阈值，则确定皮带的第一运行状态为运行中，反之，第一运行状态为停止中。

步骤104，根据第一运行状态，确定皮带对应的实际运行状态。

可选的，可以先获取皮带在第一图像序列中的第i₁-n₁帧图像至第i₁帧图像下分别对应的第一运行状态，之后基于n₁个第一运行状态，对皮带在第i₁帧图像下对应的第一运行状态进行更新，以获取更新后的第二运行状态，最后将第二运行状态，确定为皮带在第i₁帧图像下对应的实际运行状态。其中，n₁为大于0的整数，i₁为大于n₁的整数。

可选的，在n₁个第一运行状态中为运行中的数量大于或等于第一阈值的情况下，确定皮带在第i₁帧图像下对应的第二运行状态为运行中；在n₁个第一运行状态中为运行中的数量小于第一阈值的情况下，确定皮带在第i₁帧图像下对应的第二运行状态为停止中。

举例来说，若n₁的取值为9、第一阈值为5，若第一图像序列中，前10帧图像对应的第一运行状态为运行中的数量为6个，大于第一阈值，则第10帧图像更新后的第二运行状态为运行中，即皮带在第10帧图像对应的时刻的实际运行状态为运行中。若前10帧图像对应的第一运行状态为运行中的数量为3个，小于第一阈值，则第10帧图像更新后的第二运行状态为停止中，即皮带在第10帧图像对应的时刻的实际运行状态为停止中。由此，依次确定第一图像序列中第11帧图像、第12帧图像、……、最后一帧图像对应的第二运行状态。

本实施例中，首先对摄像头采集的包含皮带的视频流进行采样，以获取第一图像序列，之后基于稠密光流算法，确定第一图像序列中每相邻两帧图像对应的稠密光流矩阵，进而根据每相邻两帧图像对应的稠密光流矩阵，确定皮带在每相邻两帧图像中的后一帧图像下对应的第一运行状态，最后根据第一运行状态，确定皮带对应的实际运行状态。由此，采用稠密光流算法，对每帧图像中皮带的第一运行状态进行检测，进而可以根据多个第一运行状态，确定皮带的实际运行状态，从而提高了确定的皮带实际运行状态的准确性和稳定性。

图2为本申请实施例所提供的一种基于稠密光流的皮带状态监测方法的流程示意图。如图2所示，该基于稠密光流的皮带状态监测方法可以包括以下步骤：

步骤201，对摄像头采集的包含皮带的视频流进行采样，以获取第一图像序列。

步骤202，基于稠密光流算法，确定第一图像序列中每相邻两帧图像对应的稠密光流矩阵。

其中，步骤201至202的具体实现形式，可以参照本公开中，其他各实施例中的详细描述，此处不再具体赘述。

步骤203，对后一帧图像中的像素点进行采样，以获取第一采样点集合。

在一些可能的实现方式中，基于预设步长，对后一帧图像中的像素点进行采样，以获取第一初始采样点集合，之后基于尺度不变特征转换SIFT算法，对后一帧图像进行特征点提取，并根据提取的特征点对应的像素点，确定第二初始采样点集合，最后将第一初始采样点集合与第二初始采样点集合进行融合，以获取第一采样点集合。

其中，预设步长可以为一个经验值，按照视频流实际情况通过试验效果来选取。

需要说明的是，由于目前煤矿井下摄像头拍摄的高清图像像素较多，为保证算法的计算量和实时性要求，利用图像中部分像素点的光流信息来判断第一运行状态，从而减少计算量，提高确定皮带运行状态的效率。

步骤204，从稠密光流矩阵中，确定第一采样点集合中每个第一采样点对应的元素。

步骤205，将元素对应的距离偏移量大于距离阈值的第一采样点，确定为第二采样点集合中的第二采样点。

其中，元素对应的距离偏移量可以为。距离阈值可以为算法应用实际场景经过充分测试后获得的经验值。

本公开实施例中，可以通过距离偏移量与距离阈值的大小关系，剔除对确定第一运行状态无用的采样点，从而可以减少计算量，提高计算效率。

步骤206，根据第二采样点对应的元素包含的第一偏移量及第二偏移量，将第二采样点集合划分为第三采样点集合及第四采样点集合。

其中，第一偏移量所在的第一方向与第二偏移量所在的第二方向垂直。

在一些可能的实现方式中，将第二偏移量大于或等于第一偏移量的绝对值对应的第二采样点、及第二偏移量小于第一偏移量的绝对值的负数对应的第二采样点，确定为第三采样点集合，之后将第一偏移量大于或等于第二偏移量的绝对值对应的第二采样点、及第一偏移量小于第二偏移量的绝对值的负数对应的第二采样点，确定为第四采样点集合。

具体的，可以采用如下方法确定第三采样点集合及第四采样点集合：

统计第二采样点集合的光流分布，具体如下：

式中：四个判断条件以笛卡尔坐标系中和/>两条直线分割的四个区域（如图3所示）作为采样点的两种运动趋势：上下运动趋势（图3中区域①和区域②）和左右运动趋势（图3中区域③和区域④），/>、/>、/>和/>是符合公式中判断条件的集合，/>、/>、和/>是对应集合中采样点数量，且/>，m为第二采样点集合/>中第二采样点的总数量。

根据上下运动趋势的第二采样点，生成第三采样点集合，根据左右运动趋势的第二采样点，生成第四采样点集合。

步骤207，将第三采样点集合及第四采样点集合中第二采样点数量最多的集合，确定为目标采样点集合。

如上所示，第三采样点集合中第二采样点的数量为，第四采样点集合中第二采样点的数量为/>。若/>大于/>，则第三采样点集合为目标采样点集合，若/>小于或等于/>，则第四采样点集合为目标采样点集合。

步骤208，根据目标采样点集合中第二采样点的总数量及对应的距离偏移量中的最大偏移量，确定第一运行状态。

在一些可能的实现方式中，在总数量小于数量阈值，最大偏移量小于偏移量阈值的情况下，确定第一运行状态为停止中；或者，在总数量大于或等于数量阈值，或者最大偏移量大于或等于偏移量阈值的情况下，确定第一运行状态为运行中。

具体的，可以用如下公式，确定第一运行状态

其中，表示第一运行状态是停止中，/>表示第一运行状态是运行中，/>为最大偏移量，/>为第二采样点的总数量，/>是设定数量阈值，/>是设定偏移量阈值。

步骤209，根据第一运行状态，确定皮带对应的实际运行状态。

本公开实施例中，在确定了第一图像序列中每相邻两帧图像对应的稠密光流矩阵之后，对后一帧图像中的像素点进行采样，以获取第一采样点集合；从稠密光流矩阵中，确定第一采样点集合中每个第一采样点对应的元素，将元素对应的距离偏移量大于距离阈值的第一采样点，确定为第二采样点集合中的第二采样点，之后根据第二采样点对应的元素包含的第一偏移量及第二偏移量，将第二采样点集合划分为第三采样点集合及第四采样点集合，将第三采样点集合及第四采样点集合中第二采样点数量最多的集合，确定为目标采样点集合，最后根据目标采样点集合中第二采样点的总数量及对应的距离偏移量中的最大偏移量，确定第一运行状态。由此，通过对图像中像素点的筛选，以获取用于判断第一运行状态的目标采样点集合，进而基于目标采样点集合不仅可以准确地确定第一运行状态，进而准确地确定皮带的实际运行状态，而且可以减少计算量，提高计算效率。

图4为本申请实施例所提供的一种基于稠密光流的皮带状态监测方法的流程示意图。如图4所示，该基于稠密光流的皮带状态监测方法可以包括以下步骤：

步骤401，对摄像头采集的包含皮带的视频流进行采样，以获取第一图像序列。

步骤402，基于稠密光流算法，确定第一图像序列中每相邻两帧图像对应的稠密光流矩阵。

步骤403，根据每相邻两帧图像对应的稠密光流矩阵，确定皮带在每相邻两帧图像中的后一帧图像下对应的第一运行状态。

步骤404，获取皮带在第一图像序列中的第i₁-n₁帧图像至第i₁帧图像下分别对应的第一运行状态。

步骤405，基于n₁个第一运行状态，对皮带在第i₁帧图像下对应的第一运行状态进行更新，以获取更新后的第二运行状态。

其中，步骤401至步骤405的具体实现形式，可以参照本公开其他各实施例中的详细描述，此处不再具体赘述。

步骤406，将第一图像序列中前n₁帧图像进行删除，并对删除前n₁帧图像后的图像序列进行采样，以获取第二图像序列。

举例来说，若n₁的取值为9，采样频率为每5帧抽取一帧，则将第一图像序列中的前9帧图像进行删除，并对剩下的图像每5帧抽取一帧，即可得到第二图像序列。比如，第一图像序列为[I₁₁、I₁₂、I₁₃、I₁₄、I₁₅、……、I_1n],则第二图像序列为[I₁₁₀、I₁₁₅、I₁₂₀、I₁₂₅、I₁₄₀、……]。第二图像序列也可以表示为[I₂₁、I₂₂、I₂₃、I₂₄、I₂₅、……]。

步骤407，获取皮带在第二图像序列中第i₂-n₂帧图像至第i₂帧图像下分别对应的第二运行状态。

步骤408，基于n₂个第二运行状态，对皮带在第i₂帧图像下对应的第二运行状态进行更新，以获取更新后的第三运行状态。

举例来说，若n₂的取值为4、第二阈值为2，若第二图像序列中，前5帧图像对应的第二运行状态为运行中的数量为3个，大于第二阈值，则第二图像序列中第5帧图像更新后的第三运行状态为运行中，即皮带在第二图像序列的第5帧图像对应的时刻的实际运行状态为运行中。若第二图像序列中前5帧图像对应的第二运行状态为运行中的数量为1个，小于第二阈值，则第二图像序列中第5帧图像更新后的第二运行状态为停止中，即皮带在第二图像序列的第5帧图像对应的时刻的实际运行状态为停止中。由此，依次确定第二图像序列中第6帧图像、第7帧图像、……、最后一帧图像对应的第三运行状态。

步骤409，对第二图像序列中前n₂帧图像进行删除，并对删除前n₂帧图像后的图像序列进行采样，以获取第三图像序列。

举例来说，若n₂的取值为4，采样频率为每5帧抽取一帧，则将第二图像序列中的前4帧图像进行删除，并对剩下的图像每5帧抽取一帧，即可得到第三图像序列。比如，第二图像序列为[I₂₁、I₂₂、I₂₃、I₂₄、I₂₅、……],则第三图像序列为[I₂₅、I₂₁₀、I₂₁₅、I_220、I₂₂₅、I₂₄₀、……]。第三图像序列也可以表示为[I₃₁、I₃₂、I₃₃、I₃₄、I₃₅、……]。

步骤410，获取皮带在第三图像序列中第i₃-n₃帧图像至第i₃帧图像下分别对应的第三运行状态。

步骤411，基于n₃个第三运行状态，对皮带在第i₃帧图像下对应的第三运行状态进行更新，以获取更新后的第四运行状态。

举例来说，若n₃的取值为4、第三阈值为1，若第三图像序列中，前5帧图像对应的第三运行状态为运行中的数量为3个，大于第三阈值，则第三图像序列中第5帧图像更新后的第四运行状态为运行中，即皮带在第三图像序列的第5帧图像对应的时刻的实际运行状态为运行中。若第三图像序列中前5帧图像对应的第三运行状态为运行中的数量为0个，小于第三阈值，则第三图像序列中第5帧图像更新后的第四运行状态为停止中，即皮带在第三图像序列的第5帧图像对应的时刻的实际运行状态为停止中。由此，依次确定第三图像序列中第6帧图像、第7帧图像、……、最后一帧图像对应的第四运行状态。

步骤412，将第四运行状态，确定为皮带在第i₃帧图像下对应的实际运行状态。

本公开实施例中，在确定皮带在每相邻两帧图像中的后一帧图像下对应的第一运行状态之后，可以根据皮带在第一图像序列中的第i₁-n₁帧图像至第i₁帧图像下分别对应的第一运行状态，对皮带在第i₁帧图像下对应的第一运行状态进行更新，以获取更新后的第二运行状态；将第一图像序列中前n₁帧图像进行删除，并对删除前n₁帧图像后的图像序列进行采样，以获取第二图像序列；根据皮带在第二图像序列中第i₂-n₂帧图像至第i₂帧图像下分别对应的第二运行状态，对皮带在第i₂帧图像下对应的第二运行状态进行更新，以获取更新后的第三运行状态；对第二图像序列中前n₂帧图像进行删除，并对删除前n₂帧图像后的图像序列进行采样，以获取第三图像序列；根据皮带在第三图像序列中第i₃-n₃帧图像至第i₃帧图像下分别对应的第三运行状态，对皮带在第i₃帧图像下对应的第三运行状态进行更新，以获取更新后的第四运行状态，最后将第四运行状态，确定为皮带在第i₃帧图像下对应的实际运行状态。由此，可以采用统计学方法，更加准确地确定皮带的实际运行状态。

在一些可能的实现方式中，在多个摄像头同时采集同一段皮带对应的视频流的情况下，根据每个摄像头采集的视频流，确定皮带在每个摄像头下对应的实际运行状态，若多个实际运行状态不相同的情况下，发出摄像头异常报警。

图5为本公开一实施例提供的一种煤矿皮带运输系统的示意图，如图5所示，1号皮带上部署了多个摄像头，1号皮带每个摄像头均对皮带状态进行监测，得到皮带停止中和运行中两种状态，若该段皮带所有摄像头监测结果不全相同，则说明该段皮带部署本发明的部分摄像头作业异常（可能是因为摄像头安装位置变化或者环境发生变化），需要工作人员检修，反之，则说明所有摄像头作业正常，得到1号皮带实际运行状态。

如图5所示的煤矿皮带运输系统，每段皮带系统均可独立运行，以三段皮带系统为例来说明多摄像头协同报警策略，三段皮带分别称为1号皮带、2号皮带、3号皮带，如图5所示，其中1号皮带至3号皮带为主运煤流方向的上游至下游。目前煤矿皮带运输系统因视频监控和煤矿智能化需要安装了众多摄像头。

在根据每个皮带上的摄像头，确定每个皮带的实际运行状态之后，可以按照以下机制进行协同报警：

若三段皮带运行状态都为运行或者停止，说明皮带系统正常情况，反之，则为异常情况。

异常情况分为以下6种：

（1）1号皮带为运行中，2号皮带为运行中，3号皮带为停止中。

（2）1号皮带为停止中，2号皮带为运行中，3号皮带为停止中。

（3）1号皮带为运行中，2号皮带为停止中，3号皮带为停止中。

（4）1号皮带为停止中，2号皮带为停止中，3号皮带为运行中。

（5）1号皮带为运行中，2号皮带为停止中，3号皮带为运行中。

（6）1号皮带为停止中，2号皮带为运行中，3号皮带为运行中。

在三段皮带系统示例中，1号皮带为最上游，3号皮带为最下游，因此当3号皮带停止中，其他皮带为运行中，则皮带连接处（也叫转载点）容易发生堆煤，导致皮带原煤溢出浪费，同时也给已经停止的3号皮带（或者下游皮带）造成载重负担。

因此当最下游3号皮带运行状态为停止中时，1号、2号和3号皮带都要发出异常警告，提醒工作人员做出及时反应；当2号皮带运行状态为停止中时，1号和2号皮带都要发出异常警告，提醒工作人员做出及时反应；当1号皮带运行状态为停止中时，1号皮带都要发出异常警告，提醒工作人员做出及时反应，如图6示出的皮带运输系统运行状态异常情况报警示意图所示。

从而将基于稠密光流法的皮带状态监测方法可以实地应用到煤矿井下皮带系统的安全预警中。

为了实现上述实施例，本申请还提出一种基于稠密光流的皮带状态监测装置。

图7为本申请实施例提供的一种基于稠密光流的皮带状态监测装置的结构示意图。如图7所示，该基于稠密光流的皮带状态监测装置包括：

采样模块701，用于对摄像头采集的包含皮带的视频流进行采样，以获取第一图像序列；

第一确定模块702，用于基于稠密光流算法，确定第一图像序列中每相邻两帧图像对应的稠密光流矩阵；

第二确定模块703，用于根据每相邻两帧图像对应的稠密光流矩阵，确定皮带在每相邻两帧图像中的后一帧图像下对应的第一运行状态；

第三确定模块704，用于根据第一运行状态，确定皮带对应的实际运行状态。

进一步地，在本申请实施例的一种可能的实现方式中，第二确定模块703，用于：

对后一帧图像中的像素点进行采样，以获取第一采样点集合；

从稠密光流矩阵中，确定第一采样点集合中每个第一采样点对应的元素；

将元素对应的距离偏移量大于距离阈值的第一采样点，确定为第二采样点集合中的第二采样点；

根据第二采样点对应的元素包含的第一偏移量及第二偏移量，将第二采样点集合划分为第三采样点集合及第四采样点集合，其中，第一偏移量所在的第一方向与第二偏移量所在的第二方向垂直；

将第三采样点集合及第四采样点集合中第二采样点数量最多的集合，确定为目标采样点集合；

根据目标采样点集合中第二采样点的总数量及对应的距离偏移量中的最大偏移量，确定第一运行状态。

进一步地，在本申请实施例的一种可能的实现方式中，第二确定模块703，用于：

基于预设步长，对后一帧图像中的像素点进行采样，以获取第一初始采样点集合；

基于尺度不变特征转换SIFT算法，对后一帧图像进行特征点提取，并根据提取的特征点对应的像素点，确定第二初始采样点集合；

将第一初始采样点集合与第二初始采样点集合进行融合，以获取第一采样点集合。

进一步地，在本申请实施例的一种可能的实现方式中，第二确定模块703，用于：

将第二偏移量大于或等于第一偏移量的绝对值对应的第二采样点、及第二偏移量小于第一偏移量的绝对值的负数对应的第二采样点，确定为第三采样点集合；

将第一偏移量大于或等于第二偏移量的绝对值对应的第二采样点、及第一偏移量小于第二偏移量的绝对值的负数对应的第二采样点，确定为第四采样点集合。

进一步地，在本申请实施例的一种可能的实现方式中，第二确定模块703，用于：

在总数量小于数量阈值，最大偏移量小于偏移量阈值的情况下，确定第一运行状态为停止中；或者，

在总数量大于或等于数量阈值，或者最大偏移量大于或等于偏移量阈值的情况下，确定第一运行状态为运行中。

进一步地，在本申请实施例的一种可能的实现方式中，第三确定模块704，用于：

获取皮带在第一图像序列中的第i₁-n₁帧图像至第i₁帧图像下分别对应的第一运行状态；

基于n₁个第一运行状态，对皮带在第i₁帧图像下对应的第一运行状态进行更新，以获取更新后的第二运行状态；

将第二运行状态，确定为皮带在第i₁帧图像下对应的实际运行状态；

其中，n₁为大于0的整数，i₁为大于n₁的整数。

进一步地，在本申请实施例的一种可能的实现方式中，第三确定模块704，用于：

在n₁个第一运行状态中为运行中的数量大于或等于第一阈值的情况下，确定皮带在第i₁帧图像下对应的第二运行状态为运行中；

在n₁个第一运行状态中为运行中的数量小于第一阈值的情况下，确定皮带在第i₁帧图像下对应的第二运行状态为停止中。

进一步地，在本申请实施例的一种可能的实现方式中，第三确定模块704，用于：

将第一图像序列中前n₁帧图像进行删除，并对删除前n₁帧图像后的图像序列进行采样，以获取第二图像序列；

获取皮带在第二图像序列中第i₂-n₂帧图像至第i₂帧图像下分别对应的第二运行状态；

基于n₂个第二运行状态，对皮带在第i₂帧图像下对应的第二运行状态进行更新，以获取更新后的第三运行状态；

对第二图像序列中前n₂帧图像进行删除，并对删除前n₂帧图像后的图像序列进行采样，以获取第三图像序列；

获取皮带在第三图像序列中第i₃-n₃帧图像至第i₃帧图像下分别对应的第三运行状态；

基于n₃个第三运行状态，对皮带在第i₃帧图像下对应的第三运行状态进行更新，以获取更新后的第四运行状态；

将第四运行状态，确定为皮带在第i₃帧图像下对应的实际运行状态；

其中，n₂、n₃为大于0的整数，i₂为大于n₂的整数，i₃为大于n₃的整数。

进一步地，在本申请实施例的一种可能的实现方式中，还包括报警模块，用于：

在多个摄像头同时采集同一段皮带对应的视频流的情况下，根据每个摄像头采集的视频流，确定皮带在每个摄像头下对应的实际运行状态；

若多个实际运行状态不相同的情况下，发出摄像头异常报警。

需要说明的是，前述对基于稠密光流的皮带状态监测方法实施例的解释说明也适用于该实施例的基于稠密光流的皮带状态监测装置，此处不再赘述。

本实施例中，首先对摄像头采集的包含皮带的视频流进行采样，以获取第一图像序列，之后基于稠密光流算法，确定第一图像序列中每相邻两帧图像对应的稠密光流矩阵，进而根据每相邻两帧图像对应的稠密光流矩阵，确定皮带在每相邻两帧图像中的后一帧图像下对应的第一运行状态，最后根据第一运行状态，确定皮带对应的实际运行状态。由此，采用稠密光流算法，对每帧图像中皮带的第一运行状态进行检测，进而可以根据多个第一运行状态，确定皮带的实际运行状态，从而提高了确定的皮带实际运行状态的准确性和稳定性。

为了实现上述实施例，本申请还提出一种电子设备，包括：处理器，以及与处理器通信连接的存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，以实现执行前述实施例所提供的方法。

为了实现上述实施例，本申请还提出一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现前述实施例所提供的方法。

本申请中所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

需要说明的是，来自用户的个人信息应当被收集用于合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享，包括但不限于在用户使用该功能前，通知用户阅读用户协议/用户通知，并签署包括授权相关用户信息的协议/授权。此外，还需采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。

本申请预期可提供用户选择性阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件和/或软件，以防止或阻止对此类个人信息数据的访问。一旦不再需要个人信息数据，通过限制数据收集和删除数据可最小化风险。此外，在适用时，对此类个人信息去除个人标识，以保护用户的隐私。

在前述各实施例描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于稠密光流的皮带状态监测方法，其特征在于，包括以下步骤：

对摄像头采集的包含皮带的视频流进行采样，以获取第一图像序列；

基于稠密光流算法，确定所述第一图像序列中每相邻两帧图像对应的稠密光流矩阵；

根据所述每相邻两帧图像对应的稠密光流矩阵，确定所述皮带在所述每相邻两帧图像中的后一帧图像下对应的第一运行状态；

根据所述第一运行状态，确定所述皮带对应的实际运行状态；

所述根据所述每相邻两帧图像对应的稠密光流矩阵，确定所述皮带在所述每相邻两帧图像中的后一帧图像下对应的第一运行状态，包括：

对所述后一帧图像中的像素点进行采样，以获取第一采样点集合；

从所述稠密光流矩阵中，确定所述第一采样点集合中每个第一采样点对应的元素；

将元素对应的距离偏移量大于距离阈值的第一采样点，确定为第二采样点集合中的第二采样点；

根据所述第二采样点对应的元素包含的第一偏移量及第二偏移量，将所述第二采样点集合划分为第三采样点集合及第四采样点集合，其中，所述第一偏移量所在的第一方向与所述第二偏移量所在的第二方向垂直；

将所述第三采样点集合及所述第四采样点集合中第二采样点数量最多的集合，确定为目标采样点集合；

根据所述目标采样点集合中第二采样点的总数量及对应的距离偏移量中的最大偏移量，确定所述第一运行状态；

所述根据所述目标采样点集合中第二采样点的总数量及对应的距离偏移量中的最大偏移量，确定所述第一运行状态，包括：

在所述总数量小于数量阈值、且所述最大偏移量小于偏移量阈值的情况下，确定所述第一运行状态为停止中；或者，

在所述总数量大于或等于所述数量阈值，或者所述最大偏移量大于或等于所述偏移量阈值的情况下，确定所述第一运行状态为运行中。

2.根据权利要求1所述的方法，其特征在于，所述对所述后一帧图像中的像素点进行采样，以获取第一采样点集合，包括：

基于预设步长，对所述后一帧图像中的像素点进行采样，以获取第一初始采样点集合；

基于尺度不变特征转换SIFT算法，对所述后一帧图像进行特征点提取，并根据提取的特征点对应的像素点，确定第二初始采样点集合；

将所述第一初始采样点集合与所述第二初始采样点集合进行融合，以获取所述第一采样点集合。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第二采样点对应的元素包含的第一偏移量及第二偏移量，将所述第二采样点集合划分为第三采样点集合及第四采样点集合，包括：

将第二偏移量大于或等于第一偏移量的绝对值对应的第二采样点、及第二偏移量小于所述第一偏移量的绝对值的负数对应的第二采样点，确定为所述第三采样点集合；

将第一偏移量大于或等于第二偏移量的绝对值对应的第二采样点、及第一偏移量小于第二偏移量的绝对值的负数对应的第二采样点，确定为所述第四采样点集合。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一运行状态，确定所述皮带对应的实际运行状态，包括：

获取所述皮带在所述第一图像序列中的第i₁-n₁帧图像至第i₁帧图像下分别对应的第一运行状态；

基于n₁个所述第一运行状态，对所述皮带在所述第i₁帧图像下对应的第一运行状态进行更新，以获取更新后的第二运行状态；

将所述第二运行状态，确定为所述皮带在所述第i₁帧图像下对应的实际运行状态；

其中，n₁为大于0的整数，i₁为大于n₁的整数。

5.根据权利要求4所述的方法，其特征在于，所述基于n₁个所述第一运行状态，对所述皮带在所述第i₁帧图像下对应的第一运行状态进行更新，以获取更新后的第二运行状态，包括：

在所述n₁个第一运行状态中为运行中的数量大于或等于第一阈值的情况下，确定所述皮带在所述第i₁帧图像下对应的第二运行状态为运行中；

在所述n₁个第一运行状态中为运行中的数量小于所述第一阈值的情况下，确定所述皮带在所述第i₁帧图像下对应的第二运行状态为停止中。

6.根据权利要求5所述的方法，其特征在于，在所述基于n₁个所述第一运行状态，对所述皮带在所述第i₁帧图像下对应的第一运行状态进行更新，以获取更新后的第二运行状态之后，还包括：

将所述第一图像序列中前n₁帧图像进行删除，并对删除前n₁帧图像后的图像序列进行采样，以获取第二图像序列；

获取所述皮带在所述第二图像序列中第i₂-n₂帧图像至第i₂帧图像下分别对应的第二运行状态；

基于n₂个所述第二运行状态，对所述皮带在所述第i₂帧图像下对应的第二运行状态进行更新，以获取更新后的第三运行状态；

对所述第二图像序列中前n₂帧图像进行删除，并对删除前n₂帧图像后的图像序列进行采样，以获取第三图像序列；

获取所述皮带在所述第三图像序列中第i₃-n₃帧图像至第i₃帧图像下分别对应的第三运行状态；

基于n₃个所述第三运行状态，对所述皮带在所述第i₃帧图像下对应的第三运行状态进行更新，以获取更新后的第四运行状态；

将所述第四运行状态，确定为所述皮带在所述第i₃帧图像下对应的实际运行状态；

其中，n₂、n₃为大于0的整数，i₂为大于n₂的整数，i₃为大于n₃的整数。

7.根据权利要求1-6任一所述的方法，其特征在于，还包括：

在多个摄像头同时采集同一段皮带对应的视频流的情况下，根据每个所述摄像头采集的视频流，确定所述皮带在每个摄像头下对应的实际运行状态；

若多个所述实际运行状态不相同的情况下，发出摄像头异常报警。

8.一种基于稠密光流的皮带状态监测装置，其特征在于，包括：

采样模块，用于对摄像头采集的包含皮带的视频流进行采样，以获取第一图像序列；

第一确定模块，用于基于稠密光流算法，确定所述第一图像序列中每相邻两帧图像对应的稠密光流矩阵；

第二确定模块，用于根据所述每相邻两帧图像对应的稠密光流矩阵，确定所述皮带在所述每相邻两帧图像中的后一帧图像下对应的第一运行状态；

第三确定模块，用于根据所述第一运行状态，确定所述皮带对应的实际运行状态；

所述第二确定模块，还用于对所述后一帧图像中的像素点进行采样，以获取第一采样点集合；

从所述稠密光流矩阵中，确定所述第一采样点集合中每个第一采样点对应的元素；

将元素对应的距离偏移量大于距离阈值的第一采样点，确定为第二采样点集合中的第二采样点；

根据所述第二采样点对应的元素包含的第一偏移量及第二偏移量，将所述第二采样点集合划分为第三采样点集合及第四采样点集合，其中，所述第一偏移量所在的第一方向与所述第二偏移量所在的第二方向垂直；

将所述第三采样点集合及所述第四采样点集合中第二采样点数量最多的集合，确定为目标采样点集合；

根据所述目标采样点集合中第二采样点的总数量及对应的距离偏移量中的最大偏移量，确定所述第一运行状态；

其中，所述根据所述目标采样点集合中第二采样点的总数量及对应的距离偏移量中的最大偏移量，确定所述第一运行状态，包括：

在所述总数量小于数量阈值、且所述最大偏移量小于偏移量阈值的情况下，确定所述第一运行状态为停止中；或者，

在所述总数量大于或等于所述数量阈值，或者所述最大偏移量大于或等于所述偏移量阈值的情况下，确定所述第一运行状态为运行中。