CN115331157B - 基于图像处理的输送机异常检测方法及系统 - Google Patents

基于图像处理的输送机异常检测方法及系统 Download PDF

Info

Publication number
CN115331157B
CN115331157B CN202211185684.8A CN202211185684A CN115331157B CN 115331157 B CN115331157 B CN 115331157B CN 202211185684 A CN202211185684 A CN 202211185684A CN 115331157 B CN115331157 B CN 115331157B
Authority
CN
China
Prior art keywords
cluster
initial
motion vector
evaluation index
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211185684.8A
Other languages
English (en)
Other versions
CN115331157A (zh
Inventor
郑兆宗
孔存红
张朋
邱雷明
梁勇
孙善金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shankuang Machinery Co ltd
Original Assignee
Shandong Shankuang Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shankuang Machinery Co ltd filed Critical Shandong Shankuang Machinery Co ltd
Priority to CN202211185684.8A priority Critical patent/CN115331157B/zh
Publication of CN115331157A publication Critical patent/CN115331157A/zh
Application granted granted Critical
Publication of CN115331157B publication Critical patent/CN115331157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，具体涉及基于图像处理的输送机异常检测方法及系统。方法包括：得到各目标像素块的运动矢量；根据各目标像素块的运动矢量之间的聚类距离，得到各初始聚类类别以及各初始聚类类别中的各运动矢量；根据各初始聚类类别中的各运动矢量得到第一初始聚类评价指标、第二初始聚类评价指标和第三初始聚类评价指标；根据第一初始聚类评价指标、第二初始聚类评价指标和第三初始聚类评价指标，得到初始聚类综合评价指标；根据初始聚类综合评价指标，得到各目标聚类类别对应的平均运动矢量，根据各目标聚类类别对应的平均运动矢量，判断输送机传送带是否出现异常。本发明能可靠的实现对输送机传送带的异常检测。

Description

基于图像处理的输送机异常检测方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及基于图像处理的输送机异常检测方法及系统。
背景技术
对于用箱子打包的物品的运输，一般是使用输送机来实现，且输送机具有效率高、成本低等特点，但是在对用箱子打包的物品的运输过程中，需要注重对输送机传送带的异常检测，因为当输送机传送带出现异常时会使得输送机的运输过程出现异常，即会影响输送机的使用效果，因此对输送机传送带的异常检测至关重要。
现有技术中的输送机传送带异常检测方法一般是基于人工目检或者神经网络来实现的；基于人工目检的这种方式人为主观性较强，容易出现误检，进而导致可靠性较低的问题；而基于神经网络很容易陷入局部最优的情况，进而也会导致对输送机传送带异常检测的可靠性较低；因此提高对输送机传送带进行异常检测的可靠性是需要解决的问题。
发明内容
本发明提供基于图像处理的输送机异常检测方法及系统，用于解决现有方法对输送机传送带进行异常检测时的可靠性较低的问题，所采用的技术方案具体如下：
第一方面，本发明实施例提供了一种基于图像处理的输送机异常检测方法包括以下步骤：
获取输送机传送带的当前帧灰度图像；
对所述当前帧灰度图像进行分割，得到当前帧灰度图像对应的各像素块；利用显著性分析算法对当前帧灰度图像对应的各像素块进行筛选，得到当前帧灰度图像对应的各显著像素块；利用角点检测算法，得到各显著像素块中的各目标像素块；
利用三步搜索法，得到各目标像素块的运动矢量；
计算各目标像素块的运动矢量之间的聚类距离；根据所述聚类距离，对运动矢量进行初始聚类，得到各初始聚类类别以及各初始聚类类别中的各运动矢量；
获得各初始聚类类别对应的平均运动速度和对应的平均运动方向；根据各初始聚类类别中的各运动矢量对应的模长和方向以及各初始聚类类别对应的平均运动速度和对应的平均运动方向，得到初始聚类对应的第一初始聚类评价指标和第二初始聚类评价指标；根据初始聚类类别的数量，得到初始聚类对应的第三初始聚类评价指标；
根据所述第一初始聚类评价指标、第二初始聚类评价指标以及第三初始聚类评价指标，得到初始聚类综合评价指标；根据所述初始聚类综合评价指标，得到各目标聚类类别以及各目标聚类类别对应的平均运动矢量，所述平均运动矢量包括平均运动速度和平均运动方向；根据各目标聚类类别对应的平均运动矢量，判断输送机传送带是否出现异常。
第二方面，本发明提供了一种基于图像处理的输送机异常检测系统，包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现上述基于图像处理的输送机异常检测方法。
优选的，利用显著性分析算法对当前帧灰度图像对应的各像素块进行筛选，得到当前帧灰度图像对应的各显著像素块的方法，包括：
利用Itti显著性分析算法对当前帧灰度图像对应的各像素块进行显著性检测，得到各像素块对应的显著值；将所述显著值大于预设显著阈值的像素块记为显著像素块。
优选的，根据如下公式计算任意两个目标像素块对应的运动矢量之间的聚类距离：
Figure 230821DEST_PATH_IMAGE001
其中，
Figure 667488DEST_PATH_IMAGE002
为当前帧灰度图像对应的第a个目标像素块与当前帧灰度图像对应的第b个目标像素块之间的聚类距离，
Figure 324865DEST_PATH_IMAGE003
为当前帧灰度图像对应的第a个目标像素块对应的运动矢量的模长，
Figure 555995DEST_PATH_IMAGE004
为当前帧灰度图像对应的第b个目标像素块对应的运动矢量的模长，
Figure 564402DEST_PATH_IMAGE005
为当前帧灰度图像对应的第a个目标像素块对应的运动矢量的方向，
Figure 804760DEST_PATH_IMAGE006
为当前帧灰度图像对应的第b个目标像素块对应的运动矢量的方向。
优选的，获得各初始聚类类别对应的平均运动速度和对应的平均运动方向以及得到初始聚类对应的第一初始聚类评价指标和第二初始聚类评价指标的方法，包括：
计算得到各初始聚类类别中各运动矢量的模长的平均值，记为各初始聚类类别对应的平均运动速度；
计算得到各初始聚类类别中各运动矢量的方向的平均值，记为各初始聚类类别对应的平均运动方向；
根据如下公式计算初始聚类对应的第一初始聚类评价指标：
Figure 582223DEST_PATH_IMAGE007
其中，
Figure 984254DEST_PATH_IMAGE008
为初始聚类对应的第一初始聚类评价指标，
Figure 463646DEST_PATH_IMAGE009
为初始聚类类别的数量，
Figure 258427DEST_PATH_IMAGE010
为第i个初始聚类类别中运动矢量的数量，
Figure 874085DEST_PATH_IMAGE011
为第i个初始聚类类别中的第j个运动矢量的模长，
Figure 197750DEST_PATH_IMAGE012
为第i个初始聚类类别对应的平均运动速率，
Figure 164438DEST_PATH_IMAGE013
为第i个初始聚类类别中的第j个运动矢量的方向，
Figure 481018DEST_PATH_IMAGE014
为第i个初始聚类类别对应的平均运动方向；
根据如下公式计算初始聚类对应的第二初始聚类评价指标：
Figure 967494DEST_PATH_IMAGE015
其中，
Figure 976908DEST_PATH_IMAGE016
为初始聚类对应的第二聚类评价指标，
Figure 181624DEST_PATH_IMAGE017
为第q个初始聚类类别对应的平均运动速率，
Figure 567475DEST_PATH_IMAGE018
为第q个初始聚类类别对应的平均运动方向。
优选的，得到初始聚类对应的第三初始聚类评价指标的方法，包括：
选取各初始聚类类别中最大平均运动速度对应的初始聚类类别，并记为特征初始聚类类别；
获取特征初始聚类类别中运动矢量的数量以及特征初始聚类类别中各运动矢量对应的目标像素块对应的最小外接矩形的面积，所述最小外接矩形中包含特征初始聚类类别中各运动矢量对应的目标像素块，所述最小外接矩形的面积大于等于特征初始聚类类别中各运动矢量对应的目标像素块面积的累加和；
将特征初始聚类类别中的各运动矢量对应的目标像素块中的中心像素点的坐标记为对应目标像素块的坐标；
根据特征初始聚类类别中运动矢量的数量、特征初始聚类类别中各运动矢量对应的目标像素块对应的最小外接矩形的面积以及特征初始聚类类别中的各运动矢量对应的目标像素块的坐标，得到初始聚类对应的第三初始聚类评价指标。
优选的，根据如下公式计算初始聚类对应的第三初始聚类评价指标：
Figure 642878DEST_PATH_IMAGE019
其中，
Figure 823193DEST_PATH_IMAGE020
为初始聚类对应的第三初始聚类评价指标，
Figure 515205DEST_PATH_IMAGE021
为特征初始聚类类别中各运动矢量对应的目标像素块对应的最小外接矩形的面积，exp（ ）为以自然常数e为底的指数函数，
Figure 908009DEST_PATH_IMAGE022
为特征初始聚类类别中运动矢量的数量，
Figure 352766DEST_PATH_IMAGE023
为特征初始聚类类别中第n个运动矢量对应的目标像素块的横坐标，
Figure 454714DEST_PATH_IMAGE024
为特征初始聚类类别中第m个运动矢量对应的目标像素块的横坐标，
Figure 352132DEST_PATH_IMAGE025
为特征初始聚类类别中第n个运动矢量对应的目标像素块的纵坐标，
Figure 548627DEST_PATH_IMAGE026
为特征初始聚类类别中第m个运动矢量对应的目标像素块的纵坐标，K为初始聚类类别的数量。
优选的，根据如下公式计算初始聚类综合评价指标：
Figure 100002_DEST_PATH_IMAGE027
其中，
Figure 51152DEST_PATH_IMAGE028
为初始聚类综合评价指标，exp（ ）为以自然常数e为底的指数函数，
Figure 307690DEST_PATH_IMAGE029
为初始聚类对应的第一初始聚类评价指标，
Figure 443137DEST_PATH_IMAGE030
为初始聚类对应的第二初始聚类评价指标，
Figure 708902DEST_PATH_IMAGE031
为初始聚类对应的第三初始聚类评价指标。
优选的，得到各目标聚类类别以及各目标聚类类别对应的平均运动矢量的方法，包括：
若所述初始聚类综合评价指标大于预设评价阈值，则将各初始聚类类别记为目标聚类类别；
若所述初始聚类综合评价指标小于等于预设评价阈值，且初始类别数量为2，则对各运动矢量再进行一次聚类，记为第二聚类，使第二聚类的聚类类别数量为3，并获取第二聚类的聚类综合评价指标，若第二聚类的聚类综合评价指标大于预设评价阈值，则将第二聚类的各聚类类别记为目标聚类类别；若第二聚类的聚类综合评价指标小于等于预设评价阈值，则将所述初始聚类综合评价指标和第二聚类对应的聚类综合评价指标中的最大聚类综合评价指标对应的各聚类类别记为目标聚类类别；
若所述初始聚类综合评价指标小于等于预设评价阈值，且初始类别数量为3，则对各运动矢量再进行一次聚类，记为第三聚类，使第三聚类的聚类类别数量为2，并获取第三聚类的聚类综合评价指标，若第三聚类的聚类综合评价指标大于预设评价阈值，则将第三聚类的各聚类类别记为目标聚类类别；若第三聚类的聚类综合评价指标小于等于预设评价阈值，则将所述初始聚类综合评价指标和第三聚类对应的聚类综合评价指标中的最大聚类综合评价指标对应的各聚类类别记为目标聚类类别；
将各目标聚类类别中的各运动矢量的模的平均值记为各目标聚类类别对应的平均运动速度；将各目标聚类类别中的各运动矢量的方向的平均值记为各目标聚类类别对应的平均运动方向；根据各目标聚类类别对应的平均运动方向和对应的平均运动速度，构建得到各目标聚类类别对应的平均运动矢量。
优选的，根据各目标聚类类别对应的平均运动矢量，判断输送机传送带是否出现异常的方法，包括：
若目标聚类类别的数量为2，则将各目标聚类类别中的最大平均运动速度对应的目标聚类类别记为特征目标聚类类别；若目标聚类类别的数量为3，则将各目标聚类类别中仅次于最大平均运动速度的目标聚类类别记为特征目标聚类类别；
获取输送机传送带正常运行时的运动矢量，记为正常运动矢量，所述正常运动矢量包括模长和方向；
根据特征目标聚类类别对应的平均运动矢量和输送机传送带正常运行时的正常运动矢量，得到输送机传送带的异常评价指标；
根据如下公式计算输送机传送带的异常评价指标：
Figure 886109DEST_PATH_IMAGE032
其中，
Figure 64280DEST_PATH_IMAGE033
为输送机传送带的异常评价指标，exp（ ）为以自然常数e为底的指数函数，
Figure 467449DEST_PATH_IMAGE034
为特征目标聚类类别对应的平均运动矢量的平均运动速率，
Figure 22058DEST_PATH_IMAGE035
为输送机传送带正常运行时的正常运动矢量的模长，
Figure 561493DEST_PATH_IMAGE036
为特征目标聚类类别对应的平均运动矢量的平均运动方向，
Figure 176145DEST_PATH_IMAGE037
为输送机传送带正常运行时的正常运动矢量的方向；
判断输送机传送带的异常评价指标是否大于异常评价阈值，若是，则判定输送机传送带出现跑偏异常。
有益效果：本发明首先获取输送机传送带的当前帧灰度图像，通过对当前帧灰度图像进行分割来降低当前帧灰度图像上噪声信息对后续的分析的影响；然后依据显著性分析算法和角点检测算法，得到各目标像素块，本发明通过显著性分析算法和角点检测算法可以降低后续的计算量，并且还能提高后续获取运动矢量的准确性。紧接着利用三步搜索法，得到各目标像素块的运动矢量，并根据各目标像素块的运动矢量之间的聚类距离，对运动矢量进行初始聚类，得到各初始聚类类别以及各初始聚类类别中的各运动矢量；然后本发明从多个维度分析得到初始聚类综合评价指标，并依据初始聚类综合评价指标，得到各目标聚类类别，最后依据各目标聚类类别能够可靠的实现对输送机传送带是否出现异常判定。因此本发明提供的方法不仅能减少计算量，还能较可靠的实现对输送机传送带的异常检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明基于图像处理的输送机异常检测方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明实施例，本领域普通技术人员所获得的所有其它实施例，都属于本发明实施例保护的范围。
除非另有定义，本文所使用的所有的技术和科学技术术语与属于本发明的技术人员通常理解的含义相同。
本实施例提供了基于图像处理的输送机异常检测方法，详细说明如下：
如图1所示，该基于图像处理的输送机异常检测方法，包括以下步骤：
步骤S001，获取输送机传送带的当前帧灰度图像。
本实施例是通过分析输送机传送带的运动矢量以及输送机传送带上运输物品的运动矢量来实现对输送机传送带的异常检测，本实施例主要是对基于无线控制的带式输送机在运输过程中传送带是否存在跑偏异常进行检测，且本实施例只对用箱子打包的物品进行运输时的输送机传送带进行分析。而输送机传送带出现跑偏的原因是皮带在运行中有横向力产生，产生横向力的原因包括：输送机装货偏于一侧而不是装在正中位置、托辊和滚筒安装轴线与传送带中心不垂直、机身钢丝绳高低不一致或者传送带接头不正不直等；因此本实施例提供了一种基于图像处理的输送机异常检测方法，该方法基于显著性分析算法和角点检测算法，确定待分析的各目标像素块，并利用三步搜索法，得到各目标像素块的运动矢量；之后对运动矢量进行初始聚类，对聚类的结果进行分析，依据分析的结果确定各目标聚类类别，然后依据目标聚类类别，判断输送机传送带是否出现异常。本实施例提供的方法不仅能减少计算量，还能较可靠的实现对输送机传送带的异常检测。
本实施例将相机放置在传送带的上方进行图像采集，本实施例只在输送机运行时，对传送带进行图像采集，采集得到输送机传送带的当前帧图像，并对当前帧图像进行灰度化处理，得到输送机传送带的当前帧灰度图像；所述灰度化处理为公知技术，因此不再详细描述。
步骤S002，对所述当前帧灰度图像进行分割，得到当前帧灰度图像对应的各像素块；利用显著性分析算法对当前帧灰度图像对应的各像素块进行筛选，得到当前帧灰度图像对应的各显著像素块；利用角点检测算法，得到各显著像素块中的各目标像素块。
由于当前帧灰度图像上可能会存在一些噪声信息，噪声信息会对后续的分析造成影响；并且当前帧灰度图像上还可能会存在一些灰度值相似并且位置较为接近的区域，而灰度值相似并且位置较为接近的区域可能会使得后续获取运动矢量时出现误差；本实施例为了避免上述两种问题对后续分析的影响，本实施例首先利用超像素分割将当前帧灰度图像分割成多个N1*N1的像素块，即得到了当前帧灰度图像对应的各像素块，像素块的大小均为N1*N1，所述N1为像素块的边长，具体应用中可根据实际情况设置N1的值；本实施例中对图像进行划分可以减少图像中噪声信息对图像的影响，并且后续将直接对像素块进行分析，无需再对图像上的各像素点进行分析，可以减少计算量。
本实施例为了尽可能的保留图像上的所有信息，上述设置的分割区域要较小，即得到的像素块的尺寸较小，因此进行超像素分割后得到的像素块的数量仍旧较多，为了进一步减少后续计算量，本实施例将从上述得到的像素块中筛选出一些表征意义比较大的像素块来进行后续的计算，即从像素块中筛选出一些可以代表整张图像中的重要信息的像素块；具体为：
利用Itti显著性分析算法对当前帧灰度图像对应的各像素块进行显著性检测，得到各像素块对应的显著值；将显著值大于预设显著阈值的像素块记为显著像素块；具体应用中预设显著阈值可根据实际情况进行设置，本实施例将预设显著阈值设置为0.5；但是得到的显著像素块中可能存在灰度值相近而且距离也比较近的显著像素块，同样的也可能导致后续像素块对应的运动矢量的获取出现错误，因此接下来本实施例利用SUSAN角点检测算法对各显著像素块进行角点检测，得到各显著像素块中的各目标像素块以及各目标像素块的角点响应值；本实施例中SUSAN角点检测算法中角点响应函数中的阈值φ设置为USAN区域面积的一半，像素点灰度值相似度阈值δ设置为10；所述角点响应值是根据SUSAN角点检测算法中角点响应函数获取的。
本实施例中利用超像素分割获取图像对应的各像素块、利用Itti显著性分析算法获取各像素块的显著值、利用SUSAN角点检测算法获取各显著像素块中的各目标像素块以及各目标像素块的角点响应值均为公知技术，因此本实施例不再作具体描述。
步骤S003，利用三步搜索法，得到各目标像素块的运动矢量。
由于本实施例是通过分析输送机传送带的运动矢量以及输送机传送带上运输物品的运动矢量来实现对输送机在运输过程中传送带是否出现跑偏异常的判定，因此接下来本实施例将获取各目标像素块的运动矢量；具体为：
本实施例主要基于三步搜索法来获取各目标像素块的运动矢量，所述运动矢量包括运动速度和运动方向，但是三步搜索法过程中需要使用当前帧灰度图像的相邻帧图像，本实施例使用输送机传送带的历史灰度图像，所述历史灰度图像为当前帧灰度图像的前一帧图像，并利用超像素分割对历史灰度图像进行分割，得到历史灰度图像对应的各像素块；然后利用SUSAN角点检测算法对历史灰度图像对应的各像素块进行角点检测，得到历史灰度图像对应的各像素块的角点响应值；所述获取历史灰度图像、获取历史灰度图像对应的各像素块的角点响应值以及获取历史灰度图像对应的各像素块的方法和上述获取当前帧灰度图像、获取各目标像素块对应的角点响应值以及获取当前帧灰度图像对应的各像素块的方式相同，因此不再详细描述。由于在三步搜索法中还包括对当前帧灰度图像对应的各目标像素块以及历史灰度图像对应的各像素块之间的匹配，即在历史灰度图像上找到各目标像素块对应的最佳匹配像素块；具体为：
对于任一目标像素块：将该目标像素块的中心像素点的位置记为第x1行第y1列；然后获取历史灰度图像上中心像素点为第x1行第y1列的像素块，记为该目标像素块对应的第一匹配候选像素块；然后计算第一匹配候选像素块与该目标像素块之间的SAD值；然后在历史灰度图像上移动第一匹配候选像素块，得到该目标像素块对应的第二匹配候选像素块，所述移动范围不能超过搜索范围，所述移动范围需根据实际情况设定；计算第二匹配候选像素块与该目标像素块之间的SAD值；以此类推，获取该目标像素块对应的各匹配候选像素块，并将最小的SAD值对应的匹配候选像素块记为该目标像素块对应的最佳匹配像素块。
本实施例寻找最佳匹配像素块时不仅考虑窗口的灰度值还考虑像素块的角点响应值，能够更加准确的寻找到各目标像素块对应的最佳匹配像素块；对于任一目标像素块对应的任一匹配候选像素块，获取目标像素块对应的灰度均值以及该匹配候选像素块的灰度均值，根据目标像素块对应的灰度均值、该匹配候选像素块对应的灰度均值，该目标像素块对应的角点响应值以及该匹配候选像素块对应的角点响应值，得到该目标像素块与该匹配候选像素块之间的SAD值；根据如下公式计算该目标像素块与该匹配候选像素块之间的SAD值：
Figure 535451DEST_PATH_IMAGE038
其中，
Figure DEST_PATH_IMAGE039
为该目标像素块与该匹配候选像素块之间的SAD值，
Figure 815122DEST_PATH_IMAGE040
为该目标像素块对应的灰度均值，
Figure 474643DEST_PATH_IMAGE041
为该匹配候选像素块对应的灰度均值，
Figure 994617DEST_PATH_IMAGE042
为该目标像素块对应的角点响应值，
Figure 106798DEST_PATH_IMAGE043
为该匹配候选像素块对应的角点响应值；
Figure 3210DEST_PATH_IMAGE039
的值越小，表明该匹配候选像素块是该目标像素块对应的最佳匹配像素块的概率越大；
Figure 517237DEST_PATH_IMAGE044
越小，
Figure 722959DEST_PATH_IMAGE045
越小，越小。
本实施例中基于三步搜索法获取各目标像素块的运动矢量的过程为公知技术，因此不再详细描述。
步骤S004，计算各目标像素块的运动矢量之间的聚类距离；根据所述聚类距离，对运动矢量进行初始聚类，得到各初始聚类类别以及各初始聚类类别中的各运动矢量。
本实施例主要是分析输送机传送带是否出现跑偏异常，但是在输送机传送带进行运输的过程中，传送带上的物品可能由于传送带的震动而出现滑落这种情况，传送带的震动而导致运输物品的滑落会使得获取的运动矢量与正常运动矢量之间的差异更大，这种问题会导致在对输送机传送带是否出现跑偏进行判定时容易出现误判的现象，因此本实施例需要排除这种现象对后续分析的干扰，增加判断的可靠性和准确性；具体为：
首先本实施例计算任意两个目标像素块对应的运动矢量之间的差异，记为聚类距离；所述聚类距离为后续进行聚类的依据；根据如下公式计算任意两个目标像素块对应的运动矢量之间的聚类距离：
Figure 807590DEST_PATH_IMAGE001
其中，
Figure 756960DEST_PATH_IMAGE002
为当前帧灰度图像对应的第a个目标像素块与当前帧灰度图像对应的第b个目标像素块之间的聚类距离，
Figure 876226DEST_PATH_IMAGE003
为当前帧灰度图像对应的第a个目标像素块对应的运动矢量的模长，
Figure 518429DEST_PATH_IMAGE004
为当前帧灰度图像对应的第b个目标像素块对应的运动矢量的模长，
Figure 90355DEST_PATH_IMAGE005
为当前帧灰度图像对应的第a个目标像素块对应的运动矢量的方向，
Figure 843417DEST_PATH_IMAGE006
为当前帧灰度图像对应的第b个目标像素块对应的运动矢量的方向；
Figure 158467DEST_PATH_IMAGE002
越小，表明当前帧灰度图像对应的第a个目标像素块与当前帧灰度图像对应的第b个目标像素块之间的差异越小，表明后续进行聚类的时候聚为一类的概率越大；360度是为了对
Figure 722304DEST_PATH_IMAGE046
进行归一化，消除量级对计算聚类距离的干扰。
紧接着根据任意两个目标像素块对应的运动矢量之间的聚类距离，利用K-means聚类算法对各运动矢量进行初始聚类，得到各初始聚类类别以及各初始聚类类别中的各运动矢量。
步骤S005，获得各初始聚类类别对应的平均运动速度和对应的平均运动方向；根据各初始聚类类别中的各运动矢量对应的模长和方向以及各初始聚类类别对应的平均运动速度和对应的平均运动方向，得到初始聚类对应的第一初始聚类评价指标和第二初始聚类评价指标；根据初始聚类类别的数量，得到初始聚类对应的第三初始聚类评价指标。
紧接着依据聚类类别内差异较小，聚类类别之间差异较大，以及传送带上物品未出现滑落以及物品存在滑落时的特征，对初始聚类的效果进行分析，后续依据分析的结果，能够较准确的判断输送机传送带是否出现跑偏异常；具体为：
（1）得到初始聚类对应的第一初始聚类评价指标和第二初始聚类评价指标的具体过程为：
由于当聚类效果较好时类内的差异较小，即当聚类效果较好时类内的运动矢量较为相似；因此本实施例计算得到各初始聚类类别中各运动矢量的模长的平均值，记为各初始聚类类别对应的平均运动速度；计算得到各初始聚类类别中各运动矢量的方向的平均值，记为各初始聚类类别对应的平均运动方向；然后根据各初始聚类类别中的各运动矢量对应的模长和方向以及各初始聚类类别对应的平均运动速度和对应的平均运动方向，得到初始聚类对应的第一初始聚类评价指标，所述第一初始聚类评价指标能反映类内特征；根据如下公式计算初始聚类对应的第一初始聚类评价指标：
Figure 30794DEST_PATH_IMAGE007
其中，
Figure 338279DEST_PATH_IMAGE008
为初始聚类对应的第一初始聚类评价指标，
Figure 507835DEST_PATH_IMAGE009
为初始聚类类别的数量，
Figure 226261DEST_PATH_IMAGE010
为第i个初始聚类类别中运动矢量的数量，
Figure 772780DEST_PATH_IMAGE011
为第i个初始聚类类别中的第j个运动矢量的模长，
Figure 133224DEST_PATH_IMAGE012
为第i个初始聚类类别对应的平均运动速率，
Figure 81588DEST_PATH_IMAGE013
为第i个初始聚类类别中的第j个运动矢量的方向，
Figure 236495DEST_PATH_IMAGE014
为第i个初始聚类类别对应的平均运动方向；初始聚类对应的第一初始聚类评价指标反映的是类内特征，
Figure 4731DEST_PATH_IMAGE008
越小，聚类效果越好；
Figure 903285DEST_PATH_IMAGE047
和
Figure 971735DEST_PATH_IMAGE048
越小，则
Figure 297543DEST_PATH_IMAGE008
越小；且360度的作用是对
Figure 818655DEST_PATH_IMAGE049
进行归一化，消除量纲。
由于当聚类效果较好时类间的差异应该较大，即当聚类效果较好时类间的运动矢量较为不相似；因此本实施例根据各初始聚类类别对应的平均运动速度和对应的平均运动方向，得到初始聚类对应的第二初始聚类评价指标，所述第二初始聚类评价指标可以反映类间特征；根据如下公式计算初始聚类对应的第二初始聚类评价指标：
Figure 255321DEST_PATH_IMAGE050
其中，
Figure 912698DEST_PATH_IMAGE016
为初始聚类对应的第二聚类评价指标，
Figure 409408DEST_PATH_IMAGE009
为初始聚类类别的数量，
Figure 417815DEST_PATH_IMAGE051
为第q个初始聚类类别对应的平均运动速率，
Figure 56427DEST_PATH_IMAGE018
为第q个初始聚类类别对应的平均运动方向；初始聚类对应的第二初始聚类评价指标反映的是类间特征，
Figure 224103DEST_PATH_IMAGE016
越大，聚类效果越好；
Figure 517812DEST_PATH_IMAGE052
和
Figure 387417DEST_PATH_IMAGE053
越大，则
Figure 306831DEST_PATH_IMAGE016
越大；且360度的作用是对
Figure 814167DEST_PATH_IMAGE054
进行归一化，消除量纲。
（2）得到初始聚类对应的第三初始聚类评价指标的具体过程为：
接下来本实施例将要获取初始聚类对应的第三聚类评价指标，而第三聚类评价指标主要分析的是传送带上的物品由于传送带的震动而出现滑落时，导致的运动矢量与正常运动矢量之间的差异更大的问题；所述正常运动矢量是指输送机传送带正常运行时的正常运动矢量；获取第三聚类评价指标的具体过程为：
当输送机传送带的当前帧灰度图像上未出现物品滑落的现象时，在聚类效果较好的情况下，则会出现两种聚类类别，并且得到的其中一个聚类类别中的各运动矢量为当前帧灰度图像中固定不变的背景目标像素块的运动矢量，另一个聚类类别中的各运动矢量为传送带或者传送带上的物品对应的目标像素块对应的运动矢量；并且两种聚类类别中最大平均运动速度对应的聚类类别中运动矢量的数量与最大平均运动速度对应的聚类类别中各运动矢量对应的目标像素块构成的最小外接矩形的面积的比值越大，表明聚类效果越好；而且当输送机传送带的当前帧灰度图像上未出现物品滑落的现象时，得到的两种类别中的最大平均运动速度对应的聚类类别中的运动矢量为传送带或者传送带上的物品对应的目标像素块对应的运动矢量。
而当输送机传送带的当前帧灰度图像上出现物品滑落的现象时，在聚类效果较好的情况下，则会出现三种聚类类别，三种聚类类别分别具有以下特征：一个聚类类别中的各运动矢量为当前帧灰度图像中固定不变的背景目标像素块的运动矢量类别，一个聚类类别中的各运动矢量为传送带或者传送带上的物品对应的目标像素块对应的运动矢量，一个聚类类别中的各运动矢量为滑落物品对应的目标像素块的运动矢量；由于本实施例只对用箱子打包的物品进行运输时的输送机传送带进行分析，因此通常情况下只会出现单个物品的滑落，而且在三种聚类类别中最大平均运动速度对应的聚类类别中运动矢量对应的目标像素块为滑落物品的像素块，因为物品的滑落是由于物品受力不平衡出现移动导致的，因此滑落物品的运动矢量的模大于传送带或者传送带上的物品对应的目标像素块对应的运动矢量的模，因此三种聚类类别中最大平均运动速度对应的聚类类别中的运动矢量为滑落物品对应的目标像素块的运动矢量，并且由于滑落物品的像素块都属于同一个物品，因此滑落物品上形成的像素块的分布应是较为密集的，即当聚类效果较好时最大平均运动速度对应的聚类类别中的各运动矢量对应的目标像素块之间的距离较小。
因此本实施例选取各初始聚类类别中最大平均运动速度对应的初始聚类类别，并记为特征初始聚类类别；然后获取特征初始聚类类别中运动矢量的数量以及特征初始聚类类别中各运动矢量对应的目标像素块对应的最小外接矩形的面积，所述最小外接矩形中包含特征初始聚类类别中各运动矢量对应的目标像素块，即所述最小外接矩形的面积大于等于特征初始聚类类别中各运动矢量对应的目标像素块面积的累加和；将特征初始聚类类别中的各运动矢量对应的目标像素块中的中心像素点的坐标记为对应目标像素块的坐标。
本实施例中特征初始聚类类别中运动矢量的数量、特征初始聚类类别中各运动矢量对应的目标像素块对应的最小外接矩形的面积以及特征初始聚类类别中的各运动矢量对应的目标像素块的位置均能反映聚类效果；因此本实施例根据特征初始聚类类别中运动矢量的数量、特征初始聚类类别中各运动矢量对应的目标像素块对应的最小外接矩形的面积以及特征初始聚类类别中的各运动矢量对应的目标像素块的坐标，得到初始聚类对应的第三初始聚类评价指标；根据如下公式计算初始聚类对应的第三初始聚类评价指标：
Figure 793625DEST_PATH_IMAGE019
其中，
Figure 150525DEST_PATH_IMAGE020
为初始聚类对应的第三初始聚类评价指标，
Figure 608052DEST_PATH_IMAGE021
为特征初始聚类类别中各运动矢量对应的目标像素块对应的最小外接矩形的面积，exp（ ）为以自然常数e为底的指数函数，
Figure 704315DEST_PATH_IMAGE022
为特征初始聚类类别中运动矢量的数量，
Figure 120252DEST_PATH_IMAGE023
为特征初始聚类类别中第n个运动矢量对应的目标像素块的横坐标，
Figure 698870DEST_PATH_IMAGE024
为特征初始聚类类别中第m个运动矢量对应的目标像素块的横坐标，
Figure 428929DEST_PATH_IMAGE025
为特征初始聚类类别中第n个运动矢量对应的目标像素块的纵坐标，
Figure 176436DEST_PATH_IMAGE026
为特征初始聚类类别中第m个运动矢量对应的目标像素块的纵坐标；
Figure 497696DEST_PATH_IMAGE055
为特征初始聚类类别中第m个运动矢量对应的目标像素块与第m个运动矢量对应的目标像素块之间的距离，K为初始聚类类别的数量。
当初始聚类类别的数量为2时，获取第三初始聚类评价指标的依据为特征初始聚类类别中运动矢量的数量和特征初始聚类类别中各运动矢量对应的目标像素块对应的最小外接矩形的面积，即当初始聚类类别的数量为2时，获取第三初始聚类评价指标的计算公式为
Figure 298031DEST_PATH_IMAGE056
，且此时
Figure 628518DEST_PATH_IMAGE020
越大，表明初始聚类效果越好；
Figure 964952DEST_PATH_IMAGE057
越大，
Figure 191534DEST_PATH_IMAGE021
越小，则
Figure 744744DEST_PATH_IMAGE020
越大。
当初始聚类类别的数量为3时，获取第三初始聚类评价指标的依据为特征初始聚类类别中的各运动矢量对应的目标像素块的位置，即当初始聚类类别的数量为3时，获取第三初始聚类评价指标的计算公式为
Figure 613343DEST_PATH_IMAGE058
；且此时
Figure 69863DEST_PATH_IMAGE020
越大，表明初始聚类效果越好；
Figure 247773DEST_PATH_IMAGE055
越小，则
Figure 39011DEST_PATH_IMAGE020
越大。
至此，可以得到初始聚类对应的第一初始聚类评价指标、第二初始聚类评价指标和第三初始聚类评价指标。
步骤S006，根据所述第一初始聚类评价指标、第二初始聚类评价指标以及第三初始聚类评价指标，得到初始聚类综合评价指标；根据所述初始聚类综合评价指标，得到各目标聚类类别以及各目标聚类类别对应的平均运动矢量，所述平均运动矢量包括平均运动速度和平均运动方向；根据各目标聚类类别对应的平均运动矢量，判断输送机传送带是否出现异常。
本实施例步骤S005中得到了初始聚类的第一初始聚类评价指标、第二初始聚类评价指标以及第三初始聚类评价指标，紧接着对第一初始聚类评价指标、第二初始聚类评价指标以及第三初始聚类评价指标进行结合，得到初始聚类综合评价指标，所述初始聚类综合评价指标能够更加准确和更加全面的反映聚类效果，且初始聚类综合评价指标为后续得到各目标聚类类别、各目标聚类类别对应的平均运动矢量以及判断输送机传送带是否出现跑偏异常的依据；具体为：
（a）得到初始聚类综合评价指标的具体过程为：
由于第一初始聚类评价指标、第二初始聚类评价指标以及第三初始聚类评价指标均能反映聚类效果，因此根据第一初始聚类评价指标、第二初始聚类评价指标以及第三初始聚类评价指标，得到初始聚类综合评价指标，所述初始聚类综合评价指标可以整体反映聚类效果；根据如下公式计算初始聚类综合评价指标：
Figure 196454DEST_PATH_IMAGE059
其中，
Figure 22328DEST_PATH_IMAGE028
为初始聚类综合评价指标，exp（ ）为以自然常数e为底的指数函数，
Figure 839980DEST_PATH_IMAGE029
为初始聚类对应的第一初始聚类评价指标，
Figure 118515DEST_PATH_IMAGE030
为初始聚类对应的第二初始聚类评价指标，
Figure 79648DEST_PATH_IMAGE031
为初始聚类对应的第三初始聚类评价指标；
Figure 743717DEST_PATH_IMAGE028
越大，表明初始聚类效果越好；
Figure 483003DEST_PATH_IMAGE031
越大，
Figure 733987DEST_PATH_IMAGE029
越大，
Figure 482500DEST_PATH_IMAGE030
越小，表明
Figure 266654DEST_PATH_IMAGE028
越大。
（b）得到各目标聚类类别以及各目标聚类类别对应的平均运动速度的具体过程为：
若初始聚类综合评价指标大于预设评价阈值，则表明初始聚类的效果较好，并将各初始聚类类别记为目标聚类类别。
若初始聚类综合评价指标小于等于预设评价阈值，且初始类别数量为2，则表明初始聚类的效果不好，则对各运动矢量再进行一次聚类，记为第二聚类，使第二聚类的聚类类别数量为3，并获取第二聚类的聚类综合评价指标，若第二聚类的聚类综合评价指标大于预设评价阈值，则将第二聚类的各聚类类别记为目标聚类类别；若第二聚类的聚类综合评价指标小于等于预设评价阈值，则将初始聚类对应的初始聚类综合评价指标和第二聚类对应的聚类综合评价指标中的最大聚类综合评价指标对应的各聚类类别记为目标聚类类别。
若初始聚类综合评价指标小于等于预设评价阈值，且初始类别数量为3，则表明初始聚类的效果不好，则对各运动矢量再进行一次聚类，记为第三聚类，使第三聚类的聚类类别数量为2，并获取第三聚类的聚类综合评价指标，若第三聚类的聚类综合评价指标大于预设评价阈值，则将第三聚类的各聚类类别记为目标聚类类别；若第三聚类的聚类综合评价指标小于等于预设评价阈值，则将初始聚类对应的初始聚类综合评价指标和第三聚类对应的聚类综合评价指标中的最大聚类综合评价指标对应的各聚类类别记为目标聚类类别。
因此通过上述过程得到了各目标聚类类别以及各目标聚类类别中的各运动矢量；将各目标聚类类别中的各运动矢量的模的平均值记为各目标聚类类别对应的平均运动速度；将各目标聚类类别中的各运动矢量的方向的平均值记为各目标聚类类别对应的平均运动方向；根据各目标聚类类别对应的平均运动方向和对应的平均运动速度，构建得到各目标聚类类别对应的平均运动矢量，即所述各目标聚类类别对应的平均运动矢量包括平均运动速度和平均运动方向；各目标聚类类别对应的平均运动矢量将用于输送机传送带异常的判别；并且具体应用中预设评价阈值可以根据实际情况进行设置，本实施例将预设评价阈值的值设置为0.8。
（c）根据各目标聚类类别对应的平均运动矢量，判断输送机传送带是否出现异常的过程为：
接下来本实施例通过各目标聚类类别对应的平均运动矢量与输送机传送带正常时的运动矢量之间的差异来实现对输送机传送带异常的判别；由于传送带的震动而导致运输物品的滑落会使得获取的运动矢量与正常运动矢量之间的差异更大，会导致在对输送机传送带是否出现跑偏进行判定时出现误判的现象；因此本实施例只需对聚类类别中的各运动矢量为传送带或者传送带上的物品对应的目标像素块对应的运动矢量的聚类类别进行分析即可。
若目标聚类类别的数量为2，则将各目标聚类类别中的最大平均运动速度对应的目标聚类类别记为特征目标聚类类别；若目标聚类类别的数量为3，则将将各目标聚类类别中仅次于最大平均运动速度的目标聚类类别记为特征目标聚类类别。然后获取输送机传送带正常运行时的运动矢量，记为正常运动矢量，所述正常运动矢量包括模长和方向；然后根据特征目标聚类类别对应的平均运动矢量和输送机传送带正常运行时的正常运动矢量，得到输送机传送带的异常评价指标；且与正常运动矢量差异越大，表明输送机传送带出现跑偏异常的概率越大；根据如下公式计算输送机传送带的异常评价指标：
Figure 442420DEST_PATH_IMAGE060
其中，
Figure 711859DEST_PATH_IMAGE033
为输送机传送带的异常评价指标，exp（ ）为以自然常数e为底的指数函数，
Figure 998484DEST_PATH_IMAGE034
为特征目标聚类类别对应的平均运动矢量的平均运动速率，
Figure 902723DEST_PATH_IMAGE035
为输送机传送带正常运行时的正常运动矢量的模长，
Figure 265703DEST_PATH_IMAGE036
为特征目标聚类类别对应的平均运动矢量的平均运动方向，
Figure 474967DEST_PATH_IMAGE037
为输送机传送带正常运行时的正常运动矢量的方向；
Figure 814551DEST_PATH_IMAGE033
越大，表明输送机传送带出现跑偏异常的概率越大；
Figure 324029DEST_PATH_IMAGE061
越大，则
Figure 857910DEST_PATH_IMAGE033
越大。
然后判断输送机传送带的异常评价指标是否大于异常评价阈值，若是，则判定输送机传送带出现跑偏异常的现象；否则，则认为输送机传送带没有出现跑偏异常的现象，即输送机传送带正常。具体应用中可根据实际情况设置异常评价阈值，本实施例将异常评价阈值设置为0.7。
本实施例首先获取输送机传送带的当前帧灰度图像，通过对当前帧灰度图像进行分割来降低当前帧灰度图像上噪声信息对后续的分析的影响；然后依据显著性分析算法和角点检测算法，得到各目标像素块，本实施例通过显著性分析算法和角点检测算法可以降低后续的计算量，并且还能提高后续获取运动矢量的准确性。紧接着利用三步搜索法，得到各目标像素块的运动矢量，并根据各目标像素块的运动矢量之间的聚类距离，对运动矢量进行初始聚类，得到各初始聚类类别以及各初始聚类类别中的各运动矢量；然后本实施例从多个维度分析得到初始聚类综合评价指标，并依据初始聚类综合评价指标，得到各目标聚类类别，最后依据各目标聚类类别能够可靠的实现对输送机传送带是否出现异常判定。因此本实施例提供的方法不仅能减少计算量，还能较可靠的实现对输送机传送带的异常检测。
本实施例的一种基于图像处理的输送机异常检测系统包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现上述基于图像处理的输送机异常检测方法。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种基于图像处理的输送机异常检测方法，其特征在于，该方法包括如下步骤：
获取输送机传送带的当前帧灰度图像；
对所述当前帧灰度图像进行分割，得到当前帧灰度图像对应的各像素块；利用显著性分析算法对当前帧灰度图像对应的各像素块进行筛选，得到当前帧灰度图像对应的各显著像素块；利用角点检测算法，得到各显著像素块中的各目标像素块；
利用三步搜索法，得到各目标像素块的运动矢量；
计算各目标像素块的运动矢量之间的聚类距离；根据所述聚类距离，对运动矢量进行初始聚类，得到各初始聚类类别以及各初始聚类类别中的各运动矢量；
获得各初始聚类类别对应的平均运动速度和对应的平均运动方向；根据各初始聚类类别中的各运动矢量对应的模长和方向以及各初始聚类类别对应的平均运动速度和对应的平均运动方向，得到初始聚类对应的第一初始聚类评价指标和第二初始聚类评价指标；根据初始聚类类别的数量，得到初始聚类对应的第三初始聚类评价指标；
根据所述第一初始聚类评价指标、第二初始聚类评价指标以及第三初始聚类评价指标，得到初始聚类综合评价指标；根据所述初始聚类综合评价指标，得到各目标聚类类别以及各目标聚类类别对应的平均运动矢量，所述平均运动矢量包括平均运动速度和平均运动方向；根据各目标聚类类别对应的平均运动矢量，判断输送机传送带是否出现异常；
获得各初始聚类类别对应的平均运动速度和对应的平均运动方向以及得到初始聚类对应的第一初始聚类评价指标和第二初始聚类评价指标的方法，包括：
计算得到各初始聚类类别中各运动矢量的模长的平均值，记为各初始聚类类别对应的平均运动速度；
计算得到各初始聚类类别中各运动矢量的方向的平均值，记为各初始聚类类别对应的平均运动方向；
根据如下公式计算初始聚类对应的第一初始聚类评价指标：
Figure 799060DEST_PATH_IMAGE001
其中，
Figure 666522DEST_PATH_IMAGE002
为初始聚类对应的第一初始聚类评价指标，
Figure 31513DEST_PATH_IMAGE003
为初始聚类类别的数量，
Figure 933610DEST_PATH_IMAGE004
为第i个初始聚类类别中运动矢量的数量，
Figure 961740DEST_PATH_IMAGE005
为第i个初始聚类类别中的第j个运动矢量的模长，
Figure 582077DEST_PATH_IMAGE006
为第i个初始聚类类别对应的平均运动速率，
Figure 485180DEST_PATH_IMAGE007
为第i个初始聚类类别中的第j个运动矢量的方向，
Figure 241783DEST_PATH_IMAGE008
为第i个初始聚类类别对应的平均运动方向；
根据如下公式计算初始聚类对应的第二初始聚类评价指标：
Figure 706394DEST_PATH_IMAGE009
其中，
Figure 282869DEST_PATH_IMAGE010
为初始聚类对应的第二聚类评价指标，
Figure 989662DEST_PATH_IMAGE011
为第q个初始聚类类别对应的平均运动速率，
Figure 600772DEST_PATH_IMAGE012
为第q个初始聚类类别对应的平均运动方向；
得到初始聚类对应的第三初始聚类评价指标的方法，包括：
选取各初始聚类类别中最大平均运动速度对应的初始聚类类别，并记为特征初始聚类类别；
获取特征初始聚类类别中运动矢量的数量以及特征初始聚类类别中各运动矢量对应的目标像素块对应的最小外接矩形的面积，所述最小外接矩形中包含特征初始聚类类别中各运动矢量对应的目标像素块，所述最小外接矩形的面积大于等于特征初始聚类类别中各运动矢量对应的目标像素块面积的累加和；
将特征初始聚类类别中的各运动矢量对应的目标像素块中的中心像素点的坐标记为对应目标像素块的坐标；
根据特征初始聚类类别中运动矢量的数量、特征初始聚类类别中各运动矢量对应的目标像素块对应的最小外接矩形的面积以及特征初始聚类类别中的各运动矢量对应的目标像素块的坐标，得到初始聚类对应的第三初始聚类评价指标；
根据如下公式计算初始聚类对应的第三初始聚类评价指标：
Figure 485552DEST_PATH_IMAGE013
其中，
Figure 565634DEST_PATH_IMAGE014
为初始聚类对应的第三初始聚类评价指标，
Figure 341698DEST_PATH_IMAGE015
为特征初始聚类类别中各运动矢量对应的目标像素块对应的最小外接矩形的面积，exp（ ）为以自然常数e为底的指数函数，
Figure 807315DEST_PATH_IMAGE016
为特征初始聚类类别中运动矢量的数量，
Figure 597416DEST_PATH_IMAGE017
为特征初始聚类类别中第n个运动矢量对应的目标像素块的横坐标，
Figure 164795DEST_PATH_IMAGE018
为特征初始聚类类别中第m个运动矢量对应的目标像素块的横坐标，
Figure 964123DEST_PATH_IMAGE019
为特征初始聚类类别中第n个运动矢量对应的目标像素块的纵坐标，
Figure 799093DEST_PATH_IMAGE020
为特征初始聚类类别中第m个运动矢量对应的目标像素块的纵坐标，K为初始聚类类别的数量。
2.如权利要求1所述的基于图像处理的输送机异常检测方法，其特征在于，利用显著性分析算法对当前帧灰度图像对应的各像素块进行筛选，得到当前帧灰度图像对应的各显著像素块的方法，包括：
利用Itti显著性分析算法对当前帧灰度图像对应的各像素块进行显著性检测，得到各像素块对应的显著值；将所述显著值大于预设显著阈值的像素块记为显著像素块。
3.如权利要求1所述的基于图像处理的输送机异常检测方法，其特征在于，根据如下公式计算任意两个目标像素块对应的运动矢量之间的聚类距离：
Figure 760096DEST_PATH_IMAGE021
其中，
Figure 798459DEST_PATH_IMAGE022
为当前帧灰度图像对应的第a个目标像素块与当前帧灰度图像对应的第b个目标像素块之间的聚类距离，
Figure 152211DEST_PATH_IMAGE023
为当前帧灰度图像对应的第a个目标像素块对应的运动矢量的模长，
Figure 592420DEST_PATH_IMAGE024
为当前帧灰度图像对应的第b个目标像素块对应的运动矢量的模长，
Figure 504750DEST_PATH_IMAGE025
为当前帧灰度图像对应的第a个目标像素块对应的运动矢量的方向，
Figure 30409DEST_PATH_IMAGE026
为当前帧灰度图像对应的第b个目标像素块对应的运动矢量的方向。
4.如权利要求1所述的基于图像处理的输送机异常检测方法，其特征在于，根据如下公式计算初始聚类综合评价指标：
Figure DEST_PATH_IMAGE027
其中，
Figure 984590DEST_PATH_IMAGE028
为初始聚类综合评价指标，exp（ ）为以自然常数e为底的指数函数，
Figure 528572DEST_PATH_IMAGE029
为初始聚类对应的第一初始聚类评价指标，
Figure 96957DEST_PATH_IMAGE030
为初始聚类对应的第二初始聚类评价指标，
Figure 860645DEST_PATH_IMAGE031
为初始聚类对应的第三初始聚类评价指标。
5.如权利要求1所述的基于图像处理的输送机异常检测方法，其特征在于，得到各目标聚类类别以及各目标聚类类别对应的平均运动矢量的方法，包括：
若所述初始聚类综合评价指标大于预设评价阈值，则将各初始聚类类别记为目标聚类类别；
若所述初始聚类综合评价指标小于等于预设评价阈值，且初始类别数量为2，则对各运动矢量再进行一次聚类，记为第二聚类，使第二聚类的聚类类别数量为3，并获取第二聚类的聚类综合评价指标，若第二聚类的聚类综合评价指标大于预设评价阈值，则将第二聚类的各聚类类别记为目标聚类类别；若第二聚类的聚类综合评价指标小于等于预设评价阈值，则将所述初始聚类综合评价指标和第二聚类对应的聚类综合评价指标中的最大聚类综合评价指标对应的各聚类类别记为目标聚类类别；
若所述初始聚类综合评价指标小于等于预设评价阈值，且初始类别数量为3，则对各运动矢量再进行一次聚类，记为第三聚类，使第三聚类的聚类类别数量为2，并获取第三聚类的聚类综合评价指标，若第三聚类的聚类综合评价指标大于预设评价阈值，则将第三聚类的各聚类类别记为目标聚类类别；若第三聚类的聚类综合评价指标小于等于预设评价阈值，则将所述初始聚类综合评价指标和第三聚类对应的聚类综合评价指标中的最大聚类综合评价指标对应的各聚类类别记为目标聚类类别；
将各目标聚类类别中的各运动矢量的模的平均值记为各目标聚类类别对应的平均运动速度；将各目标聚类类别中的各运动矢量的方向的平均值记为各目标聚类类别对应的平均运动方向；根据各目标聚类类别对应的平均运动方向和对应的平均运动速度，构建得到各目标聚类类别对应的平均运动矢量。
6.如权利要求5所述的基于图像处理的输送机异常检测方法，其特征在于，根据各目标聚类类别对应的平均运动矢量，判断输送机传送带是否出现异常的方法，包括：
若目标聚类类别的数量为2，则将各目标聚类类别中的最大平均运动速度对应的目标聚类类别记为特征目标聚类类别；若目标聚类类别的数量为3，则将各目标聚类类别中仅次于最大平均运动速度的目标聚类类别记为特征目标聚类类别；
获取输送机传送带正常运行时的运动矢量，记为正常运动矢量，所述正常运动矢量包括模长和方向；
根据特征目标聚类类别对应的平均运动矢量和输送机传送带正常运行时的正常运动矢量，得到输送机传送带的异常评价指标；
根据如下公式计算输送机传送带的异常评价指标：
Figure 805467DEST_PATH_IMAGE032
其中，
Figure 469536DEST_PATH_IMAGE033
为输送机传送带的异常评价指标，exp（ ）为以自然常数e为底的指数函数，
Figure 739980DEST_PATH_IMAGE034
为特征目标聚类类别对应的平均运动矢量的平均运动速率，
Figure 725385DEST_PATH_IMAGE035
为输送机传送带正常运行时的正常运动矢量的模长，
Figure 473898DEST_PATH_IMAGE036
为特征目标聚类类别对应的平均运动矢量的平均运动方向，
Figure 726893DEST_PATH_IMAGE037
为输送机传送带正常运行时的正常运动矢量的方向；
判断输送机传送带的异常评价指标是否大于异常评价阈值，若是，则判定输送机传送带出现跑偏异常。
7.一种基于图像处理的输送机异常检测系统，包括存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现如权利要求1-6任一项所述的基于图像处理的输送机异常检测方法。
CN202211185684.8A 2022-09-28 2022-09-28 基于图像处理的输送机异常检测方法及系统 Active CN115331157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211185684.8A CN115331157B (zh) 2022-09-28 2022-09-28 基于图像处理的输送机异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211185684.8A CN115331157B (zh) 2022-09-28 2022-09-28 基于图像处理的输送机异常检测方法及系统

Publications (2)

Publication Number Publication Date
CN115331157A CN115331157A (zh) 2022-11-11
CN115331157B true CN115331157B (zh) 2023-02-17

Family

ID=83913790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211185684.8A Active CN115331157B (zh) 2022-09-28 2022-09-28 基于图像处理的输送机异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN115331157B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107369131A (zh) * 2017-07-04 2017-11-21 华中科技大学 图像的显著性检测方法、装置、存储介质和处理器
CN107662872A (zh) * 2016-07-29 2018-02-06 奥的斯电梯公司 乘客运输机的监测系统及其监测方法
CN110793587A (zh) * 2019-11-12 2020-02-14 西安科技大学 一种煤矿工作面带式输送机高效安全运行监控方法
CN111626946A (zh) * 2020-04-23 2020-09-04 武汉理工大学 用于高速物料传输视觉检测系统的运动模糊核测量方法
CN113379743A (zh) * 2021-08-12 2021-09-10 山东中都机器有限公司 基于计算机视觉的输送机异常检测方法及系统
CN113548419A (zh) * 2021-07-20 2021-10-26 湖北能源集团鄂州发电有限公司 基于机器视觉图像识别的皮带撕裂检测方法、装置及系统
CN114104652A (zh) * 2022-01-25 2022-03-01 山东山矿机械有限公司 基于图像分析的井下带式输送用自动调速方法及系统
CN114655655A (zh) * 2022-03-09 2022-06-24 南京北路软件技术有限公司 一种基于UNet网络的传送带跑偏检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192016B (zh) * 2021-04-21 2024-07-19 深圳力维智联技术有限公司 传送带异常变形检测方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107662872A (zh) * 2016-07-29 2018-02-06 奥的斯电梯公司 乘客运输机的监测系统及其监测方法
CN107369131A (zh) * 2017-07-04 2017-11-21 华中科技大学 图像的显著性检测方法、装置、存储介质和处理器
CN110793587A (zh) * 2019-11-12 2020-02-14 西安科技大学 一种煤矿工作面带式输送机高效安全运行监控方法
CN111626946A (zh) * 2020-04-23 2020-09-04 武汉理工大学 用于高速物料传输视觉检测系统的运动模糊核测量方法
CN113548419A (zh) * 2021-07-20 2021-10-26 湖北能源集团鄂州发电有限公司 基于机器视觉图像识别的皮带撕裂检测方法、装置及系统
CN113379743A (zh) * 2021-08-12 2021-09-10 山东中都机器有限公司 基于计算机视觉的输送机异常检测方法及系统
CN114104652A (zh) * 2022-01-25 2022-03-01 山东山矿机械有限公司 基于图像分析的井下带式输送用自动调速方法及系统
CN114655655A (zh) * 2022-03-09 2022-06-24 南京北路软件技术有限公司 一种基于UNet网络的传送带跑偏检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Belt vision localization algorithm based on machine vision and belt conveyor deviation detection》;Jingbo Wang等;《2019 34rd Youth Academic Annual Conference of Chinese Association of Automation (YAC)》;20191231;第269-273页 *
《矿用输送带纵撕图像检测和纵撕故障识别方法》;闫文军;《水力采煤与管道运输》;20180831(第3期);第149-152,157页 *
《输煤皮带机现场智能检测保护系统的研究与应用》;杨勇;《科技视界》;20171231;第190-191页 *

Also Published As

Publication number Publication date
CN115331157A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN102147851B (zh) 多角度特定物体判断设备及多角度特定物体判断方法
US8756174B2 (en) Forward feature selection for support vector machines
CN114445366B (zh) 基于自注意力网络的长输管道射线影像缺陷智能识别方法
CN110084831A (zh) 基于YOLOv3多伯努利视频多目标检测跟踪方法
US8565538B2 (en) Detecting and labeling places using runtime change-point detection
CN116309565B (zh) 基于计算机视觉的高强传送带跑偏检测方法
US9008440B2 (en) Component recognizing apparatus and component recognizing method
EP1524622A1 (en) Method and image processing device for analyzing an object contour image, method and image processing device for detecting an object, industrial vision apparatus, smart camera, image display, security system, and computer program product
CN111950488B (zh) 一种改进的Faster-RCNN遥感图像目标检测方法
US11908117B2 (en) Image processing method and apparatus for object detection
US20150243032A1 (en) False alarm rejection for boat detection candidates
US10636133B2 (en) Automated optical inspection (AOI) image classification method, system and computer-readable media
Deng et al. A weld seam feature real-time extraction method of three typical welds based on target detection
KR20240001241A (ko) 객체의 머신 학습 분석에 기반한 이미지 기반 이상 검출
CN114104652B (zh) 基于图像分析的井下带式输送用自动调速方法及系统
KR102427690B1 (ko) 딥러닝 기반 클래스 분류 장치 및 방법
CN115496892A (zh) 工业缺陷检测方法、装置及电子设备、存储介质
CN117314901B (zh) 一种尺度自适应的芯片检测神经网络系统
KR20220120427A (ko) 객체 추적 방법 및 장치
CN117952979B (zh) 一种建设工程质量检测监管方法及系统
US11941863B2 (en) Imaging system and method using a multi-layer model approach to provide robust object detection
CN115331157B (zh) 基于图像处理的输送机异常检测方法及系统
US20040131236A1 (en) Method and apparatus for processing an image
CN111832349A (zh) 遗留物错误检测的识别方法、装置及图像处理设备
CN116110006B (zh) 一种用于智慧旅游系统的景区游客异常行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A conveyor anomaly detection method and system based on image processing

Effective date of registration: 20230620

Granted publication date: 20230217

Pledgee: Jining Branch of Rizhao Bank Co.,Ltd.

Pledgor: SHANDONG SHANKUANG MACHINERY Co.,Ltd.

Registration number: Y2023980044463

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231221

Granted publication date: 20230217

Pledgee: Jining Branch of Rizhao Bank Co.,Ltd.

Pledgor: SHANDONG SHANKUANG MACHINERY Co.,Ltd.

Registration number: Y2023980044463