CN109635823B - 用于识别卷扬乱绳的方法和装置及工程机械 - Google Patents

Abstract

本发明实施例提供一种用于识别卷扬乱绳的方法和装置及工程机械，属于工程机械领域。该方法包括：获取卷扬机卷扬钢丝绳的实时图像；提取所述实时图像的图像特征；基于所述图像特征和预设高斯混合模型确定所述实时图像对应的卷扬乱绳概率值；以及基于所述卷扬乱绳概率值和预设概率阈值判断是否出现卷扬乱绳。该装置包括：图像获取模块，用于获取卷扬机卷扬钢丝绳的实时图像；图像特征提取模块，用于提取所述实时图像的图像特征；以及处理模块，用于：基于所述图像特征和预设高斯混合模型确定所述实时图像对应的卷扬乱绳概率值；以及基于所述卷扬乱绳概率值和预设概率阈值判断是否出现卷扬乱绳。藉此，实现了提高识别卷扬乱绳的准确率。

Description

用于识别卷扬乱绳的方法和装置及工程机械

技术领域

本发明涉及工程机械领域，具体地涉及一种用于识别卷扬乱绳的方法和装置及工程机械。

背景技术

起重机械工作稳定性和安全性直接关系到人身安全、生产设施及财产安全。钢丝绳是起重机重要组件之一，在钢丝绳失效原因中，卷扬乱绳现象是造成钢丝绳快速磨损、变形和结构破坏的主要原因。卷扬乱绳指的是卷扬上钢丝绳排列不整齐，表现为空槽、咬绳、背绳3种形式。钢丝绳磨损、断丝达到一定程度后会导致钢丝绳报废，需要重新更换新的钢丝绳，还会增加机械运行成本和维护费用，严重时甚至会直接影响人身安全，所以起重机械卷扬乱绳的危害非常大，需要引起高度的重视。

目前针对卷扬乱绳的主要解决办法还是靠人工直接检查或通过视频监控由人工识别。在人工直接检查的情况下，卷扬处安装有后视镜，机手在操作起重机时通过观看后视镜里卷扬的情况判断是否乱绳；在视频监控情况下，卷扬处安装有摄像机，卷扬视频实时传送到驾驶室的显示屏上，由机手观看视频判断是否乱绳。这两种情况都需要人工全程参与，需要机手高度专注，但由于人员操作疏忽，经常没有及时排除乱绳情况，留下了极大的安全隐患。为了解决这种情况，当前也出现了一些基于图像识别的卷扬乱绳识别方法，但稳定性和识别准确率都有待提高。

图1所示为当前基于图像识别的卷扬乱绳识别算法流程图。如图1所示，首先对采集的原始图像进行预处理，利用灰度图像二值化和阈值分割的方法获得卷扬图像的二值化数据矩阵，即二维数组，接下来对二维数组进行滤波处理，利用经过处理的二值化图像确定出绳位置，然后判断出绳位置两边是否有凹凸特征，如果没有则表示卷扬绕绳正常，否则表示卷扬绕绳出现异常，此时报警，提醒司机检查。该基于图像识别的卷扬乱绳识别方法具有以下缺陷：1)无法运行在复杂光照条件下，该方法依赖图像二值化处理，光照条件变化对图像二值化处理影响巨大；2)卷扬乱绳识别准确率低，该方法只通过判断二值化图像中出绳位置两边是否有凹凸来识别是否乱绳，难以覆盖其它类型的卷扬乱绳；3)方法通用性差，该方法只能针对卷扬的特定状态进行乱绳识别，无法覆盖卷扬运动的其它状态。

发明内容

本发明的目的是提供一种用于识别卷扬乱绳的方法和装置及工程机械，其可解决或至少部分解决上述问题。

为了实现上述目的，本发明的一个方面提供一种用于识别卷扬乱绳的方法，该方法包括：获取卷扬机卷扬钢丝绳的实时图像；提取所述实时图像的图像特征；基于所述图像特征和预设高斯混合模型确定所述实时图像对应的卷扬乱绳概率值；以及基于所述卷扬乱绳概率值和预设概率阈值判断是否出现卷扬乱绳。

可选地，所述提取所述实时图像的图像特征包括：对所述实时图像做自适应阈值二值化处理，以得到所述实时图像的第一二值化图像；利用Gabor滤波器获取所述第一二值化图像的Gabor特征图像；计算所述Gabor特征图像的OTSU阈值；基于所述OTSU阈值对所述Gabor特征图像进行全局阈值二值化处理，以得到第二二值化图像；获取所述第二二值化图像的最大连通域；以及计算所述最大连通域的HOG特征，其中所述HOG特征为所述图像特征。

可选地，该方法还包括：基于PCA对所述HOG特征进行降维处理，其中，降维后的所述HOG特征为所述图像特征。

可选地，所述预设高斯混合模型被基于以下公式确定：

其中，x表示所述图像特征，μ表示所述图像特征的均值，∑表示所述图像特征的协方差矩阵，T为矩阵转置，p为所述预设高斯混合模型的输出概率值，1-p为所述卷扬乱绳概率值。

可选地，所述预设高斯混合模型和所述预设概率阈值通过以下内容被确定：获取所述卷扬机运转正常的正常图像集和卷扬乱绳的异常图像集；提取所述正常图像集中的每一图像的图像特征及所述异常图像集中的每一图像的图像特征；基于所述正常图像集中的每一图像的图像特征确定所述均值和所述协方差矩阵，以确定所述预设高斯混合模型；以及基于所述正常图像集中的每一图像的图像特征、所述异常图像集中的每一图像的图像特征和所述预设高斯混合模型确定概率阈值范围内的每一概率阈值的评价指标，其中，所述概率阈值范围基于所述预设高斯混合模型的概率分布而被设定，所确定的评价指标中最好的评价指标对应的概率阈值即为所述预设概率阈值。

相应地，本发明的另一方面提供一种用于识别卷扬乱绳的装置，该装置包括：图像获取模块，用于获取卷扬机卷扬钢丝绳的实时图像；图像特征提取模块，用于提取所述实时图像的图像特征；以及处理模块，用于：基于所述图像特征和预设高斯混合模型确定所述实时图像对应的卷扬乱绳概率值；以及基于所述卷扬乱绳概率值和预设概率阈值判断是否出现卷扬乱绳。

可选地，所述图像特征提取模块提取所述实时图像的图像特征包括：对所述实时图像做自适应阈值二值化处理，以得到所述实时图像的第一二值化图像；利用Gabor滤波器获取所述第一二值化图像的Gabor特征图像；计算所述Gabor特征图像的OTSU阈值；基于所述OTSU阈值对所述Gabor特征图像进行全局阈值二值化处理，以得到第二二值化图像；获取所述第二二值化图像的最大连通域；以及计算所述最大连通域的HOG特征，其中所述HOG特征为所述图像特征。

可选地，该装置还包括：降维模块，用于基于PCA对所述HOG特征进行降维处理，其中，降维后的所述HOG特征为所述图像特征。

可选地，所述预设高斯混合模型被基于以下公式确定：

其中，x表示所述图像特征，μ表示所述图像特征的均值，∑表示所述图像特征的协方差矩阵，T为矩阵转置，p为所述预设高斯混合模型的输出概率值，1-p为所述卷扬乱绳概率值。

可选地，所述图像获取模块还用于获取所述卷扬机运转正常的正常图像集和卷扬乱绳的异常图像集；所述图像特征提取模块还用于提取所述正常图像集中的每一图像的图像特征及所述异常图像集中的每一图像的图像特征；所述处理模块还用于：基于所述正常图像集中的每一图像的图像特征确定所述均值和所述协方差矩阵，以确定所述预设高斯混合模型；以及基于所述正常图像集中的每一图像的图像特征、所述异常图像集中的每一图像的图像特征和所述预设高斯混合模型确定概率阈值范围内的每一概率阈值的评价指标，其中，所述概率阈值范围基于所述预设高斯混合模型的概率分布而被设定，所确定的评价指标中最好的评价指标对应的概率阈值即为所述预设概率阈值。

此外，本发明另一方面还提供一种工程机械，该工程机械包括上述的装置。

另外，本发明另一方面还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的方法。

通过上述技术方案，基于提取到的卷扬机卷扬钢丝绳的实时图像的图像特征、预设高斯混合模型及预设概率阈值判断是否出现卷扬乱绳，基于图像特征和预设高斯混合模型确定的卷扬乱绳概率值超过预设概率阈值则出现卷扬乱绳，若所确定的卷扬乱绳概率值未超过预设概率阈值则未出现卷扬乱绳。由此，在判断是否出现卷扬乱绳时基于实时图像对应的卷扬乱绳概率值和预设概率阈值，未对可识别的卷扬乱绳的类型进行限定，可以覆盖多种类型的卷扬乱绳，只要满足基于卷扬乱绳概率值和预设概率阈值进行卷扬乱绳的判断即可，如此，提高了识别卷扬乱绳的准确率。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是当前基于图像识别的卷扬乱绳识别算法的流程图；

图2是本发明一实施例提供的用于识别卷扬乱绳的方法的流程图；

图3是本发明另一实施例提供的提取图像特征的方法的流程图；

图4是本发明另一实施例提供的用于识别卷烟乱绳的方法的逻辑示意图；

图5是本发明另一实施例提供的提取图像特征的逻辑示意图；以及

图6是本发明另一实施例提供的用于识别卷扬乱绳的装置的结构框图。

附图标记说明

1 图像获取模块 2 图像特征提取模块

3 处理模块

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

首先，对本发明实施例中涉及到技术术语进行解释。HOG：Histogram of OrientedGradient的简称，即方向梯度直方图，是应用在计算机视觉和图像处理领域，用于目标检测的特征描述器。Gabor：Gabor特征是一种可以用来描述图像纹理信息的特征，Gabor滤波器的频率和方向与人类的视觉系统类似，特别适合于纹理表示。PCA：Principal ComponentsAnalysis的简称，即主成分分析，是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。OTSU：大津法或最大类间方差法，一种对图像进行二值化的高效算法。乱绳：主滚筒钢丝绳排列不整齐，表现为三种形式，分别是空槽、咬绳、背绳。

本发明实施例的一个方面提供一种用于识别卷扬乱绳的方法。图2是本发明一实施例提供的用于识别卷扬乱绳的方法的流程图。如图2所示，该方法包括以下内容。

在步骤S20中，获取卷扬机卷扬钢丝绳的实时图像。其中，获取实时图像可以是视频获取模块先获取到卷扬钢丝绳的视频，然后将获取的视频分成单帧的图像，例如，可以通过摄像机实现获取卷扬钢丝绳的实时图像。需要说明的是，所有满足本发明可以实现获取图像的设备均可以应用在本发明实施例中。可选地，在本发明实施例中，还可以对获取到实时图像进行规格化，统一格式。

在步骤S21中，提取实时图像的图像特征。例如，该图像特征可以包括Gabor特征、HOG(Histogram of Oriented Gradient)特征、SIFT(Scale-Invariant FeatureTransform)特征、SURF(Speeded Up Robust Features)特征、ORB(Oriented FAST androtated BRIEF)特征、LBP(Local Binary Patterns)特征、HAAR(Haar-like Feature)特征等等。

在步骤S22中，基于图像特征和预设高斯混合模型确定实时图像对应的卷扬乱绳概率值。

在步骤S23中，基于卷扬乱绳概率值和预设概率阈值判断是否出现卷扬乱绳。若卷扬乱绳概率值超过预设概率阈值，则出现卷扬乱绳；若卷扬乱绳概率值未超过预设概率阈值，则未出现卷扬乱绳。

基于提取到的卷扬机卷扬钢丝绳的实时图像的图像特征、预设高斯混合模型及预设概率阈值判断是否出现卷扬乱绳，基于图像特征和预设高斯混合模型确定的卷扬乱绳概率值超过预设概率阈值则出现卷扬乱绳，若所确定的卷扬乱绳概率值未超过预设概率阈值则未出现卷扬乱绳。由此，在判断是否出现卷扬乱绳时基于实时图像对应的卷扬乱绳概率值和预设概率阈值，未对可识别的卷扬乱绳的类型进行限定，可以覆盖空槽、咬绳、背绳等多种类型的卷扬乱绳，本技术并不限定识别哪几种特定乱绳，而是可以识别所有类型的乱绳，只要满足基于卷扬乱绳概率值和预设概率阈值进行卷扬乱绳的判断即可，如此，提高了识别卷扬乱绳的准确率。此外，本发明实施例提供的用于识别卷扬乱绳的方法，可以实时获取图像、实时判断是否出现卷扬乱绳，实现了实时识别。

可选地，在本发明实施例中，提取实时图像的图像特征的方法可以有多种。例如，可以基于二值化来提取图像特征，具体地，可以参见图3所示。

图3是本发明另一实施例提供的提取图像特征的方法的流程图，如图3所示，提取实时图像的图像特征可以包括如下内容。

在步骤S30中，对实时图像做自适应阈值二值化处理，以得到实时图像的第一二值化图像。在步骤S31中，利用Gabor滤波器获取第一二值化图像的Gabor特征图像。在步骤S32中，计算Gabor特征图像的OTSU阈值。在步骤S33中，基于OTSU阈值对Gabor特征图像进行全局阈值二值化处理，以得到第二二值化图像。在步骤S34中，获取第二二值化图像的最大连通域。在步骤S35中，计算最大连通域的HOG特征，其中，HOG特征为图像特征。也就是，在本发明实施例中，可以基于计算得到的HOG特征和预设高斯混合模型得到卷扬乱绳概率值，进而进行是否出现卷扬乱绳的判断。

通过对实时图像做自适应阈值二值化处理，对实时图像进行直方均衡，削弱光照条件变化对实时图像的影响；在提取图像特征时，利用了Gabor特征和HOG特征，光照条件变化不能影响图像的Gabor特征和HOG特征，如此，光照条件变化对本发明实施例中涉及到的图像处理的影响不大，本发明实施例提供的用于识别卷扬乱绳的方法可以应用在复杂光照条件下。

可选地，在本发明实施例中，该用于识别卷扬乱绳的方法还可以包括：基于PCA对HOG特征进行降维处理，其中，降维后的HOG特征为图像特征。计算得到的HOG特征是高维数据，直接对其进行运算耗费时力较大，利用PCA对计算得到的HOG特征进行降维处理，基于降维处理后的HOG特征进行运算，降低了时力的耗费，提高了运算速度。

可选地，在本发明实施例中，预设高斯混合模型被基于以下公式确定：

其中，x表示图像特征，μ表示图像特征的均值，∑表示图像特征的协方差矩阵，T为矩阵转置，p为预设高斯混合模型的输出概率值，1-p为卷扬乱绳概率值。

可选地，在本发明实施例中，预设高斯混合模型可以通过训练被确定，例如，基于卷扬机运转正常的图像数据被确定；预设概率阈值也可以通过训练被确定，例如，基于卷扬机运转正常的图像数据和卷扬机出现卷扬乱绳的图像数据而被确定。具体地，预设高斯混合模型和预设概率阈值通过以下内容被确定。

获取卷扬机运转正常的正常图像集和卷扬乱绳的异常图像集，其中，正常图像集中包括多幅卷扬机运转正常的图像，异常图像集包括多幅卷扬乱绳的图像。可选地，在本发明实施例中，还可以对获取到的正常图像集和异常图像集中的图像进行规格化，统一格式。

提取正常图像集中的每一图像的图像特征及异常图像集中的每一图像的图像特征，该处所述的提取图像特征可以基于上述实施例中所述的提取实时图像的方法进行提取。

基于正常图像集中的每一图像的图像特征确定均值和协方差矩阵，以确定预设高斯混合模型；具体地，基于正常图像集中的各个图像的图像特征得到图像特征的均值，基于得到的均值和各个图像的图像特征得到方差，进而得到协方差矩阵。

基于正常图像集中的每一图像的图像特征、异常图像集中的每一图像的图像特征和预设高斯混合模型确定概率阈值范围内的每一概率阈值的评价指标，其中，概率阈值范围基于预设高斯混合模型的概率分布而被设定，所确定的评价指标中最好的评价指标对应的概率阈值即为预设概率阈值。具体地，确定图像特征的均值和协方差矩阵后，预设高斯混合模型确定，基于预设高斯混合模型的概率分布设定一概率阈值范围，预设概率阈值为该概率阈值范围内的一概率阈值。此外，评价指标包括准确率和错误率，其中，准确率指的是基于概率阈值范围内的一概率阈值进行卷扬乱绳判断的准确率，错误率为基于概率阈值范围内的一概率阈值进行卷扬乱绳判断的错误率。下面以基于所设定的概率阈值范围内的概率阈值a进行卷扬乱绳的判断为例进行说明。将提取到的正常图像集中的每一图像的图像特征和异常图像集中的每一图像的图像特征带入确定好的预设高斯混合模型中，得到正常图像集中和异常图像集中的每一图像的图像特征对应的卷扬乱绳概率值，将各个图像的卷扬乱绳概率值与概率阈值a进行比较，其中，超过概率阈值a的卷扬乱绳概率对应的图像特征对应的图像被判断为出现卷扬乱绳，未超过概率阈值a的卷扬乱绳概率对应的图像特征对应的图像被判断未出现卷扬乱绳。由于此处使用到的所有图像中是否出现卷扬乱绳，由此，可以基于根据概率阈值a对所有图像中是否出现卷扬乱绳的判断结果和事先知道的所有图像中是否出现卷扬乱绳的结果，计算基于概率阈值a判断卷扬乱绳的准确率和错误率。同理，根据计算概率阈值a对应的准确率和错误率的方法确定出所设定的概率阈值范围内的每一概率阈值对应的准确率和错误率。进而确定概率阈值范围内对应最高准确率的概率阈值，其中该对应最高准确率的概率阈值即为预设概率阈值。

基于卷扬机卷扬钢丝绳的图像数据对高斯混合模型和概率阈值进行训练，从确定应用于进行识别卷扬乱绳的预设高斯混合模型和预设概率阈值，如此，使得本发明实施例提供的用于识别卷扬乱绳的方法可以不局限于卷扬的特定状态或特定的卷扬机，当卷扬运动的状态从某一状态转换到另一状态或者被应用于的卷扬机从一卷扬机转换到另一卷扬机时，基于新的卷扬运动状态下卷扬钢丝绳的图像数据或者新的卷扬机卷扬钢丝绳的图像数据，重新对高斯混合模型和概率阈值进行训练而再次确定所应用的预设高斯混合模型和预设概率阈值即可，如此，使得本发明实施例提供的用于识别卷扬乱绳的方法可以不局限于卷扬的特征状态或者特定的卷扬机，可以覆盖多种卷扬运动状态或多个卷扬机，提高了通用性。此外，在本发明实施例中，用于训练高斯混合模型和概率阈值的图像特征也可以是基于PCA进行降维处理后的图像特征。

下面结合图4和图5对本发明实施例提供的用于识别卷扬乱绳的方法进行说明，其中，在该实施例中，该方法被应用在起重机上。该方法综合利用HOG和Gabor特征进行图像特征提取，因此能运行在复杂光照条件下。此外，该方法采用了机器学习中的异常检测技术来识别卷扬乱绳，因此卷扬乱绳识别准确率高。另外，应用该方法可对起重机械钢丝绳卷扬乱绳进行实时识别。

图4是本发明另一实施例提供的卷扬乱绳异常检测流程图。如图4所示，流程分为离线训练和在线检测两大部分。离线训练包括：获取起重机卷扬图像大数据(等同于上述实施例中所述的正常图像集和异常图像集)；对卷扬图像进行规格化处理，也就是对获取到的图像数据统一格式；获取图像特征(等同于上述实施例中所述的提取图像特征)；利用PCA进行数据降维处理，也就是对图像特征进行降维处理；获得高斯混合模型(等同于上述实施例中所述的通过训练得到预设高斯混合模型)。在线检测包括：获取实时卷扬视频图像数据，也就是，获取卷扬机卷扬钢丝绳的实时图像；获取图像特征，也就是，提取所述实时图像的图像特征；利用PCA进行数据降维处理，也就是对图像特征进行降维处理；高斯混合模型概率分布运算，根据概率分布实现乱绳识别(等同于上述实施例中所述的计算卷扬乱绳概率，基于卷扬乱绳概率值和预设概率阈值判断是否出现卷扬乱绳)。

离线训练部分可利用计算机预先进行，其目的是计算获得高斯混合模型(等同于上述实施例中所述的预设高斯混合模型)。首先利用摄像机采集起重机卷扬图像大数据，包括卷扬正常运转的图像和卷扬乱绳的图像，然后对卷扬图像进行规格化处理，之后获取图像特征，其中获取图像特征的具体方法如图5所示。如图5所示，获取图像特征的内容包括：首先对输入的图像进行自适应阈值二值化处理，得到相应的二值化图像，然后利用Gabor滤波器获得该二值化图像的Gabor特征图像，之后对该Gabor特征图像计算OTSU阈值，并利用该OTSU阈值对Gabor特征图像进行第二二值化处理，然后获取第二二值化处理结果的最大连通域，最后计算该连通域的HOG特征，由此即得到了需要的图像特征。因为，此时的图像特征是高维数据，直接对其进行运算耗时费力，因此接下来利用PCA对该图像特征进行降维处理。最后，利用下式获取高斯混合模型：

其中，式中x表示降维处理后的图像特征，μ表示图像特征的均值，∑表示图像特征的协方差矩阵，T为矩阵转置，p为高斯混合模型的输出概率值，1-p为卷扬乱绳概率值。此外，用于获取高斯混合模型的图像特征为卷扬正常运转的图像对应的图像特征。基于卷扬正常运转的图像和卷扬乱绳的图像对概率阈值进行训练，确定用于识别卷扬乱绳的预设概率阈值。

离线获得高斯混合模型后，即可进入在线检测过程。此时摄像机实时获取卷扬运转视频数据，首先利用图所示的方法获取图像特征，接着利用PCA进行数据降维处理，最后即可按照下式进行高斯混合模型概率分布运算。

此时，式中的x表示实时检测并计算获得的卷扬图像的经过降维处理后的图像特征。运算结果p为高斯混合模型输出概率值，1-p为卷扬乱绳概率值，利用概率值的分布特性即可实现乱绳识别，即当卷扬乱绳概率值大于某个阈值α(根据离线训练计算出来的，等同于上述实施例中所述的预设概率阈值)时，或高斯混合模型输出概率值小于某个阈值1-α时，判断出现卷扬乱绳。

本发明实施提供的用于识别卷扬乱绳的方法运行在机器学习的异常检测框架下，可对起重机械钢丝绳卷扬乱绳进行实时预警。该方法综合利用了HOG和Gabor特征进行图像特征提取，因此能运行在复杂光照条件下；该方法采用了独特的图像特征提取方法且运行在机器学习的异常检测框架下，因此卷扬乱绳识别准确率高。

相应地，本发明实施例的另一方面提供一种用于识别卷扬乱绳的装置。图6是本发明另一实施例提供的用于识别卷扬乱绳的装置的结构框图，如图6所示，该装置包括图像获取模块1、图像特征提取模块2和处理模块3。其中，图像获取模块1用于获取卷扬机卷扬钢丝绳的实时图像；图像特征提取模块2用于提取实时图像的图像特征；处理模块3用于：基于图像特征和预设高斯混合模型确定实时图像对应的卷扬乱绳概率值；以及基于卷扬乱绳概率值和预设概率阈值判断是否出现卷扬乱绳。

基于提取到的卷扬机卷扬钢丝绳的实时图像的图像特征、预设高斯混合模型及预设概率阈值判断是否出现卷扬乱绳，基于图像特征和预设高斯混合模型确定的卷扬乱绳概率值超过预设概率阈值则出现卷扬乱绳，若所确定的卷扬乱绳概率值未超过预设概率阈值则未出现卷扬乱绳。由此，在判断是否出现卷扬乱绳时基于实时图像对应的卷扬乱绳概率值和预设概率阈值，未对可识别的卷扬乱绳的类型进行限定，可以覆盖多种类型的卷扬乱绳，只要满足基于卷扬乱绳概率值和预设概率阈值进行卷扬乱绳的判断即可，如此，提高了识别卷扬乱绳的准确率。

可选地，在本发明实施例中，图像特征提取模块提取实时图像的图像特征包括：对实时图像做自适应阈值二值化处理，以得到实时图像的第一二值化图像；利用Gabor滤波器获取第一二值化图像的Gabor特征图像；计算Gabor特征图像的OTSU阈值；基于OTSU阈值对Gabor特征图像进行全局阈值二值化处理，以得到第二二值化图像；获取第二二值化图像的最大连通域；以及计算最大连通域的HOG特征，其中HOG特征为所述图像特征。

可选地，在本发明实施例中，该装置还包括：降维模块，用于基于PCA对HOG特征进行降维处理，其中，降维后的HOG特征为图像特征。

可选地，在本发明实施例中，预设高斯混合模型被基于以下公式确定：

其中，x表示图像特征，μ表示图像特征的均值，∑表示图像特征的协方差矩阵，T为矩阵转置，p为预设高斯混合模型的输出概率值，1-p为卷扬乱绳概率值。

可选地，在本发明实施例中，图像获取模块还用于获取卷扬机运转正常的正常图像集和卷扬乱绳的异常图像集；图像特征提取模块还用于提取正常图像集中的每一图像的图像特征及异常图像集中的每一图像的图像特征；处理模块还用于：基于正常图像集中的每一图像的图像特征确定均值和协方差矩阵，以确定预设高斯混合模型；以及基于正常图像集中的每一图像的图像特征、异常图像集中的每一图像的图像特征和预设高斯混合模型确定概率阈值范围内的每一概率阈值的评价指标，其中，概率阈值范围基于预设高斯混合模型的概率分布而被设定，所确定的评价指标中最好的评价指标对应的概率阈值即为预设概率阈值。

本发明实施例提供的用于识别卷扬乱绳的装置的具体工作原理及益处与本发明实施例提供的用于识别卷扬乱绳的方法的具体工作原理及益处相似，这里将不再赘述。

此外，本发明实施例的另一方面还提供一种工程机械，该工程机械包括上述实施例中所述的装置。

另外，本发明实施例的另一方面还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述实施例中所述的方法。

综上所述，基于提取到的卷扬机卷扬钢丝绳的实时图像的图像特征、预设高斯混合模型及预设概率阈值判断是否出现卷扬乱绳，基于图像特征和预设高斯混合模型确定的卷扬乱绳概率值超过预设概率阈值则出现卷扬乱绳，若所确定的卷扬乱绳概率值未超过预设概率阈值则未出现卷扬乱绳。由此，在判断是否出现卷扬乱绳时基于实时图像对应的卷扬乱绳概率值和预设概率阈值，未对可识别的卷扬乱绳的类型进行限定，可以覆盖多种类型的卷扬乱绳，只要满足基于卷扬乱绳概率值和预设概率阈值进行卷扬乱绳的判断即可，如此，提高了识别卷扬乱绳的准确率。此外，本发明实施例提供的用于识别卷扬乱绳的方法，可以实时获取图像、实时判断是否出现卷扬乱绳，实现了实时识别。通过对实时图像做自适应阈值二值化处理，对实时图像进行直方均衡，削弱光照条件变化对实时图像的影响；在提取图像特征时，利用了Gabor特征和HOG特征，光照条件变化不能影响图像的Gabor特征和HOG特征，如此，光照条件变化对本发明实施例中涉及到的图像处理的影响不大，本发明实施例提供的用于识别卷扬乱绳的方法可以应用在复杂光照条件下。计算得到的HOG特征是高维数据，直接对其进行运算耗费时力较大，利用PCA对计算得到的HOG特征进行降维处理，基于降维处理后的HOG特征进行运算，降低了时力的耗费，提高了运算速度。基于卷扬机卷扬钢丝绳的图像数据对高斯混合模型和概率阈值进行训练，从确定应用于进行识别卷扬乱绳的预设高斯混合模型和预设概率阈值，如此，使得本发明实施例提供的用于识别卷扬乱绳的方法可以不局限于卷扬的特定状态或特定的卷扬机，当卷扬运动的状态从某一状态转换到另一状态或者被应用于的卷扬机从一卷扬机转换到另一卷扬机时，基于新的卷扬运动状态下卷扬钢丝绳的图像数据或者新的卷扬机卷扬钢丝绳的图像数据，重新对高斯混合模型和概率阈值进行训练而再次确定所应用的预设高斯混合模型和预设概率阈值即可，如此，使得本发明实施例提供的用于识别卷扬乱绳的方法可以不局限于卷扬的特征状态或者特定的卷扬机，可以覆盖多种卷扬运动状态或多个卷扬机，提高了通用性。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (8)

1.一种用于识别卷扬乱绳的方法，其特征在于，该方法包括：

获取卷扬机卷扬钢丝绳的实时图像；

提取所述实时图像的图像特征；所述图像特征至少包括Gabor特征、HOG特征，所述图像特征还包括SIFT特征、SURF特征、ORB特征、LBP特征和HAAR特征中的一个或者多个；

基于所述图像特征和预设高斯混合模型确定所述实时图像对应的卷扬乱绳概率值；以及

基于所述卷扬乱绳概率值和预设概率阈值判断是否出现卷扬乱绳；

所述提取所述实时图像的图像特征包括：

对所述实时图像做自适应阈值二值化处理，以得到所述实时图像的第一二值化图像；

利用Gabor滤波器获取所述第一二值化图像的Gabor特征图像；

计算所述Gabor特征图像的OTSU阈值；

基于所述OTSU阈值对所述Gabor特征图像进行全局阈值二值化处理，以得到第二二值化图像；

获取所述第二二值化图像的最大连通域；以及

计算所述最大连通域的HOG特征，其中所述HOG特征为所述图像特征；

所述预设高斯混合模型和所述预设概率阈值通过以下内容被确定：

获取所述卷扬机运转正常的正常图像集和卷扬乱绳的异常图像集；

提取所述正常图像集中的每一图像的图像特征及所述异常图像集中的每一图像的图像特征；

基于所述正常图像集中的每一图像的图像特征确定均值和协方差矩阵，以确定所述预设高斯混合模型；以及

基于所述正常图像集中的每一图像的图像特征、所述异常图像集中的每一图像的图像特征和所述预设高斯混合模型确定概率阈值范围内的每一概率阈值的评价指标，其中，所述概率阈值范围基于所述预设高斯混合模型的概率分布而被设定，所确定的评价指标中最好的评价指标对应的概率阈值即为所述预设概率阈值。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

基于PCA对所述HOG特征进行降维处理，其中，降维后的所述HOG特征为所述图像特征。

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述预设高斯混合模型基于以下公式确定：

其中，x表示所述图像特征，μ表示所述图像特征的均值，∑表示所述图像特征的协方差矩阵，T为矩阵转置，p为所述预设高斯混合模型的输出概率值，1-p为所述卷扬乱绳概率值。

4.一种用于识别卷扬乱绳的装置，其特征在于，该装置包括：

图像获取模块，用于获取卷扬机卷扬钢丝绳的实时图像；

图像特征提取模块，用于提取所述实时图像的图像特征；所述图像特征至少包括Gabor特征、HOG特征，所述图像特征还包括SIFT特征、SURF特征、ORB特征、LBP特征和HAAR特征中的一个或者多个；

以及

处理模块，用于：

基于所述图像特征和预设高斯混合模型确定所述实时图像对应的卷扬乱绳概率值；以及

基于所述卷扬乱绳概率值和预设概率阈值判断是否出现卷扬乱绳；

所述图像特征提取模块提取所述实时图像的图像特征包括：

对所述实时图像做自适应阈值二值化处理，以得到所述实时图像的第一二值化图像；

利用Gabor滤波器获取所述第一二值化图像的Gabor特征图像；

计算所述Gabor特征图像的OTSU阈值；

基于所述OTSU阈值对所述Gabor特征图像进行全局阈值二值化处理，以得到第二二值化图像；

获取所述第二二值化图像的最大连通域；以及

计算所述最大连通域的HOG特征，其中所述HOG特征为所述图像特征；

所述图像获取模块还用于获取所述卷扬机运转正常的正常图像集和卷扬乱绳的异常图像集；

所述图像特征提取模块还用于提取所述正常图像集中的每一图像的图像特征及所述异常图像集中的每一图像的图像特征；

所述处理模块还用于：

基于所述正常图像集中的每一图像的图像特征确定均值和协方差矩阵，以确定所述预设高斯混合模型；以及

基于所述正常图像集中的每一图像的图像特征、所述异常图像集中的每一图像的图像特征和所述预设高斯混合模型确定概率阈值范围内的每一概率阈值的评价指标，其中，所述概率阈值范围基于所述预设高斯混合模型的概率分布而被设定，所确定的评价指标中最好的评价指标对应的概率阈值即为所述预设概率阈值。

5.根据权利要求4所述的装置，其特征在于，该装置还包括：

降维模块，用于基于PCA对所述HOG特征进行降维处理，其中，降维后的所述HOG特征为所述图像特征。

6.根据权利要求4或5中任一项所述的装置，其特征在于，所述预设高斯混合模型基于以下公式确定：

其中，x表示所述图像特征，μ表示所述图像特征的均值，∑表示所述图像特征的协方差矩阵，T为矩阵转置，p为所述预设高斯混合模型的输出概率值，1-p为所述卷扬乱绳概率值。

7.一种工程机械，其特征在于，该工程机械包括权利要求4-6中任一项所述的装置。

8.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-3中任一项所述的方法。

Images