CN115496931B - 一种工业机器人健康监测方法及系统 - Google Patents

Abstract

本发明涉及设备监测领域，具体涉及一种工业机器人健康监测方法及系统，获取机械臂表面图像的多个高斯差分图像，根据每种尺度的高斯差分图像的中心像素点的邻域像素点的梯度幅值、梯度方向得到机械臂表面图像的初始梯度主方向，根据与初始梯度主方向相同的像素点的邻域像素点的平均梯度得到机械臂表面图像的最终梯度主方向，在机械臂边缘线上选取最终梯度主方向上的像素点作为极值点，根据每个极值点与聚类中心的相关性、灰度差值得到每个极值点作为关键角点的可能性，根据可能性筛选出关键角点，对机械臂表面图像边缘的关键角点进行路径追踪，与机械臂标准路径进行匹配，根据匹配结果对机械臂进行健康监测，方法简单、准确度高。

Description

一种工业机器人健康监测方法及系统

技术领域

本申请涉及设备监测领域，具体涉及一种工业机器人健康监测方法及系统。

背景技术

随着社会的高速发展，工业机器人在生产中应用越来越广泛，生产效率大幅提高，自动化程度越高的生产企业，其人力成本就会越低，能够创造的剩余价值就会越多。工业机器人在进行生产时，先设计标准动作路径，然后机器人按照固定的标准动作路径来执行抓取产品、转运产品、安装产品和复位等基本动作，完成生产任务。

在实际生产的过程中，工业机器人会因为各种程序原因导致出现故障，影响生产，因此需要对工业机器人进行健康监测，目前主要是根据机器人的运行状态进行检测，即根据机器人的机械臂的运动路径判断机器人的是否出现故障，因为，当工业机器人出现故障时，会导致运动路径出错，此时机器人设备处于不健康状态，错误的路径会导致产品不合格，因此，需要对机器人的机械臂的运动路径进行监测，通过机器人的机械臂的运动路径是否符合标注路径监测机器人的健康状态，以便及时对机器人进行调整。

现有技术中，根据机器人的机械臂的运动路径进行监测的具体方法为，在检测机械臂运动路径时，通过角点检测算法，获得机械臂的角点，然后与标准动作路径上的角点进行匹配，根据匹配结果判断工业机器人的健康状态。但是，传统的角点检测算法在进行角点检测的时候，需要进行局部极值点检测，当检测的图像边缘光滑时，不容易检测出极值点或者会检测到稀疏的极值点，根据该极值点进行角点匹配会影响角点匹配的准确度，导致对工业机器人健康状态监测不准确。

发明内容

针对传统的角点检测算法在进行局部极值点检测时，当检测的图像边缘光滑时，不容易检测出极值点或者会检测到稀疏的极值点，根据该极值点进行角点匹配会影响角点匹配的准确度，导致对工业机器人健康状态监测不准确的问题，本发明提供一种工业机器人健康监测方法：

获取机械臂表面图像的多个高斯差分图像；

根据每个高斯差分图像的中心像素点及邻域像素点的梯度幅值、梯度方向，和该高斯差分图像的相邻高斯差分图像中对应的中心像素点及邻域像素点的梯度幅值、梯度方向，得到机械臂表面图像的初始梯度主方向；

根据与初始梯度主方向相同的像素点的邻域像素点的平均梯度得到机械臂表面图像的最终梯度主方向；

将机械臂表面图像的边缘像素点中，梯度方向与最终梯度主方向相同的边缘像素点作为极值点，将极值点中梯度方向最接近中心像素点梯度方向的像素点作为聚类中心；

根据每个极值点的梯度方向与聚类中心的梯度方向差值、每个极值点与聚类中心的距离得到每个极值点与聚类中心的相关性；

根据每个极值点与聚类中心的相关性、每个极值点的灰度值与聚类中心的灰度差值得到每个极值点作为关键角点的可能性；

根据可能性和可能性阈值确定出极值点中的关键角点，并作为机械臂表面图像边缘的关键角点；

对机械臂表面图像边缘的关键角点进行路径追踪，得到机械臂表面图像边缘的关键角点的运动路径，与机械臂标准关键角点的运动路径进行匹配，根据路径匹配结果对机械臂进行健康监测。

所述根据每种尺度的高斯差分图像的中心像素点的邻域像素点的梯度方向得到机械臂表面图像的初始梯度主方向的方法为：

将每种尺度的高斯差分图像中心像素点的邻域像素点，和上、下相邻高斯差分图像中对应的像素点的梯度方向均值，作为每种尺度的高斯差分图像的初始梯度主方向。

所述根据与初始梯度主方向相同的像素点的邻域像素点的平均梯度得到机械臂表面图像的最终梯度主方向的方法为：

获取与初始梯度主方向相同的像素点，作为目标像素点，并获取目标像素点的邻域像素点的平均梯度方向；

对目标像素点的邻域像素点的平均梯度方向和初始梯度主方向进行权重分配，将目标像素点的邻域像素点的平均梯度方向和权重的乘积，加上初始梯度主方向和权重的乘积，得到的梯度方向作为目标像素点的最终梯度方向；

选取与高斯差分图像的中心像素点的梯度方向之间的夹角小于夹角阈值的梯度方向，作为机械臂表面图像的最终梯度主方向。

所述根据每个极值点的梯度方向与每个聚类中心梯度方向、每个极值点与每个聚类中心的距离得到每个极值点与每个聚类中心的相关性的方法为：

获取每个极值点的梯度方向与每个聚类中心梯度方向的差值，并除以2

，得到比例值；

将该比例值与该极值点和每个聚类中心的距离的乘积为指数，以e为底数，得到指数幂，将该指数幂的倒数作为该极值点与聚类中心的相关性。

所述根据每个极值点与聚类中心的相关性、每个极值点的灰度值与聚类中心的灰度差值得到每个极值点作为关键角点的可能性的方法为：

获取极值点与聚类中心的灰度差值；

以e为底数，以灰度差值得到指数幂，将该指数幂的倒数和该极值点与聚类中心的相关性的乘积，作为该极值点为关键角点的可能性。

所述根据可能性和可能性阈值确定出极值点中的关键角点的方法为：

将可能性大于可能性阈值的极值点作为关键角点，其他为非关键角点。

所述根据路径匹配结果对机械臂进行健康监测的具体方法为：

若机械臂表面图像边缘的关键角点的运动路径，与机械臂标准关键角点的运动路径的匹配度大于匹配度阈值，则机械臂运动正常，否则，机械臂运动不正常。

本技术方案还提供一种工业机器人健康监测系统，包括：图像采集模块、关键角点提取模块、路径匹配模块：

所述图像采集模块：用于获取机械臂表面图像的多个高斯差分图像；

所述关键角点提取模块：

用于根据每个高斯差分图像的中心像素点及邻域像素点的梯度幅值、梯度方向，和该高斯差分图像的相邻高斯差分图像中对应的中心像素点及邻域像素点的梯度幅值、梯度方向，得到机械臂表面图像的初始梯度主方向；

根据与初始梯度主方向相同的像素点的邻域像素点的平均梯度得到机械臂表面图像的最终梯度主方向；

将机械臂表面图像的边缘像素点中，梯度方向与最终梯度主方向相同的边缘像素点作为极值点，将极值点中梯度方向最接近中心像素点梯度方向的像素点作为聚类中心；

根据每个极值点的梯度方向与聚类中心的梯度方向差值、每个极值点与聚类中心的距离得到每个极值点与聚类中心的相关性；

根据每个极值点与聚类中心的相关性、每个极值点的灰度值与聚类中心的灰度差值得到每个极值点作为关键角点的可能性；

根据可能性和可能性阈值确定出极值点中的关键角点，并作为机械臂表面图像边缘的关键角点；

所述路径匹配模块：用于对机械臂表面图像边缘的关键角点进行路径追踪，得到机械臂表面图像边缘的关键角点的运动路径，与机械臂标准关键角点的运动路径进行匹配，根据路径匹配结果对机械臂进行健康监测。

本发明的有益效果是：

（1）获取机械臂表面图像的多个高斯差分图像，基于高斯差分图像进行后续分析，极大的降低了计算量；

（2）根据每种尺度的高斯差分图像的中心像素点的邻域像素点的梯度幅值、梯度方向得到机械臂表面图像的初始梯度主方向，根据与初始梯度主方向相同的像素点的邻域像素点的平均梯度得到机械臂表面图像的最终梯度主方向；该方法通过分析整体梯度变化趋势、局部梯度变化趋势，并将二者结合得到的最终梯度主方向，准确性较高；

（3）选取边缘线上的极值点，然后计算极值点与聚类中心的相关性，根据相关性和极值点与聚类中心的灰度差异得到每个极值点的聚类权重，根据聚类权重对极值点进行筛选得到关键角点，根据关键角点进行匹配，判断机器人的机械臂路径是否错误，实现对机器人健康状态的监测；该方法将每个极值点作为聚类中心，将每个极值点与聚类中心的相关性和灰度差异作为权重，综合分析得到该每个极值点为关键角点的可能性，根据可能性筛选出有效的、准确的关键角点，利用有效的、准确的关键角点进行关键角点匹配，得到准确的匹配结果，提高了健康监测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种工业机器人健康监测方法的流程图；

图2是本发明的一种工业机器人健康监测系统结构框图；

图3是本发明的一种工业机器人健康监测方法中的极值点选取示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的一种工业机器人健康监测方法的实施例，如图1所示，包括：

步骤一：获取机械臂表面图像的多个高斯差分图像；

该步骤的目的是，采集机械臂运动图像并进行图像预处理，得到机械臂表面图像的多尺度高斯差分图像。

由于本发明需要监测机械臂的运动状态，进而判断机器人的健康状况，因此需要采集机械臂的在工作时的运动图像，机械臂的运动是一个周期性的运动，主要分为四个步骤：抓取产品、转运产品、安装产品和复位，最关键的是前三个步骤，因此在采集图像时需要采集三张图片，然后对三张图像分别进行检测，判断机械臂的运动轨迹是否有异常，并且在采集图像时，需要三个不同的相机分别进行拍摄，每个相机的位置是固定的，不能移动，每个相机拍摄固定的运动过程的图像，防止在进行关键角点匹配的过程中产生误差。

首先对采集的机械臂运动图像进行预处理，方法如下：

使用DNN语义分割的方式来识别机械臂运动图像中的机械臂图像和背景图像：DNN网络的相关内容如下：使用的数据集为平视采集的机械臂图像数据集，机械臂的样式为固定样式；需要分割的像素共分为两类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于背景类的标注为0，属于机械臂的标注为1；网络的任务是分类，所有使用的loss函数为交叉熵损失函数；通过语义分割得到的0-1掩膜图像与原图像相乘，得到的图像中只含有机械臂的图像，去除了背景的干扰。

然后，利用通过边缘检测算法获得机械臂的初始边缘，然后通过边缘叠加获得准确边缘；

因为在目标识别中，边缘信息是非常重要的信息，其能够反映目标物体的形态特征。但是在边缘检测的过程中，会因为边缘灰度变化较小，形成伪边缘的情况，导致得到的边缘不连续，为了后续关键角点的准确选取，需要将边缘变得连续；

先对阈值分割后的机器臂进行边缘检测，获得其边缘，本发明使用canny边缘检测算法对其进行边缘检测，然后将检测到的边缘与原图像再进行叠加，其原理是同一倍频程图像，同一位置的像素在进行叠加时，就能够获得边缘检测图像边缘缺失的像素，然后对边缘缺失的像素点进行补齐，就能够获得连续完整的边缘线；

最后，通过SIFT算法检测机械臂边缘的特征点：

为了能够使得机械臂的匹配更加准确，关键角点的选取是非常重要的，只有其选取的关键角点是边缘的特征，才能在标准图像的同一路径上寻找到与之匹配的关键角点，进而判断机械臂的状态。

在上述的步骤中，获得了连续的边缘，然后筛选边缘线上的关键角点。因为特征点一般被定义为图像边缘曲线上曲率极大值的点，在获取关键角点时需要选出最能能代表边缘特征的特征点，选取特征点是应该遵循曲率极大，位置均匀分布，数量合适的原则。

在利用SIFT（尺度不变特征变换）关键角点选取时，需要进行DOG（高斯差分）局部极值点检测，特征点是由DOG空间的局部极值点组成的，为了寻找DOG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小，如图3所示：

共有上、中、下三个高斯差分图像，以中间的高斯差分图像为目标高斯差分图像，以其中心像素点为例，获取极值点的方法为：

将中心像素点及其周围的3×3邻域的8个像素点，和上相邻高斯差分图像中对应的中心像素点和8个邻域像素点（上相邻高斯差分图像中的9个像素点），及下相邻高斯差分图像中对应的中心像素点和8个邻域像素点（下相邻高斯差分图像中的9个像素点），即中间高斯差分图像的中心像素点和自己的8个邻域像素点、上相邻的高斯差分图像中的9个像素点、下相邻的高斯差分图像中的9个像素点，总共26个像素点进行比较，判断该中心像素点是否为极值点，通过此方法进行极值点检测，以确保在尺度空间和二维图像空间都检测到极值点，本步骤利用SIFT进行关键角点选取时，得到机械臂表面图像在尺度空间的多尺度高斯差分图像。

但是传统的极值点的确定不适合边缘极值点较为稀疏的图像，在本发明的边缘关键角点检测中，因为筛选的关键角点的数量较少，因在选取关键角点时，时选取极大值点或者极小值点，因为这些点在采样的过程中，这些点是不会变的，但是当边缘稀疏时，能够选择的点的数量少，因此在匹配的过程中会不准确。

因此本发明在选择关键角点时，不单单选取极大值或极小值点，还会选取第二大或第三大等等的点，而选取这些第二大、第三大等等的关键角点的的方法是：

在计算极值点时，不需要窗口中心点大于所有的其余像素点，而是根据图像目标区域的特征，令窗口的中心点大于某个方向，或者固定方向上的像素点，便认定其为极值点；

本发明选取这些关键角点的优点是，这些点可以反映图像梯度特征信息，并且在一定程度上增加了关键角点的数量，使得匹配的更加准确。

步骤二：根据每个高斯差分图像的中心像素点及邻域像素点的梯度幅值、梯度方向，和该高斯差分图像的相邻高斯差分图像中对应的中心像素点及邻域像素点的梯度幅值、梯度方向，得到机械臂表面图像的初始梯度主方向；根据与初始梯度主方向相同的像素点的邻域像素点的平均梯度得到机械臂表面图像的最终梯度主方向；

该步骤的目的是，分析图像整体梯度变化趋势和局部梯度变化趋势，综合二者得到图像的最终梯度主方向。

其中，机械臂表面图像的初始梯度主方向的获取方法为：

将每个高斯差分图像中心像素点及邻域像素点在当前高斯差分图像、上、下相邻高斯差分图像中对应的中心像素点及邻域像素点的梯度方向均值，作为每种尺度的高斯差分图像的初始梯度主方向。

因为，本发明所确定的极值点是根据中心点大于某一方向上的点，便认为其为极值点，因此方向的确定是至关重要的，方向的确定的是根据梯度的变化确定一个主方向，然后根据周围像素点的方向共同决定最终的方向；

本实施例中获取初始梯度主方向，选取的邻域范围为5×5邻域，首先计算目标高斯差分图像的中心像素点的周围5×5邻域中，所有像素点的梯度幅值

与梯度方向

，然后根据梯度的变化确定初始梯度主方向，其计算公式如下：

梯度方向计算方法为：

梯度幅值计算方法为：

式中，

表示整个高斯差分图像的平均梯度方向，

表示第

个像素点的梯度方向，

表示此尺度图像的平均梯度幅值；

用平均梯度方向表示此高斯差分图像的初始梯度主方向，即机械臂表面图像的初始梯度主方向，平均梯度幅值

表示此尺度图像的梯度主方向的梯度幅值，即机械臂表面图像的梯度主方向的梯度幅值，然后分别计算在当前尺度的上下相邻尺度的图像的平均梯度幅值

和梯度方向

。

其中，根据与初始梯度主方向相同的像素点的邻域像素点的平均梯度得到机械臂表面图像的最终梯度主方向的方法为：

（1）获取与初始梯度主方向相同的像素点，作为目标像素点，并获取目标像素点的邻域像素点的平均梯度方向；

（2）对目标像素点的邻域像素点的平均梯度方向和初始梯度主方向进行权重分配，将目标像素点的邻域像素点的平均梯度方向和权重的乘积，加上初始梯度主方向和权重的乘积，得到的梯度方向作为目标像素点的最终梯度方向；

确定与主方向梯度方向相同的像素点，计算此像素点周围八邻域的像素点的平均梯度方向

，将八邻域的梯度方向与主方向进行加权，其加权公式为：

式中，

第z个目标像素点的最终梯度方向（加权方向），

为该目标像素点周围八邻域像素点的平均梯度方向，

为高斯差分图像的初始梯度主方向，

、

分别表示权重；

（3）选取与高斯差分图像的中心像素点的梯度方向之间的夹角小于夹角阈值的梯度方向，作为机械臂表面图像的最终梯度主方向，具体为，将中心像素点与上下相邻高斯差分图像中计算的

进行比较，选取与中心点梯度方向相近的方向作为最终主方向，然后在此方向上像素点进行比较，确定极值点，需要说明的是，因为与中心点梯度方向相近的方向即（夹角小于夹角阈值的梯度方向）是一个方向范围，所以，机械臂表面图像的最终梯度主方向包含多个相近的梯度方向，本实施例中夹角阈值为5度。

需要说明的是，上方法的整体逻辑是将点进行逐一的筛选，首先确定初始主方向，其表示的是高斯差分图像梯度方向的主要变化趋势，然后再根据初始方向进行判断，获得更小模板的平均梯度方向，此步骤的目的是为了获取局部区域变化剧烈的小区域的主方向，然后进行加权获得最终的主方向。

步骤三：将机械臂表面图像的边缘像素点中，梯度方向与最终梯度主方向相同的边缘像素点作为极值点，将极值点中梯度方向最接近中心像素点梯度方向的像素点作为聚类中心；根据每个极值点的梯度方向与聚类中心的梯度方向差值、每个极值点与聚类中心的距离得到每个极值点与聚类中心的相关性；

该步骤的目的是，根据每个极值点的梯度方向与聚类中心的梯度方向的差异和每个极值点到聚类中心的距离得到每个极值点与聚类中心的相关性；

本步骤选取聚类中心的方法为：

将机械臂表面图像的边缘像素点中，梯度方向与最终梯度主方向相同的边缘像素点作为极值点，将极值点中梯度方向最接近中心像素点梯度方向的像素点作为聚类中心；

其中，每个极值点与聚类中心的相关性的获取方法为：

（1）获取每个极值点的梯度方向与聚类中心梯度方向的差值

，并除以2

，得到比例值：

（2）将该比例值与该极值点和聚类中心的距离的乘积为指数，以e为底数，得到指数幂，将该指数幂的倒数作为该极值点与聚类中心的相关性；

具体如下：

假设极值点

到聚类中心的距离为

，通过计算梯度方向的该变量来判断极值点与聚类中心的相关性，计算公式如下：

式中，

表示极值点

与聚类中心的相关性，

表示极值点

的梯度方向，

表示聚类中心点

的梯度方向，

表示极值点与聚类中心点的梯度方向差异，梯度方向的差异表示的是极值点与周围像素点的灰度变化的差异大小，梯度方向就指向灰度差异大的区域；

是为了将角度转化为数值；

的含义是表示相关性的归一化值。

该公式是根据极值点与聚类中心的角度差（梯度方向差异）与距离进行判断此极值点到聚类中心的相关性，因为步骤二中得到机械臂表面图像的最终梯度主方向包含多个相近的梯度方向，因此本步骤获取的梯度方向与最终梯度主方向相同的边缘像素点是多个相近的梯度方向上的像素点，即像素点之间的梯度方向是存在差异的，因此通过分析梯度方向的差异和距离，来计算相关性；

有益效果为：梯度方向差异越小，距离越近的极值点与聚类中心点的相关性越大，将其划归为同一聚类块的可能程度就越大。

需要说明的是，本步骤是对极值点进行筛选，因为在不同尺度的高斯金字塔下，极值点变化的概率是比较小的，因为极值点通过筛选后需要作为关键角点，而在进行高斯金字塔采样的过程中，目的是为了去除多余的无关信息，保留图像中关键的边缘信息，因此即使在进行多次的采样后，关键角点的损失也会较少，否则无法筛选出有用的关键角点。

因此本发明采用聚类的思想进行关键角点筛选，首先需要选取一定为边缘关键角点的极值点作为聚类中心，然后计算极值点与聚类中心点的相关性，根据相关性的大小给予不同关键角点不同的权重值，权重越大，其为关键角点的可能就越大。

因为，极值点与聚类中心的相关性描述的是极值点的梯度方向与聚类中心是相反方向，且极值点方向指向聚类中心。因为处于这两种状态的点将其归为同一聚类块，其关联性更大，并且要根据极值点到不同的聚类中心的距离进行划分。距离越小，将其归为一类的概率就越大。

步骤四：根据每个极值点与聚类中心的相关性、每个极值点的灰度值与聚类中心的灰度差值得到每个极值点作为关键角点的可能性；根据可能性和可能性阈值确定出极值点中的关键角点，并作为机械臂表面图像边缘的关键角点；

该步骤的目的是综合考虑每个极值点与每个聚类中心的相关性和灰度差异得到每个极值点为关键角点的可能性，并筛选出关键角点。

其中，每个极值点作为关键角点的可能性的方法为：

（1）获取极值点与聚类中心的灰度差值；

（2）以e为底数，以灰度差值得到指数幂，将该指数幂的倒数和该极值点与聚类中心的相关性的乘积，作为该极值点为关键角点的可能性，具体如下：

根据极值点与聚类中心的相关性对极值点进行聚类，相关性越大，分配较大的权重，相关性较小分配较小的权重，但是在进行分配还需要考虑像素点灰度值之间的关系，需要将灰度值相近的像素点分为一类，灰度值差异较大的像素点不能分为一类，极值点为关键角点的可能性的计算公式如下：

式中，

表示极值点

为关键角点的可能性，

表示极值点

的灰度值，

表示聚类中心

的灰度值，

表示极值点t与聚类中心x的灰度差值；

该公式是，根据相关性与灰度的变化对极值点赋予不同的权重，权重越大，极值点为关键角点的可能程度就越大。

其中，根据可能性和可能性阈值确定出极值点中的关键角点的方法为：

将可能性大于可能性阈值的极值点作为关键角点，其他为非关键角点，直接舍弃，本实施例中可能性阈值

为

。

步骤五：对机械臂表面图像边缘的关键角点进行路径追踪，得到机械臂表面图像边缘的关键角点的运动路径，与机械臂标准关键角点的运动路径进行匹配，根据路径匹配结果对机械臂进行健康监测。

本步骤的目的是根据机械臂边缘的关键角点与标准路径上的关键角点进行匹配，实现健康检测。

其中，根据边缘关键角点和极值点中的关键角点得到机械臂的关键角点，对机械臂表面图像边缘的关键角点进行路径追踪，得到机械臂表面图像边缘的关键角点的运动路径，与机械臂标准关键角点的运动路径进行匹配，根据路径匹配结果对机械臂进行健康监测的具体方法为：

对机械臂运动中的关键角点运动时进行路径追踪，得到关键角点的运动路径，将关键角点的运动路径与机械臂的关键点的标准运动路径进行匹配，若匹配度大于匹配度阈值，则机械臂运动正常，认为设备健康，否则，机械臂运动不正常，认为设备不健康，存在故障，可进行预警提示，本实施例中匹配度阈值为0.85。

本发明的一种工业机器人健康监测系统的实施例，如图2所示，包括：

图像采集模块S100、关键角点提取模块S101、路径匹配模块S102：

图像采集模块S100：用于获取机械臂表面图像的多个高斯差分图像，将图像发送至关键角点提取模块S101；

关键角点提取模块S101：

用于根据每个高斯差分图像的中心像素点及邻域像素点的梯度幅值、梯度方向，和该高斯差分图像的相邻高斯差分图像中对应的中心像素点及邻域像素点的梯度幅值、梯度方向，得到机械臂表面图像的初始梯度主方向；

根据与初始梯度主方向相同的像素点的邻域像素点的平均梯度得到机械臂表面图像的最终梯度主方向；

将机械臂表面图像的边缘像素点中，梯度方向与最终梯度主方向相同的边缘像素点作为极值点，将极值点中梯度方向最接近中心像素点梯度方向的像素点作为聚类中心；

根据每个极值点的梯度方向与聚类中心的梯度方向差值、每个极值点与聚类中心的距离得到每个极值点与聚类中心的相关性；

根据每个极值点与聚类中心的相关性、每个极值点的灰度值与聚类中心的灰度差值得到每个极值点作为关键角点的可能性；

根据可能性和可能性阈值确定出极值点中的关键角点，并作为机械臂表面图像边缘的关键角点，将关键角点信息发送至路径匹配模块S102；

路径匹配模块S102：用于对机械臂表面图像边缘的关键角点进行路径追踪，得到机械臂表面图像边缘的关键角点的运动路径，与机械臂标准关键角点的运动路径进行匹配，根据路径匹配结果对机械臂进行健康监测。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种工业机器人健康监测方法，其特征在于，该方法包括：

获取机械臂表面图像的多个高斯差分图像；

根据每个高斯差分图像的中心像素点及邻域像素点的梯度幅值、梯度方向，和该高斯差分图像的相邻高斯差分图像中对应的中心像素点及邻域像素点的梯度幅值、梯度方向，得到机械臂表面图像的初始梯度主方向；

根据与初始梯度主方向相同的像素点的邻域像素点的平均梯度得到机械臂表面图像的最终梯度主方向；

将机械臂表面图像的边缘像素点中，梯度方向与最终梯度主方向相同的边缘像素点作为极值点，将极值点中梯度方向最接近中心像素点梯度方向的像素点作为聚类中心；

根据每个极值点的梯度方向与聚类中心的梯度方向差值、每个极值点与聚类中心的距离得到每个极值点与聚类中心的相关性；

根据每个极值点与聚类中心的相关性、每个极值点的灰度值与聚类中心的灰度差值得到每个极值点作为关键角点的可能性；

根据可能性和可能性阈值确定出极值点中的关键角点，并作为机械臂表面图像边缘的关键角点；

对机械臂表面图像边缘的关键角点进行路径追踪，得到机械臂表面图像边缘的关键角点的运动路径，与机械臂标准关键角点的运动路径进行匹配，根据路径匹配结果对机械臂进行健康监测。

2.根据权利要求1所述的一种工业机器人健康监测方法，其特征在于，所述根据每种尺度的高斯差分图像的中心像素点的邻域像素点的梯度方向得到机械臂表面图像的初始梯度主方向的方法为：

将每种尺度的高斯差分图像中心像素点的邻域像素点，和上、下相邻高斯差分图像中对应的像素点的梯度方向均值，作为每种尺度的高斯差分图像的初始梯度主方向。

3.根据权利要求1所述的一种工业机器人健康监测方法，其特征在于，所述根据与初始梯度主方向相同的像素点的邻域像素点的平均梯度得到机械臂表面图像的最终梯度主方向的方法为：

获取与初始梯度主方向相同的像素点，作为目标像素点，并获取目标像素点的邻域像素点的平均梯度方向；

对目标像素点的邻域像素点的平均梯度方向和初始梯度主方向进行权重分配，将目标像素点的邻域像素点的平均梯度方向和权重的乘积，加上初始梯度主方向和权重的乘积，得到的梯度方向作为目标像素点的最终梯度方向；

选取与高斯差分图像的中心像素点的梯度方向之间的夹角小于夹角阈值的梯度方向，作为机械臂表面图像的最终梯度主方向。

4.根据权利要求1所述的一种工业机器人健康监测方法，其特征在于，所述根据每个极值点的梯度方向与每个聚类中心梯度方向、每个极值点与每个聚类中心的距离得到每个极值点与每个聚类中心的相关性的方法为：

获取每个极值点的梯度方向与每个聚类中心梯度方向的差值，并除以2

，得到比例值；

将该比例值与该极值点和每个聚类中心的距离的乘积为指数，以e为底数，得到指数幂，将该指数幂的倒数作为该极值点与聚类中心的相关性。

5.根据权利要求1所述的一种工业机器人健康监测方法，其特征在于，所述根据每个极值点与聚类中心的相关性、每个极值点的灰度值与聚类中心的灰度差值得到每个极值点作为关键角点的可能性的方法为：

获取极值点与聚类中心的灰度差值；

以e为底数，以灰度差值得到指数幂，将该指数幂的倒数和该极值点与聚类中心的相关性的乘积，作为该极值点为关键角点的可能性。

6.根据权利要求1所述的一种工业机器人健康监测方法，其特征在于，所述根据可能性和可能性阈值确定出极值点中的关键角点的方法为：

将可能性大于可能性阈值的极值点作为关键角点，其他为非关键角点。

7.权利要求1所述的一种工业机器人健康监测方法，其特征在于，所述根据路径匹配结果对机械臂进行健康监测的具体方法为：

若机械臂表面图像边缘的关键角点的运动路径，与机械臂标准关键角点的运动路径的匹配度大于匹配度阈值，则机械臂运动正常，否则，机械臂运动不正常。

8.一种工业机器人健康监测系统，其特征在于，该系统包括：图像采集模块、关键角点提取模块、路径匹配模块：

所述图像采集模块：用于获取机械臂表面图像的多个高斯差分图像；

所述关键角点提取模块：

用于根据每个高斯差分图像的中心像素点及邻域像素点的梯度幅值、梯度方向，和该高斯差分图像的相邻高斯差分图像中对应的中心像素点及邻域像素点的梯度幅值、梯度方向，得到机械臂表面图像的初始梯度主方向；

根据与初始梯度主方向相同的像素点的邻域像素点的平均梯度得到机械臂表面图像的最终梯度主方向；

对机械臂表面图像进行边缘检测，将边缘像素点中梯度方向与最终梯度主方向相同的边缘像素点作为极值点，将极值点中梯度方向最接近中心像素点梯度方向的像素点作为聚类中心；

根据每个极值点的梯度方向与聚类中心的梯度方向差值、每个极值点与聚类中心的距离得到每个极值点与聚类中心的相关性；

根据每个极值点与聚类中心的相关性、每个极值点的灰度值与聚类中心的灰度差值得到每个极值点作为关键角点的可能性；

根据可能性和可能性阈值确定出极值点中的关键角点，并作为机械臂表面图像边缘的关键角点；

所述路径匹配模块：用于对机械臂表面图像边缘的关键角点进行路径追踪，得到机械臂表面图像边缘的关键角点的运动路径，与机械臂标准关键角点的运动路径进行匹配，根据路径匹配结果对机械臂进行健康监测。

Images