CN111531582B - 一种基于视觉的工业机器人故障检测方法及系统 - Google Patents

Abstract

本发明提供一种基于视觉的工业机器人故障检测方法及系统，其中，方法包括以下步骤：S1:获取工业机器人正常工作下的作业视频，并根据所述作业视频计算最长公共哈希子序列，所述最长公共哈希子序列包含多个哈希值，所述最长公共哈希子序列用于表示工业机器人的周期性动作模式，执行S2；S2:实时采集工业机器人的工作图像，分离出工业机器人，形成第二作业图像，计算所述第二作业图像的哈希值，记为h1,执行S3；S3:将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配，若匹配成功，则执行S2,若匹配失败，则检测到异常动作，控制工业机器人急停，通过采集作业图像的方式对工业机器人进行故障检测，不仅成本低、采集难度小，抗干扰能力强。

Description

一种基于视觉的工业机器人故障检测方法及系统

技术领域

本发明涉及智能制造和机器人领域，具体涉及一种基于视觉的工业机器人故障检测方法及系统。

背景技术

工业机器人是集自动化，机械，嵌入式，液压，电气等硬件及其控制软件在内组成的复杂系统。其可以代替工人从事一些危险和复杂的重复性劳动。由于工业机器人精度高且无需休息，其已经广泛应用于制造业。然而，随着工业机器人的大量应用，工业机器人伤人事件时有发生。导致工业机器人安全事故的主要原因有人为因素和机器人自身故障。其中机器人自身误动作导致的安全事故占据了一半以上的比例。人为因素可以通过加强管理和培训进行控制，而机器人自身误动作导致的安全问题需要通过技术手段进行解决。由于信号干扰，器件老化，金属疲劳等各种原因，机器人误动作在机器人作业过程中大量存在。机器人误动作轻则造成机器人运动失调，导致挤压、碰撞事故，重则威胁到附近人员的生命安全。特别是在人机协作场景下，机器人安全问题至关重要。

当前对机器人故障的检测方法主要是数据分析法。例如专利“一种面向云控制平台的工业机器人本体安全控制方法”(专利号：CN201611068345.6)通过安全保护逻辑对工业机器人各轴及末端的实时状态信息进行计算分析。当检测到机器人发生异常动作时控制其停止运动。专利“基于离群点挖掘的集群工业机器人故障诊断方法”(专利号：CN101509839)公开了一种基于离群点挖掘的工业机器人故障诊断方法。方法通过对多台工业机器人运动数据进行聚类分析，借助离群点发现工业机器人的异常动作。

现有工业机器人故障检测方法存在如下问题：

1)需要借助专用的设备采集工业机器人数据，具有较高的成本；

2)不同型号的工业机器人通信接口和协议不一致，因此机器人数据采集器不具有通用性；

3)工业机器人在受到信号干扰的情况下，数据采集器采集到的机器人状态数据可能与机器人真实状态不一致，从而导致错误的判断。

发明内容

本发明的目的在于克服现有技术中的缺点，提供一种基于视觉的工业机器人故障检测方法及系统。

本发明的目的是通过以下技术方案来实现的：一种基于视觉的工业机器人故障检测方法，包括以下步骤：

S1:获取工业机器人正常工作下的作业视频，并根据所述作业视频计算最长公共哈希子序列，所述最长公共哈希子序列包含多个哈希值，所述最长公共哈希子序列用于表示工业机器人的周期性动作模式，执行S2；

S2:实时采集工业机器人的工作图像，分离出所述工作图像中的工业机器人影像，形成第二作业图像，计算所述第二作业图像的哈希值，记为h1,执行S3；S3:将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配，若匹配成功，则执行S2,若匹配失败，则检测到异常动作，控制工业机器人急停。

本发明的有益效果是：先通过采集工业机器人在正常工作模式下的作业视频，并对所述作业视频计算表示工业机器人周期性动作模式的最长公共哈希子序列作为对比标准；通过实时采集工业机器人的工作图像，并计算第二作业图像哈希值h1，将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配，若匹配成功，则执进行下一帧比较,若匹配失败，则检测到异常动作，控制工业机器人急停，通过采集作业图像的方式对工业机器人进行故障检测，不仅成本低、采集难度小，抗干扰能力强。

进一步，所述S1具体包括以下步骤：

S101:采集工业机器人正常工作下的作业视频，并以时间t为间隔时间对所述作业视频进行分帧，形成第一视频帧序列，执行S102；

S102:对所述第一视频帧序列进行图像分割，分离出所述图像中的工业机器人影像，形成第二视频帧序列，执行S103；

S103:计算所述第二视频帧序列中所有图像的哈希值，形成第一图像哈希序列，执行S104；

S104:计算所述第一图像哈希序列中的最长公共哈希子序列，所述最长公共哈希子序列用于表示工业机器人周期性动作模式。

采用上述进一步方案的有益效果是，采集工业机器人在正常工作下的作业视频，以时间t为间隔时间对所述作业视频进行分帧，进行图像分割，分离出机器人，形成第二视频帧序列，减少背景图像造成的干扰；再计算所述第二视频帧序列中所有图像的哈希值，形成第一视频帧序列，计算所述第一图像哈希序列中的最长公共哈希子序列，用于表示工业机器人周期性动作模式，采集视频并通过最长公共哈希子序列用于故障检测的标准，数据采集方便，并且每张图像的哈希值唯一，因此避免进行比较时出现一对多的情况，使得精度较高。

进一步，所述S3具体包括:

S301:将所述最长公共哈希子序列中的哈希值依次进行序列号标记，记所述序列号的变量为qn，其中，n＝1，2，3，…，n1，则依次为:q1＝-1,q2＝0,q3＝1,q4＝2,…,qn1＝n1-1,执行S302；

S302:初始化序号变量，令q1＝-1，执行S303；

S303:判断是否q1＝-1，若是，执行S304,若否，执行S307；

S304:在所述最长公共哈希子序列中查找哈希值h1的极近似值，所述极近似值在所述最长公共哈希子序列中的顺序号记作q0，若极近似值不存在，则令q0＝-1，执行S305；

S305:判断是否q0＝-1，若是，则执行S309,若否，则执行S306；

S306:令q1＝q0,执行S307；

S307:令q1＝q1+1，执行S308；

S308:获取所述最长公共哈希子序列中序号为q1的哈希值，若h1与h2极近似则执行S2，否则，执行S309；

S309:检测到异常动作，控制工业机器人急停。

采用上述进一步方案的有益效果是，首先将最长公共哈希子序列中的哈希值依次进行序列号标记，方便后序进行比较，由S3的具体步骤可以看出，当没有极相似哈希值或者出现跳帧时会出现告警。

进一步，所述S304中极近似值的判断标准为：若hanming(h1,h2)≤5则认为h1和h2极近似且互为极近似值，其中，hanming(h1,h2)为h1和h2的汉明距离。

采用上述进一步方案的有益效果是，当汉明距离小于等于5时则判定为极近似，汉明距离表示两个字对应位不同的数量。

进一步，所述S1为作业模式提取阶段，所述S2-S3异常动作检测阶段,所述作业模式提取阶段只进行一次；所述异常动作检测阶段持续实时分析工业机器人作业视频。

采用上述进一步方案的有益效果是，作业模式只进行一次则可确定进行检验的标准，有效降低成本，而异常工作检验阶段则可进行实时检测。

进一步，采用差异哈希算法计算图像的哈希值，所述图像的哈希值为64位的二进制串或16位十六进制串。

采用上述进一步方案的有益效果是，使用差异哈希算法计算图像的哈希值处理速度快。

进一步，所述最长公共哈希子序列的计算过程为：将哈希值序列看作字符串，当两个哈希值极近似时则认为其相等，利用字符串的最长公共子序列计算方法进行计算。

进一步，所述S2中分离工业机器人的过程为：所述假设机器人本体的颜色为Cr，I为包含工业机器人的作业图像，P为I中的任意像素，若P的颜色值在以Cr为中心的δ邻域内，则将P的颜色值设置为黑色，反之设置为白色。

采用上述进一步方案的有益效果是，分离过程简单，速度快。

一种基于视觉的工业机器人故障检测系统，包括，

图像采集装置，用于采集工业机器人正常工作下的作业视频，还用于实时采集工业机器人的工作图像；

故障检测装置，用于接收所述图像采集装置采集的工业机器人正常工作下的作业视频并根据所述作业视频计算最长公共哈希子序列，所述最长公共哈希子序列包含多个哈希值，所述最长公共哈希子序列用于表示工业机器人的周期性动作模式；还用于根据所述图像采集装置采集的实时的工业机器人的工作图像，分离出所述工作图像中的工业机器人影像，形成第二作业图像，计算所述第二作业图像的哈希值，记为h1,将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配，检测工业机器人是否动作异常，并在检测到工业机器人动作异常时发送急停控制信号；

控制器，用于接收故障检测装置发送的急停控制信号并控制工业机器人停止工作。

本发明的有益效果是，先通过采集工业机器人在正常工作模式下的作业视频，并对所述作业视频计算表示工业机器人周期性动作模式的最长公共哈希子序列作为对比标准；通过实时采集工业机器人的工作图像，并计算第二作业图像哈希值h1，将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配，检测工业机器人是否动作异常，并在检测到工业机器人动作异常时发送急停控制信号，通过采集作业图像的方式对工业机器人进行故障检测，不仅成本低、采集难度小，抗干扰能力强。

进一步，所述故障检测装置包括周期性动作模式建立单元、图像分割单元、计算单元及异常动作检测单元；

所述周期性动作模式建立单元用于以时间t为间隔时间对所述作业视频进行分帧，形成第一视频帧序列；

所述图像分割单元用于对所述第一视频帧序列的图像进行图像分割，分离出工业机器人影像，形成第二视频帧序列；

所述计算单元用于计算所述第二视频帧序列中所有图像的哈希值，形成第一图像哈希序列，并计算所述第一图像哈希序列中的最长公共哈希子序列，所述最长公共哈希子序列用于表示工业机器人周期性动作模式；

所述图像分割单元还用于对实时采集工业机器人的工作图像进行图像分割，分离出工业机器人影像，形成第二作业图像并发送至所述计算单元；

所述计算单元还用于计算所述第二作业图像的哈希值，记为h1；

所述异常动作检测单元用于将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配，检测工业机器人是否动作异常，并在检测到工业机器人动作异常时发送急停控制信号。

采用上述进一步方案的有益效果是，工业机器人正常工作下的作业视频中的图像包含了工业机器人至少一个工作周期的图像，因此需要分帧提取出至少一个周期内完成的图像，形成第一视频帧序列；由于工业机器人的作业环境复杂，提取出图像中工业机器人的影像进行分析，以减少外部环境的干扰；计算单元可计算出所述第二视频帧序列中所有图像的哈希值，形成第一图像哈希序列，并计算所述第一图像哈希序列中的最长公共哈希子序列，所述最长公共哈希子序列用于表示工业机器人周期性动作模式以及计算第二作业图像的哈希值h1；异常动作检测单元用于将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配，检测工业机器人是否动作异常，并在检测到工业机器人动作异常时发送急停控制信号，由于每张图像的哈希值都是唯一的，通过比较哈希值的极近似匹配来检测工业机器人是否动作异常精度较高，且可调范围容易控制。例如采用汉明距离，若hanming(h1,h2)≤5则认为h1和h2极近似且互为极近似值，长度可控。

进一步，所述异故障检测装置检测工业机器人是否动作异常包括以下步骤；

S300:对实时采集的工业机器人的工作图像，分离出所述工作图像中的工业机器人影像，形成第二作业图像，计算所述第二作业图像的哈希值，记为h1，执行S301；

S301:将所述最长公共哈希子序列中的哈希值依次进行序列号标记，记所述序列号的变量为qn，其中，n＝1，2，3，…，n1，则依次为:q1＝-1,q2＝0,q3＝1,q4＝2,…,qn1＝n1-1,执行S302；

S302:初始化序号变量，令q1＝-1，执行S303；

S303:判断是否q1＝-1，若是，执行S304,若否，执行S307；

S304:在所述最长公共哈希子序列中查找哈希值h1的极近似值，所述极近似值在所述最长公共哈希子序列中的顺序号记作q0，若极近似值不存在，则令q0＝-1，执行S305；

S305:判断是否q0＝-1，若是，则执行S309,若否，则执行S306；

S306:令q1＝q0,执行S307；

S307:令q1＝q1+1，执行S308；

S308:获取所述最长公共哈希子序列中序号为q1的哈希值，若h1与h2极近似则执行S300,否则，执行S309；

S309:检测到异常动作，控制工业机器人急停。

采用上述进一步方案的有益效果是，首先将最长公共哈希子序列中的哈希值依次进行序列号标记，方便后序进行比较，由S3的具体步骤可以看出，当没有极相似哈希值或者出现跳帧时会出现告警。

附图说明

图1为本发明S1的具体步骤；

图2为本发明的S3的具体步骤；

图3为本发明的一个实施例的实施原理图；

图4为本发明一个实施例的第一视频帧序列；

图5为本发明一个实施例的第二视频帧序列；

图6为本发明一个实施例进行检测的原理图；

图7为本发明一种基于视觉的工业机器人故障检测系统的工作原理图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下。

实施例1

一种基于视觉的工业机器人故障检测方法，包括以下步骤：

S1:获取工业机器人正常工作下的作业视频，并根据所述作业视频计算最长

公共哈希子序列，所述最长公共哈希子序列包含多个哈希值，所述最长公共哈希子序列用于表示工业机器人的周期性动作模式，执行S2；

S2:实时采集工业机器人的工作图像，分离出所述工作图像中的工业机器人影像，形成第二作业图像，计算所述第二作业图像的哈希值，记为h1,执行S3；

S3:将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配，若匹配成功，则执行S2,若匹配失败，则检测到异常动作，控制工业机器人急停。

先通过采集工业机器人在正常工作模式下的作业视频，并对所述作业视频计算表示工业机器人周期性动作模式的最长公共哈希子序列作为对比标准；通过实时采集工业机器人的工作图像，并计算第二作业图像哈希值h1，将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配，若匹配成功，则执进行下一帧比较,若匹配失败，则检测到异常动作，控制工业机器人急停，通过采集作业图像的方式对工业机器人进行故障检测，不仅成本低、采集难度小，抗干扰能力强。

如图3所示，大致的流程为，先通过采集工业机器人在正常工作模式下的作业视频，并对所述作业视频的作业模式进行提取，计算出表示工业机器人周期性动作模式的最长公共哈希子序列作为对比标准，再进行异常检测，检测到异常动作则控制工业机器人急停。

如图1所示，所述S1具体包括以下步骤：

S101:采集工业机器人正常工作下的作业视频，并以时间t为间隔时间对所述作业视频进行分帧，形成第一视频帧序列，执行S102；

S102:对所述第一视频帧序列进行图像分割，分离出所述图像中的工业机器人影像，形成第二视频帧序列，执行S103；

S103:计算所述第二视频帧序列中所有图像的哈希值，形成第一图像哈希序列，执行S104；

S104:计算所述第一图像哈希序列中的最长公共哈希子序列，所述最长公共哈希子序列用于表示工业机器人周期性动作模式。

具体的，如图4所示采集工业机器人在正常工作下的作业视频，以时间t为间隔时间对所述作业视频进行分帧，进行图像分割，如图5所示，分离出机器人，形成第二视频帧序列，减少背景图像造成的干扰；再计算所述第二视频帧序列中所有图像的哈希值，形成第一视频帧序列，形成的第一视频帧序列为：<99c4542560238280，98c4522560429013，79e2621540228012，99d4542560238280，98c3522560429013，79e2621540228011>计算所述第一图像哈希序列中的最长公共哈希子序列，用于表示工业机器人周期性动作模式，形成的最长公共哈希子序列为，<99c4542560238280，98c4522560429013，79e2621540228012>，采集视频并通过最长公共哈希子序列用于故障检测的标准，数据采集方便，并且每张图像的哈希值唯一，因此避免进行比较时出现一对多的情况，使得精度较高。

如图2所示，所述S3具体包括:

S301:将所述最长公共哈希子序列中的哈希值依次进行序列号标记，记所述序列号的变量为qn，其中，n＝1，2，3，…，n1，则依次为:q1＝-1,q2＝0,q3＝1,q4＝2,…,qn1＝n1-1,执行S302；

S302:初始化序号变量，令q1＝-1，执行S303；

S303:判断是否q1＝-1，若是，执行S304,若否，执行S307；

S304:在所述最长公共哈希子序列中查找哈希值h1的极近似值，所述极近似值在所述最长公共哈希子序列中的顺序号记作q0，若极近似值不存在，则令q0＝-1，执行S305；

S305:判断是否q0＝-1，若是，则执行S309,若否，则执行S306；

S306:令q1＝q0,执行S307；

S307:令q1＝q1+1，执行S308；

S308:获取所述最长公共哈希子序列中序号为q1的哈希值，若h1与h2极近似则执行S2，否则，执行S309；

S309:检测到异常动作，控制工业机器人急停。

首先将最长公共哈希子序列中的哈希值依次进行序列号标记，方便后序进行比较，由S3的具体步骤可以看出，当没有极相似哈希值或者出现跳帧时会出现告警。

所述S304中极近似值的判断标准为：若hanming(h1,h2)≤5则认为h1和h2极近似且互为极近似值，其中，hanming(h1,h2)为h1和h2的汉明距离。

当汉明距离小于等于5时则判定为极近似，汉明距离表示两个字对应位不同的数量，例如110011111001与100110101100的汉明距离为6。

所述S1为作业模式提取阶段，所述S2-S3异常动作检测阶段,所述作业模式提取阶段只进行一次；所述异常动作检测阶段持续实时分析工业机器人作业视频。

作业模式只进行一次则可确定进行检验的标准，有效降低成本，而异常工作检验阶段则可进行实时检测。

采用差异哈希算法计算图像的哈希值，所述图像的哈希值为64位的二进制串或16位十六进制串。

使用差异哈希算法计算图像的哈希值处理速度快。

所述最长公共哈希子序列的计算过程为：将哈希值序列看作字符串，当两个哈希值极近似时则认为其相等，利用字符串的最长公共子序列计算方法进行计算。

所述S2中分离工业机器人的过程为：所述假设机器人本体的颜色为Cr，I为包含工业机器人的作业图像，P为I中的任意像素，若P的颜色值在以Cr为中心的δ邻域内，则将P的颜色值设置为黑色，反之设置为白色。分离过程简单，速度快。

本实施例的实施原理：如图6所示，进行检测时，通过实时采集工业机器人的工作图像，并计算第二作业图像哈希值，将所述哈希值与所述最长公共哈希子序列进行顺序极近似值匹配，若匹配成功，进行下一帧的比较,若匹配失败，则检测到异常动作，控制工业机器人急停。

实施例2

一种基于视觉的工业机器人故障检测系统，包括，

如图7所示，图像采集装置，用于采集工业机器人正常工作下的作业视频，还用于实时采集工业机器人的工作图像；在本实施例中，图像采集装置采用高清工业相机。

故障检测装置，用于接收图像采集装置采集的工业机器人正常工作下的作业视频并根据作业视频计算最长公共哈希子序列，最长公共哈希子序列包含多个哈希值，最长公共哈希子序列用于表示工业机器人的周期性动作模式；还用于根据图像采集装置采集的实时的工业机器人的工作图像，分离出工作图像中的工业机器人影像，形成第二作业图像，计算第二作业图像的哈希值，记为h1,将哈希值h1与最长公共哈希子序列进行顺序极近似值匹配，检测工业机器人是否动作异常，并在检测到工业机器人动作异常时发送急停控制信号；

本本实施例中，故障检测装置的硬件装置可包括中央处理单元(CentralProcessing Unit，CPU)，还可包括其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

故障检测装置的硬件装置还包括存储器。存储器可以是处理器的内部存储单元，例如处理器的硬盘或内存。存储器也可以是处理器的外部存储设备，例如处理器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。存储器还可以既包括处理器的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及处理器所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

控制器，用于接收故障检测装置发送的急停控制信号并控制工业机器人停止工作。

本实施例中，控制器通过与工业机器人控制柜通信，控制器工业机器人急停；在另一个实施例中，控制器可直接与工业机器人的通电线路中的电控开关连接，通过控制电控开关的开关状态，控制工业机器人急停。

本实施例中，控制器的硬件装置可包括中央处理单元(Central ProcessingUnit，CPU)，还可包括其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

控制器的硬件装置还包括存储器。存储器可以是处理器的内部存储单元，例如处理器的硬盘或内存。存储器也可以是处理器的外部存储设备，例如处理器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。存储器还可以既包括处理器的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及处理器所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

先通过采集工业机器人在正常工作模式下的作业视频，并对作业视频计算表示工业机器人周期性动作模式的最长公共哈希子序列作为对比标准；通过实时采集工业机器人的工作图像，并计算第二作业图像哈希值h1，将哈希值h1与最长公共哈希子序列进行顺序极近似值匹配，检测工业机器人是否动作异常，并在检测到工业机器人动作异常时发送急停控制信号，通过采集作业图像的方式对工业机器人进行故障检测，不仅成本低、采集难度小，抗干扰能力强。

控制器，用于接收故障检测装置发送的急停控制信号并控制工业机器人停止工作。

如图7所示，故障检测装置包括周期性动作模式建立单元、图像分割单元、计算单元及异常动作检测单元；

周期性动作模式建立单元用于以时间t为间隔时间对作业视频进行分帧，形成第一视频帧序列；

图像分割单元用于对第一视频帧序列的图像进行图像分割，分离出工业机器人影像，形成第二视频帧序列；计算单元用于计算第二视频帧序列中所有图像的哈希值，形成第一图像哈希序列，并计算第一图像哈希序列中的最长公共哈希子序列，最长公共哈希子序列用于表示工业机器人周期性动作模式；图像分割单元还用于对实时采集工业机器人的工作图像进行图像分割，分离出工业机器人影像，形成第二作业图像并发送至计算单元；计算单元还用于计算第二作业图像的哈希值，记为h1；异常动作检测单元用于将哈希值h1与最长公共哈希子序列进行顺序极近似值匹配，检测工业机器人是否动作异常，并在检测到工业机器人动作异常时发送急停控制信号。

工业机器人正常工作下的作业视频中的图像包含了工业机器人至少一个工作周期的图像，因此需要分帧提取出至少一个周期内完成的图像，形成第一视频帧序列；由于工业机器人的作业环境复杂，提取出图像中工业机器人的影像进行分析，以减少外部环境的干扰；计算单元可计算出第二视频帧序列中所有图像的哈希值，形成第一图像哈希序列，并计算第一图像哈希序列中的最长公共哈希子序列，最长公共哈希子序列用于表示工业机器人周期性动作模式以及计算第二作业图像的哈希值h1；异常动作检测单元用于将哈希值h1与最长公共哈希子序列进行顺序极近似值匹配，检测工业机器人是否动作异常，并在检测到工业机器人动作异常时发送急停控制信号，由于每张图像的哈希值都是唯一的，通过比较哈希值的极近似匹配来检测工业机器人是否动作异常精度较高，且可调范围容易控制。例如采用汉明距离，若hanming(h1,h2)≤5则认为h1和h2极近似且互为极近似值，长度可控。

异故障检测装置检测工业机器人是否动作异常包括以下步骤；

S300:实时采集工业机器人的工作图像，分离出工作图像中的工业机器人影像，形成第二作业图像，计算第二作业图像的哈希值，记为h1，执行S301；

S301:将最长公共哈希子序列中的哈希值依次进行序列号标记，记序列号的变量为qn，其中，n＝1，2，3，…，n1，则依次为:q1＝-1,q2＝0,q3＝1,q4＝2,…,qn1＝n1-1,执行S302；

S302:初始化序号变量，令q1＝-1，执行S303；

S303:判断是否q1＝-1，若是，执行S304,若否，执行S307；

S304:在最长公共哈希子序列中查找哈希值h1的极近似值，极近似值在最长公共哈希子序列中的顺序号记作q0，若极近似值不存在，则令q0＝-1，执行S305；

S305:判断是否q0＝-1，若是，则执行S309,若否，则执行S306；

S306:令q1＝q0,执行S307；

S307:令q1＝q1+1，执行S308；

S308:获取最长公共哈希子序列中序号为q1的哈希值，若h1与h2极近似则执行S300,否则，执行S309；

S309:检测到异常动作，控制工业机器人急停。

首先将最长公共哈希子序列中的哈希值依次进行序列号标记，方便后序进行比较，由S3的具体步骤可以看出，当没有极相似哈希值或者出现跳帧时会出现告警。

Claims (6)

1.一种基于视觉的工业机器人故障检测方法，其特征在于，包括以下步骤：

S1:获取工业机器人正常工作下的作业视频，并根据所述作业视频计算最长公共哈希子序列，所述最长公共哈希子序列包含多个哈希值，所述最长公共哈希子序列用于表示工业机器人的周期性动作模式，执行S2；

S2:实时采集工业机器人的工作图像，分离出所述工作图像中的工业机器人影像，形成第二作业图像，计算所述第二作业图像的哈希值，记为h1,执行S3；

S3:将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配，若匹配成功，则执行S2,若匹配失败，则检测到异常动作，控制工业机器人急停；

其中，所述S1具体包括以下步骤：

S101:采集工业机器人正常工作下的作业视频，并以时间t为间隔时间对所述作业视频进行分帧，形成第一视频帧序列，执行S102；

S102:对所述第一视频帧序列进行图像分割，分离出所述图像中的工业机器人影像，形成第二视频帧序列，执行S103；

S103:计算所述第二视频帧序列中所有图像的哈希值，形成第一图像哈希序列，执行S104；

S104:计算所述第一图像哈希序列中的最长公共哈希子序列，所述最长公共哈希子序列用于表示工业机器人周期性动作模式；

所述S3具体包括:

S301:将所述最长公共哈希子序列中的哈希值依次进行序列号标记，记所述序列号的变量为qn，其中，n＝1，2，3，…，n1，则依次为:q1＝-1,q2＝0,q3＝1,q4＝2,…,qn1＝n1-1,执行S302；

S302:初始化序号变量，令q1＝-1，执行S303；

S303:判断是否q1＝-1，若是，执行S304,若否，执行S307；

S304:在所述最长公共哈希子序列中查找哈希值h1的极近似值，所述极近似值在所述最长公共哈希子序列中的顺序号记作q0，若极近似值不存在，则令q0＝-1，执行S305；

S305:判断是否q0＝-1，若是，则执行S309,若否，则执行S306；

S306:令q1＝q0,执行S307；

S307:令q1＝q1+1，执行S308；

S308:获取所述最长公共哈希子序列中序号为q1的哈希值，记为h2,若h1与h2极近似则执行S2，否则，执行S309；

S309:检测到异常动作，控制工业机器人急停。

2.根据权利要求1所述的方法，其特征在于，所述S304中极近似值的判断标准为：若hanming(h1,h2)≤5则认为h1和h2极近似且互为极近似值，其中，hanming(h1,h2)为h1和h2的汉明距离。

3.根据权利要求1所述的方法，其特征在于，所述S1为作业模式提取阶段，所述S2-S3异常动作检测阶段,所述作业模式提取阶段只进行一次；所述异常动作检测阶段持续实时分析工业机器人作业视频。

4.根据权利要求1所述的方法，其特征在于，采用差异哈希算法计算图像的哈希值，所述图像的哈希值为64位的二进制串或16位十六进制串。

5.根据权利要求1所述的方法，其特征在于，所述S2中分离工业机器人的过程为：假设所述机器人本体的颜色为Cr，I为包含工业机器人的作业图像，P为I中的任意像素，若P的颜色值在以Cr为中心的δ邻域内，则将P的颜色值设置为黑色，反之设置为白色。

6.一种基于视觉的工业机器人故障检测系统，其特征在于，包括，

图像采集装置，用于采集工业机器人正常工作下的作业视频，还用于实时采集工业机器人的工作图像；

故障检测装置，用于接收所述图像采集装置采集的工业机器人正常工作下的作业视频并根据所述作业视频计算最长公共哈希子序列，所述最长公共哈希子序列包含多个哈希值，所述最长公共哈希子序列用于表示工业机器人的周期性动作模式；还用于根据所述图像采集装置采集的实时的工业机器人的工作图像，分离出所述工作图像中的工业机器人影像，形成第二作业图像，计算所述第二作业图像的哈希值，记为h1,将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配，检测工业机器人是否动作异常，并在检测到工业机器人动作异常时发送急停控制信号；

控制器，用于接收故障检测装置发送的急停控制信号并控制工业机器人停止工作；

其中，所述故障检测装置包括周期性动作模式建立单元、图像分割单元、计算单元及异常动作检测单元；

所述周期性动作模式建立单元用于以时间t为间隔时间对所述作业视频进行分帧，形成第一视频帧序列；

所述图像分割单元用于对所述第一视频帧序列的图像进行图像分割，分离出工业机器人影像，形成第二视频帧序列；

所述计算单元用于计算所述第二视频帧序列中所有图像的哈希值，形成第一图像哈希序列，并计算所述第一图像哈希序列中的最长公共哈希子序列，所述最长公共哈希子序列用于表示工业机器人周期性动作模式；

所述图像分割单元还用于对实时采集工业机器人的工作图像进行图像分割，分离出工业机器人影像，形成第二作业图像并发送至所述计算单元；

所述计算单元还用于计算所述第二作业图像的哈希值，记为h1；

所述异常动作检测单元用于将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配，检测工业机器人是否动作异常，并在检测到工业机器人动作异常时发送急停控制信号；

所述故障检测装置检测工业机器人是否动作异常包括以下步骤：

S300:对实时采集的工业机器人的工作图像，分离出所述工作图像中的工业机器人影像，形成第二作业图像，计算所述第二作业图像的哈希值，记为h1，执行S301；

S301:将所述最长公共哈希子序列中的哈希值依次进行序列号标记，记所述序列号的变量为qn，其中，n＝1，2，3，…，n1，则依次为:q1＝-1,q2＝0,q3＝1,q4＝2,…,qn1＝n1-1,执行S302；

S302:初始化序号变量，令q1＝-1，执行S303；

S303:判断是否q1＝-1，若是，执行S304,若否，执行S307；

S304:在所述最长公共哈希子序列中查找哈希值h1的极近似值，所述极近似值在所述最长公共哈希子序列中的顺序号记作q0，若极近似值不存在，则令q0＝-1，执行S305；

S305:判断是否q0＝-1，若是，则执行S309,若否，则执行S306；

S306:令q1＝q0,执行S307；

S307:令q1＝q1+1，执行S308；

S308:获取所述最长公共哈希子序列中序号为q1的哈希值，若h1与h2极近似则执行S300,否则，执行S309；

S309:检测到异常动作，控制工业机器人急停。

Images