CN110738135B - 一种工人作业工步规范视觉识别判定与指导方法及系统 - Google Patents

Abstract

本发明涉及一种工人作业工步规范识别判定与指导方法及系统，该方法包括：步骤1，获取工人进行标准作业的视频，根据视频帧确定标准作业对应的监控区域的图像的特征值的阈值；步骤2，获取实时的工人作业的视频，判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过该阈值；步骤3，根据特征值是否超过该阈值进行相应的工步提示和/或信息提示。通过视频监控和工步提示来进行作业指导，有效防范作业出错问题，提升良品率，解决现有技术中纸质作业指导书，效率低，也不能进行异常提醒的问题，还可以通过在专用的培训系统不断进行标准工步对比来建立新工人的良好加工习惯。

Description

一种工人作业工步规范视觉识别判定与指导方法及系统

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种工人作业工步规范识别判定与指导方法及系统。

背景技术

现有技术中车间生产作业工人都是依据纸质作业指导书来进行作业，但是传统纸质指导书不能直观的指示作业工人如何作业，而且不能察觉作业工人的每一个工步是否按照规范进行作业。

同时由于作业的复杂度，对于作业人员的操作技能、注意力等提出了较高的要求，工人在作业过程中会出现操作不熟练、工步错乱等问题，不但会影响工作效率，降低产品质量，甚至会出现人工伤害事故，因而需要有一套指导工人作业的工步引导及防范系统，防止作业遗漏和错误。

发明内容

本发明针对现有技术中存在的技术问题，提供一种工人作业工步规范识别判定与指导方法及系统，解决现有技术中纸质作业指导书效率低、也不能进行异常提醒的问题。

本发明解决上述技术问题的技术方案如下：一种工人作业工步规范识别判定与指导方法，所述方法包括：

步骤1，获取工人进行标准作业的视频，根据视频帧确定所述标准作业对应的监控区域的图像的特征值的阈值；

步骤2，获取实时的工人作业的视频，判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过所述阈值；

步骤3，根据所述特征值是否超过所述阈值进行相应的工步提示和/或信息提示。

一种工人作业工步规范识别判定与指导系统，所述系统包括：视频流接收模块、客户端配置器模块、视频流分析模块、工步引导客户端和主控机；所述视频流接收模块、客户端配置器模块、视频流分析模块和工步引导客户端分别与主控机通信连接；

所述视频流接收模块，用于获取工人进行标准作业的视频以及实时的工人作业的视频，并将所述视频发送给所述主控机；

所述客户端配置器模块，用于在所述主控机的控制下根据所述视频帧确定所述标准作业对应的监控区域的图像的特征值的阈值；

所述视频流分析模块，判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过所述阈值；

所述工步引导客户端，根据所述特征值是否超过所述阈值进行相应的工步提示和/或信息提示。

本发明的有益效果是：通过视频监控和工步提示来进行作业指导，根据视频帧图像的特征值是否超过阈值，判断作业工人动作特征与标准模型的一致性，有效防范作业出错问题，提升良品率，解决现有技术中纸质作业指导书，效率低，也不能进行异常提醒的问题；将工艺设计中传统的工步描述深入到了可被标准的层次；还可以通过在专用的培训系统不断进行标准工步对比来建立新工人的良好加工习惯；对现有制造生产的工艺质量管理和生产指标都将进行重新定义和分解深化，如工序不良率、工序报废率等指标都将演变为工步不良率和工步报废率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1中获取所述标准作业的视频后，定义所述标准作业和无效作业的区别，获取计算工步对应的阈值的参数，根据所述区别和所述参数确定所述标准作业对应的监控区域的图像的特征值的阈值。

进一步，所述参数包括：当前产品的类型、型号、所在的工序、所述工序所有的工步、各个所述工步对应的标准时长、作业正常提示信息和作业异常提示信息。

进一步，所述步骤1中获取的所述参数还包括触发检测时间t1，所述步骤2中判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过所述阈值之前，先判定是否满足触发检测识别条件，包括：

采用机器视觉算法分析模块对获取的实时视频流进行识别分析，在当前监控区域识别是否有人在动作并且动作时间超过设定的所述触发检测时间t1。

进一步，所述步骤1中获取的所述参数还包括背景图像；

所述步骤1和所述步骤2中的所述图像的特征值为与所述背景图像之间的区域相似度。

进一步，所述步骤2中判断实时的工人作业的所述视频帧中所述监控区域的所述图像的特征值是否超过所述阈值的过程包括：

步骤201，在所述视频帧中选择当前工步的所述监控区域的坐标范围；

步骤202，调用开源算法库，将获取的所述视频帧转为灰度图像，计算所述监控区域与所述背景图像之间的余弦相似度s；

步骤203，判断所述余弦相似度s超过所述步骤1中确定的所述阈值时，统计所述余弦相似度s超过所述阈值的持续时间t2为所述工步的实际完成时间。

进一步，所述步骤1中获取的所述参数还包括检测区域面积area；

所述步骤1和所述步骤2中的所述图像的特征值为特征颜色区域占比，所述特征颜色为所述作业工人作业时的运动部分携带的颜色，所述检测区域面积为所述特征颜色的像素点轮廓最大包络圆面积。

进一步，所述步骤2中判断实时的工人作业的所述视频帧中所述监控区域的所述图像的特征值是否超过所述阈值的过程包括：

步骤201′,在所述视频帧中选择当前工步的检测区域的坐标范围；

步骤202′，将获取的所述视频帧通过颜色空间转换函数从RGB模型转化为HSV模型，利用HSV颜色空间对所述特征颜色进行提取，并通过图像差运算进行运动分析去除图像中的非特征颜色背景；

步骤203′，计算所述检测区域中特征颜色点的个数n，计算敏感度m＝n/area；

步骤204′，所述敏感度m超过所述步骤1中确定的所述阈值时，判断所述敏感度m超过所述阈值的持续时间是否超过设定的触发检测时间t1，是，执行步骤205′，否，计时清零；

步骤205′，统计所述敏感度m超过所述阈值的持续时间t2为所述工步的实际完成时间。

进一步，所述步骤3包括：

若判断完成该工步，提示工人作业的下一工步区域，通过背景图上指示已完成、未完成、待完成工步区域，若检测到当前工步完成但未按指示进入下一工步，则进行报警提醒；

若判定为异常作业，则进行异常提醒。

采用上述进一步方案的有益效果是：借助工业相机、视频实时分析、图形化工步引导、异常警报等装置和技术，实现一套可复制、可扩展、可用性强的一套智能工步引导系统。

附图说明

图1为本发明提供的一种工人作业工步规范识别判定与指导方法的流程图；

图2为本发明提供的一种工人作业工步规范识别判定与指导系统的实施例的结构框图；

图3为本发明提供的一种工人作业工步规范识别判定与指导系统的实施例的操作流程图；

附图中，各标号所代表的部件列表如下：

1、视频流接收模块，2、客户端配置器模块，3、视频流分析模块，4、工步引导客户端，5、主控机。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示为本发明提供的一种工人作业工步规范识别判定与指导方法的流程图，由图1可知，该方法包括：

步骤1，获取工人进行标准作业的视频，根据视频帧确定标准作业对应的监控区域的图像的特征值的阈值。

步骤2，获取实时的工人作业的视频，判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过该阈值。

步骤3，根据特征值是否超过该阈值进行相应的工步提示和/或信息提示。

本发明提供的一种工人作业工步规范识别判定与指导方法，通过视频监控和工步提示来进行作业指导，根据视频帧图像的特征值是否超过阈值，判断作业工人动作特征与标准模型的一致性，有效防范作业出错问题，提升良品率，解决现有技术中纸质作业指导书，效率低，也不能进行异常提醒的问题；将工艺设计中传统的工步描述(工步定义、工步描述和零部件加工位置等图片)深入到了可被标准的层次；还可以通过在专用的培训系统不断进行标准工步对比来建立新工人的良好加工习惯；对现有制造生产的工艺质量管理和生产指标都将进行重新定义和分解深化，如工序不良率、工序报废率等指标都将演变为工步不良率和工步报废率。

实施例1

本发明提供的实施例1为本发明提供的一种工人作业工步规范识别判定与指导方法的实施例，该实施例包括：

步骤1，获取工人进行标准作业的视频，根据视频帧确定标准作业对应的监控区域的图像的特征值的阈值范围。

具体的，可以由资深操作人员在产线上按照规程完成规范工步操作，作业包括装配、检测以及喷涂等，工艺工程师选定作业(装配、检测、喷涂等)区域作为监控区域，并进行视频的录制后播放，定义标准作业和无效作业的区别后，获取计算工步对应的阈值的参数，根据该区别和参数确定标准作业对应的监控区域的图像的特征值的阈值。

该参数包括：当前产品的类型、型号、所在的工序、该工序所有的工步、各个工步对应的标准时长、作业正常提示信息和作业异常提示信息。

具体测试过程中，观察计算结果，通过结果不断修改验算得到合适的算法和参数。定义报警信息、评价信息和提示信息，并观察定义后的结果。

步骤2，获取实时的工人作业的视频，判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过该阈值。

实际操作中，获取摄像头采集的视频流并逐帧读取，如果能获取到视频流的帧，则进行下一步处理，若获取不到，则应进行异常提示,并中断检测。

具体的，获取实时的工人作业的视频后，判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过所述阈值之前，先判定是否满足触发检测识别条件，步骤1中获取计算工步对应的阈值的参数还包括触发检测时间t1，判断是否满足触发检测识别条件的过程具体包括：

采用机器视觉算法分析模块对获取的实时视频流进行识别分析，在当前监控区域识别是否有人(人手或者臂膀)在动作并且动作时间超过设定的触发检测时间t1。

触发检测识别条件后进行工步规范识别判定，同时记录视频每一帧作业对象的运动轨迹，留作后续分析比对。

优选的，本发明提供的一个实施例中，步骤1中获取计算工步对应的阈值的参数还包括背景图像，步骤1和步骤2中的图像的特征值可以为与背景图像之间的区域相似度，该步骤2中判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过该阈值的过程可以包括：

步骤201，在视频帧中选择当前工步的监控区域的坐标范围。

步骤202，调用开源算法库，将获取的视频帧转为灰度图像，计算监控区域与背景图像之间的余弦相似度s。

步骤203，判断余弦相似度s超过步骤1中确定的阈值时，统计余弦相似度s超过该阈值的持续时间t2为该工步的实际完成时间。

优选的，本发明提供的另一个实施例中，步骤1中获取计算工步对应的阈值的参数还包括检测区域面积area，工艺工程师观察训练多个作业视频，来捕捉该检测区域，步骤1和步骤2中的图像的特征值可以为特征颜色区域占比，该特征颜色为作业工人作业时的运动部分携带的颜色，例如可以为手部手套的颜色(白色)，检测区域面积为特征颜色的像素点轮廓最大包络圆面积area，该步骤2中判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过该阈值的过程可以包括：

步骤201′,在视频帧中选择当前工步的检测区域的坐标范围。

步骤202′，将获取的视频帧通过颜色空间转换函数从RGB模型转化为HSV模型，利用HSV颜色空间对特征颜色进行提取，并通过图像差运算进行运动分析去除图像中的非特征颜色背景。

步骤203′，计算检测区域中特征颜色点的个数n，计算敏感度m＝n/area。

步骤204′，敏感度m超过步骤1中确定的阈值时，判断敏感度m超过该阈值的持续时间是否超过触发检测时间t1，是，执行步骤205′，否，计时清零。

步骤205′，统计敏感度m超过该阈值的持续时间t2为该工步的实际完成时间。

步骤3，根据特征值是否超过该阈值进行相应的工步提示和/或信息提示。

步骤2中根据判断特征值是否超过该阈值判断是否完成对应工步后，若判断完成该工步，提示工人作业的下一工步区域，通过背景图上指示已完成、未完成、待完成工步区域，若检测到当前工步完成但未按指示进入下一工步(例如上一工步完成，3秒后还未进入下一工步)，则进行报警提醒。若判定为异常作业，则进行异常提醒。

客户端支持查看监控视频回放，找出出错点；若按规范操作，则应监控下一工步区域，并在显示屏将光标提示到该区域，工人可根据提示操作；依此循环。

进一步的，步骤3之后还包括：

步骤4，输出每一个工步的完成时间以及时间戳，绘制监控对象轨迹曲线,实时保存视频流，留作后续分析及查看。

实施例2

本发明提供的实施例2为本发明提供的一种工人作业工步规范识别判定与指导系统的实施例，如图2所示为本发明提供的一种工人作业工步规范识别判定与指导系统的实施例的结构框图，由图2可知，本发明提供的一种工人作业工步规范识别判定与指导系统的实施例包括视频流接收模块1、客户端配置器模块2、视频流分析模块3、工步引导客户端4和主控机5。视频流接收模块1、客户端配置器模块2、视频流分析模块3和工步引导客户端4分别与主控机5通信连接。

视频流接收模块1，用于获取工人进行标准作业的视频以及实时的工人作业的视频，并将视频发送给主控机5。

该视频流接收模块1可以为工业相机。

客户端配置器模块2，用于在主控机5的控制下根据视频帧确定标准作业对应的监控区域的图像的特征值的阈值。

视频流分析模块3，判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过该阈值。

工步引导客户端4，根据特征值是否超过该阈值进行相应的工步提示和/或信息提示。

优选的，该系统还可以包括报警装置，工步引导客户端4进行相应的工步提示和/或信息提示时可以通过该报警装置进行报警。

需要说明的是，本发明实施例提供的系统，具体执行上述各实施例中的方法，具体详见上述各方法实施例，本发明实施例对此不再进行赘述。

如图3所示为本发明提供的一种工人作业工步规范识别判定与指导系统的实施例的操作流程图，由图2和图3可知，系统开机时和/或固定时刻加载服务器上的工步配置信息(所有机型)，用于后续工步识别比对用。根据制品的机型加载相应算法和参数，客户端进行判断，如果该机型无相应的工步配置信息，自动保留本次作业视频供服务器使用，如果有则转向算法分析模块进行检测分析计算系统取多个样本平均值给出推荐范围，工艺人员根据推荐值确定敏感度阈值。

借助工业相机、视频实时分析、图形化工步引导、异常警报等装置和技术，实现一套可复制、可扩展、可用性强的一套智能工步引导系统。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种工人作业工步规范识别判定与指导方法，其特征在于，所述方法包括：

步骤1，获取工人进行标准作业的视频，根据视频帧确定所述标准作业对应的监控区域的图像的特征值的阈值；

步骤2，获取实时的工人作业的视频，判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过所述阈值；

步骤3，根据所述特征值是否超过所述阈值进行相应的工步提示和/或信息提示；

所述步骤1中获取所述标准作业的视频后，定义所述标准作业和无效作业的区别，获取计算工步对应的阈值的参数，根据所述区别和所述参数确定所述标准作业对应的监控区域的图像的特征值的阈值；

所述步骤1中获取的所述参数还包括检测区域面积area；

所述步骤1和所述步骤2中的所述图像的特征值为特征颜色区域占比，所述特征颜色为所述作业工人作业时的运动部分携带的颜色，所述检测区域面积为所述特征颜色的像素点轮廓最大包络圆面积；

所述步骤2中判断实时的工人作业的所述视频帧中所述监控区域的所述图像的特征值是否超过所述阈值的过程包括：

步骤201′,在所述视频帧中选择当前工步的检测区域的坐标范围；

步骤202′，将获取的所述视频帧通过颜色空间转换函数从RGB模型转化为HSV模型，利用HSV颜色空间对所述特征颜色进行提取，并通过图像差运算进行运动分析去除图像中的非特征颜色背景；

步骤203′，计算所述检测区域中特征颜色点的个数n，计算敏感度m＝n/area；

步骤204′，所述敏感度m超过所述步骤1中确定的所述阈值时，判断所述敏感度m超过所述阈值的持续时间是否超过设定的触发检测时间t1，是，执行步骤205′，否，计时清零；

步骤205′，统计所述敏感度m超过所述阈值的持续时间t2为所述工步的实际完成时间。

2.根据权利要求1所述的方法，其特征在于，所述参数包括：当前产品的类型、型号、所在的工序、所述工序所有的工步、各个所述工步对应的标准时长、作业正常提示信息和作业异常提示信息。

3.根据权利要求1所述的方法，其特征在于，所述步骤1中获取的所述参数还包括触发检测时间t1，所述步骤2中判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过所述阈值之前，先判定是否满足触发检测识别条件，包括：

采用机器视觉算法分析模块对获取的实时视频流进行识别分析，在当前监控区域识别是否有人在动作并且动作时间超过设定的所述触发检测时间t1。

4.根据权利要求1所述的方法，其特征在于，所述步骤1中获取的所述参数还包括背景图像；

所述步骤1和所述步骤2中的所述图像的特征值为与所述背景图像之间的区域相似度。

5.根据权利要求4所述的方法，其特征在于，所述步骤2中判断实时的工人作业的所述视频帧中所述监控区域的所述图像的特征值是否超过所述阈值的过程包括：

步骤201，在所述视频帧中选择当前工步的所述监控区域的坐标范围；

步骤202，调用开源算法库，将获取的所述视频帧转为灰度图像，计算所述监控区域与所述背景图像之间的余弦相似度s；

步骤203，判断所述余弦相似度s超过所述步骤1中确定的所述阈值时，统计所述余弦相似度s超过所述阈值的持续时间t2为所述工步的实际完成时间。

6.根据权利要求1所述的方法，其特征在于，所述步骤3包括：

若判断完成该工步，提示工人作业的下一工步区域，通过背景图上指示已完成、未完成、待完成工步区域，若检测到当前工步完成但未按指示进入下一工步，则进行报警提醒；

若判定为异常作业，则进行异常提醒。

7.一种工人作业工步规范识别判定与指导系统，其特征在于，所述系统包括：视频流接收模块、客户端配置器模块、视频流分析模块、工步引导客户端和主控机；所述视频流接收模块、客户端配置器模块、视频流分析模块和工步引导客户端分别与主控机通信连接；

所述视频流接收模块，用于获取工人进行标准作业的视频以及实时的工人作业的视频，并将所述视频发送给所述主控机；

所述客户端配置器模块，用于在所述主控机的控制下根据所述视频帧确定所述标准作业对应的监控区域的图像的特征值的阈值；

所述视频流分析模块，判断实时的工人作业的视频帧中监控区域的图像的特征值是否超过所述阈值；

所述工步引导客户端，根据所述特征值是否超过所述阈值进行相应的工步提示和/或信息提示；

所述视频流接收模块获取所述标准作业的视频后，定义所述标准作业和无效作业的区别，获取计算工步对应的阈值的参数，根据所述区别和所述参数确定所述标准作业对应的监控区域的图像的特征值的阈值；

所述视频流接收模块获取的所述参数还包括检测区域面积area；

所述视频流接收模块和所述客户端配置器模块中的所述图像的特征值为特征颜色区域占比，所述特征颜色为所述作业工人作业时的运动部分携带的颜色，所述检测区域面积为所述特征颜色的像素点轮廓最大包络圆面积；

所述客户端配置器模块判断实时的工人作业的所述视频帧中所述监控区域的所述图像的特征值是否超过所述阈值的过程包括：

步骤201′,在所述视频帧中选择当前工步的检测区域的坐标范围；

步骤202′，将获取的所述视频帧通过颜色空间转换函数从RGB模型转化为HSV模型，利用HSV颜色空间对所述特征颜色进行提取，并通过图像差运算进行运动分析去除图像中的非特征颜色背景；

步骤203′，计算所述检测区域中特征颜色点的个数n，计算敏感度m＝n/area；

步骤204′，所述敏感度m超过所述步骤1中确定的所述阈值时，判断所述敏感度m超过所述阈值的持续时间是否超过设定的触发检测时间t1，是，执行步骤205′，否，计时清零；

步骤205′，统计所述敏感度m超过所述阈值的持续时间t2为所述工步的实际完成时间。

Images