CN112016409A - 一种基于深度学习的工步规范视觉识别判定方法及系统 - Google Patents

Abstract

本发明公开一种基于深度学习的工步规范视觉识别判断方法及系统，包括获取工人进行标准作业视频，根据目标检测模型提取对应监控区域内标准作业轨迹以及将标准作业轨迹按照操作规范切分为若干工步；获取当前工人作业视频，判断监控区域内工人当前作业轨迹与标准作业轨迹是否匹配；根据匹配结果给出相应的判断结果和/或信息提示；所述系统包括视频流接收模块、客户端配置器模块、视频流分析模块、工步引导客户端和主控机；本发明实施例所述系统执行上述方法，将工人当前作业轨迹与标准作业轨迹对比，给出相应的判断结果和/或信息提示，来引导工作人员的作业流程以及对于作业遗漏和错误进行判断和规范，有效防范作业出错问题，提升良品率。

Description

一种基于深度学习的工步规范视觉识别判定方法及系统

技术领域

本发明涉及机器视觉技术领域，具体涉及一种基于深度学习的工步规范视觉识别判断方法及系统。

背景技术

随着人工智能技术的发展，在车间的生产作业中，尤其针对于人工转配的工位，最初的工人作业都是依据纸质作业指导书来进行作业的方式，传统纸质指导书不能直观的指示作业工人如何作业，而且不能察觉作业工人的每一个工步是否按照规范进行作业。因此，已经越来越不能满足现有制造生产的工艺质量管理和生产指标要求。

目前，依赖于传统机器视觉来规范操作的识别判断方法，通过判断实时工人作业的视频帧中监控区域的图像的特征值是否超过标准作业对应的监控区域图像的特征值的阈值，判断作业工人动作特征与标准模型的一致性；在图像的特征值时主要依赖于有手套颜色的识别，以及根据操作流程中人的运动的位置设定了大量的定制化参数，来配合图像处理系统对人工操作的规范化进行识别和判断。

现有技术的不足之处在于，通过机器视觉来提取采集视频图像的特征值，识别准确度不高，特别对工作场景的光线很暗或者背景与人体的肢体部位或者手套颜色相近的时候，对操作轨迹的定位容易失准，尤其对于复杂度比较高的作业，需要大量的人为调试参数去配合，对于各类场景变化的鲁棒性偏低。

发明内容

本发明针对现有技术中传统机器视觉方法提取采集视频图像的特征值，识别准确度不高的技术问题，本发明提供一种基于深度学习的工步规范视觉识别判断方法及系统。

本发明解决上述技术问题的技术方案如下：

一方面，本发明实施例提供一种基于深度学习的工步规范视觉识别判断方法，包括以下步骤：

步骤1，获取工人进行标准作业视频，根据训练好的目标检测模型提取对应监控区域内标准作业轨迹，将所述标准作业轨迹按照操作规范切分为若干工步；

步骤2，获取工人当前作业视频，判断所述监控区域内工人当前作业轨迹与所述标准作业轨迹是否匹配；

步骤3，根据匹配结果给出相应的判断结果和/或信息提示。

另一方面，本发明实施例提供一种基于深度学习的工步规范视觉识别判断系统，所述系统包括：视频流接收模块、客户端配置器模块、视频流分析模块、工步引导客户端和主控机；所述视频流接收模块、客户端配置器模块、视频流分析模块和工步引导客户端分别与主控机通信连接；

所述视频流接收模块，用于获取工人进行标准作业的视频以及工人当前作业的视频，并将所述视频发送给所述主控机；

所述客户端配置器模块，用于在所述主控机的控制下根据所述视频帧确定所述标准作业轨迹以及对所述标准作业轨迹按照规范划分为若干工步；

所述视频流分析模块，判断工人当前作业的视频帧中监控区域的当前作业轨迹与所述工步对应的标准作业轨迹是否匹配；

所述工步引导客户端，根据匹配结果进行相应的工步提示和/或信息提示。

本发明实施例提供一种基于深度学习的工步规范视觉识别判断方法及系统，通过训练好的目标检测模型提取对应监控区域内标准作业轨迹并切分为若干工步，将每一个工步对应的标准作业轨迹与工人当前作业轨迹进行匹配，根据匹配结果给出相应的判断结果和/或信息提示，来引导工作人员的作业流程以及对于作业遗漏和错误进行判断和规范，有效防范作业出错问题，提升良品率。

附图说明

图1为本发明实施例一种基于深度学习的工步规范视觉识别判断方法流程示意图；

图2为本发明实施例目标检测模型提取标准作业轨迹流程示意图；

图3为本发明实施例标准作业轨迹与当前作业轨迹匹配判断流程示意图；

图4为本发明实施例一种基于深度学习的工步规范视觉识别判断结构示意图；

附图标记：

1、视频流接收模块 2、主控机 3、客户端配置器模块

4、视频流分析模块 5、工步引导客户端。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明实施例一种基于深度学习的工步规范视觉识别判断方法流程示意图；如图1所示，包括以下步骤：

步骤1，获取工人进行标准作业视频，根据训练好的目标检测模型提取对应监控区域内标准作业轨迹，将所述标准作业轨迹按照操作规范切分为若干工步；

步骤2，获取工人当前作业视频，判断所述监控区域内工人当前作业轨迹与所述标准作业轨迹是否匹配；

步骤3，根据匹配结果给出相应的判断结果和/或信息提示。

具体地，在产线上工人对于工件进行标准作业，例如装配、检测、喷涂作业等，并采集标准作业加工视频；工艺设计人员通过配置服务器获取录制的标准作业视频并进行播放；由资深的工艺设计人员基于工艺流程对所录制的标准作业视频对应的检测区域配置检测动作相关参数；该参数包括：当前产品的类型、型号、所在的工序、该工序所有的工步、各个工步对应的标准时长、作业正常提示信息和作业异常提示信息。通过训练好的目标检测模型提取标准作业视频对应监控区域内标准作业轨迹，由工艺人员将标准轨迹根据操作规范进行工步划分；将监控区域内工人当前作业轨迹与标准作业轨迹进行匹配，并录制视频；据匹配结果给出相应的判断结果和/或信息提示；如果未按规范进行操作，则进行异常提醒，判定误差作业，并且给出错误所发生的工步或者时间段，客户端支持查看监控视频回放，找出出错点。

本发明实施例提供一种基于深度学习的工步规范视觉识别判断方法，通过训练好的目标检测模型提取对应监控区域内标准作业轨迹并切分为若干工步，将每一个工步对应的标准作业轨迹与工人当前作业轨迹进行匹配，根据匹配结果给出相应的判断结果和/或信息提示，来引导工作人员的作业流程以及对于作业遗漏和错误进行判断和规范，有效防范作业出错问题，提升良品率。

进一步地，步骤1中目标检测模型包括：

读取标准作业视频帧，按照判断的动作或者需要捕捉的肢体部位标注图片，根据所标注图片样本采用深度学习算法训练得到所述目标检测模型；具体地，对需要捕捉的人体部位，比如手或者手臂以及工具进行图片的分类标注，据标注的图片区域的分类，此方法采用基于darknet框架的yolov3模型，对近千张图片进行训练，得出有效的目标检测模型。在新的图片或者视频中能够准确地定位工作人员的肢体部位(手或者手臂)以及所使用的工具类型。

进一步地，图2为本发明实施例目标检测模型提取标准作业轨迹流程示意图；如图2所示，目标检测模型提取对应监控区域内标准作业轨迹具体包括：

步骤11，检测模型定位工作人员的肢体部位以及所使用的工具；

步骤12，获取当前肢体部位至少一个检测框的四个顶点位置坐标以及所使用的工具分类；

步骤13，以检测框的四个顶点位置坐标的中心位置表示当前轨迹位置，对当前轨迹位置追踪得到标准作业轨迹。

具体地，对于采集标准作业视频流，用目标检测模型模型对每一帧图片进行计算，获取到当前手部或者手臂(可能是1只，也可能是2只)的检测框坐标以及所使用的工具的分类。用检测框4个顶点坐标的中心位置，表示当前轨迹位置，如果获得是2只手的检测框，则分别取两个检测框的中心位置作为当前的轨迹位置，对当前轨迹位置移动过程捕捉记录，得到标准作业轨迹，根据工人的作业区域，将标准作业轨迹主要的检测区间从整个图片中抽取出来保存至本地文件夹，便于后续调用比对。

进一步地，步骤2之前还包括对当前作业轨迹的提取；当前作业轨迹的提取与所述标准作业轨迹提取方式一致。

进一步地，图3为本发明实施例标准作业轨迹与当前作业轨迹匹配判断流程示意图；如图3所示，步骤2中的判断方法包括：

步骤21，将全部工步对应的标准作业轨迹进行不同程度的缩放；

步骤22，将每一段缩放后工步对应的标准作业轨迹在所述当前作业轨迹上滑动对比；

步骤23，计算每次比对时两条轨迹在对应帧数范围内所得到的线性拟合的确定系数；

步骤24，根据确定系数判断工步对应的标准作业轨迹与当前作业轨迹是否匹配。

具体地，基于工艺人员对于标准轨迹的切分，将每一个工步对应的标准作业轨迹进行不同程度的缩放，由于不同操作工人的操作速度不同，因此将每一段轨迹在时间轴上，分别进行从1/2倍到2倍的不同的10个比例的缩放；将每一个工步对应的标准作业轨迹，在当前工人作业视频中提取的整个当前作业轨迹上以滑动窗口的形式去比对。滑动的长度设置为动态的，以标准作业轨迹中，一个工步对应的标准作业轨迹的帧数和整个当前作业轨迹的操作时间的总帧数的比例，作为动态设置的参数，将整个当前作业轨迹的总帧数乘以这个比例参数的结果作为滑动的长度，然后以一帧为滑动步长，让缩放后的工步对应的标准作业轨迹在整个当前作业轨迹范围内滑动，计算每次比对时两条轨迹按在对应帧数范围内所得到的线性拟合的确定系数(Rsquare)，根据确定系数判断工步对应的标准作业轨迹与当前作业轨迹是否匹配。

进一步地，确定系数小于设定阈值，本发明优选设定阈值为0.6；判断在当前帧数范围内工步对应的标准作业轨迹与当前作业轨迹匹配不成功；说明在该工步，工人操作不规范，操作失误；确定系数大于设定阈值，判断在当前帧数范围内工步对应的标准作业轨迹与当前作业轨迹匹配不成功，工人操作符合规范。

进一步地，滑动每一帧得到的确定系数都小于设定阈值，判断工步对应的标准作业轨迹在整个当前作业轨迹中没有匹配，即这一工步漏做；

进一步地，记录全部工步对应的标准作业轨迹的起始帧数序列，起始帧数序列为单调递增，则判断操作顺序正确；起始帧数序列非单调递增，则判断操作顺序有误；在每一次比对的过程中，记录下确定系数(Rsquare)最高的起点帧数，做为这一操作工步的起始位置。在所有的操作工步全部比对完成以后，检测记录的起始帧数序列。

本发明实施例提供一种基于深度学习的工步规范视觉识别判断方法，通过训练好的目标检测模型提取对应监控区域内标准作业轨迹并切分为若干工步，将每一个工步对应的标准作业轨迹与工人当前作业轨迹进行匹配，根据匹配结果给出相应的判断结果和/或信息提示，来引导工作人员的作业流程以及对于作业遗漏和错误进行判断和规范，有效防范作业出错问题，提升良品率；通过训练好的目标检测模型的检测框定位工人肢体部位动作以及工具类型的当前位置，绘制当前位置轨迹图，对肢体部位或者手套颜色没有依赖性，不需要大量的人为调试参数就能完成自动捕捉。

基于上述实施例，图4为本发明实施例一种基于深度学习的工步规范视觉识别判断结构示意图；如图4所示，包括：视频流接收模块1、客户端配置器模块3、视频流分析模块4、工步引导客户端5和主控机2；视频流接收模块1、客户端配置器模块3、视频流分析模块4和工步引导客户端5分别与主控机2通信连接；

视频流接收模块1，用于获取工人进行标准作业视频以及当前工人作业视频，并将标准作业视频和当前工人作业视频发送给所述主控机；

客户端配置器模块3，用于在主控机的控制下根据视频帧确定标准作业轨迹以及对所述标准作业轨迹按照规范划分为若干工步；

视频流分析模块4，判断当前工人作业的视频帧中监控区域的当前作业轨迹与所述工步对应的标准作业轨迹是否匹配；

工步引导客户端5，根据匹配结果进行相应的工步提示和/或信息提示。

具体地，视频流接收模块1为工业相机，采集标准作业视频和当前工人作业视频，将视频发送至主控机2服务器；工艺设计人员通过服务器获取工序的录制视频并进行播放；由资深的工艺设计人员基于工艺流程和所录制的视频配置检测区域和检测动作的相关参数；根据训练好的目标检测模型提取对应监控区域标准作业轨迹和工人当前作业轨迹；将标准作业轨迹按照规范切分为若干工步；工艺员定义算法参数，并观察计算结果，通过结果不断修改验算得到合适的算法和参数；工人定义报警信息、评价信息和提示信息，并观察定义后的结果。客户端配置器模块3在开机时或者固定时刻获取本工序的工步配置信息以及标准作业轨迹序列信息；客户端配置器模块3根据制品的机型加载相应算法模型和参数，如果该机型无相应的工步配置信息，自动保留本次作业视频供服务器使用，如果有则转向视频流分析模块4进行检测分析计算，如果能获取到工人当前作业视频流的帧，则进行下一步处理，若获取不到，则应进行异常提示,并中断检测；判断当前工人作业的视频帧中监控区域的当前作业轨迹与所述工步对应的标准作业轨迹是否匹配，并且记录保存；在操作完成后，工步引导客户端5根据匹配结果并给出相应的判断结果和/或信息提示，如果工人作业符合规范，则给出规范结果提示；若果不符合规范，视频流分析模块4则发送消息至工步引导客户端5进行报警提醒，并且提示不规范的类别和工步。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于深度学习的工步规范视觉识别判断方法，其特征在于，包括以下步骤：

步骤1，获取工人进行标准作业视频，根据训练好的目标检测模型提取对应监控区域内标准作业轨迹，将所述标准作业轨迹按照操作规范切分为若干工步；

步骤2，获取工人当前作业视频，判断所述监控区域内工人当前作业轨迹与所述标准作业轨迹是否匹配；

步骤3，根据匹配结果给出相应的判断结果和/或信息提示。

2.根据权利要求1所述的一种基于深度学习的工步规范视觉识别判断方法，其特征在于，所述步骤1中目标检测模型包括：

读取所述标准作业视频帧，按照判断的动作或者需要捕捉的肢体部位标注图片，根据所标注图片样本采用深度学习算法训练得到所述目标检测模型。

3.根据权利要求1或2所述的一种基于深度学习的工步规范视觉识别判断方法，其特征在于，所述目标检测模型提取对应监控区域内标准作业轨迹具体包括：

步骤11，所述检测模型定位工作人员的肢体部位以及所使用的工具；

步骤12，获取当前肢体部位至少一个检测框的四个顶点位置坐标以及所使用的工具分类；

步骤13，以所述检测框的四个顶点位置坐标的中心位置表示当前轨迹位置，对所述当前轨迹位置追踪得到所述标准作业轨迹。

4.根据权利要求1所述的一种基于深度学习的工步规范视觉识别判断方法，其特征在于，所述步骤2还包括获取工人当前作业视频后提取对应监控区域内所述当前作业轨迹；所述当前作业轨迹的提取与所述标准作业轨迹提取方式一致。

5.根据权利要求1所述的一种基于深度学习的工步规范视觉识别判断方法，其特征在于，所述步骤2中的判断方法包括：

步骤21，将全部所述工步对应的标准作业轨迹进行不同程度的缩放；

步骤22，将每一段缩放后所述工步对应的标准作业轨迹在所述当前作业轨迹上滑动对比；

步骤23，计算每次比对时两条轨迹在对应帧数范围内所得到的线性拟合的确定系数；

步骤24，根据所述确定系数判断所述工步对应的标准作业轨迹与所述当前作业轨迹是否匹配。

6.根据权利要求5所述的一种基于深度学习的工步规范视觉识别判断方法，其特征在于，所述确定系数小于设定阈值，判断在当前帧数范围内所述工步对应的标准作业轨迹与所述当前作业轨迹匹配不成立。

7.根据权利要求5所述的一种基于深度学习的工步规范视觉识别判断方法，其特征在于，滑动每一帧得到的所述确定系数都小于所述设定阈值，判断所述工步对应的标准作业轨迹在整个当前作业轨迹中没有匹配。

8.根据权利要求5所述的一种基于深度学习的工步规范视觉识别判断方法，其特征在于，记录全部所述工步对应的标准作业轨迹的起始帧数序列，所述起始帧数序列为单调递增，则判断操作顺序正确；所述起始帧数序列非单调递增，则判断操作顺序有误。

9.一种基于深度学习的工步规范视觉识别判断系统，其特征在于，包括：视频流接收模块、客户端配置器模块、视频流分析模块、工步引导客户端和主控机；所述视频流接收模块、客户端配置器模块、视频流分析模块和工步引导客户端分别与主控机通信连接；

所述视频流接收模块，用于获取工人进行标准作业的视频以及工人当前作业的视频，并将所述视频发送给所述主控机；

所述客户端配置器模块，用于在所述主控机的控制下根据所述视频帧确定所述标准作业轨迹以及对所述标准作业轨迹按照规范划分为若干工步；

所述视频流分析模块，判断工人当前作业的视频帧中监控区域的当前作业轨迹与所述工步对应的标准作业轨迹是否匹配；

所述工步引导客户端，根据匹配结果进行相应的工步提示和/或信息提示。

Images