CN111881733B - 一种工人作业工步规范视觉识别判定与指导方法和系统 - Google Patents
一种工人作业工步规范视觉识别判定与指导方法和系统 Download PDFInfo
- Publication number
- CN111881733B CN111881733B CN202010556196.8A CN202010556196A CN111881733B CN 111881733 B CN111881733 B CN 111881733B CN 202010556196 A CN202010556196 A CN 202010556196A CN 111881733 B CN111881733 B CN 111881733B
- Authority
- CN
- China
- Prior art keywords
- standard
- human hand
- worker
- track sequence
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 230000000007 visual effect Effects 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 20
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 17
- 238000012545 processing Methods 0.000 abstract description 12
- 230000002950 deficient Effects 0.000 abstract description 8
- 238000013461 design Methods 0.000 abstract description 5
- 238000012549 training Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Factory Administration (AREA)
Abstract
本发明实施例提供一种工人作业工步规范视觉识别判定与指导方法和装置，通过视频监控和工步提示来进行作业指导，有效防范作业出错问题，提升良品率；可以通过在专用的培训系统不断进行标准工步对比来建立新工人的良好加工习惯；将工艺设计中传统的工步描述(工步定义、工步描述和零部件加工位置等图片)深入到了可被标准的层次；基于智能工步系统，现有制造生产的工艺质量管理和生产指标都将进行重新定义和分解深化。如工序不良率、工序报废率等指标都将演变为工步不良率和工步报废率。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种工人作业工步规范视觉识别判定与指导方法和装置。
背景技术
传统上车间生产作业工人都是依据纸质作业指导书来进行作业，但是传统纸质指导书的问题是不能察觉每一个工步是否按照规范作业，也不能够直观的指示工人如何作业。同时由于作业的复杂度，对于作业人员的操作技能、注意力等提出了较高的要求，工人在作业过程中会出现操作不熟练、工步错乱等问题，不但会影响工作效率，降低产品质量，甚至会出现人工伤害事故，因而需要有一套指导工人作业的工步引导及防范系统，防止作业遗漏和错误。
发明内容
本发明实施例提供一种工人作业工步规范视觉识别判定与指导方法和装置，通过视频监控和工步提示来进行作业指导，有效防范作业出错问题，提升良品率。
第一方面，本发明实施例提供一种工人作业工步规范视觉识别判定与指导方法，包括：
获取标准作业流程的标准人手轨迹序列及工步配置信息，实时捕捉工人作业的视频流，以获取工人每一次作业的实际人手轨迹序列；
对比所述标准人手轨迹序列和所述实际人手轨迹序列的相似性，若判断获知相似性在预设范围内，则基于所述工步配置信息进行相应的工步提示和信息提示。
作为优选的，若判断获知当前机型无相应的工步配置信息，则自动保存本次作业视频，以供后续实际作业监测调用比对。
作为优选的，获取标准作业流程的标准人手轨迹序列，具体包括：
获取标准作业的视频流，逐帧读取所述视频流；
提取所述视频流中包含人手的图片，并获取图片中人手的位置；
将人手中心点位置的坐标组序列作为标准人手轨迹序列，保存至本地文件夹，以便后续实际作业监测调用比对。
作为优选的，提取所述视频流中包含人手的图片，并获取图片中人手的位置，具体包括：
将人手与背景进行对比度强化处理，使每一帧图片二值化；
将每一帧的上一帧作为背景，记录下来；同时更新先前得到的背景的权重，将最新的一帧背景的权重设为w，当前各帧累加的背景权重为1-w；将当前帧与背景做逻辑运算，将背景从当前帧中去除；
基于工人的作业区间，将检测区间从整个图片中抽取出；
查找检测区间中的等高线并累积，取等高线的中心作为人手的位置。
作为优选的，查找检测区间中的等高线并累积，取等高线的中心作为人手的位置，具体包括：
筛选个数大于第一阈值的等高线，若没有则认为当前帧中没有人手，若有则累积提取的等高线，找出等高线在x轴和y轴上的范围；
若在任何一个方向上的范围不大于第二阈值，则判断获知当前帧中只有一只人手，取等高线的中心作为人手的位置；
若在任何一个方向上的范围大于第二阈值，则基于聚类算法除去当前帧中非人手因素造成的异类点，并取等高线的中心作为人手的位置。
作为优选的，实时捕捉工人作业的视频流前，还包括：
基于当前产品的作业区域，产品的类型、型号，所在的工序，作业区域内的标准作业轨迹序列，以及每个工步对应的标准作业轨迹序列及其方差得到当前工步的算法参数；所述工序包括工步，每个工步对应的标准时长，正常提示信息和异常提示信息。
作为优选的，对比所述标准人手轨迹序列和所述实际人手轨迹序列的相似性，具体包括：
若判断获知进入工步开始计时，则开始对比该工步内部的轨迹序列相似性；
每次取出m帧的轨迹，与标准人手轨迹序列上m帧的记录计算方差，从当前所对应的帧数的前后m帧中去遍历，每次后移1帧，记录下最大的方差；如果方差大于预设方差阈值f，则判断此时的轨迹偏离了正确操作路线。
第二方面，本发明实施例提供一种工人作业工步规范视觉识别判定与指导装置，包括：
第一模块，获取标准作业流程的标准人手轨迹序列及工步配置信息，实时捕捉工人作业的视频流，以获取工人每一次作业的实际人手轨迹序列；
第二模块，对比所述标准人手轨迹序列和所述实际人手轨迹序列的相似性，若判断获知相似性在预设范围内，则基于所述工步配置信息进行相应的工步提示和信息提示。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述工人作业工步规范视觉识别判定与指导方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述工人作业工步规范视觉识别判定与指导方法的步骤。
本发明实施例提供的一种工人作业工步规范视觉识别判定与指导方法和装置，通过视频监控和工步提示来进行作业指导，有效防范作业出错问题，提升良品率；可以通过在专用的培训系统不断进行标准工步对比来建立新工人的良好加工习惯；将工艺设计中传统的工步描述（工步定义、工步描述和零部件加工位置等图片）深入到了可被标准的层次；基于智能工步系统，现有制造生产的工艺质量管理和生产指标都将进行重新定义和分解深化。如工序不良率、工序报废率等指标都将演变为工步不良率和工步报废率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的工人作业工步规范视觉识别判定与指导方法流程框图；
图2为根据本发明实施例的工步定义流程框图；
图3为根据本发明实施例的工人作业工步规范视觉识别判定与指导方法的实现系统组成框图；
图4为根据本发明实施例的视觉识别判定与指导流程框图；
图5为根据本发明实施例的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
传统上车间生产作业工人都是依据纸质作业指导书来进行作业，但是传统纸质指导书的问题是不能察觉每一个工步是否按照规范作业，也不能够直观的指示工人如何作业。同时由于作业的复杂度，对于作业人员的操作技能、注意力等提出了较高的要求，工人在作业过程中会出现操作不熟练、工步错乱等问题，不但会影响工作效率，降低产品质量，甚至会出现人工伤害事故，因而需要有一套指导工人作业的工步引导及防范系统，防止作业遗漏和错误。
因此，本发明实施例通过视频监控和工步提示来进行作业指导，有效防范作业出错问题，提升良品率；可以通过在专用的培训系统不断进行标准工步对比来建立新工人的良好加工习惯；将工艺设计中传统的工步描述（工步定义、工步描述和零部件加工位置等图片）深入到了可被标准的层次；基于智能工步系统，现有制造生产的工艺质量管理和生产指标都将进行重新定义和分解深化。如工序不良率、工序报废率等指标都将演变为工步不良率和工步报废率。以下将通过多个实施例进行展开说明和介绍。
图1至图4为本发明实施例提供一种工人作业工步规范视觉识别判定与指导方法，包括：
获取标准作业流程的标准人手轨迹序列及工步配置信息，实时捕捉工人作业的视频流，以获取工人每一次作业的实际人手轨迹序列；
对比所述标准人手轨迹序列和所述实际人手轨迹序列的相似性，若判断获知相似性在预设范围内，则基于所述工步配置信息进行相应的工步提示和信息提示。
在本实施例中，作为一种优选的实施方式，主要包括规范、识别、判断和提醒四个步骤，通过规范标准人手轨迹序列及工步配置信息，捕捉工人作业的视频流，识别工人每一次作业的实际人手轨迹序列，根据预先设定好的阈值参数，对比所述标准人手轨迹序列和所述实际人手轨迹序列的相似性，若判断获知相似性在预设范围内，算法分析模块判定操作工是否在进行规范作业；如果未按规范进行操作，则应该进行异常提醒，若按规范操作，则应监控下一工步区域，并在显示屏将光标提示到该区域，工人可根据提示操作；依此循环。
步骤1，规范
由资深操作人员按规程完成规范操作，服务器端录制视频，工艺工程师在配置管理器页面通过播放视频选定规范参数，并配置好算法建模所需参数；
步骤2，识别
工艺工程师选定的作业（装配、检测、喷涂等）区域作为监控区域，采用机器视觉算法分析模块通过摄像头获取实时视频流进行识别分析，在当前工步区域识别是否有人（人手或者臂膀）在动作，触发检测识别条件后转步骤3进行判定，同时记录视频每一帧作业对象的运动轨迹，留作后续分析比对；
步骤3，判定
根据预先设定好的阈值参数，算法分析模块判定操作工是否在进行规范作业，并录制视频，当判定为合规作业时，转向步骤4引导至工步建模定义的下一作业区域进行监控，若判定为异常作业，则转向步骤4进行异常提醒；
步骤4，提醒
如果未按规范进行操作，则应该进行异常提醒，判定误差作业，客户端支持查看监控视频回放，找出出错点；若按规范操作，则应监控下一工步区域，并在显示屏将光标提示到该区域，工人可根据提示操作；依此循环。
在本实施例中，通过视频监控和工步提示来进行作业指导，有效防范作业出错问题，提升良品率；可以通过在专用的培训系统不断进行标准工步对比来建立新工人的良好加工习惯；将工艺设计中传统的工步描述（工步定义、工步描述和零部件加工位置等图片）深入到了可被标准的层次；基于智能工步系统，现有制造生产的工艺质量管理和生产指标都将进行重新定义和分解深化。如工序不良率、工序报废率等指标都将演变为工步不良率和工步报废率；借助工业相机、视频实时分析、图形化工步引导、异常警报等装置和技术，实现一套可复制、可扩展、可用性强的一套智能工步引导。
在上述实施例的基础上，在需要对对应工序的相应机型的工步检测方法进行定义时，其工作流程如图 2所示：
（1）对于工件进行标准作业（装配、检测、喷涂），客户端录制加工视频；
（2）通过配置服务器获取工序的录制视频并进行播放；
（3）经过算法使用培训后拥有配置资质的工艺设计人员利用算法基础知识分析各个作业视频，估算出标准作业和无效作业之间的区别；
（4）提取标准作业视频的标准人手轨迹序列；
（5）定义算法参数，并观察计算结果，通过结果不断修改验算得到合适的算法和参数；
（6）定义报警信息、评价信息和提示信息，并观察定义后的结果；
（7）客户端在开机时或者固定时刻获取本工序的工步配置信息以及标准作业视频的人手轨迹序列信息；
在上述实施例的基础上，若判断获知当前机型无相应的工步配置信息，则自动保存本次作业视频，以供后续实际作业监测调用比对。
在本实施例中，作为一种优选的实施方式，如图3中所示，本实施例中可以通过工业相机获取作业区域的作业视频，主控机包括视频流分析模块、工步引导客户端，工步建模配置器，通过主控机进行工人作业工步规范视觉识别判定与指导算法的实现。
在本实施例中，作为一种优选的实施方式，根据制品的机型加载相应算法和参数，客户端进行判断，如果该机型无相应的工步配置信息，自动保留本次作业视频供服务器使用，如果有则转向算法分析模块进行检测分析计算，如图4中所示。
（1）开机时和/或固定时刻加载服务器上的工步配置信息（所有机型），用于后续工步识别比对用。
（2）客户端实时获取摄像头捕捉的视频流，缓存每次工人的作业视频信息，并保存工人每一次作业的人手轨迹序列信息。
（3）根据制品的机型加载相应算法和参数，客户端进行判断，如果该机型无相应的工步配置信息，自动保留本次作业视频供服务器使用，如果有则转向算法分析模块进行检测分析计算
（4）自动化实时的利用工步配置信息以及人手轨迹序列信息对视频进行检测分析计算，并给出相应的工步提示和信息提示。
（5）如果工人作业符合规范，客户端则继续引导下一工作区域；若果不符合规范，算法分析模块则发送消息至客户端进行报警提醒
在上述各实施例的基础上，获取标准作业流程的标准人手轨迹序列，具体包括：
获取标准作业的视频流，逐帧读取所述视频流；
提取所述视频流中包含人手的图片，并获取图片中人手的位置；
将人手中心点位置的坐标组序列作为标准人手轨迹序列，保存至本地文件夹，以便后续实际作业监测调用比对。
在上述各实施例的基础上，提取所述视频流中包含人手的图片，并获取图片中人手的位置，具体包括：
将人手与背景进行对比度强化处理，使每一帧图片二值化；
将每一帧的上一帧作为背景，记录下来；同时更新先前得到的背景的权重，将最新的一帧背景的权重设为w，当前各帧累加的背景权重为1-w；将当前帧与背景做逻辑运算，将背景从当前帧中去除；
基于工人的作业区间，将检测区间从整个图片中抽取出；
查找检测区间中的等高线并累积，取等高线的中心作为人手的位置。
在上述各实施例的基础上，查找检测区间中的等高线并累积，取等高线的中心作为人手的位置，具体包括：
筛选个数大于第一阈值的等高线，若没有则认为当前帧中没有人手，若有则累积提取的等高线，找出等高线在x轴和y轴上的范围；
若在任何一个方向上的范围不大于第二阈值，则判断获知当前帧中只有一只人手，取等高线的中心作为人手的位置；
若在任何一个防线上的范围大于第二阈值，则基于聚类算法除去当前帧中非人手因素造成的异类点，并取等高线的中心作为人手的位置。
在本实施例中，作为一种优选的实施方式，提取作业视频标准人手轨迹序列步骤：
（1）获取标准作业的视频流，逐帧读取；
（2）将目标检测对象（如手）与背景的对比度强化，最终让图片二值化，即图片的数值矩阵中只有0和1；
（3）将每一帧的上一帧作为背景，记录下来。同时更新之前得到的背景的权重，将最新的一帧背景的权重设为w（例如w取0.5），而之前所有累加的背景权重，合起来为1-w。然后用目前要检测的这一帧与背景做一个逻辑运算，将背景去从这一帧中去掉；
（4）根据工人的作业区间，将主要的检测区间从整个图片中抽取出来；
（5）在抽取的区间中找到等高线，即矩阵中所有数值为1的地方的边缘。由于人手肯定具有一定的大小，因此去筛选出个数大于第一阈值h（例如h可取50）的等高线。如果没有，则认为这一帧中没有人手，继续下一帧的运算；
（6）将提取出来的等高线累积起来，找出等高线在x轴和y轴上的范围（即最小值到最大值的范围）。如果任何一个方向上的范围大于第二阈值a（例如a可取150），则认为图片中可能有两只手，否则认为只有一只手；
（7）如果认为图片中只有1只手，则取等高线的中心（包括x和y的坐标）做为手的位置。如果认为图片中可能有2只手，则用聚类算法（kmeans），将所有的点分成两类，分别计算出这两类的x和y的取值范围，如果x和y的取值范围都小于b（例如b可取30），则认为这些点是图片中其他因素造成的，而不是人手（由于有时候有反光的缘故，有些地方与背景的对比度也非常高）。将这些其他因素去除后，还是取所有等高线的中心作为手的位置；
（8）将标准的操作轨迹序列用如上的方法记录下来，轨迹序列为手中心点位置的坐标组序列，将序列保存至本地文件夹，便于后续实际作业监测调用比对。
在上述各实施例的基础上，实时捕捉工人作业的视频流前，还包括：
基于当前产品的作业区域，产品的类型、型号，所在的工序，作业区域内的标准作业轨迹序列，以及每个工步对应的标准作业轨迹序列及其方差得到当前工步的算法参数；所述工序包括工步，每个工步对应的标准时长，正常提示信息和异常提示信息。
在本实施例中，作为一种优选的实施方式，上述工人作业工步规范视觉识别判定与指导的算法分析模块步骤：
步骤1获取当前工步所需算法参数
算法参数包括当前产品的作业区域，产品的类型，型号，所在的工序，该工序所有的工步，每个工步对应的标准时长，正常和异常的提示信息；另外算法参数还包括作业区域内的标准人手轨迹序列；每个工步对应的轨迹序列及其方差f；
步骤2获取摄像头采集的视频流，逐帧读取
如果能获取到视频流的帧，则进行下一步处理，若获取不到，则应进行异常提示，并中断检测；
步骤3 提取当前作业视频的轨迹序列
按照标准轨迹提取步骤不断地提取当前作业视频的人手轨迹序列；
在上述各实施例的基础上，对比所述标准人手轨迹序列和所述实际人手轨迹序列的相似性，具体包括：
若判断获知进入工步开始计时，则开始对比该工步内部的轨迹序列相似性；
每次取出m帧的轨迹，与标准人手轨迹序列上m帧的记录计算方差，从当前所对应的帧数的前后m帧中去遍历，每次后移1帧，记录下最大的方差；如果方差大于预设方差阈值f，则判断此时的轨迹偏离了正确操作路线。
在本实施例中，作为一种优选的实施方式，还包括：
步骤4 通过轨迹序列阈值条件及轨迹序列方差进行工步识别监控
轨迹序列阈值条件包括：触发检测的帧数s1，工步实际完成的帧数s2；
如果人手轨迹中心点处于当前工步区域内，则开始记录中心点处于工步区域内的帧数s；若s小于触发检测的帧数s1，则计数清零，重新计算；若s大于触发检测的帧数s1，则持续记录帧数s3，直到轨迹中心点离开工步区域，则停止计数；则工步的实际完成时间为t=帧数s3/帧率e；
与此同时，当判定进入工步开始计时后，可以开始对比该工步内部的轨迹序列相似性。比对具体方法如下所示，若轨迹序列方差大于设定阈值，则认为，此时的动作出现偏差，判断当前出错所在的工步检测区域，报警并于客户端上指示；
轨迹序列相似性判定方法为;
每次取出m（例如m可取30）帧的轨迹，与标准的轨迹曲线上m帧的记录计算方差，从目前所对应的帧数的前后m帧中去遍历，每次后移1帧，记录下最大的方差。如果方差大于f（例如f可取20000），则认为此时的轨迹偏离了正确操作路线；
步骤5 输出每一个工步的完成时间，时间戳，绘制监控对象轨迹曲线
步骤6 实时保存视频流及轨迹序列，留作后续分析及查看。
本发明实施例还提供一种工人作业工步规范视觉识别判定与指导装置，基于上述各实施例中的工人作业工步规范视觉识别判定与指导方法，包括：
第一模块，获取标准作业流程的标准人手轨迹序列及工步配置信息，实时捕捉工人作业的视频流，以获取工人每一次作业的实际人手轨迹序列；
第二模块，对比所述标准人手轨迹序列和所述实际人手轨迹序列的相似性，若判断获知相似性在预设范围内，则基于所述工步配置信息进行相应的工步提示和信息提示。
图5示例了一种实体结构示意图，如图5所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：
获取标准作业流程的标准人手轨迹序列及工步配置信息，实时捕捉工人作业的视频流，以获取工人每一次作业的实际人手轨迹序列；
对比所述标准人手轨迹序列和所述实际人手轨迹序列的相似性，若判断获知相似性在预设范围内，则基于所述工步配置信息进行相应的工步提示和信息提示。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述工人作业工步规范视觉识别判定与指导方法的步骤。例如包括：
获取标准作业流程的标准人手轨迹序列及工步配置信息，实时捕捉工人作业的视频流，以获取工人每一次作业的实际人手轨迹序列；
对比所述标准人手轨迹序列和所述实际人手轨迹序列的相似性，若判断获知相似性在预设范围内，则基于所述工步配置信息进行相应的工步提示和信息提示。
综上所述，本发明实施例提供的一种工人作业工步规范视觉识别判定与指导方法和装置，通过视频监控和工步提示来进行作业指导，有效防范作业出错问题，提升良品率；可以通过在专用的培训系统不断进行标准工步对比来建立新工人的良好加工习惯；将工艺设计中传统的工步描述（工步定义、工步描述和零部件加工位置等图片）深入到了可被标准的层次；基于智能工步系统，现有制造生产的工艺质量管理和生产指标都将进行重新定义和分解深化。如工序不良率、工序报废率等指标都将演变为工步不良率和工步报废率。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种工人作业工步规范视觉识别判定与指导方法，其特征在于，包括：
获取标准作业流程的标准人手轨迹序列及工步配置信息，实时捕捉工人作业的视频流，以获取工人每一次作业的实际人手轨迹序列；
对比所述标准人手轨迹序列和所述实际人手轨迹序列的相似性，若判断获知相似性在预设范围内，则基于所述工步配置信息进行相应的工步提示和信息提示；
所述获取标准作业流程的标准人手轨迹序列，具体包括：
获取标准作业的视频流，逐帧读取所述视频流；
提取所述视频流中包含人手的图片，并获取图片中人手的位置；
将人手中心点位置的坐标组序列作为标准人手轨迹序列，保存至本地文件夹，以便后续实际作业监测调用比对；
所述提取所述视频流中包含人手的图片，并获取图片中人手的位置，具体包括：
将人手与背景进行对比度强化处理，使每一帧图片二值化，即图片的数据矩阵中只有0和1；
将每一帧的上一帧作为背景，记录下来；同时更新先前得到的背景的权重，将最新的一帧背景的权重设为w，当前各帧累加的背景权重为1-w；将当前帧与背景做逻辑运算，将背景从当前帧中去除；
基于工人的作业区间，将检测区间从整个图片中抽取出；
在抽取的区间中找到等高线，即数据矩阵中所有数值为1的地方的边缘，查找检测区间中的等高线并累积，取等高线的中心作为人手的位置；
所述查找检测区间中的等高线并累积，取等高线的中心作为人手的位置，具体包括：
筛选个数大于第一阈值的等高线，若没有则认为当前帧中没有人手，若有则累积提取的等高线，找出等高线在x轴和y轴上的范围；
若在任何一个方向上的范围不大于第二阈值，则判断获知当前帧中只有一只人手，取等高线的中心作为人手的位置；
若在任何一个方向上的范围大于第二阈值，则基于聚类算法除去当前帧中非人手因素造成的异类点，并取等高线的中心作为人手的位置，其中，利用聚类算法将所有的点分为两类，分别计算出两类点的x和y的取值范围，如果x和y的取值范围都小于第三阈值，则确定该类点为异类点。
2.根据权利要求1所述的工人作业工步规范视觉识别判定与指导方法，其特征在于，若判断获知当前机型无相应的工步配置信息，则自动保存本次作业视频，以供后续实际作业监测调用比对。
3.根据权利要求1所述的工人作业工步规范视觉识别判定与指导方法，其特征在于，实时捕捉工人作业的视频流前，还包括：
基于当前产品的作业区域，产品的类型、型号，所在的工序，作业区域内的标准作业轨迹序列，以及每个工步对应的标准作业轨迹序列及其方差得到当前工步的算法参数；所述工序包括工步，每个工步对应的标准时长，正常提示信息和异常提示信息。
4.根据权利要求1所述的工人作业工步规范视觉识别判定与指导方法，其特征在于，对比所述标准人手轨迹序列和所述实际人手轨迹序列的相似性，具体包括：
若判断获知进入工步开始计时，则开始对比该工步内部的轨迹序列相似性；
每次取出m帧的轨迹，与标准人手轨迹序列上m帧的记录计算方差，从当前所对应的帧数的前后m帧中去遍历，每次后移1帧，记录下最大的方差；如果方差大于预设方差阈值f，则判断此时的轨迹偏离了正确操作路线。
5.一种工人作业工步规范视觉识别判定与指导装置，能够实现权利要求1~4任一项所述的工人作业工步规范视觉识别判定与指导方法，其特征在于，包括：
第一模块，获取标准作业流程的标准人手轨迹序列及工步配置信息，实时捕捉工人作业的视频流，以获取工人每一次作业的实际人手轨迹序列；
第二模块，对比所述标准人手轨迹序列和所述实际人手轨迹序列的相似性，若判断获知相似性在预设范围内，则基于所述工步配置信息进行相应的工步提示和信息提示。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述工人作业工步规范视觉识别判定与指导方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述工人作业工步规范视觉识别判定与指导方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010556196.8A CN111881733B (zh) | 2020-06-17 | 2020-06-17 | 一种工人作业工步规范视觉识别判定与指导方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010556196.8A CN111881733B (zh) | 2020-06-17 | 2020-06-17 | 一种工人作业工步规范视觉识别判定与指导方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111881733A CN111881733A (zh) | 2020-11-03 |
| CN111881733B true CN111881733B (zh) | 2023-07-21 |
Family
ID=73156790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010556196.8A Active CN111881733B (zh) | 2020-06-17 | 2020-06-17 | 一种工人作业工步规范视觉识别判定与指导方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111881733B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112754096B (zh) * | 2020-12-28 | 2024-04-09 | 北京田一科技有限公司 | 智能安全帽 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831404A (zh) * | 2012-08-15 | 2012-12-19 | 深圳先进技术研究院 | 手势检测方法及系统 |
| CN104700430A (zh) * | 2014-10-05 | 2015-06-10 | 安徽工程大学 | 机载显示器的运动检测方法 |
| CN105184824A (zh) * | 2015-09-30 | 2015-12-23 | 重庆师范大学 | 基于图像传感网的智能农业驱鸟系统和方法 |
| CN105426817A (zh) * | 2015-10-30 | 2016-03-23 | 上海集成电路研发中心有限公司 | 基于红外成像的手势位置识别装置及识别方法 |
| CN107392953A (zh) * | 2017-09-20 | 2017-11-24 | 四川长虹电器股份有限公司 | 基于等高线的深度图像识别方法 |
| CN107844772A (zh) * | 2017-11-09 | 2018-03-27 | 汕头职业技术学院 | 一种基于移动目标跟踪的机动车自动检测方法 |
| CN109409243A (zh) * | 2018-09-29 | 2019-03-01 | 江南大学 | 一种移动目标中人体视觉检测方法 |
| CN110032936A (zh) * | 2019-03-08 | 2019-07-19 | 吉林大学 | 无参数手背静脉最大圆形区域提取方法 |
| CN110738135A (zh) * | 2019-09-25 | 2020-01-31 | 艾普工华科技（武汉）有限公司 | 一种工人作业工步规范视觉识别判定与指导方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150294143A1 (en) * | 2014-04-10 | 2015-10-15 | GM Global Technology Operations LLC | Vision based monitoring system for activity sequency validation |
| WO2018157286A1 (zh) * | 2017-02-28 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 一种识别方法、设备以及可移动平台 |
-
2020
- 2020-06-17 CN CN202010556196.8A patent/CN111881733B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831404A (zh) * | 2012-08-15 | 2012-12-19 | 深圳先进技术研究院 | 手势检测方法及系统 |
| CN104700430A (zh) * | 2014-10-05 | 2015-06-10 | 安徽工程大学 | 机载显示器的运动检测方法 |
| CN105184824A (zh) * | 2015-09-30 | 2015-12-23 | 重庆师范大学 | 基于图像传感网的智能农业驱鸟系统和方法 |
| CN105426817A (zh) * | 2015-10-30 | 2016-03-23 | 上海集成电路研发中心有限公司 | 基于红外成像的手势位置识别装置及识别方法 |
| CN107392953A (zh) * | 2017-09-20 | 2017-11-24 | 四川长虹电器股份有限公司 | 基于等高线的深度图像识别方法 |
| CN107844772A (zh) * | 2017-11-09 | 2018-03-27 | 汕头职业技术学院 | 一种基于移动目标跟踪的机动车自动检测方法 |
| CN109409243A (zh) * | 2018-09-29 | 2019-03-01 | 江南大学 | 一种移动目标中人体视觉检测方法 |
| CN110032936A (zh) * | 2019-03-08 | 2019-07-19 | 吉林大学 | 无参数手背静脉最大圆形区域提取方法 |
| CN110738135A (zh) * | 2019-09-25 | 2020-01-31 | 艾普工华科技（武汉）有限公司 | 一种工人作业工步规范视觉识别判定与指导方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于三帧差法与聚类算法的目标识别方法;梁琼等;《网络安全与数据治理》(第3期);57-60 * |
| 运动目标检测与跟踪算法研究;罗毅;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第4期);I138-2663 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111881733A (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738135B (zh) | 一种工人作业工步规范视觉识别判定与指导方法及系统 | |
| CN110419048B (zh) | 用于标识所定义的对象的系统 | |
| US11651317B2 (en) | Work operation analysis system and work operation analysis method | |
| CN112016409A (zh) | 一种基于深度学习的工步规范视觉识别判定方法及系统 | |
| CN112257660B (zh) | 无效客流的去除方法、系统、设备及计算机可读存储介质 | |
| CN110717357B (zh) | 预警方法、装置、电子设备及存储介质 | |
| CN109376672A (zh) | 基于生物特征识别的目标对象定位方法及装置 | |
| RU2724785C1 (ru) | Система и способ идентификации средств индивидуальной защиты на человеке | |
| CN111652185A (zh) | 一种基于违章行为识别的安全施工方法、系统、装置及存储介质 | |
| CN111881867A (zh) | 视频分析方法及装置、电子设备 | |
| CN111666915A (zh) | 监控方法、装置、设备以及存储介质 | |
| CN111881733B (zh) | 一种工人作业工步规范视觉识别判定与指导方法和系统 | |
| CN113869137A (zh) | 事件检测方法、装置、终端设备及存储介质 | |
| CN110000705A (zh) | 一种磨机异常加工操作的检测方法、系统及相关组件 | |
| JP2021163293A (ja) | 作業分析装置及び作業分析プログラム | |
| CN116758493A (zh) | 基于图像处理的隧道施工监测方法、装置及可读存储介质 | |
| JP6978986B2 (ja) | 警報システム、警報制御装置及び警報方法 | |
| CN116229502A (zh) | 基于图像的摔倒行为识别方法及设备 | |
| CN113592427A (zh) | 工时统计方法、工时统计装置及计算机可读存储介质 | |
| CN113033239B (zh) | 一种行为检测方法及装置 | |
| CN113850147A (zh) | 基于摄像头图像的仓库非法作业鉴别的方法及系统 | |
| CN114360055A (zh) | 基于人工智能的行为检测方法、设备及存储介质 | |
| CN111325132A (zh) | 一种智能监控系统 | |
| CN113095110B (zh) | 人脸数据动态入库的方法、装置、介质及电子设备 | |
| CN118447445B (zh) | 一种基于物联网技术的货物防盗方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and system for visual recognition, judgment, and guidance of worker work step specifications Granted publication date: 20230721 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: EPIC-HUST TECHNOLOGY (WUHAN) CO.,LTD. Registration number: Y2024980024907 |