CN111507261A - 一种基于视觉目标定位的工序操作质量监控方法 - Google Patents

一种基于视觉目标定位的工序操作质量监控方法 Download PDF

Info

Publication number
CN111507261A
CN111507261A CN202010304273.0A CN202010304273A CN111507261A CN 111507261 A CN111507261 A CN 111507261A CN 202010304273 A CN202010304273 A CN 202010304273A CN 111507261 A CN111507261 A CN 111507261A
Authority
CN
China
Prior art keywords
action behavior
process operation
cnn
video data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010304273.0A
Other languages
English (en)
Other versions
CN111507261B (zh
Inventor
李书霞
姜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xuelang Shuzhi Technology Co ltd
Original Assignee
Wuxi Xuelang Shuzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xuelang Shuzhi Technology Co ltd filed Critical Wuxi Xuelang Shuzhi Technology Co ltd
Priority to CN202010304273.0A priority Critical patent/CN111507261B/zh
Publication of CN111507261A publication Critical patent/CN111507261A/zh
Application granted granted Critical
Publication of CN111507261B publication Critical patent/CN111507261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉目标定位的工序操作质量监控方法，涉及机器视觉领域，该方法包括通过摄像头获取操作人员的工序操作视频数据，利用行为识别网络识别动作行为类别，当检测到所述动作行为类别不属于预定类别时，输出错误操作报警提示，或者，当通过预定时间段内的动作行为类别检测到操作节拍拖拉时，输出提示信息；该方法利用基于深度学习技术的动作行为识别网络识别动作行为类别，通过时间和空间上的分析可以检测是否存在错误操作以及综合评估确定是否存在操作节拍拖拉，从而给出相应的提示，起到防呆防错的效果，通过视觉监控规范工序操作质量，自动化程度高，可以有效提高产品质量和提高工作效率，减少危险事件发生。

Description

一种基于视觉目标定位的工序操作质量监控方法
技术领域
本发明涉及机器视觉领域，尤其是一种基于视觉目标定位的工序操作质量监控方法。
背景技术
目前在工厂产品加工和生产中存在大量的人工操作，人在工序操作时不可避免的会有错误发生，一个小的工序错位都可能导致生产出不良产品，最终带来很大的损失。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于视觉目标定位的工序操作质量监控方法，本发明的技术方案如下：
一种基于视觉目标定位的工序操作质量监控方法，该方法包括：
通过摄像头获取操作人员的工序操作视频数据；
将工序操作视频数据输入动作行为识别网络，动作行为识别网络检测工序操作视频数据中的跟踪目标，根据跟踪目标按照时序形成的轨迹图识别动作行为类别，其中跟踪目标至少包括操作人员、被操作工件和工具；
当检测到动作行为类别不属于预定类别时，输出错误操作报警提示，或者，当通过预定时间段内的动作行为类别检测到操作节拍拖拉时，输出提示信息。
其进一步的技术方案为，将工序操作视频数据输入动作行为识别网络，动作行为识别网络检测工序操作视频数据中的跟踪目标，根据跟踪目标按照时序形成的轨迹图识别动作行为类别，包括：
将工序操作视频数据分割成n个子序列帧输入动作行为识别网络；
动作行为识别网络中的第一CNN模块对输入的工序操作视频数据进行特征提取得到n个第一特征向量，第一CNN模块包括n个CNN网络，每个CNN网络分别对一个子序列帧进行特征提取得到第一特征向量；
n个第一特征向量输入时序模块得到n个时序特征，时序模块包括n个LSTM模块，每个LSTM模块分别对一个第一特征向量进行特征提取得到时序特征；
n个第一特征向量输入拼接模块，拼接模块将n个第一特征向量拼接形成一个总特征向量；
总特征向量输入第二CNN模块得到m个第二特征向量，第二CNN模块包括m个CNN网络，每个CNN网络分别对总特征向量进行特征提取得到第二特征向量，m个CNN网络分别提取总特征向量中的m种不同类型的图像特征；
将n个时序特征和m个第二特征向量输入输出层，输出层根据n个时序特征和m个第二特征向量识别得到动作行为类别。
其进一步的技术方案为，输出层给n个时序特征和m个第二特征向量分别分配权重向量，并根据n个时序特征和m个第二特征向量及各自对应的权重向量识别得到动作行为类别。
其进一步的技术方案为，每个LSTM模块中包括两个依次相连的LSTM网络。
其进一步的技术方案为，该方法还包括：
在预定时间段内，检测每个动作行为类别的持续时间是否在第一预定范围内，并检测每两个动作行为类别之间的间隔时间是否在第二预定范围内；若是，则确定预定时间段内不存在操作节拍拖拉，否则确定检测到操作节拍拖拉。
本发明的有益技术效果是：
本申请公开了一种基于视觉目标定位的工序操作质量监控方法，该方法使用摄像头采集工序操作视频数据，利用基于深度学习技术的动作行为识别网络识别动作行为类别，通过时间和空间上的分析可以检测是否存在错误操作以及综合评估确定是否存在操作节拍拖拉，从而给出相应的提示，起到防呆防错的效果，通过视觉监控规范工序操作质量，自动化程度高，可以有效提高产品质量和提高工作效率，减少危险事件发生。
附图说明
图1是本申请公开的工序操作质量监控方法的流程图。
图2是本申请中的动作行为识别网络的结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于视觉目标定位的工序操作质量监控方法，请参考图1，该方法包括如下步骤：
步骤1，通过摄像头获取操作人员的工序操作视频数据。
步骤2，对工序操作视频数据进行目标检测、目标跟踪、轨迹分析以及动作行为类别识别，通过目标检测定位跟踪目标的位置，其中跟踪目标至少包括操作人员、被操作工件和工具，通过目标跟踪对跟踪目标的位置按照时序进行跟踪确定其轨迹图，通过轨迹分析在时间和空间上对跟踪目标的轨迹图进行分析，最终识别得到动作行为类别。
本申请采用动作行为识别网络来实现上述功能，将工序操作视频数据输入动作行为识别网络。为了解决时序较长的动作的识别、更好的提取长视频流的特征，首先将工序操作视频数据分割成n个子序列帧，然后输入动作行为识别网络。
动作行为识别网络检测工序操作视频数据中的跟踪目标，根据跟踪目标按照时序形成的轨迹图识别动作行为类别，其网络架构请参考图2，主要包括第一CNN模块、时序模块、拼接模块和第二CNN模块，图2以m＝n＝3为例。
动作行为识别网络中的第一CNN模块对输入的工序操作视频数据进行特征提取得到n个第一特征向量，第一CNN模块包括n个CNN网络，每个CNN网络分别对一个子序列帧进行特征提取得到第一特征向量。
n个第一特征向量输入时序模块得到n个时序特征，时序模块包括n个LSTM模块，每个LSTM模块分别对一个第一特征向量进行特征提取得到时序特征。在本申请中，每个LSTM模块包括两个依次相连的LSTM网络，可以提取得到更准确的时序特征。
n个第一特征向量输入拼接模块(图2中以符号+来表示拼接模块)，拼接模块将n个第一特征向量拼接形成一个总特征向量。
总特征向量输入第二CNN模块得到m个第二特征向量，第二CNN模块包括m个CNN网络，每个CNN网络分别对总特征向量进行特征提取得到第二特征向量，m个CNN网络分别提取总特征向量中的m种不同类型的图像特征。
将n个时序特征和m个第二特征向量输入输出层(class calculate)，输出层根据n个时序特征和m个第二特征向量识别得到动作行为类别。在本申请中，输出层给n个时序特征和m个第二特征向量分别分配权重向量，并根据n个时序特征和m个第二特征向量及各自对应的权重向量识别得到动作行为类别。
步骤3，当检测到动作行为类别不属于预定类别时，输出错误操作报警提示，及时提醒出现错误操作。
步骤4，通过预定时间段内的动作行为类别检测是否存在操作节拍拖拉。在本申请中，在预定时间段内，检测每个动作行为类别的持续时间是否在第一预定范围内，并检测每两个动作行为类别之间的间隔时间是否在第二预定范围内；若是，则确定预定时间段内不存在操作节拍拖拉，否则确定检测到操作节拍拖拉。当检测到预定时间段内存在操作节拍拖拉时，输出提示信息，
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (5)

1.一种基于视觉目标定位的工序操作质量监控方法，其特征在于，所述方法包括：
通过摄像头获取操作人员的工序操作视频数据；
将所述工序操作视频数据输入动作行为识别网络，所述动作行为识别网络检测所述工序操作视频数据中的跟踪目标，根据所述跟踪目标按照时序形成的轨迹图识别动作行为类别，其中所述跟踪目标至少包括操作人员、被操作工件和工具；
当检测到所述动作行为类别不属于预定类别时，输出错误操作报警提示，或者，当通过预定时间段内的动作行为类别检测到操作节拍拖拉时，输出提示信息。
2.根据权利要求1所述的方法，其特征在于，所述将所述工序操作视频数据输入动作行为识别网络，所述动作行为识别网络检测所述工序操作视频数据中的跟踪目标，根据所述跟踪目标按照时序形成的轨迹图识别动作行为类别，包括：
将所述工序操作视频数据分割成n个子序列帧输入所述动作行为识别网络；
所述动作行为识别网络中的第一CNN模块对输入的所述工序操作视频数据进行特征提取得到n个第一特征向量，所述第一CNN模块包括n个CNN网络，每个CNN网络分别对一个子序列帧进行特征提取得到第一特征向量；
所述n个第一特征向量输入时序模块得到n个时序特征，所述时序模块包括n个LSTM模块，每个LSTM模块分别对一个第一特征向量进行特征提取得到时序特征；
所述n个第一特征向量输入拼接模块，所述拼接模块将所述n个第一特征向量拼接形成一个总特征向量；
所述总特征向量输入第二CNN模块得到m个第二特征向量，所述第二CNN模块包括m个CNN网络，每个CNN网络分别对所述总特征向量进行特征提取得到第二特征向量，m个CNN网络分别提取所述总特征向量中的m种不同类型的图像特征；
将n个时序特征和m个第二特征向量输入输出层，所述输出层根据所述n个时序特征和m个第二特征向量识别得到所述动作行为类别。
3.根据权利要求2所述的方法，其特征在于，所述输出层给所述n个时序特征和m个第二特征向量分别分配权重向量，并根据所述n个时序特征和m个第二特征向量及各自对应的权重向量识别得到所述动作行为类别。
4.根据权利要求2所述的方法，其特征在于，每个LSTM模块中包括两个依次相连的LSTM网络。
5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：
在所述预定时间段内，检测每个动作行为类别的持续时间是否在第一预定范围内，并检测每两个动作行为类别之间的间隔时间是否在第二预定范围内；若是，则确定所述预定时间段内不存在操作节拍拖拉，否则确定检测到操作节拍拖拉。
CN202010304273.0A 2020-04-17 2020-04-17 一种基于视觉目标定位的工序操作质量监控方法 Active CN111507261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010304273.0A CN111507261B (zh) 2020-04-17 2020-04-17 一种基于视觉目标定位的工序操作质量监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010304273.0A CN111507261B (zh) 2020-04-17 2020-04-17 一种基于视觉目标定位的工序操作质量监控方法

Publications (2)

Publication Number Publication Date
CN111507261A true CN111507261A (zh) 2020-08-07
CN111507261B CN111507261B (zh) 2023-05-26

Family

ID=71871025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010304273.0A Active CN111507261B (zh) 2020-04-17 2020-04-17 一种基于视觉目标定位的工序操作质量监控方法

Country Status (1)

Country Link
CN (1) CN111507261B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112713530A (zh) * 2021-01-29 2021-04-27 国网河南省电力公司邓州市供电公司 一种用于安全操作的智能配电柜
CN112861823A (zh) * 2021-04-06 2021-05-28 南京工业大学 一种用于工件安装关键工序视觉检测与定位的方法及装置
CN112990153A (zh) * 2021-05-11 2021-06-18 创新奇智(成都)科技有限公司 一种多目标行为识别方法、装置、存储介质以及电子设备
CN114612419A (zh) * 2022-03-07 2022-06-10 无锡雪浪数制科技有限公司 基于深度视觉和多传感器技术的工序检测方法
CN114693488A (zh) * 2022-05-31 2022-07-01 深圳安视信息技术有限公司 一种基于5g网络的智慧校园管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324010A1 (en) * 2008-06-26 2009-12-31 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统
CN110889395A (zh) * 2019-12-12 2020-03-17 广州中科永信科技有限公司 基于机器学习的机械运动识别方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324010A1 (en) * 2008-06-26 2009-12-31 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统
CN110889395A (zh) * 2019-12-12 2020-03-17 广州中科永信科技有限公司 基于机器学习的机械运动识别方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112713530A (zh) * 2021-01-29 2021-04-27 国网河南省电力公司邓州市供电公司 一种用于安全操作的智能配电柜
CN112861823A (zh) * 2021-04-06 2021-05-28 南京工业大学 一种用于工件安装关键工序视觉检测与定位的方法及装置
CN112990153A (zh) * 2021-05-11 2021-06-18 创新奇智(成都)科技有限公司 一种多目标行为识别方法、装置、存储介质以及电子设备
CN114612419A (zh) * 2022-03-07 2022-06-10 无锡雪浪数制科技有限公司 基于深度视觉和多传感器技术的工序检测方法
CN114693488A (zh) * 2022-05-31 2022-07-01 深圳安视信息技术有限公司 一种基于5g网络的智慧校园管理方法及系统

Also Published As

Publication number Publication date
CN111507261B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN111507261B (zh) 一种基于视觉目标定位的工序操作质量监控方法
CN110852219B (zh) 一种多行人跨摄像头在线跟踪系统
US11093886B2 (en) Methods for real-time skill assessment of multi-step tasks performed by hand movements using a video camera
CN109159113B (zh) 一种基于视觉推理的机器人作业方法
CN112016409A (zh) 一种基于深度学习的工步规范视觉识别判定方法及系统
CN114898466A (zh) 一种面向智慧工厂的视频动作识别方法及系统
CN110458198B (zh) 多分辨率目标识别方法及装置
US11164327B2 (en) Estimation of human orientation in images using depth information from a depth camera
CN111062364B (zh) 一种基于深度学习的监测装配操作的方法和装置
CN115761881A (zh) 一种基于改进yolov5-SFF的检测方法及系统
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控系统和方法
CN113469137A (zh) 异常行为的识别方法、装置、存储介质及电子装置
CN113065447A (zh) 一种图像集中自动识别商品的方法和设备
CN112347866A (zh) 基于机器视觉实现附件组装防呆检测处理的系统及其方法
CN111651038A (zh) 基于ToF的手势识别控制方法及其控制系统
CN113420839B (zh) 用于堆叠平面目标物体的半自动标注方法及分割定位系统
US20230206615A1 (en) Systems and methods to determine an activity associated with an object of interest
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
Moriwaki et al. The brio-ta dataset: Understanding anomalous assembly process in manufacturing
Kumar et al. A deep neural framework for continuous sign language recognition by iterative training
CN113642473A (zh) 一种基于计算机视觉的矿下煤机状态识别方法
KR101342018B1 (ko) 대표 특징을 이용한 실시간 객체 인식 및 추적 방법과 그 장치
WO2020014766A1 (en) System and method for tracking customer movements in a customer service environment
Jin et al. Determination of defects for dynamic objects using instance segmentation
Bauters et al. Real time trajectory matching and outlier detection for assembly operator trajectories

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant