CN111507261B - 一种基于视觉目标定位的工序操作质量监控方法 - Google Patents

一种基于视觉目标定位的工序操作质量监控方法 Download PDF

Info

Publication number
CN111507261B
CN111507261B CN202010304273.0A CN202010304273A CN111507261B CN 111507261 B CN111507261 B CN 111507261B CN 202010304273 A CN202010304273 A CN 202010304273A CN 111507261 B CN111507261 B CN 111507261B
Authority
CN
China
Prior art keywords
cnn
action behavior
action
feature vectors
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010304273.0A
Other languages
English (en)
Other versions
CN111507261A (zh
Inventor
李书霞
姜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xuelang Shuzhi Technology Co ltd
Original Assignee
Wuxi Xuelang Shuzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xuelang Shuzhi Technology Co ltd filed Critical Wuxi Xuelang Shuzhi Technology Co ltd
Priority to CN202010304273.0A priority Critical patent/CN111507261B/zh
Publication of CN111507261A publication Critical patent/CN111507261A/zh
Application granted granted Critical
Publication of CN111507261B publication Critical patent/CN111507261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于视觉目标定位的工序操作质量监控方法，涉及机器视觉领域，该方法包括通过摄像头获取操作人员的工序操作视频数据，利用行为识别网络识别动作行为类别，当检测到所述动作行为类别不属于预定类别时，输出错误操作报警提示，或者，当通过预定时间段内的动作行为类别检测到操作节拍拖拉时，输出提示信息；该方法利用基于深度学习技术的动作行为识别网络识别动作行为类别，通过时间和空间上的分析可以检测是否存在错误操作以及综合评估确定是否存在操作节拍拖拉，从而给出相应的提示，起到防呆防错的效果，通过视觉监控规范工序操作质量，自动化程度高，可以有效提高产品质量和提高工作效率，减少危险事件发生。

Description

一种基于视觉目标定位的工序操作质量监控方法
技术领域
本发明涉及机器视觉领域，尤其是一种基于视觉目标定位的工序操作质量监控方法。
背景技术
目前在工厂产品加工和生产中存在大量的人工操作，人在工序操作时不可避免的会有错误发生，一个小的工序错位都可能导致生产出不良产品，最终带来很大的损失。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于视觉目标定位的工序操作质量监控方法，本发明的技术方案如下：
一种基于视觉目标定位的工序操作质量监控方法，该方法包括：
通过摄像头获取操作人员的工序操作视频数据；
将工序操作视频数据输入动作行为识别网络，动作行为识别网络检测工序操作视频数据中的跟踪目标，根据跟踪目标按照时序形成的轨迹图识别动作行为类别，其中跟踪目标至少包括操作人员、被操作工件和工具；
当检测到动作行为类别不属于预定类别时，输出错误操作报警提示，或者，当通过预定时间段内的动作行为类别检测到操作节拍拖拉时，输出提示信息。
其进一步的技术方案为，将工序操作视频数据输入动作行为识别网络，动作行为识别网络检测工序操作视频数据中的跟踪目标，根据跟踪目标按照时序形成的轨迹图识别动作行为类别，包括：
将工序操作视频数据分割成n个子序列帧输入动作行为识别网络；
动作行为识别网络中的第一CNN模块对输入的工序操作视频数据进行特征提取得到n个第一特征向量，第一CNN模块包括n个CNN网络，每个CNN网络分别对一个子序列帧进行特征提取得到第一特征向量；
n个第一特征向量输入时序模块得到n个时序特征，时序模块包括n个LSTM模块，每个LSTM模块分别对一个第一特征向量进行特征提取得到时序特征；
n个第一特征向量输入拼接模块，拼接模块将n个第一特征向量拼接形成一个总特征向量；
总特征向量输入第二CNN模块得到m个第二特征向量，第二CNN模块包括m个CNN网络，每个CNN网络分别对总特征向量进行特征提取得到第二特征向量，m个CNN网络分别提取总特征向量中的m种不同类型的图像特征；
将n个时序特征和m个第二特征向量输入输出层，输出层根据n个时序特征和m个第二特征向量识别得到动作行为类别。
其进一步的技术方案为，输出层给n个时序特征和m个第二特征向量分别分配权重向量，并根据n个时序特征和m个第二特征向量及各自对应的权重向量识别得到动作行为类别。
其进一步的技术方案为，每个LSTM模块中包括两个依次相连的LSTM网络。
其进一步的技术方案为，该方法还包括：
在预定时间段内，检测每个动作行为类别的持续时间是否在第一预定范围内，并检测每两个动作行为类别之间的间隔时间是否在第二预定范围内；若是，则确定预定时间段内不存在操作节拍拖拉，否则确定检测到操作节拍拖拉。
本发明的有益技术效果是：
本申请公开了一种基于视觉目标定位的工序操作质量监控方法，该方法使用摄像头采集工序操作视频数据，利用基于深度学习技术的动作行为识别网络识别动作行为类别，通过时间和空间上的分析可以检测是否存在错误操作以及综合评估确定是否存在操作节拍拖拉，从而给出相应的提示，起到防呆防错的效果，通过视觉监控规范工序操作质量，自动化程度高，可以有效提高产品质量和提高工作效率，减少危险事件发生。
附图说明
图1是本申请公开的工序操作质量监控方法的流程图。
图2是本申请中的动作行为识别网络的结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于视觉目标定位的工序操作质量监控方法，请参考图1，该方法包括如下步骤：
步骤1，通过摄像头获取操作人员的工序操作视频数据。
步骤2，对工序操作视频数据进行目标检测、目标跟踪、轨迹分析以及动作行为类别识别，通过目标检测定位跟踪目标的位置，其中跟踪目标至少包括操作人员、被操作工件和工具，通过目标跟踪对跟踪目标的位置按照时序进行跟踪确定其轨迹图，通过轨迹分析在时间和空间上对跟踪目标的轨迹图进行分析，最终识别得到动作行为类别。
本申请采用动作行为识别网络来实现上述功能，将工序操作视频数据输入动作行为识别网络。为了解决时序较长的动作的识别、更好的提取长视频流的特征，首先将工序操作视频数据分割成n个子序列帧，然后输入动作行为识别网络。
动作行为识别网络检测工序操作视频数据中的跟踪目标，根据跟踪目标按照时序形成的轨迹图识别动作行为类别，其网络架构请参考图2，主要包括第一CNN模块、时序模块、拼接模块和第二CNN模块，图2以m＝n＝3为例。
动作行为识别网络中的第一CNN模块对输入的工序操作视频数据进行特征提取得到n个第一特征向量，第一CNN模块包括n个CNN网络，每个CNN网络分别对一个子序列帧进行特征提取得到第一特征向量。
n个第一特征向量输入时序模块得到n个时序特征，时序模块包括n个LSTM模块，每个LSTM模块分别对一个第一特征向量进行特征提取得到时序特征。在本申请中，每个LSTM模块包括两个依次相连的LSTM网络，可以提取得到更准确的时序特征。
n个第一特征向量输入拼接模块(图2中以符号+来表示拼接模块)，拼接模块将n个第一特征向量拼接形成一个总特征向量。
总特征向量输入第二CNN模块得到m个第二特征向量，第二CNN模块包括m个CNN网络，每个CNN网络分别对总特征向量进行特征提取得到第二特征向量，m个CNN网络分别提取总特征向量中的m种不同类型的图像特征。
将n个时序特征和m个第二特征向量输入输出层(class calculate)，输出层根据n个时序特征和m个第二特征向量识别得到动作行为类别。在本申请中，输出层给n个时序特征和m个第二特征向量分别分配权重向量，并根据n个时序特征和m个第二特征向量及各自对应的权重向量识别得到动作行为类别。
步骤3，当检测到动作行为类别不属于预定类别时，输出错误操作报警提示，及时提醒出现错误操作。
步骤4，通过预定时间段内的动作行为类别检测是否存在操作节拍拖拉。在本申请中，在预定时间段内，检测每个动作行为类别的持续时间是否在第一预定范围内，并检测每两个动作行为类别之间的间隔时间是否在第二预定范围内；若是，则确定预定时间段内不存在操作节拍拖拉，否则确定检测到操作节拍拖拉。当检测到预定时间段内存在操作节拍拖拉时，输出提示信息。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (4)

1.一种基于视觉目标定位的工序操作质量监控方法，其特征在于，所述方法包括：
通过摄像头获取操作人员的工序操作视频数据；
将所述工序操作视频数据输入动作行为识别网络，所述动作行为识别网络检测所述工序操作视频数据中的跟踪目标，根据所述跟踪目标按照时序形成的轨迹图识别动作行为类别，包括：将所述工序操作视频数据分割成n个子序列帧输入所述动作行为识别网络；所述动作行为识别网络中的第一CNN模块对输入的所述工序操作视频数据进行特征提取得到n个第一特征向量，所述第一CNN模块包括n个CNN网络，每个CNN网络分别对一个子序列帧进行特征提取得到第一特征向量；所述n个第一特征向量输入时序模块得到n个时序特征，所述时序模块包括n个LSTM模块，每个LSTM模块分别对一个第一特征向量进行特征提取得到时序特征；所述n个第一特征向量输入拼接模块，所述拼接模块将所述n个第一特征向量拼接形成一个总特征向量；所述总特征向量输入第二CNN模块得到m个第二特征向量，所述第二CNN模块包括m个CNN网络，每个CNN网络分别对所述总特征向量进行特征提取得到第二特征向量，m个CNN网络分别提取所述总特征向量中的m种不同类型的图像特征；将n个时序特征和m个第二特征向量输入输出层，所述输出层根据所述n个时序特征和m个第二特征向量识别得到所述动作行为类别；其中所述跟踪目标至少包括操作人员、被操作工件和工具；
当检测到所述动作行为类别不属于预定类别时，输出错误操作报警提示，或者，当通过预定时间段内的动作行为类别检测到操作节拍拖拉时，输出提示信息。
2.根据权利要求1所述的方法，其特征在于，所述输出层给所述n个时序特征和m个第二特征向量分别分配权重向量，并根据所述n个时序特征和m个第二特征向量及各自对应的权重向量识别得到所述动作行为类别。
3.根据权利要求1所述的方法，其特征在于，每个LSTM模块中包括两个依次相连的LSTM网络。
4.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：
在所述预定时间段内，检测每个动作行为类别的持续时间是否在第一预定范围内，并检测每两个动作行为类别之间的间隔时间是否在第二预定范围内；
若是，则确定所述预定时间段内不存在操作节拍拖拉，否则确定检测到操作节拍拖拉。
CN202010304273.0A 2020-04-17 2020-04-17 一种基于视觉目标定位的工序操作质量监控方法 Active CN111507261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010304273.0A CN111507261B (zh) 2020-04-17 2020-04-17 一种基于视觉目标定位的工序操作质量监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010304273.0A CN111507261B (zh) 2020-04-17 2020-04-17 一种基于视觉目标定位的工序操作质量监控方法

Publications (2)

Publication Number Publication Date
CN111507261A CN111507261A (zh) 2020-08-07
CN111507261B true CN111507261B (zh) 2023-05-26

Family

ID=71871025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010304273.0A Active CN111507261B (zh) 2020-04-17 2020-04-17 一种基于视觉目标定位的工序操作质量监控方法

Country Status (1)

Country Link
CN (1) CN111507261B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112713530A (zh) * 2021-01-29 2021-04-27 国网河南省电力公司邓州市供电公司 一种用于安全操作的智能配电柜
CN112861823A (zh) * 2021-04-06 2021-05-28 南京工业大学 一种用于工件安装关键工序视觉检测与定位的方法及装置
CN112990153A (zh) * 2021-05-11 2021-06-18 创新奇智(成都)科技有限公司 一种多目标行为识别方法、装置、存储介质以及电子设备
CN114612419B (zh) * 2022-03-07 2023-04-18 无锡雪浪数制科技有限公司 基于深度视觉和多传感器技术的工序检测方法
CN114693488B (zh) * 2022-05-31 2022-08-12 深圳安视信息技术有限公司 一种基于5g网络的智慧校园管理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统
CN110889395A (zh) * 2019-12-12 2020-03-17 广州中科永信科技有限公司 基于机器学习的机械运动识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8036425B2 (en) * 2008-06-26 2011-10-11 Billy Hou Neural network-controlled automatic tracking and recognizing system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统
CN110889395A (zh) * 2019-12-12 2020-03-17 广州中科永信科技有限公司 基于机器学习的机械运动识别方法及系统

Also Published As

Publication number Publication date
CN111507261A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111507261B (zh) 一种基于视觉目标定位的工序操作质量监控方法
CN110852219B (zh) 一种多行人跨摄像头在线跟踪系统
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
CA2931624A1 (en) Systems and methods for event detection and diagnosis
CN112016409A (zh) 一种基于深度学习的工步规范视觉识别判定方法及系统
CN110533654A (zh) 零部件的异常检测方法及装置
CN110458198B (zh) 多分辨率目标识别方法及装置
CN111149129A (zh) 异常检测装置及异常检测方法
CN112288741A (zh) 一种基于语义分割的产品表面缺陷检测方法、系统
CN115761568A (zh) 一种基于YOLOv7网络和Deepsort网络的猕猴检测方法
CN115761881A (zh) 一种基于改进yolov5-SFF的检测方法及系统
CN113469137A (zh) 异常行为的识别方法、装置、存储介质及电子装置
CN111531580B (zh) 一种基于视觉的多工业机器人故障检测方法及系统
CN105488448B (zh) 一种条码和二维码的区分方法
CN109978844A (zh) 一种基于深度学习模块化的智能分析方法以及系统
CN113420839A (zh) 用于堆叠平面目标物体的半自动标注方法及分割定位系统
KR102265461B1 (ko) 제조 공정 비정상 데이터 탐지 시스템
US20180173989A1 (en) Process and system of identification of products in motion in a product line
CN113642473A (zh) 一种基于计算机视觉的矿下煤机状态识别方法
CN111531582B (zh) 一种基于视觉的工业机器人故障检测方法及系统
Xiang Industrial automatic assembly technology based on machine vision recognition
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控系统和方法
WO2020014766A1 (en) System and method for tracking customer movements in a customer service environment
CN117358615B (zh) 一种自动喷码印刷缺陷检测方法及系统
CN116818769B (zh) 一种基于机器视觉的异常检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant