CN108681690B - 一种基于深度学习的流水线人员规范操作检测系统 - Google Patents

一种基于深度学习的流水线人员规范操作检测系统 Download PDF

Info

Publication number
CN108681690B
CN108681690B CN201810296798.7A CN201810296798A CN108681690B CN 108681690 B CN108681690 B CN 108681690B CN 201810296798 A CN201810296798 A CN 201810296798A CN 108681690 B CN108681690 B CN 108681690B
Authority
CN
China
Prior art keywords
module
data
detection
deep learning
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810296798.7A
Other languages
English (en)
Other versions
CN108681690A (zh
Inventor
刘勇
刘亮
张江宁
蒋云良
邬惠峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810296798.7A priority Critical patent/CN108681690B/zh
Publication of CN108681690A publication Critical patent/CN108681690A/zh
Application granted granted Critical
Publication of CN108681690B publication Critical patent/CN108681690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习的流水线人员规范操作检测系统，包括视频管理模块、深度学习检测模块和数据分析模块；视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；深度学习检测模块与视频管理模块连接，深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块；数据分析模块与深度学习检测模块连接，数据分析模块包括数据预处理模块、状态机分析模块、结果分析模块和结果存储模块。本发明的系统能够自动地实时地对视频进行检测，并将每帧检测结果输出，并根据检测结果在时序上转换为人员操作动作，并利用状态机对动作进行分析，得出每个操作人员进行一组操作时的开始结束时间，判断操作是否规范。

Description

一种基于深度学习的流水线人员规范操作检测系统
技术领域
本发明涉及一种操作检测方法，尤其涉及一种基于深度学习的流水线人员规范操作检测系统。
背景技术
随着时代的发展，工业对自动化要求越来越高。传统的流水线标准作业需要专门的监管人员，用人眼对每一个操作人员的操作是否规范进行判别，再将结果进行存储。这种方式需要依靠额外的人力、物力，同时人眼检测带有一定的主观因素，不能够保证对每一个人的评价监管是统一的，且不能保证监管人员每一时刻都在工作状态。这种传统方式会造成财力资源的额外消耗以及效率的不稳定，针对这种现象，急需现有技术改进发展，用机器代替人来对流水线操作人员操作是否规范进行评价监管。目前还没有专门的全自动应用于流水线人员操作规范检测的系统。
发明内容
本发明的目的是提供一种基于深度学习的流水线人员规范操作检测系统，对操作人员的操作是否规范进行判断。因此，本发明采用以下技术方案。
一种基于深度学习的流水线人员规范操作检测系统，所述系统包括视频管理模块、深度学习检测模块和数据分析模块；
所述视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；所述数据获取模块能够实时获取预先布置的所有摄像头数据，并将数据传输至本机，所述数据存储模块存储所述数据获取模块获取的摄像头数据，所述API视频接口模块开放视频接口以供其他模块调用数据；
所述深度学习检测模块与所述视频管理模块连接，所述深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块；所述深度学习检测模块通过API视频接口调用所述摄像头数据；所述数据标注模块对摄像头数据中选定的标注帧图片进行标注；所述模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；所述模型存储模块存储所述检测模型；生成并存储所述检测模型后，所述检测模型对所述摄像头数据进行检测并生成检测数据，并将所述检测数据发送到所述数据分析模块；
所述数据分析模块与所述深度学习检测模块连接，所述数据分析模块包括数据预处理模块、状态机分析模块、结果分析模块和结果存储模块。
优选的，所述数据预处理模块包括数据转换模块和数据滤波模块，所述数据转换模块将检测数据转换成发生的动作，所述数据滤波模块将所述动作进行滤波。
优选的，所述状态机分析模块对滤波后的动作使用状态机方法进行分析，状态机分析模块通过不同动作的发生时间判断每个操作者执行每个周期安装任务的开始、结束时间，并对每个周期中执行的动作类型、对应时间进行记录，最后判断操作是否符合标准操作流程。
优选的，所述结果分析模块对状态机分析模块的判断结果进行分析，所述结果存储模块对状态机分析模块的判断结果和/或分析结果进行存储。
优选的，所述数据滤波模块采用中值滤波。
优选的，所述系统还包括显示模块，所述数据分析模块与显示模块连接，将状态机分析模块的判断结果和/或分析结果进行可视化显示。
优选的，所述模型训练模块采用卷积网络加全连接网络训练模型对数据进行训练。
优选的，所述卷积网络为28层卷积网络，所述全连接网络为1层全连接网络。
优选的，所述数据标注模块包括标注工具模块和检测工具模块，所述标注工具模块对标注帧图片进行标注，所述检测工具模块对标注工具模块的标注结果进行检测。
优选的，所述系统还包括提醒模块，所述数据分析模块与所述提醒模块连接，对不符合规定的操作进行提醒。
本发明的有益效果是：本发明的系统能够自动地实时地对视频进行检测，并将每帧检测结果输出，并根据检测结果在时序上转换为人员操作动作，并利用状态机对动作进行分析，得出每个操作人员进行一组操作时的开始结束时间，判断操作是否规范。
附图说明
图1 是本发明的系统结构图。
图2 是本发明的标注工具标注图片示意图。
图3 是本发明的检测工具检测已标注图片示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于深度学习的流水线人员规范操作检测系统，包括视频管理模块、深度学习检测模块和数据分析模块。
视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；所述数据获取模块能够实时获取预先布置的所有摄像头数据，并将数据传输至本机，本机为执行数据获取模块的机器，数据存储模块存储数据获取模块获取的摄像头数据， API视频接口模块开放视频接口以供其他模块调用数据。视频管理模块获取部署摄像头的视频信息，进行存储，并开放API视频接口以便外部调用。按照工厂流水线12个工序及每个工序操作人员位置部署摄像头，摄像头安装在操作人员前上方，视角正对流水线，保证每个人员操作范围无盲区。视频管理系统分获取每个摄像头数据并按照工序、操作人员分类存储。视频管理系统开放API供外部调用视频数据，视频大小为1080p以保证清晰度，帧率为30。
深度学习检测模块与视频管理模块连接，深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块；深度学习检测模块通过API视频接口调用摄像头数据；数据标注模块对摄像头数据中选定的标注帧图片进行标注；模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；模型存储模块存储检测模型；生成并存储检测模型后，检测模型对摄像头数据进行检测并生成检测数据，并将检测数据发送到数据分析模块。深度学习模块使用标注过的数据训练深度学习目标检测模型，通过API接口调用视频数据后逐帧进行检测，得到视频每一帧中所有目标物体的位置信息数据并将结果数据开放API接口。
数据分析模块与深度学习检测模块连接，数据分析模块包括数据预处理模块、状态机分析模块、结果分析模块和结果存储模块。数据预处理模块包括数据转换模块和数据滤波模块，数据转换模块将检测数据转换成发生的动作，数据滤波模块将动作进行滤波。状态机分析模块对滤波后的动作进行状态机分析，状态机分析模块通过不同动作的发生时间判断每个操作者执行每个周期安装任务的开始、结束时间，并对每个周期中执行的动作类型、对应时间进行记录，最后判断操作是否复合标准操作流程。结果分析模块对状态机分析模块的判断结果进行分析，结果存储模块对状态机分析模块的判断结果和/或分析结果进行存储。数据分析模块获取视频检测数据，使用状态机方式对每一个人员的操作检测分析并进行可视化显示，对操作不符合规范的操作人员进行提醒。
如图2所示，数据标注模块的标注工具在用户选定需要标注图片所在文件夹后显示第一张图片，右侧有标注选项区（共5种标注类型可选择，即手、螺丝盒、扫描枪、PCB电路板、工作盒），标注时先在标注选项区选择标注类型，然后在图像中框出目标区域，重复操作直至该张图片不存在未被框选目标。按键功能区有下一张、上一张、修改、删除按键，下一张快捷键为(d)，点击后进行下一张图片标注工作；上一张快捷键为(a)，点击后返回上一张图片，查看是否标注正确；修改快捷键为(x)，清楚当前标注图片标注信息，重新进行标注；删除快捷键为(c)，删除当前图片，表示当前图片不适合作为标注数据。图片标注数据以xml文件表示，存储有每个标注类型的坐标信息，位置信息采用矩形框表示，即一个物体标注数据由左上角坐标，右下角坐标共4个数据组成。坐标信息包括左上角坐标（x1，y1），右下角坐标（x2，y2）。
如图3所示，数据标注模块的检测工具在用户选定标注图片所在文件夹及标注数据所在文件夹后从第一张开始显示图片，并将标注结果显示在图片上。按键功能区有下一张、上一张、删除按键，下一张快捷键为(d)，点击后进行下一张图片检测工作；上一张快捷键为(a)，点击后返回上一张图片；删除快捷键为(c)，删除当前图片。检测工具对已经标注过的图片进行检测，对标注结果不正确的进行删除。
训练模型使用tensorflow框架编写，经标注数据训练完成后存储模型。对视频图片进行检测后输出结果为每种标注类型目标在图片中的位置数据，标注结果如表1所示。模型参考mobilenet，有28层卷积层+1层全连接层，模型较为复杂，计算量大，是为了有更高的检测精度。模型的训练数据使用人工标注两万张图片，每张图片标注所有在图片中出现过的5种类型物体的位置信息，并且每张图片存储一个对应的xml文件。训练模型时程序会将图片和对应xml文件一起读入，完成训练后将模型进行存储。检测时首先程序先将检测模型加载，再通过视频API接口获取视频后对其进行检测，检测结果包括每种类型物体的个数以及对应位置。
种类1 位置数据1 位置数据2 位置数据3
种类2 位置数据1 位置数据2 位置数据3 位置数据4
种类3 位置数据1 位置数据2 位置数据3
种类4 位置数据1 位置数据2
种类5 位置数据1 位置数据2 位置数据3
表1 5种类型在图片中的位置数据
深度学习检测模块和数据分析模块在同一个系统框架下，数据内部连通使用。由于流水线上传送带会动，所以相邻两帧图片检测的相同目标位置可能会不一样，必须要把相邻图片检测的是同一目标的位置数据给对应起来。数据分析模块接收检测结果数据后首先采用Hungarian算法将相邻两帧图片中目标检测结果对应起来，以得到同一个目标在多帧连续图片中位置变化信息，即同一目标在时间上的坐标信息。
利用同一目标在时间上的坐标信息，检测定义不同的发生动作类型，比如从螺丝盒拿螺丝，拿扫描枪，从前方箱子拿螺丝，传送带运动，拿PCB板，操作PCB板，操作盒，拿电脑，从左边拿螺丝盒，从右边拿螺丝盒，螺丝盒进入，螺丝盒小时，PCB进入，PCB消失，操作进入，操作盒消失等。
对检测到的动作进行数据滤波，以增加检测动作的稳定性和可靠性，滤波采用中值滤波。滤波后的数据送入状态机程序进行分析，状态机通过不同动作的发生时间判断每个操作者执行每个周期安装任务的开始、结束时间，并对每个周期中执行的动作类型、对应时间进行记录，最后综合判断操作是否复合标准操作流程。如果一个操作人员有过多的操作不符合标准流程，则对其进行警告，并将数据记录到个人数据库中，数据库可供管理人员调用，界面化显示每个人员在何时做了什么操作不符合规范，整个规范操作过程全部由机器代替人自动化完成。检测结果可实时标识在对应视频上，供监管人员进行判断、管理。视频管理模块能够显示每一个摄像头拍摄的信息，并将物体检测结果进行显示（显示形式为在视频上将物体框选）、将人员操作动作进行显示（显示操作人员做了哪些动作）、将分析结果进行显示（显示每个工序操作的开始和结束时间，对于不符合规定的操作会有警告显示）。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种基于深度学习的流水线人员规范操作检测系统，其特征在于，所述系统包括视频管理模块、深度学习检测模块和数据分析模块；
所述视频管理模块包括数据获取模块、数据存储模块和API视频接口模块；所述数据获取模块能够实时获取预先布置的所有摄像头数据，并将数据传输至本机，所述数据存储模块存储所述数据获取模块获取的摄像头数据，所述API视频接口模块开放视频接口以供其他模块调用数据；
所述深度学习检测模块与所述视频管理模块连接，所述深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块；所述深度学习检测模块通过API视频接口调用所述摄像头数据；所述数据标注模块对摄像头数据中选定的标注帧图片进行标注；所述模型训练模块使用标注过的数据训练深度学习目标分类模型，生成检测模型；所述模型存储模块存储所述检测模型；生成并存储所述检测模型后，所述检测模型对所述摄像头数据进行检测并生成检测数据，并将所述检测数据发送到所述数据分析模块；所述检测数据包括所述摄像头数据的每帧图片中，分别属于多种预设类型中的每一种的物体个数、以及物体位置；
所述数据分析模块与所述深度学习检测模块连接，所述数据分析模块包括数据预处理模块、状态机分析模块、结果分析模块和结果存储模块；所述数据预处理模块包括数据转换模块和数据滤波模块，所述数据转换模块将检测数据转换成发生的动作，所述数据滤波模块将所述动作进行滤波；所述转换模块将检测数据转换成发生的动作，包括：
针对每种类型中的若干个物体，分别确定每个物体在多帧图片中的位置变化信息；
基于每个物体的位置变化信息，确定每个物体对应的动作类型；
所述状态机分析模块对滤波后的动作使用状态机方法进行分析，状态机分析模块通过不同动作的发生时间判断每个操作者执行每个周期安装任务的开始、结束时间，并对每个周期中执行的动作类型、对应时间进行记录，最后判断操作是否符合标准操作流程。
2.根据权利要求1所述的一种基于深度学习的流水线人员规范操作检测系统，其特征在于，所述结果分析模块对状态机分析模块的判断结果进行分析，所述结果存储模块对状态机分析模块的判断结果和/或分析结果进行存储。
3.根据权利要求1所述的一种基于深度学习的流水线人员规范操作检测系统，其特征在于，所述数据滤波模块采用中值滤波。
4.根据权利要求3所述的一种基于深度学习的流水线人员规范操作检测系统，其特征在于，所述系统还包括显示模块，所述数据分析模块与显示模块连接，将状态机分析模块的判断结果和/或分析结果进行可视化显示。
5.根据权利要求1所述的一种基于深度学习的流水线人员规范操作检测系统，其特征在于，所述模型训练模块采用卷积网络加全连接网络训练模型对数据进行训练。
6.根据权利要求5所述的一种基于深度学习的流水线人员规范操作检测系统，其特征在于，所述卷积网络为28层卷积网络，所述全连接网络为1层全连接网络。
7.根据权利要求1所述的一种基于深度学习的流水线人员规范操作检测系统，其特征在于，所述数据标注模块包括标注工具模块和检测工具模块，所述标注工具模块对标注帧图片进行标注，所述检测工具模块对标注工具模块的标注结果进行检测。
8.根据权利要求2所述的一种基于深度学习的流水线人员规范操作检测系统，其特征在于，所述系统还包括提醒模块，所述数据分析模块与所述提醒模块连接，对不符合规定的操作进行提醒。
CN201810296798.7A 2018-04-04 2018-04-04 一种基于深度学习的流水线人员规范操作检测系统 Active CN108681690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810296798.7A CN108681690B (zh) 2018-04-04 2018-04-04 一种基于深度学习的流水线人员规范操作检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810296798.7A CN108681690B (zh) 2018-04-04 2018-04-04 一种基于深度学习的流水线人员规范操作检测系统

Publications (2)

Publication Number Publication Date
CN108681690A CN108681690A (zh) 2018-10-19
CN108681690B true CN108681690B (zh) 2021-09-03

Family

ID=63800329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810296798.7A Active CN108681690B (zh) 2018-04-04 2018-04-04 一种基于深度学习的流水线人员规范操作检测系统

Country Status (1)

Country Link
CN (1) CN108681690B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105106A (zh) * 2018-10-25 2020-05-05 玳能本股份有限公司 操作评价装置、操作评价方法及操作评价系统
CN111105109A (zh) * 2018-10-25 2020-05-05 玳能本股份有限公司 操作检测装置、操作检测方法及操作检测系统
CN109490843B (zh) * 2018-11-15 2020-08-04 成都傅立叶电子科技有限公司 一种归一化雷达屏幕监测方法及系统
CN111204317A (zh) * 2018-11-22 2020-05-29 广州汽车集团股份有限公司 Epb自动释放控制方法及装置、控制器和计算机存储介质
CN109587449B (zh) * 2018-12-14 2020-08-04 安徽三人信息科技有限公司 远程法庭庭审方法
CN109814435A (zh) * 2018-12-21 2019-05-28 芜湖恒美电热器具有限公司 Ptc成品组装尺寸防呆系统
CN109871786A (zh) * 2019-01-30 2019-06-11 浙江大学 一种航班地面保障作业规范流程检测系统
CN111723620A (zh) * 2019-03-22 2020-09-29 浙江大学 一种基于深度学习的悬浮动态手势人机交互系统
CN110163084A (zh) * 2019-04-08 2019-08-23 睿视智觉（厦门）科技有限公司 操作员动作监督方法、装置及电子设备
CN110378273B (zh) * 2019-07-12 2022-11-15 深圳前海微众银行股份有限公司 一种监测作业流程的方法和装置
CN110490125B (zh) * 2019-08-15 2023-04-18 成都睿晓科技有限公司 一种基于手势自动检测的加油区服务质量检测系统
CN110516636A (zh) * 2019-08-30 2019-11-29 盈盛智创科技(广州)有限公司 一种工序的监测方法、装置、计算机设备和存储介质
JP7471878B2 (ja) * 2020-03-18 2024-04-22 東芝テック株式会社 映像処理装置
CN113780568B (zh) * 2020-06-09 2024-05-14 子长科技(北京)有限公司 自动模型训练系统、设备、存储介质
CN112016409A (zh) * 2020-08-11 2020-12-01 艾普工华科技（武汉）有限公司 一种基于深度学习的工步规范视觉识别判定方法及系统
CN112149546B (zh) * 2020-09-16 2024-05-03 珠海格力电器股份有限公司 一种信息处理方法、装置、电子设备及存储介质
CN112541531A (zh) * 2020-12-02 2021-03-23 武汉光庭信息技术股份有限公司 一种道路视频数据的采集处理系统及方法
CN113147176B (zh) * 2021-04-06 2021-11-02 东莞先知大数据有限公司 丝印环节操作规范检测方法
CN113591589B (zh) * 2021-07-02 2022-09-27 北京百度网讯科技有限公司 产品漏检的识别方法、装置、电子设备及存储介质
CN115063839A (zh) * 2022-07-01 2022-09-16 姚懿宸 一种校园内不规范不安全行为检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007120585A2 (en) * 2006-04-12 2007-10-25 Penthera Technologies, Inc. A system and method for delivering content based on demand to a client
CN106650655A (zh) * 2016-12-16 2017-05-10 北京工业大学 一种基于卷积神经网络的动作检测模型
CN106952263A (zh) * 2017-05-19 2017-07-14 江阴东民盛科技有限公司 一种深度自学习视觉分析系统
CN107463887A (zh) * 2017-07-20 2017-12-12 四川长虹电器股份有限公司 列车驾驶员手势智能检查系统及智能检查方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203012418U (zh) * 2012-12-04 2013-06-19 合肥寰景信息技术有限公司 一种基于动作识别的车间流水线操作工操作规范检测及预警系统
CN103676868B (zh) * 2013-12-09 2016-06-29 华南理工大学 一种fpc制造关键工序自动监控与智能分析系统
CN104732710A (zh) * 2013-12-24 2015-06-24 贵州久联民爆器材发展股份有限公司 雷管自动装填生产线人员在岗状态自动监控方法及装置
CN206133290U (zh) * 2016-10-20 2017-04-26 中山领创网络科技有限公司 一种生产线监控系统
CN106897670B (zh) * 2017-01-19 2020-09-22 南京邮电大学 一种基于计算机视觉的快递暴力分拣识别方法
CN107179683B (zh) * 2017-04-01 2020-04-24 浙江工业大学 一种基于神经网络的交互机器人智能运动检测与控制方法
CN107122798A (zh) * 2017-04-17 2017-09-01 深圳市淘米科技有限公司 基于深度卷积网络的引体向上计数检测方法及装置
CN107194559B (zh) * 2017-05-12 2020-06-05 杭州电子科技大学 一种基于三维卷积神经网络的工作流识别方法
CN107766839B (zh) * 2017-11-09 2020-01-14 清华大学 基于3d卷积神经网络的动作识别方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007120585A2 (en) * 2006-04-12 2007-10-25 Penthera Technologies, Inc. A system and method for delivering content based on demand to a client
CN106650655A (zh) * 2016-12-16 2017-05-10 北京工业大学 一种基于卷积神经网络的动作检测模型
CN106952263A (zh) * 2017-05-19 2017-07-14 江阴东民盛科技有限公司 一种深度自学习视觉分析系统
CN107463887A (zh) * 2017-07-20 2017-12-12 四川长虹电器股份有限公司 列车驾驶员手势智能检查系统及智能检查方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Deep multi-view correspondence for identity-aware multi-target tracking;Hanif, A.等;《2017 International Conference on Digital Image Computing: Techniques and Applications (DICTA)》;20171231;第8页 *

Also Published As

Publication number Publication date
CN108681690A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN108681690B (zh) 一种基于深度学习的流水线人员规范操作检测系统
CN110738135B (zh) 一种工人作业工步规范视觉识别判定与指导方法及系统
CN109871786A (zh) 一种航班地面保障作业规范流程检测系统
CN106625657A (zh) 经由通信网络连接cnc和机器人控制装置而得的机器人系统
CN110781839A (zh) 一种基于滑窗的大尺寸图像中小目标识别方法
CN111325069B (zh) 产线数据处理方法、装置、计算机设备和存储介质
US10970551B2 (en) Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor
CN111178424A (zh) 一种石油化工生产现场安全合规性实时检测系统及方法
CN112560816A (zh) 一种基于YOLOv4的设备指示灯识别方法及系统
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
US11610388B2 (en) Method and apparatus for detecting wearing of safety helmet, device and storage medium
CN117035419B (zh) 企业项目实施智能管理系统及方法
CN116259002A (zh) 一种基于视频的人体危险行为分析方法
CN115169855A (zh) 一种基于数字孪生车间混合数据集的不安全状态检测方法
CN115690496A (zh) 基于YOLOv5的实时区域入侵检测方法
CN113838015B (zh) 一种基于网络协同的电器产品外观缺陷检测方法
CN112633157B (zh) 一种agv工作区域安全性的实时检测方法及系统
US20240005524A1 (en) Video-based systems and methods for generating compliance-annotated motion trails in a video sequence for assessing rule compliance for moving objects
CN108764023B (zh) 一种基于深度学习的传送带上物料检测系统
CN116665305A (zh) 基于计算机视觉和知识图谱的工人行为检测方法和系统
CN116682034A (zh) 一种复杂生产作业场景下危险行为检测方法
US20230068757A1 (en) Work rate measurement device and work rate measurement method
CN108337323B (zh) 一种基于全终端的仪表计量数据ar对比系统和方法
JP2021056671A (ja) 作業状態判別装置、作業状態判別方法およびプログラム
CN110443197A (zh) 一种视觉场景智能理解方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant