CN113780077A - 基于目标检测的作业行为规范检测方法、装置及终端设备 - Google Patents

基于目标检测的作业行为规范检测方法、装置及终端设备 Download PDF

Info

Publication number
CN113780077A
CN113780077A CN202110897147.5A CN202110897147A CN113780077A CN 113780077 A CN113780077 A CN 113780077A CN 202110897147 A CN202110897147 A CN 202110897147A CN 113780077 A CN113780077 A CN 113780077A
Authority
CN
China
Prior art keywords
target
video frames
synchronous video
detection
object set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110897147.5A
Other languages
English (en)
Inventor
陈继祖
王晨
赵志武
宋家才
马成
曹慧平
林畅华
刘宝刚
张�浩
韩金珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Deep Combustion Gas Technology Research Institute
Shenzhen Laida Siwei Information Technology Co ltd
Shenzhen Gas Corp Ltd
Original Assignee
Shenzhen Deep Combustion Gas Technology Research Institute
Shenzhen Laida Siwei Information Technology Co ltd
Shenzhen Gas Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Deep Combustion Gas Technology Research Institute, Shenzhen Laida Siwei Information Technology Co ltd, Shenzhen Gas Corp Ltd filed Critical Shenzhen Deep Combustion Gas Technology Research Institute
Priority to CN202110897147.5A priority Critical patent/CN113780077A/zh
Publication of CN113780077A publication Critical patent/CN113780077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于目标检测的作业行为规范检测方法、装置及终端设备，所述方法包括获取场站对应的若干同步视频帧；基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象；若携带目标对象集中的所有目标对象，则判定工作人员作业行为符合规范。本申请通过同步获取若干视频帧，并通过目标检测模型来确定若干视频帧中是否携带目标对象集中的所有目标对象以检测工作人员作业行为，这样基于深度卷积神经网络的人体姿态估计测试模型具有强大的运算能力，可以大幅度提高人员姿态检测的速度。

Description

基于目标检测的作业行为规范检测方法、装置及终端设备
技术领域
本申请涉及图像分析及行为识别技术领域，特别涉及一种基于目标检测的作业行为规范检测方法、装置及终端设备。
背景技术
输配公司燃气运送过程有以下作业规范：(1)槽车驶入场站前，场站工作人员需围绕槽车行走一周检查车辆状况；(2)槽车停止在装车区后，执行装车卸车作业前，场站工作人员需要在车轮处放置防滑垫，放置车辆意外移动；(3)槽车停止在卸车区后，执行装车卸车作业前，场站工作人员需要在车辆前方放置警示牌，提示无关人员不得靠近。而对于人工作业方式存在劳动强度大、工作效率低、人员安全性差等特点，尤其在恶劣天气和和复杂地形等条件下更加明显，并且如何判断工作人员是否依照规范作业是本领域技术人员亟待解决的问题。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于目标检测的作业行为规范检测方法、装置及终端设备。
为了解决上述技术问题，本申请实施例第一方面提供了一种基于目标检测的作业行为规范的检测方法，所述方法包括：
获取场站对应的若干同步视频帧；
基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象；
若携带目标对象集中的所有目标对象，则判定工作人员作业行为符合规范。
所述基于目标检测的作业行为规范的检测方法，其中，所述方法还包括：
若未携带目标对象集中的所有目标对象，则获取若干同步视频帧的获取时间与槽车进入场站预设区域的进入时间的时间间隔；
若该时间间隔达到预设时长，则基于经过训练的目标识别模型以及获取到的若干同步视频帧确定工作人员对应的行为信息；
基于所述行为信息以及预设行为规范，确定工作人员的违规操作。
所述基于目标检测的作业行为规范的检测方法，其中，所述方法还包括：
若该时间间隔未达到预设时长，则继续执行获取场站对应的若干同步视频帧，直至获取到的若干同步视频帧携带目标对象集中的所有目标对象或者时间间隔达到预设时长。
所述基于目标检测的作业行为规范的检测方法，其中，所述若干同步视频帧通过若干成像设备同步拍摄得到，并且若干同步视频帧与若干成像设备一一对应。
所述基于目标检测的作业行为规范的检测方法，其中，若干成像设备自身包括槽车前置摄像头，槽车后置摄像头，以及场站内的固定摄像头和/或移动摄像头。
所述基于目标检测的作业行为规范的检测方法，其中，所述基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象具体包括：
将若干同步视频帧中的各同步视频帧分别输入经过训练的目标检测模型，通过目标检测模型输出各同步视频帧各自携带的参考对象；
将获取到所有参考对象与目标对象集进行匹配，以确定若干同步视频帧是否携带目标对象集中的所有目标对象。
所述基于目标检测的作业行为规范的检测方法，其中，所述目标对象集包括槽车、工作人员、防滑垫以及警示牌。
本申请实施例第二方面提供了一种基于目标检测的作业行为规范检测装置，所述的检测装置包括：
获取模块，用于获取场站对应的若干同步视频帧；
确定模块，用于基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象；
判定模块，用于当携带目标对象集中的所有目标对象时，判定工作人员作业行为符合规范。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于目标检测的作业行为规范检测方法中的步骤。
本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的基于目标检测的作业行为规范检测方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种基于目标检测的作业行为规范检测方法、装置及终端设备，所述方法包括获取场站对应的若干同步视频帧；基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象；若携带目标对象集中的所有目标对象，则判定工作人员作业行为符合规范。本申请通过同步获取若干视频帧，并通过目标检测模型来确定若干视频帧中是否携带目标对象集中的所有目标对象以检测工作人员作业行为，这样基于深度卷积神经网络的人体姿态估计测试模型具有强大的运算能力，可以大幅度提高人员姿态检测的速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的基于目标检测的作业行为规范检测方法的流程图。
图2为本申请提供的基于目标检测的作业行为规范检测装置的结构原理图。
图3为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种基于目标检测的作业行为规范检测方法、装置及终端设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸显示屏和/或触摸板)的移动电话，膝上形计算机或平板计算机之类的其他便携式设备。还应该理解的是，在某些实施例中，所述设备并非便携式通讯设备，而是具有触摸敏感表面(例如，触摸显示屏和/或触摸板)的台式计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备还可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其他物理用户接口设备。
终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、视频会议应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件由于程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数据相机应用程序、数字摄像机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放应用程序等。
可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的第一或多个功能以及终端上显示的相应信息。这样，终端的公共物理框架(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，输配公司燃气运送过程有以下作业规范：(1)槽车驶入场站前，场站工作人员需围绕槽车行走一周检查车辆状况；(2)槽车停止在装车区后，执行装车卸车作业前，场站工作人员需要在车轮处放置防滑垫，放置车辆意外移动；(3)槽车停止在卸车区后，执行装车卸车作业前，场站工作人员需要在车辆前方放置警示牌，提示无关人员不得靠近。而对于人工作业方式存在劳动强度大、工作效率低、人员安全性差等特点，尤其在恶劣天气和和复杂地形等条件下更加明显，并且如何判断工作人员是否依照规范作业是本领域技术人员亟待解决的问题。
为了解决上述问题，在本申请实施例中，获取场站对应的若干同步视频帧；基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象；若携带目标对象集中的所有目标对象，则判定工作人员作业行为符合规范。本申请通过同步获取若干视频帧，并通过目标检测模型来确定若干视频帧中是否携带目标对象集中的所有目标对象以检测工作人员作业行为，这样基于深度卷积神经网络的人体姿态估计测试模型具有强大的运算能力，可以大幅度提高人员姿态检测的速度。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施例提供了一种基于目标检测的作业行为规范检测方法，如图1和图2所示，所述方法包括：
S10、获取场站对应的若干同步视频帧。
具体地，所述若干同步视频帧中的各视频帧各自对应的拍摄时间相同，也就是说，若干同步视频帧是通过若干成像设备同步拍摄得到，并且若干同步视频帧与若干成像设备一一对应。可以理解的是，若干成像设备同时接收到拍摄指令，并各自基于各自接收到拍摄指令对各自的拍摄范围进行拍摄，以得到各自对应的视频帧，从而可以得到若干同步视频帧。其中，若干同步视频帧中的每个视频帧对应的拍摄场景均包含于场站内，并且各同步视频帧各自对应的拍摄场景可以不相同。也就是说，各成像设备各自拍摄场站中不同区域，这样通过拍摄得到的若干同步视频帧可以获取到场站各区域的图像信息。
在本实施例的一个实现方式中，所述若干成像设备自身包括槽车前置摄像头，槽车后置摄像头，以及场站内的固定摄像头和/或移动摄像头。其中，场站内的固定摄像头以及移动摄像头均用拍摄预设区域内的区域图像，预设区域包括场站中用于停放槽车的场站区域，例如，预设区域的区域中心与用于停放槽车的场站区域的中心相同，区域形状与用于停放槽车的场站区域的区域形状相同，区域尺寸为用于停放槽车的场站区域的区域尺寸的2倍等。
S20、基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象。
具体地，所述目标检测模型为经过训练的网络模型，通过目标检测模型可以检测出视频帧携带的参考对象，其中，目标检测模型可以为深度学习模块，例如，深度卷积神经网络等。此外，目标对象集为预先设定，用于衡量工作人员作业行为是否符合规范的衡量依据。由于输配公司燃气运送过程有以下作业规范：(1)槽车驶入场站前，场站工作人员需围绕槽车行走一周检查车辆状况；(2)槽车停止在装车区后，执行装车卸车作业前，场站工作人员需要在车轮处放置防滑垫，放置车辆意外移动；(3)槽车停止在卸车区后，执行装车卸车作业前，场站工作人员需要在车辆前方放置警示牌，提示无关人员不得靠近。从而，所述目标对象集可以包括槽车、工作人员、防滑垫以及警示牌，以通过检测若干同步视频帧中是否携带有槽车、工作人员、防滑垫以及警示牌来确定工作人员作业行为是否符合规范。
此外，在输配公司燃气运送过程中，槽车、防滑垫以及警示牌均需要放置各自对应的指定位置，从而在确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象时，还需要确定目标对象集中的各目标对象是否均位于指定位置，当目标对象集中的各目标对象均位于指定位置，才会判定若干同步视频帧携带目标对象集中的所有目标对象。由此，目标检测模型检测在同步视频帧中的参考对象时，也会检测参考对象在同步视频帧中的位置信息，以便于基于位置信息确定参考对象以及参考对象对应的位置信息，来确定若干同步视频中是否携带目标对象集中的所有目标对象。
在本实施例的一个实现方式中，所述基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象具体包括：
将若干同步视频帧中的各同步视频帧分别输入经过训练的目标检测模型，通过目标检测模型输出各同步视频帧各自携带的参考对象；
将获取到所有参考对象与目标对象集进行匹配，以确定若干同步视频帧是否携带目标对象集中的所有目标对象。
具体地，目标检测模型的输入项为同步视频帧，目标检测模型为同步视频帧携带的参考对象，其中，参考对象包括于目标对象集。可以理解的是，目标检测模型用于在同步视频帧中检测目标对象集中的目标对象，同步视频帧可以包括目标对象集中的一个目标对象，也可以包括目标对象集中的多个目标对象，还可以未包括目标对象集中的目标对象。相应的，目标检测模型可以检测到一个参考对象，也可以检测到多个参考对象，还可以未检测到参考对象。例如，目标对象集包括槽车、工作人员、防滑垫和警示牌，同步视频帧中携带有工作人员，那么目标检测模型可以检测到一个参考对象，该参考对象为目标对象集中的工作人员。
在本实施例的一个实现方式中，若干同步视频帧中的各同步视频帧可以携带有不同的参考对象，从而在获取到若干同步视频帧后，通过目标检测模型分别获取各同步视频帧各自携带参考对象，然后将获取到的所有参考对象进行去重处理，以去除获取到的所有参考对象中的重复参考对象，从而得到参考对象集；然后将参考对象集与目标对象集进行比对，若目标对象集中的每个目标对象均包括于参考对象集中，则若干同步视频帧携带目标对象集中的所有目标对象；反之，若至少存在一目标对象为包含于参考对象集中，则若干同步视频帧未携带目标对象集中的所有目标对象。
在本实施例的一个实现方式中，所述目标检测模型的训练过程可以包括获取训练样本集，基于训练样本集中的各训练样本对预设检测网络进行训练，以得到目标检测模型。其中，训练样本集包括若干训练视频帧，若干训练视频帧中的每个训练视频帧至少携带一目标对象，预设检测网络配置的默认对象为目标对象集中的所有目标对象。也就是说，预设检测网络将目标对象集中的所有目标对象配置有默认对象，通过训练样本集对预设检测网络进行，以使得经过训练的预设网络模型可以识别出视频帧中携带目标对象，即目标检测模型可以检测是同步视频帧携带的目标对象。例如，目标对象集包括槽车、工作人员、防滑垫以及警示牌，预设检测网络配置的默认对象包括槽车、工作人员、防滑垫以及警示牌，训练样本集中的每个训练视频帧均至少携带有槽车、工作人员、防滑垫以及警示牌中的一种，如，训练视频帧A携带有槽车，训练视频帧B携带有防滑垫等。
在本实施例的一个实现方式中，由于在输配公司燃气运送过程中，需要槽车停放至其对应的指定位置后，工作人员才会放置防滑垫和警示牌。也就是说，在检测目标对象集中的所有对象时，可以先确定若干同步视频中是否携带有槽车，当检测到槽车时会判断槽车是否位于槽车对应的指定位置，当槽车位于其对应的指定位置后，确定该槽车在指定位置的停放时长，当停放时长达到目标时长后，才会检测工作人员、防滑垫以及警示牌。
基于此，基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象的过程可以为：
基于经过训练的目标检测模型确定若干同步视频帧携带的所有参考对象，并确定所有参考对象中是否包括槽车；
若存在槽车，则同步视频帧与首次检测到槽车的候选视频帧之间的时间间隔，以确定槽车的停放时长；
当停放时长未达到指定时长时，则继续执行获取若干同步视频帧的步骤，直至停放时长达到指定时长；
当停放时长达到指定时长时，检测所有参考对象中是否携带工作人员、防滑垫以及警示牌，以确定若干同步视频帧是否携带目标对象集中的所有目标对象。
S30、若携带目标对象集中的所有目标对象，则判定工作人员作业行为符合规范。
具体地，所述携带目标对象集中的所有目标对象指的是若干同步视频帧形成的视频帧集中携带有目标对象集中的所有目标对象，并且各目标对象均位于各自对应的指定位置，其中，每个目标对象可以存在于一个同步视频帧内，也可以存储于多个同步视频帧内，并且对于目标图像集中的每个目标对象，若干同步视频帧中至少存在一个同步视频帧，该目标对象包含于该同步视频帧内。此外，当若干同步视频帧内携带所有目标对象时，说明工作人员已经将目标对象放置在目标对象的指定位置，从而判定工作人员作业行为规范。例如，目标对象包括槽车、工作人员、防滑垫以及警示牌，当根据若干同步视频帧确定槽车、防滑垫以及警示牌均位于各自对应的指定位置时，说明工作人员作业行为符合规范。
在本实施例的一个实现方式中，所述的检测方法还包括：
S40、若未携带目标对象集中的所有目标对象，则获取若干同步视频帧的获取时间与槽车进入场站预设区域的进入时间的时间间隔；
S50、若该时间间隔未达到预设时长，则继续执行获取场站对应的若干同步视频帧，直至获取到的若干同步视频帧携带目标对象集中的所有目标对象或者时间间隔达到预设时长；
S60、若该时间间隔达到预设时长，则基于经过训练的目标识别模型以及获取到的若干同步视频帧确定工作人员对应的行为信息，并基于所述行为信息以及预设行为规范，确定工作人员的违规操作。
具体地，预设区域为场站内预先设定的用于停放槽车的区域，时间间隔用于反映槽车在场站预设区域的停留时间，其中，获取若干同步视频帧的获取时间与槽车进入场站预设区域的进入时间的时间间隔的前提是若干同步视频帧携带有槽车，也就是说，在若干同步视频帧携带槽车但未携带有目标对象集中的所有目标对象的情况下，获取若干同步视频帧的获取时间与槽车进入场站预设区域的进入时间的时间间隔。此外，获取时间为若干同步视频帧的拍摄时间，由于若干同步视频帧为同步拍摄的，从而各同步视频帧各自对应的拍摄时间相同，由此，在获取若干同步视频帧的获取时间与槽车进入场站预设区域的进入时间的时间间隔时，可以获取若干同步视频帧中任一同步视频帧的拍摄时间，以及槽车进入场站预设区域的进入时间；再基于获取到的拍摄时间以及进入时间来计算时间间隔。
此外，预设时长为预先设置的，用于限定工作人员将目标对象放置于目标对象对应的指定位置的最大时长，当预设间隔时间达到预设时长时，说明工作人员为按照规范将目标对象放置于指定位置；反之，当预设间隔时间未达到预设时长时，说明工作人员还未违反工作规范，可以是在将目标对象放置于指定位置的过程中，因而此时继续执行获取场站对应的若干同步视频帧，直至获取到的若干同步视频帧携带目标对象集中的所有目标对象或者时间间隔达到预设时长。预设行为规范为预先设定的正确行为规范，通过将预设行为规范与识别到的行为信息进修比较，可以确定工作人员不符合行为规范的行为。
在本实施例的一个实现方式中，所述目标识别模型为经过训练的，用于识别同步视频帧的工作人员的行为信息，其中，行为信息可以包括立岗、瞭望、手握大闸、玩手机、平躺睡觉以及摇臂等。可以理解的是，目标识别模型的输入项为同步视频帧，输出项为同步视频帧中的工作人员的行为信息，例如，站岗、玩手机等。所述目标识别模型可以采用基于回归的神经网络模型，这样将场站的工作人员行为的检测问题作为回归问题来求解，可以实现端到端优化，从而可以高效的检测工作人员的工作行为信息。
在本实施例的一个实现方式中，所述目标识别模型的训练过程可以为：对采集的历史同步视频数据进行抽帧处理，并对各抽取到的各同步数据帧进行标注，以形成训练数据集，其中，标注可以包括用于表征工作人员行为的框图位置信息以及行为类别，并且各同步数据帧各自对应的行为类别均为预设行为类别集中的一预设行为类别；利用训练数据集对基于回归的预设神经网络进行迭代训练，直至所述预设神经网络的检测精度和检测速度满足预设要求，以得到目标识别模型。此外，所述预设行为类别集为未符合安全标准的工作行为类别的集合，其中，预设行为类别集可以包括立岗、瞭望、手握大闸、玩手机、平躺睡觉以及摇臂等。
在本实施例的一个实现方式中，所述目标识别模型可以包括若干卷积单元，若干卷积单元中的每个卷积单元均包括若干卷积层和一池化层，若干卷积层依次级联后与池化层相连接。例如，目标识别模型包括4个卷积单元，每个卷积单元包括两个卷积层和一个池化层，两个卷积层级联后再与池化层级联，其中，第一卷积层到第六卷积层的卷积核数量分别是由64、128、256、256、512以及512，并且各卷积核的卷积核尺寸均为3x3，步长stride为1，填充padding为1，第七卷积层是由512个3x3的卷积核组成，步长stride为1，第八卷积层是由512个2x2的卷积核组成，步长stride为1。此外，每层卷积层都采用如下公式对输入数据做归一化处理：
Figure BDA0003198303670000111
其中，E[x(k)]表示每一批训练数据神经元x(k)的平均值；
Figure BDA0003198303670000112
表示每一批数据神经元x(k)激活度的一个标准差。
此外，在训练目标识别模型时，可以采用batch随机梯度下降的方式进行训练，训练过程中的损失函数可以采用AM-softmax损失函数，其表达式可以为：
Figure BDA0003198303670000121
其中，cosθyi表示计算样本在行为类别上的区域，cosθyi-m是要求行为类别间的区域至少有超参数m的间隔，s为超参数，用于将cos值的区间扩大s倍；yi表示行为类别，c表示行为类别数量，j表示第j个行为类别；
Figure BDA0003198303670000122
表示行为类别yi对应的权重系数。
在本实施例的一个实现方式中，所述的检测方法还包括：在判定工作人员作业行为符合规范时，可以发送警报信息到云端服务器，以使得云端服务器在接收到报警信息后，记录此次的违规日志，并在第一预设时间内发送信息至该场站的安全管理人员的终端设备。当然，在检测到工作人员的违规行为时，也可以将违规行为发送到云端服务器，以使得云端服务器可以获取到工作人员的违规行为。
综上所述，本实施例提供了一种基于目标检测的作业行为规范检测方法、装置及终端设备，所述方法包括获取场站对应的若干同步视频帧；基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象；若携带目标对象集中的所有目标对象，则判定工作人员作业行为符合规范。本申请通过同步获取若干视频帧，并通过目标检测模型来确定若干视频帧中是否携带目标对象集中的所有目标对象以检测工作人员作业行为，这样基于深度卷积神经网络的人体姿态估计测试模型具有强大的运算能力，可以大幅度提高人员姿态检测的速度。
基于上述基于目标检测的作业行为规范检测方法，本实施例提供了一种基于目标检测的作业行为规范检测装置，如图2所示，所述的检测装置包括：
获取模块100，用于获取场站对应的若干同步视频帧；
确定模块200，用于基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象；
判定模块300，用于当携带目标对象集中的所有目标对象时，判定工作人员作业行为符合规范。
基于上述基于目标检测的作业行为规范检测方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于目标检测的作业行为规范检测方法中的步骤。
基于上述基于目标检测的作业行为规范检测方法，本申请还提供了一种终端设备，如图3所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述基于目标检测的作业行为规范检测装置的工作过程，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于目标检测的作业行为规范检测方法，其特征在于，所述方法包括：
获取场站对应的若干同步视频帧；
基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象；
若携带目标对象集中的所有目标对象，则判定工作人员作业行为符合规范。
2.根据权利要求1所述基于目标检测的作业行为规范检测方法，其特征在于，所述方法还包括：
若未携带目标对象集中的所有目标对象，则获取若干同步视频帧的获取时间与槽车进入场站预设区域的进入时间的时间间隔；
若该时间间隔达到预设时长，则基于经过训练的目标识别模型以及获取到的若干同步视频帧确定工作人员对应的行为信息；
基于所述行为信息以及预设行为规范，确定工作人员的违规操作。
3.根据权利要求2所述基于目标检测的作业行为规范检测方法，其特征在于，所述方法还包括：
若该时间间隔未达到预设时长，则继续执行获取场站对应的若干同步视频帧，直至获取到的若干同步视频帧携带目标对象集中的所有目标对象或者时间间隔达到预设时长。
4.根据权利要求1所述基于目标检测的作业行为规范检测方法，其特征在于，所述若干同步视频帧通过若干成像设备同步拍摄得到，并且若干同步视频帧与若干成像设备一一对应。
5.根据权利要求4所述基于目标检测的作业行为规范检测方法，其特征在于，若干成像设备自身包括槽车前置摄像头，槽车后置摄像头，以及场站内的固定摄像头和/或移动摄像头。
6.根据权利要求1所述基于目标检测的作业行为规范检测方法，其特征在于，所述基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象具体包括：
将若干同步视频帧中的各同步视频帧分别输入经过训练的目标检测模型，通过目标检测模型输出各同步视频帧各自携带的参考对象；
将获取到所有参考对象与目标对象集进行匹配，以确定若干同步视频帧是否携带目标对象集中的所有目标对象。
7.根据权利要求1所述基于目标检测的作业行为规范检测方法，其特征在于，所述目标对象集包括槽车、工作人员、防滑垫以及警示牌。
8.一种基于目标检测的作业行为规范检测装置，其特征在于，所述的检测装置包括：
获取模块，用于获取场站对应的若干同步视频帧；
确定模块，用于基于经过训练的目标检测模型，确定获取到的若干同步视频帧是否携带目标对象集中的所有目标对象；
判定模块，用于当携带目标对象集中的所有目标对象时，判定工作人员作业行为符合规范。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的基于目标检测的作业行为规范检测方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的基于目标检测的作业行为规范检测方法中的步骤。
CN202110897147.5A 2021-08-05 2021-08-05 基于目标检测的作业行为规范检测方法、装置及终端设备 Pending CN113780077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110897147.5A CN113780077A (zh) 2021-08-05 2021-08-05 基于目标检测的作业行为规范检测方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110897147.5A CN113780077A (zh) 2021-08-05 2021-08-05 基于目标检测的作业行为规范检测方法、装置及终端设备

Publications (1)

Publication Number Publication Date
CN113780077A true CN113780077A (zh) 2021-12-10

Family

ID=78836740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110897147.5A Pending CN113780077A (zh) 2021-08-05 2021-08-05 基于目标检测的作业行为规范检测方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN113780077A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882597A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 一种目标行为的识别方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065275A (zh) * 2009-11-17 2011-05-18 中国科学院电子学研究所 智能视频监控系统中多目标跟踪方法
CN110287856A (zh) * 2019-06-21 2019-09-27 上海闪马智能科技有限公司 一种执勤人员行为分析系统、方法及装置
CN111507278A (zh) * 2020-04-21 2020-08-07 浙江大华技术股份有限公司 一种检测路障的方法、装置及计算机设备
CN111783744A (zh) * 2020-07-31 2020-10-16 上海仁童电子科技有限公司 一种操作现场安全防护检测方法及装置
CN112597965A (zh) * 2021-01-05 2021-04-02 株洲中车时代电气股份有限公司 一种驾驶行为识别方法、装置和计算机可读存储介质
CN112633196A (zh) * 2020-12-28 2021-04-09 浙江大华技术股份有限公司 人体姿态检测方法、装置和计算机设备
CN112766050A (zh) * 2020-12-29 2021-05-07 富泰华工业（深圳）有限公司 着装及作业检查方法、计算机装置及存储介质
CN113095132A (zh) * 2021-03-04 2021-07-09 北京市燃气集团有限责任公司 一种基于神经网络的燃气现场目标检测和行为识别方法、系统、终端及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065275A (zh) * 2009-11-17 2011-05-18 中国科学院电子学研究所 智能视频监控系统中多目标跟踪方法
CN110287856A (zh) * 2019-06-21 2019-09-27 上海闪马智能科技有限公司 一种执勤人员行为分析系统、方法及装置
CN111507278A (zh) * 2020-04-21 2020-08-07 浙江大华技术股份有限公司 一种检测路障的方法、装置及计算机设备
CN111783744A (zh) * 2020-07-31 2020-10-16 上海仁童电子科技有限公司 一种操作现场安全防护检测方法及装置
CN112633196A (zh) * 2020-12-28 2021-04-09 浙江大华技术股份有限公司 人体姿态检测方法、装置和计算机设备
CN112766050A (zh) * 2020-12-29 2021-05-07 富泰华工业（深圳）有限公司 着装及作业检查方法、计算机装置及存储介质
CN112597965A (zh) * 2021-01-05 2021-04-02 株洲中车时代电气股份有限公司 一种驾驶行为识别方法、装置和计算机可读存储介质
CN113095132A (zh) * 2021-03-04 2021-07-09 北京市燃气集团有限责任公司 一种基于神经网络的燃气现场目标检测和行为识别方法、系统、终端及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882597A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 一种目标行为的识别方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN109508688B (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
US8792722B2 (en) Hand gesture detection
US20120027263A1 (en) Hand gesture detection
CN107679475B (zh) 门店监控评价方法、装置及存储介质
CN111008640A (zh) 图像识别模型训练及图像识别方法、装置、终端及介质
TW202121233A (zh) 影像處理方法、處理器、電子設備、儲存媒介
US20190294863A9 (en) Method and apparatus for face classification
CN112100425B (zh) 基于人工智能的标签标注方法、装置、电子设备及介质
CN113436100B (zh) 用于修复视频的方法、装置、设备、介质和产品
CN111738403B (zh) 一种神经网络的优化方法及相关设备
CN109063558A (zh) 一种图像分类处理方法、移动终端及计算机可读存储介质
WO2022095359A1 (zh) 基于防摄屏的信息安全保护方法、装置、电子设备及介质
CN105224913A (zh) 一种物品数量检测方法及装置
CN110751218A (zh) 图像分类方法、图像分类装置及终端设备
CN116168038B (zh) 一种图像翻拍检测的方法、装置、电子设备及存储介质
CN110059212A (zh) 图像检索方法、装置、设备及计算机可读存储介质
CN114049568A (zh) 基于图像比对的标的物形变检测方法、装置、设备及介质
CN113780077A (zh) 基于目标检测的作业行为规范检测方法、装置及终端设备
CN110909578A (zh) 一种低分辨率图像识别方法、装置和存储介质
CN108776959B (zh) 图像处理方法、装置及终端设备
CN111127327B (zh) 一种图片倾斜检测方法及装置
CN107071231A (zh) 图像变化识别方法及装置
CN113269730A (zh) 图像处理方法、装置、计算机设备及存储介质
CN108829600B (zh) 算法库的测试方法、装置、存储介质和电子设备
CN111353063A (zh) 图片显示方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination