CN111291728A - 违规翻越传输带行为的检测系统及检测设备、检测方法 - Google Patents

违规翻越传输带行为的检测系统及检测设备、检测方法 Download PDF

Info

Publication number
CN111291728A
CN111291728A CN202010192000.1A CN202010192000A CN111291728A CN 111291728 A CN111291728 A CN 111291728A CN 202010192000 A CN202010192000 A CN 202010192000A CN 111291728 A CN111291728 A CN 111291728A
Authority
CN
China
Prior art keywords
image
detection
behavior
processor
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010192000.1A
Other languages
English (en)
Inventor
褚孝国
蔡国忠
赵霞
张南
孙建龙
孙伟生
蔡焕捷
吴坤松
孙晓刚
黄志远
林裕源
黄创宣
洪利丰
乔桂
郭凯
周润洪
罗群峰
庄陈斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou Power Plant Of Huaneng Power International Inc
Beijing Huaneng Xinrui Control Technology Co Ltd
Original Assignee
Shantou Power Plant Of Huaneng Power International Inc
Beijing Huaneng Xinrui Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou Power Plant Of Huaneng Power International Inc, Beijing Huaneng Xinrui Control Technology Co Ltd filed Critical Shantou Power Plant Of Huaneng Power International Inc
Priority to CN202010192000.1A priority Critical patent/CN111291728A/zh
Publication of CN111291728A publication Critical patent/CN111291728A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种违规翻越传输带行为的检测系统及检测设备、检测方法。其中，该系统包括：图像采集设备，设置在传输带的上方，用于实时采集传输带以及传输带周围预设范围内的图像；检测设备，与图像采集设备通信连接，用于检测图像中是否存在违规翻越传输带的行为；报警器，与检测设备通信连接，用于在报警信号的触发下，通过如下至少之一的方式报警：通过语音播报报警和/或通过光信号报警。本申请解决了由于工作人员因缺乏安全意识等原因经常会出现翻越传输带等违反安全生产准则的行为导致存在严重的安全生产事故隐患，同时也给传输带平稳运行造成潜在的风险的技术问题。

Description

违规翻越传输带行为的检测系统及检测设备、检测方法
技术领域
本申请涉及计算机视觉和工业自动化生产监控领域，具体而言，涉及一种违规翻越传输带行为的检测系统及检测设备、检测方法。
背景技术
随着工业生产自动化进程的发展，传输带作为一种高效、便捷的物料自动化传输方式越来越被广泛地应用于煤电、矿山等工业生产领域。
在生产运行中，由于传输带及其支撑机构占地面积较大，工作人员在工作、检修等过程中往往需要反复穿过传输带完成相关工作，部分工作人员因缺乏安全意识等原因经常会出现翻越传输带等违反安全生产准则的行为，不仅会造成严重的安全生产事故隐患，同时也给传输带平稳运行造成潜在的风险。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种违规翻越传输带行为的检测系统及检测设备、检测方法，以至少解决由于工作人员因缺乏安全意识等原因经常会出现翻越传输带等违反安全生产准则的行为导致存在严重的安全生产事故隐患，同时也给传输带平稳运行造成潜在的风险的技术问题。
根据本申请实施例的一个方面，提供了一种违规翻越传输带行为的检测系统，包括：图像采集设备、检测设备以及报警器，其中，图像采集设备，设置在传输带的上方，用于实时采集传输带以及传输带周围预设范围内的图像，并将采集的图像发送至检测设备；检测设备，与图像采集设备通信连接，用于检测图像中是否存在违规翻越传输带的行为，并在检测出图像中存在违规翻越传输带的行为的情况下，向报警器发送报警信号；报警器，与检测设备通信连接，用于在报警信号的触发下，通过如下至少之一的方式报警：通过语音播报报警和/或通过光信号报警。
可选地，检测设备包括：第一处理器以及第二处理器，其中，第一处理器，用于实现检测设备的系统资源调度管理以及从图像采集设备获取图像；第二处理器，与第一处理器连接，用于运行预设深度神经网络模型，通过预设深度神经网络模型检测图像中是否存在违规翻越传输带的行为。
可选地，第一处理器包括ARM处理器，用于运行如下至少之一操作系统：Linux操作系统、WindowsCE操作系统。
可选地，第二处理器包括图形处理器GPU。
可选地，图形处理器GPU包括：图像预处理模块，用于对图像进行如下至少之一处理：对图像的明暗度、色彩色调、噪声、畸变进行矫正处理；目标粗定位检测模块，与图像预处理模块连接，用于从校正处理后的图像中提取疑似行人目标的图像；目标识别模块，与目标粗定位检测模块连接，用于依据骨骼关键点模型对疑似行人目标的图像进行匹配，识别出有效行人目标的图像；轨迹跟踪模块，与目标识别模块连接，用于依据有效行人目标的图像确定有效行人目标的连续运动轨迹，并依据连续运动轨迹判断有效行人目标是否存在违规翻越传输带的行为。
可选地，检测设备还包括：输入输出接口，用于接收以及发送数据。
根据本申请实施例的另一方面，还提供了一种违规翻越传输带行为的检测设备，用于检测传输带以及传输带周围预设范围内的图像中是否存在违规翻越传输带的行为，包括第一处理器、第二处理器以及输入输出接口，其中，第一处理器，用于实现检测设备的系统资源调度管理以及从图像采集设备获取图像；第二处理器，与第一处理器连接，用于运行预设深度神经网络模型，通过预设深度神经网络模型检测图像中是否存在违规翻越传输带的行为；输入输出接口，用于接收以及发送数据。
可选地，第一处理器包括ARM处理器，用于运行如下至少之一操作系统：Linux操作系统、WindowsCE操作系统。
可选地，第二处理器包括图形处理器GPU。
可选地，图形处理器GPU包括：图像预处理模块，用于对图像进行如下至少之一处理：对图像的明暗度、色彩色调、噪声、畸变进行矫正处理；目标粗定位检测模块，与图像预处理模块连接，用于从校正处理后的图像中提取疑似行人目标的图像；目标识别模块，与目标粗定位检测模块连接，用于依据骨骼关键点模型对疑似行人目标的图像进行匹配，识别出有效行人目标的图像；轨迹跟踪模块，与目标识别模块连接，用于依据有效行人目标的图像确定有效行人目标的连续运动轨迹，并依据连续运动轨迹判断有效行人目标是否存在违规翻越传输带的行为。
根据本申请实施例的另一方面，还提供了一种违规翻越传输带行为的检测方法，包括：获取传输带以及传输带周围预设范围内的图像；依据预设深度神经网络模型检测图像中是否存在违规翻越传输带的行为；如果检测出图像中存在违规翻越传输带的行为，发送报警信号。
可选地，依据预设深度神经网络模型检测图像中是否存在违规翻越传输带的行为，包括：对图像的明暗度、色彩色调、噪声、畸变进行矫正处理；从校正处理后的图像中提取疑似行人目标的图像；依据骨骼关键点模型对疑似行人目标的图像进行匹配，识别出有效行人目标的图像；依据有效行人目标的图像确定有效行人目标的连续运动轨迹，并依据连续运动轨迹判断有效行人目标是否存在违规翻越传输带的行为。
本申请实施例还提供了一种存储介质，存储介质用于存储程序，程序运行时控制存储介质所在的设备执行以上的违规翻越传输带行为的检测方法。
本申请实施例还提供了一种处理器，处理器用于运行程序，程序运行时执行以上的违规翻越传输带行为的检测方法。
在本申请实施例中，提供了一种违规翻越传输带行为的检测系统，包括：图像采集设备、检测设备以及报警器，其中，图像采集设备，设置在传输带的上方，用于实时采集传输带以及传输带周围预设范围内的图像，并将采集的图像发送至检测设备；检测设备，与图像采集设备通信连接，用于检测图像中是否存在违规翻越传输带的行为，并在检测出图像中存在违规翻越传输带的行为的情况下，向报警器发送报警信号；报警器，与检测设备通信连接，用于在报警信号的触发下，通过如下至少之一的方式报警：通过语音播报报警和/或通过光信号报警。通过传输带正上方的监控摄像机实时采集传输带周围的图像，然后利用检测设备检测图像中是否存在行人违规翻越行为，如果检测到存在行人违规翻越行为，自动关联声光报警器，提醒管理人员及时进行干预和取证，从而实现了实时检测工作人员是否存在违规翻越传输带的行为，提升了安全生产管理水平的技术效果，进而解决了由于工作人员因缺乏安全意识等原因经常会出现翻越传输带等违反安全生产准则的行为导致存在严重的安全生产事故隐患，同时也给传输带平稳运行造成潜在的风险技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种违规翻越传输带行为的检测系统的结构示意图；
图2是根据本申请实施例的另一种违规翻越传输带行为的检测系统的结构示意图；
图3是根据本申请实施例的另一种违规翻越传输带行为的检测系统的结构示意图；
图4是根据本申请实施例的另一种违规翻越传输带行为的检测系统的结构示意图；
图5是根据本申请实施例的一种违规翻越传输带行为的检测系统的应用场景示意图；
图6是根据本申请实施例的一种违规翻越传输带行为的检测设备的结构图；
图7是根据本申请实施例的另一种违规翻越传输带行为的检测设备的结构图；
图8是根据本申请实施例的一种违规翻越传输带行为的检测方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例，提供了一种违规翻越传输带行为的检测系统的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的一种违规翻越传输带行为的检测系统的结构示意图，如图1所示，该检测系统包括：
图像采集设备10、检测设备12以及报警器14，其中，
图像采集设备10，设置在传输带12的上方，用于实时采集传输带以及传输带周围预设范围内的图像，并将采集的图像发送至检测设备12。
根据本申请的一个可选的实施例，图像采集设备10为工业级高清摄像机，安装在待检测的传输带及其附属机构上方。摄像机的图像传感器为CCD或可选的CMOS方式。配套光学镜头可根据检测范围、拍摄高度、传感器靶面尺寸灵活选择；对传输带及其附属机构采集25FPS的高清实时监控图像，图像中行人目标成像质量需不低于100像素，画面中无明显遮挡目标的建筑物或临时物体。摄像机视频图像采用数字流，通过百兆或千兆以太网络接入检测设备12。
检测设备12，与图像采集设备10通信连接，用于检测图像中是否存在违规翻越传输带的行为，并在检测出图像中存在违规翻越传输带的行为的情况下，向报警器14发送报警信号。
通过检测设备12检测得到的智能检测报警数据和结果通过继电器信号、电平信号等传输到报警器14。
报警器14，与检测设备12通信连接，用于在报警信号的触发下，通过如下至少之一的方式报警：通过语音播报报警和/或通过光信号报警。
根据本申请的一个可选的实施例，上述报警器14为声光报警器。
通过上述系统，通过传输带正上方的监控摄像机实时采集传输带周围的图像，然后利用检测设备检测图像中是否存在行人违规翻越行为，如果检测到存在行人违规翻越行为，自动关联声光报警器，提醒管理人员及时进行干预和取证，从而实现了实时检测工作人员是否存在违规翻越传输带的行为，提升了安全生产管理水平的技术效果。
图2是根据本申请实施例的另一种违规翻越传输带行为的检测系统的结构示意图，如图2所示，检测设备12包括：第一处理器120以及第二处理器122，其中，
第一处理器120，用于实现检测设备12的系统资源调度管理以及从图像采集设备10获取图像。
根据本申请的一个可选的实施例，第一处理器120包括ARM处理器，用于运行如下至少之一操作系统：Linux操作系统、WindowsCE操作系统。
检测设备12包括两个处理器，其中第一处理器为ARM，ARM(AsynchronousResponse Mode，ARM)是一种嵌入式高性能微处理器，提供不低于1GHZ/130MIPS高速综合数据运算能力，支持Linux和WindowsCE等通用嵌入式操作系统平台。用于实现整个系统资源调度管理和视频对接管理。
第二处理器122，与第一处理器120连接，用于运行预设深度神经网络模型，通过预设深度神经网络模型检测图像中是否存在违规翻越传输带的行为。
在本申请的一个可选的实施例中，第二处理器122包括图形处理器GPU。
第二处理器122为GPU处理器，GPU模块(Graphics Processing Unit，GPU)，又称为显示核心、视觉处理器、显示芯片。GPU使显卡减少了对CPU的依赖，并进行部分原本CPU的工作，是一种专门在电脑、工作站、工控机等做图像和图形相关运算工作的微处理器，本申请实施例中采用嵌入式GPU芯片及附属装置完成相关图像处理任务。
本申请实施例中采用ARM和GPU双核心、并行运算架构，不仅能够有效提升系统的计算能力，还可以最大程度降低了系统整体功耗、提升了系统的可靠性。
通过GPU部署CNN深度神经网络识别算法，首先通过训练生成人体骨骼关键模型，然后，基于训练好的模型实时检测图像完成目标粗定位、骨骼关键点检测、行人目标检测、轨迹跟踪、异常违规行为检测等一系列检测流程。
传统的违规翻越传输带行为的检测方案一般采用摄像机加工控计算机的方案，工控计算机冗余部件多、功耗高、体积大，只能安装在中控室等室内环境，不利于前端部署；并且长距离传输线路必然增加故障节点，给后期运营维护造成压力。本申请实施例提供的违规翻越传输带行为的检测方案采用上述嵌入式装置，体积小、功耗低、方便灵活，可直接采用与摄像机一样的前端部署方式。上述系统采用摄像机加嵌入式分析结构的设计，可对接第三方摄像机设备，方便灵活。
图3是根据本申请实施例的另一种违规翻越传输带行为的检测系统的结构示意图，如图3所示，上述图形处理器GPU，即第二处理器122包括：
图像预处理模块1220，用于对图像进行如下至少之一处理：对图像的明暗度、色彩色调、噪声、畸变进行矫正处理。
根据本申请的一个可选的实施例，图像预处理模块1220用于对采集的图像进行预处理及区域标定，通过预处理技术对图像的明暗度、色彩色调、噪声、畸变等进行矫正处理，使其真正符合进一步图像分析的基本指标，然后对图像进行坐标标定和布防区域的设置标定。
目标粗定位检测模块1222，与图像预处理模块1220连接，用于从校正处理后的图像中提取疑似行人目标的图像。
根据本申请的一个可选的实施例，目标粗定位检测模块1222用于对图像中的目标进行粗定位检测，采用基本目标检测方法粗略定位和检测图像中的疑似行人目标。通过该目标粗定位检测模块1222只对疑似行人目标进行精细化检测，可最大程度降低图像运算量、节省计算资源。
目标识别模块1224，与目标粗定位检测模块1222连接，用于依据骨骼关键点模型对疑似行人目标的图像进行匹配，识别出有效行人目标的图像。
根据本申请的一个可选的实施例，目标识别模块1224利用训练好的人体骨骼关键模型对目标粗定位检测模块1222粗定位得到的疑似行人目标进行匹配和识别。具体的，通过骨关节模型比对等方法确定有效的行人目标，为下一步的目标跟踪提供基础。
轨迹跟踪模块1226，与目标识别模块1224连接，用于依据有效行人目标的图像确定有效行人目标的连续运动轨迹，并依据连续运动轨迹判断有效行人目标是否存在违规翻越传输带的行为。
在本申请的一些可选的实施例中，轨迹跟踪模块1226对行人目标的识别信息、特征数据等建立关联，形成连续的运动跟踪轨迹，对行人的行为分析提供基础。在轨迹跟踪的基础上，如果行人目标及其运动轨迹与重要标定区域形成相交或跨越，则判断该行人目标存在违规翻越传输带的行为。需要说明的是，该重要标定区域可以是传输带的上方区域。
传统行人及行为检测方法多采用运动目标检测、背景检测等模式实现。其主要原理是利用背景差、帧间差等方法将静止图像背景与运动目标分离出来，并采用形态学、统计学等方法对目标进行分类、估计和轨迹跟踪，通过异常目标形态和异常轨迹特征的检测实现事件报警。基于背景差、帧间差等方法并不能真正识别行人目标，因此，在环境较为复杂的场景下存在误报、漏报等诸多风险。上述方法通过深度学习模型进行行人目标检测可以实现在环境较为复杂的场景下依然能够准确识别出行人目标及行为轨迹跟踪。
图4是根据本申请实施例的另一种违规翻越传输带行为的检测系统的结构示意图，如图4所示，检测设备12还包括：输入输出接口124，用于接收以及发送数据。
检测设备12通过输入输出接口124(I/O接口)接收来自图像采集设备10的图像数据，以及将报警信号发送给声光报警器。
图5是根据本申请实施例的一种违规翻越传输带行为的检测系统的应用场景示意图，如图5所示，在待检测的传输带及其附属机构上方安装一台工业级高清摄像机，摄像机的图像传感器为CCD或可选的CMOS方式。配套光学镜头可根据检测范围、拍摄高度、传感器靶面尺寸灵活选择，对传输带及其附属机构的采集25FPS的高清实时监控图像，图像中行人目标成像质量须不低于100像素，画面中无明显遮挡目标的建筑物或临时物体。摄像机视频图像采用数字流，通过百兆或千兆以太网络接入嵌入式人体姿态检测预警装置，智能检测报警数据和结果通过继电器信号、电平信号等传输到声光报警装置。
图6是根据本申请实施例的一种违规翻越传输带行为的检测设备的结构图，如图6所示，该检测设备用于检测传输带以及传输带周围预设范围内的图像中是否存在违规翻越传输带的行为，包括第一处理器60、第二处理器62以及输入输出接口64，其中，
第一处理器60，用于实现检测设备的系统资源调度管理以及从图像采集设备获取图像。
根据本申请的一个可选的实施例，第一处理器60包括ARM处理器，用于运行如下至少之一操作系统：Linux操作系统、WindowsCE操作系统。
检测设备包括两个处理器，其中第一处理器60为ARM，ARM(AsynchronousResponse Mode，ARM)是一种嵌入式高性能微处理器，提供不低于1GHZ/130MIPS高速综合数据运算能力，支持Linux和WindowsCE等通用嵌入式操作系统平台。用于实现整个系统资源调度管理和视频对接管理。
第二处理器62，与第一处理器60连接，用于运行预设深度神经网络模型，通过预设深度神经网络模型检测图像中是否存在违规翻越传输带的行为。
在本申请的一个可选的实施例中，第二处理器62包括图形处理器GPU。
第二处理器62为GPU处理器，GPU模块(Graphics Processing Unit，GPU)，又称为显示核心、视觉处理器、显示芯片。GPU使显卡减少了对CPU的依赖，并进行部分原本CPU的工作，是一种专门在电脑、工作站、工控机等做图像和图形相关运算工作的微处理器，本申请实施例中采用嵌入式GPU芯片及附属装置完成相关图像处理任务。
输入输出接口64用于接收以及发送数据。
本申请实施例中采用ARM和GPU双核心、并行运算架构，不仅能够有效提升系统的计算能力，还可以最大程度降低了系统整体功耗、提升了系统的可靠性。
传统的违规翻越传输带行为的检测方案一般采用摄像机加工控计算机的方案，工控计算机冗余部件多、功耗高、体积大，只能安装在中控室等室内环境，不利于前端部署；并且长距离传输线路必然增加故障节点，给后期运营维护造成压力。本申请实施例提供的违规翻越传输带行为的检测方案采用上述嵌入式装置，体积小、功耗低、方便灵活，可直接采用与摄像机一样的前端部署方式。
通过GPU部署CNN深度神经网络识别算法，首先通过训练生成人体骨骼关键模型，然后，基于训练好的模型实时检测图像完成目标粗定位、骨骼关键点检测、行人目标检测、轨迹跟踪、异常违规行为检测等一系列检测流程。
图7是根据本申请实施例的另一种违规翻越传输带行为的检测设备的结构图，如图7所示，图形处理器GPU(即第二处理器62)包括：
图像预处理模块620，用于对图像进行如下至少之一处理：对图像的明暗度、色彩色调、噪声、畸变进行矫正处理。
根据本申请的一个可选的实施例，图像预处理模块620用于对采集的图像进行预处理及区域标定，通过预处理技术对图像的明暗度、色彩色调、噪声、畸变等进行矫正处理，使其真正符合进一步图像分析的基本指标，然后对图像进行坐标标定和布防区域的设置标定。
目标粗定位检测模块622，与图像预处理模块620连接，用于从校正处理后的图像中提取疑似行人目标的图像。
根据本申请的一个可选的实施例，目标粗定位检测模块622用于对图像中的目标进行粗定位检测，采用基本目标检测方法粗略定位和检测图像中的疑似行人目标。通过该目标粗定位检测模块622只对疑似行人目标进行精细化检测，可最大程度降低图像运算量、节省计算资源。
目标识别模块624，与目标粗定位检测模块622连接，用于依据骨骼关键点模型对疑似行人目标的图像进行匹配，识别出有效行人目标的图像。
根据本申请的一个可选的实施例，目标识别模块624利用训练好的人体骨骼关键模型对目标粗定位检测模块622粗定位得到的疑似行人目标进行匹配和识别。具体的，通过骨关节模型比对等方法确定有效的行人目标，为下一步的目标跟踪提供基础。
轨迹跟踪模块626，与目标识别模块624连接，用于依据有效行人目标的图像确定有效行人目标的连续运动轨迹，并依据连续运动轨迹判断有效行人目标是否存在违规翻越传输带的行为。
在本申请的一些可选的实施例中，轨迹跟踪模块626对行人目标的识别信息、特征数据等建立关联，形成连续的运动跟踪轨迹，对行人的行为分析提供基础。在轨迹跟踪的基础上，如果行人目标及其运动轨迹与重要标定区域形成相交或跨越，则判断该行人目标存在违规翻越传输带的行为。需要说明的是，该重要标定区域可以是传输带的上方区域。
图8是根据本申请实施例的一种违规翻越传输带行为的检测方法的流程图，如图8所示，该方法包括以下步骤：
步骤S802，获取传输带以及传输带周围预设范围内的图像。
步骤S804，依据预设深度神经网络模型检测图像中是否存在违规翻越传输带的行为。
步骤S806，如果检测出图像中存在违规翻越传输带的行为，发送报警信号。
根据本申请的一个可选的实施例，步骤S804可以通过以下方法实现：对图像的明暗度、色彩色调、噪声、畸变进行矫正处理；从校正处理后的图像中提取疑似行人目标的图像；依据骨骼关键点模型对疑似行人目标的图像进行匹配，识别出有效行人目标的图像；依据有效行人目标的图像确定有效行人目标的连续运动轨迹，并依据连续运动轨迹判断有效行人目标是否存在违规翻越传输带的行为。
本申请实施例还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行以上的违规翻越传输带行为的检测方法。
存储介质用于存储执行以下功能的程序：获取传输带以及传输带周围预设范围内的图像；依据预设深度神经网络模型检测图像中是否存在违规翻越传输带的行为；如果检测出图像中存在违规翻越传输带的行为，发送报警信号。
本申请实施例还提供了一种处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行以上的违规翻越传输带行为的检测方法。
处理器用于运行执行以下功能的程序：获取传输带以及传输带周围预设范围内的图像；依据预设深度神经网络模型检测图像中是否存在违规翻越传输带的行为；如果检测出图像中存在违规翻越传输带的行为，发送报警信号。
本申请实施例还提供了一种处理器，处理器用于运行程序，
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，ReHNXRd-Only Memory)、随机存取存储器(RHNXRM，RHNXRndom HNXRccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种违规翻越传输带行为的检测系统，其特征在于，包括：图像采集设备、检测设备以及报警器，其中，
所述图像采集设备，设置在传输带的上方，用于实时采集所述传输带以及所述传输带周围预设范围内的图像，并将采集的所述图像发送至所述检测设备；
所述检测设备，与所述图像采集设备通信连接，用于检测所述图像中是否存在违规翻越所述传输带的行为，并在检测出所述图像中存在违规翻越所述传输带的行为的情况下，向所述报警器发送报警信号；
所述报警器，与所述检测设备通信连接，用于在所述报警信号的触发下，通过如下至少之一的方式报警：通过语音播报报警和/或通过光信号报警。
2.根据权利要求1所述的检测系统，其特征在于，所述检测设备包括：第一处理器以及第二处理器，其中
所述第一处理器，用于实现所述检测设备的系统资源调度管理以及从所述图像采集设备获取所述图像；
所述第二处理器，与所述第一处理器连接，用于运行预设深度神经网络模型，通过所述预设深度神经网络模型检测所述图像中是否存在违规翻越所述传输带的行为。
3.根据权利要求2所述的检测系统，其特征在于，所述第一处理器包括ARM处理器，用于运行如下至少之一操作系统：Linux操作系统、WindowsCE操作系统。
4.根据权利要求2所述的检测系统，其特征在于，所述第二处理器包括图形处理器GPU。
5.根据权利要求4所述的检测系统，其特征在于，所述图形处理器GPU包括：
图像预处理模块，用于对所述图像进行如下至少之一处理：对所述图像的明暗度、色彩色调、噪声、畸变进行矫正处理；
目标粗定位检测模块，与所述图像预处理模块连接，用于从校正处理后的所述图像中提取疑似行人目标的图像；
目标识别模块，与所述目标粗定位检测模块连接，用于依据骨骼关键点模型对所述疑似行人目标的图像进行匹配，识别出有效行人目标的图像；
轨迹跟踪模块，与所述目标识别模块连接，用于依据所述有效行人目标的图像确定所述有效行人目标的连续运动轨迹，并依据所述连续运动轨迹判断所述有效行人目标是否存在违规翻越所述传输带的行为。
6.根据权利要求1所述的检测系统，其特征在于，所述检测设备还包括：输入输出接口，用于接收以及发送数据。
7.一种违规翻越传输带行为的检测设备，用于检测传输带以及所述传输带周围预设范围内的图像中是否存在违规翻越所述传输带的行为，包括第一处理器、第二处理器以及输入输出接口，其中，
所述第一处理器，用于实现所述检测设备的系统资源调度管理以及从图像采集设备获取所述图像；
所述第二处理器，与所述第一处理器连接，用于运行预设深度神经网络模型，通过所述预设深度神经网络模型检测所述图像中是否存在违规翻越所述传输带的行为；
所述输入输出接口，用于接收以及发送数据。
8.根据权利要求7所述的检测设备，其特征在于，所述第一处理器包括ARM处理器，用于运行如下至少之一操作系统：Linux操作系统、WindowsCE操作系统。
9.根据权利要求7所述的检测设备，其特征在于，所述第二处理器包括图形处理器GPU。
10.根据权利要求9所述的检测设备，其特征在于，所述图形处理器GPU包括：
图像预处理模块，用于对所述图像进行如下至少之一处理：对所述图像的明暗度、色彩色调、噪声、畸变进行矫正处理；
目标粗定位检测模块，与所述图像预处理模块连接，用于从校正处理后的所述图像中提取疑似行人目标的图像；
目标识别模块，与所述目标粗定位检测模块连接，用于依据骨骼关键点模型对所述疑似行人目标的图像进行匹配，识别出有效行人目标的图像；
轨迹跟踪模块，与所述目标识别模块连接，用于依据所述有效行人目标的图像确定所述有效行人目标的连续运动轨迹，并依据所述连续运动轨迹判断所述有效行人目标是否存在违规翻越所述传输带的行为。
11.一种违规翻越传输带行为的检测方法，其特征在于，包括：
获取传输带以及所述传输带周围预设范围内的图像；
依据预设深度神经网络模型检测所述图像中是否存在违规翻越所述传输带的行为；
如果检测出所述图像中存在违规翻越所述传输带的行为，发送报警信号。
12.根据权利要求11所述的方法，其特征在于，依据预设深度神经网络模型检测所述图像中是否存在违规翻越所述传输带的行为，包括：
对所述图像的明暗度、色彩色调、噪声、畸变进行矫正处理；
从校正处理后的所述图像中提取疑似行人目标的图像；
依据骨骼关键点模型对所述疑似行人目标的图像进行匹配，识别出有效行人目标的图像；
依据所述有效行人目标的图像确定所述有效行人目标的连续运动轨迹，并依据所述连续运动轨迹判断所述有效行人目标是否存在违规翻越所述传输带的行为。
CN202010192000.1A 2020-03-18 2020-03-18 违规翻越传输带行为的检测系统及检测设备、检测方法 Pending CN111291728A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010192000.1A CN111291728A (zh) 2020-03-18 2020-03-18 违规翻越传输带行为的检测系统及检测设备、检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010192000.1A CN111291728A (zh) 2020-03-18 2020-03-18 违规翻越传输带行为的检测系统及检测设备、检测方法

Publications (1)

Publication Number Publication Date
CN111291728A true CN111291728A (zh) 2020-06-16

Family

ID=71022812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010192000.1A Pending CN111291728A (zh) 2020-03-18 2020-03-18 违规翻越传输带行为的检测系统及检测设备、检测方法

Country Status (1)

Country Link
CN (1) CN111291728A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112871703A (zh) * 2020-12-30 2021-06-01 天津德通电气股份有限公司 一种智能管理选煤平台及其方法
CN112016528B (zh) * 2020-10-20 2021-07-20 成都睿沿科技有限公司 行为识别方法、装置、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324010A1 (en) * 2008-06-26 2009-12-31 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
CN110647819A (zh) * 2019-08-28 2020-01-03 中国矿业大学 一种井下人员跨越皮带异常行为检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324010A1 (en) * 2008-06-26 2009-12-31 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
CN110647819A (zh) * 2019-08-28 2020-01-03 中国矿业大学 一种井下人员跨越皮带异常行为检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张泰;张为;刘艳艳;: "周界视频监控中人员翻越行为检测算法" *
张瑞等: "基于凸型模板的目标行为识别算法" *
时俊: "基于GCN人体行为识别系统的研究与实现" *
许政: "基于深度学习的人体骨架点检测" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016528B (zh) * 2020-10-20 2021-07-20 成都睿沿科技有限公司 行为识别方法、装置、电子设备及可读存储介质
CN112871703A (zh) * 2020-12-30 2021-06-01 天津德通电气股份有限公司 一种智能管理选煤平台及其方法
CN112871703B (zh) * 2020-12-30 2022-09-06 天津德通电气股份有限公司 一种智能管理选煤平台及其方法

Similar Documents

Publication Publication Date Title
CN110188724B (zh) 基于深度学习的安全帽定位与颜色识别的方法及系统
CN103942850B (zh) 基于视频分析和rfid技术的医护人员在岗监测方法
CN101577812B (zh) 一种岗位监测的方法和系统
US6999004B2 (en) System and method for vehicle detection and tracking
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
CN102750709B (zh) 利用视频检测打架行为的方法和装置
US8189049B2 (en) Intrusion alarm video-processing device
CN100593335C (zh) 一种运动检测方法及装置
CN107948465B (zh) 一种检测摄像头被干扰的方法和装置
CN109711318B (zh) 一种基于视频流的多人脸检测与跟踪方法
CN111931599B (zh) 高空抛物检测方法、设备及存储介质
Liu et al. Moving object detection and tracking based on background subtraction
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
CN110519566B (zh) 一种基于视频处理的皮带运动状态监测方法
CN111291728A (zh) 违规翻越传输带行为的检测系统及检测设备、检测方法
CN112287823A (zh) 一种基于视频监控的面部口罩识别方法
CN113887445A (zh) 一种视频中驻足和徘徊行为识别方法及系统
CN103152558B (zh) 基于场景识别的入侵检测方法
CN104866830B (zh) 一种异常动作检测方法及装置
CN113674314A (zh) 抛洒事件检测方法、装置、电子装置和存储介质
CN115880631A (zh) 一种配电站故障识别系统、方法、介质
KR20150112096A (ko) 지능형 영상 감시 시스템을 위한 납치 상황 인식 방법
CN113283273A (zh) 基于视觉技术的前方障碍物实时检测方法及系统
KR20210008574A (ko) 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법
CN112949606B (zh) 工服穿戴状态检测方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200616