CN112949439A - 一种油罐车重点区域人员入侵监测方法和系统 - Google Patents

一种油罐车重点区域人员入侵监测方法和系统 Download PDF

Info

Publication number
CN112949439A
CN112949439A CN202110195822.XA CN202110195822A CN112949439A CN 112949439 A CN112949439 A CN 112949439A CN 202110195822 A CN202110195822 A CN 202110195822A CN 112949439 A CN112949439 A CN 112949439A
Authority
CN
China
Prior art keywords
behavior
target detection
oil
oil discharge
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110195822.XA
Other languages
English (en)
Inventor
周平
张新光
曹政
翟鹏刚
王顺顺
姚安民
于丽丹
汪源
陈锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huayou Information And Communication Technology Co ltd
China Petroleum Transportation Co ltd
China National Petroleum Corp
Streamax Technology Co Ltd
Original Assignee
Beijing Huayou Information And Communication Technology Co ltd
China Petroleum Transportation Co ltd
China National Petroleum Corp
Streamax Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huayou Information And Communication Technology Co ltd, China Petroleum Transportation Co ltd, China National Petroleum Corp, Streamax Technology Co Ltd filed Critical Beijing Huayou Information And Communication Technology Co ltd
Priority to CN202110195822.XA priority Critical patent/CN112949439A/zh
Publication of CN112949439A publication Critical patent/CN112949439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种油罐车重点区域人员入侵监测方法，涉及入侵检测领域。该方法包括：当车辆信息满足预设情况，则启动采集装油口和卸油口附近区域图像信息，通过改进后的目标检测模型对已预处理后的图像信息进行剪裁，通过人体关键点检测算法提取出剪裁后的图像的人体骨骼关键点坐标，通过训练后的行为识别模型对多帧图像的多个人体骨骼关键点坐标进行分类识别，当识别到不合规卸油的行为时，发起入侵报警，并将不合规卸油的行为的图像数据上传监控平台，通过本方案对采集的图像信息进行处理，识别出疑似不合规卸油等行为，即时通知后台查看、留存视频证据，杜绝不合规卸油行为，可以做到全天候监控，可以将该类不法行为造成的损失降至最低。

Description

一种油罐车重点区域人员入侵监测方法和系统
技术领域
本发明涉及入侵检测领域，尤其涉及一种油罐车重点区域人员入侵监测方法和系统。
背景技术
近年来油罐车被不合规卸油的现象屡见不鲜，油罐车单独停在在路边休息时，以及油罐车在场站内，司机利用空隙时间进行不合规卸油。针对人员入侵油罐车重点区域并进行不合规卸油的现象，目前市面上有一些方案。一类是油箱口加装阀门电子锁，需在指定区域远程下发信息打开锁；另一类是在油箱上设置红外线扫描器或者震动传感器来检测是否有人员入侵行为，但这种方式也是存在高误报率。因此，现有的技术和产品遏制人员不合规卸油的现象并没有起到很好的效果。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种油罐车重点区域人员入侵监测方法和系统。
本发明解决上述技术问题的技术方案如下：
一种油罐车重点区域人员入侵监测方法，包括：
S1，当车辆信息满足预设情况，则启动采集装油口和卸油口附近区域图像信息；
S2，通过改进后的目标检测模型对已预处理后的所述图像信息进行剪裁；
S3，通过人体关键点检测算法提取出剪裁后的所述图像的人体骨骼关键点坐标，其中，每张所述图像包括多个人体骨骼关键点坐标；
S4，通过训练后的行为识别模型对多帧所述图像的多个所述人体骨骼关键点坐标进行分类识别；
S5，当识别到不合规卸油的行为时，发起入侵报警，并将不合规卸油的行为的图像数据上传监控平台。
本发明的有益效果是：本方案根据采集装油口和卸油口附近区域图像信息，通过改进后的目标检测模型、人体关键点检测算法和行为识别模型对采集的图像信息进行处理，识别出疑似不合规卸油等行为，即时通知后台查看、留存视频证据，杜绝不合规卸油行为，可以做到全天候监控，可以将该类不法行为造成的损失降至最低。
本方案利用目标检测、人体关键点识别和行为识别结合的深度学习算法对图像识别分析，判断是否有人员入侵油罐车重点区域，进行不合规卸油的行为，相比较现有的识别方案大大提高了识别准确率，并上传行人入侵行为的视频和图片，可为人员不合规卸油发生后的追踪证据，为后续案件的追踪提供线索。
进一步地，所述S2之前还包括：
通过采用轻量的骨干网络来构建目标检测模型；
根据预设方法更改所述目标检测模型的网络结构，并根据预设数据集训练所述目标检测模型，来获得改进后的目标检测模型。
采用上述进一步方案的有益效果是：本方案通过采用轻量的骨干网络来构建目标检测模型，根据预设方法更改所述目标检测模型的网络结构，并根据预设数据集训练所述目标检测模型来对目标检测模型进行改进，改进后的目标检测模型能够提高检测的准确性和定位的准确性，减少计算量。
进一步地，所述S4之前还包括：
将不合规卸油行为样本数据通过第一标签进行标记；
将标记后无嫌疑行为样本数据通过第二标签进行标记；
根据标记后的不合规卸油行为样本数据和无嫌疑行为样本数据对所述行为识别模型进行训练获得训练后的所述行为识别模型。
采用上述进一步方案的有益效果是：本方案通过根据标记后的不合规卸油行为样本数据和无嫌疑行为样本数据对所述行为识别模型进行训练，
根据不合规卸油行为样本和无嫌疑行为综合判断油罐车重点区域是否有人入侵并进行不合规卸油行为，能够准确检测到人员入侵油罐车重点区域并进行不合规卸油行为，减少误报警现象，提高识别准确率。
进一步地，所述S3具体包括：选取一段时间内的连续图像，通过人体关键点检测算法提取出剪裁后的所述连续图像的人体骨骼关键点坐标；
所述S4具体包括：根据所述连续图像的人体骨骼关键点坐标的图像序列，通过预设循环神经网络判断所述连续图像的前后文信息，并对所述图像序列做分类，并识别所述连续图像的行为。
采用上述进一步方案的有益效果是：本方案根据所述连续图像的人体骨骼关键点坐标的图像序列，通过预设循环神经网络判断所述连续图像的前后文信息，并对所述图像序列做分类，并识别所述连续图像的行为，能够实现准确识别出不合规卸油行为和无嫌疑正常行为，提高识别准确率，减少误判。
进一步地，所述S2具体包括：通过改进后的目标检测模型对已预处理后的所述图像信息根据人体特征的进行剪裁，获得剪裁后的图像；其中，所述目标检测模型是根据目标检测算法构建。
进一步地，当未检测到行人入侵，没有不合规卸油行为，则返回S1步骤继续执行。
采用上述进一步方案的有益效果是：本方案在当未检测到行人入侵，没有不合规卸油行为则继续采集装油口和卸油口附近区域图像信息并处理，可以做到全天候监控，可以有效杜绝不合规卸油行为，同时留存视频证据，可以将该类不法行为造成的损失降至最低。
本发明解决上述技术问题的另一种技术方案如下：
一种油罐车重点区域人员入侵监测系统，包括：图像采集模块、目标剪裁模块、关键点提取模块、分类识别模块和报警上传模块；
所述图像采集模块用于当车辆信息满足预设情况，则启动采集装油口和卸油口附近区域图像信息；
所述目标剪裁模块用于通过改进后的目标检测模型对已预处理后的所述图像信息进行剪裁；
所述关键点提取模块用于通过人体关键点检测算法提取出剪裁后的所述图像的人体骨骼关键点坐标，其中，每张所述图像包括多个人体骨骼关键点坐标；
所述分类识别模块用于通过训练后的行为识别模型对多帧所述图像的多个所述人体骨骼关键点坐标进行分类识别；
所述报警上传模块用于当识别到不合规卸油的行为时，发起入侵报警，并将不合规卸油的行为的图像数据上传监控平台。
本发明的有益效果是：本方案根据采集装油口和卸油口附近区域图像信息，通过改进后的目标检测模型、人体关键点检测算法和行为识别模型对采集的图像信息进行处理，识别出疑似不合规卸油等行为，即时通知后台查看、留存视频证据，杜绝不合规卸油行为，可以做到全天候监控，可以将该类不法行为造成的损失降至最低。
本方案利用目标检测、人体关键点识别和行为识别结合的深度学习算法对图像识别分析，判断是否有人员入侵油罐车重点区域，进行不合规卸油的行为，相比较现有的识别方案大大提高了识别准确率，并上传行人入侵行为的视频和图片，可为人员不合规卸油发生后的追踪证据，为后续案件的追踪提供线索。
进一步地，还包括：模型改进模块，用于通过采用轻量的骨干网络来构建目标检测模型；
根据预设方法更改所述目标检测模型的网络结构，并根据预设数据集训练所述目标检测模型，来获得改进后的目标检测模型。
采用上述进一步方案的有益效果是：本方案通过采用轻量的骨干网络来构建目标检测模型，根据预设方法更改所述目标检测模型的网络结构，并根据预设数据集训练所述目标检测模型来对目标检测模型进行改进，改进后的目标检测模型能够提高检测的准确性和定位的准确性，减少计算量。
进一步地，还包括：行为识别模型训练模块，用于将不合规卸油行为样本数据通过第一标签进行标记；
将标记后无嫌疑行为样本数据通过第二标签进行标记；
根据标记后的不合规卸油行为样本数据和无嫌疑行为样本数据对所述行为识别模型进行训练获得训练后的所述行为识别模型。
采用上述进一步方案的有益效果是：本方案通过根据标记后的不合规卸油行为样本数据和无嫌疑行为样本数据对所述行为识别模型进行训练，
根据不合规卸油行为样本和无嫌疑行为综合判断油罐车重点区域是否有人入侵并进行不合规卸油行为，能够准确检测到人员入侵油罐车重点区域并进行不合规卸油行为，减少误报警现象，提高识别准确率。
进一步地，所述关键点提取模块具体用于选取一段时间内的连续图像，通过人体关键点检测算法提取出剪裁后的所述连续图像的人体骨骼关键点坐标；
所述分类识别模块具体用于根据所述连续图像的人体骨骼关键点坐标的图像序列，通过预设循环神经网络判断所述连续图像的前后文信息，并对所述图像序列做分类并识别所述连续图像的行为。
采用上述进一步方案的有益效果是：本方案根据所述连续图像的人体骨骼关键点坐标的图像序列，通过预设循环神经网络判断所述连续图像的前后文信息，并对所述图像序列做分类，并识别所述连续图像的行为，能够实现准确识别出不合规卸油行为和无嫌疑正常行为，提高识别准确率，减少误判。
进一步地，所述S2具体包括：通过改进后的目标检测模型对已预处理后的所述图像信息根据人体特征的进行剪裁，获得剪裁后的图像；其中，所述目标检测模型是根据目标检测算法构建。
进一步地，还包括：循环监测模块，用于，当未检测到行人入侵，没有不合规卸油行为，则继续采集装油口和卸油口附近区域图像信息。
采用上述进一步方案的有益效果是：本方案在当未检测到行人入侵，没有不合规卸油行为则继续采集装油口和卸油口附近区域图像信息并处理，可以做到全天候监控，可以有效杜绝不合规卸油行为，同时留存视频证据，可以将该类不法行为造成的损失降至最低。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明的实施例提供的一种油罐车重点区域人员入侵监测方法的流程示意图；
图2为本发明的实施例提供的一种油罐车重点区域人员入侵监测系统的结构框图；
图3为本发明的其他实施例提供的人体关键点的示意图；
图4为本发明的其他实施例提供的一种油罐车重点区域人员入侵智能监控系统的硬件系统的示意图；
图5为本发明的其他实施例提供的硬件系统的工作流程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明实施例提供的一种油罐车重点区域人员入侵监测方法，该方法包括：
S1，当车辆信息满足预设情况，则启动采集装油口和卸油口附近区域图像信息；其中，预设情况可以包括装油口和卸油口附近区域视频图像中判出有油箱附近区域是否有人入侵。
在某一实施例中，可以通过设置于车顶装油口和卸油口的防爆摄像头，用于采集油箱区域图像数据；
S2，通过改进后的目标检测模型对已预处理后的图像信息进行剪裁；
需要说明的是，在某实施例中，人体目标检测算法是基于SSD(The Single ShotDetector)目标检测算法经改进得到的。SSD是一个非常经典的单阶段目标检测算法，该算法在多个特征图上设置不同缩放比例和不同宽高比的先验框以融合多尺度特征图进行检测，靠前的大尺度特征图可以捕捉到小物体的信息，而靠后的小尺度特征图能捕捉到大物体的信息，从而提高检测的准确性和定位的准确性。
将该网络进行微调并在特定的数据集上重新训练可以检测出不同的对象。其中，特定的数据集，可以是用于区别于COCO、VOC等泛化数据集的针对性数据集，如针对油罐车对象专门采集的数据集。其中，Microsoft COCO，简称COCO，全称是Microsoft CommonObjects in Context，是一个大型的、丰富的物体检测，分割和字幕数据集。PASCAL VOC简称为VOC，全称是Pattern Analysis,Statistical Modeling and ComputationalLearning Visual Object Classes Challenge，是一个国际顶级的计算机视觉竞赛，竞赛提供了公开数据集被简称为VOC2012，在油罐车重点区域人员入侵智能监控系统中，检测的对象即为行人。微调的内容包括：改用更轻量的骨干网络用于提取图像特征，在新的数据集上聚类获取更合适的先验框，适当更改网络结构，如特征通道数、卷积核大小、输出维度等。其中网络结构更改要目的可以理解为减少计算量，比如原先通道数为128，减少为64；比如原先卷积核大小为5，减小到3，这些操作能减少很多计算量；比如原模型默认输出1000个类别，维度就是1000，实际中不需要那么多类别，就可以减少到10或者更小。通过更改后的网络结构减少了很多计算量。
在某一实施例中，根据人体目标检测算法构建目标检测模型的输入即为经预处理的摄像头图像，其中预处理可以包括如图像剪裁、标准化、增维等，输出为检测出的行人的外接矩形的坐标和相应的置信度，其中置信度可以用于筛选去除误检信息；外接矩形坐标可以帮助从摄影图像中剪裁得到人体部分，为后续人体关键点检测算法奠定基础。
S3，通过人体关键点检测算法提取出剪裁后的图像的人体骨骼关键点坐标，其中，每张图像包括多个人体骨骼关键点坐标；
在某一实施例中，人体关键点检测算法承接目标检测算法，输入是原图经过剪裁的只剩下人体的图像，输出是有序的人体骨骼关键点坐标。关键点检测本质上是一个回归的过程。用于训练的标签是人体关键点相对于检测框中心点的相对坐标。本发明中，人体关键点的数量可以为18个，编号从0到17，如图3所示，人体关键点可以是通过标记出的人员肢体关键点信息，如头部、躯体、四肢关节等，用于判断人员姿态与行为，如站立、半蹲，步行、骑车或不合规卸油行为等。
S4，通过训练后的行为识别模型对多帧图像的多个人体骨骼关键点坐标进行分类识别；需要说明的是，目标检测模型、人体关键点检测算法和行为识别模型可以设置在智能处理终端，用作处理图像数据；
在某实施例中，根据行为识别算法构建行为识别模型的依赖前一步检测出的人体关键点。选取一段时间内的连续图像，根据关键点坐标变化的前后信息，综合判断油罐车重点区域是否有人入侵并进行不合规卸油行为。
在某实施例中，行为识别模型训练可以是：行为识别模型实现人员入侵识别依赖大量数据和长时间的训练。具体来说，需要根据关键点图像序列，通过2D的循环神经网络判断多帧前后文信息，对该序列做分类。训练数据可以由两部分构成：第一部分为不合规卸油行为样本，由工作人员模仿偷油行为采集得到，如模仿其肢体动作，使用油泵、油桶、油管等器械实施盗油行为等；第二部分为无嫌疑样本，如正常的走动、经停等。根据训练数据对行为识别模型进行训练，获得训练后的行为识别模型。
S5，当识别到不合规卸油的行为时，发起入侵报警，并将不合规卸油的行为的图像数据上传监控平台。在某一实施例中，可以通过4G通讯模块上传图像数据，也可以通过其他无线通讯的方式上传，可以根据实际应用需求选择。
在某一实施例中，图像数据经标准化等预处理后，首先由目标检测算法处理，判断监控区域中是否有可疑人员；若检测出有可疑人员，则由人体关键点识别算法进一步处理，标记出人员肢体关键点信息，如头部、躯体、四肢关节等；由肢体关键点信息通过行为识别算法可以进一步判断人员姿态与行为，如站立、半蹲，步行、骑车或不合规卸油行为等。
本方案根据采集装油口和卸油口附近区域图像信息，通过改进后的目标检测模型、人体关键点检测算法和行为识别模型对采集的图像信息进行处理，识别出疑似不合规卸油等行为，即时通知后台查看、留存视频证据，杜绝不合规卸油行为，可以做到全天候监控，可以将该类不法行为造成的损失降至最低。
本方案利用目标检测、人体关键点识别和行为识别结合的深度学习算法对图像识别分析，判断是否有人员入侵油罐车重点区域，进行不合规卸油的行为，相比较现有的识别方案大大提高了识别准确率，并上传行人入侵行为的视频和图片，可为人员不合规卸油发生后的追踪证据，为后续案件的追踪提供线索。
优选地，在上述任意实施例中，S2之前还包括：
通过采用轻量的骨干网络来构建目标检测模型；其中，轻量的骨干网络可以包括如：ResNet18、EfficientNet等等。
根据预设方法更改目标检测模型的网络结构，并根据预设数据集训练目标检测模型，来获得改进后的目标检测模型。
在某实施例中，更改网络结构预设方法可以包括：对网络结构中的特征通道数、卷积核大小、输出维度等进行更改，该网络结构更改主要目的可以理解为减少计算量，比如原先通道数为128，减少为64；比如原先卷积核大小为5，减小到3，这些操作能减少很多计算量；比如原模型默认输出1000个类别，维度就是1000，实际中不需要那么多类别，就可以减少到10或者更小。
本方案通过采用轻量的骨干网络来构建目标检测模型，根据预设方法更改目标检测模型的网络结构，并根据预设数据集训练目标检测模型来对目标检测模型进行改进，改进后的目标检测模型能够提高检测的准确性和定位的准确性，减少计算量。
优选地，在上述任意实施例中，S4之前还包括：
将不合规卸油行为样本数据通过第一标签进行标记；
将标记后无嫌疑行为样本数据通过第二标签进行标记；
根据标记后的不合规卸油行为样本数据和无嫌疑行为样本数据对行为识别模型进行训练获得训练后的行为识别模型。
在某一实施例中，不合规卸油行为可以包括：在卸油口附近长时间(超过180s)站立、半蹲(肢体姿态)；东张西望、左顾右盼(头部姿态)；上肢近距离接触取油口(上肢姿态)；持有偷油专用管道、器械等(互动姿态)，此类行为由实际案例采样，由人工分析判断得到，常意味着不合规卸油行为的发生，具有较高的参考价值，作为不合规卸油行为样本数据。实际中可以根据这些行为持续的时间长短、是否同时出现等综合判断并评定嫌疑等级。如手持油管且长时间站立，可以判定为高度嫌疑；如保持半蹲且左顾右盼可判定为中等嫌疑，如果为走动且快速离开则无嫌疑等。
本方案通过根据标记后的不合规卸油行为样本数据和无嫌疑行为样本数据对行为识别模型进行训练，
根据不合规卸油行为样本和无嫌疑行为综合判断油罐车重点区域是否有人入侵并进行不合规卸油行为，能够准确检测到人员入侵油罐车重点区域并进行不合规卸油行为，减少误报警现象，提高识别准确率。
优选地，在上述任意实施例中，S3具体包括：选取一段时间内的连续图像，通过人体关键点检测算法提取出剪裁后的连续图像的人体骨骼关键点坐标；
S4具体包括：根据连续图像的人体骨骼关键点坐标的图像序列，通过预设循环神经网络判断连续图像的前后文信息，并对图像序列做分类，并识别连续图像的行为。其中预设循环神经网络可以为2D的循环神经网络。
本方案根据连续图像的人体骨骼关键点坐标的图像序列，通过预设循环神经网络判断连续图像的前后文信息，并对图像序列做分类，并识别连续图像的行为，能够实现准确识别出不合规卸油行为和无嫌疑正常行为，提高识别准确率，减少误判。
优选地，S2具体包括：通过改进后的目标检测模型对已预处理后的图像信息根据人体特征的进行剪裁，获得剪裁后的图像；其中，目标检测模型是根据目标检测算法构建。
优选地，在上述任意实施例中，当未检测到行人入侵，没有不合规卸油行为，则返回S1步骤继续执行。
采用上述进一步方案的有益效果是：本方案在当未检测到行人入侵，没有不合规卸油行为则继续采集装油口和卸油口附近区域图像信息并处理，可以做到全天候监控，可以有效杜绝不合规卸油行为，同时留存视频证据，可以将该类不法行为造成的损失降至最低。
在某一实施例中，如图4所示，一种油罐车重点区域人员入侵智能监控系统的硬件系统可以包括：图像采集装置220、智能处理终端221、车载监控终端222和监控平台223。
图像采集装置220可以包括防爆摄像头及固定摄像头的外壳与支架。装置共有两个，一个用来拍摄车顶油箱前方区域，另一个用来拍摄车右侧油箱附近区域，支架用来固定摄像头。摄像头采取高清防爆摄像头，用于采集装油口和卸油口附近区域图像信息，智能处理终端221接收并处理图像信息。
智能处理终端221内置目标检测模型、人体关键点识别检测算法和行为识别模型，用于对采集到的图像进行识别，判断是否有人员入侵油罐车重点区域，进行不合规卸油的行为。
车载监控终端222具有车载视频监控和行车记录功能，可实现视频录像、汽车行驶信息记录和无线数据上传，同时配合监控平台223实现对车辆监控、远程管理及行驶状态数据分析。
系统的工作流程如图5所示，如下步骤：
当车辆速度小于5Km/h时，启动入侵报警检测；
摄像头实时采集到装油口和出油口区域图像，并将图像传给智能处理终端；
智能处理终端接收到图像信息后，利用深度学习算法对图像进行分析，判定是否有人员入侵油罐车重点区域，进行不合规卸油的行为；
在未检测到行人入侵并不合规卸油的行为，系统返回上一步操作，继续对实时传输的图像进行检测；
在检测到行人入侵并不合规卸油时，车载监控终端将车顶入侵报警和车右侧入侵报警上传监控平台，监控平台实时查看视频和图片证据，作为事后追责的线索
在某一实施例中，如图2所示，一种油罐车重点区域人员入侵监测系统，该系统包括：图像采集模块11、目标剪裁模块12、关键点提取模块13、分类识别模块14和报警上传模块15；
图像采集模块11用于当车辆信息满足预设情况，则启动采集装油口和卸油口附近区域图像信息；
目标剪裁模块12用于通过改进后的目标检测模型对已预处理后的图像信息进行剪裁；
关键点提取模块13用于通过人体关键点检测算法提取出剪裁后的图像的人体骨骼关键点坐标，其中，每张图像包括多个人体骨骼关键点坐标；
分类识别模块14用于通过训练后的行为识别模型对多帧图像的多个人体骨骼关键点坐标进行分类识别；
报警上传模块15用于当识别到不合规卸油的行为时，发起入侵报警，并将不合规卸油的行为的图像数据上传监控平台。
本方案根据采集装油口和卸油口附近区域图像信息，通过改进后的目标检测模型、人体关键点检测算法和行为识别模型对采集的图像信息进行处理，识别出疑似不合规卸油等行为，即时通知后台查看、留存视频证据，杜绝不合规卸油行为，可以做到全天候监控，可以将该类不法行为造成的损失降至最低。
本方案利用目标检测、人体关键点识别和行为识别结合的深度学习算法对图像识别分析，判断是否有人员入侵油罐车重点区域，进行不合规卸油的行为，相比较现有的识别方案大大提高了识别准确率，并上传行人入侵行为的视频和图片，可为人员不合规卸油发生后的追踪证据，为后续案件的追踪提供线索。
优选地，在上述任意实施例中，还包括：模型改进模块，用于通过采用轻量的骨干网络来构建目标检测模型；
根据预设方法更改目标检测模型的网络结构，并根据预设数据集训练目标检测模型，来获得改进后的目标检测模型。
本方案通过采用轻量的骨干网络来构建目标检测模型，根据预设方法更改目标检测模型的网络结构，并根据预设数据集训练目标检测模型来对目标检测模型进行改进，改进后的目标检测模型能够提高检测的准确性和定位的准确性，减少计算量。
优选地，在上述任意实施例中，还包括：行为识别模型训练模块，用于将不合规卸油行为样本数据通过第一标签进行标记；
将标记后无嫌疑行为样本数据通过第二标签进行标记；
根据标记后的不合规卸油行为样本数据和无嫌疑行为样本数据对行为识别模型进行训练获得训练后的行为识别模型。
本方案通过根据标记后的不合规卸油行为样本数据和无嫌疑行为样本数据对行为识别模型进行训练，
根据不合规卸油行为样本和无嫌疑行为综合判断油罐车重点区域是否有人入侵并进行不合规卸油行为，能够准确检测到人员入侵油罐车重点区域并进行不合规卸油行为，减少误报警现象，提高识别准确率。
优选地，在上述任意实施例中，关键点提取模块13具体用于选取一段时间内的连续图像，通过人体关键点检测算法提取出剪裁后的连续图像的人体骨骼关键点坐标；
分类识别模块具体用于根据连续图像的人体骨骼关键点坐标的图像序列，通过预设循环神经网络判断连续图像的前后文信息，并对图像序列做分类并识别连续图像的行为。
本方案根据连续图像的人体骨骼关键点坐标的图像序列，通过预设循环神经网络判断连续图像的前后文信息，并对图像序列做分类，并识别连续图像的行为，能够实现准确识别出不合规卸油行为和无嫌疑正常行为，提高识别准确率，减少误判。
优选地，在上述任意实施例中，目标剪裁模块具体用于通过改进后的目标检测模型对已预处理后的图像信息根据人体特征的进行剪裁，获得剪裁后的图像；其中，目标检测模型是根据目标检测算法构建。
优选地，在上述任意实施例中，还包括：循环监测模块，用于，当未检测到行人入侵，没有不合规卸油行为，则继续采集装油口和卸油口附近区域图像信息。
本方案在当未检测到行人入侵，没有不合规卸油行为则继续采集装油口和卸油口附近区域图像信息并处理，可以做到全天候监控，可以有效杜绝不合规卸油行为，同时留存视频证据，可以将该类不法行为造成的损失降至最低。
可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种油罐车重点区域人员入侵监测方法，其特征在于，包括：
S1，当车辆信息满足预设情况，则启动采集装油口和卸油口附近区域图像信息；
S2，通过改进后的目标检测模型对已预处理后的所述图像信息进行剪裁；
S3，通过人体关键点检测算法提取出剪裁后的所述图像的人体骨骼关键点坐标，其中，每张所述图像包括多个人体骨骼关键点坐标；
S4，通过训练后的行为识别模型对多帧所述图像的多个所述人体骨骼关键点坐标进行分类识别；
S5，当识别到不合规卸油的行为时，发起入侵报警，并将不合规卸油的行为的图像数据上传监控平台。
2.根据权利要求1所述的一种油罐车重点区域人员入侵监测方法，其特征在于，所述S2之前还包括：
通过采用轻量的骨干网络来构建目标检测模型；
根据预设方法更改所述目标检测模型的网络结构，并根据预设数据集训练所述目标检测模型，来获得改进后的目标检测模型。
3.根据权利要求1所述的一种油罐车重点区域人员入侵监测方法，其特征在于，所述S4之前还包括：
将不合规卸油行为样本数据通过第一标签进行标记；
将标记后无嫌疑行为样本数据通过第二标签进行标记；
根据标记后的不合规卸油行为样本数据和无嫌疑行为样本数据对所述行为识别模型进行训练获得训练后的所述行为识别模型。
4.根据权利要求1或2所述的一种油罐车重点区域人员入侵监测方法，其特征在于，所述S3具体包括：选取一段时间内的连续图像，通过人体关键点检测算法提取出剪裁后的所述连续图像的人体骨骼关键点坐标；
所述S4具体包括：根据所述连续图像的人体骨骼关键点坐标的图像序列，通过预设循环神经网络判断所述连续图像的前后文信息，并对所述图像序列做分类，并识别所述连续图像的行为。
5.根据权利要求1所述的一种油罐车重点区域人员入侵监测方法，其特征在于，所述S2具体包括：通过改进后的目标检测模型对已预处理后的所述图像信息根据人体特征的进行剪裁，获得剪裁后的图像；其中，所述目标检测模型是根据目标检测算法构建。
6.一种油罐车重点区域人员入侵监测系统，其特征在于，包括：图像采集模块、目标剪裁模块、关键点提取模块、分类识别模块和报警上传模块；
所述图像采集模块用于当车辆信息满足预设情况，则启动采集装油口和卸油口附近区域图像信息；
所述目标剪裁模块用于通过改进后的目标检测模型对已预处理后的所述图像信息进行剪裁；
所述关键点提取模块用于通过人体关键点检测算法提取出剪裁后的所述图像的人体骨骼关键点坐标，其中，每张所述图像包括多个人体骨骼关键点坐标；
所述分类识别模块用于通过训练后的行为识别模型对多帧所述图像的多个所述人体骨骼关键点坐标进行分类识别；
所述报警上传模块用于当识别到不合规卸油的行为时，发起入侵报警，并将不合规卸油的行为的图像数据上传监控平台。
7.根据权利要求6所述的一种油罐车重点区域人员入侵监测系统，其特征在于，还包括：模型改进模块，用于通过采用轻量的骨干网络来构建目标检测模型；
根据预设方法更改所述目标检测模型的网络结构，并根据预设数据集训练所述目标检测模型，来获得改进后的目标检测模型。
8.根据权利要求6所述的一种油罐车重点区域人员入侵监测系统，其特征在于，还包括：行为识别模型训练模块，用于将不合规卸油行为样本数据通过第一标签进行标记；
将标记后无嫌疑行为样本数据通过第二标签进行标记；
根据标记后的不合规卸油行为样本数据和无嫌疑行为样本数据对所述行为识别模型进行训练获得训练后的所述行为识别模型。
9.根据权利要求6或7所述的一种油罐车重点区域人员入侵监测系统，其特征在于，所述关键点提取模块具体用于选取一段时间内的连续图像，通过人体关键点检测算法提取出剪裁后的所述连续图像的人体骨骼关键点坐标；
所述分类识别模块具体用于根据所述连续图像的人体骨骼关键点坐标的图像序列，通过预设循环神经网络判断所述连续图像的前后文信息，并对所述图像序列做分类并识别所述连续图像的行为。
10.根据权利要求6所述的一种油罐车重点区域人员入侵监测系统，其特征在于，所述S2具体包括：通过改进后的目标检测模型对已预处理后的所述图像信息根据人体特征的进行剪裁，获得剪裁后的图像；其中，所述目标检测模型是根据目标检测算法构建。
CN202110195822.XA 2021-02-19 2021-02-19 一种油罐车重点区域人员入侵监测方法和系统 Pending CN112949439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110195822.XA CN112949439A (zh) 2021-02-19 2021-02-19 一种油罐车重点区域人员入侵监测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110195822.XA CN112949439A (zh) 2021-02-19 2021-02-19 一种油罐车重点区域人员入侵监测方法和系统

Publications (1)

Publication Number Publication Date
CN112949439A true CN112949439A (zh) 2021-06-11

Family

ID=76245076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110195822.XA Pending CN112949439A (zh) 2021-02-19 2021-02-19 一种油罐车重点区域人员入侵监测方法和系统

Country Status (1)

Country Link
CN (1) CN112949439A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378799A (zh) * 2021-07-21 2021-09-10 山东大学 基于目标检测和姿态检测框架的行为识别方法及系统
CN113554837A (zh) * 2021-07-21 2021-10-26 山东浪潮通软信息科技有限公司 一种监控报警方法及系统
CN114140849A (zh) * 2021-11-30 2022-03-04 国网湖北省电力有限公司经济技术研究院 基于表情识别的电力基建现场人员状态管理方法及系统
CN114399537A (zh) * 2022-03-23 2022-04-26 东莞先知大数据有限公司 一种目标人员的车辆跟踪方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108275114A (zh) * 2018-02-27 2018-07-13 苏州清研微视电子科技有限公司 一种油箱防盗监控系统
CN110110613A (zh) * 2019-04-19 2019-08-09 北京航空航天大学 一种基于动作识别的轨道交通异常人员检测方法
WO2020093799A1 (zh) * 2018-11-06 2020-05-14 华为技术有限公司 一种图像处理方法和装置
CN111507317A (zh) * 2020-06-30 2020-08-07 之江实验室 一种基于视觉的旋转设备作业手套佩戴检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108275114A (zh) * 2018-02-27 2018-07-13 苏州清研微视电子科技有限公司 一种油箱防盗监控系统
WO2020093799A1 (zh) * 2018-11-06 2020-05-14 华为技术有限公司 一种图像处理方法和装置
CN110110613A (zh) * 2019-04-19 2019-08-09 北京航空航天大学 一种基于动作识别的轨道交通异常人员检测方法
CN111507317A (zh) * 2020-06-30 2020-08-07 之江实验室 一种基于视觉的旋转设备作业手套佩戴检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘慧等: "基于改进 SSD 的果园行人实时检测方法", 农业机械学报, pages 2 - 5 *
宫法明;马玉辉;: "基于时空双分支网络的人体动作识别研究", 计算机技术与发展, no. 09 *
王菲菲;陈磊;焦良葆;曹雪虹;: "基于SSD-MobileNet的安全帽检测算法研究", 信息化研究, no. 03 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378799A (zh) * 2021-07-21 2021-09-10 山东大学 基于目标检测和姿态检测框架的行为识别方法及系统
CN113554837A (zh) * 2021-07-21 2021-10-26 山东浪潮通软信息科技有限公司 一种监控报警方法及系统
CN113554837B (zh) * 2021-07-21 2023-08-15 浪潮通用软件有限公司 一种监控报警方法及系统
CN114140849A (zh) * 2021-11-30 2022-03-04 国网湖北省电力有限公司经济技术研究院 基于表情识别的电力基建现场人员状态管理方法及系统
CN114399537A (zh) * 2022-03-23 2022-04-26 东莞先知大数据有限公司 一种目标人员的车辆跟踪方法及系统

Similar Documents

Publication Publication Date Title
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
CN112949439A (zh) 一种油罐车重点区域人员入侵监测方法和系统
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108009473B (zh) 基于目标行为属性视频结构化处理方法、系统及存储装置
CN107305627B (zh) 一种车辆视频监控方法、服务器及系统
CN101271514B (zh) 一种快速目标检测和目标输出的图像检测方法及装置
US20060067562A1 (en) Detection of moving objects in a video
CN113052029A (zh) 基于动作识别的异常行为监管方法、装置及存储介质
Tian et al. Real-time detection of abandoned and removed objects in complex environments
US20070292029A1 (en) Cascade plate recognition system
CN111325048B (zh) 一种人员聚集检测方法和装置
CN111814635B (zh) 基于深度学习的烟火识别模型建立方法和烟火识别方法
CN112634561A (zh) 基于图像识别的安全报警方法和系统
CN113269091A (zh) 一种面向智慧园区的人员轨迹分析方法、设备及介质
CN111191507A (zh) 智慧社区的安全预警分析方法及系统
CN111738218A (zh) 人体异常行为识别系统及方法
CN111539257B (zh) 人员重识别方法、装置和存储介质
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
CN110245648A (zh) 基于人像识别的智慧单警系统
KR20110018850A (ko) 카메라 기반 피사체 분석 시스템, 방법 및 프로그램 제품
CN115424170A (zh) 一种垃圾抛投检测系统及方法
CN112990156B (zh) 基于视频的最优目标捕捉方法、装置及相关设备
KR101154350B1 (ko) 고해상도 영상의 객체 검지 및 분할 인식을 이용한 다중 영상처리시스템 및 방법
CN114283361A (zh) 状态信息的确定方法和装置、存储介质及电子装置
CN114445787A (zh) 非机动车重识别方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination