CN110516538B - 基于深度学习目标检测的监狱双人离岗违规评估方法 - Google Patents

基于深度学习目标检测的监狱双人离岗违规评估方法 Download PDF

Info

Publication number
CN110516538B
CN110516538B CN201910639147.8A CN201910639147A CN110516538B CN 110516538 B CN110516538 B CN 110516538B CN 201910639147 A CN201910639147 A CN 201910639147A CN 110516538 B CN110516538 B CN 110516538B
Authority
CN
China
Prior art keywords
double
pedestrian
image
prison
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910639147.8A
Other languages
English (en)
Other versions
CN110516538A (zh
Inventor
李家兴
吴军
涂小芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhongke Kaize Technology Co ltd
Original Assignee
Guangzhou Zhongke Kaize Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhongke Kaize Technology Co ltd filed Critical Guangzhou Zhongke Kaize Technology Co ltd
Priority to CN201910639147.8A priority Critical patent/CN110516538B/zh
Publication of CN110516538A publication Critical patent/CN110516538A/zh
Application granted granted Critical
Publication of CN110516538B publication Critical patent/CN110516538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Abstract

本发明涉及一种基于深度学习目标检测的监狱双人离岗违规评估方法，包括：采集监狱应用场景下的原始图像，并对原始图像进行预处理；对经过预处理的图像，利用深度卷积神经网络提取特征图像，并基于预备的数据集进行行人目标的检测；确定图像中所要进行双人离岗违规评估的监控区域；持续统计所述监控区域中的行人目标的数目，并结合时间参数判断是否有违规事件发生，若发生违规事件，则进行报警。本发明降低了人工成本投入，避免了由人工疲劳而造成的监管遗失，并且相比传统的图像或视频识别技术，提高了检测准确度，避免漏检和误报。

Description

基于深度学习目标检测的监狱双人离岗违规评估方法
技术领域
本发明涉及目标检测技术领域，尤其是涉及一种基于深度学习目标检测的监狱双人离岗违规评估方法。
背景技术
随着摄像头的发明和普及应用，众多场所的相关工作都可以在人类的监控下有序进行。监狱，作为国家机器的一种，也是需要重点关注之地。摄像头的有效布点和全范围监控有利于国家对监狱有效掌控。因摄像头能及时反应情况，对罪犯进行有效制止和必要时取证都发挥了重要的作用。
在监狱的应用场景中，需要对多种情况进行监视或预防，双人离岗违规检测就是其中一种。双人离岗违规检测，简单可以理解为：在规定的值守区域，对守岗的行人人数进行检测，少于两人则判定为违规。
发明人在研究中发现，传统的监狱监控，包括双人离岗违规检测，都是依靠人工来进行，人工检测最大的问题就是容易造成疲劳，如果摄像头数目过多，人工监管可能会造成遗失监管，不利于监管工作的开展。随着技术的发展，现有技术中，也出现了利用传统视频或图像识别技术进行监控，传统的视频或图像识别技术在一定程度上解决了人工问题，但其算法会由于遮挡、光线或重叠的限制，造成漏检或误报的情况。
发明内容
有鉴于此，有必要针对上述的问题，提供一种基于深度学习目标检测的监狱双人离岗违规评估方法，降低了人工成本投入，避免了由人工疲劳而造成的监管遗失，并且相比传统的图像或视频识别技术，提高了检测准确度，避免漏检和误报。
一种基于深度学习目标检测的监狱双人离岗违规评估方法，所述方法包括：
采集监狱应用场景下的原始图像，并对原始图像进行预处理；
对经过预处理的图像，利用深度卷积神经网络提取特征图像，并基于预备的数据集进行行人目标的检测；
确定图像中所要进行双人离岗违规评估的监控区域；
持续统计所述监控区域中的行人目标的数目，并结合时间参数判断是否有违规事件发生，若发生违规事件，则进行报警。
所述对原始图像进行预处理的步骤，包括：采用缩放因子1/255对原始图像进行归一化处理，同时采用数据增强处理，所述数据增强处理包括镜像化、模糊化、灰度化和加噪声。
所述深度卷积神经网络包括前端网络和后端网络；所述前端网络提取3种不同尺度的特征图，所述后端网络进行目标和背景的分类，以及行人目标边框的准确回归。
所述深度卷积神经网络采用预训练模型进行微调。
所述确定图像中所要进行双人离岗违规评估的监控区域的步骤，包括：
规定用于限制双人巡视范围的警示线，所述警示线以内作为监控区域，对所述警示线以外的图像进行全黑或全白处理。
利用深度卷积神经网络检测的行人目标边框在所述监控区域中至少含有两个角点，则对应于在所述监控区域检测到一个行人目标，行人目标数目Size(Person)加1处理。
当检测监控区域的行人目标数目Size(Person)＝2，则计算两个行人目标边框的重叠区域比例IOU，若IOU小于预设IOU阀值，则认为无违规事件，不进行报警；若IOU逐渐变大，超过预设IOU阀值，且检测的行人目标数目Size(Person)由2变为1，则认为无违规事件，不进行报警。
当检测监控区域的行人目标数目Size(Person)<2，且IOU小于预设阀值，则开始计时，达到预定累计时间则触发报警。
所述预设IOU阀值为0.2，所述预定累计时间为10s。
所述预备的数据集包括VOC2012数据集以及自标注数据集
本发明提供的基于深度学习目标检测的监狱双人离岗违规评估方法，降低了人工成本投入，避免了由人工疲劳而造成的监管遗失，并且相比传统的图像或视频识别技术，提高了检测准确度，避免漏检和误报。
附图说明
图1是本发明的基于深度学习目标检测的监狱双人离岗违规评估方法的流程示意图；
图2是本发明的基于深度学习目标检测的监狱双人离岗违规评估方法中采用的深度卷积神经网络前端网络的示意图；
图3是本发明中深度卷积神经网络结构中残差网络结构示意图；
图4是本发明深度卷积神经网络的结构示意图；
图5是本发明基于深度学习目标检测的监狱双人违规评估方法的应用场景的一个示意图；
图6是本发明的又一个场景示意图；
图7是本发明的另一场景的应用示意图。
具体实施方式
结合附图，本发明实施例提供一种基于深度学习目标检测的监狱双人离岗违规评估方法，包括：
采集监狱应用场景下的原始图像，并对原始图像进行预处理；
对经过预处理的图像，利用深度卷积神经网络提取特征图像，并基于预备的数据集进行行人目标的检测；
确定图像中所要进行双人离岗违规评估的监控区域；
持续统计所述监控区域中的行人目标的数目，并结合时间参数判断是否有违规事件发生，若发生违规事件，则进行报警。
具体的方法流程图如图1。
本实施例基于深度学习目标检测的监狱双人离岗违规评估方法，具体的，基于深度学习的目标检测对数据集的数量和质量要求很高，大量高质量的数据集才能作为深度学习网络训练的基础。本发明采用VOC2012和自标注两种数据集完成行人检测任务。其中VOC2012是目标检测的竞赛数据集，我们主要提取数据中的行人类，忽略其他数据类别，为的是增强数据的鲁棒性。自标注数据集自然是取自真实应用场景数据集，采用LabelImg工具进行标注行人标签，自标注数据集的目的主要是为了更加精准地完成行人检测，和VOC2012数据集共同作为行人检测的数据集。
数据预处理对神经网络训练有着至关重要的作用，一般将输入归一化至0～1区间，这样不容易丢失图像信息，因为某些激活函数的存在，可能造成网络训练无法收敛，所以我们将输入归一化。本发明采用缩放因子1/255对原始图像进行归一化处理，同时我们采用数据增强方式，用以解决因数据集少而造成的训练不收敛问题。数据增强用到的方法主要是镜像化、模糊化、灰度化和加噪声方式。镜像主要是垂直镜像，将原始图像按照中心垂直线进行左右翻转，得到反转图像；模糊化主要采用高斯模糊方式，对原始图像进行模糊化处理，因为相机在拍摄时往往会造成图像模糊；灰度化主要是将原始RGB图像转成灰度值，因为相机在夜晚拍摄主要通过红外线成像，所以我们采用灰度图替代红外成像；噪声主要是椒盐噪声，随机取点完成图像加噪声处理。
网络架构是整个基于深度学习目标检测的灵魂，有了高效的特征提取层后才能准确完成目标和背景分类以及目标边框的回归。本发明的深度卷积神经网络，其前端网络结构示意图如图2。本发明采用53层卷积层作为输入图像的特征提取层，采用了3个不同尺度的特征图来进行目标检测。
具体的，前端网络：卷积层conv1，采用3x3卷积核，步长为1，输出特征图通道为32；卷积层conv2，采用3x3卷积核，步长为2，输出特征图通道为64；
卷积层conv3总体采用残差网络架构，如图3所示。其中卷积层conv3_1，采用1x1卷积核，步长为1，输出特征图通道为32；卷积层conv3_2，采用3x3卷积核，步长为1，输出特征图通道为64；
卷积层conv4，采用3x3卷积核，步长为2，输出特征图通道为128；
卷积层conv5总体采用残差网络架构，其中卷积层conv5_1，采用1x1卷积核，步长为1，输出特征图通道为64；卷积层conv5_2，采用3x3卷积核，步长为1，输出特征图通道为128；卷积层conv6总体采用残差网络架构，其中卷积层conv6_1，采用1x1卷积核，步长为1，输出特征图通道为64；卷积层conv6_2，采用3x3卷积核，步长为1，输出特征图通道为128；
卷积层conv7，采用3x3卷积核，步长为2，输出特征图通道为256；
卷积层conv8总体采用残差网络架构，其中卷积层conv8_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv8_2，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv9总体采用残差网络架构，其中卷积层conv9_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv9_2，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv10总体采用残差网络架构，其中卷积层conv10_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv10_2，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv11总体采用残差网络架构，其中卷积层conv11_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv11_2，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv12总体采用残差网络架构，其中卷积层conv12_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv12_2，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv13总体采用残差网络架构，其中卷积层conv13_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv13_2，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv14总体采用残差网络架构，其中卷积层conv14_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv14_2，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv15总体采用残差网络架构，其中卷积层conv15_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv15_2，采用3x3卷积核，步长为1，输出特征图通道为256；
卷积层conv16，采用3x3卷积核，步长为2，输出特征图通道为512；
卷积层conv17总体采用残差网络架构，其中卷积层conv17_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv17_2，采用3x3卷积核，步长为1，输出特征图通道为512；卷积层conv18总体采用残差网络架构，其中卷积层conv18_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv18_2，采用3x3卷积核，步长为1，输出特征图通道为512；卷积层conv19总体采用残差网络架构，其中卷积层conv19_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv19_2，采用3x3卷积核，步长为1，输出特征图通道为512；卷积层conv20总体采用残差网络架构，其中卷积层conv20_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv20_2，采用3x3卷积核，步长为1，输出特征图通道为512；卷积层conv21总体采用残差网络架构，其中卷积层conv21_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv21_2，采用3x3卷积核，步长为1，输出特征图通道为512；卷积层conv22总体采用残差网络架构，其中卷积层conv22_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv22_2，采用3x3卷积核，步长为1，输出特征图通道为512；卷积层conv23总体采用残差网络架构，其中卷积层conv23_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv23_2，采用3x3卷积核，步长为1，输出特征图通道为512；卷积层conv24总体采用残差网络架构，其中卷积层conv24_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv24_2，采用3x3卷积核，步长为1，输出特征图通道为512；
卷积层conv25，采用3x3卷积核，步长为2，输出特征图通道为1024；
卷积层conv26总体采用残差网络架构，其中卷积层conv26_1，采用1x1卷积核，步长为1，输出特征图通道为512；卷积层conv26_2，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv27总体采用残差网络架构，其中卷积层conv27_1，采用1x1卷积核，步长为1，输出特征图通道为512；卷积层conv27_2，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv28总体采用残差网络架构，其中卷积层conv28_1，采用1x1卷积核，步长为1，输出特征图通道为512；卷积层conv28_2，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv29总体采用残差网络架构，其中卷积层conv29_1，采用1x1卷积核，步长为1，输出特征图通道为512；卷积层conv29_2，采用3x3卷积核，步长为1，输出特征图通道为1024。
后端网络：卷积层conv30_1，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv30_2，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv30_3，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv30_4，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv30_5，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv31_1，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv31_2，采用1x1卷积核，步长为1，输出特征图通道为1024；输出特征1，输出特征图通道为18。
卷积层conv32，采用1x1卷积核，步长为1，输出特征图通道为256；上采样层unsample，输出特征图通道为256；卷积层conv33_1，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv33_2，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv33_3，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv33_4，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv33_5，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv34_1，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv34_2，采用1x1卷积核，步长为1，输出特征图通道为256；输出特征2，输出特征图通道为18。
卷积层conv35，采用1x1卷积核，步长为1，输出特征图通道为128；上采样层unsample，输出特征图通道为128；卷积层conv36_1，采用3x3卷积核，步长为1，输出特征图通道为128；卷积层conv36_2，采用3x3卷积核，步长为1，输出特征图通道为128；卷积层conv36_3，采用3x3卷积核，步长为1，输出特征图通道为128；卷积层conv36_4，采用3x3卷积核，步长为1，输出特征图通道为128；卷积层conv36_5，采用3x3卷积核，步长为1，输出特征图通道为128；卷积层conv37_1，采用3x3卷积核，步长为1，输出特征图通道为128；卷积层conv37_2，采用1x1卷积核，步长为1，输出特征图通道为128；输出特征3，输出特征图通道为18。
本发明的深度卷积神经网络的结构示意图如图3。
本发明的网络架构设计好后，如何训练此网络使之能准确检测目标成为了算法的关键。因神经网络采用随机初始化网络架构，很容易出现梯度不下降或者造成网络局部最小，因此本发明采用预训练模型进行微调。预训练指的是采用开源数据集ImageNet2012进行前端网络的分类训练，得到网络的初始权重和偏置。同时预训练网络需要完成高精度的网络分类来证明该网络的数据解析能力，所以针对此网络，我们对比了以往流行的分类网络，如表1所示。其中Top-1表示只猜一次得到结果的概率，Top-5表示连续猜5次得到结果的概率。在得到初始权重和偏置后对整个网络进行目标检测数据的微调。
表1网络预训练准确率
Model Top-1 Top-5
AlexNet 57.0 80.3
VGG16 70.5 90.0
ResNet101 77.1 93.7
本发明 787.2 93.8
本发明采用的是VOC2007-test作为行人检测的测试数据集，AP作为算法准确率的计算方式，用以验证算法的准确性，经过测试，本发明得到了88.5的AP值，并能准确检测行人位置。相较于以往实验，本发明很好地完成了行人检测的功能，如表2所示。
表2算法准确率比对表
Models AP-person Speed(ms)
YOLOV2-544 81.3 29
SSD-512 83.3 50
Ours 88.5 30
本发明的双人离岗违规评估，其一个应用场景如图5。若发现检测区域少于2人值岗，则进行违规报警，本发明要求算法能够准确检测区域内的行人位置，同时可以解决双人因这道导致的漏检问题。本发明采用深度网络进行行人检测，能够准确反馈检测区域内的行人完成离岗检测。
监视场景往往有区域限制，即规定行人只能在此区域内活动，若超出此区域活动范围，则无需进行处理或报警，双人巡视范围规定在此区域内，一旦行人超过此区域，则进行相关的报警处理。我们在做规定区域目标检测时，往往是通过Mask思想进行掩模分析，即将警示线以外的地方进行处理，一般的处理方式是图像全黑或者全白，让其他区域不会干扰目标检测，即可完成规定区域的目标检测。但是存在如图6所示的情况，当行人只出现部分肢体在待检测区域内，此时从功能角度来看，该行人应该属于待检测区域，可一旦我们将其另外肢体屏蔽，从算法角度来看会存在漏检，只能判断为单人出现，误报就会产生。本发明采用判断行人区域角点是否在待检测区域内完成区域目标检测，即判断行人边框四个角点是否存在大于等于两个角点在检测区域内，若有两个角点在检测区域，则可以判断该人在待检测区域内。
基于深度学习的物体检测往往会用到NMS算法，即当目标区域出现多个检测框时，根据检测框的得分和检测框之间的IOU，排列剔除相关重复检测框。在双人离岗检测时，往往因为通过NMS算法只能得到一个检测框，根据双人离岗报警机制，此时可能存在漏检造成误报，这不是我们想要的结果。重叠往往会被认为此时待检测区域只有一个人的情况，如何区分两种情况，所以本发明主要通过IOU判断两人是否是因为由远及近地走动而造成的重叠，若不是，则反馈双人离岗报警。如图7，当检测监控区域的行人目标数目Size(Person)＝2，则计算两个行人目标边框的重叠区域比例IOU，若IOU小于预设IOU阀值，则认为无违规事件，不进行报警；若IOU逐渐变大，超过预设IOU阀值，且检测的行人目标数目Size(Person)由2变为1，则认为无违规事件，不进行报警。
基于深度学习的目标检测，准确率相交传统算法提升了很多，因为深度神经网络可以学习到更多行人的特征，包括边缘信息，颜色信息等，但是要求的训练数据量也是比较庞大的，一旦数据集达不到要求，或者说某些行人的特征神经网络为学到的话，可能造成行人的漏检。监狱场景下的行人检测，因数据量有限，训练的行人特征并不一定能涵盖所有特征，这就造成行人一旦出现不规范动作时，该行人就不一定能检测到，造成行人漏检和系统误报的情况。
综上所述，违规报警并不能简单的根据一帧图像来判断，而是通过多帧信息的判断，若在规范时间内依然出现违规，此时报警则更为合适，这就避免了因为单帧图像的偶然性而造成的误报。时间可根据客观因素控制，也可根据实验结果设定。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于深度学习目标检测的监狱双人离岗违规评估方法，其特征在于，所述方法包括：
采集监狱应用场景下的原始图像，并对原始图像进行预处理；所述对原始图像进行预处理的步骤，包括：采用缩放因子1/255对原始图像进行归一化处理，同时采用数据增强处理，所述数据增强处理包括镜像化、模糊化、灰度化和加噪声；
对经过预处理的图像，利用深度卷积神经网络提取特征图像，并基于预备的数据集进行行人目标的检测；所述深度卷积神经网络包括前端网络和后端网络；所述前端网络提取3种不同尺度的特征图，所述后端网络进行目标和背景的分类，以及行人目标边框的准确回归；
确定图像中所要进行双人离岗违规评估的监控区域；
持续统计所述监控区域中的行人目标的数目，并结合时间参数判断是否有违规事件发生，若发生违规事件，则进行报警；
利用深度卷积神经网络检测的行人目标边框在所述监控区域中至少含有两个角点，则对应于在所述监控区域检测到一个行人目标，行人目标数目Size(Person)加1处理；当检测监控区域的行人目标数目Size(Person)=2，则计算两个行人目标边框的重叠区域比例IOU，若IOU小于预设IOU阈值，则认为无违规事件，不进行报警；若IOU逐渐变大，超过预设IOU阈值，且检测的行人目标数目Size(Person)由2变为1，则认为无违规事件，不进行报警；当检测监控区域的行人目标数目Size(Person) < 2，且IOU小于预设阈值，则开始计时，达到预定累计时间则触发报警。
2.根据权利要求1所述的基于深度学习目标检测的监狱双人离岗违规评估方法，其特征在于，所述深度卷积神经网络采用预训练模型进行微调。
3.根据权利要求1所述的基于深度学习目标检测的监狱双人离岗违规评估方法，其特征在于，所述确定图像中所要进行双人离岗违规评估的监控区域的步骤，包括：
规定用于限制双人巡视范围的警示线，所述警示线以内作为监控区域，对所述警示线以外的图像进行全黑或全白处理。
4.根据权利要求1所述的基于深度学习目标检测的监狱双人离岗违规评估方法，其特征在于，所述预设IOU阈值为0.2，所述预定累计时间为10s。
5.根据权利要求1所述的基于深度学习目标检测的监狱双人离岗违规评估方法，其特征在于，所述预备的数据集包括VOC2012数据集以及自标注数据集。
CN201910639147.8A 2019-07-16 2019-07-16 基于深度学习目标检测的监狱双人离岗违规评估方法 Active CN110516538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910639147.8A CN110516538B (zh) 2019-07-16 2019-07-16 基于深度学习目标检测的监狱双人离岗违规评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910639147.8A CN110516538B (zh) 2019-07-16 2019-07-16 基于深度学习目标检测的监狱双人离岗违规评估方法

Publications (2)

Publication Number Publication Date
CN110516538A CN110516538A (zh) 2019-11-29
CN110516538B true CN110516538B (zh) 2022-10-11

Family

ID=68623649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910639147.8A Active CN110516538B (zh) 2019-07-16 2019-07-16 基于深度学习目标检测的监狱双人离岗违规评估方法

Country Status (1)

Country Link
CN (1) CN110516538B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027467A (zh) * 2019-12-06 2020-04-17 浩云科技股份有限公司 一种银行现金柜台使用规范智能检测方法及装置
CN113052127A (zh) * 2021-04-09 2021-06-29 上海云从企业发展有限公司 一种行为检测方法、系统、计算机设备及机器可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609745A (zh) * 2012-02-24 2012-07-25 上海世有机电科技有限公司 基于zigbee技术的监狱人员定位系统
CN108304808A (zh) * 2018-02-06 2018-07-20 广东顺德西安交通大学研究院 一种基于时空信息与深度网络的监控视频对象检测方法
CN109068105A (zh) * 2018-09-20 2018-12-21 王晖 一种基于深度学习的监狱视频监控方法
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643467B2 (en) * 2010-03-28 2020-05-05 Roadmetric Ltd. System and method for detecting and recording traffic law violation events

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609745A (zh) * 2012-02-24 2012-07-25 上海世有机电科技有限公司 基于zigbee技术的监狱人员定位系统
CN108304808A (zh) * 2018-02-06 2018-07-20 广东顺德西安交通大学研究院 一种基于时空信息与深度网络的监控视频对象检测方法
CN109068105A (zh) * 2018-09-20 2018-12-21 王晖 一种基于深度学习的监狱视频监控方法
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视频图像的行人异常行为研究;王家鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190515(第5期);I138-1326 *

Also Published As

Publication number Publication date
CN110516538A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108009473B (zh) 基于目标行为属性视频结构化处理方法、系统及存储装置
CN107423690B (zh) 一种人脸识别方法及装置
Navalgund et al. Crime intention detection system using deep learning
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
JP6549797B2 (ja) 通行人の頭部識別方法及びシステム
US7215798B2 (en) Method for forgery recognition in fingerprint recognition by using a texture classification of gray scale differential images
CN109993056A (zh) 一种识别车辆违章行为的方法、服务器及存储介质
CN105868689A (zh) 一种基于级联卷积神经网络的人脸遮挡检测方法
US7620216B2 (en) Method of tracking a human eye in a video image
CN105184271A (zh) 一种基于深度学习的车辆自动检测方法
CN110490043A (zh) 一种基于区域划分和特征提取的森林烟火检测方法
CN108830152B (zh) 深度学习网络和人工特征相联合的行人检测方法及系统
CN106778742B (zh) 一种基于Gabor滤波器背景纹理抑制的车标检测方法
CN108647575A (zh) 基于光学视觉分析的溺水预警方法
CN110516538B (zh) 基于深度学习目标检测的监狱双人离岗违规评估方法
CN110059634B (zh) 一种大场景人脸抓拍方法
CN111091110A (zh) 一种基于人工智能的反光背心穿戴识别方法
KR102038576B1 (ko) 홍채 인식 시스템의 부정행위 검출 방법
CN107862298A (zh) 一种基于红外摄像装置下眨眼的活体检测方法
CN109274945B (zh) 一种自适应进行图像真彩色还原的方法及系统
CN115035564A (zh) 基于巡逻车智能摄像机的人脸识别方法、系统及相关组件
CN114332781A (zh) 一种基于深度学习的智能车牌识别方法及系统
KR20080079798A (ko) 얼굴 검출 및 인식을 위한 방법
CN112101076A (zh) 识别猪只的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant