CN113223046A - 一种监狱人员行为识别的方法和系统 - Google Patents

一种监狱人员行为识别的方法和系统 Download PDF

Info

Publication number
CN113223046A
CN113223046A CN202010661881.7A CN202010661881A CN113223046A CN 113223046 A CN113223046 A CN 113223046A CN 202010661881 A CN202010661881 A CN 202010661881A CN 113223046 A CN113223046 A CN 113223046A
Authority
CN
China
Prior art keywords
monitoring target
monitoring
target
position information
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010661881.7A
Other languages
English (en)
Other versions
CN113223046B (zh
Inventor
罗亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010661881.7A priority Critical patent/CN113223046B/zh
Publication of CN113223046A publication Critical patent/CN113223046A/zh
Application granted granted Critical
Publication of CN113223046B publication Critical patent/CN113223046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了种监狱人员行为识别的方法和系统,其中,该方法包括:获取监控区域的监控图像,根据所述监控图像中监控目标的像素框,确定所述监控目标的位置信息,对所述监控目标进行跟踪;通过对跟踪的所述监控目标与预设身份信息进行匹配,识别所述监控目标的身份;判断与所述身份对应的所述监控目标的动作信息和所述位置信息,与预设身份的动作位置信息是否符合,在不符合的情况下,生成报警信息,解决了监控目标行为识别准确率低和延迟高的问题,实现了准确和快速的识别监狱人员的行为。

Description

一种监狱人员行为识别的方法和系统
技术领域
本申请涉及视频监控技术领域,特别是涉及一种监狱人员行为识别的方法和系统。
背景技术
监狱监控有其特殊性,区别于传统的视频监控,越来越多的监控手段应用到监狱的监控中;在监狱中,服刑人员之间容易发生冲突、越狱、殴打狱警人员和单人独处自杀等问题;同时,非监狱人员进入监狱,要保证非监狱人员的安全性,同时保证非监狱人员避免与服刑人员发生接触;目前,绝大多数的监狱还是依靠人眼查看监控画面,或者仅仅依靠服刑人员佩戴的终端设备,进行位置信息识别来判定服刑人员的状态,这种方式并不能在第一时间准确无误地发出报警;单纯的依靠简单人眼识别和终端设备的位置信息识别,无法准确和直面地反映监狱中人员状态,势必会导致报警延迟;佩戴终端设备等接触式的监控方案,在监控监狱中人员中有非常大的局限性;这类方案的前提必须保证被监控人员终端良好工作,而在监狱中很难保证监控人员的终端不被破坏;同时,相关专利中都是采集服刑人员的时刻位置信息,通过位置信息反应是否有越狱、重点区域聚集和特定区域人数个数,报警的类型比较单一,不能很好的对监狱内服刑人员进行全方位的监控。
目前相关技术中,针对监控目标行为识别准确率低和延迟高的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种监狱人员行为识别的方法和系统,以至少解决相关技术中的问题。
第一方面,本申请实施例提供了一种监狱人员行为识别的方法,获取监控区域的监控图像,根据该监控图像中监控目标的像素框,确定该监控目标的位置信息,对该监控目标进行跟踪;
通过对跟踪的该监控目标与预设身份信息进行匹配,识别该监控目标的身份;
判断与该身份对应的该监控目标的动作信息和该位置信息,与预设身份的动作位置信息是否符合,在不符合的情况下,生成报警信息。
在一个实施例中,确定该监控目标的位置信息,对该监控目标进行跟踪之后,该方法包括:
根据跟踪到该监控目标的该位置信息和该监控图像的光流图进行叠加对比,确定该光流图中该监控目标的该位置信息,根据该光流图中该监控目标的位置信息光流场的强弱,表征该监控目标的运动程度,在该监控目标的运动程度大于预设阈值的情况下,判定该监控目标的行为是打架行为。
在一个实施例中,根据跟踪到该监控目标的该位置信息和该监控图像的光流图进行叠加对比包括:将该监控图像分割成多张小图片做光流处理,得到该多张小图片的光流图,对多张该光流图中该监控目标的该位置信息进行对比。
在一个实施例中,判定该监控目标的行为为打架行为之后,该方法包括:将多张小图片的该运动程度超过预设阈值的该小图片进行监控区域融合,输出该监控目标的监控区域,进行报警。
在一个实施例中,根据该监控图像中监控目标的像素框,确定该监控目标的位置信息包括:根据该监控图像中头肩左上角的像素坐标点和头肩右下角的像素坐标点,所确定的矩形设置为的头肩框,以及确定人体左上角像素坐标点和人体右下角像素坐标点所确定的矩形设置为人体框,根据该头肩框和该人体框的位置信息,确定该监控目标的位置信息。
在一个实施例中,通过对跟踪的该监控目标与预设身份信息进行匹配之前,该方法包括:根据该监控目标的像素框对该监控目标生成一个独立的身份ID,在确定该监控目标身份之后,维持该监控目标的该身份。
在一个实施例中,通过对跟踪的该监控目标与预设身份信息进行匹配,识别该监控目标的身份包括:
根据狱警、服刑人员和非监所人员的服饰信息,匹配到该监控目标的该服饰信息,识别监控目标的身份。
在一个实施例中,判断与该身份对应的该监控目标的动作信息和该位置信息,与预设身份的动作位置信息是否符合包括以下至少之一:
判断该监控目标的活动轨迹是否越过伴线,在越过伴线的情况下,判断为违禁状态;
判断该监控目标活动的高度是否高于窗户下沿预设高度阈值,在高于窗户下沿预设阈值时判定为违禁状态;
判断该监控目标进入的区域是否偏离第一区域阈值,在偏离第一区域阈值的情况下判定为违禁状态做出报警;
判断该监控目标离开的区域是否偏离第二区域阈值,在偏离第二区域阈值的情况下判定为违禁状态做出报警;
判断该监控目标在夜晚起床的时候是否超过起床线,在头肩的中线越过起床线的情况下判定为违禁状态做出报警;
在夜晚灯光较暗的情况下,设置床中间位置信息线,头肩如果想越过起床线,身体必须越过床中线,从而判定为违禁状态做出报警;
当监控目标处于指定区域且滞留时间大于设置的时长,触发单人独处报警。
第二方面,本申请实施例提供了一种监狱人员行为识别的系统,包括摄像机与服务器,包括摄像机与服务器;
该摄像机记录监控图像,发送至该服务器;
该服务器获取监控区域的监控图像,根据该监控图像中监控目标的像素框,确定该监控目标的位置信息,对该监控目标进行跟踪;
该服务器通过对跟踪的该监控目标与预设身份信息进行匹配,识别该监控目标的身份;
该服务器判断与该身份对应的该监控目标的动作信息和该位置信息,与预设身份的动作位置信息是否符合,在不符合的情况下,生成报警信息。
在一个实施例中,根据确定该监控目标的位置信息,对该监控目标进行跟踪之后包括:
该服务器根据跟踪到该监控目标的该位置信息和该监控图像的光流图进行叠加对比,确定该光流图中该监控目标的该位置信息,根据该光流图中该监控目标的位置信息光流场的强弱位置信息,表征该监控目标的运动程度,在该监控目标的运动程度大于预设阈值的情况下,判定该监控目标的行为是打架行为。
相比于相关技术,本申请实施例提供的一种监狱人员行为识别的方法,通过获取监控区域的监控图像,根据所述监控图像中监控目标的像素框,确定所述监控目标的位置信息,对所述监控目标进行跟踪;通过对跟踪的所述监控目标与预设身份信息进行匹配,识别所述监控目标的身份;判断与所述身份对应的所述监控目标的动作信息和所述位置信息,与预设身份的动作位置信息是否符合,在不符合的情况下,生成报警信息,解决了监控目标行为识别准确率低和延迟高的问题,实现了准确和快速的识别监狱人员的行为。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本发明实施例的一种监狱人员行为识别的示意图;
图2是根据本发明实施例的一种监狱人员行为识别的流程图;
图3是根据本发明实施例的一种监狱人员行为识别的光流处理的流程图;
图4是根据本发明实施例的一种监狱人员识别的监狱人员示意图;
图5A是根据本发明实施例的一种监狱人员识别的规则判定的伴线规则的示意图;
图5B是根据本发明实施例的一种监狱人员识别的规则判定的攀高规则的示意图;
图5C是根据本发明实施例的一种监狱人员识别的规则判定的区域规则的示意图;
图5D是根据本发明实施例的一种监狱人员识别的规则判定的起床规则的示意图;
图6是根据本发明实施例的一种监控人员行为的多通道监所监控服务器的示意图;
图7是根据本发明实施例的一种监控人员行为的具体应用场景的示意图;
图8是根据本发明实施例的一种计算机设备内部的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本实施例中,提供一种监狱人员行为识别的系统,图1是根据本发明实施例的一种监狱人员行为识别的示意图,如图1所示,该系统包括:摄像机12与服务器10,其中,该摄像机12获取监控图像,发送至该服务器10;该服务器获取监控区域的监控图像,根据该监控图像中监控目标的像素框,确定该监控目标的位置信息,对该监控目标进行跟踪;该服务器通过对跟踪的该监控目标与预设身份信息进行匹配,识别该监控目标的身份;该服务器判断与该身份对应的该监控目标的动作信息和该位置信息,与预设身份的动作位置信息是否符合,在不符合的情况下,生成报警信息,同时将输出的报警信息保存至服务器,后续可以直接查阅。
本实施例还提供了一种监狱人员行为识别的方法,图2是根据本发明实施例的一种监狱人员行为识别的流程图,如图2所示,该流程包括如下步骤:
步骤S202,识获取监控区域的监控图像,根据该监控图像中监控目标的像素框,确定该监控目标的位置信息,对该监控目标进行跟踪,其中,对该监控目标位置跟踪,可以通过在获取的图像序列中,对该监控目标的运动轨迹进行打点,通过对打点位置的记录,实现对该监控目标的进行跟踪;也可以通过深度图像获取该动作信息和位置信息,在图像序列当中,提取和分析该监控目标身份特征信息与标准库中人物的身份特征信息匹配度高的人物,确定监控目标的位置,对该监控目标进行追踪;
步骤S204,通过对跟踪的该监控目标与预设身份信息进行匹配,识别该监控目标的身份,其中,识别该监控目标身份的方法包括:使用人脸识别与标准库的身份特征对比,识别该监控目标的身份;该标准库可以采集监控目标的指纹信息和人脸信息,存储该监控目标的身份;
步骤S206,判断与该身份对应的该监控目标的动作信息和该位置信息,与预设身份的动作位置信息是否符合,在不符合的情况下,生成报警信息,其中,预设动作可以为吃饭、行走和打架等行为,吃饭和行走设定为合规动作,打架设定为不合规动作,预设位置信息可以为该监控目标超过某个预设高度、低于某个预设高度和离开某个区域,服务器认为监控目标的位置信息不合法,监控目标在合法区域做出不合规动作和监控目标出现在不合法区域时,系统判定为与预设动作位置信息不符合,在不符合的情况下,生成报警信息,将生成的报警信息保存至服务器,方便后续查看。
通过上述步骤S202至S206,在相关技术中,监狱的视频监控只能提供监控区域的视频,通过被动的观看监控区域的视频,监察人员才能得知监狱人员的行为,然后通过监察人员判断监狱人员的行为是否违规,这时就会存在实质性的缺陷,例如,监控人员观察范围有限,不可能同时观察多个区域;监控人员观察精力有限,不可能每时每刻观察监控目标,这些缺陷导致监控区域的违规行为不能够及时、有效的得到反馈,本实施例通过获取监狱监控图像中的监控目标的目标身份、动作信息和位置信息与该目标身份对应的预设信息进行比对,从而解决了监控目标行为识别准确率低和延迟高的问题,实现了准确和快速的识别监狱人员的行为。
在一个实施例中,根据跟踪到该监控目标的该位置信息和该监控图像的光流图进行叠加对比,确定该光流图中该监控目标的该位置信息,根据该光流图中该监控目标的位置信息光流场的强弱,表征该监控目标的运动程度,在该监控目标的运动程度大于预设阈值的情况下,判定该监控目标的行为是打架行为,其中,图片的预设格式采用YUV格式的图像,YUV格式和RGB格式的区别是YUV格式要求三个独立的信号同时传输,所以用YUV方式传送占用极少的带宽,极大地提高了传输的速度对该图像中该监控目标进行识别,其中,对该监控目标的识别是通过YOLO3深度学习模型对该预设格式的图像进行目标监测,而且实时性强;通过上述方法,可以快速识别出监控图像中目标人物,解决了识别目标缓慢和不准确的问题,极大的增强了目标识别和跟踪的效率。
在一个实施例中,图3是根据本发明实施例的一种监狱人员行为识别的光流处理的流程图,如图3所示,该方法包括根据跟踪到该监控目标的该位置信息和该监控图像的光流图进行叠加对比包括:
步骤S302,将该监控图像分割成多张小图片;
步骤S304,将多张小图片做光流处理,得到该多张小图片的光流图;
步骤S306,对多张该光流图中该监控目标的该位置信息进行对比,确定该光流图中该监控目标的该位置信息;
需要进一步说明的是,将监控图像分割为多张小图片,其中,小图片的个数可以为多张,且形状和大小不唯一,小图片的形状和大小随机进行分割,在监控图像中监控目标不多的时候,可以将监控图像分割为三张小图片,其中,光流处理是为了避免检索空间过大,远处的小目标光流信息没法正确的体现,将图片分割成多个小图片,使图像中的目标的像素降低,相反目标像素相对于整张照片来说增高,导致小图片的光流效果好于整张图像,有利于提高打架识别的准确率。
在一个实施例中,判定该监控目标的行为为打架行为之后,该方法包括:将多张小图片的该运动程度超过预设阈值的该小图片进行监控区域融合,输出该监控目标的监控区域,进行报警,其中,在该监控目标的运动程度大于预设的打架规则的阈值的情况下,将该多张图像进行区域融合,得到该监控目标的所在的位置信息,生成提醒信息,报警输出。
在一个实施例中,图4是根据本发明实施例的一种监狱人员识别的监狱人员示意图,如图4所示,根据该监控图像中监控目标的像素框,确定该监控目标的位置信息包括:根据该监控图像中头肩左上角的像素坐标点和头肩右下角的像素坐标点,所确定的矩形设置为的头肩框,以及确定人体左上角像素坐标点和人体右下角像素坐标点所确定的矩形设置为人体框,根据该头肩框和该人体框的位置信息,确定该监控目标的位置信息,需要说明的是,确认该监狱人员的位置原理是:得到监控图像后,设置该监控图像左上角第一个像素坐标点作为坐标原点40,因为两点确定一条直线,设定该直线为对角线,可以确定唯一一个矩形,所以确定该监控目标头肩左上角的像素坐标点44和头肩右下角的像素坐标点46所组成的矩形像素框为头肩框45,以及确定人体左上角坐标点42和人体右下角48的像素坐标点所组成的矩形像素框设定为人体框47,另外,设置该监控图像左上角第一个像素点作为坐标原点40,在该监控图像中,根据该头肩像素框45和该人体像素框47之间的相对位置信息关系确定该监控目标的位置信息,其中,相对位置信息关系是指一个头肩框45对应一个人体框47,头肩框45在人体框47内部,满足该位置信息关系就是满足了该相对位置信息关系的条件,满足的相对位置信息的条件就可以确定该监控目标位置信息,通过这样定位目标可以更准确的确定监控目标;通过上述方法避免了单一的利用面部识别而导致监控目标锁定准确率不高的情况,实现了对目标人物的快速定位。
在一个实施例中,该通过对跟踪的该监控目标与预设身份信息进行匹配之前,根据该监控目标的像素框对该监控目标生成一个独立的身份ID,在确定该监控目标身份之后,维持该监控目标的该身份,其中,将生成的目标框送入目标跟踪模块,给每一个头肩框和人体框所确定的目标生成的独立的目标ID,后续模块利用目标ID维护目标信息,且如果同一个目标一直在画面中,目标的ID保持不变,对于目标而言,目标有创建、消失和更新三种状态,体现在画面中一个目标第一次出现,将会对这个目标创建一个新的ID,画面任务一直存在,将会维持ID不变,画面中目标消失,原有的目标ID也会消失,例如,当同一个目标一直在画面中,则目标身份状态保持不变,其中,监控目标的身份状态有创建、消失和更新等状态,体现在画面中一个目标第一次出现,将会对这个目标创建一个新的身份,此时的目标状态为创建状态,创建状态一般只在监控目标第一次出现在监控视频的时候进行标识,然后转变为下一个状态;下一个状态中监控目标状态为更新状态,此时只要目标不离开该图像区域,则更新状态不会改变,更新状态为一种正常的运行状态,不会生成提醒信息;当画面中目标消失时,则运行状态转变为消失状态,消失状态时系统会进行报警,这样方便对目标的状态进行实时的状态感知。
在一个实施例中,根据狱警、服刑人员和非监所人员的服饰信息,匹配到该监控目标的该服饰信息,识别监控目标的身份,其中,根据该监控目标的标志特征,与预设标志信息进行匹配,识别该监控目标的目标身份,这里主要是深度学习模型对目标人员的服饰做分类,,例如,服刑人员、狱警、非监狱人员都有不一样的服饰信息,其中,服刑人员的衣服样式为黑白条纹状的囚服和身上还有佩戴手铐的特征,狱警一般穿着警察制服并配有警帽,非监狱人员一般穿着普通棉质衣物,通过对三种人员图片做深度训练,得到模型,在识别模型之后输出三种类别:服刑人员、狱警和非监狱人员,这样就可以通过识别不同的目标,对所识别出目标的进行行为规范的匹配,从而达到对监控目标行为的约束。
在一个实施例中,图5A是根据本发明实施例的一种监狱人员识别的规则判定的伴线规则的示意图;图5B是根据本发明实施例的一种监狱人员识别的规则判定的攀高规则的示意图;图5C是根据本发明实施例的一种监狱人员识别的规则判定的区域规则的示意图;图5D是根据本发明实施例的一种监狱人员识别的规则判定的起床规则的示意图,该判断与该身份对应的该监控目标的动作信息和该位置信息,与预设身份的动作位置信息是否符合包括以下至少之一:
如图5A所示,判断该监控目标中的服刑人员的活动轨迹是否越过伴线,在越过伴线的情况下,判断为违禁状态,其中,判断该监控目标中的服刑人员的活动轨迹是否越过伴线50,活动轨迹的是通过人体像素框37的中线点是否越过两点像素坐标确定一条直线伴线50来判定的,当该监控目标中的服刑人员按照配置的方向轨迹越过伴线50时就属于违禁状态,提示狱警,服刑人员存在越狱风险,系统就会进行报警;
如图5B所示,判断该监控目标中的服刑人员活动的高度是否高于窗户下沿预设高度阈值,在高于窗户下沿预设阈值时判定为违禁状态,其中,攀高线属于水平直线,两点像素坐标确定一条直线攀高线51,通过判断该监控目标中的服刑人员活动的高度是否高于预设高度阈值,该预设阈值的高度设置在窗户52的下沿,窗户的高度一般高于一般人的头顶位置,所以不用考虑是否有检测错误的情况,当头肩框45的中线点越过攀高线51,监控目标中的服刑人员就存在违反规定的风险,系统就会发生警告将安全状态变为违禁状态,提示狱警,服刑人员存在越狱风险,系统就会进行报警;
如图5C所示,判断该监控目标中的服刑人员进入的区域是否偏离第一区域阈值,在偏离第一区域阈值的情况下判定为违禁状态做出报警,其中,区域为一个不规则的多边形,当目标的身体框中心点从区域53外越过多边形线,进入区域53,产生报警,系统将提示为违禁状态,此时系统就会进行报警;
判断该监控目标中的服刑人员离开的区域是否偏离第二区域阈值,在偏离第二区域阈值的情况下判定为违禁状态做出报警,其中,区域内部人员偏离区域53为偏离第二区域阈值,同时在区域53中加入人数统计功能,当区域内的目标个数超过限定人数时,系统将提示为违禁状态,此时系统就会进行报警;
如图5D所示,判断该监控目标中的服刑人员在夜晚起床的时候是否超过起床线,在头肩的中线越过起床线的情况下判定为违禁状态做出报警,其中,在夜晚的场景下,服刑人员从床离开,此时需要对其轨迹进行一个实时监测,设定起床规则包括:床设置位置信息防线54,这里主要是明确监控目标中的服刑人员躺着的时候,头处于哪个防线,如果监控目标中的服刑人员躺着的情况下,头肩的中心位置信息低于起床线54,当监控目标中的服刑人员起床的情况下,头肩一定会越过起床55线,从而触发报警,同时,为了解决夜晚光纤较暗,头肩框无法检测情况下,可以设置床中线(即是床中间位置信息线),此时不能用头肩越过起床线,需要用身体框越过床中线,从而判定为违禁状态做出报警;
当监控目标中的服刑人员处于指定区域且滞留时间大于设置的时长,触发单人独处报警,其中,设置一个单人独处规则,指定一个多边形区域,规定独处时长,当目标处于指定区域且时间大于设置时长的情况下,触发单人独处报警,该报警能够有效防止服刑人员自杀和自残问题。
在一个实施例中,该服务器根据跟踪到该监控目标的该位置信息和该监控图像的光流图进行叠加对比,确定该光流图中该监控目标的该位置信息,根据该光流图中该监控目标的位置信息光流场的强弱位置信息,表征该监控目标的运动程度,在该监控目标的运动程度大于预设阈值的情况下,判定该监控目标的行为是打架行为。
在一个实施例中,图6是根据本发明实施例的一种监控人员行为的多通道监所监控服务器的示意图,如图6所示,服务器同时处理监所1、监所2、监所3和监所4送入的视频流,利用服务器的方式可以同时对监所进行监控,下面以监所1为例,通过对相机图像传感器(senor)采集到的画面进行图片进行编辑,编码生成yuv420sp格式,然后对原始图片目标进行识别,根据预先设定的规则,对目标进行逻辑判断,从而实现对服刑人员、非监所人员的动作异常的报警,主要异常有打架斗殴、伴线、攀高、起床和单人相处,然后将收集到的视频传输到服务器,有效的防止服刑人员违反相关规定。
在一个具体实施例中,图7是根据本发明实施例的一种监控人员行为的具体应用场景的示意图,如图7所示,提供一种适用于监狱内部监控服刑人员具体的应用场景的实施例,首先通过摄像机得到监控图像的原图,然后分别进行两部分操作:
第一部分:得到yuv420sp格式的系统原图,服务器使用深度学习模型YOLO3深度学习模型对系统原图做目标检测,根据目标人员的标志特征,其中,监控目标中的服刑人员的标志特征包括:狱服和手铐,狱警的标志特征包括:警服和警帽,分辨出目标人员是监控目标中的服刑人员还是狱警;如果系统判定目标人员为监控目标中的服刑人员,则为监控目标中的服刑人员建立档案,然后根据系统的规则对监控目标中的服刑人员的行为进行判定,从而达到对监控目标中的服刑人员行为的约束,行为判定分为多种情况,第一种情况:监控目标中的监控目标中的服刑人员在白天不能超过伴线,判定监控目标中的服刑人员按照配置的轨迹越过伴线,则会产生报警通知狱所狱警;第二种情况:监控目标中的监控目标中的服刑人员攀爬的高度不能超过窗户下方的攀高线,其中,攀高线属于水平直线,两点像素坐标确定一条直线攀高线,当监控目标中的服刑人员的头部超过攀高线,判定为违禁行为,系统会产生报警通知狱所狱警;第三种情况:监控目标中的服刑人员所在的区域为固定区域,监控目标中的服刑人员不得离开固定区域,当监控目标中的服刑人员偏离阈值时,系统将会判定为违禁状态,这时候违禁状态主要分两种情况,区域入侵和区域逃离,区域入侵指的是当监控目标中的服刑人员在系统中的的身体越过多边形线,进入另外一个区域,则产生报警,监控目标中的服刑人员离开区域也会产生报警,其中,在区域入侵中加入人数统计功能,当区域内的人员超过限定人数时,系统也会同样提示为违禁状态,进行报警。区域逃离报警限定为夜晚场景,监控目标中的服刑人员从床离开,需要对其轨迹进行一个实时监测,这里制定一个起床规则,起床规则包括:在床周围设置位置信息防线,主要是确定监控目标中的服刑人员处于平躺状态时,头处于哪个防线,如果监控目标中的服刑人员处于平躺状态,头肩的中心位置信息需要低于起床线,当监控目标中的服刑人员起床的情况下,头肩会越过起床线,触发报警,同时,为了解决夜晚光纤较暗,头肩无法检测情况下,可以设置床的中位线,此时头肩不能超过起床线,身体不能超过床中线,违反规定,系统将进行报警,输出的报警的信息保存至服务器,后续可以直接查询;
第二部分:在图片分割阶段会将获取到的初始图片,随后进行光流处理,得到该多张图像的光流图进行图片分割,其中,光流记载光流图多张图像的前后帧运动场,根据该监控目标中的服刑人员位置信息附近光流图中前后帧运动场的变化,来判断该监控目标中的服刑人员的运动程度,将该运动程度的数据进入计算机程序与打架规则进行对比,当该监控目标中的服刑人员的运动程度大于预设的打架规则的阈值,将该多张图像进行区域融合,得到该监控目标中的服刑人员的所在的位置信息,生成提醒信息,然后报警输出,后续可以直接查询。
在一个实施例中,提供了一种计算机设备,图8是根据本发明实施例的一种计算机设备内部的结构图,如图8所示,包括存储器、处理及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述各实施例提供的监控目标行为方法中的步骤。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现,对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各实施例提供的监狱人员行为识别的步骤。该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储实时视频流数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上该实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种监狱人员行为识别的方法,其特征在于,
获取监控区域的监控图像,根据所述监控图像中监控目标的像素框,确定所述监控目标的位置信息,对所述监控目标进行跟踪;
通过对跟踪的所述监控目标与预设身份信息进行匹配,识别所述监控目标的身份;
判断与所述身份对应的所述监控目标的动作信息和所述位置信息,与预设身份的动作位置信息是否符合,在不符合的情况下,生成报警信息。
2.根据权利要求1所述的方法,其特征在于,所述确定所述监控目标的位置信息,对所述监控目标进行跟踪之后,所述方法包括:
根据跟踪到所述监控目标的所述位置信息和所述监控图像的光流图进行叠加对比,确定所述光流图中所述监控目标的所述位置信息,根据所述光流图中所述监控目标的位置信息光流场的强弱,表征所述监控目标的运动程度,在所述监控目标的运动程度大于预设阈值的情况下,判定所述监控目标的行为是打架行为。
3.根据权利要求2所述的方法,其特征在于,所述根据跟踪到所述监控目标的所述位置信息和所述监控图像的光流图进行叠加对比,确定所述光流图中所述监控目标的所述位置信息包括:将所述监控图像分割成多张小图片做光流处理,得到所述多张小图片的光流图,对多张所述光流图中所述监控目标的所述位置信息进行对比,确定所述光流图中所述监控目标的所述位置信息。
4.根据权利要求2所述的方法,其特征在于,所述判定所述监控目标的行为为打架行为之后,所述方法包括:将多张小图片的所述运动程度超过预设阈值的所述小图片进行监控区域融合,输出所述监控目标的监控区域,进行报警。
5.根据权利要求1所述的方法,其特征在于,所述根据所述监控图像中监控目标的像素框,确定所述监控目标的位置信息包括:根据所述监控图像中头肩左上角的像素坐标点和头肩右下角的像素坐标点,所确定的矩形设置为的头肩框,以及确定人体左上角像素坐标点和人体右下角像素坐标点所确定的矩形设置为人体框,根据所述头肩框和所述人体框的位置信息,确定所述监控目标的位置信息。
6.根据权利要求1所述的方法,其特征在于,所述通过对跟踪的所述监控目标与预设身份信息进行匹配之前,所述方法包括:根据所述监控目标的像素框对所述监控目标生成一个独立的身份ID,在确定所述监控目标身份之后,维持所述监控目标的所述身份。
7.根据权利要求1所述的方法,其特征在于,所述通过对跟踪的所述监控目标与预设身份信息进行匹配,识别所述监控目标的身份包括:
根据狱警、服刑人员和非监所人员的服饰信息,匹配到所述监控目标的所述服饰信息,识别监控目标的身份。
8.根据权利要求1所述的方法,其特征在于,所述判断与所述身份对应的所述监控目标的动作信息和所述位置信息,与预设身份的动作位置信息是否符合包括以下至少之一:
判断所述监控目标的活动轨迹是否越过伴线,在越过伴线的情况下,判断为违禁状态;
判断所述监控目标活动的高度是否高于窗户下沿预设高度阈值,在高于窗户下沿预设阈值时判定为违禁状态;
判断所述监控目标进入的区域是否偏离第一区域阈值,在偏离第一区域阈值的情况下判定为违禁状态做出报警;
判断所述监控目标离开的区域是否偏离第二区域阈值,在偏离第二区域阈值的情况下判定为违禁状态做出报警;
判断所述监控目标在夜晚起床的时候是否超过起床线,在头肩的中线越过起床线的情况下判定为违禁状态做出报警;
在夜晚灯光较暗的情况下,设置床中间位置信息线,头肩如果想越过起床线,身体必须越过床中线,从而判定为违禁状态做出报警;
当监控目标处于指定区域且滞留时间大于设置的时长,触发单人独处报警。
9.一种监狱人员行为识别的系统,其特征在于,包括摄像机与服务器;
所述摄像机记录监控图像,发送至所述服务器;
所述服务器获取监控区域的监控图像,根据所述监控图像中监控目标的像素框,确定所述监控目标的位置信息,对所述监控目标进行跟踪;
所述服务器通过对跟踪的所述监控目标与预设身份信息进行匹配,识别所述监控目标的身份;
所述服务器判断与所述身份对应的所述监控目标的动作信息和所述位置信息,与预设身份的动作位置信息是否符合,在不符合的情况下,生成报警信息。
10.根据权利要9的系统,其特征在于,所述根据确定所述监控目标的位置信息,对所述监控目标进行跟踪之后包括:
所述服务器根据跟踪到所述监控目标的所述位置信息和所述监控图像的光流图进行叠加对比,确定所述光流图中所述监控目标的所述位置信息,根据所述光流图中所述监控目标的位置信息光流场的强弱位置信息,表征所述监控目标的运动程度,在所述监控目标的运动程度大于预设阈值的情况下,判定所述监控目标的行为是打架行为。
CN202010661881.7A 2020-07-10 2020-07-10 一种监狱人员行为识别的方法和系统 Active CN113223046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010661881.7A CN113223046B (zh) 2020-07-10 2020-07-10 一种监狱人员行为识别的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010661881.7A CN113223046B (zh) 2020-07-10 2020-07-10 一种监狱人员行为识别的方法和系统

Publications (2)

Publication Number Publication Date
CN113223046A true CN113223046A (zh) 2021-08-06
CN113223046B CN113223046B (zh) 2022-10-14

Family

ID=77085879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010661881.7A Active CN113223046B (zh) 2020-07-10 2020-07-10 一种监狱人员行为识别的方法和系统

Country Status (1)

Country Link
CN (1) CN113223046B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837066A (zh) * 2021-09-22 2021-12-24 深圳市商汤科技有限公司 行为识别方法、装置、电子设备及计算机存储介质
CN114724348A (zh) * 2022-03-24 2022-07-08 慧之安信息技术股份有限公司 基于深度学习的救援报警方法
CN115578756A (zh) * 2022-11-08 2023-01-06 杭州昊恒科技有限公司 基于精准定位和视频联动的人员精细化管理方法及系统
CN115690163A (zh) * 2023-01-04 2023-02-03 中译文娱科技(青岛)有限公司 基于影像内容的目标跟踪方法、系统及存储介质
CN117115114A (zh) * 2023-08-29 2023-11-24 南京晓庄学院 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980829A (zh) * 2017-03-17 2017-07-25 苏州大学 基于视频分析的打架斗殴异常行为自动检测方法
CN110096935A (zh) * 2018-01-31 2019-08-06 杭州海康威视数字技术股份有限公司 图像分析方法、装置、电子设备及存储介质
CN110222616A (zh) * 2019-05-28 2019-09-10 浙江大华技术股份有限公司 行人异常行为检测方法、图像处理装置及存储装置
CN110276261A (zh) * 2019-05-23 2019-09-24 平安科技(深圳)有限公司 人员自动跟踪监控方法、装置、计算机设备及存储介质
CN110942545A (zh) * 2019-11-20 2020-03-31 中船重工(武汉)凌久高科有限公司 基于人脸识别和视频围栏的人员密集出入口门禁控制系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980829A (zh) * 2017-03-17 2017-07-25 苏州大学 基于视频分析的打架斗殴异常行为自动检测方法
CN110096935A (zh) * 2018-01-31 2019-08-06 杭州海康威视数字技术股份有限公司 图像分析方法、装置、电子设备及存储介质
CN110276261A (zh) * 2019-05-23 2019-09-24 平安科技(深圳)有限公司 人员自动跟踪监控方法、装置、计算机设备及存储介质
CN110222616A (zh) * 2019-05-28 2019-09-10 浙江大华技术股份有限公司 行人异常行为检测方法、图像处理装置及存储装置
CN110942545A (zh) * 2019-11-20 2020-03-31 中船重工(武汉)凌久高科有限公司 基于人脸识别和视频围栏的人员密集出入口门禁控制系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
许锋等: "监控视频中异常行为自动检测系统的设计与实现", 《中国刑警学院学报》 *
高玄等: "基于图像处理的人群行为识别方法综述", 《计算机与数字工程》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837066A (zh) * 2021-09-22 2021-12-24 深圳市商汤科技有限公司 行为识别方法、装置、电子设备及计算机存储介质
WO2023045239A1 (zh) * 2021-09-22 2023-03-30 上海商汤智能科技有限公司 行为识别方法、装置、设备、介质、芯片、产品及程序
CN114724348A (zh) * 2022-03-24 2022-07-08 慧之安信息技术股份有限公司 基于深度学习的救援报警方法
CN114724348B (zh) * 2022-03-24 2022-11-15 慧之安信息技术股份有限公司 基于深度学习的救援报警方法
CN115578756A (zh) * 2022-11-08 2023-01-06 杭州昊恒科技有限公司 基于精准定位和视频联动的人员精细化管理方法及系统
CN115578756B (zh) * 2022-11-08 2023-04-14 杭州昊恒科技有限公司 基于精准定位和视频联动的人员精细化管理方法及系统
CN115690163A (zh) * 2023-01-04 2023-02-03 中译文娱科技(青岛)有限公司 基于影像内容的目标跟踪方法、系统及存储介质
CN117115114A (zh) * 2023-08-29 2023-11-24 南京晓庄学院 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法
CN117115114B (zh) * 2023-08-29 2024-01-30 南京晓庄学院 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法

Also Published As

Publication number Publication date
CN113223046B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN113223046B (zh) 一种监狱人员行为识别的方法和系统
CN110188724B (zh) 基于深度学习的安全帽定位与颜色识别的方法及系统
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
KR101215948B1 (ko) 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
CN110348348B (zh) 一种参建人员进场身份快速识别方法及预警系统
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN109376639B (zh) 基于人像识别的伴随人员预警系统及方法
CN108376246A (zh) 一种多人脸识别及跟踪系统及方法
CN107818312A (zh) 一种基于异常行为识别的嵌入式系统
KR20060031832A (ko) 실시간 행위분석 및 상황인지 기반 스마트 영상 보안시스템
CN109886117A (zh) 一种目标行为检测的方法和设备
CN113034826A (zh) 基于视频的异常事件告警方法及其系统、设备、存储介质
CN112287823A (zh) 一种基于视频监控的面部口罩识别方法
CN113887445A (zh) 一种视频中驻足和徘徊行为识别方法及系统
CN105354552A (zh) 一种基于人脸识别和表情分析的在线监测系统与方法
CN113314230A (zh) 基于大数据的智能防疫方法、装置、设备及存储介质
CN116778673A (zh) 水域安全监控方法、系统、终端及存储介质
CN116993265A (zh) 一种基于物联网的智能仓储安全管理系统
CN111291728A (zh) 违规翻越传输带行为的检测系统及检测设备、检测方法
CN111126100A (zh) 报警方法、装置、电子设备及存储介质
CN111985331B (zh) 预防商业秘密被窃照的检测方法及装置
KR20230097854A (ko) 발전소내 작업자의 위험행동 인지방법 및 시스템
KR20230064095A (ko) 딥러닝 기반 영상분석을 통한 이상행동 탐지 장치 및 방법
CN116030404A (zh) 一种基于人工智能的作业区域电子警戒围栏架设和安全监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant