CN110689694B - 基于图像处理的智能监控系统及方法 - Google Patents

Abstract

本发明涉及视频图像处理技术领域，具体为一种基于图像处理的智能监控系统及方法，该系统包括：图像处理子系统用于获取视频信息，将视频信息拆分为若干帧图像I，并标记出警示区域和人物框；还用于依次判断图像I中警示区域是否与人物框重合，若当前帧的图像I中警示区域与人物框重合，则获取预设时间段内的图像I作为图像Ⅱ；图像分析子系统用于依次计算图像Ⅱ中警示区域与人物框重合的重合率，并根据重合率生成预判结果，当预判结果为停留时，生成提示信号；当预判结果为入侵时，生成报警信号。采用本方案能够在有人入侵警示区域时提醒安保人员，有效对警示区域进行保护，合理利用人力资源。

Description

基于图像处理的智能监控系统及方法

技术领域

本发明涉及视频图像处理技术领域，具体为一种基于图像处理的智能监控系统及方法。

背景技术

随着图像处理技术的发展，其应用遍布我们的生活，其中最常见的就是对视频监控所采集的图像进行处理。现有技术中安保人员位于监控室内，通过显示器查看监控视频，通过图像处理对采集的视频进行分析，从而对可疑目标进行标记和追踪，通过标记便于安保人员进行查看。但是为实现完整的监控系统，所安装的监控设备较多，相应的监控视频也会较多，需要多个安保人员才能保障对所有的监控视频进行查看。

而对于企业而言，企业会存在一些机密，这些机密所在的办公室是不允许自由出入，同样的在展馆中，为了防止参观者触摸展品，在展品外设置禁止入内区域。拍摄这些区域的视频都需要安保人员格外注意，甚至需要另外安排安保人员在这些区域附近，这样容易造成大量人力资源的浪费。

发明内容

本发明意在提供一种基于图像处理的智能监控系统及方法，能够在有人入侵警示区域时提醒安保人员，有效对警示区域进行保护，合理利用人力资源。

本发明提供基础方案：基于图像处理的智能监控系统，包括：

区域设定子系统，用于获取警示区域；

图像处理子系统，用于获取视频信息，将视频信息拆分为若干帧图像I，并在图像I中标记出警示区域和人物框；还用于按时间序列依次判断图像I中警示区域是否与人物框重合，若当前帧的图像I中警示区域与人物框重合，则以当前帧的时间为起始时间获取预设时间段内的图像I作为图像Ⅱ；

图像分析子系统，用于依次计算图像Ⅱ中警示区域与人物框重合的重合率，并根据重合率生成预判结果，当预判结果为经过时，生成正常信号；当预判结果为停留时，生成提示信号；当预判结果为入侵时，生成报警信号。

基础方案的工作原理及有益效果：警示区域为用户指定的禁止他人靠近或进入的区域，例如办公大楼中较为机密的办公室，展馆中为防止触摸展品设定的禁止入内区域。通过区域设定子系统获取警示区域，便于后续判断他人是否进入该警示区域。视频信息为采用现有场地中的监控设备采集的相应区域的图像，例如利用摄像头。

将视频信息拆分为一帧帧的图像I，便于对图像进行分析处理，在图像I中标记出警示区域和人物框，人物框将人物的头部和身体一起框出。按时间序列的先后依次对图像I进行分析处理，当某一帧的图像I中警示区域与人物框重合时，说明有人在警示区域附近，此时需要对此人加强关注。因此以当前帧的时间为起始时间，以起始时间作为开始获取预设时间段内的图像I作为图像Ⅱ，图像Ⅱ为分析该人行为的主要图像。预设时间段由用户设定，当警示区域为办公室时，预设时间段为在正常情况下人经过办公室的时间，例如10秒，当警示区域为展馆内的禁止入内区域时，预设时间段为允许停留在同一展品的观赏时间，例如20分钟，可根据需要进行设定。

依次计算图像Ⅱ中警示区域与人物框的重合率，重合率为人物框与警示区域重合部分占人物框的比例，重合率的范围为0-100％，每一帧的图像Ⅱ均有唯一的重合率，根据所有图像Ⅱ的重合率生成预判结果，预判结果分别为：经过、停留和入侵，代表三种情况，经过代表该人只是从警示区域附近路过，停留代表该人在警示区域附近停留较久，存在想要入侵警示区域的可能性，而入侵则代表该人准备或正在入侵警示区域。不同情况生成不同的预判结果，从而生成不同的信号，以进行不同的执行措施。当预判结果为停留或入侵时，都需要提醒安保人员注意该人，而预判结果为入侵时，则需要安保人员前往警示区域查看情况，避免警示区域内的机密泄漏或对警示区域内的展品造成损伤。通过对视频信息进行分析，从而判断人的行为以生成不同的信号，进而提醒安保人员进行不同操作，达到合理利用人力资源，有效对警示区域进行保护的目的。

进一步，所述图像分析子系统包括：

计算模块，用于依次计算图像Ⅱ中警示区域与人物框重合的重合率，并按图像Ⅱ的时间序列对若干重合率进行排序生成分析序列，并剔除分析序列中的第一个数据更新分析序列。

有益效果：按时间序列对若干重合率进行排序生成分析序列，即分析序列为按时间先后排列的重合率的数列，由于图像Ⅱ为警示区域与人物框重合的图像，第一个数据(即第一个重合率)为警示区域与人物框重合的第一时间帧的图像，而第一时间帧的图像中警示区域与人物框重合区域不稳定，即第一个重合率与其他重合率存在较大差别，因此剔除第一个重合率，避免影响后续对人物行为的判断，减小误判的可能性。

进一步，所述图像分析子系统还包括：

判断模块，用于依次获取分析序列中的数据，并判断获取的数据是否等于100％，若是，则生成入侵的预判结果。

有益效果：分析序列中的数据为重合率，当重合率为100％时，说明人物框位于警示区域内，此时人物框所代表的人物已经十分靠近警示区域，甚至于已经进入警示区域，因此生成的预判结果为入侵，从而生成报警信号以提醒安保人员到达警示区域现场查看情况。

进一步，所述判断模块还用于在判断获取的数据是否等于100％时，若分析序列中的数据均不等于100％，则依次计算分析序列中相邻两数据之间的计算差值，直到计算差值大于预设差值，则根据相邻两所述数据之前获取的数据计算标准差，当标准差不大于第一预设值时，生成经过的预判结果。

有益效果：分析序列中的数据为重合率，当分析序列中的数据均不等于100％时，说明人物框所代表的人物并未进入警示区域，但是也并不能排除其他可能性，例如在办公室外窃听机密或踩点等，因此对分析序列中数据的变化进行分析。当人正常经过时，所代表的人物框与警示区域的重合率浮动不太，也就意味着分析序列内的数据的标准差会很小，当标准差小于或等于第一预设值时，便可认为是人正常经过。由于分析序列中的数据是根据预设时间段提取的，在此时间段内，会存在人已经经过警示区域，则相当于分析序列中后半段的数据均为0，这部分数据将会影响生成的标准差的准确性，因此先对人是否已经经过警示区域进行判断，当人已经经过警示区域时，其代表的人物框与警示区域的重合率会下降，因此通过计算分析序列中相邻两数据之间的计算差值，当计算差值大于预设差值，便认为人已经经过警示区域，对之前的数据进行分析生成标准差，从而判断该人是否是正常的经过警示区域。

进一步，所述判断模块还用于当标准差大于第一预设值时，生成停留的预判结果。

有益效果：当标准差大于第一预设值时，说明该人在警示区域外停留时间过长，会存在入侵警示区域的可能性，因此其预判结果为停留，以提醒安保人员注意相关情况。

进一步，所述区域设定子系统包括：

设定模块，用于获取指定禁区；

扩充模块，用于对指定禁区进行扩充生成警示区域。

有益效果：指定禁区为刚好与警示区域尺寸相同的区域，例如大门的边界，通过对指定禁区进行合理扩充，预见性的进行行为判断，从而尽可能的减小指定禁区被入侵的可能性。

进一步，所述图像分析子系统与警示区域的门禁系统进行信息连接，所述门禁系统用于通过身份验证时生成门禁信号，并将门禁信号发送给图像分析子系统；

所述图像分析子系统用于预判结果为入侵时，判断是否接收到门禁信号，若是，则将生成正常信号，若否，则生成报警信号。

有益效果：门禁系统为现有的智能大门的系统，当身份验证通过时大门会打开，同时生成门禁信号发送给图像分析子系统，图像分析子系统通过门禁信号判断入侵行为是非法入侵还是有授权的人正常进入。

进一步，所述图像分析子系统用于多人进入警示区域时，获取包含多人面部信息的图像进行记录。有益效果：当多人进入警示区域时，通常只需要一次身份验证，无法保证多人中是否存在无权限或存在潜在风险的人进入，因此对进入警示区域的图像进行记录，便于后续查找记录追查相关人员。

进一步，还包括若干采集终端，其中采集终端包括常规采集终端和记录采集终端，所述常规采集终端用于实时获取视频信息，所述记录采集终端用于记录多人面部信息的图像时，获取视频信息作为记录视频；

所述图像分析子系统，用于将记录视频拆分为若干帧记录图像，并在记录图像中标记出进入警示区域的多人的面部框，并根据面部框内的图像识别出清晰度和完整度，记录清晰度和完整度最高的记录图像。

有益效果：通过设置多个采集终端，从而采集不同角度的记录图像，进而获取拍摄的清晰度高，包含更多面部信息的记录图像，更容易辨别多人的身份。

本发明意在还提供一种基于图像处理的智能监控方法，使用上述任一种基于图像处理的智能监控系统。

有益效果：能够根据人物框与警示区域的重合率的变化进行预判，从而在有人入侵警示区域时提醒安保人员，有效对警示区域进行保护，合理利用人力资源。

附图说明

图1为本发明基于图像处理的智能监控系统实施例一的逻辑框图；

图2为本发明基于图像处理的智能监控系统实施例二的逻辑框图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例一

基于图像处理的智能监控系统，如附图1所示，包括区域设定子系统、图像处理子系统、图像分析子系统、安保终端、采集终端。在本实施例中，为便于说明，将办公大楼中的机密办公室定义为不能自由出入的区域，即机密办公室的大门便为本申请中的指定禁区。采集终端为现有的能够拍摄视频的监控设备，在本实施例中，采集终端优选为监控摄像头。安保终端为现有的展示监控视频的监控设备，在本实施例中，安保终端优选为现有监控室中使用的闭路电视和喇叭。

采集终端安装在办公大楼的过道中，用于拍摄包含机密办公室大门的视频，并生成视频信息发送给安保终端和图像处理子系统。

安保终端，用于显示视频信息，并供用户根据视频信息其中的一帧图像标记指定禁区，并将标记指定禁区的图像发送给区域设定子系统。在本实施例中，指定禁区为机密办公室大门的边缘构成的封闭图形。

区域设定子系统，包括：

设定模块，用于接收包含指定禁区的图像，并以图像左下角为原点、图像的左边界和图像的下边界为坐标轴建立坐标系，并为指定禁区的边界像素点赋予坐标值，将上边界像素点的坐标值组成第一集合，将下边界像素点的坐标值组成第二集合，将左边界像素点的坐标值组成第三集合，将右边界像素点的坐标值组成第四组合。

扩充模块，用于获取坐标预设值，坐标预设值由用户根据图像总像素数进行选择。将第一集合内的坐标值的纵坐标增加坐标预设值，将第二集合内的坐标值的纵坐标减少坐标预设值，将第三集合内的坐标值的横坐标减少坐标预设值，将第四集合内的坐标值的横坐标增加坐标预设值；并将第一集合内的坐标值构成的上边界、第二集合内的坐标值构成的下边界的两端分别向左、右延伸，同时第三集合内坐标值构成的左边界、第四集合内的坐标值构成的右边界的两端分别向上、下延伸，直到上、下边界的两端分别与左、右边界的两端相交，上、下、左、右边界围合成警示区域，即对指定禁区进行扩充生成警示区域。获取围合成警示区域的上、下、左、右边界的坐标值生成警示坐标集合，并将警示坐标集合发送给图像处理子系统。

图像处理子系统，包括：

视频标记模块，用于接收视频信息，并将视频信息拆分为若干帧图像I，

并以图像I的左下角为原点、图像I的左边界和图像I的下边界为坐标轴建立坐标系，为图像I中的任一像素点赋予坐标值；还用于接收警示坐标集合，并根据警示坐标集合在图像I中标记出警示区域，并采用现有人物识别技术对图像I中的人物进行识别，并将人物用人物框标记出，人物框将人物的头部和身体一起框出。

重合判断模块，预设有预设时间段，重合判断模块用于按照时间序列依次判断图像I中警示区域是否与人物框重合，若当前帧的图像I中警示区域与人物框重合，则以当前帧的时间为起始时间获取预设时间段内的图像I作为图像Ⅱ，并将图像Ⅱ发送给图像分析子系统。若当前帧的图像I中警示区域与人物框不重合，则继续对下一帧图像I进行判断。由于本实施例中机密办公室的大门便为本申请中的指定禁区为例，则正常经过大门的时间5秒，即预设时间段为5秒，获取当前帧及当前帧以后5秒内的图像I作为图像Ⅱ。

图像分析子系统，包括：

计算模块，用于接收图像Ⅱ，并依次计算图像Ⅱ中警示区域与人物框重合的重合率，重合率的范围为0-100％，并按图像Ⅱ的时间序列对若干重合率进行排序生成分析序列，并剔除分析序列中的第一个数据以更新分析序列(即剔除当前帧的图像Ⅱ的重合率)。在其它实施例中，根据实际情况剔除分析序列的前N个数据以更新分析序列，从而减少后续生成预判结果的误差。

判断模块，预设有预设差值、第一预设值，判断模块用于依次获取分析序列中的数据，并判断获取的数据是否等于100％，若是，则生成预判结果，此时预判结果为入侵。若分析序列中的数据均不等于100％，则依次计算分析序列中相邻两数据之间的计算差值，直到计算差值大于预设差值，则根据相邻两所述数据之前获取的数据计算标准差，当标准差不大于第一预设值时，生成预判结果，此时预判结果为经过。当标准差大于第一预设值时，生成预判结果，此时预判结果为停留。预设差值用于判断人是否离开警示区域，第一预设值用于判断人是否正常经过警示区域，在本实施例中，预设差值为30％，第一预设值为0.1。在其它实施例中，预设差值和第一预设值根据需要设定。

提醒模块，用于根据预判结果生成不同的信号，当预判结果为经过时，生成正常信号；当预判结果为停留时，生成提示信号；当预判结果为入侵时，生成报警信号，并将提示信号和报警信号发送给安保终端。

安保终端，用于接收提示信号或报警信号，并在接收到提示信号时，播放提示信息，提示信息为：警示区域外有人停留，请注意；并在接收到报警信号时，显示图像Ⅱ对应的视频信息，并播放报警信息，报警信息为：警示区域有人正在入侵，请速到警示区域进行处理。

基于图像处理的智能监控方法，该方法应用上述系统。

实施例二

本实施例与实施例一的不同之处在于：如附图2所示，现有的机密办公室除了有视频监控外，还有门禁系统，门禁系统与图像分析子系统信号连接。门禁系统为现有的机密办公室的大门的智能系统，通过钥匙、指纹、身份卡、人脸识别等方式进行身份验证，在身份验证通过时才能打开大门，当大门打开时，门禁系统生成门禁信号发送给图像分析子系统

提醒模块，还用于当预判结果为入侵时，判断是否接收到门禁信号，若接收到，则生成正常信号，若未接收到，则生成报警信号。

采集终端的数量为多个，其中包括常规采集终端和记录采集终端，常规采集终端用于实时获取视频信息，记录采集终端用于记录多人面部信息的图像时，获取视频信息作为记录视频。在本实施例中，采集终端为三个，其中一个为常规采集终端，其余两个为记录采集终端，常规采集终端和记录采集终端拍摄不同角度警示区域的视频(即从不同角度拍摄进入警示区域的人的面部信息)，日常中使用常规采集终端实时采集视频信息，记录采集终端处于待机状态。

图像分析子系统，还包括多人判断模块、记录模块。

多人判断模块，用于当预判结果为入侵且生成正常信号时，获取当前帧的图像中人物框与警示区域存在重合的数量，当数量等于1时，不进行记录，当数量大于1时，生成记录信号，并将记录信号发送给记录采集终端和常规采集终端。

记录采集终端上设有声光吸引模块，记录采集终端，用于接收记录信号，控制声光吸引模块发出声音和灯光，同时采集视频信息作为记录视频发送给图像分析子系统。通过声音和灯光吸引人查看，从而拍摄清晰度更高、面部信息更完整的记录视频。

常规采集终端，用于接收记录信号，采集视频信息作为记录视频发送给图像分析子系统。记录视频包含不同角度的进入警示区域的人的面部信息，从而实现在多人进入警示区域时，获取包含多人面部信息的图像进行记录。

记录模块，预设有预设比例，记录模块用于接收记录视频，并将记录视频拆分为若干帧记录图像，并在记录图像中标记出进入警示区域的多人的面部框，并根据面部框内的图像识别出清晰度和完整度，清晰度和完整度的范围为0-10，图像越清晰，人的面部信息越完整，数值越大。清晰度和完整度根据预设比例生成效果评分，效果评分的范围为0-10，将效果评分最高的记录图像进行记录。

基于图像处理的智能监控方法，该方法应用上述系统。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (7)

1.基于图像处理的智能监控系统，其特征在于，包括：

区域设定子系统，用于获取警示区域；

图像处理子系统，用于获取视频信息，将视频信息拆分为若干帧图像I，并在图像I中标记出警示区域和人物框；还用于按时间序列依次判断图像I中警示区域是否与人物框重合，若当前帧的图像I中警示区域与人物框重合，则以当前帧的时间为起始时间获取预设时间段内的图像I作为图像Ⅱ；

图像分析子系统，用于依次计算图像Ⅱ中警示区域与人物框重合的重合率，并根据重合率生成预判结果，当预判结果为经过时，生成正常信号；当预判结果为停留时，生成提示信号；当预判结果为入侵时，生成报警信号；

所述图像分析子系统包括：

计算模块，用于依次计算图像Ⅱ中警示区域与人物框重合的重合率，并按图像Ⅱ的时间序列对若干重合率进行排序生成分析序列，并剔除分析序列中的第一个数据更新分析序列；

所述图像分析子系统还包括：

判断模块，用于依次获取分析序列中的重合率，并判断获取的重合率是否等于100%，若是，则生成入侵的预判结果；

所述判断模块还用于在判断获取的重合率是否等于100%时，若分析序列中的重合率均不等于100%，则依次计算分析序列中相邻两重合率之间的计算差值，直到计算差值大于预设差值，则根据相邻两所述重合率之前获取的重合率计算标准差，当标准差不大于第一预设值时，生成经过的预判结果。

2.根据权利要求1所述的基于图像处理的智能监控系统，其特征在于：所述判断模块还用于当标准差大于第一预设值时，生成停留的预判结果。

3.根据权利要求1或2所述的基于图像处理的智能监控系统，其特征在于，所述区域设定子系统包括：

设定模块，用于获取指定禁区；

扩充模块，用于对指定禁区进行扩充生成警示区域。

4.根据权利要求3所述的基于图像处理的智能监控系统，其特征在于：所述图像分析子系统与警示区域的门禁系统进行信息连接，所述门禁系统用于通过身份验证时生成门禁信号，并将门禁信号发送给图像分析子系统；

所述图像分析子系统用于预判结果为入侵时，判断是否接收到门禁信号，若是，则将生成正常信号，若否，则生成报警信号。

5.根据权利要求4所述的基于图像处理的智能监控系统，其特征在于：所述图像分析子系统用于多人进入警示区域时，获取包含多人面部信息的图像进行记录。

6.根据权利要求5所述的基于图像处理的智能监控系统，其特征在于：还包括若干采集终端，其中采集终端包括常规采集终端和记录采集终端，所述常规采集终端用于实时获取视频信息，所述记录采集终端用于记录多人面部信息的图像时，获取视频信息作为记录视频；

所述图像分析子系统，用于将记录视频拆分为若干帧记录图像，并在记录图像中标记出进入警示区域的多人的面部框，并根据面部框内的图像识别出清晰度和完整度，记录清晰度和完整度最高的记录图像。

7.基于图像处理的智能监控方法，其特征在于：使用如权利要求1-6中任一项基于图像处理的智能监控系统。

Images