CN114500950A - 基于智慧城市的箱体异常状态检测系统及方法 - Google Patents

Abstract

本发明涉及视频监控技术领域，具体公开了基于智慧城市的箱体异常状态检测系统及方法，其中系统包括：对接模块，用于实时获取摄像头采集的视频数据，并判断摄像头是否属于预设区域；分帧模块，用于在摄像头属于预设区域时，对对应的视频数据进行分帧处理，生成若干图片；分析模块，用于将图片输入神经网络模型中进行判断，获得判断结果；在判断结果为开门时，基于操作日志判断是否为异常开门；标识模块，用于判断结果为异常开门时，在图片上标注预设标识。采用本发明的技术方案能够快速确定箱门是否异常打开。

Description

基于智慧城市的箱体异常状态检测系统及方法

技术领域

本发明涉及视频监控技术领域，特别涉及基于智慧城市的箱体异常状态检测系统及方法。

背景技术

在智慧城市建设中，部分危险区域和重要场所是不允许普通人员进入的，例如带有高压电的箱式变压站、部署重要设备的微机房等，为了避免发生箱体异常开门导致的人员安全事故或者公共设备遗失，需要对箱体的异常开门状态进行实时监测和报警。

国内外现有箱体异常开门监测常用的方案是使用门磁传感器，该监测方案只能实现对箱体门开合状态的监测，无法实现对开门场景的实时分析，具有很大的局限性。例如，箱体可能并不具备门磁安装条件，或者门磁数据无法上传到远程控制中心；不能对场景进行智能识别，无法识别是正常打开和异常打开；门磁元件易损坏导致无法正常监测箱体开门等。

在其他的方案中，会进行视频设备联动，同时安装视频监控设备对箱体进行24小时不间断监测，当门磁传感器监测到箱体异常打开时推送报警消息，然后由管理人员打开对应视频监控设备实时浏览或者回放历史视频数据，但是该监测方法需要人工处理，工作效率较低。

为此，需要一种能够快速确定箱门是否异常打开的基于智慧城市的箱体异常状态检测系统及方法。

发明内容

本发明提供了基于智慧城市的箱体异常状态检测系统及方法，能够快速确定箱门是否异常打开。

为了解决上述技术问题，本申请提供如下技术方案：

基于智慧城市的箱体异常状态检测系统，包括：

对接模块，用于实时获取摄像头采集的视频数据，并判断摄像头是否属于预设区域；

分帧模块，用于在摄像头属于预设区域时，对对应的视频数据进行分帧处理，生成若干图片；

分析模块，用于将图片输入神经网络模型中进行判断，获得判断结果；在判断结果为开门时，基于操作日志判断是否为异常开门；

标识模块，用于判断结果为异常开门时，在图片上标注预设标识。

基础方案原理及有益效果如下：

本方案中，实时获取视频数据后，并判断摄像头是否属于预设区域，可以决定摄像头对应视频数据后续的处理措施。例如，不属于预设区域，表明该摄像头对应视频数据的重要性较低，可以继续采用人工监控的方式。在摄像头属于预设区域时，对对应的视频数据进行分帧处理，将视频数据转换为一帧一帧的图片，再将图片输入到神经网络模型中进行判断，可以得到箱体是否开门的判断结果。当判断结果为开门时，通过操作日志可以准确的判断出是否为异常开门。最后在异常开门的图片上，标注预设标识。可以在用户进行复核时，方便用户快速的确定开门异常发生时对应的图片。

综上，本方案能够快速确定箱门是否异常打开。

进一步，还包括识别模块，用于根据预设区域摄像头采集的视频数据判断监控区域内是否有人员；分析模块用于在监控区域内没有人员时，每隔预设时间，提取图片，并将图片输入神经网络模型中进行判断。

当监控区域内没有人员时，出现箱门异常打开的可能性较小，每隔预设时间，提取图片，并将图片输入神经网络模型中进行判断，而不是实时对图片进行判断，可以降低神经网络模型处理的压力。

进一步，所述识别模块还用于在监控区域内有人员时，进行人脸识别，判断人员是否属于工作人员，如果不属于工作人员，将对应视频数据标记为高优先级视频数据，如果属于工作人员，将对应视频数据标记为低优先级视频数据；

分帧模块还用于对预设区域的摄像头对应的高优先级视频数据优先进行分帧处理。

通过提前采集工作人员的人脸数据，通过人脸识别可以准确的将工作人员识别出来。当工作人员出现在监控区域内，即出现在箱体附近时，维修或巡视的可能性高，将对应视频数据标记为低优先级视频数据，在分帧模块处理繁忙时，不需要立即进行处理。

当非工作人员出现在箱体附近时，造成异常开门的可能性较高，将对应视频数据标记为高优先级视频数据，在分帧模块处理繁忙时，可以保证优先进行分帧处理，便于后续快速进行识别判断。

进一步，所述分析模块还用于优先将高优先级视频数据对应的图片输入神经网络模型中进行判断。

当前人脸识别方案较为成熟，可以直接采购现有的设备或接入现有的人脸识别平台，例如现有的人脸识别平台，通常服务众多客户，可以架设较多的服务器进行人脸识别的处理，进行承受大数据量的并行处理。而神经网络模型单独开发，只用于开门的识别，使用范围有限，预算有限，无法配置过多的硬件。因此容易存在性能瓶颈。通过优先将高优先级视频数据对应的图片输入神经网络模型中进行判断，在神经网络模型运行繁忙时，依旧可以快速获得是否开门的判断结果。

进一步，所述分析模块根据高优先级视频数据和低优先级视频数据确定输入神经网络模型的预设图片数量，其中，高优先级视频数据对应的预设图片数量大于低优先级对应的预设图片数量。

可以确保在箱体附近出现在非工作人员时，进行充分的识别判断。

进一步，所述分帧模块还用于对图片进行顺序编号；

分析模块每间隔预设张数抽取一张图片输入神经网络模型，直到输入的图片数量等于预设图片数量或神经网络模型的判断结果为开门。

进一步，还包括气象处理模块，用于获取天气信息，基于天气信息判断当前天气是否属于预设天气类型；分析模块还用于在监控区域内没有人员，且当前天气属于预设天气类型时，缩短提取图片的预设时间。

例如，预设天气类型为风力等级超过5级，在这种情况下箱门因为没有关闭好，被风吹开的可能性增大，缩短提取图片的预设时间，可以提高判断的间隔，便于提早发现箱门异常打开。

进一步，还包括验证模块，用于在神经网络模型的判断结果为未开门时，判断操作日志中是否记载有当前时间的开门计划，若有，生成预警信息。

操作日志中记载有当前时间的开门计划，而神经网络模型的判断结果为未开门。可能存在两种情况，一是工作人员正常开门而神经网络模型未识别正确，二是神经网络模型识别正确，工作人员未按开门计划进行开门。通过生成预警信息，便于相关管理人员进行核实处理。

基于智慧城市的箱体异常状态检测方法，使用上述系统进行箱体异常状态检测。

附图说明

图1为实施例一基于智慧城市的箱体异常状态检测系统。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例一

如图1所示，本实施例的基于智慧城市的箱体异常状态检测系统包括对接模块、分帧模块、分析模块、标识模块和识别模块。

对接模块用于实时获取摄像头采集的视频数据，并判断摄像头是否属于预设区域。本实施例中，预设区域由人为设定，例如将需要重点监控的区域设为预设区域。

识别模块用于根据预设区域摄像头采集的视频数据判断监控区域内是否有人员；

识别模块还用于在监控区域内有人员时，进行人脸识别，判断人员是否备案，如果未备案，将对应视频数据标记为高优先级视频数据，如果已备案，将对应视频数据标记为低优先级视频数据。

分帧模块用于在摄像头属于预设区域时，对对应的视频数据进行分帧处理，生成若干图片。分帧模块还用于对图片进行顺序编号，本实施例中，采用阿拉伯数字顺序编号。其中，分帧模块分帧处理时，对预设区域的摄像头对应的高优先级视频数据优先进行分帧处理。

分析模块用于在监控区域内没有人员时，每隔预设时间，提取图片，并将图片输入神经网络模型中进行判断，本实施例中，提取1张图片。

分析模块还用于在监控区域内有人员时，根据高优先级视频数据和低优先级视频数据确定输入神经网络模型的预设图片数量，优先将高优先级视频数据对应的图片输入神经网络模型中进行判断。其中，高优先级视频数据对应的预设图片数量大于低优先级对应的预设图片数量。本实施例中，分析模块将图片输入神经网络模型时，每间隔预设张数抽取一张图片输入神经网络模型，直到输入的图片数量等于预设图片数量或神经网络模型的判断结果为开门。例如高优先级视频数据对应的预设图片数量为20张，每间隔5张抽取一张图片输入神经网络模型。

分析模块还用于从神经网络模型中获得判断结果；在判断结果为开门时，基于操作日志判断是否为异常开门；本实施例中，工作人员在进行巡检、维修等操作前，会有相应的巡检计划表或者维修计划表，其中涉及到进入箱体的内容可以提取出来作为开门计划添加到操作日志中，作为判断的依据。通过视频数据可以得到开门的时间，判断操作日志中是否记载有对应时间的开门计划，若没有，即判断为异常开门。

标识模块用于判断结果为异常开门时，在图片上标注预设标识。本实施例中，还可以设置标注参数，基于标注参数在图片上标注预设标识，其中标注参数包括标识大小、标识的位置和标识的透明度。标识的大小，即标识的长度*标识的宽度。标识的位置即标识距离图片左侧边缘的距离和距离图片上侧边缘的距离。标识的透明度以百分数表示，例如透明度100％，即标识完全不可见。标识例如由文字“开门异常”格栅化后形成的图片制作而成。本实施例中，通过FFmpeg在图片上标注预设标识。

本实施例还提供一种基于智慧城市的箱体异常状态检测方法，使用上述系统进行箱体异常状态检测。

为了利用神经网络模型进行判断，本实施例还提供一种神经网络模型的训练方法，包括如下步骤：

S1、获取视频数据并进行分帧生成若干图片。本实施例中，分帧采用的是OpenCV中的分割组件。

S2、对图片进行分类标记，构建训练图片集。标记包括开门和未开门。

S3、将训练图片集输入神经网络模型进行训练；神经网络模型为卷积神经网络模型。本实施例中，卷积神经网络模型采用的是OpenCV中的卷积神经网络模型组件。

实施例二

本实施例和实施例一的区别在于，本实施例的系统还包括气象处理模块。气象处理模块用于获取天气信息，基于天气信息判断当前天气是否属于预设天气类型；分析模块还用于在监控区域内没有人员，且当前天气属于预设天气类型时，缩短提取图片的预设时间。本实施例中，预设天气类型为风力等级超过5级。例如预设时间为60秒，风力等级超过5级后，缩短为30秒。

实施例三

本实施例和实施例一的区别在于，本实施例的系统还包括验证模块。验证模块用于在神经网络模型的判断结果为未开门时，判断操作日志中是否记载有当前时间的开门计划，若有，生成预警信息。

实施例四

本实施与实施例一的区别在于，本实施例的系统还包括切片模块，修正模块和存储模块。

切片模块用于对视频数据进行切片，生成描述文件和若干媒体片段；描述文件用于记录视频数据的拍摄日期、总时长以及各个媒体片段的编号和时长。本实施例中，以毫秒为单位对视频数据进行切片。

本实施例中，描述文件采用m3u8文件，媒体片段采用ts文件。例如视频数据的总时长为10秒，切片为10个ts文件，单个ts文件的时长为1秒，ts文件的编号从001到010。拍摄日期例如2021-7-15-12:01:00:001。

识别模块，还用于对媒体片段进行二值化处理，判断二值化处理后的媒体片段是否包含预设识别物，若包含预设识别物，由修正模块进行处理，若未包含预设识别物，由存储模块进行处理。本实施例中，对每一帧媒体片段进行二值化处理。预设识别物包括人员、动物等。

修正模块，用于对媒体片段进行降噪处理；本实施例中，先将媒体片段灰度化处理，再进行高斯滤波降噪。

存储模块，用于将描述文件和降噪处理后的媒体片段存储。

本实施例能够将视频数据处理后进行存储，方便后续调用。由于视频数据是由一帧一帧的画面组成的，在切片的时候，无法完全做到恰好在连续的帧与帧之间进行分隔，即两个连续的媒体片段之间，可能会出现丢失若干帧的情况，导致画面质量的损失。通过对切片后的媒体片段进行降噪处理，能有效提升画面的质量。但是，如果对所有的媒体片段都进行降噪处理，会耗费大量的计算资源。而且，当摄像头的监控范围内没有人或动物通过时，画面是静态的，各帧画面之间的差别小，即使中间丢失若干帧，对于画面质量不会造成过多的影响。本实施例中，预设识别物根据监控的对象，可以是人员或者是动物等，例如预设识别物为动物，当媒体片段中包含动物时，再对媒体片段进行降噪处理。由于画面中出现动物，各帧画面之间的差别变大，如果中间丢失若干帧，对画面质量的影响变大，此时进行降噪处理，提升画面的清晰度，以抵消可能丢失若干帧带来的影响，减少画面质量损失。而且，画面中出现动物，该媒体片段后续被工作人员调用观看的可能性更高，进行降噪处理后，也能提升观感。

识别模块处理时，若包含预设识别物，还判断预设识别物的类型；基于预设识别物的类型，确定第一预设数量值，然后对该媒体片段后第一预设数量的媒体片段省略识别模块处理，直接由修正模块处理。

由于摄像头的监控范围是一定的，正常情况下，人员、管廊内动物在摄像头下经过的时间也是处于一定范围内的(动物由于速度快，时间会小于人经过的时间)。当摄像头的监控范围内出现动物或者人员时，体现在媒体片段上，即包含预设识别物。动物或者人员离开监控范围内需要一定的时间，这段时间内的媒体片段中包含动物或人员的可能性高，因此，省略识别模块处理，直接由修正模块处理，可以进一步简化识别的流程，节约计算资源。本实施例中，第一预设数量根据预设识别物的预估平均速度、媒体片段的时长和摄像头的监控范围综合确定。预估平均速度可以根据摄像头的安装位置确定。

进一步，本实施例中，还基于媒体片段预设识别物的移动距离计算预设识别物的实际平均速度，判断实际平均速度与预估平均速度的差值的绝对值，与预估平均速度比值是否大于阈值。即：|V1-V2|/V2，其中V1为实际平均速度，V2为预估平均速度。

如果大于阈值，第一预设数量根据预设识别物的预估平均速度、媒体片段的时长和摄像头的监控范围综合确定。如果小于等于阈值，第一预设数量根据预设识别物的实际平均速度、媒体片段的时长和摄像头的监控范围综合确定。本实施例中，阈值为20％。

以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (9)

1.基于智慧城市的箱体异常状态检测系统，其特征在于，包括：

对接模块，用于实时获取摄像头采集的视频数据，并判断摄像头是否属于预设区域；

分帧模块，用于在摄像头属于预设区域时，对对应的视频数据进行分帧处理，生成若干图片；

分析模块，用于将图片输入神经网络模型中进行判断，获得判断结果；在判断结果为开门时，基于操作日志判断是否为异常开门；

标识模块，用于判断结果为异常开门时，在图片上标注预设标识。

2.根据权利要求1所述的基于智慧城市的箱体异常状态检测系统，其特征在于：还包括识别模块，用于根据预设区域摄像头采集的视频数据判断监控区域内是否有人员；分析模块用于在监控区域内没有人员时，每隔预设时间，提取图片，并将图片输入神经网络模型中进行判断。

3.根据权利要求2所述的基于智慧城市的箱体异常状态检测系统，其特征在于：所述识别模块还用于在监控区域内有人员时，进行人脸识别，判断人员是否属于工作人员，如果不属于工作人员，将对应视频数据标记为高优先级视频数据，如果属于工作人员，将对应视频数据标记为低优先级视频数据；

分帧模块还用于对预设区域的摄像头对应的高优先级视频数据优先进行分帧处理。

4.根据权利要求3所述的基于智慧城市的箱体异常状态检测系统，其特征在于：所述分析模块还用于优先将高优先级视频数据对应的图片输入神经网络模型中进行判断。

5.根据权利要求4所述的基于智慧城市的箱体异常状态检测系统，其特征在于：所述分析模块根据高优先级视频数据和低优先级视频数据确定输入神经网络模型的预设图片数量，其中，高优先级视频数据对应的预设图片数量大于低优先级对应的预设图片数量。

6.根据权利要求5所述的基于智慧城市的箱体异常状态检测系统，其特征在于：所述分帧模块还用于对图片进行顺序编号；

分析模块每间隔预设张数抽取一张图片输入神经网络模型，直到输入的图片数量等于预设图片数量或神经网络模型的判断结果为开门。

7.根据权利要求6所述的基于智慧城市的箱体异常状态检测系统，其特征在于：还包括气象处理模块，用于获取天气信息，基于天气信息判断当前天气是否属于预设天气类型；分析模块还用于在监控区域内没有人员，且当前天气属于预设天气类型时，缩短提取图片的预设时间。

8.根据权利要求7所述的基于智慧城市的箱体异常状态检测系统，其特征在于：还包括验证模块，用于在神经网络模型的判断结果为未开门时，判断操作日志中是否记载有当前时间的开门计划，若有，生成预警信息。

9.基于智慧城市的箱体异常状态检测方法，其特征在于，使用权利要求1-8任一项所述系统进行箱体异常状态检测。

Images