CN114743157B - 一种基于视频的行人监控方法、装置、设备及介质 - Google Patents

Abstract

本申请涉及一种基于视频的行人监控方法、装置、设备及介质，应用于公共安防领域，该方法包括：实时获取监控设定区域的视频监控数据；根据实时获取的视频监控数据中的各监控画面，确定监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像；根据行人数量、行人运动速度、每一行人的位置，确定监控设定区域的人员聚集情况；对行人区域图像进行特征提取，得到行人区域图像对应的行人特征，行人特征包括：行为特征以及人脸特征；根据行为特征以及人脸特征确定行人区域图像对应的行人属性；根据人员聚集情况以及行人属性确定监控设定区域是否存在危险情况，若是，则触发报警事件，以将报警事件对应的报警信息输出至各监控客户端。

Description

一种基于视频的行人监控方法、装置、设备及介质

技术领域

本申请涉及公共安防技术领域，尤其是涉及一种基于视频的行人监控方法、装置、设备及介质。

背景技术

随着平安城市建设的深入推进，安全至关重要，如果监控不当会造成巨大的经济损失以及安全事故。常规的，在进行公共安全的维护时，仅仅是监控人员现场进行监控，在观察到突发的风险情况时，进行现场疏导，监控效率低，且覆盖面较小，容易忽略较多的突发情况。

发明内容

本申请目的是提供一种基于视频的行人监控方法、装置、设备及介质，能够提高监控效率、监控准确性。

本申请的上述申请目的一是通过以下技术方案得以实现的：

第一方面，提供了一种基于视频的行人监控方法，包括：

实时获取监控设定区域的视频监控数据；

根据实时获取的所述视频监控数据中的各监控画面，确定所述监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像；

根据所述行人数量、行人运动速度、每一行人的位置，确定所述监控设定区域的人员聚集情况；

对所述行人区域图像进行特征提取，得到所述行人区域图像对应的行人特征，所述行人特征包括：行为特征以及人脸特征；

根据所述行为特征以及所述人脸特征确定所述行人区域图像对应的行人属性；

根据所述人员聚集情况以及所述行人属性确定所述监控设定区域是否存在危险情况，若是，则触发报警事件，以将所述报警事件对应的报警信息输出至各监控客户端。

在一种可能的实现方式中，所述根据实时获取的所述视频监控数据中的各监控画面，确定所述监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像，包括：

对实时获取的所述视频监控数据中的各监控画面进行背景提取，以得到各监控画面中的多个初始运动目标图像；

对多个初始运动目标图像中筛选，以得到每一行人对应的行人区域图像；其中，所述行人区域图像的数量作为所述监控设定区域的行人数量；

对每一监控画面进行网格划分，确定每一监控画面中的行人区域图像所在的目标位置，其中，所述目标位置作为行人区域图像对应的行人的位置；

根据多个时刻下的行人的目标位置的变化确定相应的行人运动速度。

在一种可能的实现方式中，所述根据实时获取的所述视频监控数据中的各监控画面，确定所述监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像，包括：

将多个监控画面输入行人信息确定模型中，以得到所述行人数量、每一行人的位置、行人区域图像，所述行人信息确定模型是根据训练样本集以及初始模型得到的；

在多个时刻下，基于每一个行人的位置的变化信息，确定每一个行人的行人运动速度。

在一种可能的实现方式中，所述根据所述行人数量、行人运动速度、每一行人的位置，确定所述监控设定区域的人员聚集情况，包括：

根据所述行人数量、行人运动速度、每一行人的位置，得到人群密度；

根据预设的对应关系确定所述监控设定区域对应的参考人群密度，其中，所述对应关系为监控设定区域与参考人群密度的对应关系；

判断所述人群密度是否大于所述监控设定区域对应的参考人群密度；

若是，则确定人员聚集情况为人员聚集；若否，则确定人员聚集情况为非人员聚集。

在一种可能的实现方式中，所述根据所述行为特征以及所述人脸特征确定所述行人区域图像对应的行人属性，包括：

利用边界行为特征识别网络对所述行为特征进行识别，得到第一识别结果；

利用特殊人员识别网络对所述人脸特征进行识别，得到第二识别结果；

将所述第一识别结果以及所述第二识别结果作为所述行人属性，

其中，所述边界行为特征识别网络用于识别边界行为，所述特殊人员识别网络用于识别特殊人员。

在一种可能的实现方式中，还包括：

当所述第一识别结果是边界行为，和/或所述第二识别结果为特殊人员，则基于多个监控设定区域的视频监控数据的各监控画面，对所述行人进行行人重识别；

识别到所述行人后，对所述行人进行追踪，以形成移动轨迹；

将所述移动轨迹输出至各监控客户端。

在一种可能的实现方式中，还包括：

根据每个所述监控设定区域对应的所述行人数量、行人运动速度，按照自动化模板生成形成文字信息；

判断所述文字信息的文字长度是否大于预设长度，其中，所述预设长度是基于显示界面的大小确定的；

若是，则对所述文字信息按照设定长度进行拆分，得到多段文字信息；

根据所述多段文字信息生成文字图像信息，并在显示界面显示所述文字图像信息。

在一种可能的实现方式中，

所述触发报警事件之后，还包括：

当监控设定区域内存在显示屏时，判断行人区域图像是否存在特定画面；

若是，对所述特定画面进行加密，并发送加密后的特定画面至显示屏，其中，所述显示屏在接收并显示加密后的特定画面。

第二方面，提供了一种装置，包括：

视频监控数据获取模块，用于实时获取监控设定区域的视频监控数据；

信息确定模块，用于根据实时获取的所述视频监控数据中的各监控画面，确定所述监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像；

人员聚集情况确定模块，用于根据所述行人数量、行人运动速度、每一行人的位置，确定所述监控设定区域的人员聚集情况；

特征提取模块，用于对所述行人区域图像进行特征提取，得到所述行人区域图像对应的行人特征，所述行人特征包括：行为特征以及人脸特征；

行人属性确定模块，用于根据所述行为特征以及所述人脸特征确定所述行人区域图像对应的行人属性；

警示模块，用于根据所述人员聚集情况以及所述行人属性确定所述监控设定区域是否存在危险情况，若是，则触发报警事件，并将所述报警事件对应的报警信息输出至各监控客户端。

第三方面，提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行根据第一方面中任一可能的实现方式所示的方法对应的操作。

第四方面，提供了一种计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面中任一可能的实现方式所示的方法。

综上所述，本申请包括以下至少一种有益技术效果：

1. 能够根据实时获取的视频监控数据中的各监控画面，确定监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像；以根据行人数量、行人运动速度、每一行人的位置，确定监控设定区域的人员聚集情况；再对行人区域图像进行特征提取，得到行人区域图像对应的行人特征，根据行为特征以及人脸特征确定行人区域图像对应的行人属性；根据人员聚集情况以及行人属性确定监控设定区域是否存在危险情况，能够同时基于行人的行为特征、人脸特征以及人员聚集情况共同确定监控设定区域内是否存在可能危害社会公众安全或潜在存在危害社会公众安全的风险，更加全面的分析行人的信息，如果根据人员聚集情况以及行人属性确定监控设定区域确定存在危险情况，则触发报警事件，以将报警事件对应的报警信息输出至各监控客户端，避免了仅仅人为监控造成的低效率、低准确性监控的情况。

附图说明

图1是本申请实施例提供的一种基于视频的行人监控方法流程示意图；

图2是本申请实施例提供的一种基于视频的行人监控装置结构示意图；

图3是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

以下结合附图对本申请作进一步详细说明。

本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

本申请提供的方案可以应用于超市、商场、人行道、博物馆、汽车站、火车站、机场、售楼中心、公园等场所，以对行人进行监控，维护公共安全。

本申请实施例提供一种方法，如图1所示，在本申请实施例中提供的方法可以由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制，该方法包括：

步骤S101、实时获取监控设定区域的视频监控数据；

本申请实施例中，可以设置多个布设点，每个布设点对应有一个监控设定区域，在布设点安装视频采集装置后，可对监控设定区域进行视频监控数据的采集。视频采集装置会实时将采集到的视频监控数据发送至电子设备。其中，布设点为事故发生频次较高的位置或重点关注的位置。且，电子设备可以仅仅监控一个监控设定区域，还可以监控多个监控设定区域，用户可根据实际需求进行设置。

可以理解的是，视频监控数据包括多个监控画面，监控画面中可以包括背景区域图像以及前景区域图像。前景区域图像中可以包括行人区域图像。

步骤S102、根据实时获取的视频监控数据中的多个监控画面，确定监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像；

其中，每一视频监控数据包括多帧监控画面，本申请实施例中的，可以从视频监控数据中选择任意数量的多个监控画面，多个监控画面可以是连续的还可以是间隔预设帧数，用户可根据实际情况设置。

具体的，一种确定监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像的过程可以包括：将多个监控画面输入行人信息确定模型中，以得到行人数量、每一行人的位置、行人区域图像，行人信息确定模型是根据训练样本集以及初始模型得到的；在多个时刻下，基于每一个行人的位置的变化信息，确定每一个行人的行人运动速度。

可见，通过行人信息确定模型中，能够快速且准确定的得到行人数量、每一行人的位置、行人区域图像，提高了行人信息确定的效率，进而能够为公共安全提供有力的支持。

具体的，另一种确定监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像的过程可以包括：基于背景提取得到各监控画面中的多个初始运动目标图像；再从初始运动目标图像中筛选出行人区域图像，进而基于多个行人区域图像确定行人数量、行人运动速度、每一行人的位置、行人区域图像。

步骤S103、根据行人数量、行人运动速度、每一行人的位置，确定监控设定区域的人员聚集情况；

具体的，一种确定监控设定区域的人员聚集情况的方式可以包括：

根据行人数量以及监控设定区域面积，确定行人密度；其中，行人密度=行人数量/监控设定区域面积；

判断行人密度是否大于预设密度阈值，其中，预设密度阈值可以根据实际情况设定还可以是计算机自定义设置或者根据经验设置；

若大于预设密度阈值，则确定人员聚集情况为人员聚集；

若不大于预设密度阈值，则根据每一行人的位置确定在预设范围内的区域行人数量是否大于第一区域行人数量阈值；其中，第一区域行人数量阈值可以根据实际情况设定还可以是计算机自定义设置或者根据经验设置；

若大于第一区域行人数量阈值，则确定人员聚集情况为人员聚集；

若不大于第一区域行人数量阈值，则根据行人运动速度预测预设方位内的区域行人数量是否大于第二区域行人数量阈值；第二区域行人数量阈值可以根据实际情况设定还可以是计算机自定义设置或者根据经验设置，且，第二区域行人数量阈值不大于第一区域行人数量阈值；

若大于第二区域行人数量阈值，则确定人员聚集情况为人员聚集；

若不大于第二区域行人数量阈值，则确定人员聚集情况为非人员聚集。

可见，通过上述方式可以确定监控设定区域的整体聚集情况、监控设定区域的小区域的聚集情况以及预测小区域的聚集情况，得到的聚集情况更加精准。

具体的，另一种确定监控设定区域的人员聚集情况的方式可以包括：基于仿真技术确定监控设定区域的人群密度；基于监控设定区域对应的参考人群面对以及实际的人群密度监控设定区域的人员聚集情况是人员聚集还是非人员聚集。

当然还可能存在其他的方式，本实施例不再进行限定，只要是能够实现本实施例的目的即可。

步骤S104、对行人区域图像进行特征提取，得到行人区域图像对应的行人特征，行人特征包括：行为特征以及人脸特征；

对行人区域图像进行特征提取的方式可以HOG（Histogram of OrientedGradient，方向梯度直方图）特征算法提取行人特征，或，LBP（Local Binary Pattern，局部二值模式）特征算法提取行人特征，或，Haar特征算法提取行人特征，等等，只要是能够提取到行为特征以及人脸特征即可。

在公共场所中，可以通过监控行人的行为来确定是否存在危险的行为，该危险的行为可能危害社会公众安全，进而根据监控行人的身份来确定行人是否存在潜在的做出危害社会公众安全的风险。

其中，行为特征包括但是不限定于以下任意一种或者多种：偷窃行为特征、未佩戴口罩行为特征、暴力行为特征、破坏公共财物行为特征、正常行为特征。

对于人脸特征，可能行人存在遮挡物造成人脸特征的不完整的情况，为了而得到完整的人脸特征，对视频监控数据有一定的要求，进一步的，本申请实施例还可以包括：获取监控设定区域的视频监控数据；对视频监控数据中的监控画面中的所有行人进行人脸朝向识别，以确定所有人脸朝向角度；根据所有人脸朝向角度确定平均角度，其中，平均角度用以表示所有行人的平均人脸朝向；根据平均角度，确定摄像装置的转动角度，以控制摄像装置按照转动角度进行转动，并进行视频监控数据的采集。

当然，若平均角度与参考角度的差值在预设差值范围内，此时的视频监控数据中可以包括所有行人的人脸，不需要摄像装置转动，因此，此时的转动角度可以为0。进而，参考角度可以是90°或者85°等，且，预设差值范围可以是5°或者6°等，无论是参考角度还是预设差值范围用户均可根据实际情况设置，本实施不再进行限定。

步骤S105、根据行为特征以及人脸特征确定行人区域图像对应的行人属性；

本申请实施例中设置的行为属性可以包括：行为特征对应的边界行为或非边界行为，以及人脸特征对应的特殊人员或非特殊人员。其中，特殊人员可以是有过违法记录的人员、犯罪嫌疑人员，当然还可以是其他的，用户可自定义设置。其中，边界行为包括但是不限定于以下任意一种或者多种：偷窃行为、未佩戴口罩行为、暴力行为、破坏公共财物行为；非边界行为包括：正常行为。

一般的，在进行公共安全的维护时，仅仅是监控人员现场进行监控，在观察到突发的风险情况时，进行现场疏导，但是，监控效率低，且覆盖面较小，容易忽略较多的突发情况。而，本申请实施例能够基于得到的行人的行为特征以及人脸特征共同确定行人属性，能够不仅仅通过行人的行为进行分析风险情况还能够基于人脸特征确定是否为重点关注对象，以便针对性的预测，提高了监控行人监控的准确性。

具体的，根据行为特征以及人脸特征确定行人区域图像对应的行人属性的方式可以是基于识别网络，还可以是基于特征匹配，用户可自定义选择。

步骤S106、根据人员聚集情况以及行人属性确定监控设定区域是否存在危险情况，若是，则触发报警事件，以将报警事件对应的报警信息输出至各监控客户端。

具体的，当人员聚集情况为人员聚集或行人属性中包括目标属性时，确定存在危险情况，其中目标属性为边界行为和/或特殊人员。

其中触发报警事件可以包括：将报警事件对应的报警信息输出至各监控客户端。报警信息可以包括人员聚集情况以及行人属性，当然还可以包括：当前时刻以及监控设定区域的位置。其中，监控客户端用户可自定义指定，可以是每一监控设定区域对应一个或多个指定监控客户端，本实施例不再进行限定，用户可自定义设置，只要是能够实现本实施例的目的即可。

综上可知，本申请实施例能够根据实时获取的视频监控数据中的各监控画面，确定监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像；以根据行人数量、行人运动速度、每一行人的位置，确定监控设定区域的人员聚集情况；再对行人区域图像进行特征提取，得到行人区域图像对应的行人特征，根据行为特征以及人脸特征确定行人区域图像对应的行人属性；根据人员聚集情况以及行人属性确定监控设定区域是否存在危险情况，能够同时基于行人的行为特征、人脸特征以及人员聚集情况共同确定监控设定区域内是否存在可能危害社会公众安全或潜在存在危害社会公众安全的风险，更加全面的分析行人的信息，如果根据人员聚集情况以及行人属性确定监控设定区域确定存在危险情况，则触发报警事件，以将报警事件对应的报警信息输出至各监控客户端，避免了仅仅人为监控造成的低效率、低准确性监控的情况。

进一步的，步骤S102根据实时获取的视频监控数据中的各监控画面，确定监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像，包括：步骤S1021a（附图未示出）、步骤S1022a（附图未示出）、步骤S1023a（附图未示出）、步骤S1024a（附图未示出），其中：

步骤S1021a、对实时获取的视频监控数据中的各监控画面进行背景提取，以得到各监控画面中的多个初始运动目标图像；

由于存在背景会影响运动目标的提取，本申请实施例为了提高初始运动目标图像的提取，利用了背景提取以检测运动物体。具体的，背景提取的算法可以是帧间差分法、背景差分法、ViBe算法、ViBe+算法中的任意一种，用户可根据实际需求进行选择。

进行背景提取后，进行背景建模，然后利用背景模型对各监控画面进行运动目标提取，以得到各个监控画面中的多个初始运动目标图像。

此时，初始运动目标图像中可能存在非行人的图像，例如，运动的车。

步骤S1022a、对多个初始运动目标图像中筛选，以得到每一行人对应的行人区域图像；其中，行人区域图像的数量作为监控设定区域的行人数量；

为了提高行人区域图像获取的准确性，本申请实施例利用颜色匹配模型以及模板匹配模型对初始运动目标图像进行筛选；当然还可以根据五官特征进行筛选，本申请实施例不再进行限定，用户可根据实际需求设置。

可以理解的是，每一行人对应一个行人区域图像，因此，行人区域图像的数量可以作为监控设定区域的行人数量。

进一步的，为了提高数量确定的准确性，还可以包括：

判断行人区域图像的面积是否大于预设面积阈值，若是则进行人脸识别特征提取以确定行人的数量，其中，预设面积阈值可根据实际情况设置或者经验设置，本申请实施例不再进行限定。

步骤S1023a、对每一监控画面进行网格划分，确定每一监控画面中的行人区域图像所在的目标位置，其中，目标位置作为行人区域图像对应的行人的位置；

本申请实施例对监控画面划分的网格数量可自定义设置，随着网格数量的增多，确定的位置也越精准。在划分网格后，可以根据行人区域图像所在的网格位置确定相应的目标位置，方式更加简单，易操作。

步骤S1024a、根据多个时刻下的行人的目标位置的变化确定相应的行人运动速度。

具体的，行人速度可以根据多个时刻下的行人的位置变化确定，可以理解的是，多个时刻指的是视频监控数据中的多个帧时刻，具体与选择的多个监控画面关联。

可见，本申请实施例提供了一种具体的确定监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像的方式，逻辑简单，设置成本低。

进一步的，步骤S102根据实时获取的视频监控数据中的各监控画面，确定监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像，包括：步骤S1021b（附图未示出）、步骤S1022b（附图未示出），其中：

步骤S1021b、将多个监控画面输入行人信息确定模型中，以得到行人数量、每一行人的位置、行人区域图像，行人信息确定模型是根据训练样本集以及初始模型得到的；

步骤S1022b、在多个时刻下，基于每一个行人的位置的变化信息，确定每一个行人的行人运动速度。

进一步的，行人信息确定模型的训练过程可以包括：获取训练样本集，其中，训练样本集包括多种环境下的多张样本图，以及各自对应的样本标签；获取初始模型，其中，初始模型包括：初始数量识别神经网络、初始行人区域图像分割神经网络、初始位置识别神经网络；利用卷积神经网络提取各个样本图的图像特征；根据各个图像特征对初始模型进行训练，得到行人信息确定模型。

其中，根据各个图像特征对初始模型进行训练，得到行人信息确定模型的过程可以包括：在各个图像特征输入初始数量识别神经网络、初始行人区域图像分割神经网络、初始位置识别神经网络后，得到各个行人信息，行人信息包括训练行人数量、训练每一行人的位置、训练行人区域图像；将训练行人数量、训练每一行人的位置、训练行人区域图像与样本标签中的参考行人数量、参考每一行人的位置、参考行人区域图像进行对比，以得到函数损失值；若函数损失值在预设损失值范围内，则确定得到行人信息确定模型；若函数损失值不在预设损失值范围内，则根据函数损失值和车牌训练样本，对初始模型进行迭代训练，直至函数损失值在预设损失值范围内。

本申请实施例不对初始数量识别神经网络、初始行人区域图像分割神经网络、初始位置识别神经网络的结构进行限定，用户可根据实际需求设置，只要是能够实现本实施例的目的即可。

可见，通过行人信息确定模型中，能够快速且准确定的得到行人数量、每一行人的位置、行人区域图像，提高了行人信息确定的效率，进而能够为公共安全提供有力的支持。

进一步的，步骤S103根据行人数量、行人运动速度、每一行人的位置，确定监控设定区域的人员聚集情况，包括：步骤S1031（附图未示出）、步骤S1032（附图未示出）、步骤S1033（附图未示出）、步骤S1034（附图未示出），其中：

步骤S1031、根据行人数量、行人运动速度、每一行人的位置，得到人群密度；

其中，电子设备中预先存有人群密度预测模型，能够基于行人数量、行人运动速度、每一行人的位置确定人群密度。具体的，可以是预先设置大量的参数，参数包括行人数量、行人运动速度、每一行人的位置，以及人群密度，得到的密度曲线，然后可以基于当前的行人数量、行人运动速度、每一行人的位置从密度曲线中确定人群密度。

步骤S1032、根据预设的对应关系确定监控设定区域对应的参考人群密度，其中，对应关系为监控设定区域与参考人群密度的对应关系；

可以理解的是不同监控设定区域可能由于地址或者区域的性质的不同，相应的参考人群密度存在差异，进而，本申请实施例中，预先存储有监控设定区域与参考人群密度的对应关系，可以根据预设的对应关系确定监控设定区域对应的参考人群密度。

步骤S1033、判断人群密度是否大于监控设定区域对应的参考人群密度；

步骤S1034、若是，则确定人员聚集情况为人员聚集；若否，则确定人员聚集情况为非人员聚集。

可见，本申请实施例中不同的监控设定区域对应的人群密度要求不同，因此，本申请实施例能够根据实际情况确定人员聚集情况，提高了确定的准确性。

进一步的，步骤S105根据行为特征以及人脸特征确定行人区域图像对应的行人属性，包括：步骤S1051（附图未示出）、步骤S1052（附图未示出）、步骤S1053（附图未示出），其中：

步骤S1051、利用边界行为特征识别网络对行为特征进行识别，得到第一识别结果；

具体的，本申请实施例中存储有预先训练好的边界行为特征识别网络，能够对行为特征进行识别。具体的，边界行为特征识别网络可以是基于边界行为样本集以及边界特征识别初始网络得到的。

步骤S1052、利用特殊人员识别网络对人脸特征进行识别，得到第二识别结果；

具体的，特殊人员识别网络可以是基于特殊人员样本集以及特殊人员识别初始网络得到的。具体的特殊人员样本集可以是从公安机关系统获取的，还可以是从网络上爬取的。进一步的，每隔设定周期可以基于新的样本对特殊人员识别网络进行模型更新，以提高识别的准确性。

步骤S1053、将第一识别结果以及第二识别结果作为行人属性，

其中，边界行为特征识别网络用于识别边界行为，特殊人员识别网络用于识别特殊人员。

可知，本申请采用的边界行为特征识别网络以及特殊人员识别网络进行行为属性的识别，识别效率高，准确性高。

进一步的，为了提高监控效果，还包括：

当第一识别结果是边界行为，和/或第二识别结果为特殊人员，则基于多个监控设定区域的视频监控数据的各监控画面，对行人进行行人重识别；

识别到行人后，对行人进行追踪，以形成移动轨迹；

将移动轨迹输出至各监控客户端。

具体的，当确定存在边界行为或行人是特殊人员后，可以联动多个监控设定区域，以对行人进行追踪，提高人员布控效率。

具体的，本申请实施例不再对行人重识别进行限定，用户可根据实际情况选择合适的行人重识别算法，在识别到行人后，基于多个监控设定区域的视频监控数据的各监控画面对行人进行追踪，以得到了由行人出现的多个地点构成的移动轨迹，以使监控客户端对应的用户进行追踪。

进一步的，为了提高可视化显示效果，还包括：

根据每个监控设定区域对应的行人数量、行人运动速度，按照自动化模板生成形成文字信息；

判断文字信息的文字长度是否大于预设长度，其中，预设长度是基于显示界面的大小确定的；

若是，则对文字信息按照设定长度进行拆分，得到多段文字信息；

根据多段文字信息生成文字图像信息，并在显示界面显示文字图像信息。

本申请实施例设置有自动化模板，以基于监控设定区域的行人数量、行人运动速度生成文字信息，例如，当行人数量为20，行人运动速度包括0.2m/s、0.3 m/s、0.4 m/s时，按照自动化模板生成，文字信息“行人数量为20，行人运动速度包括0.2m/s、0.3 m/s、0.4m/s，安全！”。

当文字信息的长度大于预设长度时，显示界面显示不全，进而，可以对文字信息进行拆分，得到多段文字信息，然后基于多段文字信息生成文字图像信息，由于文字显示可能会造成错乱，因此本申请实施例采用文字图像以在显示界面显示。

综上可知，本申请实施例根据每个监控设定区域对应的行人数量、行人运动速度，按照自动化模板生成形成文字信息；在文字信息的文字长度大于预设长度时，对文字信息按照设定长度进行拆分，得到多段文字信息，保证显示界面能够完整显示文字信息，进而，根据多段文字信息生成文字图像信息，并在显示界面显示文字图像信息，避免了文字显示造成的显示错乱的情况，便于用户获取准确且清楚的信息。

进一步的，触发报警事件之后，还包括：

当监控设定区域内存在显示屏时，判断行人区域图像是否存在特定画面；

若是，对特定画面进行加密，并发送加密后的特定画面至显示屏，其中，显示屏在接收并显示加密后的特定画面。

具体的，当处于商场或者火车站等场景时，会存在显示屏，进而为了便于现场的人员及时了解安全情况，当存在暴力情况时，可能会出现影响恶劣或者不适合儿童观看的情况，可以判断行人区域图像是否存在这类的特定画面，如果存在可以对该特定画面进行加密，此时特定画面出显示的可以是马赛克，或者文字，用户可自定义设置。然后发送加密后的特定画面至显示屏，以便显示显示加密后的特定画面，以提示相关人员。

综上可知，为了在减少恶劣影响的同时提醒相关人员进行关注，本申请实施例可以当监控设定区域内存在显示屏时，在确定行人区域图像存在特定画面后，对特定画面进行加密，并发送加密后的特定画面至显示屏，其中，显示屏在接收并显示加密后的特定画面

在上述实施例中，从方法流程的角度介绍了一种方法，下述实施例从模块或者单元的角度介绍一种装置，具体详见下述实施例。

本申请实施例提供了一种装置，如图2所示，该装置可以包括：

视频监控数据获取模块201，用于实时获取监控设定区域的视频监控数据；

信息确定模块202，用于根据实时获取的视频监控数据中的各监控画面，确定监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像；

人员聚集情况确定模块203，用于根据行人数量、行人运动速度、每一行人的位置，确定监控设定区域的人员聚集情况；

特征提取模块204，用于对行人区域图像进行特征提取，得到行人区域图像对应的行人特征，行人特征包括：行为特征以及人脸特征；

行人属性确定模块205，用于根据行为特征以及人脸特征确定行人区域图像对应的行人属性；

警示模块206，用于根据人员聚集情况以及行人属性确定监控设定区域是否存在危险情况，若是，则触发报警事件，并将报警事件对应的报警信息输出至各监控客户端。

在一种可能的实现方式中，信息确定模块202执行根据实时获取的视频监控数据中的各监控画面，确定监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像时，具体用于：

对实时获取的视频监控数据中的各监控画面进行背景提取，以得到各监控画面中的多个初始运动目标图像；

对多个初始运动目标图像中筛选，以得到每一行人对应的行人区域图像；其中，行人区域图像的数量作为监控设定区域的行人数量；

对每一监控画面进行网格划分，确定每一监控画面中的行人区域图像所在的目标位置，其中，目标位置作为行人区域图像对应的行人的位置；

根据多个时刻下的行人的目标位置的变化确定相应的行人运动速度。

在一种可能的实现方式中，信息确定模块202执行根据实时获取的视频监控数据中的各监控画面，确定监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像时，具体用于：

将多个监控画面输入行人信息确定模型中，以得到行人数量、每一行人的位置、行人区域图像，行人信息确定模型是根据训练样本集以及初始模型得到的；

在多个时刻下，基于每一个行人的位置的变化信息，确定每一个行人的行人运动速度。

在一种可能的实现方式中，人员聚集情况确定模块203在执行根据行人数量、行人运动速度、每一行人的位置，确定监控设定区域的人员聚集情况，具体用于：

根据行人数量、行人运动速度、每一行人的位置，得到人群密度；

根据预设的对应关系确定监控设定区域对应的参考人群密度，其中，对应关系为监控设定区域与参考人群密度的对应关系；

判断人群密度是否大于监控设定区域对应的参考人群密度；

若是，则确定人员聚集情况为人员聚集；若否，则确定人员聚集情况为非人员聚集。

在一种可能的实现方式中，行人属性确定模块205在执行根据行为特征以及人脸特征确定行人区域图像对应的行人属性，具体用于：

利用边界行为特征识别网络对行为特征进行识别，得到第一识别结果；

利用特殊人员识别网络对人脸特征进行识别，得到第二识别结果；

将第一识别结果以及第二识别结果作为行人属性，

其中，边界行为特征识别网络用于识别边界行为，特殊人员识别网络用于识别特殊人员。

在一种可能的实现方式中，还包括：移动轨迹输出模块，用于：

当第一识别结果是边界行为，和/或第二识别结果为特殊人员，则基于多个监控设定区域的视频监控数据的各监控画面，对行人进行行人重识别；

识别到行人后，对行人进行追踪，以形成移动轨迹；

将移动轨迹输出至各监控客户端。

在一种可能的实现方式中，还包括：

加密模块，用于：

当监控设定区域内存在显示屏时，判断行人区域图像是否存在特定画面；

若是，对特定画面进行加密，并发送加密后的特定画面至显示屏，其中，显示屏在接收并显示加密后的特定画面。

本申请实施例提供的一种装置适用于上述方法实施例，在此不再赘述。

本申请实施例中提供了一种电子设备，如图3所示，图3所示的电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线5002相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。

处理器301可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器303可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种基于视频的行人监控方法，其特征在于，包括：

实时获取监控设定区域的视频监控数据；

根据实时获取的所述视频监控数据中的各监控画面，确定所述监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像；

根据所述行人数量、行人运动速度、每一行人的位置，确定所述监控设定区域的人员聚集情况；监控设定区域包括：监控设定区域的整体聚集情况、监控设定区域的小区域的聚集情况以及预测小区域的聚集情况；

对所述行人区域图像进行特征提取，得到所述行人区域图像对应的行人特征，所述行人特征包括：行为特征以及人脸特征；

根据所述行为特征以及所述人脸特征确定所述行人区域图像对应的行人属性；

根据所述人员聚集情况以及所述行人属性确定所述监控设定区域是否存在危险情况，若是，则触发报警事件，以将所述报警事件对应的报警信息输出至各监控客户端；

所述根据所述行人数量、行人运动速度、每一行人的位置，确定监控设定区域的人员聚集情况的方式，包括：

根据行人数量以及监控设定区域面积，确定行人密度；其中，行人密度=行人数量/监控设定区域面积；

判断行人密度是否大于预设密度阈值，其中，预设密度阈值可以根据实际情况设定还可以是计算机自定义设置或者根据经验设置；

若大于预设密度阈值，则确定人员聚集情况为人员聚集；

若不大于预设密度阈值，则根据每一行人的位置确定在预设范围内的区域行人数量是否大于第一区域行人数量阈值；其中，第一区域行人数量阈值可以根据实际情况设定还可以是计算机自定义设置或者根据经验设置；

若大于第一区域行人数量阈值，则确定人员聚集情况为人员聚集；

若不大于第一区域行人数量阈值，则根据行人运动速度预测预设方位内的区域行人数量是否大于第二区域行人数量阈值，其中，第二区域行人数量阈值不大于第一区域行人数量阈值, 且,第二区域行人数量阈值的设定方式均包括根据实际情况设定或计算机自定义设置或根据经验设置；

若大于第二区域行人数量阈值，则确定人员聚集情况为人员聚集；

若不大于第二区域行人数量阈值，则确定人员聚集情况为非人员聚集；

通过上述方式可以确定监控设定区域的整体聚集情况、监控设定区域的小区域的聚集情况以及预测小区域的聚集情况；

所述根据所述行为特征以及所述人脸特征确定所述行人区域图像对应的行人属性，包括：

利用边界行为特征识别网络对所述行为特征进行识别，得到第一识别结果；

利用特殊人员识别网络对所述人脸特征进行识别，得到第二识别结果；

将所述第一识别结果以及所述第二识别结果作为所述行人属性，

其中，所述边界行为特征识别网络用于识别边界行为，所述特殊人员识别网络用于识别特殊人员，所述边界行为包括偷窃行为和/或未佩戴口罩行为和/或暴力行为和/或破坏公共财物行为；

所述触发报警事件之后，还包括：

当监控设定区域内存在显示屏时，判断行人区域图像是否存在特定画面；

若是，对所述特定画面进行加密，并发送加密后的特定画面至显示屏，其中，所述显示屏接收并显示加密后的特定画面。

2.根据权利要求1所述的基于视频的行人监控方法，其特征在于，所述根据实时获取的所述视频监控数据中的各监控画面，确定所述监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像，包括：

对实时获取的所述视频监控数据中的各监控画面进行背景提取，以得到各监控画面中的多个初始运动目标图像；

对多个初始运动目标图像进行筛选，以得到每一行人对应的行人区域图像；其中，所述行人区域图像的数量作为所述监控设定区域的行人数量；

对每一监控画面进行网格划分，确定每一监控画面中的行人区域图像所在的目标位置，其中，所述目标位置作为行人区域图像对应的行人的位置；

根据多个时刻下的行人的目标位置的变化确定相应的行人运动速度。

3.根据权利要求1所述的基于视频的行人监控方法，其特征在于，所述根据实时获取的所述视频监控数据中的各监控画面，确定所述监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像，包括：

将多个监控画面输入行人信息确定模型中，以得到所述行人数量、每一行人的位置、行人区域图像，所述行人信息确定模型是根据训练样本集以及初始模型得到的；

在多个时刻下，基于每一个行人的位置的变化信息，确定每一个行人的行人运动速度。

4.根据权利要求1所述的基于视频的行人监控方法，其特征在于，还包括：

当所述第一识别结果是边界行为，和/或所述第二识别结果为特殊人员，则基于多个监控设定区域的视频监控数据的各监控画面，对所述行人进行行人重识别；

识别到所述行人后，对所述行人进行追踪，以形成移动轨迹；

将所述移动轨迹输出至各监控客户端。

5.一种基于视频的行人监控装置，其特征在于，包括：

视频监控数据获取模块，用于实时获取监控设定区域的视频监控数据；

信息确定模块，用于根据实时获取的所述视频监控数据中的各监控画面，确定所述监控设定区域的行人数量、行人运动速度、每一行人的位置、行人区域图像；

人员聚集情况确定模块，用于根据所述行人数量、行人运动速度、每一行人的位置，确定所述监控设定区域的人员聚集情况；监控设定区域包括：监控设定区域的整体聚集情况、监控设定区域的小区域的聚集情况以及预测小区域的聚集情况；

特征提取模块，用于对所述行人区域图像进行特征提取，得到所述行人区域图像对应的行人特征，所述行人特征包括：行为特征以及人脸特征；

行人属性确定模块，用于根据所述行为特征以及所述人脸特征确定所述行人区域图像对应的行人属性；

警示模块，用于根据所述人员聚集情况以及所述行人属性确定所述监控设定区域是否存在危险情况，若是，则触发报警事件，并将所述报警事件对应的报警信息输出至各监控客户端；

行人属性确定模块，在执行根据所述行为特征以及所述人脸特征确定所述行人区域图像对应的行人属性时，具体用于：

利用边界行为特征识别网络对所述行为特征进行识别，得到第一识别结果；

利用特殊人员识别网络对所述人脸特征进行识别，得到第二识别结果；

将所述第一识别结果以及所述第二识别结果作为所述行人属性，

其中，所述边界行为特征识别网络用于识别边界行为，所述特殊人员识别网络用于识别特殊人员，所述边界行为包括偷窃行为和/或未佩戴口罩行为和/或暴力行为和/或破坏公共财物行为；

人员聚集情况确定模块，在执行根据所述行人数量、行人运动速度、每一行人的位置，确定监控设定区域的人员聚集情况的方式时，用于：

根据行人数量以及监控设定区域面积，确定行人密度；其中，行人密度=行人数量/监控设定区域面积；

判断行人密度是否大于预设密度阈值，其中，预设密度阈值可以根据实际情况设定还可以是计算机自定义设置或者根据经验设置；

若大于预设密度阈值，则确定人员聚集情况为人员聚集；

若不大于预设密度阈值，则根据每一行人的位置确定在预设范围内的区域行人数量是否大于第一区域行人数量阈值；其中，第一区域行人数量阈值可以根据实际情况设定还可以是计算机自定义设置或者根据经验设置；

若大于第一区域行人数量阈值，则确定人员聚集情况为人员聚集；

若不大于第一区域行人数量阈值，则根据行人运动速度预测预设方位内的区域行人数量是否大于第二区域行人数量阈值，其中，第二区域行人数量阈值不大于第一区域行人数量阈值, 且,第二区域行人数量阈值的设定方式均包括根据实际情况设定或计算机自定义设置或根据经验设置；

若大于第二区域行人数量阈值，则确定人员聚集情况为人员聚集；

若不大于第二区域行人数量阈值，则确定人员聚集情况为非人员聚集；

其中，通过上述方式可以确定监控设定区域的整体聚集情况、监控设定区域的小区域的聚集情况以及预测小区域的聚集情况；

所述一种基于视频的行人监控装置，还包括：

画面加密模块，用于：

当监控设定区域内存在显示屏时，判断行人区域图像是否存在特定画面；

若是，对所述特定画面进行加密，并发送加密后的特定画面至显示屏，其中，所述显示屏接收并显示加密后的特定画面。

6.一种电子设备，其特征在于，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1至4任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至4任一项所述的方法。

Images