CN110502967B - 基于人员大数据的目标场景人工智能匹配方法和装置 - Google Patents

Abstract

为了能对公共空间的对人员和车辆所出现的场景有一个整体的把握，并对特定的场景给予必要的响应，例如在对人流、车辆密集的公共空间监控时，能够分析识别出该场景“通行拥堵”、“人员滞留”等属性，并发出报警响应，本发明提出了一种基于人员大数据的目标场景人工智能匹配方法，并基于该方法设计了相应的装置，以便工作人员对异常场景采取必要的管理措施，从而进行疏导和缓解。

Description

基于人员大数据的目标场景人工智能匹配方法和装置

技术领域

本发明涉及人工智能应用领域，更具体的说是涉及一种基于人员大数据的目标场景人工智能匹配方法和装置。

背景技术

目前，人工智能视频监控系统取代传统的视频监控系统成为大势所趋。人工智能视频监控系统主要利用人脸识别、车牌号识别等技术，实现对特定人员、特定车辆目标的匹配和追踪。

但是，在实际应用中，我们除了需要对具体的人员进行追踪，更多的时候会希望对监控画面中由全部人员出现的场景属性有一个整体的把握，并对特定的目标场景给予必要的响应。例如在对人流密集的公共空间监控时，能够分析识别出监控画面是否匹配“通行拥堵”、“人员滞留”等目标场景的属性，并在匹配目标场景时发出报警响应，以便采取必要的管理措施，对该目标场景进行疏导和缓解。

因此，如何设计一种能够识别分析监控画面的场景属性特征并与目标场景进行匹配判断，且具备异常属性报警功能的监控方法和装置，是本领域技术人员亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种基于人员大数据的目标场景人工智能匹配方法和装置，本发明应用于公共空间的人流监控，其目的是对监控画面中由全部人员整体表现出来的场景属性进行自动分析识别，以及通过场景属性发现目标场景并进行自动报警。根据本发明的方法和装置，能够通过人员大数据分析获得监控画面的场景属性特征，且针对该场景属性特征与预先设定的“通行拥堵”等目标场景匹配的情况，实施自动报警，以便采取必要的管理措施进行疏导和缓解。

为了实现上述目的，本发明采用如下技术方案：

一种基于人员大数据的目标场景人工智能匹配方法，包括如下步骤：

S1、从连续多帧监控画面中提取每一个具体人员目标；

S2、判断每一个具体人员目标的通行状态；

S3、根据所述连续多帧监控画面中存在的全部具体人员目标的通行状态，形成人员大数据；

S4、根据人员大数据按照预设标准，分析监控画面的场景，获取场景属性特征；

S5、预先设定目标场景属性特征，将监控画面的场景属性特征与预设的目标场景属性特征进行比对，确定监控画面的场景是否与目标场景匹配。

优选的，所述S1中，包括S11-S12两个具体步骤；其中，

S11、在一台摄像机拍摄的连续多帧监控画面中，从每帧监控画面中提取其中的人员目标所在的图像区域，并通过颜色分布直方图提取所述人员目标的人体衣着特征；例如，我们以连续的三帧监控画面为例，在第i-1帧监控画面中，提取一个人员目标所在的图像区域A_i-1，并通过图像颜色分布直方图提取所述人员目标的人体衣着特征；同理，在所述摄像机拍摄的第i帧和第i+1帧连续监控画面中，分别提取所述人员目标所在的图像区域A_i、A_i+1，并同样通过图像颜色分布直方图分别获取位于所述图像区域A_i、A_i+1中的所述人员目标的人体衣着特征；图像颜色分布直方图所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，图像颜色直方图特别适于描述那些难以进行自动分割的图像，因此根据图像颜色分布直方图可以更直观的提取所述任务目标的人体衣着特征

S12、若每一个人员目标所在区域为一个图像区域，在每一帧监控画面中，则存在多个图像区域，在连续多帧监控画面中，把具有相同的人体衣着特征的所述图像区域中的人员目标判断为同一个具体人员目标；例如，我们以连续三帧监控画面为例，在第i-1帧、第i帧、第i+1帧监控画面中的所述图像区域A_i-1、A_i、A_i+1具有相同的人体衣着特征时，判定所述图像区域A_i-1、A_i、A_i+1中的所述人员目标为同一个具体人员目标A，通过视频分帧的方法，以及图像颜色分布直方图的辅助，能够准确的确定连续监控画面中每个具体的人员目标。

优选的，所述S2分为S21-S22两个具体步骤：

S21、将连续监控画面中每帧监控画面的每个具体人员目标的位置在XY轴上以坐标的形式表示出来，从而获得相邻两帧监控画面中具体人员目标的坐标变化量；例如，我们以连续三帧的监控画面为例，第i-1帧、第i帧以及第i+1帧的监控画面在XY轴上位置的坐标表示分别为(X_i-1，Y_i-1)、(X_i，Y_i)、(X_i+1，Y_i+1)，从第i-1帧到第i帧的位置变化表示为(△X_i，△Y_i)，第i帧到第i+1帧的位置变化则表示为(△X_i+1，△Y_i+1)，以此类推，从而获得连续监控画面中每个具体人员目标的位置变化参数：

…(△X_i，△Y_i)，(△X_i+1，△Y_i+1)…，

由此可以将具体的人员目标的位置表示出来，从而获得每个具体的人员目标在连续监控画面中相邻两帧的位置变化。

S22、将S21中获得的具体人员目标的位置变化参数输入到一个经过训练的BP神经网络形成的通行状态识别模块中，所述BP神经网络即可识别并输出所述具体人员目标的通行状态类型，BP神经网络具有信息正向传播和误差反向传播两个过程，以误差梯度下降的方式在不断地修正各层权值后，获得的BP神经网络的实际输出值与期望输出值一致，基于BP神经网络，训练形成一个通行状态识别模块，该模块能够通过输入位置变化参数，而分析识别并输出相应的通行状态，由于BP神经网络的特性，能够保证输出的结果精准无误，针对此BP神经网络，需要训练四个BP神经网络，四个BP神经网络的期望输出值分别为：正常通行、通行拥堵、人员滞留、人员逆行，上述四种期望输出值满足城市公共空间人流状态的安防需要。

优选的，所述S3根据上述S2的方法获得监控画面全部具体人员目标的通行状态，将获得的全部具体人员目标的通行状态整合在一起，形成人员大数据，将全部具体人员的通行情况整合在一个数据库中，方便对该监控画面下的场景属性特征进行分析。

优选的，所述S4分为S41-S42两个具体步骤，

S41、预先设定分类场景属性特征的标准，即使用者设置监控画面中的全部具体人员目标的通行状态中“人员滞留”的比例大于或等于一个具体比例数值时，场景属性特征为“人员滞留”；监控画面中的全部人员目标的通行状态中“通行拥堵”的比例大于或等于一个具体比例数值时，场景属性特征为“通行拥堵”；监控画面中的全部人员目标的通行状态中“人员逆行”的比例大于或等于一个具体比例数值时，场景属性特征为“人员逆行”。

S42、根据所述S3形成的人员大数据，比对分类标准，分析监控画面的场景属性特征，并将监控画面的场景属性特征作为监控画面所附加的结构化数据在数据库中呈现出来，以便使用者分类查询。

优选的，所述S5中，预先设定目标场景为通行拥堵、人员滞留、人员逆行中的一种，将根据S4中分析获得的监控画面的场景属性特征与目标场景属性特征比对，比对结果匹配一致时，启动报警器，自动报警，以便采取必要的管理措施进行疏导和缓解。

优选的，基于上述方法步骤，设计一款基于人员大数据的目标场景人工智能匹配装置，包括：具体人员目标确定模块、人员通行状态识别模块、数据库、场景属性特征分析模块、场景属性特征比对模块；其中，

所述人员特征识别模块用于从连续多帧监控画面中提取每一个具体人员目标；

所述人员通行状态识别模块用于判断每个具体人员目标的通行状态；

所述数据库用于保存所述连续多帧监控画面中存在的全部具体人员目标的通行状态；

所述场景属性特征分析模块根据所述数据库中的全部具体人员目标的通行状态，按照预设标准，分析监控画面，获取场景属性特征；

所述场景属性特征比对模块用于将监控画面的场景属性特征与预设的目标场景属性特征进行比对，确定监控画面的场景是否与目标场景匹配。

优选的，所述具体人员目标确定模块还包括：人体衣着特征提取单元、具体人员目标确定单元；其中，

所述人体衣着特征提取单元用于在连续多帧监控画面中，从每帧监控画面中提取其中的人员目标所在的图像区域，并通过颜色分布直方图提取所述人员目标的人体衣着特征；

所述具体人员目标确定单元用于在连续多帧监控画面中，把具有相同的人体衣着特征的所述图像区域中的人员目标判断为同一个具体人员目标。

优选的，所述人员状态通行模块包括：位置变化参数提取单元、通行状态识别单元；其中，

所述位置变化参数提取单元通过将连续监控画面的每个具体人员目标的位置在XY轴中以坐标的形式表示出来，从而获得相邻两帧监控画面中具体人员目标的坐标变化量，以及连续监控画面中每个具体人员目标的位置变化参数；

所述通行状态识别单元用于将所述位置变化参数提取单元中获得的具体人员目标的位置参数输入到一个经过训练的BP神经网络形成的通行状态识别模块中，并由所述BP神经网络识别并输出所述具体人员目标的通行状态类型。

优选的，所述数据库中储存有全部的具体人员目标的通行状态类型，所述全部的具体人员目标的通行状态类型是由所述人员状态通行模块分析输出的每个具体人员目标的通行状态类型整理汇总而成。

优选的，所述场景属性特征分析模块包括：场景属性特征分类单元、场景属性特征分析单元；其中，

所述场景属性特征分类单元用于预先设定分类场景属性特征的标准；

所述场景属性特征分析单元用于根据所述数据库中的人员大数据并依照分类标准，分析监控画面的场景属性特征，并将监控画面的场景属性特征作为监控画面所附加的结构化数据保存在所述数据库中，方便使用者分类查询。

优选的，所述场景属性特征比对模块包括：场景属性特征比对单元、自动报警单元；其中，

所述场景属性特征比对单元用于预先设定目标场景属性特征，并将监控画面的场景属性特征与预设的目标场景属性特征进行比对；

所述自动报警单元用于当监控画面的场景属性特征与预先设定的目标场景属性特征比对结果一致时，自动启动报警器，实现对异常场景的报警功能。

有益效果：(1)针对摄像机拍摄到的每个监控画面所呈现的场景，使用上述方法和装置，能够自动分析生成了场景特征属性，从而为面向画面整体场景的分类、查询、报警提供了依据；(2)为了高效的应对异常场景，可以将异常场景预先设定为目标场景，当监控画面中的场景属性特征和目标场景属性特征一致时，实现自动报警功能，增强了对拥堵等异常场景应对的及时性。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于人员大数据的目标场景人工智能匹配方法和装置。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明涉及到的方法步骤流程图；

图2附图为本发明的装置模块图；

图3附图为本发明提取具体人员目标的示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于人员大数据的目标场景人工智能匹配方法，包括如下步骤：

如图1所示：

S1、从连续多帧监控画面中提取每一个具体人员目标；

S2、判断每一个具体人员目标的通行状态；

S3、根据所述连续多帧监控画面中存在的全部具体人员目标的通行状态，形成人员大数据；

S4、根据人员大数据按照预设标准，分析监控画面的场景，获取场景属性特征；

S5、预先设定目标场景属性特征，将监控画面的场景属性特征与预设的目标场景属性特征进行比对，确定监控画面的场景是否与目标场景匹配。

在一个具体实施例中，应用上述方法获取监控画面的场景属性特征并与目标场景属性特征比对，具体步骤如下：

S1、从连续多帧监控画面中提取每一个具体人员目标：

如图3所示：

在摄像机拍摄的连续多帧的监控画面中，利用人体衣着特征、人体外形特征等，提取每一个具体的人员目标；我们以连续三帧的监控画面为例，即：如图3(a)所示，从第i-1帧监控画面中提取一个人员目标所在的图像区域A_i-1，并根据图像颜色分布直方图，识别该人员目标的人体衣着特征；以同样的方法步骤，如图3(b)和(c)所示，在第i帧和第i+1帧监控画面中提取人员目标所在的图像区域为A_i、A_i+1，并分别识别图像区域A_i、A_i+1中人员目标的人体衣着特征，当图像区域A_i-1、A_i和A_i+1的人员目标的人体衣着特征一致，则判定图像区域A_i-1、A_i和A_i+1中的人员目标属于同一个人员目标A。

S2、判断每一个具体人员目标的通行状态：、

在XY坐标轴中确定具体人员目标的位置，并以坐标的形式表示出来，求取连续两帧的监控画面中具体人员目标的位置变化参数，并以同样的方法获取全部具体人员的连续多帧的监控画面的位置变化参数；我们以连续三帧的监控画面为例：第i-1帧监控画面到第i帧监控画面中人员目标的位置在XY坐标轴中的变化记为(△X_i，△Y_i)，第i帧到第i+1帧的监控画面中人员目标的位置变化记为(△X_i+1，△Y_i+1)，以此类推，从而获得一系列位置变化参数…(△X_i，△Y_i)，(△X_i+1，△Y_i+1)…，将具体人员目标A的位置变化参数输入到训练好的BP神经网络的通行状态识别模块，即可获得具体人员目标A的通行状态，BP神经网络中的期望输出的通行状态有正常通行、通行拥堵、人员滞留、人员逆行四种。

S3、根据所述连续多帧监控画面中存在的全部的具体人员目标的通行状态，形成人员大数据：

根据S2获取全部的具体人员目标的通行状态，整理汇总形成人员大数据。

S4、根据人员大数据按照预设标准，分析监控画面的场景，获取场景属性特征：

先预设分类标准；例如：设定监控画面中大于等于80％的人员滞留时，场景属性特征为人员滞留，监控画面大于等于5％的人员逆行时，则该场景属性特征为人员逆行等，基于S3中的人员大数据，比对预设分类标准，分析输出监控画面的场景属性特征，并将该特征作为监控画面附加的结构化数据储存起来，以便使用者进行分类查询。

S5、预先设定目标场景属性特征，将监控画面的场景属性特征与预设的目标场景属性特征进行比对，确定监控画面的场景是否与目标场景匹配，比对结果匹配时报警：

预先设定目标场景属性特征有人员滞留、通行拥堵、人员逆行三种，将按照上述S1-S4获得的监控画面的场景属性特征与目标场景属性特征比对，比对结果一致，则启动异常自动报警功能，提示相关工作人员采取必要的管理措施进行疏导和缓解。

如图2所示，

基于上述方法步骤，设计一款基于人员大数据的目标场景人工智能匹配装置，该装置包括具体人员目标确定模块1、人员通行状态识别模块2、数据库3、场景属性特征分析模块4、场景属性特征比对模块5；其中，

人员特征识别模块1用于从连续多帧监控画面中提取每一个具体人员目标；

人员通行状态识别模块2用于判断每个具体人员目标的通行状态；

数据库3用于保存所述连续多帧监控画面中存在的全部具体人员目标的通行状态；

场景属性特征分析模块4根据所述数据库中的全部具体人员目标的通行状态，按照预设标准，分析监控画面，获取场景属性特征；

场景属性特征比对模块5用于将监控画面的场景属性特征与预设的目标场景属性特征进行比对，确定监控画面的场景是否与目标场景匹配。

为了进一步优化上述技术特征，具体人员目标确定模块1还包括：人体衣着特征提取单元、具体人员目标确定单元；其中，

人体衣着特征提取单元用于在连续多帧监控画面中，从每帧监控画面中提取其中的人员目标所在的图像区域，并通过颜色分布直方图提取所述人员目标的人体衣着特征；

具体人员目标确定单元用于在连续多帧监控画面中，把具有相同的人体衣着特征的所述图像区域中的人员目标判断为同一个具体人员目标。

为了进一步优化上述技术特征，人员状态通行模块2包括：位置变化参数提取单元、通行状态识别单元；其中，

位置变化参数提取单元通过将连续监控画面的每个具体人员目标的位置在XY轴中以坐标的形式表示出来，从而获得相邻两帧监控画面中具体人员目标的坐标变化量，以及连续监控画面中每个具体人员目标的位置变化参数；

通行状态识别单元用于将所述位置变化参数提取单元中获得的具体人员目标的位置参数输入到一个经过训练的BP神经网络形成的通行状态识别模块中，并由所述BP神经网络识别并输出所述具体人员目标的通行状态类型。

为了进一步优化上述技术特征，数据库3中储存有全部的具体人员目标的通行状态类型，所述全部的具体人员目标的通行状态类型是由人员状态通行模块分析2输出的每个具体人员目标的通行状态类型整理汇总而成。

为了进一步优化上述技术特征，场景属性特征分析模块4包括：场景属性特征分类单元、场景属性特征分析单元；其中，

场景属性特征分类单元用于预先设定分类场景属性特征的标准；

场景属性特征分析单元用于根据数据库3中的人员大数据并依照分类标准，分析监控画面的场景属性特征，并将监控画面的场景属性特征作为监控画面所附加的结构化数据保存在数据库3中，方便使用者分类查询。

为了进一步优化上述技术特征，场景属性特征比对模块5包括：场景属性特征比对单元、自动报警单元；其中，

场景属性特征比对单元用于预先设定目标场景属性特征，并将监控画面的场景属性特征与预设的目标场景属性特征进行比对；

自动报警单元用于当监控画面的场景属性特征与预先设定的目标场景属性特征比对结果一致时，自动启动报警器，实现对异常场景的报警功能。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种基于人员大数据的目标场景人工智能匹配方法，其特征在于，包括如下步骤：

S1、从连续多帧监控画面中提取每一个具体人员目标；其中，S11、在一台摄像机拍摄的连续多帧监控画面中，从每帧监控画面中提取其中的人员目标所在的图像区域，并通过颜色分布直方图提取所述人员目标的人体衣着特征；S12、若每一个人员目标所在区域为一个图像区域，在每一帧监控画面中，则存在多个图像区域，在连续多帧监控画面中，把具有相同的人体衣着特征的所述图像区域中的人员目标判断为同一个具体人员目标；

S2、判断每一个具体人员目标的通行状态，其中，S21、将连续监控画面中每帧监控画面的每个具体人员目标的位置在XY轴中以坐标的形式表示出来，从而获得相邻两帧监控画面中具体人员目标的坐标变化量，以及连续监控画面中每个具体人员目标的位置变化参数；S22、将S21中获得的具体人员目标的位置变化参数输入到一个经过训练的BP神经网络形成的通行状态识别模块中，所述BP神经网络即可识别并输出所述具体人员目标的通行状态类型；

S3、根据所述连续多帧监控画面中存在的全部具体人员目标的通行状态，形成人员大数据，其中，所述人员大数据是按照获取具体人员目标的通行状态类型的方法获取监控画面中全部的具体人员目标的通行状态类型，并将全部的具体人员目标的通行状态类型整理而成；

S4、根据人员大数据按照预设标准，分析监控画面的场景，获取场景属性特征；

S5、预先设定目标场景属性特征，将监控画面的场景属性特征与预设的目标场景属性特征进行比对，确定监控画面的场景是否与目标场景匹配，当比对结果一致时，自动启动报警器进行报警。

2.根据权利要求1所述的一种基于人员大数据的目标场景人工智能匹配方法，其特征在于，所述S4的具体步骤如下：

S41、预先设定分类场景属性特征的标准；

S42、根据所述S3形成的人员大数据，比对分类标准，分析监控画面的场景属性特征，并将监控画面的场景属性特征作为监控画面所附加的结构化数据保存在数据库中，方便使用者分类查询。

Images