CN117197748A - 一种基于视频分析的行为管理方法及系统 - Google Patents

Abstract

本发明提供的一种基于视频分析的行为管理方法及系统，涉及数据处理技术领域。在本发明中，采集到目标用户监控视频，并基于目标用户监控视频对目标用户进行行为预测操作，以输出对应的目标行为预测结果；确定目标用户对应的目标行为预测结果是否与预先配置的参考行为预测结果之间具有匹配关系；在目标用户对应的目标行为预测结果与参考行为预测结果之间具有匹配关系的情况下，基于目标用户监控视频和目标用户对应的历史用户监控视频，对目标用户进行行为描述信息的确定操作，以确定出目标用户对应的目标行为描述信息；基于目标行为描述信息，对目标用户进行行为引导管理。基于上述方法，可以提高行为管理的可靠度。

Description

一种基于视频分析的行为管理方法及系统

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种基于视频分析的行为管理方法及系统。

背景技术

视频监控作为一种重要的监控手段，在各种应用场景中都有利用，通过进行视频监控，可以形成用户监控视频。对于形成的用户监控视频，其作用较多，例如，可以通过对用户监控视频进行分析，以实现对用户监控视频中的用户进行行为预测等。并且，还可以基于预测结果，对用户进行行为管理等，但是，在现有技术中，存在着行为管理的可靠度不高的问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于视频分析的行为管理方法及系统，以提高行为管理的可靠度。

为实现上述目的，本发明实施例采用如下技术方案：

一种基于视频分析的行为管理方法，包括：

采集到目标用户监控视频，并基于所述目标用户监控视频对目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果，所述目标行为预测结果用于反映所述目标用户的预测行为；

确定所述目标用户对应的目标行为预测结果是否与预先配置的参考行为预测结果之间具有匹配关系；

在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，基于所述目标用户监控视频和所述目标用户对应的历史用户监控视频，对所述目标用户进行行为描述信息的确定操作，以确定出所述目标用户对应的目标行为描述信息；

基于所述目标行为描述信息，对所述目标用户进行行为引导管理。

在一些优选的实施例中，在上述基于视频分析的行为管理方法中，所述在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，基于所述目标用户监控视频和所述目标用户对应的历史用户监控视频，对所述目标用户进行行为描述信息的确定操作，以确定出所述目标用户对应的目标行为描述信息的步骤，包括：

在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，提取到所述目标用户对应的历史用户监控视频；

对所述历史用户监控视频进行特征挖掘操作，以形成所述目标用户对应的历史行为特征向量，以及，对所述目标用户监控视频进行特征挖掘操作，以形成所述目标用户对应的目标行为特征向量；

基于所述历史行为特征向量和所述目标行为特征向量，分析出所述目标用户对应的目标行为描述信息，所述目标行为描述信息用于反映所述目标用户具有的行为风格信息。

在一些优选的实施例中，在上述基于视频分析的行为管理方法中，所述基于所述历史行为特征向量和所述目标行为特征向量，分析出所述目标用户对应的目标行为描述信息的步骤，包括：

对所述历史行为特征向量和所述目标行为特征向量进行拼接操作，以形成对应的拼接行为特征向量；

基于所述历史行为特征向量的向量尺寸和所述目标行为特征向量的向量尺寸，对所述拼接行为特征向量进行池化操作，得到所述拼接行为特征向量对应的池化行为特征向量，所述历史行为特征向量的向量尺寸与所述目标行为特征向量的向量尺寸一致；

基于所述拼接行为特征向量，对所述历史行为特征向量进行显著性特征分析操作，以输出对应的显著历史行为特征向量；

基于所述拼接行为特征向量，对所述目标行为特征向量进行显著性特征分析操作，以输出对应的显著目标行为特征向量；

将所述显著历史行为特征向量和所述显著目标行为特征进行聚合操作，以形成对应的显著聚合行为特征向量；

基于所述显著聚合行为特征向量进行行为风格分析操作，以分析出所述目标用户对应的目标行为描述信息。

在一些优选的实施例中，在上述基于视频分析的行为管理方法中，所述基于所述拼接行为特征向量，对所述历史行为特征向量进行显著性特征分析操作，以输出对应的显著历史行为特征向量的步骤，包括：

提取到第一映射矩阵、第二映射矩阵和第三映射矩阵，所述第一映射矩阵、所述第二映射矩阵和所述第三映射矩阵基于网络优化形成；

基于所述第一映射矩阵和所述第二映射矩阵，分别对所述拼接行为特征向量进行映射操作，以分别形成所述拼接行为特征向量对应的第一映射行为特征向量和第二映射行为特征向量；

基于所述第三映射矩阵，对所述历史行为特征向量进行映射操作，以形成所述历史行为特征向量对应的第三映射行为特征向量；

对所述第一映射行为特征向量的转置结果和所述第三映射行为特征向量进行相乘，并基于相乘的结果确定出正相关的相似系数；

基于所述相似系数对所述第二映射行为特征向量进行加权运输，以输出对应的候选显著历史行为特征向量，以及，对所述候选显著历史行为特征向量进行残差处理，以形成对应的残差行为特征向量；

将所述残差行为特征向量和所述候选显著历史行为特征向量进行聚合操作，以形成对应的显著历史行为特征向量。

在一些优选的实施例中，在上述基于视频分析的行为管理方法中，所述目标行为描述信息用于反映所述目标用户的行为风格信息，所述基于所述目标行为描述信息，对所述目标用户进行行为引导管理的步骤，包括：

对于预先确定的多条引导行为信息中的每一条引导行为信息，确定出该引导行为信息对应的行为风格信息；

基于每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息，在所述多条引导行为信息中，确定出一条引导行为信息，以作为目标引导行为信息；

基于所述目标引导行为信息，对所述目标用户进行行为引导管理。

在一些优选的实施例中，在上述基于视频分析的行为管理方法中，所述基于每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息，在所述多条引导行为信息中，确定出一条引导行为信息，以作为目标引导行为信息的步骤，包括：

分别计算每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息之间的匹配系数；

在每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息之间的匹配系数中，确定出具有最大值的匹配系数；

在所述多条引导行为信息中，将所述具有最大值的匹配系数的行为风格信息对应的引导行为信息，作为目标引导行为信息。

在一些优选的实施例中，在上述基于视频分析的行为管理方法中，所述采集到目标用户监控视频，并基于所述目标用户监控视频对目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果的步骤，包括：

采集到目标用户监控视频，所述目标用户监控视频通过对目标用户进行视频监控以形成，且包括多帧目标用户监控视频帧；

通过进行网络优化操作，以形成优化行为特征挖掘网络；

对所述目标用户监控视频进行加载操作，以加载到所述优化行为特征挖掘网络中，利用所述优化行为特征挖掘网络，挖掘出所述目标用户监控视频对应的用户行为聚合描述向量，所述目标用户监控视频对应的用户行为聚合描述向量通过聚合至少两个维度的描述向量形成；

基于所述用户行为聚合描述向量，对所述目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果。

本发明实施例还提供一种基于视频分析的行为管理系统，包括：

行为预测模块，用于采集到目标用户监控视频，并基于所述目标用户监控视频对目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果，所述目标行为预测结果用于反映所述目标用户的预测行为；

匹配关系确定模块，用于确定所述目标用户对应的目标行为预测结果是否与预先配置的参考行为预测结果之间具有匹配关系；

描述信息确定模块，用于在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，基于所述目标用户监控视频和所述目标用户对应的历史用户监控视频，对所述目标用户进行行为描述信息的确定操作，以确定出所述目标用户对应的目标行为描述信息；

行为引导管理模块，用于基于所述目标行为描述信息，对所述目标用户进行行为引导管理。

在一些优选的实施例中，在上述基于视频分析的行为管理系统中，所述描述信息确定模块具体用于：

在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，提取到所述目标用户对应的历史用户监控视频；

对所述历史用户监控视频进行特征挖掘操作，以形成所述目标用户对应的历史行为特征向量，以及，对所述目标用户监控视频进行特征挖掘操作，以形成所述目标用户对应的目标行为特征向量；

基于所述历史行为特征向量和所述目标行为特征向量，分析出所述目标用户对应的目标行为描述信息，所述目标行为描述信息用于反映所述目标用户具有的行为风格信息。

在一些优选的实施例中，在上述基于视频分析的行为管理系统中，所述行为引导管理模块具体用于：

对于预先确定的多条引导行为信息中的每一条引导行为信息，确定出该引导行为信息对应的行为风格信息；

基于每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息，在所述多条引导行为信息中，确定出一条引导行为信息，以作为目标引导行为信息；

基于所述目标引导行为信息，对所述目标用户进行行为引导管理。

本发明实施例提供的一种基于视频分析的行为管理方法及系统，可以先采集到目标用户监控视频，并基于目标用户监控视频对目标用户进行行为预测操作，以输出对应的目标行为预测结果；确定目标用户对应的目标行为预测结果是否与预先配置的参考行为预测结果之间具有匹配关系；在目标用户对应的目标行为预测结果与参考行为预测结果之间具有匹配关系的情况下，基于目标用户监控视频和目标用户对应的历史用户监控视频，对目标用户进行行为描述信息的确定操作，以确定出目标用户对应的目标行为描述信息；基于目标行为描述信息，对目标用户进行行为引导管理。基于上述的内容，由于在确定行为描述信息的过程中，不仅参考了目标用户监控视频，还结合了历史用户监控视频，使得依据更为充分，因此，确定的行为描述信息的可靠度高，使得可以提高行为管理的可靠度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本发明实施例提供的基于视频分析的行为管理平台的结构框图。

图2为本发明实施例提供的基于视频分析的行为管理方法包括的各步骤的流程示意图。

图3为本发明实施例提供的基于视频分析的行为管理系统包括的各模块的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于视频分析的行为管理平台。其中，所述基于视频分析的行为管理平台可以包括存储器和处理器。

详细地，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式，存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序，从而实现本发明实施例(如后文所述)提供的基于视频分析的行为管理方法。

可以选择的是，在一些实施方式中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。所述处理器可以是一种通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip，SoC)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以选择的是，在一些实施方式中，所述基于视频分析的行为管理平台可以是一种具备数据处理能力的服务器。

结合图2，本发明实施例还提供一种基于视频分析的行为管理方法，可应用于上述基于视频分析的行为管理平台。其中，所述基于视频分析的行为管理方法有关的流程所定义的方法步骤，可以由所述基于视频分析的行为管理平台实现。下面将对图2所示的具体流程，进行详细阐述。

步骤S100，采集到目标用户监控视频，并基于所述目标用户监控视频对目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果。

在本发明实施例中，所述基于视频分析的行为管理平台可以采集到目标用户监控视频，并基于所述目标用户监控视频对目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果。所述目标行为预测结果用于反映所述目标用户的预测行为。

步骤S200，确定所述目标用户对应的目标行为预测结果是否与预先配置的参考行为预测结果之间具有匹配关系。

在本发明实施例中，所述基于视频分析的行为管理平台可以确定所述目标用户对应的目标行为预测结果是否与预先配置的参考行为预测结果之间具有匹配关系，所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系，可以是指所述目标行为预测结果反映出所述目标用户具有异常的或危险的行为等。

步骤S300，在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，基于所述目标用户监控视频和所述目标用户对应的历史用户监控视频，对所述目标用户进行行为描述信息的确定操作，以确定出所述目标用户对应的目标行为描述信息。

在本发明实施例中，所述基于视频分析的行为管理平台可以在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，基于所述目标用户监控视频和所述目标用户对应的历史用户监控视频，对所述目标用户进行行为描述信息的确定操作，以确定出所述目标用户对应的目标行为描述信息。

步骤S400，基于所述目标行为描述信息，对所述目标用户进行行为引导管理。

在本发明实施例中，所述基于视频分析的行为管理平台可以基于所述目标行为描述信息，对所述目标用户进行行为引导管理。

基于上述的内容，由于在确定行为描述信息的过程中，不仅参考了目标用户监控视频，还结合了历史用户监控视频，使得依据更为充分，因此，确定的行为描述信息的可靠度高，使得可以提高行为管理的可靠度。

可以选择的是，在一些实施方式中，所述采集到目标用户监控视频，并基于所述目标用户监控视频对目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果的步骤，可以进一步包括以下的内容，如步骤S110、步骤S120、步骤S130和步骤S140。

步骤S110，采集到目标用户监控视频。

在本发明实施例中，所述基于视频分析的行为管理平台可以采集到目标用户监控视频。所述目标用户监控视频通过对目标用户进行视频监控以形成，且包括多帧目标用户监控视频帧。

步骤S120，通过进行网络优化操作，以形成优化行为特征挖掘网络。

在本发明实施例中，所述基于视频分析的行为管理平台可以通过进行网络优化操作，以形成优化行为特征挖掘网络。

步骤S130，对所述目标用户监控视频进行加载操作，以加载到所述优化行为特征挖掘网络中，利用所述优化行为特征挖掘网络，挖掘出所述目标用户监控视频对应的用户行为聚合描述向量。

在本发明实施例中，所述基于视频分析的行为管理平台可以对所述目标用户监控视频进行加载操作，以加载到所述优化行为特征挖掘网络中，利用所述优化行为特征挖掘网络，挖掘出所述目标用户监控视频对应的用户行为聚合描述向量。所述目标用户监控视频对应的用户行为聚合描述向量通过聚合至少两个维度的描述向量形成。

步骤S140，基于所述用户行为聚合描述向量，对所述目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果。

在本发明实施例中，所述基于视频分析的行为管理平台可以基于所述用户行为聚合描述向量，对所述目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果。所述目标行为预测结果用于反映所述目标用户的预测行为。例如，可以将所述用户行为聚合描述向量加载到目标行为预测网络中，以预测出对应的目标行为预测结果，所述目标行为预测网络的网络优化可以与所述优化行为特征挖掘网络一并进行，也可以与所述优化行为特征挖掘网络的网络优化分别进行。

基于前述的内容，由于优化行为特征挖掘网络挖掘出的目标用户监控视频对应的用户行为聚合描述向量通过聚合至少两个维度的描述向量形成，使得用户行为聚合描述向量的信息更为丰富，因此，可以提高基于用户行为聚合描述向量进行的行为预测操作的可靠度，即提高行为预测的可靠度，保障得到的目标行为预测结果的可靠度，改善现有技术中的不足。

可以选择的是，在一些实施方式中，所述通过进行网络优化操作，以形成优化行为特征挖掘网络的步骤，可以进一步包括以下的内容：

确定出典型视频第一簇，以及，对所述典型视频第一簇进行加载，以加载到候选行为特征挖掘网络中，所述典型视频第一簇包括多个典型视频第一子簇，所述典型视频第一子簇包括多个典型用户监控视频(例如，可以包括3个典型用户监控视频，第一典型用户监控视频和第二典型用户监控视频之间的相似度可以较高，如大于第一相似度，第一典型用户监控视频和第三典型用户监控视频之间的相似度可以较低，如小于第二相似度，第二相似度小于第一相似度，第二典型用户监控视频和第三典型用户监控视频之间的相似度也可以较低)，每一个典型用户监控视频中的典型用户具有对应的典型用户标识数据和典型用户相关标识数据，所述典型用户标识数据用于反映所述典型用户的用户行为种类信息，所述典型用户相关标识数据用于反映所述典型用户监控视频中与所述典型用户相关的视频帧部分的信息，如用户在视频帧中的周围区域的信息；

将所述典型用户监控视频进行用户相关信息挖掘操作，以输出每一个典型用户监控视频对应的典型用户相关描述向量，以及，将所述典型用户监控视频进行用户信息挖掘操作，以输出每一个典型用户监控视频对应的典型用户描述向量，以及，将相同的典型用户监控视频对应的典型用户描述向量和典型用户相关描述向量进行聚合操作，如拼接或叠加等操作，以形成每一个典型用户监控视频对应的用户行为聚合描述向量；

依据相同的典型用户监控视频对应的典型用户相关描述向量和典型用户相关标识数据(之间的区别)，确定出相关挖掘误差参数，以及，依据相同的典型用户监控视频对应的典型用户描述向量和典型用户标识数据，确定出用户挖掘误差参数，以及，依据相同的典型视频第一子簇对应的每一个用户行为聚合描述向量，确定出聚合误差参数；

依据所述相关挖掘误差参数、所述用户挖掘误差参数和所述聚合误差参数，对所述候选行为特征挖掘网络进行网络优化操作，以形成所述候选行为特征挖掘网络对应的待定行为特征挖掘网络；

将所述待定行为特征挖掘网络作为当前的候选行为特征挖掘网络，以回转执行所述确定出典型视频第一簇，以及，对所述典型视频第一簇进行加载，以加载到候选行为特征挖掘网络中的步骤，并在不回转执行该步骤的时(如执行该步骤的次数大于预设次数，或确定出的误差参数小于预设值)，将当前输出的待定行为特征挖掘网络标记为优化行为特征挖掘网络。

可以选择的是，在一些实施方式中，在待处理描述向量属于典型用户相关描述向量的情况下，待处理标识数据属于典型用户相关标识数据，待处理误差参数属于相关挖掘误差参数；在待处理描述向量属于典型用户描述向量的情况下，待处理标识数据属于典型用户标识数据，待处理误差参数属于用户挖掘误差参数，基于此，所述待处理误差参数的确定操作，可以进一步包括以下的内容：

确定出每一种待处理标识数据对应的参考典型用户描述向量簇；所述参考典型用户描述向量簇包括同一种待处理标识数据对应的多个参考典型用户描述向量，所述参考典型用户描述向量是从待处理描述向量集合包括的待处理标识数据对应的每一个待处理描述向量中抽选的与待处理标识数据对应的中心代表描述向量最相似的待处理描述向量，所述中心代表描述向量通过将待处理描述向量集合中同一种待处理标识数据对应的每一个待处理描述向量进行聚合形成，即聚类中心；

在每一个参考典型用户描述向量簇中，确定出与待处理典型用户监控视频对应的待处理描述向量最相似的参考典型用户描述向量，并标记为待处理典型用户监控视频对应的第一参考典型用户描述向量；

依据相同的典型用户监控视频对应的待处理描述向量和第一参考典型用户描述向量之间的区别，确定出对应的待处理误差参数。

可以选择的是，在一些实施方式中，所述待处理描述向量和所述第一参考典型用户描述向量的向量尺寸为目标向量尺寸，基于此，所述依据相同的典型用户监控视频对应的待处理描述向量和第一参考典型用户描述向量之间的区别，确定出对应的待处理误差参数的步骤，可以进一步包括以下的内容：

确定出向量尺寸等于所述目标向量尺寸的任意描述向量，以及，对所述任意描述向量中大于或等于预先确定的参考向量参数的向量参数对应的分布坐标进行标记，以标记为目标分布坐标，所述任意描述向量可以在不同的优化阶段中进行调整更新；

依据相同的典型用户监控视频对应的待处理描述向量和第一参考典型用户描述向量在相同的目标分布坐标上的向量参数之间的区别，确定出对应的待处理误差参数。

可以选择的是，在一些实施方式中，所述候选行为特征挖掘网络包括第一子网络、第二子网络和聚合子网络，所述第一子网络用于挖掘出典型用户相关描述向量，所述第二子网络用于挖掘出典型用户描述向量，所述聚合子网络用于聚合形成用户行为聚合描述向量；所述依据所述相关挖掘误差参数、所述用户挖掘误差参数和所述聚合误差参数，对所述候选行为特征挖掘网络进行网络优化操作，以形成所述候选行为特征挖掘网络对应的待定行为特征挖掘网络的步骤，可以进一步包括以下的内容：

依据所述相关挖掘误差参数，并基于相关学习参数(即learning rate)，对所述第一子网络的参数进行优化操作，以及，依据所述用户挖掘误差参数，并基于用户学习参数，对所述第二子网络的参数进行优化操作，以及，依据所述聚合误差参数，并基于聚合学习参数，对所述第一子网络、所述第二子网络和所述聚合子网络的参数进行优化操作，以形成所述候选行为特征挖掘网络对应的待定行为特征挖掘网络，所述相关学习参数、所述用户学习参数都大于所述聚合学习参数。

可以选择的是，在一些实施方式中，在所述确定出典型视频第一簇，以及，对所述典型视频第一簇进行加载，以加载到候选行为特征挖掘网络中的步骤之前，所述通过进行网络优化操作，以形成优化行为特征挖掘网络的步骤，还可以进一步包括以下的内容：

确定出典型视频第二簇，以及，对所述典型视频第二簇进行加载，以加载到构建的原始行为特征挖掘网络中，挖掘出所述典型视频第二簇中每一个典型用户监控视频对应的原始典型用户描述向量，所述原始行为特征挖掘网络包括关键信息挖掘单元(编码单元)和线性整合单元(MLP)；

依据所述典型视频第二簇中相同的典型视频子簇对应的每一个原始典型用户描述向量，计算出原始挖掘误差参数；

依据所述原始挖掘误差参数，对所述原始行为特征挖掘网络进行网络优化操作，并在网络优化结束时，形成优化后的原始行为特征挖掘网络；

依据所述优化后的原始行为特征挖掘网络中的关键信息挖掘单元，将目标行为特征挖掘网络中的关键信息挖掘单元进行参数配置操作，以及，依据所述优化后的原始行为特征挖掘网络中的线性整合单元，将目标行为特征挖掘网络中的线性整合单元进行参数配置操作，以形成对应的候选行为特征挖掘网络。

可以选择的是，在一些实施方式中，所述依据所述优化后的原始行为特征挖掘网络中的关键信息挖掘单元，将目标行为特征挖掘网络中的关键信息挖掘单元进行参数配置操作，以及，依据所述优化后的原始行为特征挖掘网络中的线性整合单元，将目标行为特征挖掘网络中的线性整合单元进行参数配置操作，以形成对应的候选行为特征挖掘网络的步骤，可以进一步包括以下的内容：

依据所述优化后的原始行为特征挖掘网络中的关键信息挖掘单元，将所述目标行为特征挖掘网络中第一子网络和第二子网络之间共享的关键信息挖掘单元进行参数配置操作(第一子网络和第二子网络之间参数共享)，以及，依据所述优化后的原始行为特征挖掘网络中的线性整合单元，将所述目标行为特征挖掘网络中第一子网络的线性整合单元、第二子网络的线性整合单元进行参数配置操作，以形成对应的候选行为特征挖掘网络。

可以选择的是，在一些实施方式中，所述在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，基于所述目标用户监控视频和所述目标用户对应的历史用户监控视频，对所述目标用户进行行为描述信息的确定操作，以确定出所述目标用户对应的目标行为描述信息的步骤，可以进一步包括以下的内容：

在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，提取到所述目标用户对应的历史用户监控视频；

对所述历史用户监控视频进行特征挖掘操作，即关键信息挖掘，以形成所述目标用户对应的历史行为特征向量，以及，对所述目标用户监控视频进行特征挖掘操作，以形成所述目标用户对应的目标行为特征向量；

基于所述历史行为特征向量和所述目标行为特征向量，分析出所述目标用户对应的目标行为描述信息，所述目标行为描述信息用于反映所述目标用户具有的行为风格信息。

可以选择的是，在一些实施方式中，所述基于所述历史行为特征向量和所述目标行为特征向量，分析出所述目标用户对应的目标行为描述信息的步骤，可以进一步包括以下的内容：

对所述历史行为特征向量和所述目标行为特征向量进行拼接操作，以形成对应的拼接行为特征向量；

基于所述历史行为特征向量的向量尺寸和所述目标行为特征向量的向量尺寸，对所述拼接行为特征向量进行池化操作，得到所述拼接行为特征向量对应的池化行为特征向量，所述历史行为特征向量的向量尺寸与所述目标行为特征向量的向量尺寸一致；

基于所述拼接行为特征向量，对所述历史行为特征向量进行显著性特征分析操作，以输出对应的显著历史行为特征向量；

基于所述拼接行为特征向量，对所述目标行为特征向量进行显著性特征分析操作，以输出对应的显著目标行为特征向量；

将所述显著历史行为特征向量和所述显著目标行为特征进行聚合操作，以形成对应的显著聚合行为特征向量；

基于所述显著聚合行为特征向量进行行为风格分析操作，所述行为风格分析操作可以通过神经网络包括的激活函数实现，以分析出所述目标用户对应的目标行为描述信息。

可以选择的是，在一些实施方式中，所述基于所述拼接行为特征向量，对所述历史行为特征向量进行显著性特征分析操作，以输出对应的显著历史行为特征向量的步骤，可以进一步包括以下的内容：

提取到第一映射矩阵、第二映射矩阵和第三映射矩阵，所述第一映射矩阵、所述第二映射矩阵和所述第三映射矩阵基于网络优化形成；

基于所述第一映射矩阵和所述第二映射矩阵，分别对所述拼接行为特征向量进行映射操作，如相乘，以分别形成所述拼接行为特征向量对应的第一映射行为特征向量和第二映射行为特征向量；

基于所述第三映射矩阵，对所述历史行为特征向量进行映射操作，以形成所述历史行为特征向量对应的第三映射行为特征向量；

对所述第一映射行为特征向量的转置结果和所述第三映射行为特征向量进行相乘，并基于相乘的结果确定出正相关的相似系数；

基于所述相似系数对所述第二映射行为特征向量进行加权运输，以输出对应的候选显著历史行为特征向量，以及，对所述候选显著历史行为特征向量进行残差处理，以形成对应的残差行为特征向量；

将所述残差行为特征向量和所述候选显著历史行为特征向量进行聚合操作，如叠加等操作，以形成对应的显著历史行为特征向量。

可以选择的是，在一些实施方式中，所述目标行为描述信息用于反映所述目标用户的行为风格信息，所述基于所述目标行为描述信息，对所述目标用户进行行为引导管理的步骤，可以进一步包括以下的内容：

对于预先确定的多条引导行为信息中的每一条引导行为信息，确定出该引导行为信息对应的行为风格信息；

基于每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息，在所述多条引导行为信息中，确定出一条引导行为信息，以作为目标引导行为信息；

基于所述目标引导行为信息，对所述目标用户进行行为引导管理。

可以选择的是，在一些实施方式中，所述基于每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息，在所述多条引导行为信息中，确定出一条引导行为信息，以作为目标引导行为信息的步骤，可以进一步包括以下的内容：

分别计算每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息之间的匹配系数，如计算行为风格信息之间的相似度；

在每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息之间的匹配系数中，确定出具有最大值的匹配系数；

在所述多条引导行为信息中，将所述具有最大值的匹配系数的行为风格信息对应的引导行为信息，作为目标引导行为信息。

结合图3，本发明实施例还提供一种基于视频分析的行为管理系统，可应用于上述基于视频分析的行为管理平台。其中，所述基于视频分析的行为管理系统可以包括以下的各模块：

行为预测模块，用于采集到目标用户监控视频，并基于所述目标用户监控视频对目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果，所述目标行为预测结果用于反映所述目标用户的预测行为；

匹配关系确定模块，用于确定所述目标用户对应的目标行为预测结果是否与预先配置的参考行为预测结果之间具有匹配关系；

描述信息确定模块，用于在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，基于所述目标用户监控视频和所述目标用户对应的历史用户监控视频，对所述目标用户进行行为描述信息的确定操作，以确定出所述目标用户对应的目标行为描述信息；

行为引导管理模块，用于基于所述目标行为描述信息，对所述目标用户进行行为引导管理。

可以选择的是，在一些实施方式中，所述描述信息确定模块具体用于：

在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，提取到所述目标用户对应的历史用户监控视频；

对所述历史用户监控视频进行特征挖掘操作，以形成所述目标用户对应的历史行为特征向量，以及，对所述目标用户监控视频进行特征挖掘操作，以形成所述目标用户对应的目标行为特征向量；

基于所述历史行为特征向量和所述目标行为特征向量，分析出所述目标用户对应的目标行为描述信息，所述目标行为描述信息用于反映所述目标用户具有的行为风格信息。

可以选择的是，在一些实施方式中，所述行为引导管理模块具体用于：

对于预先确定的多条引导行为信息中的每一条引导行为信息，确定出该引导行为信息对应的行为风格信息；

基于每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息，在所述多条引导行为信息中，确定出一条引导行为信息，以作为目标引导行为信息；

基于所述目标引导行为信息，对所述目标用户进行行为引导管理。

综上所述，本发明提供的一种基于视频分析的行为管理方法及系统，可以先采集到目标用户监控视频，并基于目标用户监控视频对目标用户进行行为预测操作，以输出对应的目标行为预测结果；确定目标用户对应的目标行为预测结果是否与预先配置的参考行为预测结果之间具有匹配关系；在目标用户对应的目标行为预测结果与参考行为预测结果之间具有匹配关系的情况下，基于目标用户监控视频和目标用户对应的历史用户监控视频，对目标用户进行行为描述信息的确定操作，以确定出目标用户对应的目标行为描述信息；基于目标行为描述信息，对目标用户进行行为引导管理。基于上述的内容，由于在确定行为描述信息的过程中，不仅参考了目标用户监控视频，还结合了历史用户监控视频，使得依据更为充分，因此，确定的行为描述信息的可靠度高，使得可以提高行为管理的可靠度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视频分析的行为管理方法，其特征在于，包括：

采集到目标用户监控视频，并基于所述目标用户监控视频对目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果，所述目标行为预测结果用于反映所述目标用户的预测行为；

确定所述目标用户对应的目标行为预测结果是否与预先配置的参考行为预测结果之间具有匹配关系；

在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，基于所述目标用户监控视频和所述目标用户对应的历史用户监控视频，对所述目标用户进行行为描述信息的确定操作，以确定出所述目标用户对应的目标行为描述信息；

基于所述目标行为描述信息，对所述目标用户进行行为引导管理。

2.如权利要求1所述的基于视频分析的行为管理方法，其特征在于，所述在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，基于所述目标用户监控视频和所述目标用户对应的历史用户监控视频，对所述目标用户进行行为描述信息的确定操作，以确定出所述目标用户对应的目标行为描述信息的步骤，包括：

在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，提取到所述目标用户对应的历史用户监控视频；

对所述历史用户监控视频进行特征挖掘操作，以形成所述目标用户对应的历史行为特征向量，以及，对所述目标用户监控视频进行特征挖掘操作，以形成所述目标用户对应的目标行为特征向量；

基于所述历史行为特征向量和所述目标行为特征向量，分析出所述目标用户对应的目标行为描述信息，所述目标行为描述信息用于反映所述目标用户具有的行为风格信息。

3.如权利要求2所述的基于视频分析的行为管理方法，其特征在于，所述基于所述历史行为特征向量和所述目标行为特征向量，分析出所述目标用户对应的目标行为描述信息的步骤，包括：

对所述历史行为特征向量和所述目标行为特征向量进行拼接操作，以形成对应的拼接行为特征向量；

基于所述历史行为特征向量的向量尺寸和所述目标行为特征向量的向量尺寸，对所述拼接行为特征向量进行池化操作，得到所述拼接行为特征向量对应的池化行为特征向量，所述历史行为特征向量的向量尺寸与所述目标行为特征向量的向量尺寸一致；

基于所述拼接行为特征向量，对所述历史行为特征向量进行显著性特征分析操作，以输出对应的显著历史行为特征向量；

基于所述拼接行为特征向量，对所述目标行为特征向量进行显著性特征分析操作，以输出对应的显著目标行为特征向量；

将所述显著历史行为特征向量和所述显著目标行为特征进行聚合操作，以形成对应的显著聚合行为特征向量；

基于所述显著聚合行为特征向量进行行为风格分析操作，以分析出所述目标用户对应的目标行为描述信息。

4.如权利要求3所述的基于视频分析的行为管理方法，其特征在于，所述基于所述拼接行为特征向量，对所述历史行为特征向量进行显著性特征分析操作，以输出对应的显著历史行为特征向量的步骤，包括：

提取到第一映射矩阵、第二映射矩阵和第三映射矩阵，所述第一映射矩阵、所述第二映射矩阵和所述第三映射矩阵基于网络优化形成；

基于所述第一映射矩阵和所述第二映射矩阵，分别对所述拼接行为特征向量进行映射操作，以分别形成所述拼接行为特征向量对应的第一映射行为特征向量和第二映射行为特征向量；

基于所述第三映射矩阵，对所述历史行为特征向量进行映射操作，以形成所述历史行为特征向量对应的第三映射行为特征向量；

对所述第一映射行为特征向量的转置结果和所述第三映射行为特征向量进行相乘，并基于相乘的结果确定出正相关的相似系数；

基于所述相似系数对所述第二映射行为特征向量进行加权运输，以输出对应的候选显著历史行为特征向量，以及，对所述候选显著历史行为特征向量进行残差处理，以形成对应的残差行为特征向量；

将所述残差行为特征向量和所述候选显著历史行为特征向量进行聚合操作，以形成对应的显著历史行为特征向量。

5.如权利要求1所述的基于视频分析的行为管理方法，其特征在于，所述目标行为描述信息用于反映所述目标用户的行为风格信息，所述基于所述目标行为描述信息，对所述目标用户进行行为引导管理的步骤，包括：

对于预先确定的多条引导行为信息中的每一条引导行为信息，确定出该引导行为信息对应的行为风格信息；

基于每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息，在所述多条引导行为信息中，确定出一条引导行为信息，以作为目标引导行为信息；

基于所述目标引导行为信息，对所述目标用户进行行为引导管理。

6.如权利要求5所述的基于视频分析的行为管理方法，其特征在于，所述基于每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息，在所述多条引导行为信息中，确定出一条引导行为信息，以作为目标引导行为信息的步骤，包括：

分别计算每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息之间的匹配系数；

在每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息之间的匹配系数中，确定出具有最大值的匹配系数；

在所述多条引导行为信息中，将所述具有最大值的匹配系数的行为风格信息对应的引导行为信息，作为目标引导行为信息。

7.如权利要求1-6任意一项所述的基于视频分析的行为管理方法，其特征在于，所述采集到目标用户监控视频，并基于所述目标用户监控视频对目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果的步骤，包括：

采集到目标用户监控视频，所述目标用户监控视频通过对目标用户进行视频监控以形成，且包括多帧目标用户监控视频帧；

通过进行网络优化操作，以形成优化行为特征挖掘网络；

对所述目标用户监控视频进行加载操作，以加载到所述优化行为特征挖掘网络中，利用所述优化行为特征挖掘网络，挖掘出所述目标用户监控视频对应的用户行为聚合描述向量，所述目标用户监控视频对应的用户行为聚合描述向量通过聚合至少两个维度的描述向量形成；

基于所述用户行为聚合描述向量，对所述目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果。

8.一种基于视频分析的行为管理系统，其特征在于，包括：

行为预测模块，用于采集到目标用户监控视频，并基于所述目标用户监控视频对目标用户进行行为预测操作，以输出所述目标用户对应的目标行为预测结果，所述目标行为预测结果用于反映所述目标用户的预测行为；

匹配关系确定模块，用于确定所述目标用户对应的目标行为预测结果是否与预先配置的参考行为预测结果之间具有匹配关系；

描述信息确定模块，用于在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，基于所述目标用户监控视频和所述目标用户对应的历史用户监控视频，对所述目标用户进行行为描述信息的确定操作，以确定出所述目标用户对应的目标行为描述信息；

行为引导管理模块，用于基于所述目标行为描述信息，对所述目标用户进行行为引导管理。

9.如权利要求8所述的基于视频分析的行为管理系统，其特征在于，所述描述信息确定模块具体用于：

在所述目标用户对应的目标行为预测结果与所述参考行为预测结果之间具有匹配关系的情况下，提取到所述目标用户对应的历史用户监控视频；

对所述历史用户监控视频进行特征挖掘操作，以形成所述目标用户对应的历史行为特征向量，以及，对所述目标用户监控视频进行特征挖掘操作，以形成所述目标用户对应的目标行为特征向量；

基于所述历史行为特征向量和所述目标行为特征向量，分析出所述目标用户对应的目标行为描述信息，所述目标行为描述信息用于反映所述目标用户具有的行为风格信息。

10.如权利要求8所述的基于视频分析的行为管理系统，其特征在于，所述行为引导管理模块具体用于：

对于预先确定的多条引导行为信息中的每一条引导行为信息，确定出该引导行为信息对应的行为风格信息；

基于每一条所述引导行为信息对应的行为风格信息和所述目标行为描述信息反映的所述目标用户的行为风格信息，在所述多条引导行为信息中，确定出一条引导行为信息，以作为目标引导行为信息；

基于所述目标引导行为信息，对所述目标用户进行行为引导管理。