CN117218597A - 一种基于安防监控的行为指引方法及系统 - Google Patents

Abstract

本发明提供的一种基于安防监控的行为指引方法及系统，涉及人工智能技术领域。在本发明中，基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出监控用户的预测交互行为信息；对预测交互行为信息进行关键信息挖掘处理，以输出预测行为特征表示；分别对每一条参考行为信息进行关键信息挖掘处理，以输出每一条参考行为信息对应的参考行为特征表示；基于每一条参考行为信息对应的参考行为特征表示与预测行为特征表示之间的相关关系，确定出至少一条参考行为信息，以作为目标参考行为信息；基于目标参考行为信息，对监控用户进行行为指引处理。基于上述方法，可以在一定程度上提高行为指引的可靠度。

Description

一种基于安防监控的行为指引方法及系统

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种基于安防监控的行为指引方法及系统。

背景技术

在安防监控的应用场景中，可能需要对用户的行为进行指引。例如，在现有技术中，一般时为不同的监控区域配置不同的参考行为，然后，在需要对监控区域进行行为指引时，直接将配置的参考行为作为目标参考行为，以进行行为指引，或者，在配置的多条参考行为中，先确定出目标参考行为，然后，进行行为指引，因而，存在行为指引的可靠度不佳的问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于安防监控的行为指引方法及系统，以在一定程度上提高行为指引的可靠度。

为实现上述目的，本发明实施例采用如下技术方案：

一种基于安防监控的行为指引方法，包括：

基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出至少一个监控用户的预测交互行为信息，所述预测交互行为信息用于反映监控用户在所述待处理监控图像对应的交互行为之后可能的交互行为；

对所述预测交互行为信息进行关键信息挖掘处理，以输出对应的预测行为特征表示，所述预测行为特征表示用于反映对应的行为语义；

提取到为所述目标监控区域配置的多条参考行为信息，并分别对每一条所述参考行为信息进行关键信息挖掘处理，以输出每一条所述参考行为信息对应的参考行为特征表示；

基于每一条所述参考行为信息对应的参考行为特征表示与所述预测行为特征表示之间的相关关系，在所述多条参考行为信息中确定出至少一条参考行为信息，以作为目标参考行为信息；

基于所述目标参考行为信息，对所述监控用户进行行为指引处理。

在一些优选的实施例中，在上述基于安防监控的行为指引方法中，所述对所述预测交互行为信息进行关键信息挖掘处理，以输出对应的预测行为特征表示的步骤，包括：

对所述预测交互行为信息进行特征空间映射处理，以输出所述预测交互行为信息对应的映射行为特征表示；以及，对所述映射行为特征表示进行聚焦特征分析处理，以输出对应的预测行为特征表示；

所述聚焦特征分析处理包括：

基于预先确定的第一参数分布、第二参数分布和第三参数分布，对所述映射行为特征表示进行映射处理，以形成对应的第一映射行为特征表示、第二映射行为特征表示和第三映射行为特征表示；

对所述第一映射行为特征表示和所述第二映射行为特征表示进行相乘运算，以输出对应的融合映射行为特征表示，以及，对所述融合映射行为特征表示和所述第一映射行为特征表示的特征表示维度数量进行相除运算，以输出对应的更新映射行为特征表示；

对所述更新映射行为特征表示包括的特征表示参数进行归一化处理，以输出对应的归一化映射行为特征表示，对所述归一化映射行为特征表示和所述第三映射行为特征表示进行相乘运算，以输出预测行为特征表示。

在一些优选的实施例中，在上述基于安防监控的行为指引方法中，所述提取到为所述目标监控区域配置的多条参考行为信息，并分别对每一条所述参考行为信息进行关键信息挖掘处理，以输出每一条所述参考行为信息对应的参考行为特征表示的步骤，包括：

提取到为所述目标监控区域配置的多条参考行为信息；

分别对每一条所述参考行为信息进行特征空间映射处理，以输出每一条所述参考行为信息对应的映射参考行为特征表示；

分别对每一个所述映射参考行为特征表示进行聚焦特征分析处理，以输出每一条所述参考行为信息对应的参考行为特征表示。

在一些优选的实施例中，在上述基于安防监控的行为指引方法中，所述分别对每一个所述映射参考行为特征表示进行聚焦特征分析处理，以输出每一条所述参考行为信息对应的参考行为特征表示的步骤，包括：

依据对应的所述参考行为信息中的信息片段之间的片段相关性，将所述映射参考行为特征表示进行拆分处理，以形成对应的多个局部映射参考行为特征表示，每一个所述局部映射参考行为特征表示对应于所述参考行为信息包括的一个信息片段，一个信息片段用于反映一个参考行为，所述参考行为信息用于描述描述多个参考行为的组合；

对所述多个局部映射参考行为特征表示进行聚焦特征分析处理，以输出所述参考行为信息对应的参考行为特征表示。

在一些优选的实施例中，在上述基于安防监控的行为指引方法中，所述对所述多个局部映射参考行为特征表示进行聚焦特征分析处理，以输出所述参考行为信息对应的参考行为特征表示的步骤，包括：

依次将所述多个局部映射参考行为特征表示中的每一个局部映射参考行为特征表示作为目标局部行为特征表示，以及，基于对应的信息片段之间的相关关系，在其它的局部映射参考行为特征表示中确定出所述目标局部行为特征表示对应的相关局部行为特征表示；

基于预先确定的第一参数分布对所述目标局部行为特征表示进行映射处理，以形成对应的第一映射行为特征表示，以及，以及预先确定的第二参数分布和第三参数分布，对所述相关局部行为特征表示进行映射处理，以形成对应的第二映射行为特征表示和第三映射行为特征表示；

对所述第一映射行为特征表示和所述第二映射行为特征表示进行相乘运算，以输出对应的融合映射行为特征表示，以及，对所述融合映射行为特征表示和所述第一映射行为特征表示的特征表示维度数量进行相除运算，以输出对应的更新映射行为特征表示；

对所述更新映射行为特征表示包括的特征表示参数进行归一化处理，以输出对应的归一化映射行为特征表示，对所述归一化映射行为特征表示和所述第三映射行为特征表示进行相乘运算，输出局部参考行为特征表示；

对所述多个局部映射参考行为特征表示对应的多个局部参考行为特征表示进行组合处理，以形成所述参考行为信息对应的参考行为特征表示。

在一些优选的实施例中，在上述基于安防监控的行为指引方法中，所述基于每一条所述参考行为信息对应的参考行为特征表示与所述预测行为特征表示之间的相关关系，在所述多条参考行为信息中确定出至少一条参考行为信息，以作为目标参考行为信息的步骤，包括：

对于每一条所述参考行为信息，对该参考行为信息对应的参考行为特征表示和所述预测行为特征表示进行相关度计算处理，以输出该参考行为信息对应的参考行为特征表示和所述预测行为特征表示之间的相关系数；

将具有最大的相关系数对应的参考行为信息作为目标参考行为信息，或者，将大于或等于预先配置的参考相关系数的每一个相关系数对应的参考行为信息作为目标参考行为信息。

在一些优选的实施例中，在上述基于安防监控的行为指引方法中，所述基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出至少一个监控用户的预测交互行为信息的步骤，包括：

对目标监控区域进行对象行为监控，以输出对应的多个监控图像组合，每一个所述监控图像组合包括至少一帧待处理监控图像，任意一个所述监控图像组合包括的待处理监控图像中存在具有行为交互的两个监控用户；

挖掘出所述多个监控图像组合中每一个监控图像组合对应的行为语义特征表示集，所述行为语义特征表示集包括第一行为语义特征表示集和第二行为语义特征表示集，所述第一行为语义特征表示集和所述第二行为语义特征表示集分别对应于所述两个监控用户；

将所述多个监控图像组合进行背景关键信息的挖掘操作，以输出对应的背景语义特征表示集；

对多个所述第一行为语义特征表示集和多个所述第二行为语义特征表示集进行加载处理，以加载到第一特征挖掘模型中，利用所述第一特征挖掘模型挖掘出对应的聚合行为语义特征表示；

对所述背景语义特征表示集进行加载处理，以加载到第二特征挖掘模型中，利用所述第二特征挖掘模型挖掘出对应的聚合背景语义特征表示，所述第二特征挖掘模型不同于所述第一特征挖掘模型；

基于所述聚合行为语义特征表示和所述聚合背景语义特征表示，分析出所述两个监控用户中至少一个监控用户的预测交互行为信息，所述预测交互行为信息用于反映所述两个监控用户中至少一个监控用户在所述多个监控图像组合对应的交互行为之后可能的交互行为。

本发明实施例还提供一种基于安防监控的行为指引系统，包括：

交互行为预测模块，用于基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出至少一个监控用户的预测交互行为信息，所述预测交互行为信息用于反映监控用户在所述待处理监控图像对应的交互行为之后可能的交互行为；

第一关键信息挖掘模块，用于对所述预测交互行为信息进行关键信息挖掘处理，以输出对应的预测行为特征表示，所述预测行为特征表示用于反映对应的行为语义；

第二关键信息挖掘模块，用于提取到为所述目标监控区域配置的多条参考行为信息，并分别对每一条所述参考行为信息进行关键信息挖掘处理，以输出每一条所述参考行为信息对应的参考行为特征表示；

行为信息确定模块，用于基于每一条所述参考行为信息对应的参考行为特征表示与所述预测行为特征表示之间的相关关系，在所述多条参考行为信息中确定出至少一条参考行为信息，以作为目标参考行为信息；

行为指引处理模块，用于基于所述目标参考行为信息，对所述监控用户进行行为指引处理。

在一些优选的实施例中，在上述基于安防监控的行为指引系统中，所述第一关键信息挖掘模块具体用于：

对所述预测交互行为信息进行特征空间映射处理，以输出所述预测交互行为信息对应的映射行为特征表示；以及，对所述映射行为特征表示进行聚焦特征分析处理，以输出对应的预测行为特征表示；

所述聚焦特征分析处理包括：

基于预先确定的第一参数分布、第二参数分布和第三参数分布，对所述映射行为特征表示进行映射处理，以形成对应的第一映射行为特征表示、第二映射行为特征表示和第三映射行为特征表示；

对所述第一映射行为特征表示和所述第二映射行为特征表示进行相乘运算，以输出对应的融合映射行为特征表示，以及，对所述融合映射行为特征表示和所述第一映射行为特征表示的特征表示维度数量进行相除运算，以输出对应的更新映射行为特征表示；

对所述更新映射行为特征表示包括的特征表示参数进行归一化处理，以输出对应的归一化映射行为特征表示，对所述归一化映射行为特征表示和所述第三映射行为特征表示进行相乘运算，以输出预测行为特征表示。

在一些优选的实施例中，在上述基于安防监控的行为指引系统中，所述第二关键信息挖掘模块具体用于：

提取到为所述目标监控区域配置的多条参考行为信息；

分别对每一条所述参考行为信息进行特征空间映射处理，以输出每一条所述参考行为信息对应的映射参考行为特征表示；

分别对每一个所述映射参考行为特征表示进行聚焦特征分析处理，以输出每一条所述参考行为信息对应的参考行为特征表示。

本发明实施例提供的一种基于安防监控的行为指引方法及系统，可以先基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出监控用户的预测交互行为信息；对预测交互行为信息进行关键信息挖掘处理，以输出预测行为特征表示；分别对每一条参考行为信息进行关键信息挖掘处理，以输出每一条参考行为信息对应的参考行为特征表示；基于每一条参考行为信息对应的参考行为特征表示与预测行为特征表示之间的相关关系，确定出至少一条参考行为信息，以作为目标参考行为信息；基于目标参考行为信息，对监控用户进行行为指引处理。基于此，由于在进行行为指引处理时，行为指引处理的依据并不是任意确定的一条参考行为信息，而是基于预测出的预测交互行为信息确定出的目标参考行为信息，使得行为指引处理的依据更为可靠，因此，可以在一定程度上提高行为指引的可靠度，从而改善现有技术中存在的行为指引的可靠度不高的问题。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本发明实施例提供的基于安防监控的行为指引平台的结构框图。

图2为本发明实施例提供的基于安防监控的行为指引方法包括的各步骤的流程示意图。

图3为本发明实施例提供的基于安防监控的行为指引系统包括的各模块的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于安防监控的行为指引平台。其中，所述基于安防监控的行为指引平台可以包括存储器和处理器。

详细地，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式，存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序，从而实现本发明实施例提供的基于安防监控的行为指引方法。

可以选择的是，在一些实施方式中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。所述处理器可以是一种通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip，SoC)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以选择的是，在一些实施方式中，所述基于安防监控的行为指引平台可以是一种具备数据处理能力的服务器。

结合图2，本发明实施例还提供一种基于安防监控的行为指引方法，可应用于上述基于安防监控的行为指引平台。其中，所述基于安防监控的行为指引方法有关的流程所定义的方法步骤，可以由所述基于安防监控的行为指引平台实现。下面将对图2所示的具体流程，进行详细阐述。

步骤S100，基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出至少一个监控用户的预测交互行为信息。

在本发明实施例中，所述基于安防监控的行为指引平台可以基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出至少一个监控用户的预测交互行为信息。所述预测交互行为信息用于反映监控用户在所述待处理监控图像对应的交互行为之后可能的交互行为。

步骤S200，对所述预测交互行为信息进行关键信息挖掘处理，以输出对应的预测行为特征表示。

在本发明实施例中，所述基于安防监控的行为指引平台可以对所述预测交互行为信息进行关键信息挖掘处理，以输出对应的预测行为特征表示。所述预测行为特征表示用于反映对应的行为语义。

步骤S300，提取到为所述目标监控区域配置的多条参考行为信息，并分别对每一条所述参考行为信息进行关键信息挖掘处理，以输出每一条所述参考行为信息对应的参考行为特征表示。

在本发明实施例中，所述基于安防监控的行为指引平台可以提取到为所述目标监控区域配置的多条参考行为信息，并分别对每一条所述参考行为信息进行关键信息挖掘处理，以输出每一条所述参考行为信息对应的参考行为特征表示。

步骤S400，基于每一条所述参考行为信息对应的参考行为特征表示与所述预测行为特征表示之间的相关关系，在所述多条参考行为信息中确定出至少一条参考行为信息，以作为目标参考行为信息。

在本发明实施例中，所述基于安防监控的行为指引平台可以基于每一条所述参考行为信息对应的参考行为特征表示与所述预测行为特征表示之间的相关关系，在所述多条参考行为信息中确定出至少一条参考行为信息，以作为目标参考行为信息。

步骤S500，基于所述目标参考行为信息，对所述监控用户进行行为指引处理。

在本发明实施例中，所述基于安防监控的行为指引平台可以基于所述目标参考行为信息，对所述监控用户进行行为指引处理(示例性地，可以通过在所述目标监控区域部署的显示设备，对所述目标参考行为信息进行显示处理，以对所述监控用户进行行为指引)。

基于前述的各步骤(如步骤S100-步骤S500)，由于在进行行为指引处理时，行为指引处理的依据并不是任意确定的一条参考行为信息，而是基于预测出的预测交互行为信息确定出的目标参考行为信息，使得行为指引处理的依据更为可靠，因此，可以在一定程度上提高行为指引的可靠度，从而改善现有技术中存在的行为指引的可靠度不高的问题。

可以选择的是，在一些实施方式中，所述基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出至少一个监控用户的预测交互行为信息的步骤，可以进一步包括以下的内容，如步骤S110-步骤S160。

步骤S110，对目标监控区域进行对象行为监控，以输出对应的多个监控图像组合。

在本发明实施例中，所述基于安防监控的行为指引平台可以对目标监控区域进行对象行为监控，以输出对应的多个监控图像组合。每一个所述监控图像组合包括至少一帧待处理监控图像，任意一个所述监控图像组合包括的待处理监控图像中存在具有行为交互的两个监控用户。

步骤S120，挖掘出所述多个监控图像组合中每一个监控图像组合对应的行为语义特征表示集。

在本发明实施例中，所述基于安防监控的行为指引平台可以挖掘出所述多个监控图像组合中每一个监控图像组合对应的行为语义特征表示集。所述行为语义特征表示集包括第一行为语义特征表示集和第二行为语义特征表示集，所述第一行为语义特征表示集和所述第二行为语义特征表示集分别对应于所述两个监控用户(所述第一行为语义特征表示集中的任意一个第一行为语义特征表示，可以用于反映第一个监控用户在对应的一个监控图像组合中具有的行为语义，所述第二行为语义特征表示集中的任意一个第二行为语义特征表示，可以用于反映第二个监控用户在对应的一个监控图像组合中具有的行为语义，即图像中的用户行为的语义)。

步骤S130，将所述多个监控图像组合进行背景关键信息的挖掘操作，以输出对应的背景语义特征表示集。

在本发明实施例中，所述基于安防监控的行为指引平台可以将所述多个监控图像组合进行背景关键信息的挖掘操作，以输出对应的背景语义特征表示集(所述背景语义特征表示集中的一个背景语义特征表示，可以用于反映一个监控图像组合中具有的背景语义，即背景图像的语义)。

步骤S140，对多个所述第一行为语义特征表示集和多个所述第二行为语义特征表示集进行加载处理，以加载到第一特征挖掘模型中，利用所述第一特征挖掘模型挖掘出对应的聚合行为语义特征表示。

在本发明实施例中，所述基于安防监控的行为指引平台可以对多个所述第一行为语义特征表示集和多个所述第二行为语义特征表示集进行加载处理(即进行整合)，以加载到第一特征挖掘模型中，利用所述第一特征挖掘模型挖掘出对应的聚合行为语义特征表示。

步骤S150，对所述背景语义特征表示集进行加载处理，以加载到第二特征挖掘模型中，利用所述第二特征挖掘模型挖掘出对应的聚合背景语义特征表示。

在本发明实施例中，所述基于安防监控的行为指引平台可以对所述背景语义特征表示集进行加载处理，以加载到第二特征挖掘模型中，利用所述第二特征挖掘模型挖掘出对应的聚合背景语义特征表示(示例性地，可以对所述背景语义特征表示集包括的各背景语义特征表示进行全连接处理，或者，在进行全连接处理之后，进一步进行聚焦特征分析操作)。所述第二特征挖掘模型不同于所述第一特征挖掘模型。

步骤S160，基于所述聚合行为语义特征表示和所述聚合背景语义特征表示，分析出所述两个监控用户中至少一个监控用户的预测交互行为信息。

在本发明实施例中，所述基于安防监控的行为指引平台可以基于所述聚合行为语义特征表示和所述聚合背景语义特征表示，分析出所述两个监控用户中至少一个监控用户的预测交互行为信息。所述预测交互行为信息用于反映所述两个监控用户中至少一个监控用户在所述多个监控图像组合对应的交互行为之后可能的交互行为。

基于上述步骤，由于在进行交互行为预测之前，先分别进行了行为语义和背景语义的挖掘，使得进行交互行为预测时，不仅仅关注行为语义，还会结合背景语义，使得预测的精度可以更高，因此，可以在一定程度上提高行为预测的可靠度，从而改善现有技术中存在的可靠度不佳的问题。

可以选择的是，在一些实施方式中，所述对目标监控区域进行对象行为监控，以输出对应的多个监控图像组合的步骤，可以包括以下内容：

对目标监控区域进行对象行为监控，以得到多帧待处理监控图像，所述多帧待处理监控图像中存在具有行为交互的两个监控用户；

对于所述多帧待处理监控图像中的每相邻两帧待处理监控图像，对该两帧待处理监控图像进行图像相似度的计算，以输出该两帧待处理监控图像之间的图像相似度，以及，将该图像相似度和预先配置的参考图像相似度进行大小比较处理，以输出该两帧待处理监控图像对应的比较结果(所述参考图像相似度可以根据实际需求进行配置)；

将所述多帧待处理监控图像中的第一帧待处理监控图像作为起点，对所述多帧待处理监控图像进行遍历处理，直到遍历过的全部待处理监控图像中存在具有行为交互的两个监控用户，且当前遍历到的待处理监控图像与相邻的前一帧待处理监控图像对应的比较结果反映出所述图像相似度小于或等于所述参考图像相似度，停止遍历；

将遍历过的全部待处理监控图像，作为一个监控图像组合，并将遍历过的全部待处理监控图像从所述多帧待处理监控图像中筛除，以形成新的多帧待处理监控图像；

基于所述新的多帧待处理监控图像，回转执行所述将所述多帧待处理监控图像中的第一帧待处理监控图像作为起点，对所述多帧待处理监控图像进行遍历处理，直到遍历过的全部待处理监控图像中存在具有行为交互的两个监控用户，且当前遍历到的待处理监控图像与相邻的前一帧待处理监控图像对应的比较结果反映出所述图像相似度小于或等于所述参考图像相似度，停止遍历的步骤，直到每一帧待处理监控图像遍历完成。

可以选择的是，在一些实施方式中，所述第一特征挖掘模型可以包括第一特征挖掘单元、第二特征挖掘单元和特征聚合单元(所述第一特征挖掘单元、所述第二特征挖掘单元和所述特征聚合单元可以依据样本数据经过网络优化处理形成)。基于此，所述对多个所述第一行为语义特征表示集和多个所述第二行为语义特征表示集进行加载处理，以加载到第一特征挖掘模型中，利用所述第一特征挖掘模型挖掘出对应的聚合行为语义特征表示的步骤，可以进一步包括以下内容：

通过所述第一特征挖掘单元，将多个所述第一行为语义特征表示集进行挖掘聚合操作，以输出对应的聚合第一行为语义特征表示；

通过所述第二特征挖掘单元，将多个所述第二行为语义特征表示集进行挖掘聚合操作，输出对应的聚合第二行为语义特征表示；

利用所述特征聚合单元，对所述聚合第一行为语义特征表示和所述聚合第二行为语义特征表示进行特征聚合操作，输出聚合行为语义特征表示。

可以选择的是，在一些实施方式中，所述通过所述第一特征挖掘单元，将多个所述第一行为语义特征表示集进行挖掘聚合操作，以输出对应的聚合第一行为语义特征表示的步骤，可以进一步包括以下内容：

针对每一个所述第一行为语义特征表示集中的每一个第一行为语义特征表示，将所述第一行为语义特征表示进行第一关键信息挖掘(如基于所述第一特征挖掘单元包括的卷积核或滤波矩阵，对所述第一行为语义特征表示进行卷积运算或滤波处理等)，以输出所述第一行为语义特征表示对应的关键信息特征表示；

针对每一个所述第一行为语义特征表示集，对所述第一行为语义特征表示集中的每一个所述第一行为语义特征表示对应的关键信息特征表示进行聚合，输出所述第一行为语义特征表示集对应的聚合关键信息特征表示(示例性地，可以对所述第一行为语义特征表示集中的每一个所述第一行为语义特征表示对应的关键信息特征表示进行级联组合处理，以形成对应的聚合关键信息特征表示)；

将多个所述第一行为语义特征表示集对应的聚合关键信息特征表示进行第二关键信息挖掘，以输出聚合第一行为语义特征表示(示例性地，可以对多个所述第一行为语义特征表示集对应的聚合关键信息特征表示先进行全连接处理，然后，对处理结果进行卷积运算或滤波处理等)。

可以选择的是，在一些实施方式中，所述通过所述第二特征挖掘单元，将多个所述第二行为语义特征表示集进行挖掘聚合操作，输出对应的聚合第二行为语义特征表示的步骤，可以进一步包括以下内容：

针对每一个所述第二行为语义特征表示集中的每一个第二行为语义特征表示，将所述第二行为语义特征表示进行第三关键信息挖掘(所述第三关键信息挖掘如前述的第一关键信息挖掘)，以输出所述第二行为语义特征表示对应的关键信息特征表示；

针对每一个所述第二行为语义特征表示集，对所述第二行为语义特征表示集中的每一个所述第二行为语义特征表示对应的关键信息特征表示进行聚合，输出所述第二行为语义特征表示集对应的聚合关键信息特征表示(示例性地，可以对所述第二行为语义特征表示集中的每一个所述第二行为语义特征表示对应的关键信息特征表示进行级联组合处理，以形成对应的聚合关键信息特征表示)；

将多个所述第二行为语义特征表示集对应的聚合关键信息特征表示进行第四关键信息挖掘，以输出聚合第二行为语义特征表示(所述第四关键信息挖掘如前述的第二关键信息挖掘)。

可以选择的是，在一些实施方式中，所述利用所述特征聚合单元，对所述聚合第一行为语义特征表示和所述聚合第二行为语义特征表示进行特征聚合操作，输出聚合行为语义特征表示的步骤，可以包括以下内容：

基于所述聚合第二行为语义特征表示对所述聚合第一行为语义特征表示进行聚焦分析操作，以输出对应的第一聚焦特征表示(也就是说，可以对所述聚合第一行为语义特征表示进行映射，以形成查询特征表示，对所述聚合第二行为语义特征表示分别进行不同的映射，以形成键特征表示、值特征表示，然后，基于查询特征表示、键特征表示和值特征表示，融合输出对应的第一聚焦特征表示)，以及，基于所述聚合第一行为语义特征表示对所述聚合第二行为语义特征表示进行聚焦分析操作，以输出对应的第二聚焦特征表示(如第一聚焦特征表示的处理过程)；

将所述第一聚焦特征表示和所述第二聚焦特征表示进行全连接处理，以输出对应的全连接聚焦特征表示；以及，对所述全连接聚焦特征表示进行聚焦分析操作(也就是说，可以将所述全连接聚焦特征表示分别进行三个维度的映射，以形成对应的查询特征表示键特征表示和值特征表示，任然后，可以基于查询特征表示、键特征表示和值特征表示，融合输出对应的聚合行为语义特征表示)，以输出对应的聚合行为语义特征表示。

可以选择的是，在一些实施方式中，所述基于所述聚合行为语义特征表示和所述聚合背景语义特征表示，分析出所述两个监控用户中至少一个监控用户的预测交互行为信息的步骤，可以进一步包括以下内容：

对所述聚合行为语义特征表示和所述聚合背景语义特征表示进行组合处理，以形成对应的组合语义特征表示(示例性地，可以将所述聚合行为语义特征表示和所述聚合背景语义特征表示进行级联组合，例如，“聚合行为语义特征表示-聚合背景语义特征表示”)；

通过行为预测模型，将所述组合语义特征表示进行行为预测处理，以输出所述两个监控用户中至少一个监控用户的预测交互行为信息(示例性地，所述行为预测模型可以是依据样本数据进行网络优化形成的神经网络模型，使得可以基于所述组合语义特征表示进行行为预测处理)。

可以选择的是，在一些实施方式中，所述对所述预测交互行为信息进行关键信息挖掘处理，以输出对应的预测行为特征表示的步骤，可以进一步包括以下的内容：

对所述预测交互行为信息进行特征空间映射处理，以输出所述预测交互行为信息对应的映射行为特征表示；以及，对所述映射行为特征表示进行聚焦特征分析处理，以输出对应的预测行为特征表示；

所述聚焦特征分析处理包括：

基于预先确定的第一参数分布、第二参数分布和第三参数分布(所述第一参数分布、所述第二参数分布和所述第三参数分布可以是对应的神经网络的网络参数，以在该神经网络的网络优化处理过程中形成)，对所述映射行为特征表示进行映射处理，以形成对应的第一映射行为特征表示、第二映射行为特征表示和第三映射行为特征表示；

对所述第一映射行为特征表示和所述第二映射行为特征表示进行相乘运算，以输出对应的融合映射行为特征表示，以及，对所述融合映射行为特征表示和所述第一映射行为特征表示的特征表示维度数量进行相除运算，以输出对应的更新映射行为特征表示；

对所述更新映射行为特征表示包括的特征表示参数进行归一化处理，以输出对应的归一化映射行为特征表示，对所述归一化映射行为特征表示和所述第三映射行为特征表示进行相乘运算，以输出预测行为特征表示。

可以选择的是，在一些实施方式中，所述提取到为所述目标监控区域配置的多条参考行为信息，并分别对每一条所述参考行为信息进行关键信息挖掘处理，以输出每一条所述参考行为信息对应的参考行为特征表示的步骤，可以进一步包括以下的内容：

提取到为所述目标监控区域配置的多条参考行为信息；

分别对每一条所述参考行为信息进行特征空间映射处理(特征空间映射处理可以是指，将参考行为信息映射到特征空间中，以利用连续的特征表示，即向量，来表示离散的数据或信息)，以输出每一条所述参考行为信息对应的映射参考行为特征表示；

分别对每一个所述映射参考行为特征表示进行聚焦特征分析处理，以输出每一条所述参考行为信息对应的参考行为特征表示。

可以选择的是，在一些实施方式中，所述分别对每一个所述映射参考行为特征表示进行聚焦特征分析处理，以输出每一条所述参考行为信息对应的参考行为特征表示的步骤，可以进一步包括以下的内容：

依据对应的所述参考行为信息中的信息片段之间的片段相关性，将所述映射参考行为特征表示进行拆分处理，以形成对应的多个局部映射参考行为特征表示，每一个所述局部映射参考行为特征表示对应于所述参考行为信息包括的一个信息片段，一个信息片段用于反映一个参考行为，所述参考行为信息用于描述描述多个参考行为的组合；

对所述多个局部映射参考行为特征表示进行聚焦特征分析处理，以输出所述参考行为信息对应的参考行为特征表示。

可以选择的是，在一些实施方式中，所述对所述多个局部映射参考行为特征表示进行聚焦特征分析处理，以输出所述参考行为信息对应的参考行为特征表示的步骤，可以进一步包括以下的内容：

依次将所述多个局部映射参考行为特征表示中的每一个局部映射参考行为特征表示作为目标局部行为特征表示，以及，基于对应的信息片段之间的相关关系，在其它的局部映射参考行为特征表示中确定出所述目标局部行为特征表示对应的相关局部行为特征表示；

基于预先确定的第一参数分布对所述目标局部行为特征表示进行映射处理，以形成对应的第一映射行为特征表示，以及，以及预先确定的第二参数分布和第三参数分布，对所述相关局部行为特征表示进行映射处理，以形成对应的第二映射行为特征表示和第三映射行为特征表示(这里的第一参数分布、第二参数分布和第三参数分布可以和前文的不同，可以分别属于不同的神经网络的参数)；

对所述第一映射行为特征表示和所述第二映射行为特征表示进行相乘运算，以输出对应的融合映射行为特征表示，以及，对所述融合映射行为特征表示和所述第一映射行为特征表示的特征表示维度数量进行相除运算，以输出对应的更新映射行为特征表示；

对所述更新映射行为特征表示包括的特征表示参数进行归一化处理，以输出对应的归一化映射行为特征表示，对所述归一化映射行为特征表示和所述第三映射行为特征表示进行相乘运算，输出局部参考行为特征表示；

对所述多个局部映射参考行为特征表示对应的多个局部参考行为特征表示进行组合处理，以形成所述参考行为信息对应的参考行为特征表示。

可以选择的是，在一些实施方式中，所述基于每一条所述参考行为信息对应的参考行为特征表示与所述预测行为特征表示之间的相关关系，在所述多条参考行为信息中确定出至少一条参考行为信息，以作为目标参考行为信息的步骤，可以进一步包括以下的内容：

对于每一条所述参考行为信息，对该参考行为信息对应的参考行为特征表示和所述预测行为特征表示进行相关度计算处理，以输出该参考行为信息对应的参考行为特征表示和所述预测行为特征表示之间的相关系数；

将具有最大的相关系数对应的参考行为信息作为目标参考行为信息，或者，将大于或等于预先配置的参考相关系数的每一个相关系数对应的参考行为信息作为目标参考行为信息。

结合图3，本发明实施例还提供一种基于安防监控的行为指引系统，可应用于上述基于安防监控的行为指引平台。其中，所述基于安防监控的行为指引系统可以包括以下的各软件功能模块：

交互行为预测模块，用于基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出至少一个监控用户的预测交互行为信息，所述预测交互行为信息用于反映监控用户在所述待处理监控图像对应的交互行为之后可能的交互行为；

第一关键信息挖掘模块，用于对所述预测交互行为信息进行关键信息挖掘处理，以输出对应的预测行为特征表示，所述预测行为特征表示用于反映对应的行为语义；

第二关键信息挖掘模块，用于提取到为所述目标监控区域配置的多条参考行为信息，并分别对每一条所述参考行为信息进行关键信息挖掘处理，以输出每一条所述参考行为信息对应的参考行为特征表示；

行为信息确定模块，用于基于每一条所述参考行为信息对应的参考行为特征表示与所述预测行为特征表示之间的相关关系，在所述多条参考行为信息中确定出至少一条参考行为信息，以作为目标参考行为信息；

行为指引处理模块，用于基于所述目标参考行为信息，对所述监控用户进行行为指引处理。

可以选择的是，在一些实施方式中，所述第一关键信息挖掘模块具体用于：

对所述预测交互行为信息进行特征空间映射处理，以输出所述预测交互行为信息对应的映射行为特征表示；以及，对所述映射行为特征表示进行聚焦特征分析处理，以输出对应的预测行为特征表示；

所述聚焦特征分析处理包括：

基于预先确定的第一参数分布、第二参数分布和第三参数分布，对所述映射行为特征表示进行映射处理，以形成对应的第一映射行为特征表示、第二映射行为特征表示和第三映射行为特征表示；

对所述第一映射行为特征表示和所述第二映射行为特征表示进行相乘运算，以输出对应的融合映射行为特征表示，以及，对所述融合映射行为特征表示和所述第一映射行为特征表示的特征表示维度数量进行相除运算，以输出对应的更新映射行为特征表示；

对所述更新映射行为特征表示包括的特征表示参数进行归一化处理，以输出对应的归一化映射行为特征表示，对所述归一化映射行为特征表示和所述第三映射行为特征表示进行相乘运算，以输出预测行为特征表示。

可以选择的是，在一些实施方式中，所述第二关键信息挖掘模块具体用于：

提取到为所述目标监控区域配置的多条参考行为信息；

分别对每一条所述参考行为信息进行特征空间映射处理，以输出每一条所述参考行为信息对应的映射参考行为特征表示；

分别对每一个所述映射参考行为特征表示进行聚焦特征分析处理，以输出每一条所述参考行为信息对应的参考行为特征表示。

综上所述，本发明提供的一种基于安防监控的行为指引方法及系统，可以先基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出监控用户的预测交互行为信息；对预测交互行为信息进行关键信息挖掘处理，以输出预测行为特征表示；分别对每一条参考行为信息进行关键信息挖掘处理，以输出每一条参考行为信息对应的参考行为特征表示；基于每一条参考行为信息对应的参考行为特征表示与预测行为特征表示之间的相关关系，确定出至少一条参考行为信息，以作为目标参考行为信息；基于目标参考行为信息，对监控用户进行行为指引处理。基于此，由于在进行行为指引处理时，行为指引处理的依据并不是任意确定的一条参考行为信息，而是基于预测出的预测交互行为信息确定出的目标参考行为信息，使得行为指引处理的依据更为可靠，因此，可以在一定程度上提高行为指引的可靠度，从而改善现有技术中存在的行为指引的可靠度不高的问题。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于安防监控的行为指引方法，其特征在于，包括：

基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出至少一个监控用户的预测交互行为信息，所述预测交互行为信息用于反映监控用户在所述待处理监控图像对应的交互行为之后可能的交互行为；

对所述预测交互行为信息进行关键信息挖掘处理，以输出对应的预测行为特征表示，所述预测行为特征表示用于反映对应的行为语义；

提取到为所述目标监控区域配置的多条参考行为信息，并分别对每一条所述参考行为信息进行关键信息挖掘处理，以输出每一条所述参考行为信息对应的参考行为特征表示；

基于每一条所述参考行为信息对应的参考行为特征表示与所述预测行为特征表示之间的相关关系，在所述多条参考行为信息中确定出至少一条参考行为信息，以作为目标参考行为信息；

基于所述目标参考行为信息，对所述监控用户进行行为指引处理。

2.如权利要求1所述的基于安防监控的行为指引方法，其特征在于，所述对所述预测交互行为信息进行关键信息挖掘处理，以输出对应的预测行为特征表示的步骤，包括：

对所述预测交互行为信息进行特征空间映射处理，以输出所述预测交互行为信息对应的映射行为特征表示；以及，对所述映射行为特征表示进行聚焦特征分析处理，以输出对应的预测行为特征表示；

所述聚焦特征分析处理包括：

基于预先确定的第一参数分布、第二参数分布和第三参数分布，对所述映射行为特征表示进行映射处理，以形成对应的第一映射行为特征表示、第二映射行为特征表示和第三映射行为特征表示；

对所述第一映射行为特征表示和所述第二映射行为特征表示进行相乘运算，以输出对应的融合映射行为特征表示，以及，对所述融合映射行为特征表示和所述第一映射行为特征表示的特征表示维度数量进行相除运算，以输出对应的更新映射行为特征表示；

对所述更新映射行为特征表示包括的特征表示参数进行归一化处理，以输出对应的归一化映射行为特征表示，对所述归一化映射行为特征表示和所述第三映射行为特征表示进行相乘运算，以输出预测行为特征表示。

3.如权利要求1所述的基于安防监控的行为指引方法，其特征在于，所述提取到为所述目标监控区域配置的多条参考行为信息，并分别对每一条所述参考行为信息进行关键信息挖掘处理，以输出每一条所述参考行为信息对应的参考行为特征表示的步骤，包括：

提取到为所述目标监控区域配置的多条参考行为信息；

分别对每一条所述参考行为信息进行特征空间映射处理，以输出每一条所述参考行为信息对应的映射参考行为特征表示；

分别对每一个所述映射参考行为特征表示进行聚焦特征分析处理，以输出每一条所述参考行为信息对应的参考行为特征表示。

4.如权利要求3所述的基于安防监控的行为指引方法，其特征在于，所述分别对每一个所述映射参考行为特征表示进行聚焦特征分析处理，以输出每一条所述参考行为信息对应的参考行为特征表示的步骤，包括：

依据对应的所述参考行为信息中的信息片段之间的片段相关性，将所述映射参考行为特征表示进行拆分处理，以形成对应的多个局部映射参考行为特征表示，每一个所述局部映射参考行为特征表示对应于所述参考行为信息包括的一个信息片段，一个信息片段用于反映一个参考行为，所述参考行为信息用于描述描述多个参考行为的组合；

对所述多个局部映射参考行为特征表示进行聚焦特征分析处理，以输出所述参考行为信息对应的参考行为特征表示。

5.如权利要求4所述的基于安防监控的行为指引方法，其特征在于，所述对所述多个局部映射参考行为特征表示进行聚焦特征分析处理，以输出所述参考行为信息对应的参考行为特征表示的步骤，包括：

依次将所述多个局部映射参考行为特征表示中的每一个局部映射参考行为特征表示作为目标局部行为特征表示，以及，基于对应的信息片段之间的相关关系，在其它的局部映射参考行为特征表示中确定出所述目标局部行为特征表示对应的相关局部行为特征表示；

基于预先确定的第一参数分布对所述目标局部行为特征表示进行映射处理，以形成对应的第一映射行为特征表示，以及，以及预先确定的第二参数分布和第三参数分布，对所述相关局部行为特征表示进行映射处理，以形成对应的第二映射行为特征表示和第三映射行为特征表示；

对所述第一映射行为特征表示和所述第二映射行为特征表示进行相乘运算，以输出对应的融合映射行为特征表示，以及，对所述融合映射行为特征表示和所述第一映射行为特征表示的特征表示维度数量进行相除运算，以输出对应的更新映射行为特征表示；

对所述更新映射行为特征表示包括的特征表示参数进行归一化处理，以输出对应的归一化映射行为特征表示，对所述归一化映射行为特征表示和所述第三映射行为特征表示进行相乘运算，输出局部参考行为特征表示；

对所述多个局部映射参考行为特征表示对应的多个局部参考行为特征表示进行组合处理，以形成所述参考行为信息对应的参考行为特征表示。

6.如权利要求1所述的基于安防监控的行为指引方法，其特征在于，所述基于每一条所述参考行为信息对应的参考行为特征表示与所述预测行为特征表示之间的相关关系，在所述多条参考行为信息中确定出至少一条参考行为信息，以作为目标参考行为信息的步骤，包括：

对于每一条所述参考行为信息，对该参考行为信息对应的参考行为特征表示和所述预测行为特征表示进行相关度计算处理，以输出该参考行为信息对应的参考行为特征表示和所述预测行为特征表示之间的相关系数；

将具有最大的相关系数对应的参考行为信息作为目标参考行为信息，或者，将大于或等于预先配置的参考相关系数的每一个相关系数对应的参考行为信息作为目标参考行为信息。

7.如权利要求1-6任意一项所述的基于安防监控的行为指引方法，其特征在于，所述基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出至少一个监控用户的预测交互行为信息的步骤，包括：

对目标监控区域进行对象行为监控，以输出对应的多个监控图像组合，每一个所述监控图像组合包括至少一帧待处理监控图像，任意一个所述监控图像组合包括的待处理监控图像中存在具有行为交互的两个监控用户；

挖掘出所述多个监控图像组合中每一个监控图像组合对应的行为语义特征表示集，所述行为语义特征表示集包括第一行为语义特征表示集和第二行为语义特征表示集，所述第一行为语义特征表示集和所述第二行为语义特征表示集分别对应于所述两个监控用户；

将所述多个监控图像组合进行背景关键信息的挖掘操作，以输出对应的背景语义特征表示集；

对多个所述第一行为语义特征表示集和多个所述第二行为语义特征表示集进行加载处理，以加载到第一特征挖掘模型中，利用所述第一特征挖掘模型挖掘出对应的聚合行为语义特征表示；

对所述背景语义特征表示集进行加载处理，以加载到第二特征挖掘模型中，利用所述第二特征挖掘模型挖掘出对应的聚合背景语义特征表示，所述第二特征挖掘模型不同于所述第一特征挖掘模型；

基于所述聚合行为语义特征表示和所述聚合背景语义特征表示，分析出所述两个监控用户中至少一个监控用户的预测交互行为信息，所述预测交互行为信息用于反映所述两个监控用户中至少一个监控用户在所述多个监控图像组合对应的交互行为之后可能的交互行为。

8.一种基于安防监控的行为指引系统，其特征在于，包括：

交互行为预测模块，用于基于对目标监控区域进行对象行为监控得到的待处理监控图像，分析出至少一个监控用户的预测交互行为信息，所述预测交互行为信息用于反映监控用户在所述待处理监控图像对应的交互行为之后可能的交互行为；

第一关键信息挖掘模块，用于对所述预测交互行为信息进行关键信息挖掘处理，以输出对应的预测行为特征表示，所述预测行为特征表示用于反映对应的行为语义；

第二关键信息挖掘模块，用于提取到为所述目标监控区域配置的多条参考行为信息，并分别对每一条所述参考行为信息进行关键信息挖掘处理，以输出每一条所述参考行为信息对应的参考行为特征表示；

行为信息确定模块，用于基于每一条所述参考行为信息对应的参考行为特征表示与所述预测行为特征表示之间的相关关系，在所述多条参考行为信息中确定出至少一条参考行为信息，以作为目标参考行为信息；

行为指引处理模块，用于基于所述目标参考行为信息，对所述监控用户进行行为指引处理。

9.如权利要求8所述的基于安防监控的行为指引系统，其特征在于，所述第一关键信息挖掘模块具体用于：

对所述预测交互行为信息进行特征空间映射处理，以输出所述预测交互行为信息对应的映射行为特征表示；以及，对所述映射行为特征表示进行聚焦特征分析处理，以输出对应的预测行为特征表示；

所述聚焦特征分析处理包括：

基于预先确定的第一参数分布、第二参数分布和第三参数分布，对所述映射行为特征表示进行映射处理，以形成对应的第一映射行为特征表示、第二映射行为特征表示和第三映射行为特征表示；

对所述第一映射行为特征表示和所述第二映射行为特征表示进行相乘运算，以输出对应的融合映射行为特征表示，以及，对所述融合映射行为特征表示和所述第一映射行为特征表示的特征表示维度数量进行相除运算，以输出对应的更新映射行为特征表示；

对所述更新映射行为特征表示包括的特征表示参数进行归一化处理，以输出对应的归一化映射行为特征表示，对所述归一化映射行为特征表示和所述第三映射行为特征表示进行相乘运算，以输出预测行为特征表示。

10.如权利要求8所述的基于安防监控的行为指引系统，其特征在于，所述第二关键信息挖掘模块具体用于：

提取到为所述目标监控区域配置的多条参考行为信息；

分别对每一条所述参考行为信息进行特征空间映射处理，以输出每一条所述参考行为信息对应的映射参考行为特征表示；

分别对每一个所述映射参考行为特征表示进行聚焦特征分析处理，以输出每一条所述参考行为信息对应的参考行为特征表示。