CN110659603A - 一种数据处理方法及装置 - Google Patents

Abstract

本申请公开了一种数据处理方法及装置，具体地，可以获取待处理声音数据和待处理图像序列。将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型。其中，所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像。由于所述事件分析模型，是基于训练样本和该训练样本对应的事件类型训练得到的。该训练样本，包括在历史时间段内采集得到的历史声音数据和历史图像数据。因此，该事件分析模型，可以准确的根据输入的待处理声音数据和待处理图像序列，输出对应的事件类型。因此，利用本申请实施例提供的方案，可以准确的确定出是否存在异常事件。

Description

一种数据处理方法及装置

技术领域

本申请涉及数据处理领域，特别是涉及一种数据处理方法及装置。

背景技术

随着科学技术的发展，出现了一些声音采集设备和图像采集设备，声音采集设备可以用于采集一定范围内的声音。图像采集设备用于采集一定范围内的图像。目前，为了保证用户的人身以及财产安全，在一些涉及公共安全的区域例如小区、花园等都可以安装声音采集设备和图像采集设备，用于采集对应的声音数据和图像。通过对声音数据或者图像进行分析，来确定是否存在异常事件，例如，确定是否出现人员异常聚集，又如，确定用户是否遭遇打劫而需要帮助等等。

但是，目前对声音数据或者图像进行分析的效果不好，从而使得无法准确的判断出是否存在异常事件。

发明内容

本申请所要解决的技术问题是传统技术中对声音数据或者图像进行分析的效果不好，提供一种数据处理方法及装置。

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

获取待处理声音数据和待处理图像序列；所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像；

将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型；所述事件分析模型，是基于训练样本和所述训练样本对应的事件类型训练得到的，所述训练样本，包括历史声音数据和历史图像序列，所述历史声音数据和历史图像序列为在历史时间段内采集得到的。

可选的，所述事件分析模型，包括第一特征提取层、第二特征提取层、第一特征融合层和输出层；

所述第一特征提取层，用于提取所述待处理图像序列的图像特征；

所述第二特征提取层，用于提取所述待处理声音数据的声音特征；

所述第一特征融合层，用于对所述第一特征提取层提取的图像特征和所述第二特征提取层提取的声音特征进行融合，得到第一融合特征；

所述输出层，用于根据所述第一融合特征，输出所述事件类型。

可选的，所述第一特征提取层，包括：第一神经网络和第二神经网络；所述第一神经网络的输入为所述待处理图像序列，所述第一神经网络的输出，为所述第二神经网络的输入；所述第二神经网络的输出为所述第一特征提取层的输出；

所述第一神经网络，用于提取所述待处理图像序列中每一帧图像的图像特征；

所述第二神经网络，用于基于所述第一神经网络所提取的所述每一帧图像的图像特征，得到体现所述待处理图像序列中多帧图像之间的关联的图像特征。

可选的，所述第二特征提取层，包括：第三神经网络；所述第三神经网络的输入为所述待处理声音数据，所述第三神经网络的输出，为所述第二特征提取层的输出。

可选的，所述待处理声音数据为多个声音采集设备在所述第一时间段内采集的声音，所述待处理图像序列，为多个图像采集设备在所述第一时间段内采集的图像序列。

可选的，所述事件分析模型，还包括：第二特征融合层；

所述第一特征融合层的输出为所述第二特征融合层的输入；

所述第二特征融合层的输出为所述输出层的输入；

所述第二特征融合层，用于将所述第一特征融合层输出的多个第一融合特征进行融合，得到第二融合特征；

所述输出层，具体用于根据所述第二融合特征，输出所述事件类型。

可选的，所述第一融合特征，为所述第一特征融合层，对第一图像特征和第一声音特征进行特征融合得到的；其中：

所述第一图像特征，为所述第一特征提取层，对第一图像采集设备采集的待处理图像序列进行图像特征提取得到的；

所述第一声音特征，为所述第二特征提取层，对第一声音采集设备采集的待处理声音数据进行声音特征提取得到的；

所述第一声音采集设备和所述第一图像采集设备之间的距离，小于或者等于预设距离阈值。

可选的，所述方法还包括：

若所述事件类型为异常事件类型，则控制预警装置进行预警。

可选的，所述预警装置，包括以下任意一项或者组合：

警示灯、警铃、喇叭、蜂鸣器和发光二极管。

可选的，所述方法还包括：

若所述事件类型为异常事件类型，则确定所述声音采集设备和/或所述图像采集设备的位置信息，并控制语音提示装置播放携带所确定的所述位置信息的提示语音。

第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：

获取单元，用于获取待处理声音数据和待处理图像序列；所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像；

输入单元，用于将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型；所述事件分析模型，是基于训练样本和所述训练样本对应的事件类型训练得到的，所述训练样本，包括历史声音数据和历史图像序列，所述历史声音数据和历史图像序列为在历史时间段内采集得到的。

可选的，所述事件分析模型，包括第一特征提取层、第二特征提取层、第一特征融合层和输出层；

所述第一特征提取层，用于提取所述待处理图像序列的图像特征；

所述第二特征提取层，用于提取所述待处理声音数据的声音特征；

所述第一特征融合层，用于对所述第一特征提取层提取的图像特征和所述第二特征提取层提取的声音特征进行融合，得到第一融合特征；

所述输出层，用于根据所述第一融合特征，输出所述事件类型。

可选的，所述第一特征提取层，包括：第一神经网络和第二神经网络；所述第一神经网络的输入为所述待处理图像序列，所述第一神经网络的输出，为所述第二神经网络的输入；所述第二神经网络的输出为所述第一特征提取层的输出；

所述第一神经网络，用于提取所述待处理图像序列中每一帧图像的图像特征；

所述第二神经网络，用于基于所述第一神经网络所提取的所述每一帧图像的图像特征，得到体现所述待处理图像序列中多帧图像之间的关联的图像特征。

可选的，所述第二特征提取层，包括：第三神经网络；所述第三神经网络的输入为所述待处理声音数据，所述第三神经网络的输出，为所述第二特征提取层的输出。

可选的，所述待处理声音数据为多个声音采集设备在所述第一时间段内采集的声音，所述待处理图像序列，为多个图像采集设备在所述第一时间段内采集的图像序列。

可选的，所述事件分析模型，还包括：第二特征融合层；

所述第一特征融合层的输出为所述第二特征融合层的输入；

所述第二特征融合层的输出为所述输出层的输入；

所述第二特征融合层，用于将所述第一特征融合层输出的多个第一融合特征进行融合，得到第二融合特征；

所述输出层，具体用于根据所述第二融合特征，输出所述事件类型。

可选的，所述第一融合特征，为所述第一特征融合层，对第一图像特征和第一声音特征进行特征融合得到的；其中：

所述第一图像特征，为所述第一特征提取层，对第一图像采集设备采集的待处理图像序列进行图像特征提取得到的；

所述第一声音特征，为所述第二特征提取层，对第一声音采集设备采集的待处理声音数据进行声音特征提取得到的；

所述第一声音采集设备和所述第一图像采集设备之间的距离，小于或者等于预设距离阈值。

可选的，所述装置还包括：

第一控制单元，用于若所述事件类型为异常事件类型，则控制预警装置进行预警。

可选的，所述预警装置，包括以下任意一项或者组合：

警示灯、警铃、喇叭、蜂鸣器和发光二极管。

可选的，所述装置还包括：

确定单元，用于若所述事件类型为异常事件类型，则确定所述声音采集设备和/或所述图像采集设备的位置信息；

第二控制单元，用于控制语音提示装置播放携带所确定的所述位置信息的提示语音。

与现有技术相比，本申请实施例具有以下优点：

在本申请实施例中，考虑到在实际应用中，仅仅对声音数据或者仅仅对图像进行处理，而声音数据本身携带的信息是有限的，图像本身携带的信息也是有限的。若是能对某一场景下的声音数据和图像关联起来，则可以获取到更多的信息，从而更加准确的分析出是否存在异常事件。具体地，可以获取待处理声音数据和待处理图像序列。而后，将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型。其中，所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像。由于所述事件分析模型，是基于训练样本和该训练样本对应的事件类型训练得到的。该训练样本，包括在历史时间段内采集得到的历史声音数据和历史图像数据。因此，该事件分析模型，可以准确的根据输入的待处理声音数据和待处理图像序列，输出对应的事件类型。由此可见，利用本申请实施例提供的方案，可以准确的确定出是否存在异常事件。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一个应用场景示意图；

图2为本申请实施例提供的一种数据处理方法的流程示意图；

图3a为本申请实施例提供的一种事件分析模型的结构示意图；

图3b为本申请实施例提供的又一种事件分析模型的结构示意图；

图3c为本申请实施例提供的又一种事件分析模型的结构示意图；

图4为本申请实施例提供的一种数据处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的发明人经过研究发现，由于声音数据本身携带的信息是有限的，图像本身携带的信息也是有限的。而且，声音数据中难免会有一些噪声，这些都会对分析结果的准确性带来一定的影响。从而导致对声音数据或者图像进行分析的效果不好，从而使得无法准确的判断出是否存在异常事件。

为了解决上述问题，本申请实施例提供了一种数据处理方法及装置，可以准确的确定出是否存在异常事件。具体地，可以获取待处理声音数据和待处理图像序列。而后，将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型。其中，所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像。由于所述事件分析模型，是基于训练样本和该训练样本对应的事件类型训练得到的。该训练样本，包括在历史时间段内采集得到的历史声音数据和历史图像数据。因此，该事件分析模型，可以准确的根据输入的待处理声音数据和待处理图像序列，输出对应的事件类型。由此可见，利用本申请实施例提供的方案，可以准确的确定出是否存在异常事件。

下面结合附图，详细说明本申请的各种非限制性实施方式。

示例性方法

参见图1，该图为本申请实施例提供的一个应用场景示意图。

在图1所示的应用场景中，包括服务器101、声音采集设备102和图像采集设备103。其中，服务器101和声音采集设备102可以通过网络建立连接。声音采集设备102可以采集声音数据，而后利用网络将采集的声音数据发送给所述服务器101。服务器101和图像采集设备103之间可以通过网络建立连接。图像采集设备103可以将采集的图像通过网络发送给服务器101。

需要说明的是，所述声音采集设备102和图像采集设备103例如可以位于涉及公共安全的区域例如小区、花园等位置。虽然图1仅示出了一个声音采集设备102和一个图像采集设备103，但是图1只是为了方便理解而示出，其并不构成对本申请实施例的限定，在实际应用中，所述声音采集设备102的数量可以有多个，所述图像采集设备103的数量也可以为多个。

在实际应用中，声音采集设备102和图像采集设备103还可以集成在一个设备上，换言之，该集成的设备上既具备声音采集的部件，也具备图像采集的部件。当然，声音采集设备102和图像采集设备103也可以为如图1所示的独立的设备，本申请实施例不做具体限定。

需要说明的是，前述服务器101、声音采集设备102以及图像采集设备103可以为独立的三个设备，服务器101、声音采集设备102和图像采集设备103这三个设备中的任意两个或者全部也可以集成在一个设备上。当服务器101、声音采集设备102和图像采集设备103中的任意两个或者全部集成在一个设备上时，服务器101可以体现为具备数据处理功能的处理器。本申请实施例不具体限定所述服务器101、声音采集设备102以及图像采集设备103这三个设备中的任意两个或者全部所集成的设备的外在体现形式，所集成的设备例如可以为机器人，又如可以为具备处理器的人工智能(Artificial Intelligence，AI)摄像头、麦克风等等。

以下结合图2介绍本申请实施例提供的数据处理方法，参见图2，该图为本申请实施例提供的一种数据处理方法的流程示意图。

本申请实施例提供的数据处理方法，可以由服务器执行，该服务器可以为图1所示的服务器101。本申请实施例不具体限定所述服务器，所述服务可以为专门用于执行本申请实施例提供的数据处理方法的服务器，所述服务器也可以为还具备其它数据处理功能的服务器。

在本实施例中，所述数据处理方法例如可以通过以下步骤S101-S102实现。

S101：获取待处理声音数据和待处理图像序列。

在本申请实施例中，考虑到在实际应用中，仅仅对声音数据或者仅仅对图像进行处理，而声音数据本身携带的信息是有限的，图像本身携带的信息也是有限的。若是能对某一场景下的声音数据和图像关联起来，则可以获取到更多的信息，从而更加准确的分析出是否存在异常事件。另外，某一时刻的声音数据和某一时刻的图像，其所携带的信息是有限的。利用某一时刻的声音数据和某一时刻的图像，并不能准确的分析出是否存在异常事件。

故而在本申请实施例中，可以首先获取待处理声音数据和待处理图像序列。该待处理声音数据，为声音采集设备在第一时间段内采集的声音，相应的，该待处理图像序列，为在该第一时间段内图像采集设备采集的图像序列。使得基于第一时间段内采集得到的声音数据和图像序列相互弥补，提供更多的信息，以便准确的确定出是否存在异常事件。

需要说明的是，在本申请实施例中，所述待处理声音数据，可以是一个声音采集设备采集的声音数据，也可以是多个声音采集设备采集的声音数据，本申请实施例不做具体限定。相应的，所述待处理图像序列，可以是一个图像采集设备采集的图像序列，也可以是多个图像采集设备采集的序列。本申请实施例不做具体限定。

S102：将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型。

在本申请实施例中，采用预先训练得到的事件分析模型，来确定事件类型。

本申请实施例不具体限定所述事件类型，所述事件类型可以分为异常声音事件和异常行为事件，当然，还可以包括正常事件。具体地，关于异常声音事件和异常行为事件，例如可以为表1所示的事件。

表1

需要说明的是，表1指示为了方便理解而示出，所述异常事件行为，除了可以包括表1所示的一种或者多种之外，还可以包括其他情况，此处不一一列举说明。类似的，所述异常行为事件，除了可以包括表1所示的一种或者多种之外，还可以包括其他情况，此处不一一列举说明。

需要说明的是，在本申请实施例中，所述事件分析模型，是基于训练样本和训练样本对应的事件类型训练得到的，其中，所述训练样本，包括历史声音数据和历史图像序列，所述历史声音数据和历史图像序列为在历史时间段内采集得到的。所述训练样本对应的事件类型，可以参考表1进行理解，该训练样本对应的事件类型，可以是人工标注的，可以认为是准确的。

正是由于所述事件分析模型，是基于训练样本和训练样本对应的事件类型训练得到的，因此，对于输入到该事件分析模型中的待处理声音数据和待处理图像序列，该事件分析模型就可以输出准确的事件类型。

通过以上描述可知，利用本申请实施例提供的方案，可以准确的确定出是否存在异常事件。

需要说明的是，本申请实施例不具体限定所述事件分析模型，所述事件分析模型可以为深度学习模型。以下结合图3，介绍本申请实施例提供的一种事件分析模型的结构。

参见图3a，该图为本申请实施例提供的一种事件分析模型的结构示意图。

如图3a所示，所示事件分析模型，包括第一特征提取层301、第二特征提取层302、第一特征融合层303和输出层304。

其中，第一特征提取层301，用于提取输入的待处理图像序列的图像特征；第二特征提取层302，用于提取输入的待处理声音数据的声音特征。所述第一特征融合层303，用于对所述第一特征提取层301提取的图像特征和所述第二特征提取层提取的声音特征302进行融合，得到第一融合特征。而后，所述输出层304，用于对所述第一融合特征进行处理，输出所述事件类型。

具体地：

Out_vA＝W_vOut_v+W_AOut_A 公式(3)

其中：Out_v为第一特征提取层301提取的图像特征；

为第一特征提取层301的参数；

为图像序列IV中第n帧图像的图像特征；

Out_A为第二特征提取层302提取的声音特征；

为声音数据I_A中n时刻的声音特征；

为第二特征提取层302的参数；

Out_vA为第一特征融合层303输出的第一融合特征；

W_v和W_A均为第一特征融合层303的参数。

需要说明的是，本申请实施例不具体限定所述第一特征提取层301的具体结构，考虑到在实际应用中，待处理图像序列中包括多帧图像，而每一帧图像都具备自身的图像特征，而在本申请实施例中，之所以利用待处理图像序列来确定事件类型，不仅需要考虑单帧图像的图像特征，还需要考虑多帧图像在时间上的关联。鉴于此，在本申请实施例的一种实现方式中，所述第一特征提取层301，可以包括第一神经网络和第二神经网络，可参考图3b进行理解，该图为本申请实施例提供的又一种事件分析模型的结构示意图。其中，第一特征提取层301，包括第一神经网络301a和第二神经网络301b。该第一神经网络301a用于提取所述待处理图像序列中每一帧图像的图像特征；该第二神经网络301b，用于基于所述第一神经网络所提取的所述每一帧图像的图像特征，得到体现所述待处理图像序列中多帧图像之间的关联的图像特征。可以理解的是，第二神经网络301b的输出，为所述第一特征提取层301的输出。

本申请实施例不具体限定所述第一特征提取层301a，所述第一特征提取层301a例如可以为卷积神经网络(Convolutional Neural Networks，CNN)。考虑到在实际应用中，长短期记忆(Long Short-Term Memory，LSTM)网络可以获取时序上的关联信息，即可以获取多帧图像之间的关联的图像特征，故而在本申请实施例中，所述第二特征提取层301b，可以为LSTM网络。

本申请实施例不具体限定所述第二特征提取层302的具体结构。考虑到在实际应用中，单个时间点采集的声音数据所携带的信息极少，只有对一段时间内的声音数据进行分析，才有意义。故而在本申请实施例中，所述第二特征提取层302，可以包括第三神经网络；所述第三神经网络的输入为所述待处理声音数据，所述第三神经网络的输出，为所述第二特征提取层的输出。如前文，LSTM网络可以获取时序上的关联信息，因此，所述第三神经网络可以为LSTM网络，用于提取第一时间段内的声音数据的声音特征。

如前文，所述待处理声音数据，可以是一个声音采集设备采集的声音数据，也可以是多个声音采集设备采集的声音数据，本申请实施例不做具体限定。相应的，所述待处理图像序列，可以是一个图像采集设备采集的图像序列，也可以是多个图像采集设备采集的序列。考虑到在实际应用中，单个图像采集设备采集的图像序列所携带的信息也是有限的，相应的，单个声音采集设备采集的声音数据所携带的信息也相对受限。在本申请实施例的一种实现方式中，为了进一步提升所确定的事件类型的准确性，所述待处理声音数据为多个声音采集设备在所述第一时间段内采集的声音，所述待处理图像序列，为多个图像采集设备在所述第一时间段内采集的图像序列。

在本申请实施例中，当所述待处理声音数据为多个声音采集设备在所述第一时间段内采集的声音时，该多个声音采集设备之间的距离可能比较近，也可能比较远。可以理解的是，在实际应用中，两个相距甚远的声音采集设备所采集的声音之间的关联是比较小，甚至是没有关联的。而相距比较近的声音采集设备所采集的声音之间的关联则比较大。同样的，当所述待处理图像序列，为多个图像采集设备在所述第一时间段内采集的图像序列时，该多个图像采集设备之间的距离可能比较近，也可能比较远。可以理解的是，在实际应用中，两个相距甚远的图像采集设备所采集的图像序列之间的关联是比较小，甚至是没有关联的。而相距比较近的图像采集设备所采集的图像序列之间的关联则比较大。

对于这种情况，在本申请实施例中，可以采用多次融合的方式，对所述待处理声音数据的声音特征和所述待处理图像序列的图像特征进行融合。

具体的，对于距离较近的第一图像采集设备和第一声音采集设备而言，可以利用前述第一特征提取层301对第一图像采集设备采集的待处理图像序列进行图像特征提取，得到第一图像特征；并利用前述第二特征提取层302对第一声音采集设备采集的待处理声音数据进行声音特征提取，得到第一声音特征。而后，利用前述第一特征融合层303，对第一图像特征和第一声音特征进行特征融合，得到第一融合特征。而后，对所述第一特征融合层303输出的多个第一融合特征再次进行融合，得到第二融合特征。并将该第二融合特征输入输出层304，从而得到对应的事件类型。

具体的，在本申请实施例中，可以由第二特征融合层对所述第一特征融合层303输出的多个第一融合特征再次进行融合。参见图3c，该图为本申请实施例提供的又一种事件分析模型的结构示意图。

如图3c所示，该事件分析模型，还包括第二特征融合层305。其中，所述第一特征融合层303的输出为所述第二特征融合层305的输入；所述第二特征融合层305的输出为所述输出层304的输入。具体地，所述第二特征融合层305，可以将所述第一特征融合层303输出的多个第一融合特征进行融合，得到第二融合特征；并将该第二融合特征输入所述输出层304，由输出层304根据所述第二融合特征，输出所述事件类型。

需要说明的是，本申请实施例不具体限定所述第二特征融合层305的具体结构。所述第二特征融合层305，可以为CNN网络，也可以为LSTM网络，本申请实施例不做具体限定。只是由于CNN网络对输入数据的维度有一定的要求，故而若第一融合特征的数量过多，则可以采用多次融合的方式，对所述多个第一融合特征进行融合。例如，一共有9个第一融合特征，而CNN网络的最多支持对3个第一融合特征进行融合，故而在本申请实施例中，可以将所述9个第一融合特征分成3组，每组分别进行融合，然后将融合得到的3个特征再次进行融合，从而得到最终的第二融合特征。需要说明的是，为了使得所述第二融合特征能够携带更多的体现事件类型的信息，对第一融合特征进行分组时，可以结合获取该第一融合特征的设备(包括图像采集设备和声音采集设备)之间的距离来确定。

例如，第一融合特征A1B1是根据图像采集设备A1采集的图像序列和声音采集设备B1采集的声音数据确定的；第一融合特征A2B2是根据图像采集设备A2采集的图像序列和声音采集设备B2采集的声音数据确定的；第一融合特征A3B3是根据图像采集设备A3采集的图像序列和声音采集设备B3采集的声音数据确定的。图像采集设备A1和图像采集设备A2之间的距离比较近，图像采集设备A2和图像采集设备A3之间的距离也比较近。声音采集设备B1和声音采集设备B2之间的距离比较近，声音采集设备B2和声音采集设备B3之间的距离比较近。则可以将第一融合特征A1B1、第一融合特征A2B2和第一融合特征A3B3进行融合，而后再与其他分组对应的融合特征进行融合，以得到最终的第二融合特征。

需要说明的是，前述提及的距离较近的第一图像采集设备和第一声音采集设备，指的是第一图像采集设备和第一声音采集设备之间的距离，小于或者等于预设距离阈值。例如，所述第一图像采集设备和第一声音采集设备集成在一个设备上。当然，所述第一图像采集设备和第一声音采集设备也可以为独立的两个设备，此处不做限定。关于该预设距离阈值的具体取值，本申请实施例不具体限定，所述预设距离阈值可以根据实际情况确定。

为了保护用户的人身以及财产安全，在本申请实施例的一种实现方式中，若前述S102得到的事件类型为异常事件类型，例如异常声音事件或者异常行为事件时，所述服务器可以控制预警装置进行预警。在本申请实施例中，该预警装置可以为涉及公共安全的区域内安装的预警装置，该预警装置也可以为监控室的预警装置，该预警装置还可以为巡逻人员(例如安保人员)所携带的预警装置。

本申请实施例不具体限定所述预警装置，所述预警装置例如可以为警示灯、警铃、喇叭、蜂鸣器和发光二极管等等。当所述预警装置为警示灯时，前述提及的控制预警装置进行预警，例如可以为控制警示灯闪烁或者控制警示灯常亮。当所述预警装置为警铃时，前述提及的控制预警装置进行预警，例如可以为控制警铃发出警报声。当所述预警装置为喇叭时，前述提及的控制预警装置进行预警，例如可以为控制喇叭发生警报声。当所述预警装置为蜂鸣器时，前述提及的控制预警装置进行预警，例如可以为控制蜂鸣器发出蜂鸣声。当所述预警装置为发光二极管时，前述提及的控制预警装置进行预警，例如可以为控制发光二极管发光。此处提及的发光二极管，可以为高亮度二极管。

可以理解的是，在实际应用中，控制预警装置预警之后，巡逻人员和/或监控室的工作人员可以确定涉及公共安全的区域内出现了异常情况，从而便于巡逻人员和/或监控室的工作人员前去查看，从而解决相应的安全隐患。

在本申请实施例的又一种实现方式中，为了更加便于巡逻人员和/或监控室的工作人员前去查看，若前述S102得到的事件类型为异常事件类型，例如异常声音事件或者异常行为事件时，服务器还可以确定所述声音采集设备和/或所述图像采集设备的位置信息，并控制语音提示装置播放携带所确定的所述位置信息的提示语音。

需要说明的是，声音采集设备将自身采集的声音数据上报给服务器时，除了上报声音数据之外，还可以将声音采集设备自身的标识对应上报。而在安装所述声音采集设备时，可以记录声音采集设备的标识与声音采集设备的安装位置(即声音采集设备的位置信息)之间的对应关系。故而在本申请实施例中，可以获取采集所述待处理声音数据的声音采集设备的标识，而后根据采集所述待处理声音数据的声音采集设备的标识，确定采集所述待处理声音数据的声音采集设备的位置信息。

需要说明的是，图像采集设备将自身采集的图像上报给服务器时，除了上报图像之外，还可以将图像采集设备自身的标识对应上报。而在安装所述图像采集设备时，可以记录图像采集设备的标识与图像采集设备的安装位置(即图像采集设备的位置信息)之间的对应关系。故而在本申请实施例中，可以获取采集所述待处理图像序列的图像采集设备的标识，而后根据采集所述待处理图像序列的图像采集设备的标识，确定采集所述待处理图像序列的图像采集设备的位置信息。

需要说明的是，本申请实施例不具体限定所述语音提示装置，所述语音提示装置例如可以为喇叭等可以播放声音的装置。在本申请实施例中，所述语音提示装置，可以为涉及公共安全的区域内安装的语音提示装置，该语音提示装置也可以为监控室的语音提示装置，该语音提示装置还可以为巡逻人员(例如安保人员)所携带的语音提示装置。

关于“控制语音提示装置播放携带所述声音采集设备的位置信息的提示语音”现举例说明，服务器确定采集所述待处理声音数据的声音采集设备位于一号楼二层楼道，则服务器控制涉及公共安全的区域内安装的语音提示装置例如喇叭发出语音提示“一号楼二层楼道出现异常”，以便于巡逻人员、监控室的工作人员以及涉及公共安全的区域的居民等用户前去查看。当然，服务器也可以控制巡逻人员携带的语音提示装置发出语音提示“一号楼二层楼道出现异常”，以便于巡逻人员前去查看。服务器还可以控制监控室内的语音提示装置发出语音提示“一号楼二层楼道出现异常”，以便于监控室的工作人员前去查看。

在本申请实施例的一种实现方式中，若前述S102得到的事件类型为异常事件类型，例如异常声音事件或者异常行为事件时，服务器还可以自动报警，具体地，服务器在报警时，可以携带发生异常事件的地址，以便于警察能够快速到达现场对该危险事件进行处理。其中，发生危险事件的地址，例如可以根据前述图像采集设备的位置确定，当然，发生危险事件的地址，也可以根据前述采集待处理声音数据的声音采集设备的位置确定，此处不做限定。

具体地，在本申请实施例中，若确定出现了类似于求助声和打砸声的异常声音事件时，服务器一方面可以控制预警装置进行报警。另一方面还可以拨打报警电话，以通知警察前来处理。若确定出现了类似于人员主动求助(例如规律性挥动手臂、特定的手势或者特定的姿势等)、人群异常聚集(一定区域内人群超过预设人数上限)、尾随、打闹追逐、人员倒地、打架斗殴刺杀、出现危险人员以及失踪人员等异常事件时，相应的服务器一方面可以控制预警装置进行报警，另一方面服务器还可以拨打报警电话，以通知警察前来处理。

其中，危险人员可以通过预先建立的危险人员库确定，即将图像设备采集的图像中的人物与危险人员库中的人员进行匹配，从而确定是否出现危险人员。相应的，失踪人员可以通过预先建立的失踪人员库确定，即将图像设备采集的图像中的人物与失踪人员库中的人员进行匹配，从而确定是否出现失踪人员。

需要说明的是，在本申请实施例中，当前述S102确定的事件类型指示发生了例如发生斗殴事件、抢劫事件等异常行为事件时，在本申请实施例中，还可以识别出图像中的人物，并提取其他包含该人物的图像(例如其它图像采集设备采集的包含该人物的图像)，进一步地，可以结合部分或者全部包含该人物的图像，对该人物行为例如运动轨迹进行分析，以辅助警方做相应的处理。例如，对采集图像进行分析处理的结果指示发生了斗殴事件，则可以获取整个涉及公共安全的区域例如小区内所有图像采集设备采集的包括斗殴人员的图像，并根据各个图像的拍摄时间以及各个图像采集设备的位置，得到斗殴人员在各个图像的拍摄时间所处的位置，从而得到斗殴人员的行动轨迹。

示例性设备

基于以上实施例提供的数据处理方法，本申请实施例还提供了一种数据处理装置，以下结合附图介绍该装置。

参见图4，该图为本申请实施例提供的一种数据处理装置的结构示意图。图4所示的数据处理装置400，例如可以具体包括：获取单元401和输入单元402。

获取单元401，用于获取待处理声音数据和待处理图像序列；所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像；

输入单元403，用于将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型；所述事件分析模型，是基于训练样本和所述训练样本对应的事件类型训练得到的，所述训练样本，包括历史声音数据和历史图像序列，所述历史声音数据和历史图像序列为在历史时间段内采集得到的。

可选的，所述事件分析模型，包括第一特征提取层、第二特征提取层、第一特征融合层和输出层；

所述第一特征提取层，用于提取所述待处理图像序列的图像特征；

所述第二特征提取层，用于提取所述待处理声音数据的声音特征；

所述第一特征融合层，用于对所述第一特征提取层提取的图像特征和所述第二特征提取层提取的声音特征进行融合，得到第一融合特征；

所述输出层，用于根据所述第一融合特征，输出所述事件类型。

可选的，所述第一特征提取层，包括：第一神经网络和第二神经网络；所述第一神经网络的输入为所述待处理图像序列，所述第一神经网络的输出，为所述第二神经网络的输入；所述第二神经网络的输出为所述第一特征提取层的输出；

所述第一神经网络，用于提取所述待处理图像序列中每一帧图像的图像特征；

所述第二神经网络，用于基于所述第一神经网络所提取的所述每一帧图像的图像特征，得到体现所述待处理图像序列中多帧图像之间的关联的图像特征。

可选的，所述第二特征提取层，包括：第三神经网络；所述第三神经网络的输入为所述待处理声音数据，所述第三神经网络的输出，为所述第二特征提取层的输出。

可选的，所述待处理声音数据为多个声音采集设备在所述第一时间段内采集的声音，所述待处理图像序列，为多个图像采集设备在所述第一时间段内采集的图像序列。

可选的，所述事件分析模型，还包括：第二特征融合层；

所述第一特征融合层的输出为所述第二特征融合层的输入；

所述第二特征融合层的输出为所述输出层的输入；

所述第二特征融合层，用于将所述第一特征融合层输出的多个第一融合特征进行融合，得到第二融合特征；

所述输出层，具体用于根据所述第二融合特征，输出所述事件类型。

可选的，所述第一融合特征，为所述第一特征融合层，对第一图像特征和第一声音特征进行特征融合得到的；其中：

所述第一图像特征，为所述第一特征提取层，对第一图像采集设备采集的待处理图像序列进行图像特征提取得到的；

所述第一声音特征，为所述第二特征提取层，对第一声音采集设备采集的待处理声音数据进行声音特征提取得到的；

所述第一声音采集设备和所述第一图像采集设备之间的距离，小于或者等于预设距离阈值。

可选的，所述装置还包括：

第一控制单元，用于若所述事件类型为异常事件类型，则控制预警装置进行预警。

可选的，所述预警装置，包括以下任意一项或者组合：

警示灯、警铃、喇叭、蜂鸣器和发光二极管。

可选的，所述装置还包括：

确定单元，用于若所述事件类型为异常事件类型，则确定所述声音采集设备和/或所述图像采集设备的位置信息；

第二控制单元，用于控制语音提示装置播放携带所确定的所述位置信息的提示语音。

由于所述装置400是与以上方法实施例提供的方法对应的装置，所述装置400的各个单元的具体实现，均与以上方法实施例为同一构思，因此，关于所述装置400的各个单元的具体实现，可以参考以上方法实施例的描述部分，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种数据处理方法，其特征在于，所述方法包括：

获取待处理声音数据和待处理图像序列；所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像；

将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型；所述事件分析模型，是基于训练样本和所述训练样本对应的事件类型训练得到的，所述训练样本，包括历史声音数据和历史图像序列，所述历史声音数据和历史图像序列为在历史时间段内采集得到的。

2.根据权利要求1所述的方法，其特征在于，所述事件分析模型，包括第一特征提取层、第二特征提取层、第一特征融合层和输出层；

所述第一特征提取层，用于提取所述待处理图像序列的图像特征；

所述第二特征提取层，用于提取所述待处理声音数据的声音特征；

所述第一特征融合层，用于对所述第一特征提取层提取的图像特征和所述第二特征提取层提取的声音特征进行融合，得到第一融合特征；

所述输出层，用于根据所述第一融合特征，输出所述事件类型。

3.根据权利要求2所述的方法，其特征在于，所述第一特征提取层，包括：第一神经网络和第二神经网络；所述第一神经网络的输入为所述待处理图像序列，所述第一神经网络的输出，为所述第二神经网络的输入；所述第二神经网络的输出为所述第一特征提取层的输出；

所述第一神经网络，用于提取所述待处理图像序列中每一帧图像的图像特征；

所述第二神经网络，用于基于所述第一神经网络所提取的所述每一帧图像的图像特征，得到体现所述待处理图像序列中多帧图像之间的关联的图像特征。

4.根据权利要求2所述的方法，其特征在于，所述第二特征提取层，包括：第三神经网络；所述第三神经网络的输入为所述待处理声音数据，所述第三神经网络的输出，为所述第二特征提取层的输出。

5.根据权利要求2所述的方法，其特征在于，所述待处理声音数据为多个声音采集设备在所述第一时间段内采集的声音，所述待处理图像序列，为多个图像采集设备在所述第一时间段内采集的图像序列。

6.根据权利要求5所述的方法，其特征在于，所述事件分析模型，还包括：第二特征融合层；

所述第一特征融合层的输出为所述第二特征融合层的输入；

所述第二特征融合层的输出为所述输出层的输入；

所述第二特征融合层，用于将所述第一特征融合层输出的多个第一融合特征进行融合，得到第二融合特征；

所述输出层，具体用于根据所述第二融合特征，输出所述事件类型。

7.根据权利要求6所述的方法，其特征在于，所述第一融合特征，为所述第一特征融合层，对第一图像特征和第一声音特征进行特征融合得到的；其中：

所述第一图像特征，为所述第一特征提取层，对第一图像采集设备采集的待处理图像序列进行图像特征提取得到的；

所述第一声音特征，为所述第二特征提取层，对第一声音采集设备采集的待处理声音数据进行声音特征提取得到的；

所述第一声音采集设备和所述第一图像采集设备之间的距离，小于或者等于预设距离阈值。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述事件类型为异常事件类型，则控制预警装置进行预警。

9.根据权利要求8所述的方法，其特征在于，所述预警装置，包括以下任意一项或者组合：

警示灯、警铃、喇叭、蜂鸣器和发光二极管。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述事件类型为异常事件类型，则确定所述声音采集设备和/或所述图像采集设备的位置信息，并控制语音提示装置播放携带所确定的所述位置信息的提示语音。

11.一种数据处理装置，其特征在于，所述装置包括：

获取单元，用于获取待处理声音数据和待处理图像序列；所述待处理声音数据为声音采集设备在第一时间段内采集的声音；所述待处理图像序列为声音采集设备在所述第一时间段内采集的图像；

输入单元，用于将所述待处理声音数据和所述待处理图像序列，输入事件分析模型，得到对应的事件类型；所述事件分析模型，是基于训练样本和所述训练样本对应的事件类型训练得到的，所述训练样本，包括历史声音数据和历史图像序列，所述历史声音数据和历史图像序列为在历史时间段内采集得到的。

12.根据权利要求11所述的装置，其特征在于，所述事件分析模型，包括第一特征提取层、第二特征提取层、第一特征融合层和输出层；

所述第一特征提取层，用于提取所述待处理图像序列的图像特征；

所述第二特征提取层，用于提取所述待处理声音数据的声音特征；

所述第一特征融合层，用于对所述第一特征提取层提取的图像特征和所述第二特征提取层提取的声音特征进行融合，得到第一融合特征；

所述输出层，用于根据所述第一融合特征，输出所述事件类型。

13.根据权利要求12所述的装置，其特征在于，所述第一特征提取层，包括：第一神经网络和第二神经网络；所述第一神经网络的输入为所述待处理图像序列，所述第一神经网络的输出，为所述第二神经网络的输入；所述第二神经网络的输出为所述第一特征提取层的输出；

所述第一神经网络，用于提取所述待处理图像序列中每一帧图像的图像特征；

所述第二神经网络，用于基于所述第一神经网络所提取的所述每一帧图像的图像特征，得到体现所述待处理图像序列中多帧图像之间的关联的图像特征。

14.根据权利要求12所述的装置，其特征在于，所述第二特征提取层，包括：第三神经网络；所述第三神经网络的输入为所述待处理声音数据，所述第三神经网络的输出，为所述第二特征提取层的输出。

15.根据权利要求12所述的装置，其特征在于，所述待处理声音数据为多个声音采集设备在所述第一时间段内采集的声音，所述待处理图像序列，为多个图像采集设备在所述第一时间段内采集的图像序列。

16.根据权利要求15所述的装置，其特征在于，所述事件分析模型，还包括：第二特征融合层；

所述第一特征融合层的输出为所述第二特征融合层的输入；

所述第二特征融合层的输出为所述输出层的输入；

所述第二特征融合层，用于将所述第一特征融合层输出的多个第一融合特征进行融合，得到第二融合特征；

所述输出层，具体用于根据所述第二融合特征，输出所述事件类型。

17.根据权利要求16所述的装置，其特征在于，所述第一融合特征，为所述第一特征融合层，对第一图像特征和第一声音特征进行特征融合得到的；其中：

所述第一图像特征，为所述第一特征提取层，对第一图像采集设备采集的待处理图像序列进行图像特征提取得到的；

所述第一声音特征，为所述第二特征提取层，对第一声音采集设备采集的待处理声音数据进行声音特征提取得到的；

所述第一声音采集设备和所述第一图像采集设备之间的距离，小于或者等于预设距离阈值。

18.根据权利要求1所述的装置，其特征在于，所述装置还包括：

第一控制单元，用于若所述事件类型为异常事件类型，则控制预警装置进行预警。

19.根据权利要求18所述的装置，其特征在于，所述预警装置，包括以下任意一项或者组合：

警示灯、警铃、喇叭、蜂鸣器和发光二极管。

20.根据权利要求1所述的装置，其特征在于，所述装置还包括：

确定单元，用于若所述事件类型为异常事件类型，则确定所述声音采集设备和/或所述图像采集设备的位置信息；

第二控制单元，用于控制语音提示装置播放携带所确定的所述位置信息的提示语音。

Images