CN109033476A - 一种基于事件线索网络的智能时空数据事件分析方法 - Google Patents

Abstract

本发明涉及一种基于事件线索网络的智能时空数据事件分析方法，对时空数据中包括的事件进行检测与识别，包括：事件线索网络与事件分类网络。事件线索网络得到包括事件的时空数据片段，然后事件分类网络对于包括事件的时空数据片段进行行为的分类。智能时空数据事件分析的过程分为训练和测试两个阶段。在训练中，以固定长度的时空数据作为网络的输入，通过最小化损失函数来训练事件线索网络，并对时空数据进行分类。同时对时空数据进行困难样本的挖掘，以得到精确的时空数据边界。在测试阶段，将未裁剪的整段时空数据作为输入，对得到包含事件的时空数据片段进行分类。由此实智能时空数据事件分析。

Description

一种基于事件线索网络的智能时空数据事件分析方法

技术领域

本发明涉及时空数据的智能处理技术，特别是涉及一种基于事件线索网络的智能时空数据事件分析方法。

背景技术

公众场景安全监控、社交网络、视频媒体、人机交互等的发展，对面向视频、流媒体等时空数据的计算机视觉技术提出了新的需求与新的挑战。实际所要处理的大部分视频均为未经过人工分割的长视频。面向未分割的视频，需要检测视频中的行为片段、检测视频中的异常行为，精确定位出行为的开始时间、结束时间，同时需要确定其类别。一段未分割的视频，可能存在包括多个行为片段的问题。

公众场景的安全监控中，虽然现在有些摄像终端配备了实时的危险事件报警系统，但是有大量的事件不适宜于做实时判读，需要在后期联合多源信息做综合判断。例如，对于打斗、踩踏事件可以做实时的报警。但是对于人员在货架前仔细挑选、或者在等候区徘徊等事件，确不一定是异常事件，有可能是在对比商品，或者在单纯的等待。一旦发生失窃事件，在时间轴上这两个事件即可以联系起来，作为团伙作案的可能进行优先排查。

网络的发展给人们的交流带来了便利，也同时为网络视频内容的管理带来困难。同时社交媒体、自媒体等多种形式的发展，例如微信视频、视频社区、直播平台等，使得人们的日常生活更加丰富。而上传的视频的内容多样化，且质量参差不齐。为了维持网络空间的和谐，对视频内容的筛选就显得非常重要。特别是暴恐、涉黄视频的筛查，需要识别视频中的动作行为，并对关键帧进行取证从而能对视频进行描述。

视频网站的发展给人们的娱乐带来了便利。除了电视平台等同时退出了网上视频平台。网络视频内容丰富，同时也给视频内容的推荐和检索造成了困扰。对于上传视频的内容，需要经过审核使得其符合法律法规的要求。对于电视台等官方媒体的在网络平台上的节目内容虽然可以保证，但是也同样面对视频推荐与检索的困扰。现在视频的内容是由视频标签来确定的，例如，如果用户想看篮球比赛的节目，可能快速方便的搜索到标题中含有篮球的内容。但是如果用户想看某个著名人物在比赛中过人的场景，这样就会涉及更深层次的内容的检索。

针对以上问题，研究一种基于事件线索网络的智能时空数据事件分析方法重要意义。智能时空数据事件分析方法主要涉及五部分的内容：训练阶段未裁剪视频中的事件线索的生成，困难样本的挖掘，时空数据片段事件类型的识别，测试阶段长度不定时空数据中事件线索的生成，时空数据片段的事件识别。本发明所提的方法，能利用困难样本挖掘的技术提高事件分析的准确度，同时能对长度不定的时空数据中对时间进行分析。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种检测精度高、鲁棒性强的基于事件线索的智能时空数据事件分析方法，利用困难样本挖掘提高时空数据事件检测的精度。在测试阶段可以对不定长的时空数据进行处理，也能针对流媒体进行事件检测、监控时空数据异常事件检测，提高了鲁棒性。提高了时空数据中事件检测的精度，同时能应对多种应用需求与不同长度的时空数据，鲁棒性强。

本发明提出的技术方案为：一种基于事件线索网络的智能时空数据事件分析方法，实现步骤如下：

步骤1、读取时空数据，将时空数据分解成固定长度为N的时空数据片段。如果时空数据为视频数据，则把视频数据划分为长度为N的视频帧片段；如果时空数据为其他形式的流媒体数据，则划分为等时间长度的片段；

步骤2、对于步骤1得到的每个时空数据片段进行标记，得到标记后的时空数据片段。若时空数据片段包括事件，则为正类，如果时空数据片段不包括事件，则为负类。对标记后的时空数据片段，利用监督学习方法基于三维卷积循环神经网络对事件线索网络进行训练，得到事件线索网络的初步模型。三维卷积循环神经网络能挖掘时空数据的时间和空间特性；

步骤3、对于步骤2得到的标记后的时空数据片段的边界，采用困难样本挖掘的方法，利用生成学习生成困难样本，将困难样本通过事件线索网络进行训练，事件线索网络训练后，得到经过困难样本挖掘提升后的事件线索网络模型，得到精确的包含事件的时空数据片段。由于时空数据中是否包括事件的精细划分的被标记的数据较少，利用生成学习方法生成困难样本，用于提升事件线索网络模型的准确度，得到精确的包含时间的时空数据片段。此步骤得到时空数据片段的起始与结束时间，并得不到事件的类型；

步骤4、对包括事件的时空数据片段，利用事件分类网络，对时空数据片段进行分类训练，得到时空数据片段的事件分类结果，至此完成训练阶段。此步骤得到的时空数据片段的事件类型。

步骤5、在测试阶段中，将长度不固定的时空数据片段，输入基于三维卷积循环神经网络的事件线索网络，得到长度不固定的包括事件的时空数据片段。此步骤得到包含事件的时空数据片段的起始与结束时间，得不到事件的类型。

步骤6、利用事件分类网络，对步骤5得到的长度不固定的包括事件的时空数据片段输入事件分类网络进行分类，得到时空数据片段所包含的事件类别，从而对时空数据片段实现智能时空数据事件分析。

所述步骤2中，训练阶段的事件线索生成的方法如下：

步骤i)对于所得到的固定长度的时空数据片段t_s为此时空数据片段的起始时间N为时空数据片段的持续时间，t_s+N为时空数据片段的结束时间，利用三维卷积循环神经网络对时空数据片段进行特征提取；所述三维卷积循环神经网络是以多个带有时序关系的序列数据为输入的网络，输入为长度为N的时空数据，整个三维卷积循环神经网络的基础卷积为三维的结构，对时空数据进行卷积，得到时空数据片段的空间特征；整个网络在运行的过程中，对时空数据进行卷积操作，同时对时空数据进行池化操作，最终将时空数据展开成向量，得到固定长度的时空数据的特征向量

步骤ii)时空数据具有时序特征，利用三维卷积循环神经网络对时空数据的时序特征进行建模，得到时空数据片段的时序特征。以三维卷积循环神经网络生成的固定长度的时空数据的特征向量作为输入，利用三维卷积循环神经网络作为时空数据时序特征挖掘的基本网络模型进行训练；

步骤iii)事件线索网络的训练过程，为一个二分类问题，针对步骤1划分得到的时空数据片段进行标记，如果时空数据片段包括事件，则标签为正类，如果时空数据片段不包括事件，则标签为负类，根据视频的标签对三维卷积循环神经网络进行训练。

所述步骤3中，困难样本挖掘的方法如下：

步骤i)在事件线索网络的训练过程中，需要对时空数据的边界进行困难样本挖掘，提高边界提取的准确率。时空数据中事件的边界是指事件的起始与结束，相对事件进行过程中的数据较少。利用生成对抗网络对事件数据边界的困难样本进行生成。生成对抗网络为无监督学习网络。生成对抗网络包括生成网络与对抗网络两个部分，生成网络根据输入的数据生成与之相似的数据，使生成数据等于输入的数据，根据公式 来衡量生成器生成数据与输入数据之间的差距，从而来生成相似数据，其中，G为生成器，D为判别器，P_data为输入数据的概率分布，P_G为生成器生成数据的概率分布；

步骤ii)设定训练步数X，若达到训练要求，则停止对抗生成网络的训练，利用生成的数据作为补充样本，用于提升事件边界样本的数量；

步骤iii)将标记数据的边界样本与生成对抗网络生成的边界样本融合，作为扩充的训练样本数据集，提高边界检测的精度，修正事件线索网络的起始与结束节点。

所述步骤4中，在得到事件线索网络的输出结果后，利用事件分类网络对线索进行分类的训练：

步骤i)对于事件线索网络所得到的时空数据片段，以此为训练样本进行时空数据的分类的训练。步骤2与步骤4，所用到时空数据片段的标签不同。步骤2中所述的用于事件线索网络时空数据片段的标记为两类，有事件，无事件；事件识别的标签样本为多类，对应具体的事件类别；

步骤ii)利用三维卷积循环神经网络，交叉熵损失函数H(p,q)＝-∑_xp(x)logq(x)对于事件进行分类的训练，将时空数据片段分类为具体的事件类别，其中p(x)为三维卷积神经网络输出，q(x)为输入事件类别标签，由此完成基于事件线索网络的智能时空数据事件分析的训练阶段。训练阶段得到事件线索网络与事件分类网络。

所述步骤5中，在测试阶段，事件线索的生成：

步骤i)将未裁剪的长度不固定的时空数据输入基于三维卷积循环神经网络的事件线索网络,如果长度小于所述的长度N，则对于缺失的部分进行补0。三维卷积循环神经网络能对事件的空间域时序特性建模。

步骤ii)对于测试视频利用事件线索网络处理，从时空数据中找到包括事件的时空数据片段。此步骤仅能得到包含事件的时空数据片段的起始和结束，得不到时空数据片段的时间类型。

本发明与现有技术相比的优点在于：

(1)本发明以时空数据事件分析为主，使用事件线索提供发生事件的时间片段。利用三维卷积循环神经网络提取时空数据的特征，进行训练和测试。由于三维卷积循环神经网络能高效的挖掘数据的时空信息，所以提取的特征具有强的鲁棒性，在测试时事件的时间长度可以不统一，提高了算法的鲁棒性，可以很高效地进行事件线索的生成。为了精确确定事件的边界，由于使用困难样本挖掘的方法，利用生成对抗网络得到更多的边界样本，提高了边界的准确度。

(2)本发明所涉及的时空数据分析方法具有应用广泛、适应性强等特点，可广泛应用于安全监控、社交网络、视频媒体、人机交互等领域中的事件检测、事件识别、异常事件检测。

附图说明

图1为本发明实现流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。

本发明所述的一种基于事件线索网络的智能时空数据事件分析方法，包括：训练和测试两个阶段，所述训练和测试阶段的均包括事件线索网络与事件分类网络。在训练中，时空数据被划分为长度相同的时空数据片段，将数据标记为正类与负类两类。利用基于三维卷积循环神经网络的事件线索网络提取发生事件的时空数据片段。利用生成对抗网络生成困难样本，对困难样本进行挖掘提高事件检测的精度。在训练阶段中，对检测出包括事件的时空数据片段利用三维卷积循环神经网络进行多分类的训练。在测试阶段，对于时空数据片段并不进行等长的划分。利用三维卷积循环神经网络进行事件的检查与类型的识别，由此实现时空数据事件智能分析。

如图1所示，本发明具体实现如下步骤：

步骤1)、读取时空数据，将时空数据分解成固定长度为N的时空数据片段。如果时空数据为视频数据，则把视频数据划分为长度为N的视频帧片段；如果时空数据为其他形式的流媒体数据，则划分为等时间长度的片段。N可以根据实际的任务需求来取值，一般取值为16。

步骤2)、对于步骤1得到的每个时空数据片段进行标记，得到标记后的时空数据片段。若时空数据片段包括事件，则为正类，如果时空数据片段不包括事件，则为负类。对标记后的时空数据片段，利用监督学习方法基于三维卷积循环神经网络对事件线索网络进行训练，得到事件线索网络的初步模型。三维卷积循环神经网络包括三维卷积(3DCNN)与循环神经网络(RNN)两个部分。卷积模板能同时对空间和时间点上的数据进行操作，同时循环神经网络能加强事件时序关系的建模，从而能挖掘时空数据的时间和空间特性。

步骤3)、对于步骤2得到的标记后的时空数据片段的边界，采用困难样本挖掘的方法，利用生成学习生成困难样本，将困难样本通过事件线索网络进行训练，事件线索网络训练后，得到经过困难样本挖掘提升后的事件线索网络模型，得到精确的包含事件的时空数据片段。由于时空数据中是否包括事件的精细划分的被标记的数据较少，利用生成学习方法生成困难样本，用于提升事件线索网络模型的准确度，得到精确的包含时间的时空数据片段。此步骤得到时空数据片段的起始与结束时间，并得不到事件的类型；

步骤4)、对包括事件的时空数据片段，利用事件分类网络，对时空数据片段进行分类训练，得到时空数据片段的事件分类结果，至此完成训练阶段。此步骤得到的时空数据片段的事件类型。

步骤5)、在测试阶段中，将长度不固定的时空数据片段，输入基于三维卷积循环神经网络的事件线索网络，得到长度不固定的包括事件的时空数据片段。此步骤得到包含事件的时空数据片段的起始与结束时间，得不到事件的类型。

步骤6)、利用事件分类网络，对步骤5得到的长度不固定的包括事件的时空数据片段输入事件分类网络进行分类，得到时空数据片段所包含的事件类别，从而对时空数据片段实现智能时空数据事件分析。

所述步骤2)中，训练阶段的事件线索生成的方法如下：

步骤i)对于所得到的固定长度的时空数据片段t_s为此时空数据片段的起始时间N为时空数据片段的持续时间，t_s+N为时空数据片段的结束时间，利用三维卷积循环神经网络对时空数据片段进行特征提取；所述三维卷积循环神经网络是以多个带有时序关系的序列数据为输入的网络，输入为长度为N的时空数据，整个三维卷积循环神经网络的基础卷积为三维的结构，对时空数据进行卷积，得到时空数据片段的空间特征；整个网络在运行的过程中，对时空数据进行卷积操作，同时对时空数据进行池化操作，最终将时空数据展开成向量，得到固定长度的时空数据的特征向量

步骤ii)时空数据具有时序特征，利用三维卷积循环神经网络对时空数据的时序特征进行建模，得到时空数据片段的时序特征。以三维卷积循环神经网络生成的固定长度的时空数据的特征向量作为输入，利用三维卷积循环神经网络作为时空数据时序特征挖掘的基本网络模型进行训练；

步骤iii)事件线索网络的训练过程，为一个二分类问题，针对步骤1划分得到的时空数据片段进行标记得到的数据，如果时空数据片段包括事件，则标签为正类，如果时空数据片段不包括事件，则标签为负类，根据时空数据的标签对三维卷积循环神经网络进行训练。该训练是针对标记有事件发生的时空数据片段进行的，得到的初步的事件线索网络。

所述步骤3中，困难样本挖掘的方法如下：

步骤i)在事件线索网络的训练过程中，需要对时空数据的边界进行困难样本挖掘，提高边界提取的准确率。时空数据中事件的边界是指事件的起始与结束，相对事件进行过程中的数据较少。利用生成对抗网络对事件数据边界的困难样本进行生成，提升边界数据的样本的数量。生成对抗网络为无监督学习网络。生成对抗网络包括生成网络与对抗网络两个部分，生成网络根据输入的数据生成与之相似的数据，使生成数据等于输入的数据，根据公式来衡量生成器生成数据与输入数据之间的差距，从而来生成相似数据，其中，G为生成器，D为判别器，P_data为输入数据的概率分布，P_G为生成器生成数据的概率分布；

步骤ii)设定训练步数X，若达到训练要求，则停止对抗生成网络的训练，利用生成的数据作为补充样本，用于提升事件边界样本的数量；

步骤iii)将标记数据的边界样本与生成对抗网络生成的边界样本融合，作为扩充的训练样本数据集，提高边界检测的精度，修正事件线索网络的起始与结束节点。利用困难样本挖掘，对事件的边界有针对性的训练，提升事件线索网络的性能。

所述步骤4中，在得到事件线索网络的输出结果后，利用事件分类网络对线索进行分类的训练：

步骤i)对于事件线索网络所得到的时空数据片段，以此为训练样本进行时空数据的分类的训练。步骤2中所述的用于事件线索网络时空数据片段的标记为两类，有事件，无事件。事件识别的标签样本为多类，对应具体的事件类别。

步骤ii)利用三维卷积循环神经网络，交叉熵损失函数H(p,q)＝-∑_xp(x)logq(x)对于事件进行分类的训练，将时空数据片段分类为具体的事件类别，其中p(x)为三维卷积神经网络输出，q(x)为输入事件类别标签，由此完成基于事件线索网络的智能时空数据事件分析的训练阶段。训练阶段得到事件线索网络与事件分类网络。

所述步骤5)中，在测试阶段与训练阶段一样，包括事件线索网络与事件识别网络。事件线索的生成：

步骤i)由于循环神经网络能对不定长度的时空数据进行处理，在测试阶段不需要对视频帧进行切分。只在训练阶段对视频帧进行切分，在训练阶段，若输入的时空数据小于初始的切分的时长，可以将时空数据后续加入空白帧。若输入的时空数据大于初始的切分的时长，则对数据进行切分。将未裁剪的长度不固定的时空数据输入基于三维卷积循环神经网络的事件线索网络,如果长度小于所述的长度N，则对于缺失的部分进行补0；

步骤ii)对于测试视频利用训练阶段得到的事件线索网络处理，从时空数据中找到包括事件的时空数据片段。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于事件线索网络的智能时空数据事件分析方法，其特征在于：所述方法包括训练和测试两个阶段，所述训练和测试阶段均包括事件线索网络与事件分类网络，实现步骤如下：

步骤1、在训练阶段，读取时空数据，将时空数据分解成固定长度为N的时空数据片段；

步骤2、对于步骤1得到的每个时空数据片段进行标记，得到标记后的时空数据片段；若时空数据片段包括事件，则为正类，如果时空数据片段不包括事件，则为负类；对标记后的时空数据片段，利用监督学习方法基于三维卷积循环神经网络对事件线索网络进行训练，得到事件线索网络模型；

步骤3、对于步骤2得到的标记后的时空数据片段的边界，采用困难样本挖掘的方法，利用生成学习生成困难样本，将困难样本通过事件线索网络进行训练，事件线索网络训练后，得到经过困难样本挖掘提升后的事件线索网络模型，得到精确的包含事件的时空数据片段；

步骤4、对包括事件的时空数据片段，利用事件分类网络，对时空数据片段进行分类训练，得到时空数据片段的事件分类结果，至此完成训练阶段；

步骤5、在测试阶段中，将未经过裁剪长度不固定的时空数据片段输入基于三维卷积循环神经网络的事件线索网络，得到长度不固定的包括事件的时空数据片段；

步骤6、利用事件分类网络，对步骤5得到的未经过裁剪的长度不固定的包括事件的时空数据片段输入事件分类网络进行分类，得到时空数据片段所包含的事件类别，从而对时空数据片段实现智能时空数据事件分析。

2.根据权利要求1所述的一种基于事件线索网络的智能时空数据事件分析方法，其特征在于：所述步骤2中，事件线索网络训练的方法如下：

步骤i)对于所得到的固定长度的时空数据片段t_s为此时空数据片段的起始时间N为时空数据片段的持续时间，t_s+N为时空数据片段的结束时间，利用三维卷积循环神经网络对时空数据片段进行特征提取；所述三维卷积循环神经网络为以多个带有时序关系的序列数据为输入的网络，输入为长度为N的时空数据，整个三维卷积循环神经网络的基础卷积为三维的结构，对时空数据进行卷积；整个网络在运行的过程中，对时空数据进行卷积操作，同时对时空数据进行池化操作，最终将时空数据展开成向量，得到固定长度的时空数据的特征向量

步骤ii)时空数据具有时序特征，利用三维卷积循环神经网络对时空数据的时序特征进行建模，以三维卷积循环神经网络生成的固定长度的时空数据的特征向量作为输入，利用三维卷积循环神经网络作为时空数据时序特征挖掘的基本网络模型进行训练；

步骤iii)事件线索网络的训练过程，为一个二分类问题，利用标签分类，如果时空数据片段包括事件，则标签为正类，如果时空数据片段不包括事件，则标签为负类，根据时空数据的标签对三维卷积循环神经网络进行训练。

3.根据权利要求1所述的一种基于事件线索网络的智能时空数据事件分析方法，其特征在于：所述步骤3中，困难样本挖掘的方法如下：

步骤i)在事件线索网络的训练过程中，需要对时空数据的边界进行困难样本挖掘，提高边界提取的准确率；利用生成对抗网络对事件数据边界的困难样本进行生成，生成对抗网络为无监督学习网络；生成对抗网络包括生成网络与对抗网络，生成网络根据输入的数据生成与之相似的数据，使生成数据等于输入的数据，根据公式 来衡量生成器生成数据与输入数据之间的差距，从而来生成相似数据，其中，G为生成器，D为判别器，P_data为输入数据的概率分布，P_G为生成器生成数据的概率分布；

步骤ii)设定训练步数X，若达到训练要求，则停止对抗生成网络的训练，利用生成的数据作为补充样本；

步骤iii)将标记数据的边界样本与生成对抗网络生成的边界样本融合，作为扩充的训练样本数据集，提高边界检测的精度，修正事件线索网络的起始与结束节点。

4.根据权利要求1所述的一种基于事件线索网络的智能时空数据事件分析方法，其特征在于：所述步骤4中，具体实现过程如下：

步骤i)对于事件线索网络所得到的时空数据片段，以此为训练样本进行时空数据的分类的训练，步骤2中所述的用于事件线索网络时空数据片段的标记为两类，有事件，无事件；事件识别的标签样本为多类，对应具体的事件类别；

步骤ii)利用三维卷积循环神经网络，交叉熵损失函数H(p,q)＝-∑_xp(x)logq(x)对于事件进行分类的训练，将时空数据片段分类为具体的事件类别，其中p(x)为三维卷积神经网络输出，q(x)为输入事件类别标签，由此完成基于事件线索网络的智能时空数据事件分析的训练阶段。

5.根据权利要求1所述的一种基于事件线索网络的智能时空数据事件分析方法，其特征在于：所述步骤5中，具体实现过程如下：

步骤i)将未裁剪的长度不固定的时空数据输入基于三维卷积循环神经网络的事件线索网络,如果长度小于所述的长度N，则对于缺失的部分进行补0；

步骤ii)对于测试视频利用事件线索网络处理，从时空数据中找到包括事件的时空数据片段。