CN113486754B - 基于视频的事件演化预测方法、系统 - Google Patents

基于视频的事件演化预测方法、系统 Download PDF

Info

Publication number
CN113486754B
CN113486754B CN202110727190.7A CN202110727190A CN113486754B CN 113486754 B CN113486754 B CN 113486754B CN 202110727190 A CN202110727190 A CN 202110727190A CN 113486754 B CN113486754 B CN 113486754B
Authority
CN
China
Prior art keywords
event
information
video
node
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110727190.7A
Other languages
English (en)
Other versions
CN113486754A (zh
Inventor
黄凯奇
陈晓棠
康运锋
张世渝
谢元涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110727190.7A priority Critical patent/CN113486754B/zh
Publication of CN113486754A publication Critical patent/CN113486754A/zh
Application granted granted Critical
Publication of CN113486754B publication Critical patent/CN113486754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for

Landscapes

  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于事件演化分析技术领域，具体涉及一种基于视频的事件演化预测方法、系统，旨在解决现有的智能视频分析系统无法对事件未来发展进行预测的问题；该方法包括：解码输入的视频流，获得序列数据，以队列方式缓存与当前时刻对应的N帧视频图像；对N帧视频图像进行进行预处理，获取第二信息；判断第二信息中的置信度是否大于阈值，若是，则判定为当前时刻有事件发生；若否，则返回至解码输入的视频流；抽取当前时刻对应事件，获取当前事件的总体特征；将当前事件节点与历史事件节点进行关联和合并，更新初始事件子图；获取每个候选事件的预测分数，按照分数值降序输出预测的事件节点；本发明可以实现对事件未来发展的预测。

Description

基于视频的事件演化预测方法、系统
技术领域
本发明属于事件演化分析技术领域，具体涉及一种基于视频的事件演化预测方法、系统。
背景技术
事件往往不是孤立存在的，事件的发生和发展过程(如转变、合并、迁移、消亡)具有一定的内部规律。在信息领域，事件被定义为由特定人、物、事在特定时间和特定地点相互作用的客观事实，事件关系是事件之间相互依存和关联的逻辑形式，如因果和时序关系等。其中，事件的时序关系描述了事件发生的先后顺序和持续时长，事件的因果关系描述了事件之间的因果联系。通过将事件之间的时序、因果关系形成结构化信息，可以用于推理和预测事件的演化发展。
抽取结构化的事件知识是信息领域的一个重要方向，其中事件推理的相关工作有：事件关系推理，脚本事件推理，周期性事件时间推理等等。这些任务大多都是从事件语句或片段挖掘事件之间的相互关系，从文本或者知识库中获取先验知识来支撑推理。事件关系的推理，通常需要采集大量的包含时序、因果事实的语料，构建事件关系网络，然后使用事件关系网络对事件的未来演化趋势进行预测。脚本事件预测是给定一个事件的上下文，从候选列表中选出后续最可能要发生的事件；Chambers在脚本的基础上进一步提出了叙事性事件链的概念，叙事性事件链由一系列的叙事性事件按照时序组合形成，并在此基础上提出了叙事性事件链自动抽取以及叙事性事件链预测等任务。
与基于事件对事件链的方法相比，图结构能够表达更复杂、更深层的关联信息，构建事件图谱有助于挖掘隐含事件关系。基于事件图谱的推演预测方法是基于文本数据进行处理，通过自然语言处理的方法，从新闻语料等文本描述中抽取实体，并用知识图谱来描述事件之间的演化关系。
当前事件推理预测方法大多是对文本数据进行提取和处理，聚焦于高层次的事件语义描述，缺乏事件发生场景中具体细节和隐含信息的深入分析；当前的智能视频分析系统是基于视频数据进行处理的，但是只有对当前事件、历史事件的检测识别，缺乏对事件未来发展的预测。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的智能视频分析系统无法对事件未来发展进行预测的问题，本发明提供了一种基于视频的事件演化预测方法、系统。
本发明的第一方面提供了一种基于视频的事件演化预测方法，该方法包括以下步骤：步骤S100，对输入的视频流进行解码，获得序列数据；以队列方式缓存与当前时刻对应的N帧视频图像；
步骤S200，对所述N帧视频图像进行视频结构化分析；所述视频结构化分析包括对视频数据进行预处理后，输入第一信息，输出第二信息；
步骤S300，判断所述第二信息中的各类事件的置信度是否大于阈值，若存在某类事件的置信度大于阈值时，则判定为第一类型，执行步骤S400；所述第一类型为当前时刻有某类事件发生；
若所有事件类型对应的置信度均小于阈值，则返回至步骤S100；
步骤S400，抽取当前时刻对应事件，获取当前事件的总体特征；所述总体特征为et，et＝{事件类型，置信度，时间信息，空间信息，目标信息，动作行为信息}；
步骤S500，基于所述总体特征，将当前事件节点与历史事件节点进行关联和合并，更新当前场景对应的初始事件子图，获得第一事件子图；
步骤S600，基于所述第一事件子图，获取每个候选事件的预测分数，按照分数值降序输出预测的事件节点。
在一些优选实施例中，所述第一信息包括目标检测、目标跟踪、个体身份识别、个体动作识别、群体行为识别、跨场景目标再识别等神经网络；所述第二信息包括事件的类型、置信度、时间信息、空间信息、目标信息和动作行为信息。
在一些优选实施例中，步骤S400中的“将所述总体特征与历史事件节点进行关联和合并”具体包括：步骤A10，对获取的所述总体特征建立索引；
步骤A20，按照时间倒序，将当前事件的目标信息、动作行为信息，依次与初始事件子图中的历史事件节点的对应信息进行比对；
步骤A30，若当前事件的目标信息的相似度或当前事件的动作行为信息的相似度大于阈值，则与初始事件子图中的节点进行关联和合并；
判断当前事件与初始事件子图中的历史事件节点的类型是否相同，若相同，则与初始事件子图中的历史事件节点对应的节点合并，并更新对应节点的特征信息；
若不同，则在初始事件子图中增加当前事件节点；
步骤A40，若当前事件的目标信息的相似度或当前事件的动作行为信息的相似度小于阈值，则将当前事件标记为初始触发事件，以该节点为起点提取新的事件子图。
在一些优选实施例中，所述初始事件子图的获取包括：基于获取的对应场景下的多路视频，抽取历史事件节点、历史事件节点所对应的候选事件节点；
基于构建的事件时序因果关系图，根据事件之间的关系进行有向连接，获得初始事件子图。
在一些优选实施例中，所述历史事件节点为时间窗T内检测到的按照时间顺序排列的v1，v2，…，vK；
所述候选事件节点为历史事件节点v1，v2，…，vK指向的所有节点集合，每个候选事件节点用vcj表示。
在一些优选实施例中，所述事件时序因果关系图的构建方法为：步骤B10，基于获取的大规模视频数据，利用视频结构化对所述视频数据进行分析；
步骤B20，抽取所述视频数据中所有事件及对应视频画面的语义特征信息；
步骤B30，提取事件链和事件对，获取事件对集合：
步骤B40，基于所述事件对集合，结合相关性统计或互信息，构建事件无向图骨架，获取事件节点Vj之间的邻接矩阵；
步骤B50，基于分布不对称性，采用因果生成神经网络对事件节点Vi之间的二元和多元因果机制进行建模：
Vi＝fi(VPa(i；g)，Ei)
其中，VPa(i；g)代表Vi的父节点集合，Ei表示未观测到的随机变量；因果机制fi由包含若干层神经元的生成网络对事件的联合分布进行建模，并采用最大平均差异进行评价；g为所构建的事件时序因果关系图，事件时序因果关系图中的有向边用于表示对应变量之间的时序或因果关系；
步骤B60，存储事件时序因果关系图，以用于对事件未来发展态势进行预测。
在一些优选实施例中，所述语义特征信息包括视频中事件类型、置信度、时间信息、空间信息、目标信息、动作行为信息。
在一些优选实施例中，所述事件链的提取方法为：将同一场景的视频中抽取的若干个事件的特征，按照时序排列成为一条事件链将跨场景的视频中含有相同人员或群体目标、并且时序相邻的若干个事件，也作为一条事件链；
所述事件对的提取方法为：将同一事件链中时序上相邻的两个事件特征，作为一组事件对
所述事件对集合的获取方法为：依次提取所有事件链中的事件对，获得事件对集合。
在一些优选实施例中，所述预测分数为
Δti表示事件节点vi距离当前时刻的时间差，发生时间越久远的历史事件节点在预测分数中的权重越小；v1，v2，…，vK为历史事件节点；为候选事件节点。
本发明的第二方面提供了一种基于视频的事件演化预测系统，该系统包括视频输入模块、视觉解析模块、事件抽取模块、报警模块、事件关联模块、存储模块、事件预测模块和可视化模块；
所述视频输入模块，配置为对输入的视频流进行解码，创建一个包含最新N帧图像数据的缓存队列；
所述视觉解析模块，配置为对缓存队列的N帧图像数据进行分析计算，获取视频中的结构化语义信息；
所述事件抽取模块，配置为抽取事件类型、置信度、空间信息、目标信息及动作行为信息；
所述报警模块，配置为对抽取的事件信息进行判断，若满足预设条件则推送报警；
所述事件关联模块，配置为通过抽取的事件信息和时空线索，与动态处理的事件子图进行关联和合并；
所述存储模块，配置为存储事件时序因果关系图和动态处理的事件子图；
所述事件预测模块，配置为对事件未来发展态势进行预测；
所述可视化模块，配置为把已发生事件和预测事件在时间轴上展开进行展示，或者，把已发生事件和预测事件在地图上按空间分布进行展示，或者，按图结构的形式展示更新的事件子图的关联结构。
1)本发明可针对实际应用中事件演化过程的复杂性，从多层次、多维度对事件演化过程进行建模和分析，实现对事件未来发展的预测；本发明所用的视频数据与文本数据相比，具有丰富的视觉语义信息。本申请公开的方案可自动构建事件间的时序因果关系，并对视频中事件的演化趋势进行预测。
2)与其它事件推理方法相比，本发明利用视频中的视觉语义信息，丰富了事件的信息维度，实现对事件隐含线索和复杂关系的建模，增强事件特征的表达能力；利用事件时序因果关系对视频中的事件演化趋势进行预测，提高了视频分析系统的智能化水平。
3)本发明公开的技术方案可以应用于智能视频监控系统，实现对未来可能发生事件的主动预测和事前防范，提高对公共安全事件的管控能力。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明中的基于视频的事件演化预测方法的一种实施例的流程示意图；
图2是本发明中的基于视频的事件演化预测方法中的与历史事件节点进行关联和合并的流程示意图；
图3是本发明中的基于视频的事件演化预测方法中的事件时序因果关系图的构建流程图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的第一方面提供了一种基于视频的事件演化预测方法，该方法包括以下步骤：步骤S100，对输入的视频流进行解码，获得序列数据；以队列方式缓存与当前时刻对应的N帧视频图像；步骤S200，对N帧视频图像进行视频结构化分析；视频结构化分析包括对视频数据进行预处理后，输入第一信息，输出第二信息；步骤S300，判断第二信息中的各类事件的置信度是否大于阈值，若存在某类事件的置信度大于阈值时，则判定为第一类型，执行步骤S400(在本发明中，某类指的是任一预设类)；第一类型为当前时刻有某类事件发生；若所有事件类型对应的置信度均小于阈值，则返回至步骤S100；步骤S400，抽取当前时刻对应事件，获取当前事件的总体特征；总体特征为et，et＝{事件类型，置信度，时间信息，空间信息，目标信息，动作行为信息}；步骤S500，基于总体特征，将当前事件节点与历史事件节点进行关联和合并，更新当前场景对应的初始事件子图，获得第一事件子图；步骤S600，基于第一事件子图，获取每个候选事件的预测分数，按照分数值降序输出预测的事件节点。
与其它事件推理方法相比，本发明利用视频中的视觉语义信息，丰富了事件的信息维度，实现对事件隐含线索和复杂关系的建模，增强事件特征的表达能力；利用事件时序因果关系对视频中的事件演化趋势进行预测，提高了视频分析系统的智能化水平；本发明公开的技术方案可以应用于智能视频监控系统，实现对未来可能发生事件的主动预测和事前防范，提高对公共安全事件的管控能力。
以下参照附图结合实施例进一步说明本发明。
参照附图1，图示是本发明中的基于视频的事件演化预测方法的一种实施例的流程示意图，本发明的第一方面公开了一种基于视频的事件演化预测方法，该方法包括以下步骤：步骤S100，对输入的视频流进行解码，获得序列数据；以队列方式缓存与当前时刻对应的N帧视频图像；
步骤S200，对N帧视频图像进行视频结构化分析；视频结构化分析包括对视频数据进行预处理后，输入第一信息，输出第二信息；其中，第一信息包括目标检测、目标跟踪、个体身份识别、个体动作识别、群体行为识别、跨场景目标再识别等神经网络；第二信息包括事件的类型、置信度、时间信息、空间信息、目标信息和动作行为信息。
步骤S300，判断第二信息中的置信度是否大于阈值，若置信度大于阈值时，则判定为第一类型，执行步骤S400；第一类型为当前时刻有事件发生；若置信度小于阈值，则返回至步骤S100；
步骤S400，抽取当前时刻对应事件，获取当前事件的总体特征；总体特征为et，et＝{事件类型，置信度，时间信息，空间信息，目标信息，动作行为信息}；
步骤S500，基于总体特征，将当前事件节点与历史事件节点进行关联和合并，更新当前场景对应的初始事件子图，获得第一事件子图；
步骤S600，基于第一事件子图，获取每个候选事件的预测分数，按照分数值降序输出预测的事件节点。
进一步地，参照附图2，图示是本发明中的基于视频的事件演化预测方法中的与历史事件节点进行关联和合并的流程示意图；步骤S400中的“将所述总体特征与历史事件节点进行关联和合并”具体包括：步骤A10，对获取的总体特征建立索引；
步骤A20，按照时间倒序，将当前事件的目标信息、动作行为信息，依次与初始事件子图中的历史事件节点的对应信息进行比对；
步骤A30，若当前事件的目标信息的相似度或当前事件的动作行为信息的相似度大于阈值，则与初始事件子图中的节点进行关联和合并；
判断当前事件与初始事件子图中的历史事件节点的类型是否相同，若相同，则与初始事件子图中的历史事件节点对应的节点合并，并更新对应节点的特征信息；
若不同，则在初始事件子图中增加当前事件节点；
步骤A40，若当前事件的目标信息的相似度或当前事件的动作行为信息的相似度小于阈值，则将当前事件标记为初始触发事件，以该节点为起点提取新的事件子图。
进一步地，初始事件子图的获取包括：基于获取的对应场景下的多路视频，抽取历史事件节点、历史事件节点所对应的候选事件节点；基于构建的事件时序因果关系图，根据事件之间的关系进行有向连接，获得初始事件子图。
其中，历史事件节点为时间窗T内检测到的按照时间顺序排列的v1，v2，…，vK；候选事件节点为历史事件节点v1，v2，…，vK指向的所有节点集合，每个候选事件节点用表示。
进一步地参照附图3，图示是本发明中的基于视频的事件演化预测方法中的事件时序因果关系图的构建流程图；事件时序因果关系图的构建方法具体为：步骤B10，基于获取的大规模视频数据，利用视频结构化对视频数据进行分析；
步骤B20，抽取视频数据中所有事件及对应视频画面的语义特征信息；其中，语义特征信息包括视频中事件类型、置信度、时间信息、空间信息、目标信息、动作行为信息；
步骤B30，提取事件链和事件对，获取事件对集合：
其中，事件链的提取方法为：将同一场景的视频中抽取的若干个事件的特征，按照时序排列成为一条事件链将跨场景的视频中含有相同人员或群体目标、并且时序相邻的若干个事件，也作为一条事件链。
事件对的提取方法为：将同一事件链中时序上相邻的两个事件特征，作为一组事件对事件对集合的获取方法为：依次提取所有事件链中的事件对，获得事件对集合。
步骤B40，基于事件对集合，结合相关性统计或互信息，构建事件无向图骨架，获取事件节点Vi之间的邻接矩阵；
步骤B50，基于分布不对称性，采用因果生成神经网络对事件节点Vi之间的二元和多元因果机制进行建模：
Vi＝fi(VPa(i；g)，Ei)；其中，VPa(i；g)代表Vi的父节点集合，Ei表示未观测到的随机变量；因果机制fi由包含若干层神经元的生成网络对事件的联合分布进行建模，并采用最大平均差异进行评价；g为所构建的事件时序因果关系图，事件时序因果关系图中的有向边用于表示对应变量之间的时序或因果关系；
步骤B60，存储事件时序因果关系图，以用于对事件未来发展态势进行预测。
进一步地，预测分数为
Δti表示事件节点vi距离当前时刻的时间差，发生时间越久远的历史事件节点在预测分数中的权重越小；v1，v2，…，vK为历史事件节点；为候选事件节点。
本发明的第二方面公开了一种基于视频的事件演化预测系统，该系统包括视频输入模块、视觉解析模块、事件抽取模块、报警模块、事件关联模块、存储模块、事件预测模块和可视化模块；
其中，视频输入模块用于对输入的视频流进行解码，创建一个包含最新N帧图像数据的缓存队列；
视觉解析模块用于对缓存队列的N帧图像数据进行分析计算，获取视频中的结构化语义信息；
事件抽取模块用于抽取事件类型、置信度、空间信息、目标信息、动作行为信息等其它信息；
报警模块用于对抽取的事件信息进行判断，若满足预设条件则推送报警；
事件关联模块用于通过抽取的事件信息和时空线索，与动态处理的事件子图进行关联和合并，即根据与初始事件子图的比对，判断是否更新初始事件子图；
存储模块用于存储事件时序因果关系图和动态处理的事件子图；
事件预测模块用于对事件未来发展态势进行预测；
可视化模块，即将事件演化预测进行可视化，具体包括把已发生事件和预测事件在时间轴上展开进行展示，或者，把已发生事件和预测事件在地图上按空间分布进行展示，或者，按图结构的形式展示更新的事件子图的关联结构。
虽然已经参考优选实施例对本发明进行了描述，但在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件，尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。
在本发明的描述中，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (5)

1.一种基于视频的事件演化预测方法，其特征在于，该方法包括以下步骤：
步骤S100，对输入的视频流进行解码，获得序列数据；以队列方式缓存与当前时刻对应的N帧视频图像；
步骤S200，对所述N帧视频图像进行视频结构化分析；所述视频结构化分析包括对视频数据进行预处理后，输入第一信息，输出第二信息；
步骤S300，判断所述第二信息中的各类事件的置信度是否大于阈值，若存在某类事件的置信度大于阈值时，则判定为第一类型，执行步骤S400；所述第一类型为当前时刻有某类事件发生；
若所有事件类型对应的置信度均小于阈值，则返回至步骤S100；
步骤S400，抽取当前时刻对应事件，获取当前事件的总体特征；所述总体特征为et，et＝{事件类型,置信度,时间信息,空间信息,目标信息,动作行为信息}；
步骤S500，基于所述总体特征，将当前事件节点与历史事件节点进行关联和合并，更新当前场景对应的初始事件子图，获得第一事件子图；
“基于所述总体特征，将当前事件节点与历史事件节点进行关联和合并”具体包括：
步骤A10，对获取的所述总体特征建立索引；
步骤A20，按照时间倒序，将当前事件的目标信息、动作行为信息，依次与初始事件子图中的历史事件节点的对应信息进行比对；
步骤A30，若当前事件的目标信息的相似度或当前事件的动作行为信息的相似度大于阈值，则与初始事件子图中的节点进行关联和合并；
判断当前事件与初始事件子图中的历史事件节点的类型是否相同，若相同，则与初始事件子图中的历史事件节点对应的节点合并，并更新对应节点的特征信息；
若不同，则在初始事件子图中增加当前事件节点；
步骤A40，若当前事件的目标信息的相似度或当前事件的动作行为信息的相似度小于阈值，则将当前事件标记为初始触发事件，以该节点为起点提取新的事件子图；
所述初始事件子图的获取包括：
基于获取的对应场景下的多路视频，抽取历史事件节点、历史事件节点所对应的候选事件节点；
基于构建的事件时序因果关系图，根据事件之间的关系进行有向连接，获得初始事件子图；
所述历史事件节点为时间窗T内检测到的按照时间顺序排列的v1,v2,…,vK；
所述候选事件节点为历史事件节点v1,v2,…,vK指向的所有节点集合，每个候选事件节点用vcj表示；
所述事件时序因果关系图的构建方法为：
步骤B10，基于获取的大规模视频数据，利用视频结构化对所述视频数据进行分析；
步骤B20，抽取所述视频数据中所有事件及对应视频画面的语义特征信息；
步骤B30，提取事件链和事件对，获取事件对集合：
步骤B40，基于所述事件对集合，结合相关性统计或互信息，构建事件无向图骨架，获取事件节点Vi之间的邻接矩阵；
步骤B50，基于分布不对称性，采用因果生成神经网络对事件节点Vi之间的二元和多元因果机制进行建模：
其中，代表Vi的父节点集合，Ei表示未观测到的随机变量；因果机制fi由包含若干层神经元的生成网络对事件的联合分布进行建模，并采用最大平均差异进行评价；/>为所构建的事件时序因果关系图，事件时序因果关系图中的有向边用于表示对应变量之间的时序或因果关系；
步骤B60，存储事件时序因果关系图，以用于对事件未来发展态势进行预测；
步骤S600，基于所述第一事件子图，获取每个候选事件的预测分数，按照分数值降序输出预测的事件节点；
所述预测分数为
Δti表示事件节点vi距离当前时刻的时间差，发生时间越久远的历史事件节点在预测分数中的权重越小；v1,v2,…,vK为历史事件节点；vcj为候选事件节点。
2.根据权利要求1所述的基于视频的事件演化预测方法，其特征在于，所述第一信息包括目标检测、目标跟踪、个体身份识别、个体动作识别、群体行为识别、跨场景目标再识别等神经网络；所述第二信息包括事件的类型、置信度、时间信息、空间信息、目标信息和动作行为信息。
3.根据权利要求1所述的基于视频的事件演化预测方法，其特征在于，所述语义特征信息包括视频中事件类型、置信度、时间信息、空间信息、目标信息、动作行为信息。
4.根据权利要求3所述的基于视频的事件演化预测方法，其特征在于，所述事件链的提取方法为：将同一场景的视频中抽取的若干个事件的特征，按照时序排列成为一条事件链将跨场景的视频中含有相同人员或群体目标、并且时序相邻的若干个事件，也作为一条事件链；
所述事件对的提取方法为：将同一事件链中时序上相邻的两个事件特征，作为一组事件对
所述事件对集合的获取方法为：依次提取所有事件链中的事件对，获得事件对集合。
5.一种基于视频的事件演化预测系统，其特征在于，该系统包括视频输入模块、视觉解析模块、事件抽取模块、事件关联模块和事件预测模块；
所述视频输入模块，其配置为对输入的视频流进行解码，获得序列数据；以队列方式缓存与当前时刻对应的N帧视频图像；
所述视觉解析模块，其配置为对所述N帧视频图像进行视频结构化分析；所述视频结构化分析包括对视频数据进行预处理后，输入第一信息，输出第二信息；
判断所述第二信息中的各类事件的置信度是否大于阈值，若存在某类事件的置信度大于阈值时，则判定为第一类型，执行所述事件抽取模块；所述第一类型为当前时刻有某类事件发生；
若所有事件类型对应的置信度均小于阈值，则返回至所述视频输入模块；
所述事件抽取模块，其配置为抽取当前时刻对应事件，获取当前事件的总体特征；所述总体特征为et，et＝{事件类型,置信度,时间信息,空间信息,目标信息,动作行为信息}；
所述事件关联模块，其配置为基于所述总体特征，将当前事件节点与历史事件节点进行关联和合并，更新当前场景对应的初始事件子图，获得第一事件子图；
“将所述总体特征与历史事件节点进行关联和合并”具体包括：
步骤A10，对获取的所述总体特征建立索引；
步骤A20，按照时间倒序，将当前事件的目标信息、动作行为信息，依次与初始事件子图中的历史事件节点的对应信息进行比对；
步骤A30，若当前事件的目标信息的相似度或当前事件的动作行为信息的相似度大于阈值，则与初始事件子图中的节点进行关联和合并；
判断当前事件与初始事件子图中的历史事件节点的类型是否相同，若相同，则与初始事件子图中的历史事件节点对应的节点合并，并更新对应节点的特征信息；
若不同，则在初始事件子图中增加当前事件节点；
步骤A40，若当前事件的目标信息的相似度或当前事件的动作行为信息的相似度小于阈值，则将当前事件标记为初始触发事件，以该节点为起点提取新的事件子图；
所述初始事件子图的获取包括：
基于获取的对应场景下的多路视频，抽取历史事件节点、历史事件节点所对应的候选事件节点；
基于构建的事件时序因果关系图，根据事件之间的关系进行有向连接，获得初始事件子图；
所述历史事件节点为时间窗T内检测到的按照时间顺序排列的v1,v2,…,vK；
所述候选事件节点为历史事件节点v1,v2,…,vK指向的所有节点集合，每个候选事件节点用表示；
所述事件时序因果关系图的构建方法为：
步骤B10，基于获取的大规模视频数据，利用视频结构化对所述视频数据进行分析；
步骤B20，抽取所述视频数据中所有事件及对应视频画面的语义特征信息；
步骤B30，提取事件链和事件对，获取事件对集合：
步骤B40，基于所述事件对集合，结合相关性统计或互信息，构建事件无向图骨架，获取事件节点Vi之间的邻接矩阵；
步骤B50，基于分布不对称性，采用因果生成神经网络对事件节点Vi之间的二元和多元因果机制进行建模：
其中，代表Vi的父节点集合，Ei表示未观测到的随机变量；因果机制fi由包含若干层神经元的生成网络对事件的联合分布进行建模，并采用最大平均差异进行评价；/>为所构建的事件时序因果关系图，事件时序因果关系图中的有向边用于表示对应变量之间的时序或因果关系；
步骤B60，存储事件时序因果关系图，以用于对事件未来发展态势进行预测；
所述事件预测模块，其配置为基于所述第一事件子图，获取每个候选事件的预测分数，按照分数值降序输出预测的事件节点；
所述预测分数为
Δti表示事件节点vi距离当前时刻的时间差，发生时间越久远的历史事件节点在预测分数中的权重越小；v1,v2,…,vK为历史事件节点；为候选事件节点。
CN202110727190.7A 2021-06-29 2021-06-29 基于视频的事件演化预测方法、系统 Active CN113486754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110727190.7A CN113486754B (zh) 2021-06-29 2021-06-29 基于视频的事件演化预测方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110727190.7A CN113486754B (zh) 2021-06-29 2021-06-29 基于视频的事件演化预测方法、系统

Publications (2)

Publication Number Publication Date
CN113486754A CN113486754A (zh) 2021-10-08
CN113486754B true CN113486754B (zh) 2024-01-09

Family

ID=77936665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110727190.7A Active CN113486754B (zh) 2021-06-29 2021-06-29 基于视频的事件演化预测方法、系统

Country Status (1)

Country Link
CN (1) CN113486754B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385234B (zh) * 2022-12-30 2023-09-19 青岛交通科技信息有限公司 一种基于物联网的车载智能终端管理系统及方法
CN118396390B (zh) * 2024-06-26 2024-09-10 中国民用航空总局第二研究所 机场群体性事件演化状态的确定方法、装置、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455705A (zh) * 2013-05-24 2013-12-18 中国科学院自动化研究所 网络社会事件的协同关联跟踪及全局态势分析与预测系统
CN103530995A (zh) * 2013-10-12 2014-01-22 重庆邮电大学 基于目标空间关系约束的视频监控智能预警系统及方法
KR20140124440A (ko) * 2013-04-15 2014-10-27 인텔렉추얼디스커버리 주식회사 밝기 보상을 이용한 비디오 부호화/복호화 방법 및 장치
CN110096938A (zh) * 2018-01-31 2019-08-06 腾讯科技（深圳）有限公司 一种视频中的动作行为的处理方法和装置
CN110839156A (zh) * 2019-11-08 2020-02-25 北京邮电大学 一种基于视频图像的未来帧预测方法及模型
WO2020101429A1 (ko) * 2018-11-16 2020-05-22 삼성전자 주식회사 양방향 예측을 이용한 영상의 부호화 및 복호화 방법, 및 영상의 부호화 및 복호화 장치
CN111488815A (zh) * 2020-04-07 2020-08-04 中山大学 基于图卷积网络和长短时记忆网络的篮球比赛进球事件预测方法
CN111898461A (zh) * 2020-07-08 2020-11-06 贵州大学 一种时序行为片段生成方法
CN112765485A (zh) * 2021-01-18 2021-05-07 深圳市网联安瑞网络科技有限公司 网络社会事件预测方法、系统、终端、计算机设备及介质
CN112905801A (zh) * 2021-02-08 2021-06-04 携程旅游信息技术（上海）有限公司 基于事件图谱的行程预测方法、系统、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2769146C1 (ru) * 2018-09-22 2022-03-28 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки сигналов видео с использованием интер-предсказания
CN111771376B (zh) * 2018-12-12 2023-08-08 Lg电子株式会社 以基于历史的运动向量预测为基础处理视频信号的方法和设备
US11496809B2 (en) * 2019-07-19 2022-11-08 Hulu, LLC Video file storage prediction process for caches in video servers

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140124440A (ko) * 2013-04-15 2014-10-27 인텔렉추얼디스커버리 주식회사 밝기 보상을 이용한 비디오 부호화/복호화 방법 및 장치
CN103455705A (zh) * 2013-05-24 2013-12-18 中国科学院自动化研究所 网络社会事件的协同关联跟踪及全局态势分析与预测系统
CN103530995A (zh) * 2013-10-12 2014-01-22 重庆邮电大学 基于目标空间关系约束的视频监控智能预警系统及方法
CN110096938A (zh) * 2018-01-31 2019-08-06 腾讯科技（深圳）有限公司 一种视频中的动作行为的处理方法和装置
WO2020101429A1 (ko) * 2018-11-16 2020-05-22 삼성전자 주식회사 양방향 예측을 이용한 영상의 부호화 및 복호화 방법, 및 영상의 부호화 및 복호화 장치
CN110839156A (zh) * 2019-11-08 2020-02-25 北京邮电大学 一种基于视频图像的未来帧预测方法及模型
CN111488815A (zh) * 2020-04-07 2020-08-04 中山大学 基于图卷积网络和长短时记忆网络的篮球比赛进球事件预测方法
CN111898461A (zh) * 2020-07-08 2020-11-06 贵州大学 一种时序行为片段生成方法
CN112765485A (zh) * 2021-01-18 2021-05-07 深圳市网联安瑞网络科技有限公司 网络社会事件预测方法、系统、终端、计算机设备及介质
CN112905801A (zh) * 2021-02-08 2021-06-04 携程旅游信息技术（上海）有限公司 基于事件图谱的行程预测方法、系统、设备及存储介质

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
A bio-inspired system model for interactive surveillance applications;Alessio Dore;Matteo Pinasco;Lorenzo Ciardelli;Journal of ambient intelligence and smart environments(第2期);全文 *
Current versus future reproductive investment adaptive responses in adult Anopheles coluzzii malaria mosquitoes: hydric-stressed males give it all;Nkiru E. Ekechukwu;Frédéric Tripet;Parasites & Vectors;第12卷(第1期);全文 *
Improved image analysis based system to reliably predict the live weight of pigs on farm: Preliminary results.;Banhazi, T. M.;Tscharke, M.;Ferdous, W. M.;Saunders, C.;Lee, S.-H.;Australian Journal of Multi-Disciplinary Engineering;第8卷(第2期);全文 *
体育视频分析;童晓峰;刘青山;卢汉清;;计算机学报(第07期);全文 *
图像传感 推进无人驾驶汽车的重点;Narayan Purohit;汽车与配件(第032期);全文 *
视频结构化技术在公安实战中的深度应用;吴普民;赵晋扬;陈德浪;王喆;;警察技术(第04期);全文 *
随岳高速智能视频分析系统建设探究;费腾;江龙;杨帅帅;杜克石;;中国交通信息化(第S1期);全文 *
面向季节性时空数据的预测式循环网络及其在城市计算中的应用;张建晋;王韫博;龙明盛;王建民;王海峰;;计算机学报(第02期);全文 *

Also Published As

Publication number Publication date
CN113486754A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
Jia et al. Incremental dual-memory lstm in land cover prediction
US8065257B2 (en) System and method for correlating past activities, determining hidden relationships and predicting future activities
CN110533685B (zh) 对象跟踪方法和装置、存储介质及电子装置
CN113486754B (zh) 基于视频的事件演化预测方法、系统
KR101720781B1 (ko) 객체에 대한 이상 행동 예측 장치 및 이를 이용한 이상 행동 예측 방법
CN116150509B (zh) 社交媒体网络的威胁情报识别方法、系统、设备及介质
CN115691034A (zh) 一种智能家居异常情况告警方法、系统及存储介质
Selvarajah et al. Dynamic network link prediction by learning effective subgraphs using CNN-LSTM
Shukla et al. A survey on image mining, its techniques and application
CN115294528A (zh) 一种行人安全监控方法及装置
Prathap et al. Geospatial crime analysis to determine crime density using Kernel density estimation for the Indian context
CN117726162A (zh) 一种基于多模态数据融合的社区风险等级评估方法及系统
Nesen et al. Knowledge graphs for semantic-aware anomaly detection in video
Ahmed et al. Deep fuzzy contrast-set deviation point representation and trajectory detection
CN115567305B (zh) 基于深度学习的顺序网络攻击预测分析方法
CN116545679A (zh) 一种工业情境安全基础框架及网络攻击行为特征分析方法
Bhardwaj et al. Machine learning techniques based exploration of various types of crimes in India
Vinothkumar et al. Crime hotspot identification using SVM in machine learning
Greco et al. Improving reliability of people tracking by adding semantic reasoning
Tejima et al. Mm-aqi: A novel framework to understand the associations between urban traffic, visual pollution, and air pollution
Shen et al. Long-term multivariate time series forecasting in data centers based on multi-factor separation evolutionary spatial–temporal graph neural networks
CN114120180A (zh) 一种时序提名的生成方法、装置、设备及介质
CN113743293A (zh) 跌倒行为检测方法、装置、电子设备及存储介质
CN116956174A (zh) 用于进行冷头状态分类检测和寿命预测的分类模型和预测模型的生成方法
CN118036829B (zh) 用于数字化城市治理的智能洪涝预警应对方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant