CN111027376A - 一种确定事件图谱的方法、装置、电子设备及存储介质 - Google Patents
一种确定事件图谱的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111027376A CN111027376A CN201911041152.5A CN201911041152A CN111027376A CN 111027376 A CN111027376 A CN 111027376A CN 201911041152 A CN201911041152 A CN 201911041152A CN 111027376 A CN111027376 A CN 111027376A
- Authority
- CN
- China
- Prior art keywords
- determining
- picture
- time parameter
- target object
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例所公开的一种确定事件图谱的方法、装置、电子设备及存储介质，该方法包括对视频流进行采样，得到图片序列，图片序列中的图片带有时间参数，从图片序列中确定带有第一时间参数的参考图片，以及确定带有第二时间参数的目标图片，参考图片和目标图片为图片序列中相邻的两张图片，第一时间参数早于第二时间参数，从参考图片中识别参考对象集合，以及从目标图片中识别目标对象集合，根据参考对象集合中的参考对象，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息，并根据目标对象、第二时间参数和状态变化信息，确定事件图谱。基于本申请实施例，能够降低存储动态场景理解信息的难度、简化对象状态变化确定的过程。
Description
技术领域
本发明涉及知识图谱领域，尤其涉及一种确定事件图谱的方法、装置、电子设备及存储介质。
背景技术
人工智能系统的研究与应用驱动当代科技飞速发展，其中，计算机视觉技术作为建立人工智能系统的一项重要技术手段，能够从图像或者多位数据中获取信息，并通过使用计算机及相关设备模拟生物视觉，目的在于让计算机学会如何去看、去听和去读，实现对客观世界场景的感知、识别和理解。目前，计算机视觉仍处于图像信息表达和物体识别阶段，未解锁理解场景相关任务的难关，例如物体关系识别、复杂语义表征、场景图生成和联合推理等。
当今互联网信息量剧增，如何在海量信息中快速、准确地获取所需的知识十分重要。为了解决上述问题，知识图谱技术应运而生，知识图谱是描述现实世界中的实体、概念或者两者相互关系的知识库，现有知识图谱普遍以“概念及概念间的关系”为核心，缺乏对对象本身随时间演化规律与模式知识的挖掘。
发明内容
为了解决上述技术问题，本申请实施例提供了一种确定事件图谱的方法，该方法包括：
对视频流进行采样，得到图片序列；图片序列中的图片带有时间参数；
从图片序列中确定带有第一时间参数的参考图片，以及确定带有第二时间参数的目标图片；参考图片和目标图片为图片序列中相邻的两张图片，第一时间参数早于第二时间参数；
从参考图片中识别参考对象集合，以及从目标图片中识别目标对象集合；
根据参考对象集合中的参考对象，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息；
根据目标对象、第二时间参数和状态变化信息，确定事件图谱。
进一步地，上述图片序列中的图片是同一相机基于固定视角拍摄的。
进一步地，根据参考对象集合中的参考对象，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息，包括：
确定第一目标对象位于目标图片中的第一区域；
确定参考图片中与第一区域对应的第二区域；
若第二区域不存在与第一目标对象匹配的第一参考对象，确定第一目标对象在第二时间参数上的状态变化信息为第一状态变化信息。
进一步地，根据参考对象集合中的参考对象，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息，包括：
确定第二目标对象位于目标图片中的第三区域；
从参考图片中确定第四区域；第四区域中存在与第二目标对象匹配的第二参考对象；
确定第二目标对象相对于目标图片的第一相对位置关系值，以及确定第二参考对象相对于参考图片的第二相对位置关系值；
基于第一相对位置关系值和第二相对位置关系值，确定位置关系匹配值；
基于位置关系匹配值，确定第二目标对象在第二时间参数上的状态变化信息为第二状态变化信息。
进一步地，根据参考对象集合中的参考对象，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息，包括：
确定第三参考对象位于参考图片中的第五区域；
确定目标图片中与第五区域对应的第六区域；
若第六区域不存在与第三参考对象匹配的第三目标对象，确定第三参考对象在第二时间参数上的状态变化信息为第三状态变化信息。
进一步地，基于位置关系匹配值，确定第二目标对象在第二时间参数上的状态变化信息为第二状态变化信息，包括：
若位置关系匹配值为第一关系匹配值，
确定第二目标对象在第二时间参数上的状态变化信息为第一子状态信息。
进一步地，基于位置关系匹配值，确定第二目标对象在第二时间参数上的状态变化信息为第二状态变化信息，包括：
若位置关系匹配值为第二关系匹配值，
确定第二目标对象在第二时间参数上的状态变化信息为第二子状态信息。
相应地，本申请实施例还提供了一种确定事件图谱的装置，该装置包括：
采样模块，用于对视频流进行采样，得到图片序列；图片序列中的图片带有时间参数；
第一确定模块，用于从图片序列中确定带有第一时间参数的参考图片，以及确定带有第二时间参数的目标图片；参考图片和目标图片为图片序列中相邻的两张图片，第一时间参数早于第二时间参数；
识别模块，用于从参考图片中识别参考对象集合，以及从目标图片中识别目标对象集合；
第二确定模块，用于根据参考对象集合中的参考对象，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息；
第三确定模块，用于根据目标对象、第二时间参数和状态变化信息，确定事件图谱。
相应地，本申请实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述确定事件图谱的方法。
相应地，本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述确定事件图谱的方法。
本申请实施例具有如下有益效果：
本申请实施例所公开的一种确定事件图谱的方法、装置、电子设备及存储介质，其中，确定方法包括对视频流进行采样，得到图片序列，图片序列中的图片带有时间参数，从图片序列中确定带有第一时间参数的参考图片，以及确定带有第二时间参数的目标图片，参考图片和目标图片为图片序列中相邻的两张图片，第一时间参数早于第二时间参数，从参考图片中识别参考对象集合，以及从目标图片中识别目标对象集合，根据参考对象集合中的参考对象，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息，并根据目标对象、第二时间参数和状态变化信息，确定事件图谱。基于本申请实施例，通过图像识别技术对视频流中的动态场景进行场景理解，确定不同采样帧中的发生状态变化的对象及其对应的时序或者逻辑状态变化信息。不仅能够降低存储动态场景理解信息的难度、简化对象状态变化确定的过程，还能够辅助计算机根据对象状态变化进行进一步的进程推理和决策。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例所提供的一种应用环境的示意图；
图2是本申请实施例所提供的一种确定事件图谱的方法的流程示意图；
图3a和图3b本申请实施例所提供的一种确定目标对象集合中的目标对象在第二时间参数上的状态变化信息的具体实施方式的结构示意图；
图4a和图4b本申请实施例所提供的一种确定目标对象集合中的目标对象在第二时间参数上的状态变化信息的具体实施方式的结构示意图；
图5a和图5b本申请实施例所提供的一种确定目标对象集合中的目标对象在第二时间参数上的状态变化信息的具体实施方式的结构示意图；
图6是本申请实施例所提供的一种确定事件图谱的装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。显然，所描述的实施例仅仅是本申请一个实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“第一”、“第二”、“第三”“第四”、“第五”和“第六”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”“第四”、“第五”和“第六”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”、“第三”“第四”、“第五”和“第六”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例能够以除了在这里图示或描述以外的顺序实施。此外，术语“包括”和“包含”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
请参阅图1，其所示为本申请实施例所提供的一种应用环境的示意图，包括：服务器101和终端102，服务器101与终端102之间通过无线链路连接。其中，服务器101可以是台式电脑、笔记本电脑、手机、平板电脑等可以装载有确定对象状态变化程序的设备。服务器101根据终端发送的视频流，对视频流进行采样，得到图片序列；图片序列中的图片带有时间参数，并从图片序列中确定带有第一时间参数的参考图片，以及确定带有第二时间参数的目标图片，参考图片和目标图片为图片序列中相邻的两张图片，第一时间参数早于第二时间参数，服务器从参考图片中识别参考对象集合，以及从目标图片中识别目标对象集合，并根据参考对象集合中的参考对象，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息。
下面介绍本申请一种确定事件图谱的方法的具体实施例，图2是本申请实施例提供的一种确定事件图谱的方法的流程示意图，本说明书提供了如实施例或流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多执行顺序中的一种方式，不代表唯一的执行顺序，在实际执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法包括：
S201：对视频流进行采样，得到图片序列；图片序列中的图片带有时间参数。
本申请实施例中，服务器根据预设采样规则对终端发送的视频流进行采样，得到图片序列，其中，预设采样规则是指根据视频流中场景的动态变化程度选择对应的采样频率参数值。需要理解的是同一视频流中根据需求不同，对场景的动态变化程度选择的采样频率参数值不是固定的。其中，视频流可以是激光雷达采集的视频数据，也可以是深度相机采集的视频数据，还可以是双目相机采集的视频数据，也还可以是其他能够提取深度信息的传感设备，本说明书不作具体限定，此外，图片序列的格式可以是深度图像、点云、网格或三维数据模型中的任意一种。
一种可选的实施方式中，服务器根据采样频率参数值“两分钟”对视频流进行采样，得到图片序列，其中，图片序列的格式为点云数据，服务器根据预设采样规则，对上述图片序列进行命名，该命名规则可以是采样按照顺序命名采样得到的图片序列，即图片1、图片2….图片n，也可以是按照采样时间命名得到的图片序列，即图片2019年10月14日00:00:00，上述两种命名方式均确保了图片序列中图片的命名唯一性。服务器采用递增或者递减的序列方式将命名后的图片序列存储至数据库中，在服务器的数据库中建立“sample-name.text”文件夹，逐行写入对应的命名好的图片，等待批处理。
S203：从图片序列中确定带有第一时间参数的参考图片，以及确定带有第二时间参数的目标图片；参考图片和目标图片为图片序列中相邻的两张图片，第一时间参数早于第二时间参数。
本申请实施例中，服务器采样得到的图片序列，确定带有第一时间参数的参考图片，以及确定带有第二时间参数的目标图片，其中，参考图片与目标图片携带有区别信息。
S205：从参考图片中识别参考对象集合，以及从目标图片中识别目标对象集合。
本申请实施例中，服务器根据终端发送的视频流进行采样，得到图片序列，并根据图像识别技术提取图片序列中的对象，从参考图片中识别参考对象集合，以及从目标图片中识别目标对象集合。
一种可选的实施方式中，根据预设频率一次读取“sample-name.text”中的图片，并基于VoteNet算法提取图片中的对象集合，通过目标检测和语义分割确定出图片中的对象以及对象对应的语义级类别。
S207：根据参考对象集合中的参考对象，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息。
本申请实施例中，上述图片序列中的图片是同一相机基于固定视角拍摄的。服务器根据参考对象集合中的参考对象，确定目标对象集合中与参考对象对应的目标对象，以及确定目标对象在第二时间参数上的状态变化信息。
S209：根据目标对象、第二时间参数和状态变化信息，确定事件图谱。
本申请实施例中，服务器将第一目标对象、第二时间参数和状态变化信息抽取为结构化信息，即<“第一目标对象”、“第二时间参数”、“状态变化信息”>。
本申请实施例中，事件图谱可以包括时序事件谱图，也可以包括逻辑事件图谱，还可以包括因果事件图谱，但不限于上述包括内容。
采用本申请实施例所提供的确定事件图谱的方法，通过图像识别技术对视频流中的动态场景进行场景理解，确定不同采样帧中的发生状态变化的对象及其对应的时序或者逻辑状态变化信息。不仅能够降低存储动态场景理解信息的难度、简化对象状态变化确定的过程，还能够辅助计算机根据对象状态变化进行进一步的进程推理和决策。
基于图2所示的一种确定事件图谱的方法，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息的方式有多种，下面具体介绍三种可选的实施方案。
一种可选的实施方案中，服务器确定第一目标对象位于目标图片中的第一区域，并在参考图片中确定与上述第一区域对应的第二区域。服务器判断第二区域内是否存在与第一目标对象匹配的第一参考对象，若第二区域内不存在与第一目标对象匹配的第一参考对象，则确定第一目标对象在第二时间参数上的变化信息为第一状态变化信息。该第一状态信息可以具体为第一目标对象在第二时间参数上“出现”。
具体地，如图3a和图3b所示为本申请实施例所提供的一种确定目标对象集合中的目标对象在第二时间参数上的状态变化信息的具体实施方式的结构示意图。服务器根据预设采样规则对终端发送的视频流进行采样，得到图片序列，并从图片序列中确定带有第一时间参数t1的参考图片a，以及确定带有第二时间参数t2的目标图片b，其中，参考图片a和目标图片b为图片序列中相邻的两张图片，第一时间参数t1早于第二时间参数t2。服务器通过图像识别技术从参考图片a中识别参考对象集合，以及从目标图片b中识别目标对象集合，其中，目标对象集合中包括第一目标对象m1。服务器在目标图片b中确定上述第一目标对象m1的第一区域，如图中实线框所示，相应地，在参考图片a中确定与该第一区域对应的第二区域，如图中虚线框所示。若第二区域内不存在与第一目标对象m1匹配的第一参考对象，则确定第一目标对象m1在第二时间参数t2上的状态变化信息为“出现”。服务器将第一目标对象m1、第二时间参数t2和状态变化信息“出现”抽取为结构化信息，即<“第一目标对象m1”、“第二时间参数t2”、“出现”>。
另一种可选的实施方案中，服务器确定第二目标对象位于目标图片中的第三区域，并从参考图片中确定第四区域；第四区域中存在与第二目标对象匹配的第二参考对象。服务器确定第二目标对象相对于目标图片的第一相对位置关系值，以及确定第二参考对象相对于参考图片的第二相对位置关系值，并基于第一相对位置关系值和第二相对位置关系值，确定位置关系匹配值和确定第二目标对象在第二时间参数上的状态变化信息为第二状态变化信息。
其中，第二状态变化信息包括第一子状态信息和第二子状态信息，位置关系匹配值包括第一关系匹配值和的第二关系匹配值。上述第一子状态信息和第二子状态信息可以分别对应为第二目标对象在第二时间参数上“位置发生变化”和第二目标对象在第二时间参数上“位置未发生变化”，或者，第一子状态信息和第二子状态信息可以分别对应为第二目标对象在第二时间参数上“位置未发生变化”和第二目标对象在第二时间参数上“位置发生变化”。
基于上述服务器根据参考对象集合中的参考对象，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息，介绍一种服务器基于位置关系匹配值，确定第二目标对象在第二时间参数上的状态变化信息为第二状态变化信息具体实施方式。
服务器根据确定的位置关系匹配值判断该位置关系匹配值是否为第一关系匹配值，若位置关系匹配值为第一关系匹配值，则确定第二目标对象在第二时间参数上的状态变化信息为第一子状态信息。若否，则位置关系匹配值为第二关系匹配值，则确定第二目标对象在第二时间参数上的状态变化信息为第二子状态信息。
具体地，如图4a和图4b所示为本申请实施例所提供的一种确定目标对象集合中的目标对象在第二时间参数上的状态变化信息的具体实施方式的结构示意图。
本申请实施例中，一种可选的应用场景为停车场。服务器根据预设采样规则对终端发送的视频流进行采样，得到图片序列，并从图片序列中确定带有第一时间参数t1的参考图片c，以及确定带有第二时间参数t2的目标图片d，其中，参考图片c和目标图片d为图片序列中相邻的两张图片，第一时间参数t1早于第二时间参数t2。服务器通过图像识别技术从参考图片c中识别参考对象集合，以及从目标图片d中识别目标对象集合，其中，目标对象集合中包括第二目标对象m2，参考对象集合中包括第二参考对象n2。服务器在目标图片d中确定上述第二目标对象m2的第三区域，如图中实线框所示，相应地，从参考图片c中确定第四区域；该第四区域中存在与第二目标对象m2匹配的第二参考对象n2；如图中虚线框所示。确定第二目标对象m2相对于目标图片d的第一相对位置关系值，以及确定第二参考对象n2相对于参考图片c的第二相对位置关系值，并基于第一相对位置关系值和第二相对位置关系值确定位置关系匹配值和确定第二目标对象m2在第二时间参数t2上的状态变化信为“驶离停车场”。其中，第一相对位置关系值是指第二目标对象m2相对于目标图片d一侧边的方向和距离，第二相对位置关系值是指第二参考对象n2相对于参考图片c与第二目标对象m2相对于目标图片同一侧边的方向和距离。关系匹配值可以是“0”&“1”集合，还可以是其他表征方式，当关系匹配值为“0”对应第一子状态信息，即第一相对位置关系值和第二相对位置关系值大小一致，也就是说目标图片d中第二目标对象m2的位置相对于参考图片c中第二参考对象n2的位置未发生状态变化，或者，第二目标对象m2和第二参考对象n2非需研究的对象；当关系匹配值为“1”对应第二子状态信息，即第一相对位置关系值和第二相对位置关系值大小不一致，也就是说目标图片d中第二目标对象m2的位置相对于参考图片c中第二参考对象n2的位置发生状态变化，具体状态变化为“驶离停车场”。服务器将第二目标对象m2、第二时间参数t2和状态变化信息“驶离停车场”抽取为结构化信息，即<“第二目标对象m2”、“第二时间参数t2”、“驶离停车场”>。
另一种可选的实施方案中，服务器确定第三参考对象位于参考图片中的第五区域，并在目标图片中确定与上述第五区域对应的第六区域。服务器判断第六区域是否存在与第三参考对象匹配的第三目标对象，若第六区域内不存在与第三参考对象匹配的第三目标对象，则确定第三参考对象在第二时间参数上的状态变化信息为第三状态变化信息。该第三状态变化信息可以具体为第三参考对象在第二时间参数上“消失”。
具体地，如图5a和图5b所示为本申请实施例所提供的一种确定目标对象集合中的目标对象在第二时间参数上的状态变化信息的具体实施方式的结构示意图。服务器根据预设采样规则对终端发送的视频流进行采样，得到图片序列，并从图片序列中确定带有第一时间参数t1的参考图片e，以及确定带有第二时间参数t2的目标图片f，其中，参考图片e和目标图片f为图片序列中相邻的两张图片，第一时间参数t1早于第二时间参数t2。服务器通过图像识别技术从参考图片e中识别参考对象集合，以及从目标图片f中识别目标对象集合，其中，参考对象集合中包括第三参考对象n3。服务器在参考图片e中确定上述第三参考对象n3的第五区域，如图中虚线框所示，相应地，在目标图片f中确定与该第五区域对应的第六区域，如图中实线框所示。若第六区域内不存在与第三参考对象n3匹配的第三目标对象，则确定第三参考对象m3在第二时间参数t2上的状态变化信息为“消失”。服务器将第三参考对象m3、第二时间参数t2和状态变化信息“消失”抽取为结构化信息，即<“第三参考对象m3”、“第二时间参数t2”、“消失”>。
本申请实施例还提供的一种确定事件图谱的装置，图6是本申请实施例提供的一种确定事件图谱的装置的结构示意图，如图6所示，该装置包括：
采样模块601对视频流进行采样，得到图片序列；图片序列中的图片带有时间参数；
第一确定模块603从图片序列中确定带有第一时间参数的参考图片，以及确定带有第二时间参数的目标图片；参考图片和目标图片为图片序列中相邻的两张图片，第一时间参数早于第二时间参数；
识别模块605从参考图片中识别参考对象集合，以及从目标图片中识别目标对象集合；
第二确定模块607根据参考对象集合中的参考对象，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息；
第三确定模块609根据目标对象、第二时间参数和状态变化信息，确定事件图谱。
本申请实施例中的装置与方法实施例基于同样的申请构思。
本申请实施例还提供的一种电子设备，电子设备可设置于服务器之中以保存用于实现方法实施例中的一种确定事件图谱的方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该存储器加载并执行以实现上述的确定事件图谱的方法。
本申请实施例还提供的一种存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中一种确定事件图谱的方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述确定事件图谱的方法。
可选的，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于包括：U盘、只读存储器(ROM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的确定事件图谱的方法、装置、电子设备或存储介质的实施例可见，本申请中方法包括对视频流进行采样，得到图片序列，图片序列中的图片带有时间参数，从图片序列中确定带有第一时间参数的参考图片，以及确定带有第二时间参数的目标图片，参考图片和目标图片为图片序列中相邻的两张图片，第一时间参数早于第二时间参数，从参考图片中识别参考对象集合，以及从目标图片中识别目标对象集合，根据参考对象集合中的参考对象，确定目标对象集合中的目标对象在第二时间参数上的状态变化信息，并根据目标对象、第二时间参数和状态变化信息，确定事件图谱。基于本申请实施例，通过图像识别技术对视频流中的动态场景进行场景理解，确定不同采样帧中的发生状态变化的对象及其对应的时序或者逻辑状态变化信息。不仅能够降低存储动态场景理解信息的难度、简化对象状态变化确定的过程，还能够辅助计算机根据对象状态变化进行进一步的进程推理和决策。
需要说明的是：上述本申请实施例的先后顺序仅仅为了描述，不代表实施例的优劣，且上述本说明书对特定的实施例进行了描述，其他实施例也在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或者步骤可以按照不同的实施例中的顺序来执行并且能够实现预期的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者而连接顺序才能够实现期望的结果，在某些实施方式中，多任务并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的均为与其他实施例的不同之处。尤其，对于装置的实施例而言，由于其基于相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种确定事件图谱的方法，其特征在于，包括：
对视频流进行采样，得到图片序列；所述图片序列中的图片带有时间参数；
从所述图片序列中确定带有第一时间参数的参考图片，以及确定带有第二时间参数的目标图片；所述参考图片和所述目标图片为所述图片序列中相邻的两张图片，所述第一时间参数早于所述第二时间参数；
从所述参考图片中识别参考对象集合，以及从所述目标图片中识别目标对象集合；
根据所述参考对象集合中的参考对象，确定所述目标对象集合中的目标对象在所述第二时间参数上的状态变化信息；
根据所述目标对象、所述第二时间参数和所述状态变化信息，确定事件图谱。
2.根据权利要求1所述的方法，其特征在于，所述图片序列中的所述图片是同一相机基于固定视角拍摄的。
3.根据权利要求2所述的方法，其特征在于，所述根据所述参考对象集合中的参考对象，确定所述目标对象集合中的目标对象在所述第二时间参数上的状态变化信息，包括：
确定所述第一目标对象位于所述目标图片中的第一区域；
确定所述参考图片中与所述第一区域对应的第二区域；
若所述第二区域不存在与所述第一目标对象匹配的第一参考对象，确定所述第一目标对象在所述第二时间参数上的状态变化信息为第一状态变化信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述参考对象集合中的参考对象，确定所述目标对象集合中的目标对象在所述第二时间参数上的状态变化信息，包括：
确定所述第二目标对象位于所述目标图片中的第三区域；
从参考图片中确定第四区域；所述第四区域中存在与所述第二目标对象匹配的第二参考对象；
确定所述第二目标对象相对于所述目标图片的第一相对位置关系值，以及确定所述第二参考对象相对于所述参考图片的第二相对位置关系值；
基于所述第一相对位置关系值和所述第二相对位置关系值，确定位置关系匹配值；
基于所述位置关系匹配值，确定所述第二目标对象在所述第二时间参数上的状态变化信息为第二状态变化信息。
5.根据权利要求4所述的方法，其特征在于，所述根据所述参考对象集合中的参考对象，确定所述目标对象集合中的目标对象在所述第二时间参数上的状态变化信息，包括：
确定所述第三参考对象位于所述参考图片中的第五区域；
确定所述目标图片中与所述第五区域对应的第六区域；
若所述第六区域不存在与所述第三参考对象匹配的第三目标对象，确定所述第三参考对象在所述第二时间参数上的状态变化信息为第三状态变化信息。
6.根据权利要求4所述的方法，其特征在于，所述基于所述位置关系匹配值，确定所述第二目标对象在所述第二时间参数上的状态变化信息为第二状态变化信息，包括：
若所述位置关系匹配值为第一关系匹配值，
确定所述第二目标对象在所述第二时间参数上的状态变化信息为第一子状态信息。
7.根据权利要求4所述的方法，其特征在于，所述基于所述位置关系匹配值，确定所述第二目标对象在所述第二时间参数上的状态变化信息为第二状态变化信息，包括：
若所述位置关系匹配值为第二关系匹配值，
确定所述第二目标对象在所述第二时间参数上的状态变化信息为第二子状态信息。
8.一种确定事件图谱的装置，其特征在于，包括：
采样模块，用于对视频流进行采样，得到图片序列；所述图片序列中的图片带有时间参数；
第一确定模块，用于从所述图片序列中确定带有第一时间参数的参考图片，以及确定带有第二时间参数的目标图片；所述参考图片和所述目标图片为所述图片序列中相邻的两张图片，所述第一时间参数早于所述第二时间参数；
识别模块，用于从所述参考图片中识别参考对象集合，以及从所述目标图片中识别目标对象集合；
第二确定模块，用于根据所述参考对象集合中的参考对象，确定所述目标对象集合中的目标对象在所述第二时间参数上的状态变化信息；
第三确定模块，用于根据所述目标对象、所述第二时间参数和所述状态变化信息，确定事件图谱。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现权利要求1-7任意一项所述确定事件图谱的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任意一项所述确定事件图谱的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911041152.5A CN111027376A (zh) | 2019-10-28 | 2019-10-28 | 一种确定事件图谱的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911041152.5A CN111027376A (zh) | 2019-10-28 | 2019-10-28 | 一种确定事件图谱的方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111027376A true CN111027376A (zh) | 2020-04-17 |
Family
ID=70204690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911041152.5A Pending CN111027376A (zh) | 2019-10-28 | 2019-10-28 | 一种确定事件图谱的方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111027376A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001265A (zh) * | 2020-07-29 | 2020-11-27 | 北京百度网讯科技有限公司 | 视频事件识别方法、装置、电子设备及存储介质 |
| CN112257546A (zh) * | 2020-10-19 | 2021-01-22 | 浙江宇视科技有限公司 | 一种事件预警方法、装置、电子设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678299A (zh) * | 2012-08-30 | 2014-03-26 | 中兴通讯股份有限公司 | 一种监控视频摘要的方法及装置 |
| CN104079798A (zh) * | 2013-03-25 | 2014-10-01 | 日电（中国）有限公司 | 图像检测方法、装置及一种视频监控系统 |
| CN104103079A (zh) * | 2013-04-01 | 2014-10-15 | 浙江大华技术股份有限公司 | 一种运动目标的入侵检测方法及装置 |
| CN104658007A (zh) * | 2013-11-25 | 2015-05-27 | 华为技术有限公司 | 一种实际运动目标的识别方法及装置 |
| CN106375870A (zh) * | 2016-08-31 | 2017-02-01 | 北京旷视科技有限公司 | 视频标注方法及装置 |
| CN108230353A (zh) * | 2017-03-03 | 2018-06-29 | 北京市商汤科技开发有限公司 | 目标跟踪方法、系统及电子设备 |
| CN108694724A (zh) * | 2018-05-11 | 2018-10-23 | 西安天和防务技术股份有限公司 | 一种长时间目标跟踪方法 |
| CN108898086A (zh) * | 2018-06-20 | 2018-11-27 | 腾讯科技（深圳）有限公司 | 视频图像处理方法及装置、计算机可读介质和电子设备 |
| CN109166261A (zh) * | 2018-10-11 | 2019-01-08 | 平安科技（深圳）有限公司 | 基于图像识别的图像处理方法、装置、设备及存储介质 |
| CN109215058A (zh) * | 2018-09-17 | 2019-01-15 | 北京云测信息技术有限公司 | 一种用于图像识别人脸跟踪的标注方法 |
| CN109756727A (zh) * | 2017-08-25 | 2019-05-14 | 华为技术有限公司 | 信息显示方法及相关设备 |
| CN110084187A (zh) * | 2019-04-25 | 2019-08-02 | 江苏紫米电子技术有限公司 | 基于计算机视觉的位置识别方法、装置、设备及存储介质 |
| CN110210276A (zh) * | 2018-05-15 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 一种移动轨迹获取方法及其设备、存储介质、终端 |
-
2019
- 2019-10-28 CN CN201911041152.5A patent/CN111027376A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678299A (zh) * | 2012-08-30 | 2014-03-26 | 中兴通讯股份有限公司 | 一种监控视频摘要的方法及装置 |
| CN104079798A (zh) * | 2013-03-25 | 2014-10-01 | 日电（中国）有限公司 | 图像检测方法、装置及一种视频监控系统 |
| CN104103079A (zh) * | 2013-04-01 | 2014-10-15 | 浙江大华技术股份有限公司 | 一种运动目标的入侵检测方法及装置 |
| CN104658007A (zh) * | 2013-11-25 | 2015-05-27 | 华为技术有限公司 | 一种实际运动目标的识别方法及装置 |
| CN106375870A (zh) * | 2016-08-31 | 2017-02-01 | 北京旷视科技有限公司 | 视频标注方法及装置 |
| CN108230353A (zh) * | 2017-03-03 | 2018-06-29 | 北京市商汤科技开发有限公司 | 目标跟踪方法、系统及电子设备 |
| CN109756727A (zh) * | 2017-08-25 | 2019-05-14 | 华为技术有限公司 | 信息显示方法及相关设备 |
| CN108694724A (zh) * | 2018-05-11 | 2018-10-23 | 西安天和防务技术股份有限公司 | 一种长时间目标跟踪方法 |
| CN110210276A (zh) * | 2018-05-15 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 一种移动轨迹获取方法及其设备、存储介质、终端 |
| CN108898086A (zh) * | 2018-06-20 | 2018-11-27 | 腾讯科技（深圳）有限公司 | 视频图像处理方法及装置、计算机可读介质和电子设备 |
| CN109215058A (zh) * | 2018-09-17 | 2019-01-15 | 北京云测信息技术有限公司 | 一种用于图像识别人脸跟踪的标注方法 |
| CN109166261A (zh) * | 2018-10-11 | 2019-01-08 | 平安科技（深圳）有限公司 | 基于图像识别的图像处理方法、装置、设备及存储介质 |
| CN110084187A (zh) * | 2019-04-25 | 2019-08-02 | 江苏紫米电子技术有限公司 | 基于计算机视觉的位置识别方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| BANGJUN LEI 等: "Real-time outdoor video surveillance with robust foreground extraction and object tracking via multi-state transition management", 《PATTERN RECOGNITON LETTERS》, vol. 27, no. 15, pages 1816 - 1825 * |
| 方帅 等: "视频监控中的运动目标跟踪算法", 《控制与决策》, vol. 20, no. 12, pages 1388 - 1391 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001265A (zh) * | 2020-07-29 | 2020-11-27 | 北京百度网讯科技有限公司 | 视频事件识别方法、装置、电子设备及存储介质 |
| CN112001265B (zh) * | 2020-07-29 | 2024-01-23 | 北京百度网讯科技有限公司 | 视频事件识别方法、装置、电子设备及存储介质 |
| CN112257546A (zh) * | 2020-10-19 | 2021-01-22 | 浙江宇视科技有限公司 | 一种事件预警方法、装置、电子设备及存储介质 |
| CN112257546B (zh) * | 2020-10-19 | 2024-04-09 | 浙江宇视科技有限公司 | 一种事件预警方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108256479B (zh) | 人脸跟踪方法和装置 | |
| CN109582880B (zh) | 兴趣点信息处理方法、装置、终端及存储介质 | |
| CN106846497B (zh) | 应用于终端的呈现三维地图的方法和装置 | |
| CN109858333B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN109034069B (zh) | 用于生成信息的方法和装置 | |
| CN110660102B (zh) | 基于人工智能的说话人识别方法及装置、系统 | |
| CN112820071B (zh) | 一种行为识别方法和装置 | |
| CN109325996B (zh) | 用于生成信息的方法和装置 | |
| CN109272543B (zh) | 用于生成模型的方法和装置 | |
| CN108388649B (zh) | 处理音视频的方法、系统、设备及存储介质 | |
| CN111753766B (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN108229375B (zh) | 用于检测人脸图像的方法和装置 | |
| CN113610034B (zh) | 识别视频中人物实体的方法、装置、存储介质及电子设备 | |
| CN114332716A (zh) | 视频中场景的聚类方法、装置、电子设备及存储介质 | |
| CN113255819A (zh) | 用于识别信息的方法和装置 | |
| CN109064464B (zh) | 用于检测电池极片毛刺的方法和装置 | |
| CN112991542A (zh) | 房屋三维重建方法、装置和电子设备 | |
| CN111027376A (zh) | 一种确定事件图谱的方法、装置、电子设备及存储介质 | |
| CN111340015B (zh) | 定位方法和装置 | |
| CN116721139A (zh) | 生成图像数据的深度图像 | |
| CN113688839B (zh) | 视频处理方法及装置、电子设备、计算机可读存储介质 | |
| CN115439534B (zh) | 图像的特征点匹配方法、设备、介质及程序产品 | |
| CN118426581A (zh) | 一种元宇宙数据处理方法和系统 | |
| CN111369624B (zh) | 定位方法和装置 | |
| CN111968030B (zh) | 信息生成方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200417 |