CN117112815A - 个人关注视频事件检索方法和系统、存储介质及电子设备 - Google Patents
个人关注视频事件检索方法和系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117112815A CN117112815A CN202310664229.4A CN202310664229A CN117112815A CN 117112815 A CN117112815 A CN 117112815A CN 202310664229 A CN202310664229 A CN 202310664229A CN 117112815 A CN117112815 A CN 117112815A
- Authority
- CN
- China
- Prior art keywords
- video event
- video
- event
- searched
- root node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012216 screening Methods 0.000 claims abstract description 42
- 239000013598 vector Substances 0.000 claims description 70
- 238000004590 computer program Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/44—Browsing; Visualisation therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种个人关注视频事件检索方法和系统、存储介质及电子设备。方法包括:根据个人关注视频事件信息网络,确定并选择个人关注的视频事件集合中一个视频事件作为待检索视频事件,在资源视频事件信息网络中遍历符合条件的根节点,根据待检索视频事件判断是否将根节点对应的视频事件添加到结果集;若是,遍历根节点下子节点,并计算该子节点与待检索视频事件的相似率,并关联到子节点对应的视频事件上,并添加至结果集;确定符合根节点筛选条件的根节点是否全部遍历结束;若是,生成待检索视频事件的第一结果集,完成检索。本申请中用户可根据自己设置的个人关注视频事件,随时在资源视频事件信息网络中进行视频事件的查询分析。
Description
技术领域
本申请涉及视频和图像处理技术领域,具体而言,涉及一种个人关注视频事件检索方法和系统、存储介质及电子设备。
背景技术
随着信息技术和互联网的飞速发展,网络上的视频以惊人的速度产生和传播,有些视频的大量传播可能会对社会舆论产生巨大影响。例如假新闻和谣言等视频的大量传播,会对社会舆论产生负面影响,不利于社会的稳定;又如民众对国家制定政策的评论,会引起有关部门的关注,甚至影响国家下一步政策的调整;在这样的背景下,如何从海量的视频中迅速发现与监查人员重点关注的视频事件相似的视频,及时发现和限制负面舆论的传播并予以清除,确保视频舆情的正确导向,是舆情监测的工作的重中之重。
在现有技术中,通常采用遍历一段时间内存在的视频进行分析,该段时间内存在大量内容相同的视频,使得遍历的视频数量庞大,同时监查人员人工查看视频的方式费时费力,无法及时从海量视频中及时发现与其重点关注的视频相似的视频,从而无法及时发现并限制负面舆论导向视频的传播,不利于确保视频舆情的正确导向和稳定。
发明内容
本申请实施例提供了一种个人关注视频事件检索方法和系统、存储介质及电子设备,以至少解决无法及时从海量视频中及时发现与其重点关注的视频相似的视频的技术问题。
根据本申请实施例的一个方面,应用于个人关注视频事件信息网络和资源视频事件信息网络,方法包括:根据个人关注视频事件信息网络,确定个人关注的视频事件集合,并选择个人关注的视频事件集合中的一个视频事件作为第一待检索视频事件,执行以下操作:确定根节点筛选条件,在资源视频事件信息网络中遍历符合根节点筛选条件的根节点时,根据第一待检索视频事件判断是否将根节点对应的视频事件添加到结果集中;其中,个人关注视频事件信息网络是基于个人关注的视频文件的视频事件集合对应的森林结构生成的,资源视频事件信息网络是基于实时上传的资源视频文件的视频事件集合对应的森林结构生成的,森林结构是基于视频事件信息空间以多级树集合为基础构造的,视频事件信息空间是指视频事件特征向量所在的多维向量空间,视频事件特征向量是基于个人关注的视频文件或者实时资源视频文件生成的,多级树包括根节点和子节点,任意两个根节点对应的视频事件之间的差异率大于预设阈值,每个根节点的子节点与其根节点对应的视频事件之间的差异率小于等于预设阈值;在将根节点对应的视频事件添加到结果集中时,遍历根节点下的子节点,并计算子节点与第一待检索视频事件的相似率,并将相似率关联到子节点对应的视频事件上,并添加到结果集中;确定符合所述根节点筛选条件的根节点是否全部遍历结束;若是,则生成该第一待检索视频事件的第一结果集,完成检索。
可选的,视频事件是指一个镜头内所有内容帧的集合,视频事件特征向量为在相同坐标系下对内容帧的集合提取特征矩阵后计算得到,内容帧是指表示镜头内容的帧,包括首帧、尾帧、和N个中间帧,N为自然数,中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算,当差异率大于预设阈值时得到。
可选的,根据个人关注视频事件信息网络,确定个人关注的视频事件集合,包括:根据个人关注视频事件信息网络,生成并展示个人关注的视频信息列表;当接收到对视频信息列表的选择指令时,确定所选择的至少一个目标视频信息;在预先生成的视频信息和视频事件的映射关系中确定目标视频信息对应的视频事件,得到至少一个个人关注的视频事件;将至少一个个人关注的视频事件保存至集合,得到个人关注的视频事件集合。
可选的,进一步包括:从个人关注的视频事件集合的剩余待检索视频事件中继续选择一个待检索视频事件执行操作得到相应的结果集,直至全部待检索视频事件完成操作,将所有待检索视频事件执行操作后得到的结果集合并,得到最终结果集,基于最终结果集生成视频事件的检索结果,并实时返回至客户端。
可选的,进一步包括:将个人关注的视频事件集合中任意一个视频事件作为第一待检索视频事件;针对每个第一待检索视频事件,并行执行确定根节点筛选条件的步骤,直到并行得到每个第一待检索视频事件的第一结果集;将并行得到的每个第一待检索视频事件的第一结果集合并,得到最终结果集,基于最终结果集生成视频事件的检索结果,并实时返回至客户端。
可选的,根据第一待检索视频事件判断是否将根节点对应的视频事件添加到结果集中,包括:确定根节点对应的第一视频事件,并判断该第一视频事件与第一待检索视频事件之间是否相似;若是,则计算第一视频事件与第一待检索视频事件之间的相似率,并将相似率关联到所述根节点对应的视频事件上,并添加到结果集中。
可选的,判断该第一视频事件与第一待检索视频事件之间是否相似,包括:计算第一待检索视频事件的内容帧数量与该第一视频事件的内容帧数量差值的绝对值;当内容帧数量差值的绝对值小于等于预设数量阈值时,根据第一待检索视频事件的内容帧的特征向量得到第一待检索视频事件的特征向量以及特征向量的模,根据第一视频事件的内容帧的特征向量得到第一视频事件的特征向量以及第一视频事件的特征向量的模,根据第一待检索视频事件的特征向量以及第一视频事件的特征向量,得到第一待检索视频事件与第一视频事件的特征向量差异值,根据第一待检索视频事件与第一视频事件的特征向量差异值、第一待检索视频事件的特征向量的模、第一视频事件的特征向量的模,得到第一待检索视频事件和第一视频事件之间的特征向量差异率;当特征向量差异率小于等于预设差异率阈值时,判断第一待检索视频事件的任一内容帧是否在第一视频事件中均存在目标内容帧,计算第一待检索视频事件的每一内容帧与其对应的目标内容帧的内容帧差异率;当第一待检索视频事件的每一内容帧与其对应的目标内容帧的内容帧差异率小于等于预设差异率阈值时,计算第一待检索视频事件与该第一视频事件的相似率;当相似率大于等于预设相似率阈值时,确定第一待检索视频事件与该第一视频事件相似。
可选的,基于最终结果集生成视频事件的检索结果,并实时返回至客户端,包括:获取第一待检索视频事件对应的目标镜头数据;获取第二视频事件对应的第二镜头数据;第二视频事件为最终结果集中任意一个视频事件;确定第一待检索视频事件与第二视频事件之间的相似率,得到视频事件间的相似率;将目标镜头数据、第二镜头数据、视频事件间的相似率及其ID标识符保存到数据库中;将目标镜头数据、第二镜头数据、视频事件间的相似率及其ID标识符实时返回至用户当前登录的客户端。
可选的,根据个人关注视频事件信息网络,确定个人关注的视频事件集合之前,还包括:接收来自个人上传的原始视频文件,得到个人关注的视频样本,或者获取上传的资源视频文件;预处理个人关注的视频样本或者资源视频文件,得到目标视频;对目标视频进行镜头分割,得到至少一个镜头;根据至少一个镜头,生成镜头数据;提取每个镜头的内容帧;根据每个镜头的内容帧,生成内容帧数据;根据每个镜头的镜头数据和内容帧数据生成每个视频事件;将每个视频事件作为根节点或子节点,构成个人关注视频事件信息网络或者资源视频事件信息网络。
根据本申请实施例的另一方面,还提供了一种个人关注视频事件检索系统,应用于个人关注视频事件信息网络和资源视频事件信息网络,系统包括:确定模块,用于根据个人关注视频事件信息网络,确定个人关注的视频事件集合,并选择个人关注的视频事件集合中的一个视频事件作为第一待检索视频事件,执行以下操作:第一添加模块,用于确定根节点筛选条件,在资源视频事件信息网络中遍历符合根节点筛选条件的根节点时,根据第一待检索视频事件判断是否将根节点对应的视频事件添加到结果集中;其中,个人关注视频事件信息网络是基于个人关注的视频文件的视频事件集合对应的森林结构生成的,资源视频事件信息网络是基于实时上传的资源视频文件的视频事件集合对应的森林结构生成的,森林结构是基于视频事件信息空间以多级树集合为基础构造的,视频事件信息空间是指视频事件特征向量所在的多维向量空间,视频事件特征向量是基于个人关注的视频文件或者实时资源视频文件生成的,多级树包括根节点和子节点,任意两个根节点对应的视频事件之间的差异率大于预设阈值,每个根节点的子节点与其根节点对应的视频事件之间的差异率小于等于预设阈值;第二添加模块,用于在将根节点对应的视频事件添加到结果集中时,遍历根节点下的子节点,并计算子节点与第一待检索视频事件的相似率,并将相似率关联到子节点对应的视频事件上,并添加到结果集中;判断模块,用于确定符合所述根节点筛选条件的根节点是否全部遍历结束;结果集模块,用于若是,则生成该第一待检索视频事件的第一结果集,完成检索。
根据本申请实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过上述计算机程序执行上述的个人关注视频事件检索方法。
根据本申请实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述个人关注视频事件检索方法。
在本申请实施例中,个人关注视频事件检索系统首先根据个人关注视频事件信息网络,确定个人关注的视频事件集合,并选择个人关注的视频事件集合中的一个视频事件作为第一待检索视频事件,然后确定根节点筛选条件,并在资源视频事件信息网络中遍历符合根节点筛选条件的根节点时,以及根据第一待检索视频事件判断是否将根节点对应的视频事件添加到结果集中;其次在将根节点对应的视频事件添加到结果集中时,遍历根节点下的子节点,并计算子节点与第一待检索视频事件的相似率,并将相似率关联到子节点对应的视频事件上,并添加到结果集中,最后确定符合所述根节点筛选条件的根节点是否全部遍历结束;若是,则生成该第一待检索视频事件的第一结果集,完成检索。通过本申请用户可根据自己设置的个人关注视频事件,随时在资源视频事件信息网络中进行相关视频事件的查询分析,并可将返回结果中的视频事件添加为新的个人关注视频事件,为视频事件的查询和分析提供了有效方法。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种可选的个人关注视频事件检索方法的应用环境的示意图;
图2是根据本申请实施例的另一种可选的个人关注视频事件检索方法的应用环境的示意图;
图3是根据本申请实施例的一种可选的个人关注视频事件检索方的流程示意图;
图4是根据本申请实施例的一种内容帧选取的示意图;
图5是根据本申请实施例的一种视频到内容帧的分层次提取过程示意图;
图6是根据本申请实施例的一种个人关注视频事件信息网络的生成流程示意图;
图7是根据本申请实施例的一种个人关注视频事件检索结果的显示页面示意图;
图8是根据本申请实施例的一种个人关注视频事件检索过程的过程示意框图;
图9是根据本申请实施例的一种个人关注视频事件检索系统的结构示意图;
图10是根据本申请实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种个人关注视频事件检索方法,作为一种可选地实施方式,上述个人关注视频事件检索方法可以但不限于应用于如图1所示的应用环境中。该应用环境中包括:与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互,终端设备102中运行有个人关注视频事件检索应用程序。上述终端设备102中包括人机交互屏幕1022,处理器1024及存储器1026。人机交互屏幕1022用于显示原始视频集合;处理器1024用于生成个人关注的视频事件集合和检索结果。存储器1026用于存储上述个人关注的视频事件集合和检索结果。
此外,服务器106中包括数据库1062及处理引擎1064,数据库1062中用于存储上述个人关注的视频事件集合和检索结果。处理引擎1064用于:根据个人关注视频事件信息网络,确定个人关注的视频事件集合,并选择个人关注的视频事件集合中的一个视频事件作为第一待检索视频事件,执行以下操作:确定根节点筛选条件,在资源视频事件信息网络中遍历符合根节点筛选条件的根节点时,根据第一待检索视频事件判断是否将根节点对应的视频事件添加到结果集中;其中,个人关注视频事件信息网络是基于个人关注的视频文件的视频事件集合对应的森林结构生成的,资源视频事件信息网络是基于实时上传的资源视频文件的视频事件集合对应的森林结构生成的,森林结构是基于视频事件信息空间以多级树集合为基础构造的,视频事件信息空间是指视频事件特征向量所在的多维向量空间,视频事件特征向量是基于个人关注的视频文件或者实时资源视频文件生成的,多级树包括根节点和子节点,任意两个根节点对应的视频事件之间的差异率大于预设阈值,每个根节点的子节点与其根节点对应的视频事件之间的差异率小于等于预设阈值;在将根节点对应的视频事件添加到结果集中时,遍历根节点下的子节点,并计算子节点与第一待检索视频事件的相似率,并将相似率关联到子节点对应的视频事件上,并添加到结果集中;确定符合所述根节点筛选条件的根节点是否全部遍历结束;若是,则生成该第一待检索视频事件的第一结果集,完成检索。
在一个或多个实施例中,本申请上述个人关注视频事件检索方法可以应用于图2所示的应用环境中。如图2所示,用户202与用户设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中用户设备204可以但不限于参考执行上述终端设备102所执行的操作,检索出与个人关注视频事件相似的资源视频事件。
可选地,上述终端设备102和用户设备204包括但不限于为手机、平板电脑、笔记本电脑、PC机,车载电子设备,可穿戴设备等终端,上述网络104可以包括但不限于无线网络或有线网络。其中,该无线网络包括:WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于:广域网、城域网、局域网。上述服务器106可以包括但不限于任何可以进行计算的硬件设备。上述服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,或者是云服务器。上述仅是一种示例,本实施例中对此不作任何限定。
相关技术中通常采用遍历一段时间内存在的视频进行分析,该段时间内存在大量内容相同的视频,使得遍历的视频数量庞大,同时监查人员人工查看视频的方式费时费力,无法及时从海量视频中及时发现与其重点关注的视频相似的视频,从而无法及时发现并限制负面舆论导向视频的传播,无法确保视频舆情的正确导向和稳定。
为了解决上述技术问题,作为一种可选地实施方式,如图3所示,本申请实施例提供了一种个人关注视频事件检索方法,应用于个人关注视频事件信息网络和资源视频事件信息网络,包括如下步骤:
S101,根据个人关注视频事件信息网络,确定个人关注的视频事件集合,并选择个人关注的视频事件集合中的一个视频事件作为第一待检索视频事件;
其中,个人关注视频事件信息网络是基于个人关注的视频文件的视频事件集合对应的森林结构生成的,森林结构是基于视频事件信息空间以多级树集合为基础构造的,视频事件信息空间是指视频事件特征向量所在的多维向量空间,视频事件特征向量是基于个人关注的视频文件生成的,多级树包括根节点和子节点,任意两个根节点对应的视频事件之间的差异率大于预设阈值,每个根节点的子节点与其根节点对应的视频事件之间的差异率小于等于预设阈值。
需要说明的是,本申请中的多级树可为2级树结构,每个子节点至少属于1个根节点,根节点下可以没有子节点。
其中,视频事件是指一个镜头内所有内容帧的集合,视频事件特征向量为在相同坐标系下对内容帧的集合提取特征矩阵后计算得到,内容帧是指表示镜头内容的帧,包括首帧、尾帧、和N个中间帧,N为自然数,中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算,当差异率大于预设阈值时得到。
例如,通过分析镜头中内容的差异,可以从连续帧序列中选取少量的帧来表示镜头的内容,这些帧即为内容帧。内容帧至少包括镜头的首尾两帧(镜头帧),所以一个镜头内容帧数量≥2。
例如图4所示,首帧是第一个内容帧,然后计算第2、第3帧.....与其差异率,直到大于预设阈值,假如第2、3与首帧的差异率小于预设阈值,而第4帧大于预设阈值,则第4帧就是第二个内容帧。然后计算第5、第6....与第4帧的差异率,直到大预设阈值,假如第5、6、7帧与首帧的差异率小于预设阈值,而第8帧大于预设阈值,则第8帧就是第三个内容帧。依次类推,计算出所有首帧和尾帧之间的所有子帧中的内容帧。尾帧直接选定为最后一个内容帧,而不必计算与其前一个内容帧之间的差异率。
例如一个监控视频,夜晚期间人少车少,视频画面变化很小,那内容帧会很少,例如在10个小时内仅提取个位数个内容帧。而白天人多车多,视频画面里面人和物的变化频繁,按照上面方法计算出来的内容帧会比晚上多很多。由此,内容帧相对于关键帧来说,保证了不丢失镜头视频的所有内容信息,因为关键帧有可能丢失部分镜头内容。而相对于视频每一帧都要计算和考虑的方案,内容帧的选取由于只选取了部分视频图像帧,在不丢失内容的前提下,极大了减少了图像计算量。
例如图5所示,目标视频的视频内容是由连续帧序列组成的,按照视频内容的连续性可将连续帧序列分为多组,每组连续帧序列即为一个镜头。通过分析视频镜头中内容的差异,从连续帧序列中选取少量的帧来表示镜头的内容,这些帧即为内容帧。内容帧至少包括镜头的首尾两帧(镜头帧),所以一个镜头内容帧数量≥2。
在本申请实施例中,在生成个人关注视频事件信息网络时,例如图6所示,首先接收来自个人上传的原始视频文件,得到个人关注的视频样本,再预处理个人关注的视频样本或者资源视频文件,得到目标视频,然后对目标视频进行镜头分割,得到至少一个镜头,再根据至少一个镜头,生成镜头数据,并提取每个镜头的内容帧,其次根据每个镜头的内容帧,生成内容帧数据,再根据每个镜头的镜头数据和内容帧数据生成每个视频事件,最后将每个视频事件作为根节点或子节点,构成个人关注视频事件信息网络。其中,镜头分割可采用现有技术中的任意一种进行,此处不再赘述。其中,视频预处理包括解帧、归一化等操作,视频属性信息包括大小、时长、分辨率等。
具体的,个人上传的原始视频文件是来自第三方信息网络的,也可以是从第三方信息网络调取的,具体可根据实际应用场景进行确定,此处不做限定。
在本申请实施例中,在根据个人关注视频事件信息网络,确定个人关注的视频事件集合时,首先根据个人关注视频事件信息网络,生成并展示个人关注的视频信息列表;然后当接收到对视频信息列表的选择指令时,确定所选择的至少一个目标视频信息;其次在预先生成的视频信息和视频事件的映射关系中确定目标视频信息对应的视频事件,得到至少一个个人关注的视频事件;最后将至少一个个人关注的视频事件保存至集合,得到个人关注的视频事件集合。
进一步地,在得到个人关注的视频事件集合后,在单线程的场景下,本申请可以选择个人关注的视频事件集合中的一个视频事件作为第一待检索视频事件。
或者,在多线程的场景下,本申请可以将个人关注的视频事件集合中任意一个视频事件作为第一待检索视频事件。
S102,确定根节点筛选条件,在资源视频事件信息网络中遍历符合根节点筛选条件的根节点时,根据第一待检索视频事件判断是否将根节点对应的视频事件添加到结果集中;其中,个人关注视频事件信息网络是基于个人关注的视频文件的视频事件集合对应的森林结构生成的,资源视频事件信息网络是基于实时上传的资源视频文件的视频事件集合对应的森林结构生成的,森林结构是基于视频事件信息空间以多级树集合为基础构造的,视频事件信息空间是指视频事件特征向量所在的多维向量空间,视频事件特征向量是基于个人关注的视频文件或者实时资源视频文件生成的,多级树包括根节点和子节点,任意两个根节点对应的视频事件之间的差异率大于预设阈值,每个根节点的子节点与其根节点对应的视频事件之间的差异率小于等于预设阈值;
其中,根节点筛选条件是用户在条件集合中选择的。
在本申请实施例中,在生成资源视频事件信息网络时,首先获取上传的资源视频文件,再预处理资源视频文件,得到目标视频,然后对目标视频进行镜头分割,得到至少一个镜头,再根据至少一个镜头,生成镜头数据,其次提取每个镜头的内容帧,再根据每个镜头的内容帧,生成内容帧数据,最后根据每个镜头的镜头数据和内容帧数据生成每个视频事件,并将每个视频事件作为根节点或子节点,构成资源视频事件信息网络。
在本申请实施例中,用户在展示的根节点筛选条件集合中手动设置一个或多个根节点筛选条件,然后系统在资源视频事件信息网络中查找符合该选择的一个或多个根节点筛选条件的根节点,如果存在符合的根节点,则根据第一待检索视频事件判断是否将根节点对应的视频事件添加到结果集中。
在本申请实施例中,在根据第一待检索视频事件判断是否将根节点对应的视频事件添加到结果集中时,确定根节点对应的第一视频事件,并判断该第一视频事件与第一待检索视频事件之间是否相似;若是,则计算第一视频事件与第一待检索视频事件之间的相似率,并将相似率关联到所述根节点对应的视频事件上,并添加到结果集中。
具体的,在判断该第一视频事件与第一待检索视频事件之间是否相似时,首先计算第一待检索视频事件的内容帧数量与该第一视频事件的内容帧数量差值的绝对值;然后当内容帧数量差值的绝对值小于等于预设数量阈值时,根据第一待检索视频事件的内容帧的特征向量得到第一待检索视频事件的特征向量以及特征向量的模,根据第一视频事件的内容帧的特征向量得到第一视频事件的特征向量以及第一视频事件的特征向量的模,根据第一待检索视频事件的特征向量以及第一视频事件的特征向量,得到第一待检索视频事件与第一视频事件的特征向量差异值,根据第一待检索视频事件与第一视频事件的特征向量差异值、第一待检索视频事件的特征向量的模、第一视频事件的特征向量的模,得到第一待检索视频事件和第一视频事件之间的特征向量差异率;其次当特征向量差异率小于等于预设差异率阈值时,判断第一待检索视频事件的任一内容帧是否在第一视频事件中均存在目标内容帧,计算第一待检索视频事件的每一内容帧与其对应的目标内容帧的内容帧差异率;并当第一待检索视频事件的每一内容帧与其对应的目标内容帧的内容帧差异率小于等于预设差异率阈值时,计算第一待检索视频事件与该第一视频事件的相似率;最后当相似率大于等于预设相似率阈值时,确定第一待检索视频事件与该第一视频事件相似。
具体的,在判断该第一视频事件与第一待检索视频事件之间是否相似时,可将第一待检索视频事件可记为q,该第一视频事件可记为p,已知事件p的内容帧数量fcntp和事件q的内容帧数量fcntq,如果事件q和p可能相似,必满足关系fcntp≥fcntq(如果不满足,将p,q互换),判断事件q是否与事件p相似的方法如下:
步骤1:判断事件p与q的内容帧数量fcntp与fcntq是否满足:
fcntp-cntq≤diffmax;其中diffmax≥0为预设阈值,如果不满足则事件p与q不相似,判断结束;
步骤2:计算事件p的特征向量EV(p)与事件q的特征向量EV(q)的特征向量差异率DisEV(p,q);视频事件特征向量为EV;
步骤3:判断是否满足条件:
DisEV(p,q)≤DisEVmax;
其中DisEVmax为预设阈值,不满足则事件q与p不相似,判断结束;
步骤4:进行精确计算,通过公式计算内容帧特征矩阵的差异率是否满足条件:
满足:
如果不满足,则事件p与q不相似,判断结束;其中,Dis(i)为事件p的j内容帧和事件q的i内容帧之间的最终差异率,dis(fpj,fqi)为事件p的j内容帧和事件q的i内容帧之间的原始差异率,θ为固有误差,/>为计算误差的预设阈值,fpi和fqi分别为事件p的j内容帧和事件q的i内容帧;dismax为预设差异率阈值;
步骤5:计算p与q的相似率SimEV(p,q),公式如下:
Dis(i)为事件p与事件q的i内容帧相似的j内容帧之间的最终差异率;
步骤6:判断SimEV是否满足条件:
SimEV≥SimEVmin
其中SimEVmin为预设阈值,满足条件则事件p与q相似,否则不相似。
S103,在将根节点对应的视频事件添加到结果集中时,遍历根节点下的子节点,并计算子节点与第一待检索视频事件的相似率,并将相似率关联到子节点对应的视频事件上,并添加到结果集中;
S104,确定符合所述根节点筛选条件的根节点是否全部遍历结束;
在本申请实施例中,在将子节点对应的视频事件添加到结果集中时,继续获取该根节点下的下一个子节点,如果没有下一个子节点,继续获取下一个符合根节点筛选条件的根节点,如果没有下一个符合根节点筛选条件的根节点,则说明根节点下的子节点全部遍历结束且符合根节点筛选条件的根节点也全部遍历结束。
进一步地,如果存在下一个子节点,或者存在下一个符合根节点筛选条件的根节点,则继续根据第一待检索视频事件判断是否将其加入到结果集中,直到根节点下的子节点全部遍历结束且符合根节点筛选条件的根节点也全部遍历结束。
S105,若是,则生成该第一待检索视频事件的第一结果集,完成检索。
在本申请实施例中,在遍历结束后,可生成该第一待检索视频事件的第一结果集,完成检索。
进一步地,在完成检索后,继续从个人关注的视频事件集合的剩余待检索视频事件中继续选择一个待检索视频事件执行操作得到相应的结果集,直至全部待检索视频事件完成操作,将所有待检索视频事件执行操作后得到的结果集合并,得到最终结果集,基于最终结果集生成视频事件的检索结果,并实时返回至客户端。
在另一种可能的实现方式中,在多线程的场景下,首先将个人关注的视频事件集合中任意一个视频事件作为第一待检索视频事件;然后针对每个第一待检索视频事件,并行执行确定根节点筛选条件的步骤,直到并行得到每个第一待检索视频事件的第一结果集;最后将并行得到的每个第一待检索视频事件的第一结果集合并,得到最终结果集,基于最终结果集生成视频事件的检索结果,并实时返回至客户端。
具体的,在基于最终结果集生成视频事件的检索结果,并实时返回至客户端时,首先获取第一待检索视频事件对应的目标镜头数据;然后获取第二视频事件对应的第二镜头数据;第二视频事件为最终结果集中任意一个视频事件;再确定第一待检索视频事件与第二视频事件之间的相似率,得到视频事件间的相似率;其次将目标镜头数据、第二镜头数据、视频事件间的相似率及其ID标识符保存到数据库中;最后将目标镜头数据、第二镜头数据、视频事件间的相似率及其ID标识符实时返回至用户当前登录的客户端,例如图7所示。
例如图8所示,图8是本申请提供的一种个人关注视频事件检索过程的过程示意框图,个人关注视频事件检索过程包括以下步骤:
步骤1:根据个人关注视频信息网络进行条件筛选,得到符合条件的个人关注事件集合;
步骤2:在集合中遍历个人关注事件,设遍历到的一个个人关注事件为E;
步骤3:从视频事件信息网中遍历选取出符合预设筛选条件的根节点集合;
步骤4:在根节点集合中遍历根节点,设遍历到的一个根节点为Er;
步骤5:计算E与Er的相似率Sim;
步骤6:如果满足条件Sim≥Simmin(Simmin为预设阈值)则E与Er相似,将E与Er添加到结果集中;否则转到步骤11;
步骤7:遍历Er下所有子节点,设当前子节点为Ec;
步骤8:计算E与Ec的相似率Sim;
步骤9:将E与Ec的相似率Sim关联到Ec对应的视频事件上,并将其添加到结果集中;
步骤10:重复步骤7~9直到子节点遍历结束;
步骤11:重复步骤4~10直到根节点遍历结束;
步骤12:重复步骤2~11直到个人关注事件遍历结束;
步骤13:返回结果集。
本申请实施例还具有以下有益效果:
在本申请实施例中,通过本申请用户可根据自己设置的个人关注视频事件,随时在资源视频事件信息网络中进行相关视频事件的查询分析,并可将返回结果中的视频事件添加为新的个人关注视频事件,为视频事件的查询和分析提供了有效方法。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
下述为本申请系统实施例,可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节,请参照本申请方法实施例。
请参见图9,其示出了本申请一个示例性实施例提供的个人关注视频事件检索系统的结构示意图。该个人关注视频事件检索系统可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该系统1包括确定模块10、第一添加模块20、第二添加模块30、判断模块40以及结果集模块50。
确定模块10,用于根据个人关注视频事件信息网络,确定个人关注的视频事件集合,并选择个人关注的视频事件集合中的一个视频事件作为第一待检索视频事件,执行以下操作:
第一添加模块20,用于确定根节点筛选条件,在资源视频事件信息网络中遍历符合根节点筛选条件的根节点时,根据第一待检索视频事件判断是否将根节点对应的视频事件添加到结果集中;其中,个人关注视频事件信息网络是基于个人关注的视频文件的视频事件集合对应的森林结构生成的,资源视频事件信息网络是基于实时上传的资源视频文件的视频事件集合对应的森林结构生成的,森林结构是基于视频事件信息空间以多级树集合为基础构造的,视频事件信息空间是指视频事件特征向量所在的多维向量空间,视频事件特征向量是基于个人关注的视频文件或者实时资源视频文件生成的,多级树包括根节点和子节点,任意两个根节点对应的视频事件之间的差异率大于预设阈值,每个根节点的子节点与其根节点对应的视频事件之间的差异率小于等于预设阈值;
第二添加模块30,用于在将根节点对应的视频事件添加到结果集中时,遍历根节点下的子节点,并计算子节点与第一待检索视频事件的相似率,并将相似率关联到子节点对应的视频事件上,并添加到结果集中;
判断模块40,用于确定符合所述根节点筛选条件的根节点是否全部遍历结束;
结果集模块50,用于若是,则生成该第一待检索视频事件的第一结果集,完成检索。
可选的,确定模块10包括以下单元:
列表展示单元101,用于根据个人关注视频事件信息网络,生成并展示个人关注的视频信息列表;
视频信息确定单元102,用于当接收到对视频信息列表的选择指令时,确定所选择的至少一个目标视频信息;
视频事件确定单元103,用于在预先生成的视频信息和视频事件的映射关系中确定目标视频信息对应的视频事件,得到至少一个个人关注的视频事件;
视频事件保存单元104,用于将至少一个个人关注的视频事件保存至集合,得到个人关注的视频事件集合。
可选的,系统包括:
资源视频文件生成模块60,用于接收来自个人上传的原始视频文件,得到个人关注的视频样本,或者获取上传的资源视频文件;
视频预处理模块70,用于预处理个人关注的视频样本或者资源视频文件,得到目标视频;
镜头分割模块80,用于对目标视频进行镜头分割,得到至少一个镜头;
镜头数据生成模块90,用于根据至少一个镜头,生成镜头数据;
内容帧提取模块100,用于提取每个镜头的内容帧;
内容帧数据生成模块110,用于根据每个镜头的内容帧,生成内容帧数据;
视频事件生成模块120,用于根据每个镜头的镜头数据和内容帧数据生成每个视频事件;
网络构建模块130,用于将每个视频事件作为根节点或子节点,构成个人关注视频事件信息网络或者资源视频事件信息网络。
需要说明的是,上述实施例提供的个人关注视频事件检索系统在新事件确定方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的个人关注视频事件检索系统与个人关注视频事件检索方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请实施例中,个人关注视频事件检索系统首先根据个人关注视频事件信息网络,确定个人关注的视频事件集合,并选择个人关注的视频事件集合中的一个视频事件作为第一待检索视频事件,然后确定根节点筛选条件,并在资源视频事件信息网络中遍历符合根节点筛选条件的根节点时,以及根据第一待检索视频事件判断是否将根节点对应的视频事件添加到结果集中;其次在将根节点对应的视频事件添加到结果集中时,遍历根节点下的子节点,并计算子节点与第一待检索视频事件的相似率,并将相似率关联到子节点对应的视频事件上,并添加到结果集中,最后确定符合所述根节点筛选条件的根节点是否全部遍历结束;若是,则生成该第一待检索视频事件的第一结果集,完成检索。通过本申请用户可根据自己设置的个人关注视频事件,随时在资源视频事件信息网络中进行相关视频事件的查询分析,并可将返回结果中的视频事件添加为新的个人关注视频事件,为视频事件的检索和分析提供了有效方法。
根据本申请实施例的又一个方面,还提供了一种用于实施上述个人关注视频事件检索方法的电子设备,该电子设备可以是图10所示的终端设备或服务器。本实施例以该电子设备为终端为例来说明。如图10所示,该电子设备包括存储器1802和处理器1804,该存储器1802中存储有计算机程序,该处理器1804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以上S101-S105步骤。
可选地,本领域普通技术人员可以理解,图10所示的结构仅为示意,电子系统电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图10其并不对上述电子系统电子设备的结构造成限定。例如,电子系统电子设备还可包括比图10中所示更多或者更少的组件(如网络接口等),或者具有与图10所示不同的配置。
其中,存储器1802可用于存储软件程序以及模块,如本申请实施例中的个人关注视频事件检索方法和系统对应的程序指令/模块,处理器1804通过运行存储在存储器1802内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的个人关注视频事件检索方法。存储器1802可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储系统、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1802可进一步包括相对于处理器1804远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1802具体可以但不限于用于存储镜头帧和内容帧等信息。作为一种示例,如图10所示,上述存储器1802中可以但不限于包括上述个人关注视频事件检索系统中的分割单元1702、获取单元1704与第一确定单元1706。此外,还可以包括但不限于上述个人关注视频事件检索系统中的其他模块单元,本示例中不再赘述。
可选地,上述的传输系统1806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输系统1806包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输系统1806为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1808,用于显示上述账单子任务的处理结果;和连接总线1810,用于连接上述电子设备中的各个模块部件。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述个人关注视频事件检索方法,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以上步骤S101-S105的计算机程序。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的系统实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (12)
1.一种个人关注视频事件检索方法,其特征在于,应用于个人关注视频事件信息网络和资源视频事件信息网络,所述方法包括:
根据个人关注视频事件信息网络,确定个人关注的视频事件集合,并选择所述个人关注的视频事件集合中的一个视频事件作为第一待检索视频事件,执行以下操作:
确定根节点筛选条件,在资源视频事件信息网络中遍历符合所述根节点筛选条件的根节点时,根据所述第一待检索视频事件判断是否将所述根节点对应的视频事件添加到结果集中;其中,所述个人关注视频事件信息网络是基于个人关注的视频文件的视频事件集合对应的森林结构生成的,所述资源视频事件信息网络是基于实时上传的资源视频文件的视频事件集合对应的森林结构生成的,所述森林结构是基于视频事件信息空间以多级树集合为基础构造的,所述视频事件信息空间是指视频事件特征向量所在的多维向量空间,所述视频事件特征向量是基于所述个人关注的视频文件或者所述实时资源视频文件生成的,所述多级树包括根节点和子节点,任意两个所述根节点对应的视频事件之间的差异率大于预设阈值,每个根节点的子节点与其根节点对应的视频事件之间的差异率小于等于所述预设阈值;
在将所述根节点对应的视频事件添加到结果集中时,遍历所述根节点下的子节点,并计算所述子节点与所述第一待检索视频事件的相似率,并将所述相似率关联到所述子节点对应的视频事件上,并添加到结果集中;
确定符合所述根节点筛选条件的根节点是否全部遍历结束;
若是,则生成该第一待检索视频事件的第一结果集,完成检索。
2.根据权利要求1所述的方法,其特征在于,所述视频事件是指一个镜头内所有内容帧的集合,所述视频事件特征向量为在相同坐标系下对内容帧的集合提取特征矩阵后计算得到,所述内容帧是指表示镜头内容的帧,包括首帧、尾帧、和N个中间帧,N为自然数,所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算,当所述差异率大于预设阈值时得到。
3.根据权利要求1所述的方法,其特征在于,所述根据个人关注视频事件信息网络,确定个人关注的视频事件集合,包括:
根据个人关注视频事件信息网络,生成并展示个人关注的视频信息列表;
当接收到对所述视频信息列表的选择指令时,确定所选择的至少一个目标视频信息;
在预先生成的视频信息和视频事件的映射关系中确定所述目标视频信息对应的视频事件,得到至少一个个人关注的视频事件;
将至少一个个人关注的视频事件保存至集合,得到个人关注的视频事件集合。
4.根据权利要求1所述的方法,其特征在于,进一步包括:
从个人关注的视频事件集合的剩余待检索视频事件中继续选择一个待检索视频事件执行所述操作得到相应的结果集,直至全部待检索视频事件完成所述操作,将所有待检索视频事件执行所述操作后得到的结果集合并,得到最终结果集,基于所述最终结果集生成视频事件的检索结果,并实时返回至客户端。
5.根据权利要求1所述的方法,其特征在于,进一步包括:
将所述个人关注的视频事件集合中任意一个视频事件作为第一待检索视频事件;
针对每个第一待检索视频事件,并行执行所述确定根节点筛选条件的步骤,直到并行得到每个第一待检索视频事件的第一结果集;
将并行得到的每个第一待检索视频事件的第一结果集合并,得到最终结果集,基于所述最终结果集生成视频事件的检索结果,并实时返回至客户端。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一待检索视频事件判断是否将所述根节点对应的视频事件添加到结果集中,包括:
确定所述根节点对应的第一视频事件,并判断该第一视频事件与所述第一待检索视频事件之间是否相似;
若是,则计算所述第一视频事件与所述第一待检索视频事件之间的相似率,并将所述相似率关联到所述根节点对应的视频事件上,并添加到结果集中。
7.根据权利要求6所述的方法,其特征在于,所述判断该第一视频事件与所述第一待检索视频事件之间是否相似,包括:
计算所述第一待检索视频事件的内容帧数量与该第一视频事件的内容帧数量差值的绝对值;
当所述内容帧数量差值的绝对值小于等于预设数量阈值时,根据所述第一待检索视频事件的内容帧的特征向量得到所述第一待检索视频事件的特征向量以及特征向量的模,根据所述第一视频事件的内容帧的特征向量得到所述第一视频事件的特征向量以及第一视频事件的特征向量的模,根据所述第一待检索视频事件的特征向量以及所述第一视频事件的特征向量,得到所述第一待检索视频事件与所述第一视频事件的特征向量差异值,根据所述第一待检索视频事件与所述第一视频事件的特征向量差异值、第一待检索视频事件的特征向量的模、第一视频事件的特征向量的模,得到所述第一待检索视频事件和所述第一视频事件之间的特征向量差异率;
当所述特征向量差异率小于等于预设差异率阈值时,判断所述第一待检索视频事件的任一内容帧是否在所述第一视频事件中均存在目标内容帧,计算所述第一待检索视频事件的每一内容帧与其对应的目标内容帧的内容帧差异率;
当所述第一待检索视频事件的每一内容帧与其对应的目标内容帧的内容帧差异率小于等于预设差异率阈值时,计算所述第一待检索视频事件与该第一视频事件的相似率;
当所述相似率大于等于预设相似率阈值时,确定所述第一待检索视频事件与该第一视频事件相似。
8.根据权利要求1所述的方法,其特征在于,所述基于所述最终结果集生成视频事件的检索结果,并实时返回至客户端,包括:
获取所述第一待检索视频事件对应的目标镜头数据;
获取第二视频事件对应的第二镜头数据;所述第二视频事件为所述最终结果集中任意一个视频事件;
确定所述第一待检索视频事件与所述第二视频事件之间的相似率,得到视频事件间的相似率;
将所述目标镜头数据、所述第二镜头数据、所述视频事件间的相似率及其ID标识符保存到数据库中;
将所述目标镜头数据、所述第二镜头数据、所述视频事件间的相似率及其ID标识符实时返回至用户当前登录的客户端。
9.根据权利要求1所述的方法,其特征在于,所述根据个人关注视频事件信息网络,确定个人关注的视频事件集合之前,还包括:
接收来自个人上传的原始视频文件,得到个人关注的视频样本,或者获取上传的资源视频文件;
预处理个人关注的视频样本或者资源视频文件,得到目标视频;
对所述目标视频进行镜头分割,得到至少一个镜头;
根据所述至少一个镜头,生成镜头数据;
提取每个镜头的内容帧;
根据所述每个镜头的内容帧,生成内容帧数据;
根据每个镜头的镜头数据和内容帧数据生成每个视频事件;
将所述每个视频事件作为根节点或子节点,构成个人关注视频事件信息网络或者资源视频事件信息网络。
10.一种个人关注视频事件检索系统,其特征在于,应用于个人关注视频事件信息网络和资源视频事件信息网络,所述系统包括:
确定模块,用于根据个人关注视频事件信息网络,确定个人关注的视频事件集合,并选择所述个人关注的视频事件集合中的一个视频事件作为第一待检索视频事件,执行以下操作:
第一添加模块,用于确定根节点筛选条件,在资源视频事件信息网络中遍历符合所述根节点筛选条件的根节点时,根据所述第一待检索视频事件判断是否将所述根节点对应的视频事件添加到结果集中;其中,所述个人关注视频事件信息网络是基于个人关注的视频文件的视频事件集合对应的森林结构生成的,所述资源视频事件信息网络是基于实时上传的资源视频文件的视频事件集合对应的森林结构生成的,所述森林结构是基于视频事件信息空间以多级树集合为基础构造的,所述视频事件信息空间是指视频事件特征向量所在的多维向量空间,所述视频事件特征向量是基于所述个人关注的视频文件或者所述实时资源视频文件生成的,所述多级树包括根节点和子节点,任意两个所述根节点对应的视频事件之间的差异率大于预设阈值,每个根节点的子节点与其根节点对应的视频事件之间的差异率小于等于所述预设阈值;
第二添加模块,用于在将所述根节点对应的视频事件添加到结果集中时,遍历所述根节点下的子节点,并计算所述子节点与所述第一待检索视频事件的相似率,并将所述相似率关联到所述子节点对应的视频事件上,并添加到结果集中;
判断模块,用于确定符合所述根节点筛选条件的根节点是否全部遍历结束;
结果集模块,用于若是,则生成该第一待检索视频事件的第一结果集,完成检索。
11.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1-9任意一项所述的方法。
12.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1-9任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310664229.4A CN117112815B (zh) | 2023-06-06 | 2023-06-06 | 个人关注视频事件检索方法和系统、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310664229.4A CN117112815B (zh) | 2023-06-06 | 2023-06-06 | 个人关注视频事件检索方法和系统、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117112815A true CN117112815A (zh) | 2023-11-24 |
CN117112815B CN117112815B (zh) | 2024-06-18 |
Family
ID=88793648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310664229.4A Active CN117112815B (zh) | 2023-06-06 | 2023-06-06 | 个人关注视频事件检索方法和系统、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117112815B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104376003A (zh) * | 2013-08-13 | 2015-02-25 | 深圳市腾讯计算机系统有限公司 | 一种视频检索方法及装置 |
CN105468781A (zh) * | 2015-12-21 | 2016-04-06 | 小米科技有限责任公司 | 视频查询方法和装置 |
CN109189991A (zh) * | 2018-08-17 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 重复视频识别方法、装置、终端及计算机可读存储介质 |
CN109714644A (zh) * | 2019-01-22 | 2019-05-03 | 广州虎牙信息科技有限公司 | 一种视频数据的处理方法、装置、计算机设备和存储介质 |
CN109726726A (zh) * | 2017-10-27 | 2019-05-07 | 北京邮电大学 | 视频中的事件检测方法及装置 |
WO2019219083A1 (zh) * | 2018-05-18 | 2019-11-21 | 北京中科寒武纪科技有限公司 | 视频检索方法及视频检索映射关系生成方法、装置 |
CN111046227A (zh) * | 2019-11-29 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 一种视频查重方法及装置 |
CN113642536A (zh) * | 2021-10-13 | 2021-11-12 | 腾讯科技(深圳)有限公司 | 数据处理方法、计算机设备以及可读存储介质 |
US11461392B2 (en) * | 2016-09-23 | 2022-10-04 | Adobe Inc. | Providing relevant cover frame in response to a video search query |
CN115774797A (zh) * | 2021-09-08 | 2023-03-10 | Tcl科技集团股份有限公司 | 视频内容检索方法、装置、设备和计算机可读存储介质 |
CN116188805A (zh) * | 2023-04-26 | 2023-05-30 | 青岛尘元科技信息有限公司 | 海量图像的图像内容分析方法、装置和图像信息网络 |
CN116188822A (zh) * | 2023-04-28 | 2023-05-30 | 青岛尘元科技信息有限公司 | 图像相似性判断方法、装置、电子设备和存储介质 |
CN116188821A (zh) * | 2023-04-25 | 2023-05-30 | 青岛尘元科技信息有限公司 | 版权检测方法、系统、电子设备和存储介质 |
-
2023
- 2023-06-06 CN CN202310664229.4A patent/CN117112815B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104376003A (zh) * | 2013-08-13 | 2015-02-25 | 深圳市腾讯计算机系统有限公司 | 一种视频检索方法及装置 |
CN105468781A (zh) * | 2015-12-21 | 2016-04-06 | 小米科技有限责任公司 | 视频查询方法和装置 |
US11461392B2 (en) * | 2016-09-23 | 2022-10-04 | Adobe Inc. | Providing relevant cover frame in response to a video search query |
CN109726726A (zh) * | 2017-10-27 | 2019-05-07 | 北京邮电大学 | 视频中的事件检测方法及装置 |
WO2019219083A1 (zh) * | 2018-05-18 | 2019-11-21 | 北京中科寒武纪科技有限公司 | 视频检索方法及视频检索映射关系生成方法、装置 |
CN109189991A (zh) * | 2018-08-17 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 重复视频识别方法、装置、终端及计算机可读存储介质 |
CN109714644A (zh) * | 2019-01-22 | 2019-05-03 | 广州虎牙信息科技有限公司 | 一种视频数据的处理方法、装置、计算机设备和存储介质 |
CN111046227A (zh) * | 2019-11-29 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 一种视频查重方法及装置 |
CN115774797A (zh) * | 2021-09-08 | 2023-03-10 | Tcl科技集团股份有限公司 | 视频内容检索方法、装置、设备和计算机可读存储介质 |
CN113642536A (zh) * | 2021-10-13 | 2021-11-12 | 腾讯科技(深圳)有限公司 | 数据处理方法、计算机设备以及可读存储介质 |
CN116188821A (zh) * | 2023-04-25 | 2023-05-30 | 青岛尘元科技信息有限公司 | 版权检测方法、系统、电子设备和存储介质 |
CN116188805A (zh) * | 2023-04-26 | 2023-05-30 | 青岛尘元科技信息有限公司 | 海量图像的图像内容分析方法、装置和图像信息网络 |
CN116188822A (zh) * | 2023-04-28 | 2023-05-30 | 青岛尘元科技信息有限公司 | 图像相似性判断方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
冀中;熊凯琳;马亚茹;何宇清;: "基于重要性感知稀疏自编码器的多视频摘要", 天津大学学报(自然科学与工程技术版), no. 11, 12 November 2018 (2018-11-12), pages 45 - 51 * |
Also Published As
Publication number | Publication date |
---|---|
CN117112815B (zh) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116188821B (zh) | 版权检测方法、系统、电子设备和存储介质 | |
CN108446692B (zh) | 人脸比对方法、装置和系统 | |
CN111831636A (zh) | 一种数据处理方法、装置、计算机系统及可读存储介质 | |
Wang et al. | A survey of multimedia big data | |
CN109902681B (zh) | 用户群体关系确定方法、装置、设备及存储介质 | |
CN112463859B (zh) | 基于大数据和业务分析的用户数据处理方法及服务器 | |
CN111652331A (zh) | 一种图像识别方法、装置和计算机可读存储介质 | |
CN110941978A (zh) | 一种未识别身份人员的人脸聚类方法、装置及存储介质 | |
CN112256880A (zh) | 文本识别方法和装置、存储介质及电子设备 | |
CN108154024B (zh) | 一种数据检索方法、装置及电子设备 | |
CN116469039B (zh) | 热点视频事件确定方法和系统、存储介质及电子设备 | |
Acosta et al. | City safety perception model based on visual content of street images | |
CN112231481A (zh) | 网址的分类方法、装置、计算机设备和存储介质 | |
CN117221087A (zh) | 告警根因定位方法、装置及介质 | |
CN112115281A (zh) | 数据检索方法、装置及存储介质 | |
CN117112815B (zh) | 个人关注视频事件检索方法和系统、存储介质及电子设备 | |
CN116662606B (zh) | 新视频事件的确定方法和系统、存储介质及电子设备 | |
CN114357242A (zh) | 基于召回模型的训练评估方法及装置、设备、存储介质 | |
CN117112821A (zh) | 图像检索系统和方法、存储介质及电子设备 | |
CN118035488A (zh) | 个人关注视频事件筛选方法和系统、存储介质及电子设备 | |
CN114510708A (zh) | 实时数据仓库构建、异常检测方法、装置、设备及产品 | |
CN113946717A (zh) | 一种子图指标特征获得方法、装置、设备及存储介质 | |
CN117216317A (zh) | 视频事件检索系统和方法、存储介质及电子设备 | |
CN113449130A (zh) | 一种图像检索方法、装置、一种计算机可读存储介质和计算设备 | |
CN116662645A (zh) | 视频事件溯源分析方法和系统、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |