CN117119143B - 基于全息视频的视频侦查系统和方法、设备及存储介质 - Google Patents
基于全息视频的视频侦查系统和方法、设备及存储介质 Download PDFInfo
- Publication number
- CN117119143B CN117119143B CN202310672350.1A CN202310672350A CN117119143B CN 117119143 B CN117119143 B CN 117119143B CN 202310672350 A CN202310672350 A CN 202310672350A CN 117119143 B CN117119143 B CN 117119143B
- Authority
- CN
- China
- Prior art keywords
- video
- information
- holographic
- frame
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 238000011835 investigation Methods 0.000 title claims abstract description 18
- 230000002159 abnormal effect Effects 0.000 claims abstract description 133
- 239000012634 fragment Substances 0.000 claims abstract description 36
- 238000012216 screening Methods 0.000 claims abstract description 30
- 230000005856 abnormality Effects 0.000 claims abstract description 24
- 238000012790 confirmation Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000007704 transition Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims 2
- 238000012544 monitoring process Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Abstract
本申请公开了一种基于全息视频的视频侦查系统和方法、设备及存储介质,系统包括:全息视频提取模块,用于根据原始视频生成全息视频,全息视频为表征原始视频内容的视频;全息视频播放模块,用于接收用户输入的视频筛选条件,根据视频筛选条件获取对应的全息视频并进行播放;异常识别模块,用于获取用户确认的第一异常片段,根据第一异常片段的信息切换到与其对应的原始视频片段并播放,再次获取用户确认的第二异常片段。根据该系统,用户可以通过浏览全息视频,快速发现原始视频中的可能存在异常,并切换到原始视频进行确认,最后保存存在异常的原始视频片段同时生成异常报告。本申请可从大量视频中快速发现异常内容,并对视频的异常内容进行取证保存。
Description
技术领域
本发明涉及视频处理技术领域,具体而言,涉及一种基于全息视频的视频侦查系统和方法、设备及存储介质。
背景技术
在视频监控系统中,监控摄像头和监控网络是重要的组成部分,随着技术的发展与进步,监控摄像头成像质量的提升和监控网络性能的增强,使视频监控系统得到了广泛的使用,为交通监管、城市安防、森林防火、安全生产等领域提供了有效手段。
随着视频监控系统的广泛使用,产生的监控视频数量也急剧增加。现有技术中,人们通过浏览监控视频进行异常事件侦查时,有的采用输入异常车辆的车牌号进行相关视频检索,然后进行浏览,有的采用输入待识别目标的特征进行相关视频检索,然后进行浏览。但是对于一些没有特征的事件,或者一些未知的事件无法通过检索的方法调取相关视频,只能浏览全部视频进行异常事件侦查,这种方式大幅降低了视频侦查的效率,增加了人力成本和时间成本。
发明内容
本发明实施例提供了一种基于全息视频的视频侦查系统和方法、设备及存储介质,以解决相关技术中视频侦查时效率低且时间成本高的技术问题。
根据本发明实施例的一个方面,提供了一种基于全息视频的视频侦查方法,包括:根据原始视频生成全息视频,所述全息视频为表征所述原始视频内容的视频;接收用户输入的视频筛选条件,根据所述视频筛选条件获取对应的全息视频并进行播放;获取用户确认的第一异常片段,根据所述第一异常片段的信息切换到与其对应的原始视频片段并播放,再次获取用户确认的第二异常片段,所述第二异常片段位于所述原始视频。
根据本发明实施例的另一方面,还提供了一种基于全息视频的视频侦查系统,包括:全息视频提取模块,用于根据原始视频生成全息视频,所述全息视频为表征所述原始视频内容的视频;全息视频播放模块,用于接收用户输入的视频筛选条件,根据所述视频筛选条件获取对应的全息视频并进行播放;异常识别模块,用于获取用户确认的第一异常片段,根据所述第一异常片段的信息切换到与其对应的原始视频片段并播放,再次获取用户确认的第二异常片段,所述第二异常片段位于所述原始视频。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过上述计算机程序执行上述的基于全息视频的视频侦查方法。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述基于全息视频的视频侦查方法。
本申请实施例提供的技术方案可以包括以下有益效果:
本申请实施例提供的基于全息视频的视频侦查系统,可以根据原始视频生成全息视频,全息视频是原始视频的浓缩,但是能完整表达原始视频的内容。通过播放生成的全息视频,用户可以快速发现其中的异常片段,并根据异常片段的信息切换到原始视频进行异常确认,得到确认后的异常片段。根据本申请实施例提供的视频侦查系统,用户可以快速浏览视频的全部内容,提高了视频异常内容侦查的时效性,并能和原始视频相互切换播放进行异常核查,提高了异常侦察的准确率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种基于全息视频的视频侦查系统的结构示意图;
图2是根据本发明实施例的一种可选的内容帧序列的示意图;
图3是根据本发明实施例的一种内容帧提取的示意图;
图4是根据本发明实施例的一种可选的全息帧序列的示意图;
图5是根据本发明实施例的一种可选的视频侦查系统的页面示意图;
图6是根据本发明实施例的另一种视频侦查系统的结构示意图;
图7是根据本发明实施例的一种基于全息视频的视频侦查方法的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前,需要侦查视频录像中的异常事件时,需要搜寻视频录像,但现有技术中需要通过人工浏览的方式进行搜索,该方法耗费了大量的人力、物力资源,并且由于视频录像具有数据量大、播放时间长的特点,因此通过人工浏览全部视频数据的方式进行侦查耗时较长,效率低下。
基于此,本申请实施例提供了一种基于全息视频的视频侦查系统,可以快速浏览视频的全部内容,提高了视频异常内容侦查的效率,并能和原始视频相互切换播放,提高了异常识别的准确率。下面结合附图1对本申请实施例的视频侦查系统进行详细介绍,如图1所示,该系统主要包括如下模块:
全息视频提取模块101,用于根据原始视频生成全息视频,所述全息视频为表征所述原始视频内容的视频。
在一个示例性场景中,获取原始视频对应的全息视频,原始视频可以是学校、工厂、园区等场景下的监控视频,也可以是电视剧、电影、综艺节目等视频。本申请实施例不做限定。生成的全息视频为表征所述原始视频内容的视频。
其中,全息视频提取模块,包括:镜头分割单元,用于对待处理的视频进行镜头分割,得到镜头序列。
内容帧提取单元,用于根据所述镜头序列提取镜头对应的内容帧,得到内容帧序列,所述内容帧是指表示镜头内容的帧,包括首帧、尾帧、和N个中间帧,N为自然数,所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算,当所述差异率大于预设阈值时得到。
图2是根据本发明实施例的一种可选的内容帧序列的示意图。如图2所示,视频内容是由连续帧序列组成的,按照视频内容的连续性可将连续帧序列分为多组,每组连续帧序列即为一个镜头。
进一步地,提取每个镜头对应的内容帧,本申请实施例通过分析视频镜头中内容的差异,从每个镜头的连续帧序列中选取少量的帧来表示镜头的内容,这些帧即为内容帧。内容帧至少包括镜头的首尾两帧,首尾两帧也叫镜头帧,所以一个镜头的内容帧数量≥2。
图3是根据本发明实施例的一种内容帧提取的示意图,如图3所示,首帧是第一个内容帧,然后计算第2、第3帧.....与其差异率,直到大于预设阈值,假如第2、3与首帧的差异率小于预设阈值,而第4帧大于预设阈值,则第4帧就是第二个内容帧。然后计算第5、第6....与第4帧的差异率,直到大于预设阈值,假如第5、6、7帧与首帧的差异率小于预设阈值,而第8帧大于预设阈值,则第8帧就是第三个内容帧。依次类推,计算出所有首帧和尾帧之间的所有子帧中的内容帧。尾帧直接选定为最后一个内容帧,而不必计算与其前一个内容帧之间的差异率。其中,差异率为计算的两帧图像之间的差异率。
例如一个监控视频,夜晚期间人少车少,视频画面变化很小,那内容帧会很少,例如在10个小时内仅提取个位数个内容帧。而白天人多车多,视频画面里面人和物的变化频繁,按照上面方法计算出来的内容帧会比晚上多很多。由此,内容帧相对于关键帧来说,保证了不丢失镜头视频的所有内容信息,因为关键帧有可能丢失部分镜头内容。而相对于视频每一帧都要计算和考虑的方案,内容帧的选取由于只选取了部分视频图像帧,在不丢失内容的前提下,极大减少了图像计算量。
还包括计算单元,用于计算所有相邻两个所述内容帧之间的差异率和时间差值,根据相邻两个所述内容帧之间的差异率和时间差值,在相邻两个所述内容帧之间生成插值帧和过渡帧。
还包括全息视频生成单元,用于根据所述内容帧、插值帧以及过渡帧组成全息帧序列,根据所述全息帧序列得到全息视频的视频内容。
具体地,视频的全部内容帧是视频全息内容的重要组成部分,但仅靠内容帧生成的全息视频,图像不连贯如同幻灯片一般,而且重要的内容帧画面可能一闪而过无法看清楚。为了图像能够连贯显示,内容帧的内容能被看清楚,在内容帧之间生成插值帧和过渡帧,得到由内容帧、插值帧以及过渡帧组成的全息视频。
在两个相邻内容帧之间的差异率较大,且时间差值较短时,可以在相邻两个内容帧之间生成插值帧。例如,采用非线性插值算法在相邻两个内容帧之间生成一个或多个插值帧。具体的第一差异率阈值和第一时段阈值的具体取值本申请不做具体限定,可根据实际情况自行设定。
在相邻两个内容帧之间的差异率小于等于预设第二差异率阈值,且时间差值大于预设第二时段阈值时,在相邻两个内容帧之间生成过渡帧。具体的过渡帧生成方法包括:将差异率小于等于预设第二差异率阈值,且时间差值大于预设第二时段阈值的相邻两个内容帧根据时间分为前一内容帧和后一内容帧,分别计算前一内容帧和后一内容帧时间段内的所有视频帧与前一内容帧的差异率,根据差异率从大到小的顺序对时间段内的所有视频帧进行排序,根据排在前面的预设数量的视频帧生成过渡帧序列。
根据上述步骤,通过对视频进行粒化处理,获取了视频的镜头和内容帧,并以此为基础,在内容变化较大的内容帧间计算生成插值帧和过渡帧,由内容帧、插值帧和过渡帧共同构建了图像内容连贯的全息视频,对视频内容进行了浓缩,缩短了视频内容播放时间而又不丢失视频的内容。
如图4所示,是一种全息视频帧序列的示意图,首先得到视频帧序列,然后进行镜头分割和内容帧提取,得到内容帧序列,在提取的内容帧之间生成插值帧和过渡帧,得到连贯的全息视频。
本申请实施例提供的系统,还包括全息视频存储模块,用于接收所述全息视频的数据,所述全息视频为表征所述原始视频内容的视频,所述全息视频的数据包括全息视频的概要信息、图像数据、镜头信息以及帧信息;对所述图像数据进行编码,得到图像的编码数据;将所述全息视频的概要信息、图像的编码数据、镜头信息以及帧信息分别转化为二进制数据;创建存储文件,在文件中依次写入概要信息的二进制数据、图像数据的二进制数据、镜头信息的二进制数据以及帧信息的二进制数据,得到全息视频文件;其中,所述概要信息的二进制数据所占的数据块作为文件头,所述图像数据的二进制数据所占的数据块作为帧数据区,所述镜头信息的二进制数据所占的数据块作为镜头信息表,所述帧信息的二进制数据所占的数据块作为帧信息表;将生成的所述全息视频文件的存储路径、概要信息、镜头信息以及帧信息存入数据库。
本申请实施例提供的视频侦查系统,还包括全息视频播放模块102,用于接收用户输入的视频筛选条件,根据所述视频筛选条件获取对应的全息视频并进行播放。
其中,所述全息视频播放模块,包括数据读取单元,用于接收用户输入的视频筛选条件,根据所述视频筛选条件获取对应的全息视频。
视频筛选条件包括摄像头筛选条件和时间筛选条件,首先,接收用户输入的待查看摄像头的道路信息、位置信息、坐标信息以及摄像头标识信息中的一种或多种摄像头筛选条件,得到筛选后的摄像头列表,从筛选后的摄像头列表中选择要查看的摄像头。然后接收用户输入的播放起始时间和结束时间,根据选择要查看的摄像头,以及对应的播放时间,获取对应的全息视频并进行播放。
在一个示例性场景中,用户在进行监控视频浏览时,可以输入摄像头筛选条件,选择要查看的摄像头,例如输入某条道路的信息,获取该条道路对应的摄像头列表,选择要查看的摄像头,或者输入区域位置信息,获取该地理位置对应的摄像头列表,选择要查看的摄像头,或者点击地图上的摄像头点位,选择要查看的摄像头。进一步地,输入待查看视频的起始时间和结束时间,根据用户输入的信息加载相应的全息视频文件进行播放。
还包括全息视频播放单元,用于将显示屏幕分为第一显示区域和第二显示区域,在所述第一显示区域播放获取的全息视频,在所述第二显示区域显示与所述获取的全息视频对应的镜头信息、内容帧信息以及时间信息。
可选地,第一显示区域的面积大于第二显示区域,第一显示区域位于第二显示区域的上方。在第一显示区域播放解码后的全息视频的图像,在第二显示区域显示与解码后的全息视频对应的粒化后的内容帧,以及粒化后的内容帧对应的镜头信息、时间信息。
在一个示例性场景中,用户在浏览某时段的交通监控视频时,可以在屏幕的第一显示区域播放全息视频,还可以在第二显示区域观看粒化后的内容帧,通过同时观看内容帧,可以更好更全面的浏览视频内容,例如更加清晰地观看道路上的车辆车牌号,避免遗漏重要信息。提高视频浏览效率。
在一个可选地实施例中,第一显示区域和第二显示区域设置屏幕缩放标识,通过点击屏幕缩放标识,可以全屏观看第一显示区域的全息视频,或者全屏观看第二显示区域的内容帧。
所述全息视频播放模块,还包括播放速度配置单元,用于接收用户的播放速度配置信息,根据所述播放速度配置信息确定所述全息视频的播放速度。
例如,配置视频播放速度2倍,或者降低视频播放速度为0.5倍,在一种可能的实现方式中,慢速播放支持1/16~1/2倍速,快速播放支持2~8倍速。还可以接收用户的播放时间配置信息,根据播放时间配置信息播放或保存配置的时间段内的视频数据。
所述全息视频播放模块,还包括镜头控制单元,用于接收用户在所述第二显示区域点击的镜头信息,根据所述镜头信息跳转到所述镜头信息对应镜头的首帧位置播放视频。
所述全息视频播放模块,还包括内容帧控制单元,用于接收用户在所述第二显示区域点击的内容帧信息,根据所述内容帧信息跳转到所述内容帧信息对应内容帧的位置播放视频。
用户通过点击第二显示区域的内容帧或镜头信息,可以快速准确地跳转到想要观看的位置进行播放,大大提高了用户的体验度,便于更好的浏览视频内容。
在一个可选地实施例中,本申请实施例提供的视频侦查系统,还包括原始视频采集模块,用于获取原始视频数据,所述原始视频数据可以是来自摄像头实时视频流保存得到的原始视频数据,也可以是用户上传的原始视频数据,例如,用户上传一些综艺节目录制视频、电影拍摄视频、广告视频等。
还包括原始视频保存模块,用于将获取的所述原始视频数据保存为原始视频文件,将所述原始视频文件、原始视频文件路径、原始视频信息保存到数据库。其中,原始视频信息包括视频镜头信息、时间信息等。
本系统还包括异常识别模块103,用于获取用户确认的第一异常片段,根据所述第一异常片段的信息切换到与其对应的原始视频片段并播放,再次获取用户确认的第二异常片段,所述第二异常片段位于所述原始视频。
其中,所述异常识别模块,包括异常发现单元,用于获取用户确认的第一异常片段的起止时间信息。用户在进行视频浏览时,若发现异常片段,可以标记下异常片段的起止时间。因为全息视频是原始视频的浓缩,为了进一步确认异常,可以切换到原始视频相应的部分再进行浏览。
还包括异常核查单元,用于根据所述第一异常片段的起始信息,确定原始视频的播放起始信息,根据所述原始视频的播放起始信息切换播放所述原始视频并进行异常核查。
在一个示例性场景中,系统加载原始视频文件,并根据第一异常片段的起始信息,确定原始视频的播放起始信息,根据所述原始视频的播放起始信息切换播放所述原始视频,用户根据原始视频的内容进行异常确认。
还包括异常确认单元,用于在发现异常的情况下,获取用户确认的第二异常片段,所述第二异常片段位于所述原始视频。
用户在浏览原始视频时,若确认异常,则可以标记异常的起止时间信息。根据用户标记的起止时间信息得到确认的第二异常片段。
本申请实施例提供的视频侦查系统,还包括取证模块,用于在接收到用户的第二异常片段确认信息后,保存所述第二异常片段以及所述第二异常片段对应的异常信息,并根据所述异常信息生成异常报告,所述异常信息包括:摄像头信息、道路信息、位置信息、第二异常片段的起止时间信息以及异常内容描述信息等。
其中,所述取证模块,包括保存单元,用于保存所述第二异常片段以及第二异常片段对应的异常信息。还包括异常报告生成单元,用于根据所述第二异常片段对应的异常信息生成所述异常报告。
用户在确认第二异常片段后,为了记录异常内容,可以添加一段异常描述文字,用来描述异常内容。在一个示例性场景中,用户确认第二异常片段后,可以弹出一个异常内容描述窗口,用来接收用户输入的异常内容,并保存。根据用户输入的异常内容描述信息、异常的摄像头信息、道路信息、位置信息、第二异常片段的起止时间信息生成异常报告。
还包括异常上报单元,用于将所述异常报告和所述第二异常片段发送到用户终端。
在一个示例性场景中,得到生成的异常报告和保存的第二异常片段之后,可以将异常报告和第二异常片段发送到用户终端,例如,发送到工作人员的手机、电脑等终端设备。
在一个示例性场景中,图5是本申请实施例提供的视频侦查系统的界面示意图,如图5所示,界面播放的视频片段为一段全息视频,用户可在播放界面的上方窗口中选择播放全息视频或者原始视频,还可以输入播放的时间段信息,播放界面的右部分表示监控摄像头在地图中的分布情况,通过点击地图中分布的监控摄像头,可以快速获取该监控摄像头对应的视频数据,提高用户选择监控摄像头时的便捷度,用户也可以点击左侧列表中的点位信息,获取对应点位监控摄像头的视频数据。视频播放界面和地图下方的视频帧为与播放的全息视频对应的内容帧数据。
为了便于理解本申请实施例提供的基于全息视频的视频侦查系统,下面结合附图6进一步描述。
如图6所示,本申请实施例提供的视频侦查系统,由视频采集与处理,和视频内容分析两部分组成。
具体地,在视频采集与处理部分,包括摄像头群,通过多个摄像头构成监控网络,生成原始视频数据,将获取的所述原始视频数据保存为原始视频文件,将所述原始视频文件、原始视频文件路径、原始视频信息保存到数据库。进一步地,对采集的原始视频进行粒化处理,生成全息视频,将生成的全息视频信息保存到数据库。
视频内容分析是指用户使用系统快速浏览指定视频,发现其中的异常部分,经分析确认后保存异常视频片段和异常信息为证据并上报异常的工作流程。视频内容分析包括数据读取、视频快速浏览、异常发现、异常确认、取证保存、异常上报等六部分。
首先,人工选择要查看的摄像头和时间段,选定后系统读取加载相关数据。播放选定的全息视频,用户浏览全息视频,快速掌握视频内容包含的信息。
进一步地,用户通过浏览全息视频,发现视频中的异常片段。切换到原始视频,浏览视频内容确认异常的是否存在误判。若没有误判,保存异常视频片段为证据,并记录视频的来源(摄像头)、起止时间,描述的异常内容,最终生成异常报告。
最后,上报异常视频和报告。
本申请实施例提供的基于全息视频的视频侦查系统,可以根据原始视频生成全息视频,全息视频是原始视频的浓缩,但是能完整表达原始视频的内容。通过播放生成的全息视频,用户可以快速浏览视频的全部内容,提高了视频异常内容侦查的效率,并能和原始视频相互切换播放,进行异常确认和上报,提高了异常识别的准确率。
图7是根据本发明实施例的一种基于全息视频的视频侦查方法的示意图。如图7所示,该方法包括如下步骤:
S701根据原始视频生成全息视频,所述全息视频为表征所述原始视频内容的视频。
S702接收用户输入的视频筛选条件,根据所述视频筛选条件获取对应的全息视频并进行播放。
S703获取用户确认的第一异常片段,根据所述第一异常片段的信息切换到与其对应的原始视频片段并播放,再次获取用户确认的第二异常片段,所述第二异常片段位于所述原始视频。
还包括在接收到用户的第二异常片段确认信息后,保存所述第二异常片段以及所述第二异常片段对应的异常信息,并根据所述异常信息生成异常报告,所述异常信息包括:摄像头信息、道路信息、位置信息、第二异常片段的起止时间信息以及异常内容描述信息。
具体地,保存所述第二异常片段以及第二异常片段对应的异常信息;根据所述第二异常片段对应的异常信息生成所述异常报告;将所述异常报告和所述第二异常片段发送到用户终端。
还包括获取原始视频数据,所述原始视频数据为来自摄像头实时视频流保存得到的原始视频数据,或者为用户上传的原始视频数据,将获取的所述原始视频数据保存为原始视频文件,将所述原始视频文件、原始视频文件路径、原始视频信息保存到数据库。
本申请实施例提供的基于全息视频的视频侦查方法,可以根据原始视频生成全息视频,全息视频是原始视频的浓缩,但是能完整表达原始视频的内容。通过播放生成的全息视频,用户可以快速浏览视频的全部内容,提高了视频异常内容侦查的效率,并能和原始视频相互切换播放,进行异常的确认和上报,提高了异常侦察的准确率。
根据本发明实施例的又一个方面,还提供了一种用于实施上述基于全息视频的视频侦查方法的电子设备。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述视频全息视频的生成方法,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:根据原始视频生成全息视频,所述全息视频为表征所述原始视频内容的视频;接收用户输入的视频筛选条件,根据所述视频筛选条件获取对应的全息视频并进行播放;获取用户确认的第一异常片段,根据所述第一异常片段的信息切换到与其对应的原始视频片段并播放,再次获取用户确认的第二异常片段,所述第二异常片段位于所述原始视频。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种基于全息视频的视频侦查系统,其特征在于,包括:
全息视频提取模块,用于根据原始视频生成全息视频,所述全息视频为表征所述原始视频内容的视频;其中,
所述全息视频提取模块,包括:
镜头分割单元,用于对待处理的视频进行镜头分割,得到镜头序列;
内容帧提取单元,用于根据所述镜头序列提取镜头对应的内容帧,得到内容帧序列,所述内容帧是指表示镜头内容的帧,包括首帧、尾帧、和N个中间帧,N为自然数,所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算,当所述差异率大于预设阈值时得到;
计算单元,用于计算所有相邻两个所述内容帧之间的差异率和时间差值,根据相邻两个所述内容帧之间的差异率和时间差值,在相邻两个所述内容帧之间生成插值帧和过渡帧;
全息视频生成单元,用于根据所述内容帧、插值帧以及过渡帧组成全息帧序列,根据所述全息帧序列得到全息视频的视频内容;
全息视频播放模块,用于接收用户输入的视频筛选条件,根据所述视频筛选条件获取对应的全息视频并进行播放;其中,
所述全息视频播放模块,包括:
数据读取单元,用于接收用户输入的视频筛选条件,根据所述视频筛选条件获取对应的全息视频;
全息视频播放单元,用于将显示屏幕分为第一显示区域和第二显示区域,在所述第一显示区域播放获取的全息视频,在所述第二显示区域显示与所述获取的全息视频对应的镜头信息、内容帧信息以及时间信息;其中,
所述全息视频播放模块,还包括:
镜头控制单元,用于接收用户在所述第二显示区域点击的镜头信息,根据所述镜头信息跳转到所述镜头信息对应镜头的首帧位置播放视频;
内容帧控制单元,用于接收用户在所述第二显示区域点击的内容帧信息,根据所述内容帧信息跳转到所述内容帧信息对应内容帧的位置播放视频;
异常识别模块,用于获取用户确认的第一异常片段,根据所述第一异常片段的信息切换到与其对应的原始视频片段并播放,再次获取用户确认的第二异常片段,所述第二异常片段位于所述原始视频。
2.根据权利要求1所述的系统,其特征在于,接收用户输入的视频筛选条件,根据所述视频筛选条件获取对应的全息视频并进行播放,包括:
接收用户输入的待查看摄像头的道路信息、位置信息、坐标信息以及摄像头标识信息中的一种或多种摄像头筛选条件,得到筛选后的摄像头列表,从筛选后的摄像头列表中选择要查看的摄像头;
接收用户输入的播放起始时间和结束时间,根据选择要查看的摄像头,以及对应的播放时间,获取对应的全息视频并进行播放。
3.根据权利要求1所述的系统,其特征在于,还包括:
取证模块,用于在接收到用户的第二异常片段确认信息后,保存所述第二异常片段以及所述第二异常片段对应的异常信息,并根据所述异常信息生成异常报告,所述异常信息包括:摄像头信息、道路信息、位置信息、第二异常片段的起止时间信息以及异常内容描述信息。
4.根据权利要求3所述的系统,其特征在于,所述取证模块,包括:
保存单元,用于保存所述第二异常片段以及第二异常片段对应的异常信息;
异常报告生成单元,用于根据所述第二异常片段对应的异常信息生成所述异常报告;
异常上报单元,用于将所述异常报告和所述第二异常片段发送到用户终端。
5.根据权利要求1所述的系统,其特征在于,还包括:
原始视频采集模块,用于获取原始视频数据,所述原始视频数据为来自摄像头实时视频流保存得到的原始视频数据,或者为用户上传的原始视频数据;
原始视频保存模块,用于将获取的所述原始视频数据保存为原始视频文件,将所述原始视频文件、原始视频文件路径、原始视频信息保存到数据库。
6.根据权利要求1所述的系统,其特征在于,还包括:
全息视频存储模块,用于接收所述全息视频的数据,所述全息视频为表征所述原始视频内容的视频,所述全息视频的数据包括全息视频的概要信息、图像数据、镜头信息以及帧信息;
对所述图像数据进行编码,得到图像的编码数据;
将所述全息视频的概要信息、图像的编码数据、镜头信息以及帧信息分别转化为二进制数据;
创建存储文件,在文件中依次写入概要信息的二进制数据、图像数据的二进制数据、镜头信息的二进制数据以及帧信息的二进制数据,得到全息视频文件;其中,所述概要信息的二进制数据所占的数据块作为文件头,所述图像数据的二进制数据所占的数据块作为帧数据区,所述镜头信息的二进制数据所占的数据块作为镜头信息表,所述帧信息的二进制数据所占的数据块作为帧信息表;
将生成的所述全息视频文件的存储路径、概要信息、镜头信息以及帧信息存入数据库。
7.根据权利要求1所述的系统,其特征在于,所述全息视频播放模块,还包括:
播放速度配置单元,用于接收用户的播放速度配置信息,根据所述播放速度配置信息确定所述全息视频的播放速度。
8.根据权利要求1所述的系统,其特征在于,所述异常识别模块,包括:
异常发现单元,用于获取用户确认的第一异常片段的起止时间信息;
异常核查单元,用于根据所述第一异常片段的起始信息,确定原始视频的播放起始信息,根据所述原始视频的播放起始信息切换播放所述原始视频并由用户进行异常核查;
异常确认单元,用于在发现异常的情况下,获取用户确认的第二异常片段,所述第二异常片段位于所述原始视频。
9.一种基于全息视频的视频侦查方法,其特征在于,包括:
根据原始视频生成全息视频,所述全息视频为表征所述原始视频内容的视频;其中,
所述根据原始视频生成全息视频,所述全息视频为表征所述原始视频内容的视频,包括:
对待处理的视频进行镜头分割,得到镜头序列;
根据所述镜头序列提取镜头对应的内容帧,得到内容帧序列,所述内容帧是指表示镜头内容的帧,包括首帧、尾帧、和N个中间帧,N为自然数,所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算,当所述差异率大于预设阈值时得到;
计算所有相邻两个所述内容帧之间的差异率和时间差值,根据相邻两个所述内容帧之间的差异率和时间差值,在相邻两个所述内容帧之间生成插值帧和过渡帧;
根据所述内容帧、插值帧以及过渡帧组成全息帧序列,根据所述全息帧序列得到全息视频的视频内容;
接收用户输入的视频筛选条件,根据所述视频筛选条件获取对应的全息视频并进行播放;其中,
所述接收用户输入的视频筛选条件,根据所述视频筛选条件获取对应的全息视频并进行播放,包括:
接收用户输入的视频筛选条件,根据所述视频筛选条件获取对应的全息视频;
将显示屏幕分为第一显示区域和第二显示区域,在所述第一显示区域播放获取的全息视频,在所述第二显示区域显示与所述获取的全息视频对应的镜头信息、内容帧信息以及时间信息;其中,
所述方法还包括:
接收用户在所述第二显示区域点击的镜头信息,根据所述镜头信息跳转到所述镜头信息对应镜头的首帧位置播放视频;
接收用户在所述第二显示区域点击的内容帧信息,根据所述内容帧信息跳转到所述内容帧信息对应内容帧的位置播放视频;
获取用户确认的第一异常片段,根据所述第一异常片段的信息切换到与其对应的原始视频片段并播放,再次获取用户确认的第二异常片段,所述第二异常片段位于所述原始视频。
10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求9中所述的方法。
11.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行所述权利要求9中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310672350.1A CN117119143B (zh) | 2023-06-07 | 基于全息视频的视频侦查系统和方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310672350.1A CN117119143B (zh) | 2023-06-07 | 基于全息视频的视频侦查系统和方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117119143A CN117119143A (zh) | 2023-11-24 |
CN117119143B true CN117119143B (zh) | 2024-07-02 |
Family
ID=
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103260010A (zh) * | 2013-04-23 | 2013-08-21 | 四川天翼网络服务有限公司 | 智慧天网视频快速检索系统 |
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103260010A (zh) * | 2013-04-23 | 2013-08-21 | 四川天翼网络服务有限公司 | 智慧天网视频快速检索系统 |
Non-Patent Citations (3)
Title |
---|
基于关键帧的视频摘要研究;于俊清等;计算机工程与设计;20051028(第10期);第2598-2601页 * |
安防领域的视频检索技术;邵平;中国公共安全;20141115(第22期);第104-106页 * |
邵平.安防领域的视频检索技术.中国公共安全.2014,(第22期),第104-106页. * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102129474B (zh) | 一种视频数据检索方法及其装置和系统 | |
US11500916B2 (en) | Identifying media components | |
CN107707931B (zh) | 根据视频数据生成解释数据、数据合成方法及装置、电子设备 | |
US9807338B2 (en) | Image processing apparatus and method for providing image matching a search condition | |
US9848216B2 (en) | Security and/or tracing video media-content | |
CN105100748B (zh) | 一种视频监控系统及方法 | |
CN108062507B (zh) | 一种视频处理方法及装置 | |
CN103581705A (zh) | 视频节目识别方法和系统 | |
CN106060578A (zh) | 生成视频数据 | |
US20090006337A1 (en) | Method and apparatus for automatic detection and identification of unidentified video signals | |
CN111866457B (zh) | 监控图像处理方法、电子设备、存储介质及系统 | |
CN102231820A (zh) | 一种监控图像处理的方法、装置和系统 | |
JP5360979B2 (ja) | 重要情報抽出方法および装置 | |
CN112686165A (zh) | 视频中目标对象的识别方法、装置、电子设备及存储介质 | |
CN116363554A (zh) | 一种监控视频关键帧提取方法、系统、介质、设备及终端 | |
CN111277800A (zh) | 监控视频编码及播放方法、装置、电子设备及存储介质 | |
CN114339423A (zh) | 短视频生成方法、装置、计算设备及计算机可读存储介质 | |
CN117119143B (zh) | 基于全息视频的视频侦查系统和方法、设备及存储介质 | |
CN105491462A (zh) | 基于压缩视频的缩时概要输出系统与方法 | |
US9275140B2 (en) | Method of optimizing the search for a scene on the basis of a stream of images archived in a video database | |
CN117119143A (zh) | 基于全息视频的视频侦查系统和方法、设备及存储介质 | |
CN112201047B (zh) | 一种基于Flink框架的嫌疑车辆落脚点分析方法及装置 | |
US11398091B1 (en) | Repairing missing frames in recorded video with machine learning | |
CN113569719B (zh) | 视频侵权判定方法、装置、存储介质及电子设备 | |
CN113596582A (zh) | 一种视频预览方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |