CN115379236B - 视频处理方法、装置、介质及设备 - Google Patents
视频处理方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN115379236B CN115379236B CN202211035772.XA CN202211035772A CN115379236B CN 115379236 B CN115379236 B CN 115379236B CN 202211035772 A CN202211035772 A CN 202211035772A CN 115379236 B CN115379236 B CN 115379236B
- Authority
- CN
- China
- Prior art keywords
- video
- video stream
- key frames
- key
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 102000006822 Agouti Signaling Protein Human genes 0.000 description 1
- 108010072151 Agouti Signaling Protein Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供的视频处理方法、装置、介质及设备中,视频分析设备接收多路视频流,从中获取多张关键帧,并通过同一解码器对多张关键帧进行解码以获得多张解码图像。由于关键帧的解码时,不需要依赖于其他帧,因此,可以将多路视频流各自的关键帧经过同一解码器进行独立解码,以得到多张解码图像。因此,相较于现有技术中,需要为每一路视频流配置一个解码器,将多路视频的多张关键帧通过同一解码器进行解码,极大的降低了对计算资源的消耗。
Description
技术领域
本申请涉及视频领域,具体而言,涉及一种视频处理方法、装置、介质及设备。
背景技术
视频是连续的图像序列,由连续的帧构成,一帧即为一幅图像。由于人眼的视觉暂留效应,当帧序列以一定的速率播放时,使得看到的就是动作连续的视频。由于连续的帧之间相似性极高,为便于储存传输,需要对原始的视频进行编码压缩,以去除空间、时间维度的冗余;因此,所谓视频编码方式就是指通过压缩技术,将原始视频格式的文件转换成另一种视频格式文件的方式。视频流传输中最为重要的编解码标准有国际电联的H.261、H.263、H.264。
由于视频流是经过编码压缩后的数据,因此,目前在对多路视频流同时进行分析处理之前,需要为接入的每路视频码流会分配一个解码器,对各路视频流进行独立解码,从而将编码压缩后的视频流还原为图像,而视频解码需要进行大量的运算,当多个解码器同时运行时,会导致计算资源极为紧张。
发明内容
为了克服现有技术中的至少一个不足,本申请提供一种视频处理方法、装置、设备及介质,用于降低对多路视频流进行分析处理时所需要的计算资源,具体包括:
第一方面,本申请提供过一种种视频处理方法,应用于视频分析设备,所述方法包括:
接收多路视频流;
从所述多路视频流中获取多张关键帧,其中,所述多张关键帧与所述多路视频流一一对应;
将所述多张关键帧通过同一解码器进行解码,得到多张解码图像。
第二方面,本申请提供一种视频处理装置,应用于视频分析设备,所述装置包括:
视频流模块,用于接收多路视频流;
关键帧模块,用于从所述多路视频流中获取多张关键帧,其中,所述多张关键帧与所述多路视频流一一对应;
帧解码模块,用于将所述多张关键帧通过同一解码器进行解码,得到多张解码图像。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被所述处理器执行时,实现所述的视频处理方法。
第五方面,本申请提供一种视频分析设备,所述视频分析设备包括处理器以及存储器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,实现所述的视频处理方法。
相对于现有技术而言,本申请具有以下有益效果:
本实施例提供的视频处理方法、装置、介质及设备中,视频分析设备接收多路视频流,从中获取多张关键帧,并通过同一解码器对多张关键帧进行解码以获得多张解码图像。由于关键帧的解码时,不需要依赖于其他帧,因此,可以将多路视频流各自的关键帧经过同一解码器进行独立解码,以得到多张解码图像。因此,相较于现有技术中,需要为每一路视频流配置一个解码器,将多路视频的多张关键帧通过同一解码器进行解码,极大的降低了对计算资源的消耗。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的现有解码示意图;
图2为本申请实施例提供的视频处理方法的流程示意图之一;
图3为本申请实施例提供的多组关键帧的解码示意图;
图4为本申请实施例提供的视频处理方法的流程示意图之二;
图5为本申请实施例提供的通道标识作用示意图;
图6为本申请实施例提供的视频处理装置的结构示意图;
图7为本申请实施例提供的视频分析设备的结构示意图。
图标:101-视频流模块;102-关键帧模块;103-帧解码模块;201-存储器;202-处理器;203-通信单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。此外,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
基于以上声明,研究过程中发现,由于视频流是经过编码压缩后的数据,因此,目前在对多路视频流同时进行分析处理之前,需要为接入的每路视频码流会分配一个解码器,对各路视频流进行独立解码,从而将编码压缩后的视频流还原为图像,而视频解码需要进行大量的运算,因此,存在计算资源紧张的问题,尤其是对于一些老旧的视频分析设备,计算资源紧张的问题显得尤为明显。
为使本申请实施例的目的、技术方案和优点更加清楚,下面结合图1对目前的视频分析处理过程进行介绍。在如图1所示的智能分析业务中,包括两路视频流,分别是视频流A以及视频流B。由于视频流是经过编码的数据,因此,智能分析业务并不能直接对视频流进行分析(人脸识别、目标检测等业务),而需要先将视频流解码为能够识别处理的图像。即需要为图1中的视频流A配置解码器A,用于将视频流A解码为图像的帧序列,从中抽取一帧或者多帧解码图像用于进行智能业务分析;以及为视频流B配置解码器B,用于将视频流B解码为图像的帧序列,从中抽取一帧或者多帧解码图像用于进行智能业务分析。
可见,当视频流的数量增加时,相应的解码器同样需要增加,这就导致需要足够多的计算资源来支撑这些解码器的运行。值得说明的是,本实施例中的解码器为逻辑以及上的解码器,即能够实现视频解码功能的计算机程序。
研究进一步发现,视频流中通常包括I帧、P帧以及B帧,其中:
I帧(关键帧):又称帧内编码帧,是一种自带全部信息的独立帧,无需参考其他图像便可独立进行解码,可以简单理解为一张静态画面。视频流帧序列中的第一个帧始终都是I帧,因为它是关键帧。
P帧:又称帧间预测编码帧,需要参考前面的I帧才能进行编码。表示的是当前帧画面与前一帧(前一帧可能是I帧也可能是P帧)的差别,因此,解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面。与I帧相比,P帧通常占用更少的数据位,但不足是,由于P帧对前面的P和I参考帧有着复杂的依耐性,因此对传输错误非常敏感。
B帧:又称双向预测编码帧,也就是B帧记录的是本帧与前后帧的差别。也就是说,要解码B帧,不仅要取得之前的缓存画面,还要解码之后的画面,通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高,但是对解码性能要求较高。
正是由于视频流帧序列中I帧、P帧以及B帧的以上特性,目前通常需要针对每个视频流提供一个解码器。
研究过程中进一步发现,一些对视频流进行分析处理的业务,并不需要对视频流中的每一帧进行分析处理。例如,智能分析也为中,一般每2s对视频流进行一次识别。而I帧在视频流中不仅每间隔一定的周期出现一次,而且I帧均是帧内编码,解码时无需依赖之前解码的参考帧,所以相同分辨率的不同码流的I帧解码可以共享同一个解码器,达到优化解码器资源的目的。基于这一发现,本实施例提供一种应用于视频分析设备的视频处理方法。
需要注意的是,以上现有技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案,都应该是发明人在发明创造过程中对本申请做出的贡献,而不应当理解为本领域技术人员所公知的技术内容。
其中,一些实施方式中,该视频分析设备可以是服务器,其中,该服务器可以是单个服务器,也可以是服务器组。服务器组可以是集中式的,也可以是分布式的(例如,服务器可以是分布式系统)。在一些实施例中,服务器相对于用户终端,可以是本地的、也可以是远程的。在一些实施例中,服务器可以在云平台上实现;仅作为示例,云平台可以包括私有云、公有云、混合云、社区云(Community Cloud)、分布式云、跨云(Inter-Cloud)、多云(Multi-Cloud)等,或者它们的任意组合。在一些实施例中,服务器可以在具有一个或多个组件的电子设备上实现。当视频分析设备时服务器时,该服务器可以与多个视频源通信连接,以同时获取多个视频源产生的多个视频流。其中,该视频源可以是监控用的摄像头,还可以是直播时的视频生成设备,例如,智能手机或者专业的录像设备。
在其他一些实施方式中,该视频分析设备还可以用户终端,其中,该用户终端可以是移动终端、平板计算机、膝上型计算机、台式计算机或者NVR(Network Video Recorder,网络视频录像机)等。例如,当视频分析设备时NVR时,该NVR与多个视频源通信连接,以同时获取多个视频源产生的多个视频流。
基于以上相关介绍,下面结合图2对本实施例提供的视频处理方法进行详细阐述。但应理解的是,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。如图2所示,该方法包括:
S101,接收多路视频流。
其中,该视频分析设备与多个视频源通信连接,从多个视频源拉取多路视频流。以摄像头为例,对于视频分析设备,摄像头可以视为一个小型的服务器,当摄像头接收到视频流拉取请求之后,摄像头则可以将自己拍摄的画面以视频流的形式发送给视频分析设备。目前,主流的视频流协议包括Rtsp协议、Rtmp协议、Http协议等。
S102,从多路视频流中获取多张关键帧。
其中,多张关键帧与多路视频流一一对应。可选地实施方式中,该视频分析设备将多路视频流分别进行解析,得到多路视频流的多张关键帧。正如以上关于视频流协议的介绍,当多路视频流以特定的视频流协议进行了封装,该视频分析设备可以将多路视频流分别按照各自的视频流协议进行解析,得到多路视频流的多张关键帧。
此处应理解的是,大多数编码后的视频文件都不适合流式传输;流式传输需要将音视频分割成小块(chunk),将这些小块按顺序以数据包的方式进行发送,使得用户无需将文件下载到本地即可播放。由于视频文件以连续的数据流发送的,因此在视频文件到达时即可播放,并可以像下载的文件一样进行暂停、快进或后退操作。
因此,对于每一路视频流,该视频分析设备按照该视频流的视频流协议从数据包中解析出其中的I帧、P帧以及B帧。又由于I帧、P帧以及B帧在视频流中并非均匀分布的,因此,视频分析设备一旦解析到I帧,则将其复制一份。以此类推,可以得到多路视频流各自的关键帧。
然而经过研究之后发现,每路视频流中包括依次连续多个数据,若每接收一个数据包就判断一次该数据包中是否包括有关键帧,则存在效率低下的问题;并且,当对数据包的解析速度跟不上数据包的产生速度时,还需要提供缓存空间对过剩的数据包进行缓存以避免出现数据丢失;或者仅对部分数据包进行判断,则又会导致关键帧的漏检。
鉴于此,在本实施例中,为了提高对关键帧的检测效率,步骤S102包括以下实施方式:
S102-1,对于每路视频流,获取视频流中关键帧的出现频率。
其中,视频流中包括多个数据包,出现频率表示视频流中每出现一张关键帧需要间隔的数据包数量。此处应理解的是,有些视频流之间,键帧的出现频率是存在一定差异的,其与视频源的配置相关。例如,当视频源时摄像头时,摄像头的分辨率、码率、视频编码算法等配置信息均会对关键帧的出现频率造成影响。因此,对于每一路视频流,事先需要知道其中的关键针的出现频率。
对此,本实施例中的视频分析设备将视频流中出现的一关键帧作为起始关键帧,并将包括起始关键帧的第一个数据包作为起始数据包;
然后,该视频分析设备根据起始数据包,统计终止数据包出现之前共接收的数据包数量,其中,终止数据包表示包括终止关键帧的第一个数据包,终止关键帧表示与起始关键帧相邻的下一张关键帧;
最后,将将终止数据包出现之前共接收的数据包数量作为视频流中关键帧的出现频率。
也即是说,对于每一路视频流,该视频分析设备在从中抽取关键帧之前,先对视频流中的数据包进行统计分析,以获得关键帧的出现频率,从而便于后续进行视频分析时,利用关键帧的出现频率高效地从中抽取关键帧。
示例性的,假定将一视频流中的数据包按照生成的时间先后顺序表示为dp1,dp2,dp3,dp4,dp5,dp6,dp7,…dpn。若在对该视频流中的数据包进行统计分析时,dp2为出现起始关键帧的第一个数据包,该视频分析设备则将后续的数据包依次进行分析,直至找到出现终止关键帧的第一个数据包为dp7,则该视频流中关键帧的出现频率为每5个数据包出现一次关键帧。
值得说明的是,一些关键帧的数据量较大时,需要打包到多个连续的数据包中,因此,本实施例在统计关键帧的出现频率时,仅关注出现起始关键帧的第一个数据包以及出现终止关键帧的第一个数据包。
S102-2,根据出现频率从视频流中确定出包括关键帧的目标数据包。
S102-3,从目标数据包中解析出关键帧。
示例性的,假定一视频流中的关键帧每5个数据包出现一次,以及该视频流中的数据包按照生成的时间先后顺序表示为dp1,dp2,dp3,dp4,dp5,dp6,dp7,…dpn。
对于以上数据包的序列,进一步假定一张关键帧中的全部数据被打包成了一个数据包,若以上序列中的dp3出现了关键帧,则将之后的dp8作为目标数据包,从中解析出关键帧;而对于dp3与dp8之间dp4,dp5,dp6,dp7的4个数据包,则不进行解析处理。如此,相较于对每个数据包都进行解析以判断其中是否包括有关键帧,本实施例根据关键帧的出现频率仅对特定的数据包进行解析,从而提高了从视频流中抽取关键帧的效率。
S105,将多张关键帧通过同一解码器进行解码,得到多张解码图像。
其中,在本实施例中,多张关键帧的编码方式可以是H.264或者H.265,与之相对应的多张解码图像的格式可以时YUV格式。当然,关键帧的编码方式以及解码图像的格式不仅限于,本实施例不做具体的限定。
由于关键帧的解码时,不需要依赖于其他帧,因此,可以将多路视频流各自的关键帧经过同一解码器进行独立解码,以得到多张解码图像。因此,相较于现有技术中,需要为每一路视频流配置一个解码器,将多路视频的多张关键帧通过同一解码器进行解码,极大的降低了对计算资源的消耗。
通过同一解码器对多路视频流的关键帧进行解码的过程中发现,解码器在对关键帧进行解码时,依赖于关键帧的分辨率;即当解码器初始化之后,仅能对与初始化时设置的分辨率相同的关键帧进行解码。对于步骤S105,在一种可选地实施方式中:
S105-1,判断多张关键帧是否具有相同的分辨率,若是,则执行步骤S105-2,若否,则执行步骤S105-3、S105-4。
S105-2,将多张关键帧通过同一解码器进行解码,得到多张解码图像。
S105-3,将具有相同分辨率的关键帧分为一组,得到多组关键帧。
S105-4,将多组关键帧分别通过对应的解码器进行解码,得到多张解码图像。
因此,在以上实施方式中,若多张解关键帧具有不一致的分辨率时,则将相同分辨率的分为一组,对同一组中的关键帧通过同一解码器进行解码。
示例性的,假定有9个视频流的9张关键帧,分别表示为F1、F2、F3、F4、F5、F6、F7、F8、F9;其中,F1、F4、F5、F6的分辨率为1920p;F2、F3、F8的分辨率为1440p;F7、F9的分辨率为1080p,即9张关键帧可以划分为3组关键帧。
如此,该视频分析设备将F1、F4、F5、F6通过同一解码器进行解码;F2、F3、F8通过同一解码器进行解码;F7、F9的通过同一解码器进行解码。
本实施例提供有两种方式对多组关键帧进行解码,在其中一种实施方式中,该视频分析设备同时为多组关键帧提多个解码器,并使用多个解码器对多组关键帧以并行的方式进行解码。
继续以以上3组关键帧为例,如图3所示,视频分析设备为3组关键帧提供3个解码器,以并行的方式对3组关键帧进行解码,以获得9张解码图像。如此,相较于为每路视频流提供一个解码器时,共需要9个解码器;将相同分辨率的关键帧分为一组,并使用同一解码器进行解码,则只需要3个解码器,极大的节省了对计算资源的消耗。
在另外一种实施方式中,对于一些算力极为有限的老旧设备,视频分析设备将多组关键帧依次通过对应的解码器进行解码,以得到多张解码图像。
继续以以上3组关键帧为例,视频分析设备可以针对第一组关键帧F1、F4、F5、F6提供支持1920p分辨率的解码器;待解码完成以后,为第二组关键帧F2、F3、F8提供支持1440p分辨率的解码器;待解码完成以后,为第三组关键帧F7、F9提供支持1080p分辨率的解码器;最终,得到9张关键帧的解码图像。如此,对于算力有限的设备,始终在同一时间仅有一个解码器在运行,从而最大程度的节省计算资源。
值得说明的是,本实施例为了便于对关键帧依次进行解码处理,提供先入先出的缓存队列,用于缓存同一分辨率的关键帧。
另外,值得说明的是,多路视频流配置有各自的视频业务,现有技术中针对多路视频流分别配置有解码器,因此,可以通过解码器与视频流之间的对应关系,将解码出的视频图像按照对应视频流的视频业务进行处理。而本实施例中将多张关键帧通过同一解码器进行解码,导致解码器与视频流之间不再具有唯一对应关系。因此,为了便于对解码出的视频图像进行后续的业务处理,如图4所示,在步骤S105之前,该方法还包括:
S103,接收多路视频流各自的通道标识。
其中,该通道标识只要能够唯一表示视频流,以达到与其他视频流之间进行区分即可。例如,对于9个视频流,可以使用1-9的数字编号作为各视频流的通道标识;当然,在其他示例中,还可以使用A-I的字母作为各视频流的通道标识。对此,本实施例不做具体的限定。
S104,将多张关键帧按照所属的视频流,通过对应的通道标识进行标记。
如此,通过对应的通道标识对各关键帧进行标记以后,避免无法获取解码图像所属的视频流。
继续参见图4,在步骤S105之后,该方法还包括:
S106,对于每张解码图像,根据解码图像对应关键帧标记的通道标识,将解码图像按照与通道标识相匹配的视频业务进行处理。
如此,在解码器与视频流之间不再具有唯一对应关系的情况下,能够确定出每一张解码器图像与之对应的视频业务。
示例性的,如图5所示的两路视频流,分别称为视频流A以及视频流B,其中,视频流A的视频业务为预览业务;而视频流B的视频业务则是智能分析,并且,视频流A的通道标识为A,视频流B的通道标识为B。视频分析设备将视频流A以及视频流B标记了通道标识的关键帧打包为一路混合码流,通过同一解码器进行解码,得到两张解码图像。
继续参见图5,此处为了便于描述,将标记了A的关键帧对应的解码图像称为解码图像A,将标记了B的关键帧对应的解码图像称为解码图像B。由于解码图像A属于视频流A,因此,将解码图像A以按照预览业务进行处理;而由于解码图像B属于视频流B,因此,将解码图像按照智能分析业务进行处理。
基于与以上视频处理方法相同的发明构思,本实施例还提供一种应用于视频分析设备的视频处理装置。视频处理装置包括至少一个可以软件形式存储于存储器201或固化在视频分析设备的操作系统(Operating System,简称OS)中的软件功能模块。视频分析设备中的处理器202用于执行存储器201中存储的可执行模块。例如,可以是视频处理装置所包括的软件功能模块及计算机程序等。请参照图6,从功能上划分,视频处理装置可以包括:
视频流模块101,用于接收多路视频流。
在本实施例中,该视频流模块101用于实现图2中的步骤S101,关于该视频流模块101的详细描述,可以参见步骤S101的详细描述。
关键帧模块102,用于从多路视频流中获取多张关键帧,其中,多张关键帧与多路视频流一一对应。
在本实施例中,该关键帧模块102用于实现图2中的步骤S102,关于该关键帧模块102的详细描述,可以参见步骤S102的详细描述。
帧解码模块103,用于将多张关键帧通过同一解码器进行解码,得到多张解码图像。
在本实施例中,该帧解码模块103,用于实现图2中的步骤S105,关于该帧解码模块103的详细描述,可以参见步骤S105的详细描述。
另外值得说明的是,由于视频处理装置与视频处理方法具有相同的发明构思,因此,视频流模块101、关键帧模块102以及帧解码模块103还可以用于实现视频解码方法的其他步骤或者子步骤,本实施例不再进行赘述。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
还应理解的是,以上实施方式如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
因此,本实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时,实现本实施例提供的视频处理方法。其中,该计算机可读存储介质可以是U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
请参照图7,本实施例还提供一种视频分析设备,该视频分析设备可包括处理器202及存储器201。处理器202与存储器201可经由系统总线通信。并且,存储器201存储有计算机程序,处理器通过读取并执行存储器201中与以上实施方式对应的计算机程序,实现本实施例所提供的视频处理方法。
继续参见图7,该视频分析设备还可以包括通信单元203。该存储器201、处理器202以及通信单元203各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,该存储器201可以是基于任何电子、磁性、光学或其它物理原理的信息记录装置,用于记录执行指令、数据等。在一些实施方式中,该存储器201可以是,但不限于,易失存储器、非易失性存储器、存储驱动器等。
其中,仅作为示例,该易失存储器可以是随机存取存储器(Random AccessMemory,RAM)。该非易失性存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM)、电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)、闪存等;该存储驱动器可以是磁盘驱动器、固态硬盘、任何类型的存储盘(如光盘、DVD等),或者类似的存储介质,或者它们的组合等。
该通信单元203用于通过网络收发数据。在一些实施方式中,该网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network,LAN)、广域网(Wide Area Network,WAN)、无线局域网(Wireless Local Area Networks,WLAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、公共电话交换网(Public Switched Telephone Network,PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication,NFC)网络等,或其任意组合。在一些实施例中,网络可以包括一个或多个网络接入点。例如,网络可以包括有线或无线网络接入点,例如基站和/或网络交换节点,服务请求处理系统的一个或多个组件可以通过该接入点连接到网络以交换数据和/或信息。
该处理器202可能是一种集成电路芯片,具有信号的处理能力,并且,该处理器可以包括一个或多个处理核(例如,单核处理器或多核处理器)。仅作为举例,上述处理器可以包括中央处理单元(Central Processing Unit,CPU)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、专用指令集处理器(Application SpecificInstruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital SignalProcessor,DSP)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing,RISC)、或微处理器等,或其任意组合。
应该理解到的是,在上述实施方式中所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上所述,仅为本申请的各种实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种视频处理方法,其特征在于,应用于视频分析设备,所述方法包括:
接收多路视频流;
从所述多路视频流中获取多张关键帧,其中,所述多张关键帧与所述多路视频流一一对应,该步骤具体包括:
对于每路所述视频流,获取所述视频流中关键帧的出现频率,其中,所述视频流中包括多个数据包,所述出现频率表示所述视频流中每出现一张关键帧需要间隔的数据包数量;
根据所述出现频率从所述视频流中确定出包括所述关键帧的目标数据包;
从所述目标数据包中解析出所述关键帧;
将所述多张关键帧通过同一解码器进行解码,得到多张解码图像。
2.根据权利要求1所述的视频处理方法,其特征在于,所述获取所述视频流中关键帧的出现频率,包括:
将所述视频流中出现的一关键帧作为起始关键帧,并将包括所述起始关键帧的第一个数据包作为起始数据包;
根据所述起始数据包,统计终止数据包出现之前共接收的数据包数量,其中,所述终止数据包表示包括终止关键帧的第一个数据包,所述终止关键帧表示与所述起始关键帧相邻的下一张关键帧;
将所述终止数据包出现之前共接收的数据包数量作为所述视频流中关键帧的出现频率。
3.根据权利要求1所述的视频处理方法,其特征在于,所述将所述多张关键帧通过同一解码器进行解码,得到多张解码图像之前,所述方法还包括:
获取所述多路视频流各自的通道标识;
将所述多张关键帧按照所属的视频流,通过对应的通道标识进行标记。
4.根据权利要求3所述的视频处理方法,其特征在于,所述多路视频流配置有各自的视频业务,所述方法还包括:
对于每张所述解码图像,根据所述解码图像对应关键帧标记的通道标识,将所述解码图像按照与所述通道标识相匹配的视频业务进行处理。
5.根据权利要求1所述的视频处理方法,其特征在于,所述将所述多张关键帧通过同一解码器进行解码,得到多张解码图像,包括:
若所述多张关键帧之间具有相同的分辨率,则将所述多张关键帧通过同一解码器进行解码,得到多张解码图像。
6.根据权利要求1所述的视频处理方法,其特征在于,将所述多张关键帧通过同一解码器进行解码,得到多张解码图像,包括:
若所述多张关键帧之间具有不同的分辨率,则将具有相同分辨率的关键帧分为一组,得到多组关键帧;
将所述多组关键帧分别通过对应的解码器进行解码,得到所述多张解码图像。
7.一种视频处理装置,其特征在于,应用于视频分析设备,所述装置包括:
视频流模块,用于接收多路视频流;
关键帧模块,用于从所述多路视频流中获取多张关键帧,其中,所述多张关键帧与所述多路视频流一一对应,所述关键帧模块还具体用于:
对于每路所述视频流,获取所述视频流中关键帧的出现频率,其中,所述视频流中包括多个数据包,所述出现频率表示所述视频流中每出现一张关键帧需要间隔的数据包数量;
根据所述出现频率从所述视频流中确定出包括所述关键帧的目标数据包;
从所述目标数据包中解析出所述关键帧;
帧解码模块,用于将所述多张关键帧通过同一解码器进行解码,得到多张解码图像。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1-6任意一项所述的视频处理方法。
9.一种视频分析设备,其特征在于,所述视频分析设备包括处理器以及存储器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,实现权利要求1-6任意一项所述的视频处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211035772.XA CN115379236B (zh) | 2022-08-26 | 2022-08-26 | 视频处理方法、装置、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211035772.XA CN115379236B (zh) | 2022-08-26 | 2022-08-26 | 视频处理方法、装置、介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115379236A CN115379236A (zh) | 2022-11-22 |
CN115379236B true CN115379236B (zh) | 2024-04-09 |
Family
ID=84068951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211035772.XA Active CN115379236B (zh) | 2022-08-26 | 2022-08-26 | 视频处理方法、装置、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115379236B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000041242A (ja) * | 1997-11-20 | 2000-02-08 | Hitachi Ltd | ビデオ画像の異なる部分を異なる解像度で復号する方法及び装置 |
JP2001346206A (ja) * | 2000-03-29 | 2001-12-14 | Matsushita Electric Ind Co Ltd | 復号装置、復号方法、多重化装置及び多重化方法 |
JP2005184254A (ja) * | 2003-12-17 | 2005-07-07 | Mitsubishi Electric Corp | 特殊映像データ処理方法及び特殊映像データ処理装置及び特殊映像データ処理システム |
CN106162235A (zh) * | 2016-08-17 | 2016-11-23 | 北京百度网讯科技有限公司 | 用于切换视频流的方法和装置 |
CN108924575A (zh) * | 2018-07-09 | 2018-11-30 | 武汉斗鱼网络科技有限公司 | 一种视频解码分析方法、装置、设备及介质 |
CN109089126A (zh) * | 2018-07-09 | 2018-12-25 | 武汉斗鱼网络科技有限公司 | 一种视频分析方法、装置、设备及介质 |
CN111147860A (zh) * | 2019-12-23 | 2020-05-12 | 视联动力信息技术股份有限公司 | 一种视频数据的解码方法及装置 |
CN112492384A (zh) * | 2019-09-12 | 2021-03-12 | 曙光信息产业(北京)有限公司 | 视频解码方法、装置和计算机设备 |
CN113271493A (zh) * | 2021-04-06 | 2021-08-17 | 中国电子科技集团公司第十五研究所 | 视频流解码方法及计算机可读存储介质 |
CN113810695A (zh) * | 2020-06-15 | 2021-12-17 | 中国电信股份有限公司 | 视频编码方法、装置及计算机可读存储介质 |
CN114827724A (zh) * | 2022-04-07 | 2022-07-29 | 深圳Tcl新技术有限公司 | 视频播放方法以及相关设备 |
-
2022
- 2022-08-26 CN CN202211035772.XA patent/CN115379236B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000041242A (ja) * | 1997-11-20 | 2000-02-08 | Hitachi Ltd | ビデオ画像の異なる部分を異なる解像度で復号する方法及び装置 |
JP2001346206A (ja) * | 2000-03-29 | 2001-12-14 | Matsushita Electric Ind Co Ltd | 復号装置、復号方法、多重化装置及び多重化方法 |
JP2005184254A (ja) * | 2003-12-17 | 2005-07-07 | Mitsubishi Electric Corp | 特殊映像データ処理方法及び特殊映像データ処理装置及び特殊映像データ処理システム |
CN106162235A (zh) * | 2016-08-17 | 2016-11-23 | 北京百度网讯科技有限公司 | 用于切换视频流的方法和装置 |
CN108924575A (zh) * | 2018-07-09 | 2018-11-30 | 武汉斗鱼网络科技有限公司 | 一种视频解码分析方法、装置、设备及介质 |
CN109089126A (zh) * | 2018-07-09 | 2018-12-25 | 武汉斗鱼网络科技有限公司 | 一种视频分析方法、装置、设备及介质 |
CN112492384A (zh) * | 2019-09-12 | 2021-03-12 | 曙光信息产业(北京)有限公司 | 视频解码方法、装置和计算机设备 |
CN111147860A (zh) * | 2019-12-23 | 2020-05-12 | 视联动力信息技术股份有限公司 | 一种视频数据的解码方法及装置 |
CN113810695A (zh) * | 2020-06-15 | 2021-12-17 | 中国电信股份有限公司 | 视频编码方法、装置及计算机可读存储介质 |
CN113271493A (zh) * | 2021-04-06 | 2021-08-17 | 中国电子科技集团公司第十五研究所 | 视频流解码方法及计算机可读存储介质 |
CN114827724A (zh) * | 2022-04-07 | 2022-07-29 | 深圳Tcl新技术有限公司 | 视频播放方法以及相关设备 |
Non-Patent Citations (3)
Title |
---|
A scalable, multi-stream MPEG-4 video decoder for conferencing and surveillance applications;P. Schumacher et al.;《IEEE International Conference on Image Processing 2005》;20051114;全文 * |
基于SEP6200微处理器平台的多路视频解码系统的设计与实现;陈海波;《万方硕士论文数据库》;20150520;全文 * |
多路实时监控视频数据处理与分析系统的设计与实现;杜爽;《中国优秀硕士学位论文全文数据库(电子期刊)》;20220115;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115379236A (zh) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109547786B (zh) | 视频编码、以及视频解码的方法、装置 | |
JP6207116B2 (ja) | 監視ビデオをエンコードするための方法及び装置 | |
JP6087940B2 (ja) | 復号化ピクチャ・バッファおよび参照ピクチャ・リストのための状態情報のシグナリング | |
CN110784740A (zh) | 视频处理方法、装置、服务器及可读存储介质 | |
HUE030663T2 (en) | Encode SEI NAL units for video encoding | |
JP2015501098A5 (zh) | ||
US10455244B2 (en) | Method and device for entropy encoding or entropy decoding video signal for high-capacity parallel processing | |
EP2642764B1 (en) | Transcoding a video stream to facilitate accurate display | |
CN113473126B (zh) | 视频流的处理方法、装置、电子设备及计算机可读介质 | |
CN108055595B (zh) | 视频图像的重定向方法、计算机可读存储介质 | |
CN110784718A (zh) | 视频数据编码方法、装置、设备和存储介质 | |
CN107613302B (zh) | 解码方法及装置、存储介质、处理器 | |
KR100969224B1 (ko) | 미싱 또는 무효 포워드 레퍼런스 픽쳐들을 갖는 b 픽쳐들의 처리 방법 및 시스템 | |
US20190356911A1 (en) | Region-based processing of predicted pixels | |
KR20140129624A (ko) | 동영상 처리 방법 및 장치 | |
CN115379236B (zh) | 视频处理方法、装置、介质及设备 | |
CN115297331A (zh) | 一种视频数据处理方法、装置、设备及系统 | |
CN112333461A (zh) | 一种视频直播的启动方法和装置 | |
CN114615549B (zh) | 流媒体seek方法、客户端、存储介质和移动设备 | |
CN115695918B (zh) | 多摄像头导播控制方法、装置、可读存储介质及终端设备 | |
US20240244229A1 (en) | Systems and methods for predictive coding | |
WO2022100742A1 (zh) | 视频编码及视频播放方法、装置和系统 | |
US20240297998A1 (en) | Encoding video with extended long term reference picture retention | |
KR100935493B1 (ko) | Dsp 기반 분산 트랜스코딩 장치 및 방법 | |
US11197014B2 (en) | Encoding apparatus, decoding apparatus, and image processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |