CN109862315A - 视频处理方法、相关设备及计算机存储介质 - Google Patents

视频处理方法、相关设备及计算机存储介质 Download PDF

Info

Publication number
CN109862315A
CN109862315A CN201910070276.XA CN201910070276A CN109862315A CN 109862315 A CN109862315 A CN 109862315A CN 201910070276 A CN201910070276 A CN 201910070276A CN 109862315 A CN109862315 A CN 109862315A
Authority
CN
China
Prior art keywords
frame
macro block
candidate
conclusion
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910070276.XA
Other languages
English (en)
Other versions
CN109862315B (zh
Inventor
谭义鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910070276.XA priority Critical patent/CN109862315B/zh
Publication of CN109862315A publication Critical patent/CN109862315A/zh
Application granted granted Critical
Publication of CN109862315B publication Critical patent/CN109862315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了视频处理方法,包括:获取包括M个帧的视频,M为正整数,所述M个帧中的每个帧包括至少一个宏块,根据所述M个帧的宏块的宏块参数,在所述M个帧中确定候选帧集合,所述候选帧集合中的候选帧包括目标区域,所述目标区域为所述视频中的动态对象所在区域;若所述候选帧集合包括帧内编码I帧,选择所述I帧为目标帧;若所述候选帧集合不包括I帧,在所述候选帧集合选择帧号最小的帧作为所述目标帧;对所述目标帧进行解码,获取所述目标帧的像素信息;根据所述像素信息,提取所述动态对象的特征信息。采用本发明实施例,能够解决现有视频处理方案中存在的工作量较大、处理效率较慢等问题。

Description

视频处理方法、相关设备及计算机存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及视频处理方法、相关设备及计算机存储介质。
背景技术
随着人们对社会公共安全的日益关注以及城市监控网络的广泛应用,大量监控摄像头应用在公共场所中,以进行视频监控。其中,在视频监控中,随着用户对视频监控中价值信息的聚焦和重视,催生了诸如人脸识别、车辆识别等图像处理技术。
目前,为实现价值信息的获取提出基于特征提取的视频处理方案。具体的,视频处理装置将视频监控获得的视频解码成一个个图像帧(也可称帧),接着对帧进行像素级的检索对比,确定出待检测对象对应在该帧中的图像区域。最后,利用预先训练好的深度学习算法对包括待检测对象的图像区域进行特征提取,以获得待检测对象的特征信息,即获得帧中的价值信息。
然而在实践中发现,由于视频中包含的帧的数量较多,如果每个视频均采用上述特征提取方案来进行处理,这样视频处理装置的工作量较大、成本较高,且处理效率较慢。
发明内容
本发明实施例公开了视频处理方法、相关设备及计算机存储介质,能够解决现有视频处理方案中存在的工作量较大、处理效率较慢等问题。
第一方面,本发明实施例公开提供了一种视频处理方法,所述方法包括:视频处理装置获取包括M个帧的视频,该M个帧中的每个帧包括至少一个宏块,M为正整数。进一步视频处理装置根据M个帧的宏块的宏块参数,从M个帧中确定候选帧集合,该候选帧集合中的候选帧包括目标区域,该目标区域为所述视频中的动态对象所在区域。若候选帧集合中包括有帧内编码I帧,则视频处理装置可选择所述I帧为目标帧。反之,若候选帧集合中不包括I帧,则在候选帧集合选择帧号最小的帧作为所述目标帧。进一步视频处理装置可对选择的目标帧进行解码,获取该目标帧的像素信息,进而根据该像素信息提取动态对象的特征信息。
通过实施本发明实施例,能够从视频中的M个帧中筛选出包括至少一个候选帧的候选帧集合,进而从该候选帧集合中选取目标帧。相比于现有技术而言,视频处理装置能够在图像不解码的情况下实现目标帧的提取,排除非目标帧,进而针对性地对目标帧进行解码、从中提取动态对象的特征信息,这样既能节省图像解码时间以及解码成本,又能提升目标帧选取的精确度,还能提升视频处理的效率。同时,也能够解决现有视频处理方案中存在的工作量较大、处理效率较低等问题。从候选帧集合中选取目标帧,进一步提高了提取动态对象的特征信息的精确度。相较于非I帧,解码I帧所需的时间最短,且解码后的I帧相较于原始帧损失的像素信息最少,因此,选择候选帧集合中的I帧或帧号最小的候选帧作为目标帧,可以进一步提高提取动态对象的特征信息的速度,同时,提高提取动态对象的特征信息的精确度。
结合第一方面,在第一方面的一些实施方式中,M个帧中包括有P个非I帧和M-P个I帧,P为不大于M且不小于0的整数。相应地,视频处理装置在确定候选帧集合时,可获取P个非I帧的宏块的宏块参数和M-P个I帧的宏块的宏块参数,其中,该P个非I帧的宏块的宏块参数包括运动矢量、量化参数、编码比特数、编码类型,该M-P个I帧的宏块的宏块参数包括量化参数。进一步视频处理装置可分别根据P个非I帧的宏块的4个宏块参数,对P个非I帧进行4*P次检测,确定该4*P次检测的检测结果,其中P个非I帧中的每个帧对应4个检测结果。相应地,视频处理装置也可分别根据M-P个I帧的宏块的宏块参数,对该M-P个I帧进行M-P次检测,确定该M-P次检测的检测结果,其中M-P个I帧中的每个帧对应1个检测结果。进一步视频处理装置根据所述4*P次检测的检测结果在该P个非I帧中确定第一候选帧集合,根据该M-P次检测的检测结果在M-P个帧中确定第二候选帧集合,进而将第一候选帧集合和第二候选帧集合的组合作为候选帧集合。
通过执行本实施步骤,视频处理装置可根据帧类型的分类,分别从P个I帧和(M-P)个非I帧中选取出相应地候选帧集合,便于后续从该候选帧集合中选取相应地目标帧。这样能够提升候选帧选取的精确度,进而基于该候选帧实现目标帧的提取和处理,从而提升目标帧提取的精确度。
结合第一方面,在第一方面的另一些可能的实施方式中,该4*P次检测中的每次检测的检测结果包括第一结论和第二结论和第三结论中的一种,其中,第一结论、第二结论和第三结论所表征的对应帧包含目标区域的可能性依次降低。具体的,视频处理装置可根据4*P次检测的检测结果,确定P个非I帧中每个帧对应的检测结果中第一结论的个数、第二结论的个数和第三结论的个数。进一步视频处理装置可确定对应的检测结果中第一结论的个数、第二结论的个数和第三结论的个数符合预设条件的帧为候选帧集合中的候选帧。该预设条件为系统自定义设置的,并不做限定。
通过执行本实施步骤,视频处理装置能根据每个非I帧的宏块的4个宏块参数,综合分析确定该帧是否为候选帧集合中的候选帧,这样能够提升候选帧获取的准确性或精确度,从而提升视频处理的精确度。
结合第一方面,在第一方面的另一些可能的实施方式中,视频处理装置可根据M-P个I帧中的每个帧对应的检测结果,在该M-P个I帧中确定候选帧集合中的候选帧。
通过执行本实施步骤,视频处理装置根据每个I帧的宏块的量化参数来确定该帧是否为候选帧集合中的候选帧,有利于提升候选帧获取的精确度,从而提升了视频处理的精确度。
结合第一方面,在第一方面的另一些可能的实施方式中,视频处理装置在解码获得目标帧的像素信息时,具体存以下两种实施情况。具体的,当目标帧为I帧时,视频处理装置可对目标帧进行解码,从而获得目标帧的像素信息。或者,当目标帧为非I帧时,视频处理装置可从目标帧的前一个I帧开始解码,直至对目标帧进行解码,从而获取该目标帧的像素信息。
通过执行本实施步骤,视频处理装置可根据不同类型的帧对帧进行解码,以获得该目标帧的像素信息,便于后续基于该像素信息实现动态对象的特征信息的提取。
第二方面,本发明实施例提供了一种视频处理装置,所述装置包括用于执行如上第一方面或第一方面的任意可能的实施方式中所描述的方法的功能模块或单元。
第三方面,本发明实施例提供了一种视频处理装置,包括:处理器,存储器,通信接口和总线;处理器、通信接口、存储器通过总线相互通信;通信接口,用于接收和发送数据;存储器,用于存储指令;处理器,用于调用存储器中的指令,执行上述第一方面或第一方面的任意可能的实施方式中所描述的方法。
第四方面,提供了一种计算机非瞬态(non-transitory)存储介质,所述计算机非瞬态存储介质存储了用于视频处理的程序代码。所述程序代码包括用于执行上述第一方面或第一方面的任意可能的实施方式中所描述的方法的指令。
第五方面,提供了一种芯片产品,以执行上述第一方面或第一方面的任意可能的实施方式中的方法。
本发明在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种通信系统的结构示意图。
图2A是本发明实施例提供的一种包括有目标区域的帧的示意图。
图2B是本发明实施例提供的一种目标区域位于中心区域的帧的示意图。
图3是本发明实施例提供的一种视频处理方法的流程示意图。
图4是本发明实施例提供的一种视频的时序示意图。
图5是本发明实施例提供的一种基于运动矢量的视频处理方法的流程示意图。
图6A-图6C是本发明实施例提供的三种相邻宏块的示意图。
图7A-图7C是本发明实施例提供的三种帧的示意图。
图8是本发明实施例提供的一种基于量化参数的视频处理方法的流程示意图。
图9是本发明实施例提供的一种基于编码类型的视频处理方法的流程示意图。
图10是本发明实施例提供的一种基于编码比特数的视频处理方法的流程示意图。
图11是本发明实施例提供的一种基于帧信息的视频处理方法的流程示意图。
图12是本发明实施例提供的一种视频处理装置的结构示意图。
图13是本发明实施例提供的另一种计算设备的结构示意图。
具体实施方式
下面结合附图,对本发明的实施例进行描述。
首先,阐述本发明涉及的一些技术概念或技术术语。
帧类型,定义了帧格式,其具体包括以下中的至少一项:帧内编码帧(又称I帧)、帧间预测编码帧(P帧)以及双向预测编码帧(B帧)。
帧,也可称为图像帧,指视频处理装置传输的图像画面(或视频画面)。本发明依据帧类型具体可将帧划分为两类,分别为I帧和非I帧,该非I帧具体可为B帧或P帧。在实际应用中,帧是由若干像素点组成,每个像素点都有明确的位置以及被分配的色彩值(即像素值)。像素点的位置和色彩值决定了帧(图像画面)呈现的效果。宏块(macroblock),是视频编码技术中的一个基本概念。按照不同区域划分将帧划分为至少一个宏块,视频处理装置对帧进行编码以获得视频时,通过对宏块进行编码,以在帧内的不同区域上实施不同的编码策略。
其次,申请人在提出本发明的过程中发现:现有视频处理方案中存在工作量较大、解码成本高以及处理效率较低等问题。此外,受限于视频处理装置的硬件限制,例如受限于单张图形处理器(graphic processing unit,GPU)的计算资源限制,在人脸识别中GPU可支持12路视频的处理,在车辆识别中支持15路视频的处理,在其他对象识别中GPU也仅能支持不超过20路视频的处理。然而在视频监控中,通常视频处理装置需要处理的视频的数量远远超过20路,因此需利用多张GPU来实现视频处理,无疑增加视频处理的成本。
为解决上述问题,本发明提出另一种视频处理方法、所述方法适用的结构示图以及相关设备。参见图1,图1是本发明实施例提供的一种通信系统的结构示意图。如图1所示的通信系统包括计算机10(也可称为计算设备)和摄像装置20。其中计算机10和摄像装置20各自的数量不做限定,图示以1个计算机10和1个摄像装置20为例示出。计算机10中部署有视频处理装置100。计算机10和摄像装置20通过网络可以相互通信。
视频处理装置100用于负责摄像装置20的接入,即负责确定视频处理装置100所需处理哪些摄像装置采集的视频。其中,摄像装置20是指支持图像采集的装置,其可包括但不限于摄像头、相机、摄像模组等。视频具体可以视频文件体现,其包括一个或多个帧。这里的帧是指影像动画中最小单位的单幅画面或单幅图像。
可选地,视频处理装置100还可用于负责视频的存储和转发等操作处理。例如,视频处理装置100可将获得的摄像装置采集的视频缓存至相应地缓存空间中,便于后续根据实际需求将视频转发给其他设备处理等。
视频处理装置100还可用于对视频中包括的M个帧进行处理,以从中获得目标帧。M为正整数,通常情况下,M的取值较大,也就是说,通常情况下,视频中包含大量的帧。具体的,视频处理装置100可从M个帧中筛选获得包括至少一个候选帧在内的候选帧集合,进而从该候选帧集合中提取出目标帧。关于视频处理装置100如何从视频中获得目标帧,具体在本发明下文阐述。
其中,本发明涉及的目标帧具体可为候选帧集合中的一个或多个候选帧,该候选帧是指M个帧中包括有目标区域的帧,该目标区域为视频中动态对象所在的区域。
本发明涉及的动态对象是指存在着运动的对象,该对象包括但不限于车辆、行人、小狗以及小鸟等。在实际应用中,候选帧中包括的动态对象的数量,并不做限定。该动态对象具体可为一个或多个,本发明下文以一个动态对象为例阐述。
举例来说,如图2A示出一种包括有目标区域的帧的示意图。如图2A中,以动态对象为行人为例,图示中的目标区域具体是指行人对应在帧中所在的图像区域。
视频处理装置100还用于对提取的目标帧进行解码,以获得解码后的目标帧,该解码后的目标帧包括有该目标帧的像素信息。进一步可从该目标帧的像素信息中提取出动态对象的特征信息,进而识别出该动态对象。
其中,目标帧的像素信息包括有组成该目标帧的至少一个像素点的像素值。视频处理装置100根据目标帧的像素点的像素值可提取出目标帧中动态对象的特征信息。该动态对象的特征信息用于指示该动态对象的识别结果,例如该动态对象为小狗或车辆等等。关于视频处理装置100如何获得动态对象的特征信息,本发明并不做限定。例如,视频处理装置100采用预先训练好的神经网络模型对解码后的目标帧进行处理,以提取出该目标帧中动态对象的特征数据,进而基于该特征数据输出该动态对象的特征信息。其中该特征数据是指用于表征动态对象的特征的数据,例如组成该动态对象的至少一个像素点的像素值、或者动态对象的边缘轮廓等数据。该动态对象的特征信息用于指示该动态对象的识别结果,例如该动态对象是否为指定对象(车辆等)。
本发明中为节省计算资源,视频处理装置100获得的视频通常是指编码后的视频,且未被解码的视频。相应地,该视频中包括的每个帧是指未解码的帧,以节省帧解码所需消耗的计算资源。此外视频处理装置100获得目标帧后,可仅对目标帧进行解码以及特征提取,以获得该目标帧中动态对象的特征信息,相比于现有技术需对视频中的每个帧进行解码以及特征提取处理而言,其大大减少了视频处理的工作量以及减少了视频处理装置100的成本开销,避免了设备计算资源的浪费,提升了视频处理的效率。
可选地,本发明针对解码后的目标帧的格式并不做限定。例如,视频处理装置100可将目标帧解码成格式为YUV或RGB的帧等。进一步视频处理装置100还可将解码后的目标帧(例如YUV或RGB格式的帧)编码为预设格式的帧,该预设格式为系统自定义设置的不同于编码后的帧的格式,例如其具体可为JPEG格式的帧等。进一步视频处理装置100可对编码后的JPEG帧进行特征提取,例如根据JPEG帧的像素信息提取该JPEG帧中的动态对象的特征信息,关于动态对象的特征提取具体可参见前文所述,这里不再赘述。
在实际应用中,本发明涉及的视频处理装置100对应部署的计算设备可包括但不限于手机、平板电脑(table personal computer)、个人数字助理(personal digitalassistant,PDA)、移动上网装置(mobile internet device,MID)、可穿戴式设备(wearabledevice)、车载设备以及其他支持和网络通信的设备等。
基于前述实施例,下面阐述本发明涉及的视频处理方法。请参见图3,是本发明实施例提供的一种视频处理方法的流程示意图。如图3所示的方法包括如下实施步骤:
步骤S302、视频处理装置100获取视频,该视频中包括有M个帧各自的帧信息。
本发明中,视频处理装置100可获取摄像装置采集的视频,该视频中包括有M个帧各自的帧信息。这里的帧是指未解码的帧。帧信息是指用于描述帧的相关信息,其可包括但不限于帧类型、组成帧的一个或多个宏块以及每个宏块的宏块参数等等。这里的宏块参数是指用于描述宏块的相关参数,其可包括但不限于宏块的运动矢量MV、宏块的量化参数QP、宏块的编码类型以及宏块的编码比特数等参数信息。
在实际应用中,M个帧中的每个帧均由至少一个宏块组成,每个帧的帧信息至少包括有组成该帧的至少一个宏块的宏块参数。可选地,该帧的帧信息中还可包括帧类型、帧标识等信息。该帧标识用于区分帧,其可包括但不限于帧序号(简称帧号)、帧ID等。本发明涉及的视频具体可为视频文件,其包括有视频编码时的编码语法。相应地,视频处理装置100在获得摄像装置采集的视频后,可根据视频的编码语法(例如编码协议H264/H265的语法)对该视频进行解析,以获得视频中的M个帧以及M个帧各自的帧信息。
步骤S304、视频处理装置100根据M个帧各自的帧信息,确定候选帧集合。该候选帧集合中包括有至少一个候选帧,该候选帧为M个帧中包括有目标区域的帧,该目标区域为视频中动态对象所在的区域。
本发明中,视频处理装置100可根据M个帧的帧信息(具体可为M个帧的宏块的宏块参数),从M个帧中确定包括至少一个候选帧在内的候选帧集合。该候选帧是指包括有目标区域的帧,该目标区域为动态对象在帧中所占的图像区域。即是,该候选帧为包括有动态对象的帧。该候选帧集合的数量,本发明并不做限定。通常为提高动态对象的特征信息获取的准确性,该候选帧集合的数量通常为多个。
为提升动态对象特征提取的准确度,视频处理装置100可根据预设帧数量来划分获得多个候选帧集合。具体的,视频处理装置100根据M个帧中每个帧的宏块的宏块参数,确定出包括有目标区域的多个候选帧。进一步视频处理装置100根据预设帧数量将确定的多个候选帧划分为N个候选帧集合,每个候选帧集合中包括有预设帧数量的候选帧,该预设帧数量具体可为系统自定义设置的正整数,N为正整数。例如,假设M=1000,预设帧数量为10。视频处理装置100从1000个帧中筛选出100个候选帧,进一步视频处理装置100根据帧号的连续性,将100个候选帧划分为10个候选帧集合。其中每个候选帧集合中包括有10个候选帧。
本发明下文以一个候选帧集合为例,阐述如何获得该候选帧集合的相关实施例。具体的,M个帧中包括有P个非I帧和(M-P)个I帧。视频处理装置100可获取P个非I帧的宏块的宏块参数以及(M-P)个非I帧的宏块的宏块参数。其中非I帧的宏块的宏块参数包括有以下中的至少一项:运动矢量、量化参数、编码比特数以及编码类型。I帧的宏块的宏块参数包括量化参数。关于I帧和非I帧宏块的宏块参数之间存在差异的原因,具体在本发明下文详述。
进一步视频处理装置100可分别根据P个非I帧的宏块的宏块参数,对该P个非I帧进行i*P次检测,获得该i*P次检测的检测结果,0<i<5,且i为正整数。具体的,i为非I帧的宏块的宏块参数的数量,例如,该宏块参数仅包括上述四个参数中的一个时,i=1;相应地,当该宏块参数包括上述四个参数中的任意两个时,i=2。又如,该宏块参数包括运动矢量、量化参数、编码比特数以及编码类型,则i=4。其中每个非I帧对应有3个检测结果,分别可为第一结论、第二结论以及第三结论,这三种结论所表征的非I帧中包括有目标区域(即动态对象)的可能性依次降低。例如,该第一结论用于表征对应帧中包括有目标区域,第二结论用于表征对应帧中疑似包括有目标区域,第三结论用于表征对应帧中不包括目标区域。接着,视频处理装置100可根据该i*P次检测的检测结果,在P个非I帧中确定出第一候选帧集合。该第一候选帧集合中包括有至少一个候选帧,这里的候选帧都为非I帧。
视频处理装置100还可分别根据(M-P)个I帧的宏块的宏块参数,对(M-P)个I帧进行(M-P)次检测,获得该(M-P)次检测的检测结果。其中每个I帧对应的1个检测结果,该检测结果用于指示该I帧中包括有或者未包括有目标区域(即动态对象)。相应地,视频处理装置100可根据(M-P)次检测的检测结果,在(M-P)个I帧中确定出第二候选帧集合。该第二候选帧集合中包括有至少一个候选帧,这里的候选帧都为I帧。
相应地,视频处理装置100可将确定的第一候选帧集合和第二候选帧集合组成为一个候选帧集合。即,本实施例中该候选帧集合具体可包括第一候选帧集合和第二候选帧集合。其中,关于视频处理装置100如何从M个帧中筛选出候选帧集合中的候选帧,在本发明下文具体详述,这里不再赘述。
步骤S306、视频处理装置100从候选帧集合中包括的至少一个候选帧中,选取目标帧。
具体的,视频处理装置100可从N个候选帧集合中,选取出满足指定条件的目标帧。或者,视频处理装置100可从N个候选帧集合中的每个候选帧集合中,选取出满足指定条件的目标帧。该指定条件为系统自定义设置的,用于选取目标帧的条件。例如,在实际应用中考虑到视频处理效率、节省帧解码时间,可优先考虑I帧再考虑非I帧。具体的,在候选帧集合中包括有I帧时,该指定条件具体可为:帧类型指示为I帧的帧。换句话说,视频处理装置100选取I帧作为目标帧。
当候选帧集合中不包括I帧时,可从候选帧集合中包括的非I帧中选取目标帧。具体的,考虑到动态对象特征提取的准确度,该指定条件具体可为:目标区域位于预设中心区域的非I帧。换句话说,视频处理装置100选取目标区域位于预设中心区域的非I帧,作为目标帧。其中该预设中心区域是指包括有帧的中心点的图像区域,或者位于帧的正中心的区域。
请参见图2B示出一种目标区域位于中心区域的帧的示意图。如图2B中示出该帧的中心区域(即预设中心区域),该预设中心区域的大小为系统自定义设置的,并不做限定。该目标区域的大小小于或等于预设中心区域的大小,该目标区域可为图示中虚线框所示,该目标区域位于预设中心区域的具体位置,不做限定。例如图示以目标区域位于预设中心区域的位置A和位置B为例示出。
反之,在不考虑动态对象特征提取准确度的情况下,该指定条件可为:候选帧集合中的任意非I帧,该非I帧的数量并不做限定,其可为一个或多个。可选地,该非I帧具体可为该非I帧的前一个或后一个I图像帧相邻最近的非I帧。以一个非I帧为例,该指定条件具体可为候选帧集合中帧号最小的帧。
举例来说,请参见图4是本发明实施例提供的一种视频的示意图。在实际应用中,摄像装置采集的视频中,每经过固定时间间隔出现一个I帧,即相邻两个I帧之间的时间间隔是固定的,其取决于摄像装置自身。每个I帧后面会连续出现多个非I帧(具体可为B帧或P帧)。如图4,以视频包括4个I帧为例,相邻两个I帧之间的间隔为1s,每个I帧后面连续出现7个非I帧。图示中以高度较高的帧为I帧,其余为非I帧。
引用图4的例子,该视频中包括有25帧。视频处理装置100采用本发明实施例上文所述可获得一个候选帧集合。假设该候选帧集合中包括5个候选帧,各自的帧号分别为:3,6,15,20和24。每个候选帧中都包括有目标区域。相应地视频处理装置100根据每个帧的帧类型,可获知该候选帧集合中没有I帧,全是5个非I帧。则视频处理装置100可从候选帧集合中的5个非I帧中,选取出目标区域位于预设中心区域的非I帧,假设这里满足此条件的有:帧3、帧6以及帧20。进一步视频处理装置100可将这3个非I帧,均作为目标帧。或者,视频处理装置100也可选取候选帧集合中帧号最小的帧,这里即帧3,作为目标帧。
步骤S308、视频处理装置100对目标帧进行解码,以获得解码后的目标帧,该解码后的目标帧包括目标帧的像素信息。
步骤S310、视频处理装置100根据目标帧的像素信息,提取动态对象的特征信息。
视频处理装置100在获得目标帧后,可对该目标帧进行解码,以获得解码后的目标帧。具体的,在目标帧为I帧时,视频处理装置100可直接对该目标帧进行解码,以获得解码后的目标帧。反之,当目标帧为非I帧时,视频处理装置100需从与该目标帧(非I帧)相邻的前一个I帧开始解码,直至对该目标帧进行解码,以获得解码后的目标帧。例如,引用上述图4的例子,假设视频处理装置100选取的目标帧为T1时刻采样获得的非I帧。则视频处理装置100需从该非I帧的前一个I帧(图示即为T0时刻采样获得的I帧)开始解码,直至解码到该目标帧,方可获得解码后的目标帧。
其中,解码后的目标帧中包括有目标帧的像素信息。由于该目标帧为包括有目标区域的帧,该目标区域为动态对象所在的区域,则解码后的目标帧中同样包括该目标区域。进一步视频处理装置100可根据解码后的目标帧中的像素信息,提取出动态对象的特征信息,以识别出该动态对象,具体可参见前述实施例中的相关阐述,这里不再赘述。
通过实施本发明实施例,能够在图像不解码的情况下实现目标帧的提取,排除非目标帧,便于后续有效地对目标帧进行解码以及提取动态对象的特征信息,节省图像解码时间以及解码成本,提升视频处理的效率。此外,在实践中发现本发明实施提出的视频处理方案,针对单卡(例如GPU)完成视频处理的视频的数量相比于现有技术提升了5~10倍,大大降低了视频处理的成本。
下面以M个帧中的任一待检测帧为例,详述该待检测帧是否为候选帧集合中的候选帧所涉及的相关具体实施例。请参见图5,是本发明实施例提供的一种基于运动矢量的视频处理方法的流程示意图。如图5所示的方法包括如下实施步骤:
步骤S502、视频处理装置100获取待检测帧的帧信息,该帧信息包括组成该待检测帧的至少一个宏块的运动矢量。本发明中,视频处理装置100在获得M个帧各自的帧信息时,即可获取待检测帧的帧信息,该待检测帧为M个帧中的任一帧。其中,待检测帧的帧信息中至少包括组成该待检测帧的一个或多个宏块的运动矢量。
步骤S504、视频处理装置100根据该待检测帧的宏块的运动矢量,对该待检测帧进行检测,以获得相应地检测结果。该检测结果用于指示待检测帧中包括目标区域的可能性的大小,该目标区域为动态对象在待检测帧所在的区域。例如,该检测结果具体可包括以下中的任一项:第一结论、第二结论以及第三结论。其中,这三种结论用于表征待检测帧中包括目标区域的可能性依次降低,例如第一结论用于表征或指示待检测帧中包括目标区域,第二结论用于表征待检测帧中疑似包括目标区域,第三结论用于表征待检测帧中不包括目标区域。
步骤S506、在该检测结果用于指示待检测帧中包括有目标区域时,确定该待检测帧为候选帧集合中的候选帧。否则,确定该待检测帧不为候选帧集合中的候选帧。
具体的,视频处理装置100可通过判断待检测帧的宏块的运动矢量是否满足第一条件来对待检测帧进行检测,从而获得该待检测帧的检测结果。其中,该第一条件为系统自定义设置的,用于对待检测帧进行检测以获得相应地检测结果。
例如,在不考虑视频处理精确度(即不考虑动态对象的特征信息提取的精确度)的情况下,该第一条件可包括条件1,具体为:待检测帧中存在第一宏块组,该第一宏块组中至少包括a个相邻宏块。该a个相邻宏块中的每个相邻宏块的运动矢量均大于或等于第一阈值。在待检测帧的宏块的运动矢量满足第一条件时,可确定相应地检测结果为第一结论,该第一结论用于指示待检测帧中包括有目标区域。在待检测帧的宏块的运动矢量不满足第一条件时,可确定相应地检测结果为第三结论,该第三结论用于指示待检测帧中不包括目标区域。其中,a和第一阈值均为系统自定义设置的,例如根据用户偏好自定义设置的等,a为正整数。本发明这里的a个相邻宏块是指两两宏块之间存在位置上的相邻关系。
举例来说,以a=4为例,具体可参见图6A-图6C示出三种相邻关系的示意图。如图6A-图6C中4个相邻宏块分别为:宏块1~宏块4。其中,如图6A,4个相邻宏块可指同时存在两两宏块之间的上下位置相邻以及两两宏块之间的左右位置相邻,例如图示中宏块1和宏块3、宏块2和宏块4均存在上下位置的相邻关系(即上下位置相邻),宏块1和宏块2、宏块3和宏块4均存在左右位置的相邻关系。
如图6B中,4个相邻宏块可指存在两两宏块之间的左右位置相邻。如图所示,4个相邻宏块中任意两个相邻宏块之间存在左右位置的相邻关系,例如宏块1和宏块2、宏块2和宏块3等存在左右位置的相邻关系。
如图6C中,4个相邻宏块可指存在两两宏块之间的上下位置相邻。如图所示,4个相邻宏块中任意两个相邻宏块之间存在上下位置的相邻关系,例如宏块1和宏块2、宏块2和宏块3等存在上下位置的相邻关系。
以第一宏块组包括同时存在上下位置相邻和左右位置相邻的a个相邻宏块为例,详述第一条件判断的具体实施过程。具体的,视频处理装置100以待检测帧中的任一第一宏块为基准,在第一宏块的运动矢量大于或等于第一阈值的情况下,进一步判断该第一宏块的周围是否存在(a-1)个相邻宏块,该(a-1)个相邻宏块中的每个相邻宏块的运动矢量均大于或等于第一阈值。该第一宏块为待检测帧中的任一宏块,该第一宏块的周围的宏块是指与第一第一宏块存在位置上的相邻关系的宏块。
举例来说,参见图7A是本发明实施例提供的一种待检测帧的示意图。如图7A中,该待检测帧由25个宏块组成,每个宏块对应有各自的运动矢量(图未示)。以第一宏块为宏块13为例,该宏块13周围的宏块具体可指与宏块13存在位置上的相邻关系的相邻宏块,图示分别可为:宏块7、8、9、12、14、17、18以及19。在判断过程中,假设宏块13的运动矢量大于或等于第一阈值。视频处理装置100在判断到宏块13的运动矢量大于或等于第一阈值后,还需继续判断与宏块13存在相邻关系的8个相邻宏块中,是否至少存在(a-1)个运动矢量大于或等于第一阈值的相邻宏块。如果存在,则可待检测帧的检测结果为第一结论,待检测帧中包括有目标区域(动态对象所占的区域),待检测帧为候选帧集合中的候选帧。否则,可获得待检测帧的检测结果为第三结论,待检测帧中不包括目标区域,待检测帧不为候选帧集合中的候选帧。其中,该(a-1)个相邻宏块以及宏块13即为上文中的第一宏块组。
可选地,本发明可将第一宏块组对应在待检测帧中所占的区域,称之为第一区域。相应地在不考虑视频处理精确度的情况下,视频处理装置100若确定到待检测帧的宏块的运动矢量满足条件1,则视频处理装置100可确定该待检测帧为候选帧集合中的候选帧,该第一区域可为运动区域,该运动区域中包括的每个宏块可称为运动宏块,即该运动区域中每个宏块的运动矢量均大于或等于第一阈值。反之,当待检测帧的宏块的运动矢量不满足条件1时,视频处理装置100可确定待检测帧不为候选帧集合中的候选帧。
在考虑视频处理精确度的情况下,该第一条件还需包括条件2,具体为:待检测帧的前P1个帧中存在至少一个候选帧。换句话说,参考帧为候选帧,该参考帧为待检测帧的前P1个帧中存在至少一帧。P1为系统自定义设置的正整数,例如1等。
相应地,视频处理装置100在确定到待检测帧的宏块的运动矢量满足条件1和条件2时,可获得相应地检测结果为第一结论,待检测帧中包括有目标区域。则该待检测帧为候选帧集合中的候选帧。该第一区域为运动区域,该第一区域中包括的各个宏块为运动宏块。
视频处理装置100在确定到待检测帧的宏块的运动矢量不满足条件1时,可获得相应地检测结果为第三结论,待检测帧中不包括目标区域。该待检测帧直接被确定到不为候选帧集合中的候选帧。该第一区域为非运动区域,该第一区域中的每个宏块为非运动宏块。
否则视频处理装置100可获得相应地检测结果为第二结论,待检测帧中疑似包括目标区域。具体的,视频处理装置100在确定到待检测帧的宏块的运动矢量满足条件1但不满足条件2,或者不满足条件1但满足条件2时,可获得相应地检测结果为第二结论,待检测帧中疑似包括有目标区域。该待检测帧不能被确定为候选帧集合中的候选帧。该第一区域可为疑似运动区域,该第一区域中包括的每个宏块可为疑似运动宏块。这里的运动宏块以及疑似运动宏块均是指运动矢量大于或等于第一阈值的宏块。
其中,在具体实现时条件2存在以下两种实施方式。第一种,参考帧中与第一区域对应相同位置的第二区域的周围存在至少一个运动宏块或疑似宏块。即,第二区域的周围存在至少一个运动矢量大于或等于第一阈值的宏块。其中,该参考帧为待检测帧的前P1个帧中的至少一帧。换句话说,待检测帧中的前P1个帧中存在有至少一个参考帧,该参考帧中与第一区域对应相同位置的第二区域的周围,存在至少一个运动矢量大于或等于第一阈值的宏块。
举例来说,引用图7A的例子,假设待检测帧中存在的第一宏块组分别有:宏块13、宏块7、宏块8以及宏块9。即上述第一宏块组中的4个相邻宏块的运动矢量均大于或等于第一阈值。视频处理装置100将上述4个相邻宏块对应在待检测帧中所占的区域称为第一区域,具体如图7A所示。假设待检测帧为第8帧,简称为帧8。以P1=1为例,具体实现时视频处理装置100可确定帧7中与第一区域对应相同位置的第二区域,具体如图7B中用粗黑线框出的区域。进一步视频处理装置100可确定帧6中该第二区域的周围是否存在有运动矢量大于或等于第一阈值的宏块,即确定该第二区域的周围是否存在至少一个运动宏块或疑似运动宏块。具体的,图7B中与第二区域存在相邻关系的宏块有如下13个宏块:宏块1’~宏块5’、宏块6’、宏块11’~12’、宏块14’~宏块15’、宏块17’~宏块19’。即,视频处理装置100需从上述13个宏块中确定出是否存在有至少一个运动矢量大于或等于第一阈值的宏块,如果存在,则可确定帧8的检测结果为第一结论,帧8中包括有目标区域,帧8为候选帧集合中的候选帧。如果不存在,可确定帧8的检测结果为第二结论,帧8中疑似包括有目标区域。
第二种,参考帧中与第一区域对应的映射区域中存在有至少a1个宏块,该a1个宏块中每个宏块的运动矢量均大于或等于第一阈值。a1为系统自定义设置的正整数,其可与a相同,也可与a不同,本发明不做限定。该参考帧为待检测帧的前P1个帧中的至少一帧。换句话说,待检测帧的前P1个帧中存在有至少一个参考帧,该参考帧中与第一区域对应的映射区域中,存在有至少a1个运动矢量大于或等于第一阈值的宏块。其中,映射区域是指参考帧中与第一区域具备相同图像特征的区域,关于如何确定或寻找第一区域对应的映射区域,本发明不做限定。
举例来说,引用图7A的例子,假设待检测帧中存在的第一宏块组分别有:宏块13、宏块7、宏块8以及宏块9。即上述第一宏块组中的4个相邻宏块的运动矢量均大于或等于第一阈值。视频处理装置100将上述4个相邻宏块对应在待检测帧中所占的区域称为第一区域,具体如图7A所示。假设待检测帧为第8帧,简称为帧8。以P1=1为例,具体实现时视频处理装置100可确定帧7中与第一区域对应的映射区域,具体如图7C中用粗黑线框出的区域。进一步视频处理装置100可确定该映射区域的周围是否存在有至少一个运动矢量大于或等于第一阈值的宏块,即该映射区域的周围是否存在至少一个运动宏块或者疑似运动宏块。具体的,图7C中该映射区域的周围存在有如下11个宏块:宏块2’~宏块5’、宏块7’、宏块12’~13’、宏块15’、宏块18’~宏块20’。即,视频处理装置100需从上述11个宏块中确定出是否存在有至少a1个运动矢量大于或等于第一阈值的宏块,如果存在,则可确定帧8的检测结果为第一结论,帧8中包括有目标区域,帧8为候选帧集合中的候选帧。如果不存在,可确定帧8的检测结果为第二结论,帧8中疑似包括有目标区域。
需要说明的是,在实际应用中由于I帧不存在宏块的运动矢量,即I帧的宏块的宏块参数不包括运动矢量,则本发明涉及的待检测帧均为非I帧。换句话说,本发明提出的基于运动矢量来识别待检测帧是否为候选帧,主要适用于待检测帧为非I帧的应用场景中。
通过实施本发明实施例,能够依据待检测帧中宏块的运动矢量来确定待检测帧是否为候选帧(即确定该待检测帧中是否包括有目标区域),便于后续基于该候选帧选取目标帧,以在图像不解码的情况下实现目标帧的获取,节省了图像解码时间以及解码成本,提高了视频处理效率。
请参见图8,是本发明实施例提供的一种基于量化参数的视频处理方法的流程示意图。如图8所示的方法包括如下实施步骤:
步骤S802、视频处理装置100获取待检测帧的帧信息,该帧信息包括组成该待检测帧的至少一个宏块的量化参数。
本发明中,视频处理装置100在获得M个帧各自的帧信息时,即可获得待检测帧的帧信息,该待检测帧为M个帧中的任一帧。待检测帧的帧信息中至少包括有组成该待检测帧的一个或多个宏块的量化参数。
步骤S804、视频处理装置100根据该待检测帧的宏块的量化参数,对待检测帧进行检测,以获得相应地检测结果。该检测结果用于指示待检测帧中包括目标区域的可能性的大小,该目标区域为动态对象在待检测帧所在的区域。例如,该检测结果具体可包括以下中的任一项:第一结论、第二结论以及第三结论。其中,这三种结论用于表征待检测帧中包括目标区域的可能性依次降低,例如第一结论用于表征或指示待检测帧中包括目标区域,第二结论用于表征待检测帧中疑似包括目标区域,第三结论用于表征待检测帧中不包括目标区域。
步骤S806、在该检测结果用于指示待检测帧中包括有目标区域时,确定该待检测帧为候选帧集合中的候选帧。否则,确定该待检测帧不为候选帧集合中的候选帧。
具体的,视频处理装置100可通过判断待检测帧的宏块的量化参数是否满足第二条件,来实现待检测帧的检测,以获得该待检测帧的检测结果。其中,该第二条件为系统自定义设置的,用于对待检测帧进行检测以获得相应地检测结果。
例如,在不考虑视频处理精确度的情况下,该第二条件可包括条件3,具体为:待检测帧中存在第二宏块组,该第二宏块组中至少包括b个相邻宏块,该b个相邻宏块中的每个相邻宏块的量化参数大于或等于第二阈值。当待检测帧的宏块的运动矢量满足第二条件时,可确定相应地检测结果为第一结论,该第一结论用于指示待检测帧中包括有目标区域。在待检测帧的宏块的运动矢量不满足第二条件时,可确定相应地检测结果为第三结论,该第三结论用于指示待检测帧中不包括目标区域。
其中,b和第二阈值为系统自定义设置的,b为正整数。可选地,该第二阈值为第一帧中与该相邻宏块对应相同位置的映射宏块的量化参数和预设阈值之和。也可理解为b个相邻宏块中的每个相邻宏块的量化参数和第一帧中与该相邻宏块对应相同位置的映射宏块的量化参数之差大于或等于预设阈值。该第一帧为待检测帧的前Q个帧中的至少一帧。Q为系统自定义设置的正整数。关于相邻宏块的阐述具体可参见前述图5实施例中的相关阐述,这里不做赘述。
以第二宏块组包括同时存在上下位置相邻和左右位置相邻的b个相邻宏块为例,详述第二条件判断的具体实施过程。具体的,视频处理装置100以待检测帧中的任一第一宏块为基准,在第一宏块的量化参数和第一帧中与第一宏块对应相同位置的映射宏块的量化参数之差大于或等于第二阈值的情况下,进一步判断该第一宏块的周围是否存在(b-1)个相邻宏块,该(b-1)个相邻宏块中的每个相邻宏块的量化参数和第一帧中与该相邻宏块对应的映射宏块的量化参数之差大于或等于第二阈值。该第一宏块为待检测帧中的任一宏块,该第一宏块的周围的宏块是指与第一宏块存在位置上的相邻关系的宏块。
举例来说,引用上述图7B的例子,以Q=1(待检测帧的前一帧),第一宏块为宏块13为例。上文中的第一帧为待检测帧的前一帧,第一帧中与宏块13对应相同位置的宏块具体可为图7B中的宏块13’。假设视频处理装置100确定到待检测帧中的宏块13的量化参数和第一帧中宏块13’的量化参数之差大于或等于第二阈值。进一步视频处理装置100可继续判断宏块13的周围是否存在(b-1)个相邻宏块,该(b-1)个相邻宏块中的每个相邻宏块的量化参数和第一帧中与该相邻宏块对应相同位置的映射宏块的量化参数之差均大于或等于第二阈值,具体可参见宏块13和宏块13’的量化参数的判断过程,这里不做赘述。如果存在,则可待检测帧的检测结果为第一结论,待检测帧中包括有目标区域(动态对象所占的区域),待检测帧为候选帧集合中的候选帧。否则,可获得待检测帧的检测结果为第三结论,待检测帧中不包括目标区域,待检测帧不为候选帧集合中的候选帧。其中,该(b-1)个相邻宏块以及宏块13即为上文中的第二宏块组。
可选地,本发明中可将第二宏块组对应在待检测帧中所占的图像区域,称之为第一区域。相应地在不考虑视频处理精确度的情况下,视频处理装置100若确定到待检测帧的宏块的量化参数满足条件3,则视频处理装置100可确定该待检测帧为候选帧集合中的候选帧,该第一区域可为运动区域,该运动区域中包括的每个宏块可称为运动宏块,即该运动区域中每个宏块的运动矢量均大于或等于第一阈值。反之,当待检测帧的宏块的量化参数不满足条件3时,视频处理装置100可确定待检测帧不为候选帧集合中的候选帧。
在考虑视频处理精确度的情况下,该第二条件还可包括条件4,具体为:待检测帧的前P2个帧中存在至少一个候选帧。关于条件4的具体实施方式,具体可参见前述图5所述实施例中的相关阐述,这里不再赘述。
相应地,视频处理装置100在确定到待检测帧的宏块的量化参数满足条件3和条件4时,可获得相应地检测结果为第一结论,待检测帧中包括有目标区域。则该待检测帧为候选帧集合中的候选帧。该第一区域为运动区域,该第一区域中包括的各个宏块为运动宏块。
视频处理装置100在确定到待检测帧的宏块的量化参数不满足条件3时,可获得相应地检测结果为第三结论,待检测帧中不包括目标区域。该待检测帧直接被确定到不为候选帧集合中的候选帧。该第一区域为非运动区域,该第一区域中的每个宏块为非运动宏块。
否则视频处理装置100可获得相应地检测结果为第二结论,待检测帧中疑似包括目标区域。具体的,视频处理装置100在确定到待检测帧的宏块的量化参数满足条件3但不满足条件4,或者不满足条件3但满足条件4时,可获得相应地检测结果为第二结论,待检测帧中疑似包括有目标区域。该待检测帧不能被确定为候选帧集合中的候选帧。该第一区域可为疑似运动区域,该第一区域中包括的每个宏块可为疑似运动宏块。
需要说明的是,本发明实施例提出的基于量化参数来确定待检测帧是否为候选帧的方案,适用于所有应用场景,本发明中涉及的待检测帧具体可为I帧或者非I帧。可选地在实践中发现,本发明适用在I帧(即待检测帧为I帧)的应用场景中,比适用在非I帧(即待检测帧为非I帧)的应用场景中,视频处理精确度更高。关于本发明实施例中未示出或未描述的内容,可参考前述图5实施例中的相关阐述,这里不做赘述。
通过实施本发明实施例,能够依据待检测帧中宏块的量化参数来确定待检测帧是否为候选帧(即确定该待检测帧中是否包括有目标区域),便于后续基于该候选帧选取目标帧,以在图像不解码的情况下实现目标帧的获取,节省了图像解码时间以及解码成本,提高了视频处理效率。
请参见图9,是本发明实施例提供的一种基于编码类型的视频处理方法的流程示意图。如图9所示的方法包括如下实施步骤:
步骤S902、视频处理装置100获取待检测帧的帧信息,该帧信息包括组成待检测帧的至少一个宏块的编码类型。
本发明中,视频处理装置100在获得M个帧各自的帧信息时,即可获得待检测帧的帧信息。该待检测帧为M个帧中的任一帧。这里待检测帧的帧信息至少包括组成待检测帧的一个或多个宏块各自的编码类型。
步骤S904、视频处理装置100根据待检测帧的宏块的编码类型,对待检测帧进行检测,以获得相应地检测结果。该检测结果用于指示待检测帧中包括目标区域的可能性的大小,该目标区域为动态对象在待检测帧所在的区域。例如,该检测结果具体可包括以下中的任一项:第一结论、第二结论以及第三结论。其中,这三种结论用于表征待检测帧中包括目标区域的可能性依次降低,例如第一结论用于表征或指示待检测帧中包括目标区域,第二结论用于表征待检测帧中疑似包括目标区域,第三结论用于表征待检测帧中不包括目标区域。
步骤S906、在该检测结果用于指示待检测帧中包括有目标区域时,确定该待检测帧为候选帧集合中的候选帧。否则,确定该待检测帧不为候选帧集合中的候选帧。
具体的,视频处理装置100可通过判断待检测帧的宏块的编码类型是否满足第三条件,来实现待检测帧的检测,以获得该待检测帧的检测结果。其中,该第三条件为系统自定义设置的,用于对待检测帧进行检测以获得相应地检测结果。
例如,在不考虑视频处理精确度的情况下,该第三条件可包括条件5,具体为:待检测帧中存在第三宏块组,该第三宏块组中至少包括c个相邻宏块,该c个相邻宏块中的每个相邻宏块的编码类型均指示该相邻宏块为I宏块。相应地,当待检测帧的宏块的编码类型满足第三条件(即条件5)时,可确定相应地检测结果为第一结论,该第一结论用于指示待检测帧中包括有目标区域。在待检测帧的宏块的编码类型不满足第三条件时,可确定相应地检测结果为第三结论,该第三结论用于指示待检测帧中不包括目标区域。其中,c为系统自定义设置的正整数。关于相邻宏块的阐述具体可参见前述图5实施例中的相关阐述,这里不做赘述。
以第三宏块组包括同时存在上下位置相邻和左右位置相邻的c个相邻宏块为例,详述第三条件判断的具体实施过程。具体的,视频处理装置100以待检测帧中的任一第一宏块为基准,在第一宏块的编码类型指示该第一宏块为I宏块,进一步判断该第一宏块的周围是否存在(c-1)个相邻宏块,该(c-1)个相邻宏块中的每个相邻宏块的编码类型对应指示该相邻宏块为I宏块,即该(c-1)个相邻宏块均为I宏块。该第一宏块为待检测帧中的任一宏块,该第一宏块的周围的宏块是指与第一宏块存在位置上的相邻关系的宏块。
可选地,本发明中可将第三宏块组对应在待检测帧中所占的图像区域,称之为第一区域。相应地在不考虑视频处理精确度的情况下,视频处理装置100若确定到待检测帧的宏块的编码类型满足条件5,则视频处理装置100可确定该待检测帧为候选帧集合中的候选帧,该第一区域可为运动区域,该运动区域中包括的每个宏块可称为运动宏块,即该运动区域中每个宏块的运动矢量均大于或等于第一阈值。反之,当待检测帧的宏块的编码类型不满足条件5时,视频处理装置100可确定待检测帧不为候选帧集合中的候选帧。
在考虑视频处理精确度的情况下,该第二条件还可包括条件6,具体为:待检测帧的前P3个帧中存在至少一个候选帧。关于条件6的具体实施方式,具体可参见前述图5所述实施例中的相关阐述,这里不再赘述。P3为系统自定义设置的正整数。
相应地,视频处理装置100在确定到待检测帧的宏块的编码类型满足条件5和条件6时,可获得相应地检测结果为第一结论,待检测帧中包括有目标区域。则该待检测帧为候选帧集合中的候选帧。该第一区域为运动区域,该第一区域中包括的各个宏块为运动宏块。
视频处理装置100在确定到待检测帧的宏块的编码类型不满足条件5时,可获得相应地检测结果为第三结论,待检测帧中不包括目标区域。该待检测帧直接被确定到不为候选帧集合中的候选帧。该第一区域为非运动区域,该第一区域中的每个宏块为非运动宏块。
否则视频处理装置100可获得相应地检测结果为第二结论,待检测帧中疑似包括目标区域。具体的,视频处理装置100在确定到待检测帧的宏块的编码类型满足条件5但不满足条件6,或者不满足条件5但满足条件6时,可获得相应地检测结果为第二结论,待检测帧中疑似包括有目标区域。该待检测帧不能被确定为候选帧集合中的候选帧。该第一区域可为疑似运动区域,该第一区域中包括的每个宏块可为疑似运动宏块。
需要说明的是,在实际应用中由于I帧中所有宏块均为I宏块,因此本发明涉及的待检测帧需为非I帧。即,本发明实施例提出的基于编码类型来确定待检测帧是否为候选帧的方案,适用于非I帧(即待检测帧为非I帧)的应用场景中。关于本发明实施例中未示出或未描述的内容,可参考前述图5实施例中的相关阐述,这里不做赘述。
通过实施本发明实施例,能够依据待检测帧中宏块的编码类型来确定待检测帧是否为候选帧(即确定该待检测帧中是否包括有目标区域),便于后续基于该候选帧选取目标帧,以在图像不解码的情况下实现目标帧的获取,节省了图像解码时间以及解码成本,提高了视频处理效率。
请参见图10,是本发明实施例提供的一种基于编码比特数的视频处理方法的流程示意图。如图10所示的方法包括如下实施步骤:
步骤S1002、视频处理装置100获取待检测帧的帧信息,该帧信息包括组成待检测帧的至少一个宏块的编码比特数。
本发明中,视频处理装置100在获得M个帧各自的帧信息时,即可获得待检测帧的帧信息,该待检测帧为M个帧中的任一帧。这里该待检测帧的帧信息至少包括组成待检测帧的一个或多个宏块的编码比特数。
步骤S1004、视频处理装置100根据待检测帧的宏块的编码比特数,对待检测帧进行检测,获得相应地检测结果。该检测结果用于指示待检测帧中包括目标区域的可能性的大小,该目标区域为动态对象在待检测帧所在的区域。例如,该检测结果具体可包括以下中的任一项:第一结论、第二结论以及第三结论。其中,这三种结论用于表征待检测帧中包括目标区域的可能性依次降低,例如第一结论用于表征或指示待检测帧中包括目标区域,第二结论用于表征待检测帧中疑似包括目标区域,第三结论用于表征待检测帧中不包括目标区域。
步骤S1006、在该检测结果用于指示待检测帧中包括有目标区域时,确定该待检测帧为候选帧集合中的候选帧。否则,确定该待检测帧不为候选帧集合中的候选帧。
具体的,视频处理装置100可通过判断待检测帧的宏块的编码类型是否满足第四条件,来实现待检测帧的检测,以获得该待检测帧的检测结果。其中,该第四条件为系统自定义设置的,用于对待检测帧进行检测以获得相应地检测结果。
例如,在不考虑视频处理精确度的情况下,该第四条件可包括条件7,具体为:待检测帧中存在第四宏块组,该第四宏块组中至少包括d个相邻宏块,该d个相邻宏块中的每个相邻宏块的编码比特数均大于或等于第三阈值。相应地,当待检测帧的宏块的编码比特数满足第四条件(即条件7)时,可确定相应地检测结果为第一结论,该第一结论用于指示待检测帧中包括有目标区域。在待检测帧的宏块的编码类型不满足第四条件时,可确定相应地检测结果为第三结论,该第三结论用于指示待检测帧中不包括目标区域。其中,d和第三阈值为系统自定义设置的,c为正整数。关于相邻宏块的阐述具体可参见前述图5实施例中的相关阐述,这里不做赘述。
以第四宏块组包括同时存在上下位置相邻和左右位置相邻的d个相邻宏块为例,详述第四条件判断的具体实施过程。具体的,视频处理装置100以待检测帧中的任一第一宏块为基准,在第一宏块的编码比特数大于或等于第三阈值的情况下,进一步可判断该第一宏块的周围是否存在(d-1)个相邻宏块,该(d-1)个相邻宏块中的每个相邻宏块的编码比特数均大于或等于第三阈值。该第一宏块为待检测帧中的任一宏块,该第一宏块的周围的宏块是指与第一宏块存在位置上的相邻关系的宏块。
可选地,本发明中可将第四宏块组对应在待检测帧中所占的图像区域,称之为第一区域。相应地在不考虑视频处理精确度的情况下,视频处理装置100若确定到待检测帧的宏块的编码比特数满足条件7,则视频处理装置100可确定该待检测帧为候选帧集合中的候选帧,该第一区域可为运动区域,该运动区域中包括的每个宏块可称为运动宏块,即该运动区域中每个宏块的运动矢量均大于或等于第一阈值。反之,当待检测帧的宏块的编码比特数不满足条件7时,视频处理装置100可确定待检测帧不为候选帧集合中的候选帧。
在考虑视频处理精确度的情况下,该第四条件还可包括条件8,具体为:待检测帧的前P4个帧中存在至少一个候选帧。关于条件8的具体实施方式,具体可参见前述图5所述实施例中的相关阐述,这里不再赘述。P4为系统自定义设置的正整数。
相应地,视频处理装置100在确定到待检测帧的宏块的编码比特数满足条件7和条件8时,可获得相应地检测结果为第一结论,待检测帧中包括有目标区域。则该待检测帧为候选帧集合中的候选帧。该第一区域为运动区域,该第一区域中包括的各个宏块为运动宏块。
视频处理装置100在确定到待检测帧的宏块的编码比特数不满足条件7时,可获得相应地检测结果为第三结论,待检测帧中不包括目标区域。该待检测帧直接被确定到不为候选帧集合中的候选帧。该第一区域为非运动区域,该第一区域中的每个宏块为非运动宏块。
否则视频处理装置100可获得相应地检测结果为第二结论,待检测帧中疑似包括目标区域。具体的,视频处理装置100在确定到待检测帧的宏块的编码比特数满足条件7但不满足条件8,或者不满足条件7但满足条件8时,可获得相应地检测结果为第二结论,待检测帧中疑似包括有目标区域。该待检测帧不能被确定为候选帧集合中的候选帧。该第一区域可为疑似运动区域,该第一区域中包括的每个宏块可为疑似运动宏块。
需要说明的是,由于I帧中所有宏块均为I宏块,I宏块的编码比特数较大,不适用于本发明基于编码比特数来确定待检测帧是否为候选帧的方案。因此本发明主要适用于待检测帧为非I帧的应用场景中。关于本发明实施例中未示出或未描述的内容,可参考前述图5实施例中的相关阐述,这里不做赘述。
通过实施本发明实施例,能够依据待检测帧中宏块的编码类型来确定待检测帧是否为候选帧(即确定该待检测帧中是否包括有目标区域),便于后续基于该候选帧选取目标帧,以在图像不解码的情况下实现目标帧的获取,节省了图像解码时间以及解码成本,提高了视频处理效率。
为提升视频处理的精确度,本发明可综合考虑前述图5-图10中任意至少一种方法实施例中的方案,提出另一种视频处理方法。请参见图11,是本发明实施例提供的一种基于帧信息的视频处理方法的流程示意图。如图11所示的方法包括如下实施步骤:
步骤S1102、视频处理装置100获取待检测帧的帧信息,该帧信息包括组成待检测帧的至少一个宏块的i个宏块参数,该i个宏块参数包括以下中的任意i个:运动矢量、量化参数、编码类型以及编码比特数,i为大于0,且小于或等于4的正整数。
本发明中,视频处理装置100在获得M个帧各自的帧信息时,即可获得待检测帧的帧信息,该待检测帧为M个帧中的任一帧。该待检测帧的帧信息包括有组成待检测帧的一个或多个宏块的宏块参数,该宏块参数包括但不限于以下参数中的任意i个:运动矢量、量化参数、编码类型以及编码比特数,i为小于5的正整数。
步骤S1104、视频处理装置100根据待检测帧的宏块的i个宏块参数,对待检测帧进行i次检测,获得i次检测的检测结果。其中,当待检测帧为非I帧时,待检测帧对应有三个检测结果,分别为第一结论、第二结论以及第三结论。其中,这三种结论用于表征待检测帧中包括目标区域的可能性依次降低,例如第一结论用于表征或指示待检测帧中包括目标区域,第二结论用于表征待检测帧中疑似包括目标区域,第三结论用于表征待检测帧中不包括目标区域。当待检测帧为I帧时,待检测帧对应有1个检测结果,该检测结果用于指示待检测帧包括有或者未包括有目标区域。也可理解为,当待检测帧为I帧,待检测帧对应有2个检测结果,分别为第一结论和第三结论,对应用于表征待检测帧中包括有或不包括有目标区域。
步骤S1106、视频处理装置100在确定到第一结论的个数、第二结论的个数以及第三结论的个数满足预设条件时,确定该待检测帧为候选帧集合中的候选帧;否则,确定待检测帧不为候选帧集合中的候选帧。
具体的,视频处理装置100基于单个宏块参数来确定待检测帧是否为候选帧,分别可对应参考图5-图10中所述方法实施例中的相关阐述,这里不再赘述。当视频处理装置100基于至少两个宏块参考来综合分析待检测帧是否为候选帧时,视频处理装置100可利用单个宏块参数的检测结果来进一步判断待检测帧是否为候选帧,有利于提升视频处理的精确度。
本发明上文涉及的预设条件为系统自定义设置的,用于判断待检测帧为候选帧的判断条件。以i=2为例,该预设条件具体可为:第一结论的个数至少大于或等于1,第二结论的个数小于或等于1,第三结论的个数为0等,本发明不做限定。下面阐述本发明步骤S1104-S1106涉及的两种具体实施方式。
第一种,当待检测帧为I帧时。则该待检测帧的宏块的宏块参数仅包括量化参数。相应地,视频处理装置100可参见前述图8实施例中根据待检测帧的宏块的量化参数获得的检测结果来确定待检测帧是否为候选帧集合中的候选帧。具体的,当该量化参数对应的检测结果用于指示待检测帧为候选帧集合中的候选帧,则该待检测帧为候选帧集合中的候选帧;否则,确定待检测帧不为候选帧集合中的候选帧。即是步骤S1106中的预设条件可为:第一结论的个数为1,第二结论的格式为0,第三结论的个数为0。
第二种,当待检测帧为非I帧时,待检测帧的宏块的宏块参数包括以下中的i个:运动矢量、量化参数、编码类型以及编码比特数。视频处理装置100可根据待检测帧的宏块的i个宏块参数,对待检测帧进行i次检测,从而获得i个检测结果,每个检测结果为以下中的任一项:第一结论、第二结论以及第三结论。进一步视频处理装置100判断i个检测结果中第一结论的个数、第二结论的个数以及第三结论的格式是否满足预设条件,如果满足,则确定待检测帧为候选帧集合中的候选帧;否则,确定该待检测帧不为候选帧集合中的候选帧。该预设条件可为系统自定义设置的,例如i个检测结果中存在有至少一个第一结论即可,则该预设条件可为:第一结论的个数至少大于或等于1,第二结论的个数以及第三结论的个数大于或等于0。
以i=4为例,待检测帧的宏块的4个宏块参数具体可包括运动矢量、量化参数、编码类型以及编码比特数。视频处理装置100可参见前述图5-图10中4个方法实施例中基于单个宏块参数获得相应检测结果的具体实施方案,视频处理装置100对待检测帧进行4次检测,获得4个检测结果。该4个检测结果分别为以下中的任一项:第一结论、第二结论以及第三结论。进一步,视频处理装置100可统计4个检测结果中第一结论的个数、第二结论的个数以及第三结论的个数,进一步判断该第一结论的个数、第二结论的个数以及第三结论的个数是否满足预设条件。例如该预设条件可为第一结论的个数为至少m个,第二结论的个数和第三结论的个数均大于或等于0,其中m为系统自定义设置的,m为小于5的正整数,例如m可为1等。或者,该预设条件也可为:第一结论的个数小于或等于m个,第二结论的个数为至少n个,第三结论的个数大于或等于0,其中,m和n均为系统自定义设置的整数,例如m=0,n=2等等,本发明并不做限定。
通过实施本发明实施例,本发明将考虑待检测帧中宏块的至少两个宏块参数来确定待检测帧是否为候选帧(即确定待检测帧是否包括有目标区域),有利于提升视频处理的精准度。
结合前述图1-图11所述实施例中的相关阐述,下面介绍本发明涉及的相关装置以及相关设备。请参见图12是本发明实施例提供的一种视频处理装置。如图12所述的视频处理装置100包括包括视频获取模块102、目标帧提取模块104和帧分析模块106;其中,
所述视频获取模块102用于获取视频,所述视频包括M个帧流,M为正整数,所述M个帧中的每个帧包括至少一个宏块;
所述目标帧提取模块104用于:根据所述M个帧的宏块的宏块参数,在所述M个帧中确定候选帧集合,所述候选帧集合中的候选帧包括目标区域,所述目标区域为所述视频中的动态对象所在区域;若所述确定模块中确定的所述候选帧集合包括帧内编码I帧,选择所述I帧为目标帧;若所述确定模块中确定的所述候选帧集合不包括I帧,在所述候选帧集合选择帧号最小的帧作为所述目标帧;
所述帧分析模块106用于:对所述选择模块选择的所述目标帧进行解码,获取所述目标帧的像素信息;根据所述像素信息,提取所述动态对象的特征信息。
在一些实施例中,所述M个帧包括P个非I帧和M-P个I帧,P为不大于M且不小于0的整数;所述目标帧提取模块104用于根据所述M个帧的宏块的宏块参数,在所述M个帧中确定候选帧集合包括:所述目标帧提取模块104还用于获取所述P个非I帧的宏块的宏块参数和所述M-P个I帧的宏块的宏块参数,其中,所述P个非I帧的宏块的宏块参数包括运动矢量、量化参数、编码比特数、编码类型,所述M-P个I帧的宏块的宏块参数包括量化参数;分别根据所述P个非I帧的宏块的4个宏块参数,对所述P个非I帧进行4*P次检测,确定所述4*P次检测的检测结果,所述P个非I帧中的每个帧对应4个检测结果;分别根据所述M-P个I帧的宏块的宏块参数,对所述M-P个I帧进行M-P次检测,确定所述M-P次检测的检测结果,所述M-P个I帧中的每个帧对应1个检测结果;根据所述4*P次检测的检测结果在所述P个非I帧中确定第一候选帧集合;根据所述M-P次检测的检测结果在所述M-P个帧中确定第二候选帧集合;将所述第一候选帧集合和所述第二候选帧集合的组合作为所述候选帧集合。
在一些实施例中,所述4*P次检测中的每次检测的检测结果包括第一结论和第二结论和第三结论中的一种,其中,所述第一结论、所述第二结论和所述第三结论所表征的对应帧包含所述目标区域的可能性依次降低;所述目标帧提取模块104具体用于根据所述4*P次检测的检测结果在所述P个非I帧中确定第一候选帧集合包括:所所述目标帧提取模块104用于根据所述4*P次检测的检测结果,确定所述P个非I帧中每个帧对应的检测结果中所述第一结论的个数、所述第二结论的个数和所述第三结论的个数;确定对应的检测结果中所述第一结论的个数、所述第二结论的个数和所述第三结论的个数符合预设条件的帧为所述候选帧集合中的候选帧。
在一些实施例中,所述目标帧提取模块104具体用于根据所述M-P次检测的检测结果在所述M个帧中确定第二候选帧集合,包括:所述目标帧提取模块104具体用于根据所述M-P个I帧中的每个帧对应的检测结果在所述M-P个I帧中确定所述候选帧集合中的候选帧。
在实际应用中,本发明实施例的装置100中涉及的各模块或单元具体可通过软件程序或硬件实现。当由软件程序实现时,装置100中涉及的各模块或单元均为软件模块或软件单元,当由硬件实现时,装置100涉及的各模块或单元可以通过专用集成电路(application-specific integrated circuit,ASIC)实现,或可编程逻辑器件(programmable logic device,PLD)实现,上述PLD可以是复杂程序逻辑器件(complexprogrammable logical device,CPLD),现场可编程门阵列(field-programmable gatearray,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合,本发明不做限定。
需要说明的,图1仅仅是本申请实施例的一种可能的实现方式,实际应用中,视频处理装置还可以包括更多或更少的部件,这里不作限制。关于本发明实施例中未示出或未描述的内容,可参见前述方法实施例中的相关阐述,这里不再赘述。
通过实施本发明实施例,能够在图像不解码的情况下实现目标帧的提取,排除非目标帧,便于后续有效地对目标帧进行解码以及动态对象的特征提取,节省图像解码时间以及解码成本,提升视频处理的效率。此外,在实践中发现本发明实施提出的视频处理方案,针对单卡(例如GPU)完成视频处理的视频的数量相比于现有技术提升了5~10倍,大大降低了视频处理的成本。
图13是本发明实施例提供的一种计算设备1300的结构示意图。如图13所示的计算设备1300包括一个或多个处理器1301、通信接口1302和存储器1303,处理器1301、通信接口1302和存储器1303可通过总线方式连接,也可通过无线传输等其他手段实现通信。本发明实施例以通过总线1304连接为例其中,该存储器1303用于存储指令,该处理器1301用于执行该存储器1303存储的指令。该存储器1303存储程序代码,且处理器1301可以调用存储器1303中存储的程序代码以实现如图1中所示的视频处理装置100。
在实际应用中,本发明实施例中处理器1301可以调用存储器1303中存储的程序代码用以执行如上图5-图11所述方法实施例中描述的所有或部分步骤,和/或,文本中描述的其他内容等,这里不再赘述。
应理解,处理器1301可以由一个或者多个通用处理器构成,例如中央处理器(central processing unit,CPU)。处理器1301可用于运行相关的程序代码中以下功能模块的程序。该功能模块具体可包括但不限于上文所述的视频获取模块、目标帧提取模块以及帧分析模块等模块中的任一项或多项的组合。也就是说,处理器1301执行程序代码可以上述功能模块中的任一项或多项的功能。其中,关于这里提及的各个功能模块具体可参见前述实施例中的相关阐述,这里不再赘述。
通信接口1302可以为有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口),用于与其他模块或装置设备进行通信。例如,本申请实施例中通信接口1302具体可用于获取摄像装置发送的视频等等。
存储器1303可以包括易失性存储器(Volatile Memory),例如随机存取存储器(Random Access Memory,RAM);存储器也可以包括非易失性存储器(Non-VolatileMemory),例如只读存储器(Read-Only Memory,ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);存储器1303还可以包括上述种类的存储器的组合。存储器1303可用于存储一组程序代码,以便于处理器1301调用存储器1303中存储的程序代码以实现本发明实施例中涉及的上述各功能模块的功能。
需要说明的,图13仅仅是本申请实施例的一种可能的实现方式,实际应用中,计算设备还可以包括更多或更少的部件,这里不作限制。关于本发明实施例中未示出或未描述的内容,可参见前述方法实施例中的相关阐述,这里不再赘述。
本发明实施例还提供一种计算机非瞬态存储介质,所述计算机非瞬态存储介质中存储有指令,当其在处理器上运行时,图5至图11中任一实施例中所示的方法流程得以实现。
本发明实施例还提供一种计算机程序产品,当所述计算机程序产品在处理器上运行时,图5至图11中任一实施例中所示的方法流程得以实现。
结合本发明实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(Random Access Memory,RAM)、闪存、只读存储器(Read Only Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable ROM,EPROM)、电可擦可编程只读存储器(Electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于计算设备中。当然,处理器和存储介质也可以作为分立组件存在于计算设备中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种视频处理方法,其特征在于,所述方法包括:
获取视频,所述视频包括M个帧,M为正整数,所述M个帧中的每个帧包括至少一个宏块;
根据所述M个帧的宏块的宏块参数,在所述M个帧中确定候选帧集合,所述候选帧集合中的候选帧包括目标区域,所述目标区域为所述视频中的动态对象所在区域;
若所述候选帧集合包括帧内编码I帧,选择所述I帧为目标帧;
若所述候选帧集合不包括I帧,在所述候选帧集合选择帧号最小的帧作为所述目标帧;
对所述目标帧进行解码,获取所述目标帧的像素信息;
根据所述像素信息,提取所述动态对象的特征信息。
2.根据权利要求1所述的方法,其特征在于,所述M个帧包括P个非I帧和M-P个I帧,P为不大于M且不小于0的整数;
所述根据所述M个帧的宏块的宏块参数,在所述M个帧中确定候选帧集合,包括:
获取所述P个非I帧的宏块的宏块参数和所述M-P个I帧的宏块的宏块参数,其中,所述P个非I帧的宏块的宏块参数包括运动矢量、量化参数、编码比特数、编码类型,所述M-P个I帧的宏块的宏块参数包括量化参数;
分别根据所述P个非I帧的宏块的4个宏块参数,对所述P个非I帧进行4*P次检测,确定所述4*P次检测的检测结果,所述P个非I帧中的每个帧对应4个检测结果;
分别根据所述M-P个I帧的宏块的宏块参数,对所述M-P个I帧进行M-P次检测,确定所述M-P次检测的检测结果,所述M-P个I帧中的每个帧对应1个检测结果;
根据所述4*P次检测的检测结果在所述P个非I帧中确定第一候选帧集合;
根据所述M-P次检测的检测结果在所述M-P个帧中确定第二候选帧集合;
将所述第一候选帧集合和所述第二候选帧集合的组合作为所述候选帧集合。
3.根据权利要求2所述的方法,其特征在于,所述4*P次检测中的每次检测的检测结果包括第一结论和第二结论和第三结论中的一种,其中,所述第一结论、所述第二结论和所述第三结论所表征的对应帧包含所述目标区域的可能性依次降低;
所述根据所述4*P次检测的检测结果在所述P个非I帧中确定第一候选帧集合,包括:
根据所述4*P次检测的检测结果,确定所述P个非I帧中每个帧对应的检测结果中所述第一结论的个数、所述第二结论的个数和所述第三结论的个数;
确定对应的检测结果中所述第一结论的个数、所述第二结论的个数和所述第三结论的个数符合预设条件的帧为所述候选帧集合中的候选帧。
4.根据权利要求2-3中任一所述的方法,其特征在于,所述根据所述M-P次检测的检测结果在所述M个帧中确定第二候选帧集合,包括:
根据所述M-P个I帧中的每个帧对应的检测结果在所述M-P个I帧中确定所述候选帧集合中的候选帧。
5.一种视频处理装置,其特征在于,包括视频获取模块、目标帧提取模块和帧分析模块;其中,
所述视频获取模块,用于获取视频,所述视频包括M个帧流,M为正整数,所述M个帧中的每个帧包括至少一个宏块;
所述目标帧提取模块,用于:
根据所述M个帧的宏块的宏块参数,在所述M个帧中确定候选帧集合,所述候选帧集合中的候选帧包括目标区域,所述目标区域为所述视频中的动态对象所在区域;
若所述确定模块中确定的所述候选帧集合包括帧内编码I帧,选择所述I帧为目标帧;若所述确定模块中确定的所述候选帧集合不包括I帧,在所述候选帧集合选择帧号最小的帧作为所述目标帧;
所述帧分析模块,用于:
对所述选择模块选择的所述目标帧进行解码,获取所述目标帧的像素信息;
根据所述像素信息,提取所述动态对象的特征信息。
6.根据权利要求5所述的装置,其特征在于,所述M个帧包括P个非I帧和M-P个I帧,P为不大于M且不小于0的整数;
所述目标帧提取模块用于根据所述M个帧的宏块的宏块参数,在所述M个帧中确定候选帧集合包括:
所述目标帧提取模块,还用于获取所述P个非I帧的宏块的宏块参数和所述M-P个I帧的宏块的宏块参数,其中,所述P个非I帧的宏块的宏块参数包括运动矢量、量化参数、编码比特数、编码类型,所述M-P个I帧的宏块的宏块参数包括量化参数;
分别根据所述P个非I帧的宏块的4个宏块参数,对所述P个非I帧进行4*P次检测,确定所述4*P次检测的检测结果,所述P个非I帧中的每个帧对应4个检测结果;
分别根据所述M-P个I帧的宏块的宏块参数,对所述M-P个I帧进行M-P次检测,确定所述M-P次检测的检测结果,所述M-P个I帧中的每个帧对应1个检测结果;
根据所述4*P次检测的检测结果在所述P个非I帧中确定第一候选帧集合;
根据所述M-P次检测的检测结果在所述M-P个帧中确定第二候选帧集合;
将所述第一候选帧集合和所述第二候选帧集合的组合作为所述候选帧集合。
7.根据权利要求6所述的装置,其特征在于,所述4*P次检测中的每次检测的检测结果包括第一结论和第二结论和第三结论中的一种,其中,所述第一结论、所述第二结论和所述第三结论所表征的对应帧包含所述目标区域的可能性依次降低;
所述目标帧提取模块具体用于根据所述4*P次检测的检测结果在所述P个非I帧中确定第一候选帧集合包括:
所所述目标帧提取模块用于:根据所述4*P次检测的检测结果,确定所述P个非I帧中每个帧对应的检测结果中所述第一结论的个数、所述第二结论的个数和所述第三结论的个数;
确定对应的检测结果中所述第一结论的个数、所述第二结论的个数和所述第三结论的个数符合预设条件的帧为所述候选帧集合中的候选帧。
8.根据权利要求6-7中任一项所述的装置,其特征在于,所述目标帧提取模块具体用于根据所述M-P次检测的检测结果在所述M个帧中确定第二候选帧集合,包括:
所述目标帧提取模块,具体用于根据所述M-P个I帧中的每个帧对应的检测结果在所述M-P个I帧中确定所述候选帧集合中的候选帧。
9.一种计算设备,其特征在于,包括处理器、存储器以及总线,所述处理器和所述存储器通过所述总线连接,所述存储器用于存储指令,所述处理器用于调用所述存储器中存储的指令,用于执行如上权利要求1-4中任一项所述的方法。
10.一种计算机非瞬态存储介质,所述计算机非瞬态存储介质存储有计算机程序,其特征在于,所述计算机程序被计算设备执行时实现如权利要求1至4任一项所述方法。
CN201910070276.XA 2019-01-24 2019-01-24 视频处理方法、相关设备及计算机存储介质 Active CN109862315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910070276.XA CN109862315B (zh) 2019-01-24 2019-01-24 视频处理方法、相关设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910070276.XA CN109862315B (zh) 2019-01-24 2019-01-24 视频处理方法、相关设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN109862315A true CN109862315A (zh) 2019-06-07
CN109862315B CN109862315B (zh) 2021-02-09

Family

ID=66896089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910070276.XA Active CN109862315B (zh) 2019-01-24 2019-01-24 视频处理方法、相关设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN109862315B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023050439A1 (zh) * 2021-09-30 2023-04-06 浙江大学 编解码方法、码流、编码器、解码器、存储介质和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1976463A (zh) * 2006-12-11 2007-06-06 陈耀武 视频延时自适应矫正的解码装置
CN101479729A (zh) * 2006-06-29 2009-07-08 皇家飞利浦电子股份有限公司 提取关键帧的系统和方法
US20090287841A1 (en) * 2008-05-12 2009-11-19 Swarmcast, Inc. Live media delivery over a packet-based computer network
CN102045572A (zh) * 2009-10-22 2011-05-04 中兴通讯股份有限公司 一种视频数据编码方法及其编码装置
CN105376568A (zh) * 2015-12-22 2016-03-02 广州通达汽车电气股份有限公司 一种abr视频编码码率控制的优化方法
WO2016047250A1 (ja) * 2014-09-25 2016-03-31 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
CN106254868A (zh) * 2016-08-19 2016-12-21 浙江宇视科技有限公司 视频编码码率控制方法、装置及系统
CN107181744A (zh) * 2017-05-16 2017-09-19 北京奇艺世纪科技有限公司 一种视频处理及编码方法、处理器与编码器
CN108574843A (zh) * 2017-03-14 2018-09-25 安讯士有限公司 确定用于视频编码的gop长度的方法和编码器系统
CN108629237A (zh) * 2017-03-21 2018-10-09 中山大学 基于h.264/avc加密视频的运动异常检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479729A (zh) * 2006-06-29 2009-07-08 皇家飞利浦电子股份有限公司 提取关键帧的系统和方法
CN1976463A (zh) * 2006-12-11 2007-06-06 陈耀武 视频延时自适应矫正的解码装置
US20090287841A1 (en) * 2008-05-12 2009-11-19 Swarmcast, Inc. Live media delivery over a packet-based computer network
CN102045572A (zh) * 2009-10-22 2011-05-04 中兴通讯股份有限公司 一种视频数据编码方法及其编码装置
WO2016047250A1 (ja) * 2014-09-25 2016-03-31 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
CN105376568A (zh) * 2015-12-22 2016-03-02 广州通达汽车电气股份有限公司 一种abr视频编码码率控制的优化方法
CN106254868A (zh) * 2016-08-19 2016-12-21 浙江宇视科技有限公司 视频编码码率控制方法、装置及系统
CN108574843A (zh) * 2017-03-14 2018-09-25 安讯士有限公司 确定用于视频编码的gop长度的方法和编码器系统
CN108629237A (zh) * 2017-03-21 2018-10-09 中山大学 基于h.264/avc加密视频的运动异常检测方法
CN107181744A (zh) * 2017-05-16 2017-09-19 北京奇艺世纪科技有限公司 一种视频处理及编码方法、处理器与编码器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023050439A1 (zh) * 2021-09-30 2023-04-06 浙江大学 编解码方法、码流、编码器、解码器、存储介质和系统

Also Published As

Publication number Publication date
CN109862315B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN110300977B (zh) 用于图像处理和视频压缩的方法
Liu et al. Image compression with edge-based inpainting
CN105681795B (zh) 用于对帧序列进行视频编码的方法和编码器
CN104125473B (zh) 一种3d视频深度图像帧内预测模式选择方法及系统
CN107318026A (zh) 视频编码器以及视频编码方法
Hoffmann et al. Compression of depth maps with segment-based homogeneous diffusion
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
US20130155228A1 (en) Moving object detection method and apparatus based on compressed domain
CN104581170A (zh) 基于hevc降视频分辨率的快速帧间转码的方法
CN103632362A (zh) 图像匹配处理方法、装置及系统
CN108347602B (zh) 用于无损压缩视频数据的方法和装置
CN114339238A (zh) 视频编码的方法、视频解码的方法及其装置
US20210150287A1 (en) Apparatus and method of using ai metadata related to image quality
Hu et al. Optimized spatial recurrent network for intra prediction in video coding
CN108810610A (zh) 屏幕共享方法和装置
Liu et al. Learning in compressed domain for faster machine vision tasks
EP2582136A1 (en) Saliency value determination of predictively encoded video streams
CN109862315A (zh) 视频处理方法、相关设备及计算机存储介质
CN104602018B (zh) 视频数据的运动信息的获取方法和装置、编码方法和装置
CN112770120B (zh) 基于深度神经网络的3d视频深度图帧内快速编码方法
CN115442609A (zh) 特征数据编解码方法和装置
US8253817B2 (en) Image compression method, device, electronic camera, and program
CN106658024B (zh) 一种快速的视频编码方法
CN106878754A (zh) 一种3d视频深度图像帧内预测模式选择方法
CN112868234A (zh) 运动估计方法、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant