CN113938679B - 图像类型的确定方法、装置、设备及存储介质 - Google Patents
图像类型的确定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113938679B CN113938679B CN202111177662.2A CN202111177662A CN113938679B CN 113938679 B CN113938679 B CN 113938679B CN 202111177662 A CN202111177662 A CN 202111177662A CN 113938679 B CN113938679 B CN 113938679B
- Authority
- CN
- China
- Prior art keywords
- image
- current
- determining
- frame
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供了一种图像类型的确定方法、装置、设备及存储介质,该方法包括:获取当前图像,并确定当前图像在当前编码图像小组中的位置,并根据当前图像在当前编码图像小组中的位置,确定当前图像的图像类型。即本申请实施例根据当前图像在当前编码图像小组中的位置,来确定当前图像的图像类型,例如当前图像在当前编码图像小组中的位置不是最后一张图像时,无论当前图像是否为场景切换图像,均确定当前图像的图像类型为非I帧,防止切断当前编码图像小组,避免完整预测结构被破坏所带来的压缩率的降低的问题,进而提高了视频压缩效率。
Description
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种图像类型的确定方法、装置、设备及存储介质。
背景技术
数字视频技术可以并入多种视频装置中,例如数字电视、智能手机、计算机、电子阅读器或视频播放器等。随着视频技术的发展,视频数据所包括的数据量较大,为了便于视频数据的传输,视频装置执行视频压缩技术,以使视频数据更加有效的传输或存储。
目前通过帧间预测或帧内预测来减少或消除视频数据中的冗余信息,以实现视频数据的压缩。通常图像类型为P帧或B帧的图像采用帧间预测,图像类型为I帧的图像采用帧内预测。编码图像组(Group Of Pictures,GOP)是以I帧开始直至下一个I帧结束的图像组,一个GOP包括多个编码图像小组(Mini Group Of Pictures,Mini GOP),一个Mini GOP内的图像采用一个完整分层预测结构。
因此在对视频进行编码之前,可以通过场景切换检测来确定输入编码器的视频中每一张图像的图像类别,例如若检查到当前图像是场景转换图像时,确定该当前图像的图像类型为I帧。但是,目前的图像类型的确定方法可能会切断当前MiniGOP,使得一个完整的分层预测结构被破坏,进而降低视频的压缩效率。
发明内容
本申请提供一种图像类型的确定方法、装置、设备及存储介质,避免切断完整的MiniGOP,以提高视频压缩效率。
第一方面,提供一种图像类型的确定方法,包括:
获取当前图像;
确定所述当前图像在当前编码图像小组中的位置;
根据所述当前图像在所述当前编码图像小组中的位置,确定所述当前图像的图像类型。
第二方面,提供一种图像类型的确定装置,包括:
获取单元,用于获取当前图像;
位置确定单元,用于确定所述当前图像在当前编码图像小组中的位置;
类型确定单元,用于根据所述当前图像在所述当前编码图像小组中的位置,确定所述当前图像的图像类型。
在一些实施例中,类型确定单元,具体用于若所述当前图像不是所述当前编码图像小组中的最后一张图像,则确定所述当前图像的图像类型为非I帧;若所述当前图像是所述当前编码图像小组中的最后一张图像,则确定所述当前图像是否为场景切换图像,并根据所述当前图像是否为场景切换图像,来确定所述当前图像的图像类型。
在一些实施例中,类型确定单元,具体用于若所述当前图像是场景切换图像,则确定所述当前图像的图像类型为I帧;若所述当前图像不是场景切换图像,则获取所述当前编码图像小组对应的第一标志,并根据所述第一标志,确定所述当前图像的图像类型,所述第一标志用于指示所述当前编码图像小组中是否存在场景切换图像。
在一些实施例中,类型确定单元,具体用于若所述第一标志的取值为第一数值,则确定所述当前图像的图像类型为I帧,所述第一数值用于指示所述当前编码图像小组中存在场景切换图像;若所述第一标志的取值为第二数值,则确定所述当前图像的图像类型为非I帧,所述第二数值与所述第一数值不同,所述第二数值用于指示所述当前编码图像小组中不存在场景切换图像。
在一些实施例中,类型确定单元,具体用于若所述当前图像是场景切换图像,且所述当前图像与前一个图像类型为I帧的图像之间的图像数量大于或等于第一预设值,则确定所述当前图像的图像类型为I帧。
在一些实施例中,类型确定单元,具体用于若所述第一标志的取值为第一数值,且所述当前图像与前一个图像类型为I帧的图像之间的图像数量大于或等于第二预设值,则确定所述当前图像的图像类型为I帧。
在一些实施例中,类型确定单元,还用于若所述当前图像不是所述当前编码图像小组中的最后一张图像,且所述当前图像是场景切换图像,则将所述当前编码图像小组对应的第一标志的取值确定为第一数值,所述第一标志用于指示所述当前编码图像小组中是否存在场景切换图像,所述第一数值用于指示所述当前编码图像小组中存在场景切换图像。
在一些实施例中,位置确定单元,具体用于获取所述当前编码图像小组的总图像数量,以及所述当前编码图像小组中已有图像的数量;
根据当前编码图像小组的总图像数量,以及所述当前编码图像小组中已有图像的数量,确定所述当前图像在当前编码图像小组中的位置。
在一些实施例中,类型确定单元,具体用于采用场景检测算法,检测所述当前图像是否为场景切换图像。
第三方面,提供了一种编码设备,包括处理器和存储器。该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,以执行上述第一方面或其各实现方式中的方法。
第四方面,提供了一种电子设备,包括处理器和存储器。该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,以执行上述第一方面或其各实现方式中的方法。
第五方面,提供了一种芯片,用于实现上述第一方面或其各实现方式中的方法。具体地,该芯片包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有该芯片的设备执行如上述第一方面或其各实现方式中的方法。
第六方面,提供了一种计算机可读存储介质,用于存储计算机程序,该计算机程序使得计算机执行上述第一方面或其各实现方式中的方法。
第七方面,提供了一种计算机程序产品,包括计算机程序指令,该计算机程序指令使得计算机执行上述第一方面或其各实现方式中的方法。
第八方面,提供了一种计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面或其各实现方式中的方法。
通过本申请提供的技术方案,通过获取当前图像,并确定当前图像在当前编码图像小组中的位置,并根据当前图像在当前编码图像小组中的位置,确定当前图像的图像类型。即本申请实施例根据当前图像在当前编码图像小组中的位置,来确定当前图像的图像类型,例如当前图像在当前编码图像小组中的位置不是最后一张图像时,无论当前图像是否为场景切换图像,均确定当前图像的图像类型为非I帧,防止切断当前编码图像小组,避免完整预测结构被破坏所带来的压缩率的降低的问题,进而提高了视频压缩效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例涉及的一种视频编解码系统的示意性框图;
图2是本申请实施例提供的视频编码器的示意性框图;
图3是本申请实施例提供的视频解码器的示意性框图;
图4为本申请实施例涉及的一种GOP的示意图;
图5为本申请实施例提供的一种图像类型的确定方法的流程图;
图6为本申请实施例涉及的帧结构示意图;
图7为本申请一实施例提供的图像类型的确定方法的流程图;
图8展示了关闭场景检测算法时的编码图像组结构示意图;
图9展示了传统场景检测算法在场景切换处立即插入I帧的编码图像组结构示意图;
图10展示了本申请提出的改进的场景检测算法插入I帧机制的示意图;
图11是本申请一实施例提供的图像类型的确定装置的示意性框图;
图12是本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请可应用于图像编解码领域、视频编解码领域、硬件视频编解码领域、专用电路视频编解码领域、实时视频编解码领域等。例如,本申请的方案可结合至音视频编码标准(audio video coding standard,简称AVS),例如,H.264/音视频编码(audio videocoding,简称AVC)标准,H.265/高效视频编码(high efficiency video coding,简称HEVC)标准以及H.266/多功能视频编码(versatile video coding,简称VVC)标准。或者,本申请的方案可结合至其它专属或行业标准而操作,所述标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual,ITU-TH.264(还称为ISO/IECMPEG-4AVC),包含可分级视频编解码(SVC)及多视图视频编解码(MVC)扩展。应理解,本申请的技术不限于任何特定编解码标准或技术。
为了便于理解,首先结合图1对本申请实施例涉及的视频编解码系统进行介绍。
图1为本申请实施例涉及的一种视频编解码系统的示意性框图。需要说明的是,图1只是一种示例,本申请实施例的视频编解码系统包括但不限于图1所示。如图1所示,该视频编解码系统100包含编码设备110和解码设备120。其中编码设备用于对视频数据进行编码(可以理解成压缩)产生码流,并将码流传输给解码设备。解码设备对编码设备编码产生的码流进行解码,得到解码后的视频数据。
本申请实施例的编码设备110可以理解为具有视频编码功能的设备,解码设备120可以理解为具有视频解码功能的设备,即本申请实施例对编码设备110和解码设备120包括更广泛的装置,例如包含智能手机、台式计算机、移动计算装置、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机等。
在一些实施例中,编码设备110可以经由信道130将编码后的视频数据(如码流)传输给解码设备120。信道130可以包括能够将编码后的视频数据从编码设备110传输到解码设备120的一个或多个媒体和/或装置。
在一个实例中,信道130包括使编码设备110能够实时地将编码后的视频数据直接发射到解码设备120的一个或多个通信媒体。在此实例中,编码设备110可根据通信标准来调制编码后的视频数据,且将调制后的视频数据发射到解码设备120。其中通信媒体包含无线通信媒体,例如射频频谱,可选的,通信媒体还可以包含有线通信媒体,例如一根或多根物理传输线。
在另一实例中,信道130包括存储介质,该存储介质可以存储编码设备110编码后的视频数据。存储介质包含多种本地存取式数据存储介质,例如光盘、DVD、快闪存储器等。在该实例中,解码设备120可从该存储介质中获取编码后的视频数据。
在另一实例中,信道130可包含存储服务器,该存储服务器可以存储编码设备110编码后的视频数据。在此实例中,解码设备120可以从该存储服务器中下载存储的编码后的视频数据。可选的,该存储服务器可以存储编码后的视频数据且可以将该编码后的视频数据发射到解码设备120,例如web服务器(例如,用于网站)、文件传送协议(FTP)服务器等。
一些实施例中,编码设备110包含视频编码器112及输出接口113。其中,输出接口113可以包含调制器/解调器(调制解调器)和/或发射器。
在一些实施例中,编码设备110除了包括视频编码器112和输入接口113外,还可以包括视频源111。
视频源111可包含视频采集装置(例如,视频相机)、视频存档、视频输入接口、计算机图形系统中的至少一个,其中,视频输入接口用于从视频内容提供者处接收视频数据,计算机图形系统用于产生视频数据。
视频编码器112对来自视频源111的视频数据进行编码,产生码流。视频数据可包括一个或多个图像(picture)或图像序列(sequence of pictures)。码流以比特流的形式包含了图像或图像序列的编码信息。编码信息可以包含编码图像数据及相关联数据。相关联数据可包含序列参数集(sequence parameter set,简称SPS)、图像参数集(pictureparameter set,简称PPS)及其它语法结构。SPS可含有应用于一个或多个序列的参数。PPS可含有应用于一个或多个图像的参数。语法结构是指码流中以指定次序排列的零个或多个语法元素的集合。
视频编码器112经由输出接口113将编码后的视频数据直接传输到解码设备120。编码后的视频数据还可存储于存储介质或存储服务器上,以供解码设备120后续读取。
在一些实施例中,解码设备120包含输入接口121和视频解码器122。
在一些实施例中,解码设备120除包括输入接口121和视频解码器122外,还可以包括显示装置123。
其中,输入接口121包含接收器及/或调制解调器。输入接口121可通过信道130接收编码后的视频数据。
视频解码器122用于对编码后的视频数据进行解码,得到解码后的视频数据,并将解码后的视频数据传输至显示装置123。
显示装置123显示解码后的视频数据。显示装置123可与解码设备120整合或在解码设备120外部。显示装置123可包括多种显示装置,例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。
此外,图1仅为实例,本申请实施例的技术方案不限于图1,例如本申请的技术还可以应用于单侧的视频编码或单侧的视频解码。
下面对本申请实施例涉及的视频编码框架进行介绍。
图2是本申请实施例提供的视频编码器的示意性框图。应理解,该视频编码器200可用于对图像进行有损压缩(lossy compression),也可用于对图像进行无损压缩(lossless compression)。该无损压缩可以是视觉无损压缩(visually losslesscompression),也可以是数学无损压缩(mathematically lossless compression)。
该视频编码器200可应用于亮度色度(YCbCr,YUV)格式的图像数据上。
例如,该视频编码器200读取视频数据,针对视频数据中的每帧图像,将一帧图像划分成若干个编码树单元(coding tree unit,CTU),在一些例子中,CTB可被称作“树型块”、“最大编码单元”(Largest Coding unit,简称LCU)或“编码树型块”(coding treeblock,简称CTB)。每一个CTU可以与图像内的具有相等大小的像素块相关联。每一像素可对应一个亮度(luminance或luma)采样及两个色度(chrominance或chroma)采样。因此,每一个CTU可与一个亮度采样块及两个色度采样块相关联。一个CTU大小例如为128×128、64×64、32×32等。一个CTU又可以继续被划分成若干个编码单元(Coding Unit,CU)进行编码,CU可以为矩形块也可以为方形块。CU可以进一步划分为预测单元(prediction Unit,简称PU)和变换单元(transform unit,简称TU),进而使得编码、预测、变换分离,处理的时候更灵活。在一种示例中,CTU以四叉树方式划分为CU,CU以四叉树方式划分为TU、PU。
视频编码器及视频解码器可支持各种PU大小。假定特定CU的大小为2N×2N,视频编码器及视频解码器可支持2N×2N或N×N的PU大小以用于帧内预测,且支持2N×2N、2N×N、N×2N、N×N或类似大小的对称PU以用于帧间预测。视频编码器及视频解码器还可支持2N×nU、2N×nD、nL×2N及nR×2N的不对称PU以用于帧间预测。
在一些实施例中,如图2所示,该视频编码器200可包括:预测单元210、残差单元220、变换/量化单元230、反变换/量化单元240、重建单元250、环路滤波单元260、解码图像缓存270和熵编码单元280。需要说明的是,视频编码器200可包含更多、更少或不同的功能组件。
可选的,在本申请中,当前块(current block)可以称为当前编码单元(CU)或当前预测单元(PU)等。预测块也可称为预测图像块或图像预测块,重建图像块也可称为重建块或图像重建图像块。
在一些实施例中,预测单元210包括帧间预测单元211和帧内估计单元212。由于视频的一个帧中的相邻像素之间存在很强的相关性,在视频编解码技术中使用帧内预测的方法消除相邻像素之间的空间冗余。由于视频中的相邻帧之间存在着很强的相似性,在视频编解码技术中使用帧间预测方法消除相邻帧之间的时间冗余,从而提高编码效率。
帧间预测单元211可用于帧间预测,帧间预测可以参考不同帧的图像信息,帧间预测使用运动信息从参考帧中找到参考块,根据参考块生成预测块,用于消除时间冗余;帧间预测所使用的帧可以为P帧和/或B帧,P帧指的是向前预测帧,B帧指的是双向预测帧。运动信息包括参考帧所在的参考帧列表,参考帧索引,以及运动矢量。运动矢量可以是整像素的或者是分像素的,如果运动矢量是分像素的,那么需要再参考帧中使用插值滤波做出所需的分像素的块,这里把根据运动矢量找到的参考帧中的整像素或者分像素的块叫参考块。有的技术会直接把参考块作为预测块,有的技术会在参考块的基础上再处理生成预测块。在参考块的基础上再处理生成预测块也可以理解为把参考块作为预测块然后再在预测块的基础上处理生成新的预测块。
目前最常用的帧间预测方法包括:VVC视频编解码标准中的几何划分模式(geometric partitioning mode,GPM),以及AVS3视频编解码标准中的角度加权预测(angular weighted prediction,AWP)。这两种帧内预测模式在原理上有共通之处。
帧内估计单元212只参考同一帧图像的信息,预测当前码图像块内的像素信息,用于消除空间冗余。帧内预测所使用的帧可以为I帧。
HEVC使用的帧内预测模式有平面模式(Planar)、DC和33种角度模式,共35种预测模式。VVC使用的帧内模式有Planar、DC和65种角度模式,共67种预测模式。AVS3使用的帧内模式有DC、Plane、Bilinear和63种角度模式,共66种预测模式。
在一些实施例中,帧内估计单元212可以采用帧内块复制技术和帧内串复制技术实现。
残差单元220可基于CU的像素块及CU的PU的预测块来产生CU的残差块。举例来说,残差单元220可产生CU的残差块,使得残差块中的每一采样具有等于以下两者之间的差的值:CU的像素块中的采样,及CU的PU的预测块中的对应采样。
变换/量化单元230可量化变换系数。变换/量化单元230可基于与CU相关联的量化参数(QP)值来量化与CU的TU相关联的变换系数。视频编码器200可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数的量化程度。
反变换/量化单元240可分别将逆量化及逆变换应用于量化后的变换系数,以从量化后的变换系数重建残差块。
重建单元250可将重建后的残差块的采样加到预测单元210产生的一个或多个预测块的对应采样,以产生与TU相关联的重建图像块。通过此方式重建CU的每一个TU的采样块,视频编码器200可重建CU的像素块。
环路滤波单元260可执行消块滤波操作以减少与CU相关联的像素块的块效应。
在一些实施例中,环路滤波单元260包括去块滤波单元和样点自适应补偿/自适应环路滤波(SAO/ALF)单元,其中去块滤波单元用于去方块效应,SAO/ALF单元用于去除振铃效应。
解码图像缓存270可存储重建后的像素块。帧间预测单元211可使用含有重建后的像素块的参考图像来对其它图像的PU执行帧间预测。另外,帧内估计单元212可使用解码图像缓存270中的重建后的像素块来对在与CU相同的图像中的其它PU执行帧内预测。
熵编码单元280可接收来自变换/量化单元230的量化后的变换系数。熵编码单元280可对量化后的变换系数执行一个或多个熵编码操作以产生熵编码后的数据。
图3是本申请实施例提供的视频解码器的示意性框图。
如图3所示,视频解码器300包含:熵解码单元310、预测单元320、逆量化变换单元330、重建单元340、环路滤波单元350及解码图像缓存360。需要说明的是,视频解码器300可包含更多、更少或不同的功能组件。
视频解码器300可接收码流。熵解码单元310可解析码流以从码流提取语法元素。作为解析码流的一部分,熵解码单元310可解析码流中的经熵编码后的语法元素。预测单元320、逆量化变换单元330、重建单元340及环路滤波单元350可根据从码流中提取的语法元素来解码视频数据,即产生解码后的视频数据。
在一些实施例中,预测单元320包括帧内估计单元321和帧间预测单元322。
帧内估计单元321(也称为帧内预测单元)可执行帧内预测以产生PU的预测块。帧内估计单元321可使用帧内预测模式以基于空间相邻PU的像素块来产生PU的预测块。帧内估计单元321还可根据从码流解析的一个或多个语法元素来确定PU的帧内预测模式。
帧间预测单元322可根据从码流解析的语法元素来构造第一参考图像列表(列表0)及第二参考图像列表(列表1)。此外,如果PU使用帧间预测编码,则熵解码单元310可解析PU的运动信息。帧间预测单元322可根据PU的运动信息来确定PU的一个或多个参考块。帧间预测单元322可根据PU的一个或多个参考块来产生PU的预测块。
逆量化变换单元330(也称为反变换/量化单元)可逆量化(即,解量化)与TU相关联的变换系数。逆量化变换单元330可使用与TU的CU相关联的QP值来确定量化程度。
在逆量化变换系数之后,逆量化变换单元330可将一个或多个逆变换应用于逆量化变换系数,以便产生与TU相关联的残差块。
重建单元340使用与CU的TU相关联的残差块及CU的PU的预测块以重建CU的像素块。例如,重建单元340可将残差块的采样加到预测块的对应采样以重建CU的像素块,得到重建图像块。
环路滤波单元350可执行消块滤波操作以减少与CU相关联的像素块的块效应。
视频解码器300可将CU的重建图像存储于解码图像缓存360中。视频解码器300可将解码图像缓存360中的重建图像作为参考图像用于后续预测,或者,将重建图像传输给显示装置呈现。
视频编解码的基本流程如下:在编码端,将一帧图像划分成块,针对当前块,预测单元210使用帧内预测或帧间预测产生当前块的预测块。残差单元220可基于预测块与当前块的原始块计算残差块,即预测块和当前块的原始块的差值,该残差块也可称为残差信息。该残差块经由变换/量化单元230变换与量化等过程,可以去除人眼不敏感的信息,以消除视觉冗余。可选的,经过变换/量化单元230变换与量化之前的残差块可称为时域残差块,经过变换/量化单元230变换与量化之后的时域残差块可称为频率残差块或频域残差块。熵编码单元280接收到变化量化单元230输出的量化后的变化系数,可对该量化后的变化系数进行熵编码,输出码流。例如,熵编码单元280可根据目标上下文模型以及二进制码流的概率信息消除字符冗余。
在解码端,熵解码单元310可解析码流得到当前块的预测信息、量化系数矩阵等,预测单元320基于预测信息对当前块使用帧内预测或帧间预测产生当前块的预测块。逆量化变换单元330使用从码流得到的量化系数矩阵,对量化系数矩阵进行反量化、反变换得到残差块。重建单元340将预测块和残差块相加得到重建块。重建块组成重建图像,环路滤波单元350基于图像或基于块对重建图像进行环路滤波,得到解码图像。编码端同样需要和解码端类似的操作获得解码图像。该解码图像也可以称为重建图像,重建图像可以为后续的帧作为帧间预测的参考帧。
需要说明的是,编码端确定的块划分信息,以及预测、变换、量化、熵编码、环路滤波等模式信息或者参数信息等在必要时携带在码流中。解码端通过解析码流及根据已有信息进行分析确定与编码端相同的块划分信息,预测、变换、量化、熵编码、环路滤波等模式信息或者参数信息,从而保证编码端获得的解码图像和解码端获得的解码图像相同。
上述是基于块的混合编码框架下的视频编解码器的基本流程,随着技术的发展,该框架或流程的一些模块或步骤可能会被优化,本申请适用于该基于块的混合编码框架下的视频编解码器的基本流程,但不限于该框架及流程。
下面对本申请实施例涉及的相关概念进行介绍。
在视频编码中,如图4所示,编码图像组(Group Of Pictures,GOP),也称为帧组,是以I帧开始的编码图像组,直至下一个I帧前结束。
编码图像小组(Mini Group Of Pictures,Mini GOP),是采用一个完整分层预测结构的编码图像组,一个GOP由若干个Mini GOP组成。
GOP和MiniGOP的长度都是可以设置的,图4给出的是一个长度为4的MiniGOP分层预测结构的例子。
在视频编码中,对于P/B帧,经常利用相邻帧之间的时间相关性,采用帧间预测模式编码,对当前编码块(也称为当前块)在前面已编码帧中寻找其最佳匹配块,然后仅对当前编码块与最佳匹配块之间的差值进行编码以达到视频压缩的目的。
场景检测算法通常用来保证当前帧和参考帧处于同一场景内,两者之间的时间相关性是可用的,它通过提前检测出场景切换插入I帧,开始一个新的GOP,使新场景(新GOP)内的帧不会去参考到不同场景(前一个GOP)内的帧。当检测出一个场景切换帧时,传统算法通常会立即对这个场景切换帧进行I帧编码,即开始一个新的GOP编码以确保I帧后面的帧不再参考前一个GOP的帧,因为它们已经不在同一个场景内,其参考意义不大。
图像按照当前帧与其时间参考帧的时间间隔长短分成不同的时间层(TemporalLayer,TL)。
MiniGOP是指GOP内若干个采用相同分层预测结构的编码图像小组,若当场景切换发生在MiniGOP的中间,目前一般会立即插入I帧,也就是说当前MiniGOP会被切断,即一个完整的分层预测结构会被破坏。若某序列场景切换频繁发生,那么当前MiniGOP的分层预测结构也会频繁被破坏。经实验发现,完整的分层预测结构对压缩效率影响非常大,在AV1编码器里,由于场景切换插入I帧而导致的完整分层预测结构被破坏所带来的压缩率的降低,反而会超过场景检测算法插入I帧所带来的收益。也就是说,目前的图像类型的确定方法可能会切断当前MiniGOP,使得一个完整的分层预测结构被破坏,进而降低视频的压缩效率。
为了解决上述技术问题,本申请通过确定当前图像在当前编码图像小组中的位置,并根据当前图像在当前编码图像小组中的位置,确定当前图像的图像类型。即本申请实施例根据当前图像在当前编码图像小组中的位置,来确定当前图像的图像类型,例如当前图像在当前编码图像小组中的位置不是最后一张图像时,无论当前图像是否为场景切换图像,均确定当前图像的图像类型为非I帧,防止切断当前编码图像小组,避免完整预测结构被破坏所带来的压缩率的降低的问题,进而提高了视频压缩效率。
下面结合具体的实施例对本申请实施例提供的技术方案进行详细描述。
图5为本申请实施例提供的一种图像类型的确定方法的流程图,本申请实施例的方法应用于图1或图2所示的编码器,如图5所示,包括:
S501、获取当前图像。
本申请实施例的执行主体包括但不限于如下设备:编码器、或者用于进行图像类型确定的电子设备,如台式计算机、移动计算装置、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机,或其类似者等。
示例性的,若本申请实施例的执行主体为编码器时,则编码器执行本申请实施例的方法,以确定出输入编码器的视频流中每一张图像的图像类型。
示例性的,若本申请实施例的执行主体为除编码器外的电子设备时,则该电子设备执行本申请实施例的方法,确定出待输入编码器的视频流中每一张图像的图像类型。接着,将图像类型确定的视频流输入编码器中,以使编码器根据图像类型对视频流中的图像选择帧内预测或帧间预测方法进行编码。
在一些实施例中,如图6所示,图像的类型包括I帧、P帧和B帧。
其中,I帧也称为内部编码帧,它是一幅独立于其他图像类型的参考图像。
P帧也称为预测编码帧,它包含来自前面I或P帧的运动补偿差分信息。
B帧也称为双向预测编码帧,它包含来自前面和后面的I或P帧的运动补偿差分信息。
在一个视频标准里规定有不同顺序的帧:
输入顺序,是指图像系列输入编码器的顺序,也称为图像的原始顺序。
编码顺序,是指对图像进行编码的顺序。
解码顺序,是指从比特流中解码图像的顺序。
显示顺序是指图像显示的顺序。
在AVS标准中,如果比特流不包括编码的B帧,那么图像的解码顺序与显示顺序可以相同,若包括B帧时,则解码顺序与显示顺序不同,解码图像应该按照下列规则重新排序:如果当前解码帧是一个B帧,那么当前解码帧直接输出显示。如果当前解码帧是一个I帧或P帧,那么传输并显示以前解码的I帧或P帧。
举例说明,假设编码器输入顺序为:IBBPBBPBBIBBP,则编码和解码顺序为:IPBBPBBIBBPBB,显示顺序为:IBBPBBPBBIBBP。
GOP规定了内部编码帧(即I帧)和帧间编码帧(P帧或B帧)的排列顺序。
一个视频序列由多个图像组(GOP)组成,一个GOP可以包括I帧、P帧和B帧三种类型的帧,分别采用帧内预测、帧内/单向帧间预测、帧内/双向帧间预测方式进行编码。
一个GOP由一个关键帧(通常为I帧或P帧,显示顺序位于非关键图像之后)和一组非关键帧(B帧)构成。关键帧采用帧内编码方式有利于随机访问,使用预测编码可以得到较高的编码效率。
由上述可知,在对图像进行编码之前,首先需要确定出图像的类型。
S502、确定当前图像在当前编码图像小组中的位置。
需要说明的是,编码图像小组中的图像数量可以设置,例如,图4所示,一个编码图像小组包括4张图像。
当当前图像输入时,将该当前图像划分在当前编码图像小组中。
该步骤中,当前图像在该当前编码图像小组中的位置可以理解为将当前图像划分在该当前编码图像小组中时,该当前图像是该当前编码图像小组中的第几张图像。
在一些实施例中,上述S502中确定当前图像在当前编码图像小组中的位置可以通过如下步骤实现:
S502-A1、获取当前编码图像小组的总图像数量,以及当前编码图像小组中已有图像的数量;
S502-A2、根据当前编码图像小组的总图像数量,以及当前编码图像小组中已有图像的数量,确定当前图像在当前编码图像小组中的位置。
举例说明,假设当前编码图像小组的总图像数量为4,在插入当前图像之前,当前编码图像小组中已有图像的数量为2,此时,将当前图像插入当前编码图像小组中时,当前图像为当前编码图像小组中的第3张图像。
S503、根据当前图像在当前编码图像小组中的位置,确定当前图像的图像类型。
由于小的分层预测结构的压缩效率低,为例避免破会当前编码图像小组的分层预测结构,则本申请实施例根据当前图像在当前编码图像小组中的位置来确定当前图像的类型,而不是根据当前图像是否为场景切换图像来确定当前图像的类型,例如,若当前图像不是当前编码图像小组中的最后一张图像时,不会将当前图像的类型确定为I帧,进而避免破会当前编码图像小组的分层预测结构,进而提高了当前图像的压缩效率。
本申请实施例中,上述S503中根据当前图像在当前编码图像小组中的位置,确定当前图像的图像类型的方式包括如下步骤S503-A和S503-B:
S503-A,若当前图像不是当前编码图像小组中的最后一张图像,则确定当前图像的图像类型为非I帧。
例如,当前图像不是当前编码图像小组中的最后一张图像,则确定当前图像的图像类型为P帧或B帧,而不是I帧。
S503-B,若当前图像是当前编码图像小组中的最后一张图像,则确定当前图像是否为场景切换图像,并根据当前图像是否为场景切换图像,来确定当前图像的图像类型。
本申请实施例中,若确定当前图像不是当前编码图像小组中的最后一张图像,为例避免破会当前编码图像小组的分层预测结构,则无论当前图像是否为场景切换图像,均确定当前图像的类型不是I帧。若确定当前图像是当前编码图像小组中的最后一张图像,则根据当前图像是否为场景切换图像来确定当前图像的图像类型。
本申请实施例对上述确定当前图像是否为场景切换图像的方式不做限制。
例如,将当前图像的内容与当前图像的前N帧图像的内容进行比较,若当前图像的内容与前N帧图像的内容基本一致,则确定当前图像不是场景切换图像。当前图像的内容与前N帧图像的内容相差较大,则确定当前图像为场景切换图像。
再例如,采用场景检测算法,检测当前图像是否为场景切换图像。可选的,编码器包括该场景检测算法,若编码器开启该场景检测算法,则可以通过该场景检测算法来检查当前图像是否为场景切换图像。
上述S503-B中根据当前图像是否为场景切换图像,来确定当前图像的图像类型的方式包括但不限于如下几种:
方式一,上述S503-B中根据当前图像是否为场景切换图像,来确定当前图像的图像类型可以是,若当前图像是当前编码图像小组中的最后一张图像,且该当前图像是场景切换图像,则确定当前图像的图像类型为I帧。若当前图像是当前编码图像小组中的最后一张图像,且该当前图像不是场景切换图像,则确定当前图像的图像类型为非I帧,例如确定当前图像的图像类型为P帧或B帧。
方式二,上述S503-B中根据当前图像是否为场景切换图像,来确定当前图像的图像类型包括如下步骤S503-B1和S503-B2:
S503-B1、若当前图像是场景切换图像,则确定当前图像的图像类型为I帧。
在一些实施例中,上述S503-B1包括:若当前图像是场景切换图像,则无论当前图像与前一个图像类型为I帧的图像之间有几张图像,则确定当前图像的图像类型为I帧。
在一些实施例中,上述S503-B1包括:若当前图像是场景切换图像,且当前图像与前一个图像类型为I帧的图像之间的图像数量大于或等于第一预设值,则确定当前图像的图像类型为I帧。也就是说,若当前图像是场景切换图像,且当前图像与前一个图像类型为I帧的图像之间的图像数量小于第一预设值,则确定当前图像的图像类型为非I帧(例如P帧或B帧),若当前图像是场景切换图像,且当前图像与前一个图像类型为I帧的图像之间的图像数量大于或等于第一预设值,则确定当前图像的图像类型为I帧。这样可以避免GOP所包括的图像数量太小而降低编码效率。
S503-B2、若当前图像不是场景切换图像,则获取当前编码图像小组对应的第一标志,并根据第一标志,确定当前图像的图像类型。
其中,第一标志用于指示当前编码图像小组中是否存在场景切换图像。
本申请实施例中,每个编码图像小组对应一个第一标志,该第一标志用于指示当前编码图像小组中是否存在场景切换图像。若当前编码图像小组中的某一个或几个图像为场景切换图像时,则确定当前编码图像小组的第一标志的取值为第一数值,若当前编码图像小组中不存在场景切换图像时,则确定当前编码图像小组的第一标志的取值为第二数值。
本申请对第一数值和第二数值的具体取值不做限制,例如,第一数值为1,第二数值为0。
基于此,若当前图像是当前编码图像小组的最后一张图像,且当前图像不是场景切换图像,则获取当前编码图像小组对应的第一标志,并根据第一标志,确定当前图像的图像类型。
在一些实施例中,上述S503-B2中根据第一标志,确定当前图像的图像类型包括如下步骤:
S503-B21、若第一标志的取值为第一数值,则确定当前图像的图像类型为I帧,该第一数值用于指示当前编码图像小组中存在场景切换图像。
在一些实施例中,上述S503-B21包括:若第一标志的取值为第一数值,则无论当前图像与前一个图像类型为I帧的图像之间有几张图像,则确定当前图像的图像类型为I帧。
在一些实施例中,上述S503-B21包括:若第一标志的取值为第一数值,且当前图像与前一个图像类型为I帧的图像之间的图像数量大于或等于第二预设值,则确定当前图像的图像类型为I帧。也就是说,若第一标志的取值为第一数值,且当前图像与前一个图像类型为I帧的图像之间的图像数量小于第二预设值,则确定当前图像的图像类型为非I帧(例如P帧或B帧)。若第一标志的取值为第一数值,且当前图像与前一个图像类型为I帧的图像之间的图像数量大于或等于第二预设值,则确定当前图像的图像类型为I帧。这样可以避免GOP所包括的图像数量太小而降低编码效率。
本申请实施例对上述第一预设值和第二预设值的具体取值不做限制。
可选的,上述第二预设值与上述第一预设值相同。
S503-B22、若第一标志的取值为第二数值,则确定当前图像的图像类型为非I帧,第二数值与第一数值不同,第二数值用于指示当前编码图像小组中不存在场景切换图像。
本申请实施例中,若当前图像是当前编码图像小组中的最后一张图像,且不是场景切换图像,且当前编码图像小组的第一标志的取值为第一数值,即当前编码图像小组中存在场景切换图像,则确定当前图像的图像类型为I帧。若当前图像是当前编码图像小组中的最后一张图像,且是场景切换图像,且当前编码图像小组的第一标志的取值为第二数值,即当前编码图像小组中不存在场景切换图像,则确定当前图像的图像类型为非I帧。
本申请实施例提供的图像类型的确定方法,通过获取当前图像,并确定当前图像在当前编码图像小组中的位置,并根据当前图像在当前编码图像小组中的位置,确定当前图像的图像类型。即本申请实施例根据当前图像在当前编码图像小组中的位置,来确定当前图像的图像类型,例如当前图像在当前编码图像小组中的位置不是最后一张图像时,无论当前图像是否为场景切换图像,均确定当前图像的图像类型为非I帧,防止切断当前编码图像小组,避免完整预测结构被破坏所带来的压缩率的降低的问题,进而提高了视频压缩效率。
图7为本申请一实施例提供的图像类型的确定方法的流程图,如图7所示,本申请实施例的方法包括:
S701、获取当前图像。
S702、确定当前图像在当前编码图像小组中的位置。
S703、判断当前图像是否为当前编码图像小组中的最后一张图像。
若判断当前图像为当前编码图像小组中的最后一张图像,则执行如下S704,若判断当前图像不是当前编码图像小组中的最后一张图像,则执行如下S705。
S704、判断当前图像是否为场景切换图像。
若判断当前图像是场景切换图像,则执行如下S706,若判断当前图像不是场景切换图像,则执行如下S705。
S705、判断当前编码图像小组的第一标志的取值是否为第一数值。
若判断当前编码图像小组的第一标志的取值为第一数值,则执行如下S706,若判断当前编码图像小组的第一标志的取值不是第一数值,例如为第二数值,则执行S710。
S706、判断当前图像与前一个图像类型为I帧的图像之间的图像数量是否大于或等于第一预设值。
若判断当前图像与前一个图像类型为I帧的图像之间的图像数量大于或等于第一预设值,则执行如下S707。若判断当前图像与前一个图像类型为I帧的图像之间的图像数量小于第一预设值,则执行如下S710。
S707、确定当前图像的图像类型为I帧。
S708、判断当前图像是否为场景切换图像。
若判断当前图像是场景切换图像,则执行如下S709,若判断当前图像不是场景切换图像,则执行如下S710。
S709、将当前编码图像小组对应的第一标志的取值确定为第一数值。
本申请实施例中,若当前图像不是当前编码图像小组中的最后一张图像,且当前图像是场景切换图像,则将当前编码图像小组对应的第一标志的取值确定为第一数值,第一标志用于指示当前编码图像小组中是否存在场景切换图像,第一数值用于指示当前编码图像小组中存在场景切换图像。
S710、确定当前图像的图像类型为P帧或B帧。
本申请实施例,当输入当前图像时,首先判断当前图像是否为当前MiniGOP的最后一张图像,如果不是最后一张图像,接着判断当前图像是否为场景切换帧,如果当前图像是场景切换帧,则将记录该当前MiniGOP内是否含有场景切换图像的第一标志的取值设置为第一数值。然后确定当前图像的图像类型为P或B帧。如果当前图像不是MiniGOP的最后一张图像,且当前图像不是场景切换图像,则根据当前图像的预测结构,确定当前图像的图像类型为P或B帧。
若该当前图像为当前MiniGOP的最后一张图像,则首先判断当前图像是否为场景切换图像,如果当前图像是场景切换图像,而该当前图像距上一个I帧的距离大于或等于第一预设值,则确定当前图像的图像类型为I帧。如果当前图像是场景切换图像,而该当前图像距上一个I帧的距离小于第一预设值,则确定当前图像的图像类型为P或B帧。若当前图像不是场景切换图像,且记录该当前MiniGOP内是否含有场景切换图像的第一标志的取值为第一数值,并且该当前图像距上一个I帧的距离大于或等于第一预设值,则确定当前图像的图像类型为I帧,否则确定该当前图像的图像类型为P或B帧。
进一步的,下面将本申请实施例提供的方法与已有技术进行比较,已进一步说明本申请实施例的技术效果。
图8展示了关闭场景检测算法时的编码图像组结构示意图,图9展示了传统场景检测算法在场景切换处立即插入I帧的编码图像组结构示意图。图10展示了本申请提出的改进的场景检测算法插入I帧机制的示意图。
从图8和图9可以看出原本一个完整的4帧MiniGOP预测结构被破坏,通常情况下,长的预测结构能有更高的压缩效率,在AV1编码器中,当采用16帧MiniGOP预测结构长度时,图9所示的传统场景检测算法反而会比图8不开场景检测算法带来压缩效率的降低,从而导致编码器无法使用场景检测算法。
如图10所示,本申请实施例的方法,它既能保持原本完整的MiniGOP预测结构,又能将场景检测算法插入I帧所带来的收益引入,实验结果表明,采用本申请实施例改进的场景检测算法插入I帧机制比不开场景检测算法能大大提高压缩效率。
应理解,图5至图10仅为本申请的示例,不应理解为对本申请的限制。
以上结合附图详细描述了本申请的优选实施方式,但是,本申请并不限于上述实施方式中的具体细节,在本申请的技术构思范围内,可以对本申请的技术方案进行多种简单变型,这些简单变型均属于本申请的保护范围。例如,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本申请对各种可能的组合方式不再另行说明。又例如,本申请的各种不同的实施方式之间也可以进行任意组合,只要其不违背本申请的思想,其同样应当视为本申请所公开的内容。
还应理解,在本申请的各种方法实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。另外,本申请实施例中,术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。具体地,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
上文结合图5至图10,详细描述了本申请的方法实施例,下文结合图11至图12,详细描述本申请的装置实施例。
图11是本申请一实施例提供的图像类型的确定装置的示意性框图,该装置可以属于编码端,例如编码设备。
如图11所示,该装置10包括:
获取单元11,用于获取当前图像;
位置确定单元12,用于确定所述当前图像在当前编码图像小组中的位置;
类型确定单元13,用于根据所述当前图像在所述当前编码图像小组中的位置,确定所述当前图像的图像类型。
在一些实施例中,类型确定单元13,具体用于若所述当前图像不是所述当前编码图像小组中的最后一张图像,则确定所述当前图像的图像类型为非I帧;若所述当前图像是所述当前编码图像小组中的最后一张图像,则确定所述当前图像是否为场景切换图像,并根据所述当前图像是否为场景切换图像,来确定所述当前图像的图像类型。
在一些实施例中,类型确定单元13,具体用于若所述当前图像是场景切换图像,则确定所述当前图像的图像类型为I帧;若所述当前图像不是场景切换图像,则获取所述当前编码图像小组对应的第一标志,并根据所述第一标志,确定所述当前图像的图像类型,所述第一标志用于指示所述当前编码图像小组中是否存在场景切换图像。
在一些实施例中,类型确定单元13,具体用于若所述第一标志的取值为第一数值,则确定所述当前图像的图像类型为I帧,所述第一数值用于指示所述当前编码图像小组中存在场景切换图像;若所述第一标志的取值为第二数值,则确定所述当前图像的图像类型为非I帧,所述第二数值与所述第一数值不同,所述第二数值用于指示所述当前编码图像小组中不存在场景切换图像。
在一些实施例中,类型确定单元13,具体用于若所述当前图像是场景切换图像,且所述当前图像与前一个图像类型为I帧的图像之间的图像数量大于或等于第一预设值,则确定所述当前图像的图像类型为I帧。
在一些实施例中,类型确定单元13,具体用于若所述第一标志的取值为第一数值,且所述当前图像与前一个图像类型为I帧的图像之间的图像数量大于或等于第二预设值,则确定所述当前图像的图像类型为I帧。
在一些实施例中,类型确定单元13,还用于若所述当前图像不是所述当前编码图像小组中的最后一张图像,且所述当前图像是场景切换图像,则将所述当前编码图像小组对应的第一标志的取值确定为第一数值,所述第一标志用于指示所述当前编码图像小组中是否存在场景切换图像,所述第一数值用于指示所述当前编码图像小组中存在场景切换图像。
在一些实施例中,位置确定单元12,具体用于获取所述当前编码图像小组的总图像数量,以及所述当前编码图像小组中已有图像的数量;
根据当前编码图像小组的总图像数量,以及所述当前编码图像小组中已有图像的数量,确定所述当前图像在当前编码图像小组中的位置。
在一些实施例中,类型确定单元13,具体用于采用场景检测算法,检测所述当前图像是否为场景切换图像。
应理解的是,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,图11所示的装置可以执行上述编码设备对应的方法实施例,并且装置中的各个模块的前述和其它操作和/或功能分别为了实现上述编码设备对应的方法实施例的相应流程,为了简洁,在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。
图12是本申请实施例提供的电子设备的示意性框图,该电子设备30可以是编码设备。
如图12所示,该电子设备30可以包括:
存储器33和处理器32,该存储器33用于存储计算机程序34,并将该程序代码34传输给该处理器32。换言之,该处理器32可以从存储器33中调用并运行计算机程序34,以实现本申请实施例中的方法。
例如,该处理器32可用于根据该计算机程序34中的指令执行上述方法200中的步骤。
在本申请的一些实施例中,该处理器32可以包括但不限于:
通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中,该存储器33包括但不限于:
易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在本申请的一些实施例中,该计算机程序34可以被分割成一个或多个单元,该一个或者多个单元被存储在该存储器33中,并由该处理器32执行,以完成本申请提供的方法。该一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述该计算机程序34在该电子设备30中的执行过程。
如图12所示,该电子设备30还可包括:
收发器33,该收发器33可连接至该处理器32或存储器33。
其中,处理器32可以控制该收发器33与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器33可以包括发射机和接收机。收发器33还可以进一步包括天线,天线的数量可以为一个或多个。
应当理解,该电子设备30中的各个组件通过总线系统相连,其中,总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说,本申请实施例还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以该权利要求的保护范围为准。
Claims (12)
1.一种图像类型的确定方法,其特征在于,包括:
获取当前图像;
确定所述当前图像在当前编码图像小组中的位置;
若所述当前图像不是所述当前编码图像小组中的最后一张图像,则确定所述当前图像的图像类型为非I帧;
若所述当前图像是所述当前编码图像小组中的最后一张图像,则进一步确定所述当前图像是否为场景切换图像,并根据所述当前图像是否为场景切换图像,来确定所述当前图像的图像类型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述当前图像是否为场景切换图像,来确定所述当前图像的图像类型,包括:
若所述当前图像是场景切换图像,则确定所述当前图像的图像类型为I帧;
若所述当前图像不是场景切换图像,则获取所述当前编码图像小组对应的第一标志,并根据所述第一标志,确定所述当前图像的图像类型,所述第一标志用于指示所述当前编码图像小组中是否存在场景切换图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一标志,确定所述当前图像的图像类型,包括:
若所述第一标志的取值为第一数值,则确定所述当前图像的图像类型为I帧,所述第一数值用于指示所述当前编码图像小组中存在场景切换图像;
若所述第一标志的取值为第二数值,则确定所述当前图像的图像类型为非I帧,所述第二数值与所述第一数值不同,所述第二数值用于指示所述当前编码图像小组中不存在场景切换图像。
4.根据权利要求2所述的方法,其特征在于,若所述当前图像是场景切换图像,则确定所述当前图像的图像类型为I帧,包括:
若所述当前图像是场景切换图像,且所述当前图像与前一个图像类型为I帧的图像之间的图像数量大于或等于第一预设值,则确定所述当前图像的图像类型为I帧。
5.根据权利要求3所述的方法,其特征在于,所述若所述第一标志的取值为第一数值,则确定所述当前图像的图像类型为I帧,包括:
若所述第一标志的取值为第一数值,且所述当前图像与前一个图像类型为I帧的图像之间的图像数量大于或等于第二预设值,则确定所述当前图像的图像类型为I帧。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述当前图像不是所述当前编码图像小组中的最后一张图像,且所述当前图像是场景切换图像,则将所述当前编码图像小组对应的第一标志的取值确定为第一数值,所述第一标志用于指示所述当前编码图像小组中是否存在场景切换图像,所述第一数值用于指示所述当前编码图像小组中存在场景切换图像。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述确定所述当前图像在当前编码图像小组中的位置,包括:
获取所述当前编码图像小组的总图像数量,以及所述当前编码图像小组中已有图像的数量;
根据当前编码图像小组的总图像数量,以及所述当前编码图像小组中已有图像的数量,确定所述当前图像在当前编码图像小组中的位置。
8.根据权利要求1-6任一项所述的方法,其特征在于,所述确定所述当前图像是否为场景切换图像,包括:
采用场景检测算法,检测所述当前图像是否为场景切换图像。
9.一种图像类型的确定装置,其特征在于,包括:
获取单元,用于获取当前图像;
位置确定单元,用于确定所述当前图像在当前编码图像小组中的位置;
类型确定单元,用于若所述当前图像不是所述当前编码图像小组中的最后一张图像,则确定所述当前图像的图像类型为非I帧;若所述当前图像是所述当前编码图像小组中的最后一张图像,则确定所述当前图像是否为场景切换图像,并根据所述当前图像是否为场景切换图像,来确定所述当前图像的图像类型。
10.一种编码设备,其特征在于,包括处理器和存储器,
所述存储器用于存储计算机程序;
所述处理器用于调用并运行该存储器中存储的计算机程序,以执行如权利要求1至8任一项所述的方法。
11.一种电子设备,其特征在于,包括处理器和存储器,
所述存储器用于存储计算机程序;
所述处理器用于调用并运行该存储器中存储的计算机程序,以执行如权利要求1至8任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111177662.2A CN113938679B (zh) | 2021-10-09 | 2021-10-09 | 图像类型的确定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111177662.2A CN113938679B (zh) | 2021-10-09 | 2021-10-09 | 图像类型的确定方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113938679A CN113938679A (zh) | 2022-01-14 |
CN113938679B true CN113938679B (zh) | 2022-09-20 |
Family
ID=79277960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111177662.2A Active CN113938679B (zh) | 2021-10-09 | 2021-10-09 | 图像类型的确定方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113938679B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116962685B (zh) * | 2023-09-21 | 2024-01-30 | 杭州爱芯元智科技有限公司 | 视频编码方法、装置、电子设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002152683A (ja) * | 2000-11-15 | 2002-05-24 | Yamaha Corp | シーン切換点検出方法、シーン切換点提示装置、シーン切換点検出装置、映像再生装置および映像記録装置 |
CN102196291A (zh) * | 2011-05-20 | 2011-09-21 | 四川长虹电器股份有限公司 | 一种双目立体视频编码方法 |
CN108024111B (zh) * | 2016-10-28 | 2019-12-06 | 北京金山云网络技术有限公司 | 一种帧类型判定方法及装置 |
CN112019850B (zh) * | 2020-08-27 | 2022-08-23 | 广州市百果园信息技术有限公司 | 基于场景切换的图像组划分方法、视频编码方法及装置 |
-
2021
- 2021-10-09 CN CN202111177662.2A patent/CN113938679B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113938679A (zh) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10356432B2 (en) | Palette predictor initialization and merge for video coding | |
US10097842B2 (en) | Restriction of escape pixel signaled values in palette mode video coding | |
EP3334153B1 (en) | Reference frame decoding method | |
US10362336B2 (en) | Palette predictor signaling with run length code for video coding | |
US9654806B2 (en) | Determining palette size, palette entries and filtering of palette coded blocks in video coding | |
US9872040B2 (en) | Color index coding for palette-based video coding | |
US9706200B2 (en) | Unification of signaling lossless coding mode and pulse code modulation (PCM) mode in video coding | |
TW202005399A (zh) | 基於區塊之自適應迴路濾波器(alf)之設計及發信令 | |
CN113784126A (zh) | 图像编码方法、装置、设备及存储介质 | |
KR20210104904A (ko) | 비디오 인코더, 비디오 디코더, 및 대응하는 방법 | |
CN113938679B (zh) | 图像类型的确定方法、装置、设备及存储介质 | |
CN115349260A (zh) | 编码器、解码器及对应的方法 | |
EP3058732A1 (en) | Systems and methods for separately defining dependencies for sub-layer based inter-layer prediction | |
CN113973210B (zh) | 媒体文件封装方法、装置、设备及存储介质 | |
CN115866297A (zh) | 视频处理方法、装置、设备及存储介质 | |
CN116567256A (zh) | 分层编码方法、装置、设备及存储介质 | |
WO2022193389A1 (zh) | 视频编解码方法与系统、及视频编解码器 | |
CN116760976B (zh) | 仿射预测决策方法、装置、设备及存储介质 | |
WO2024050723A1 (zh) | 一种图像预测方法、装置及计算机可读存储介质 | |
WO2022193390A1 (zh) | 视频编解码方法与系统、及视频编解码器 | |
WO2022174475A1 (zh) | 视频编解码方法与系统、及视频编码器与视频解码器 | |
CN116405701A (zh) | 图像滤波方法、装置、设备及存储介质 | |
CN114979628A (zh) | 图像块预测样本的确定方法及编解码设备 | |
CN116630171A (zh) | 图像滤波方法、装置、设备及存储介质 | |
CN117151986A (zh) | 图像滤波方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |