CN109660795A - 一种基于下采样的信息编码方法 - Google Patents

一种基于下采样的信息编码方法 Download PDF

Info

Publication number
CN109660795A
CN109660795A CN201811329451.4A CN201811329451A CN109660795A CN 109660795 A CN109660795 A CN 109660795A CN 201811329451 A CN201811329451 A CN 201811329451A CN 109660795 A CN109660795 A CN 109660795A
Authority
CN
China
Prior art keywords
frame
sampling
video frame
information
input video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811329451.4A
Other languages
English (en)
Inventor
林路路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianhu Yunfei Data Technology Co Ltd
Original Assignee
Jianhu Yunfei Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianhu Yunfei Data Technology Co Ltd filed Critical Jianhu Yunfei Data Technology Co Ltd
Priority to CN201811329451.4A priority Critical patent/CN109660795A/zh
Publication of CN109660795A publication Critical patent/CN109660795A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及一种基于下采样的信息编码方法,该方法通过获取输入视频帧,确定与输入视频帧对应的下采样信息,然后根据下采样信息对输入视频帧进行编码得到与输入视频帧对应的编码数据,根据下采样信息对应的处理区间将下采样信息添加至编码数据。通过将下采样信息添加至编码数据中,可以在编码过程中为每个输入视频帧灵活地自适应的选择更加适合的下采样信息,有利于提高在带宽有限下的视频质量。

Description

一种基于下采样的信息编码方法
技术领域
本申请涉及图像处理技术领域,尤其涉及一种基于下采样的信息编码方法。
背景技术
信息编码是为了方便信息的存储、检索和使用,在进行信息处理时赋予信息元素以代码的过程。即用不同的代码与各种信息中的基本单位组成部分建立一一对应的关系。信息编码必须标准、系统化,设计合理的编码系统是关系信息管理系统生命力的重要因素。在带宽有限的条件下,传统的编码器对视频帧无区分地进行编码,可能出现某些场景视频质量差的问题,对于所有视频帧不加区分地进行编码时,存在部分视频帧质量差的问题。
发明内容
本发明提出了一种基于下采样的信息编码方法,所述方法包括:
获取输入视频帧;
获取所述输入视频帧对应的当前量化参数估算值;
获取所述输入视频帧对应的视频帧信息,所述视频帧信息包括编码信息、图像特征信息、帧内编码块与帧间编码块的比值;
根据所述视频帧信息确定与所述输入视频帧对应的量化参数阈值;
获取候选绝对值乘积值范围与候选下采样比例之间的对应关系;
确定所述当前量化参数与所述量化参数阈值之间的绝对值乘积值对应的目标绝对值乘积值范围;
根据所述目标绝对值乘积值范围确定与所述输入视频帧对应的下采样比例;
根据所述下采样信息对所述输入视频帧进行编码得到所述输入视频帧对应的编码数据;
获取所述下采样信息对应的序列级区间;
将所述下采样信息添加至所述序列级区间对应的数据区块中。
本发明提供的基于下采样的信息编码方法,通过获取输入视频帧,确定与输入视频帧对应的下采样信息,然后根据下采样信息对输入视频帧进行编码得到与输入视频帧对应的编码数据,根据下采样信息对应的处理区间将下采样信息添加至编码数据。通过将下采样信息添加至编码数据中,可以在编码过程中为每个输入视频帧灵活地自适应的选择更加适合的下采样信息,有利于提高在带宽有限下的视频质量。
具体实施方式
本发明实施例提供了一种基于下采样的信息编码方法,该基于下采样的信息编码方法具体包括如下步骤,首先获取输入视频帧。其中,视频是由一帧帧的视频帧组成的,进行编码时,需要对每一视频帧进行编码。输入视频帧是指当前待编码的视频帧。输入视频帧可以是实时采集的视频帧,比如,用于即时通信的视频帧。也可以是存储的视频对应的视频帧。
其次,确定与输入视频帧对应的下采样信息。其中,下采样信息包括下采样比例、下采样方法中的至少一种。下采样包括:水平(宽)下采样、垂直(高)下采样、水平和垂直下采样。下采样比例是指采样前与采样后的分辨率之间的比值,包括水平下采样比例和垂直下采样比例。采样比例可以采用采样后/采样前的分辨率比值来表示,也可以采用采样前/采样后的分辨率比值来表示。比如,在水平下采样上,水平下采样后的分辨率是采样前的二分之一,那么如果采用采样后/采样前的分辨率比值来表示,为1/2;如果采用采样前/采样后的分辨率比值来表示为2。即不同的采样比例表示方法,得到的结果互为倒数,可以理解的是,两者表示的意思是相同的。
下采样方法是指具体采用的采样方法,常见的采样方法包括:抽点、直接平均、滤波器、双线性插值、双三次插值、基于CNN(卷积神经网络)的算法,基于统计特性的方法等。不同的采样方法对应的计算复杂度不同。可以根据应用环境自适应地选择下采样方法。
输入视频帧对应的下采样方法与当前环境因素有关,比如,与对当前视频的实时要求的高低有关。如果对实时要求比较高的,一般采用计算复杂度低的采样方法,如果对实时性要求不太高的,采用计算复杂度较高的采样方法。下采样方法的计算复杂度越高,相应得到的视频质量越好。
输入视频帧对应的下采样比例与输入视频帧对应的视频帧信息有关。视频帧信息包括帧类型、图像特征信息等。比如,如果帧类型为B帧,倾向于选择下采样比例比较高的分辨率,因为P帧可作为B帧的参考帧,P帧图像质量影响了后续B帧的图像质量,所以如果帧类型为P帧,则倾向于选择下采样比例比较低的分辨率。图像特征信息是指视频帧对应的图像本身的特征,包括运动特征和纹理复杂度特征等,一般来说,运动度越大,纹理特征越复杂,在带宽有限的情况下,越倾向于选择较高的下采样比例。
然后根据下采样信息对输入视频帧进行编码得到输入视频帧对应的编码数据。其中,当下采样信息中包括下采样比例时,根据下采样比例对输入视频帧进行下采样得到待编码帧,然后对待编码帧进行编码得到输入视频帧对应的编码数据。编码数据是指编码后得到的数据。当下采样信息中还包括下采样方法时,终端根据下采样方法对输入视频帧进行下采样得到待编码帧,然后对待编码帧进行编码得到编码数据。当下采样信息同时包括下采样比例和下采样方法时,终端先根据下采样比例对输入视频帧进行下采样得到待编码帧,然后采用下采样方法对待编码帧进行编码得到输入视频帧对应的编码数据。
最后根据下采样信息对应的处理区间将下采样信息添加至编码数据。其中,处理区间是下采样信息作用的范围。根据下采样信息对应的处理区间将下采样信息添加至编码数据,便于后续解码端根据编码数据中的下采样信息进行解码。下采样信息的作用范围可以只针对一个视频帧,也可以同时针对多个视频帧。如果只针对一个视频帧,即只有该视频帧采用该下采样信息,将该下采样信息添加至该视频帧对应的数据区块中。如果下采样信息对应的处理区间包括多个视频帧,即该处理区间内的多个视频帧对应的是相同的下采样信息。对于包括多个视频帧的处理区间,只需要将下采样信息添加至处理区间的数据区块中即可,不需要在每个视频帧的数据区块中都添加下采样信息。处理区间可以根据实际需要自定义设置,比如,可以将整个视频序列作为处理区间,也可以将一个或多个图像组(GOP)作为处理区间,还可以将每一视频帧作为处理区间。
通过将下采样信息添加至编码数据,便于后续解码端根据编码数据中的下采样信息进行解码,从而实现自适应地选择下采样信息来进行编码,不但提高了编码的速度,而且有利于保证主观质量。
上述基于下采样的信息编码方法,通过获取输入视频帧,确定与输入视频帧对应的下采样信息,然后根据下采样信息对输入视频帧进行编码得到与输入视频帧对应的编码数据,根据下采样信息对应的处理区间将下采样信息添加至编码数据。上述编码方法通过将下采样信息添加至编码数据中,可以在编码过程中为每个输入视频帧灵活地自适应的选择更加适合的下采样信息,在有限带宽下提高了视频质量。
在一个实施例中,根据下采样信息对应的处理区间将下采样信息添加至编码数据,包括:获取下采样信息对应的处理区间,处理区间为序列级区间或图像组级区间或帧级区间;将下采样信息添加至处理区间对应的数据区块中。
其中,处理区间分为序列级区间、图像组(GOP)级区间和帧级区间。其中,序列级区间是指针对整个视频序列,即对视频序列中的每个视频帧都对应有相同的下采样信息。图像组是指一组连续的画面,一个图像组是指以接收到的I帧为起始位置,以下一次接收到的I帧的位置为结束,之间包括了若干个P帧和B帧的数据段。其中,I帧是帧内编码帧,P帧是前向预测帧,B是双向预测帧。即I帧是一个完整的画面,而P帧和B帧记录的是相对于I帧的变化,没有I帧,P帧和B帧就无法解码。图像组级区间是指针对图像组的,对处理区间内的图像组中的每个视频帧采用的都是同一下采样信息。帧级区间是指针对视频帧的,即该下采样信息只针对当前视频帧。
如果下采样信息是针对序列级的,那么将下采样信息添加至视频序列的数据区块中,相应的作用范围即整个视频序列。如果下采样信息是针对图像组级的,那么将下采样信息添加至图像组对应的数据区块中,相应的作用范围是该图像组内的视频帧。如果下采样信息是针对帧级的,那么将下采样添加至帧级对应的数据区块中,相应的作用范围是当前视频帧
确定与输入视频帧对应的下采样信息,包括如下步骤:获取输入视频帧对应的当前量化参数估算值。其中,量化参数(QP)是用来衡量量化步长的参数,其能够影响图像质量,量化参数越小,相应的图像质量越好。其中,量化参数与压缩率成正相关,即量化参数越小,相应的压缩率越小,量化参数越大,相应的压缩率越高。为了确定输入视频帧对应的下采样比例,需要对输入视频帧对应的当前量化参数进行估计。在一个实施例中,根据编码器采用的编码模式确定量化参数估算值,其中,编码模式包括固定质量编码和固定码率编码,固定质量编码是指保持视频画面质量固定的编码方式,固定码率编码是指保持视频码率固定的编码方式。对于不同的编码方式,计算输入视频帧的量化参数估算值的方法不同。
当当前编码方式为固定质量编码,则直接将该固定质量编码对应的量化参数作为输入视频帧的量化参数估算值,即将编码器的外部预设值作为输入视频帧的量化参数估算值。这是因为固定质量编码方式中所有的编码单元采用的量化参数都是相同的,所以直接将预设的量化参数作为输入视频帧的量化参数估算值即可。当当前编码方式为固定码率编码时,则根据编码器已有的码率控制算法计算当前视频帧的第一个编码单元的量化参数,并将第一个编码单元的量化参数作为当前视频帧对应的量化参数估算值;对于固定码率编码,同一视频帧中的不同编码单元所对应的量化参数不同,也可以将不同编码单元的量化参数的均值作为当前视频帧对应的量化参数估算值。
对于固定码率编码,当前视频帧的量化参数估算值是根据前向参考视频帧的平均量化参数来确定的。具体地,计算前向参考视频帧的平均量化参数,然后获取前向参考视频帧的帧类型,若前向参考视频帧与当前视频帧的帧类型相同,则直接将平均量化参数作为当前视频帧的量化参数估算值。若前向参考视频帧与当前视频帧的帧类型不同,则获取两种帧类型之间的帧量化参数偏移量(预先设置),将平均量化参数与帧量化参数偏移量之和作为当前视频帧对应的量化参数估算值。
其次获取输入视频帧对应的量化参数阈值。其中,量化参数阈值是用于对量化参数进行衡量的参考值。通过将输入视频帧对应的当前量化参数估算值与量化参数阈值进行比较,可以用来确定输入视频帧对应的下采样比例。不同的视频帧对应的量化参数阈值可能不同。比如,可以针对不同的帧预测类型设置不同的量化参数阈值。在另一个实施例中,量化参数阈值的设置与视频帧的图像内容复杂度有关,量化参数阈值与图像内容复杂度成正相关,图像内容复杂度越大,相应的量化参数阈值设置的越大。
然后根据当前量化参数估算值与量化参数阈值之间的绝对值乘积值确定与输入视频帧对应的下采样比例。其中,计算输入视频帧对应的当前量化参数估算值与量化参数阈值之间的绝对值乘积值,然后根据绝对值乘积值确定与输入视频帧对应的下采样比例。绝对值乘积值与下采样比例成正比,即绝对值乘积值越大,相应的下采样比例越高。通过将当前量化参数估算值与量化参数阈值进行比较,然后根据两者之间的绝对值乘积值选择合适的下采样比例,有利于在保证主观质量的前提下,提高视频编码的速度。
根据当前量化参数与量化参数阈值之间的绝对值乘积值确定与输入视频帧对应的下采样比例,包括:获取候选绝对值乘积值范围与候选下采样比例之间的对应关系;确定当前量化参数与量化参数阈值之间的绝对值乘积值对应的目标绝对值乘积值范围;根据目标绝对值乘积值范围确定与输入视频帧对应的下采样比例。
预先设置候选绝对值乘积值范围与候选下采样比例之间的对应关系,在确定了当前量化参数与量化参数阈值之间的绝对值乘积值后,就可以确定该绝对值乘积值所在的目标绝对值乘积值范围,然后根据目标绝对值乘积值范围确定与输入视频帧对应的下采样比例。下采样比例的选择与当前量化参数估算值与量化参数阈值之间的绝对值乘积值成正相关,绝对值乘积值越大,相应的下采样比例越大。
获取输入视频帧对应的量化参数阈值,包括:获取输入视频帧对应的视频帧信息,视频帧信息包括:编码信息、图像特征信息、帧内编码块与帧间编码块的比值中的至少一种;根据视频帧信息确定与输入视频帧对应的量化参数阈值。
其中,视频帧信息是指输入视频帧所具有的特征信息,包括编码信息、图像特征信息、帧内编码块与帧间编码块的比值中的至少一种。编码信息是指输入视频在编码时得到的视频压缩参数信息,包括帧预测类型、运动向量、量化参数、视频来源、码率、帧率、分辨率等中的至少一种。其中,帧预测类型是指视频帧的类型,分为帧内预测帧和帧间预测帧,比如,I帧为帧内预测帧,P帧、B帧属于帧间预测帧。由于I帧一般为首帧或存在画面切换的帧,I帧的质量影响了后续P帧或B帧的质量,所以帧内预测帧倾向于选择较低的下采样比例,以保证图像质量,所以对于帧间预测帧,一般设置较大的量化参数阈值。进一步的,由于P帧可以作为B帧的参考帧,P帧的图像质量影响了后续B帧的图像质量,所以相对于B帧,P帧更倾向于设置较大的量化参数阈值。图像特征信息是指与图像内容相关的信息,包括图像运动特征信息、图像纹理特征信息、图像细节丰富度、空间相关度中的至少一种。
编码信息和/或图像特征信息反映了视频帧对应的场景、细节复杂度、运动剧烈程度等,比如,通过运动向量、量化参数、预测残差、码率等可判断运动场景,量化参数越大,一般运动越剧烈,运动向量大则代表图像场景是大运动场景。在码率一定时能表达的信息量有限,所以在码率一定的条件下,对于运动场景剧烈、大运动场景的情况,倾向于选择分辨率较低(下采样比例高)的编码方式,所以相应的量化参数阈值设置的较小。
在每个视频帧中包括有多个编码块,而每个编码块都对应有预测模式,如帧内预测或帧间预测。帧内预测编码块是指根据当前帧的其他编码块对当前块进行预测的编码块,帧间预测是指根据当前帧的参考帧中的编码块对当前帧中的当前块进行预测的编码块。对于帧内预测帧,其只包含有帧内预测编码块。由于帧内预测帧往往是首帧或运动变化较大的帧,所以倾向于选择全分辨率编码或者选择下采样比例较小的编码。
而对于帧间预测帧,既可能包含帧内预测编码块,也可能包含帧间预测编码块。在一个实施例中,对于帧间预测帧,可以根据帧内编码块与帧间编码块的比值来确定量化参数阈值。由于帧内编码块的比例越大,采用下采样也不会对视频图像的质量产生大的影响,即帧内编码块的比例越高,相应选择的下采样比例越大。那么由于是根据量化参数估算值与量化参数阈值之间的绝对值乘积值来确定下采样比例的,且绝对值乘积值越大,下采样比例越大,故,相应地可以设置较小的量化参数阈值。帧内编码块的比例越高,相应的量化参数阈值越小,即帧内编码块与帧间编码块的比值与量化参数阈值成反相关。
在获取输入视频帧之后,还包括:获取输入视频帧对应的处理方式,当处理方式为下采样处理方式时,进入确定与输入视频帧对应的下采样信息的步骤。
其中,处理方式包括全分辨率处理方式和下采样处理方式。首先确定输入视频帧对应的处理方式,当处理方式为下采样处理方式时,进入确定与输入视频帧对应的下采样信息的步骤。输入视频帧对应的处理方式是从候选的处理方式中选取的,候选的处理方式可以是全分辨率处理方式或下采样处理方式。得到输入视频帧对应的处理方式的方法可以根据实际需要设置。例如,可以是获取输入视频帧对应的处理参数,根据处理参数得到对应的处理方式。处理参数是用于确定处理方式的参数,具体采用的处理方式可以根据需要进行设置。例如处理参数可以根据输入视频帧对应的当前编码信息和/或图像特征信息得到。
在确定了处理方式后,将处理方式信息添加到编码数据中,便于后续解码端根据编码数据中处理方式信息进行解码,处理方式信息中记载了输入视频帧对应的处理方式,即全分辨率处理方式或下采样处理方式。在确定了处理方式为下采样处理方式后,还需要确定相应的下采样信息,便于后续根据下采样信息进行编码。下采样信息包括下采样比例;确定与输入视频帧对应的下采样信息,包括:获取候选环境因素与候选下采样比例之间的对应关系;获取当前环境因素,根据候选环境因素与候选下采样比例之间的对应关系确定与当前环境因素对应的下采样比例。
其中,候选环境因素包括:当前应用环境类型、CPU占用率、CPU核数、CPU内存、主频、系统类型、机型等中的至少一个。当前应用环境类型是指对视频实时性要求高或低的类型,比如,分为对实时性要求高的类型和对实时性要求不高的类型,对实时性要求高的视频偏向于选择较高的下采样比例,因为下采样比例越高,相应的处理数据越少,处理的越快。系统类型是指当前终端所采用的操作系统类型,比如,是IOS系统,还是Android系统,或者是Windows系统等,在其他条件相同的情况下,不同系统所对应的处理能力也是不同的,所以可以将系统类型作为确定下采样比例的条件。CPU占用率、CPU核数、CPU内存、主频、机型等都是代表硬件处理能力的参数,一般来说,处理能力越强,越偏向于选择较低的下采样比例,即处理的分辨率越高。
确定与输入视频帧对应的下采样信息,包括:获取候选环境因素和候选下采样方法之间的对应关系;获取当前环境因素,根据候选环境因素与候选下采样方法之间的对应关系确定与当前环境因素对应的下采样方法。
其中,不同的下采样方法对应的计算复杂度不同,计算复杂度越高的下采样方法,相应的效果也越好。候选环境因素包括:当前应用环境类型、CPU占用率、CPU核数、CPU内存、主频、系统类型、机型等中的至少一个。当前应用环境类型是指对视频实时性要求高低的类型,比如,分为对实时性要求高的类型和对实时性要求不高的类型,对实时性要求高的视频偏向于计算复杂度低的下采样方法。
根据下采样信息对输入视频帧进行编码得到输入视频帧对应的编码数据,包括:根据下采样信息对输入视频帧进行处理得到待编码帧;获取待编码帧对应的当前参考帧;根据当前参考帧对待编码帧进行编码,得到输入视频帧对应的编码数据。根据下采样比例对输入视频帧进行下采样处理得到待编码帧。帧间编码帧在编码时需要根据参考帧进行编码,所以还需要获取与待编码帧对应的当前参考帧,然后根据当前参考帧对待编码帧进行编码,得到输入视频帧对应的编码数据。
根据当前参考帧对输入视频帧进行编码,得到输入视频帧对应的编码数据,包括:获取待编码帧对应的下采样信息,根据下采样信息对当前参考帧进行处理得到目标参考帧;根据目标参考帧对待编码帧进行编码,得到输入视频帧对应的编码数据。
为了能够更好地参考编码,将参考帧与待编码帧的分辨率处理为一致。在获取待编码帧对应的下采样比例后,根据下采样比例对当前参考帧进行采样处理。其中,在已知输入视频帧的原始分辨率和下采样比例的情况下,显然可以得到待编码帧的分辨率信息。当当前参考帧的分辨率小于待编码帧的分辨率时,则对当前参考帧进行上采样得到目标参考帧。当当前参考帧的分辨率大于待编码帧的分辨率时,需要对当前参考帧进行下采样得到目标参考帧,然后根据目标参考帧对待编码帧进行编码,得到输入视频帧对应的编码数据。
在一个实施例中,可以根据输入视频帧对应的当前编码信息以及图像特征信息中的至少一种得到输入视频帧对应的处理方式。当前编码信息是指视频在编码时得到的视频压缩参数信息,如帧预测类型、运动向量、量化参数、视频来源、码率、帧率以及分辨率的一种或多种。图像特征信息是指与图像内容相关的信息,包括图像运动信息以及图像纹理信息的一种或多种,如边缘等。当前编码信息以及图像特征信息反映了视频帧对应的场景、细节复杂度或者运动剧烈程度等,如通过运动向量、量化参数或者码率中的一个或多个等可判断运动场景,量化参数大则一般运动剧烈,运动向量大则代表图像场景是大运动场景。还可根据已编码I帧与P帧或已编码I帧与B帧的码率比值判断,如果比值超过第一预设阈值,则判断为静止图像,如果比值小于第二预设阈值,则可判断为运动剧烈图像。或直接根据图像内容跟踪目标对象,根据目标对象的运动速度确定是否为大运动场景。码率一定时能表达的信息量一定,对于运动剧烈的场景,时间域信息量大,相应的可用于表达空间域信息的码率就少,因此采用低分辨率能达到较好的图像质量效果,更倾向于选择下采样模式进行编码。通过帧预测类型可确定画面切换场景,也可根据帧预测类型对其它帧的影响确定倾向于的编码模式。如I帧一般为首帧或存在画面切换,I帧的质量影响了后续P帧或B帧的质量,所以帧内预测帧相比于帧间预测帧更倾向于选择全分辨率处理方式,以保证图像质量。因为P帧可作为B帧的参考帧,P帧图像质量影响了后续B帧的图像质量,所以如果采用P帧编码则相比于采用B帧编码更倾向于选择全分辨率处理方式。通过图像特征信息,如图像纹理信息确定待编码视频帧的纹理复杂度,如果纹理复杂,包含的细节多,则图像空域信息多,如果进行下采样,可能由于下采样损失较多细节信息,影响视频质量,所以纹理复杂的待编码视频帧相比于纹理简单的待编码视频帧更倾向于选择全分辨率处理。
可以根据输入视频帧对应的当前量化参数以及量化参数阈值的大小关系得到输入视频帧对应的分辨率。如果当前量化参数大于量化参数阈值,则确定处理方式为下采样处理方式,否则确定处理方式为全分辨率处理方式。量化参数阈值可以根据在输入视频帧之前,已编码的前向编码视频帧的帧内编码块的比例得到,可以预先设置帧内预测块比例与量化参数阈值的对应关系,从而在确定了当前帧的帧内预测块比例后,可以根据对应关系确定与当前帧的帧内预测块比例对应的量化参数阈值。对于固定量化参数编码,当前量化参数可以是对应的固定量化参数值。对于固定码率编码,则可以根据码率控制模型计算得到输入视频帧对应的当前量化参数。或者,可以将参考帧对应的量化参数作为输入视频帧对应的当前量化参数。本发明实施例中,当前量化参数越大一般运动越剧烈,对于运动剧烈的场景更倾向于选择下采样处理方式。
在一个实施例中,帧内预测块比例与量化参数阈值的关系为正相关关系。比如,可以根据经验,预先确定帧内预测块比例Intra0与量化参数阈值QPTH的对应关系为:
待编码帧是根据处理方式对输入视频帧进行处理得到的。当处理方式包括全分辨率处理方式时,则可以将输入视频帧作为待编码帧。当处理方式包括下采样处理方式时,则可以对输入视频帧进行下采样处理,得到待编码帧。例如,当输入视频帧的分辨率为800*800像素,处理方式为水平以及垂直方向均进行2/1下采样时,下采样得到的待编码帧的分辨率为400*400像素。
在待编码帧的分辨率下,对待编码帧进行编码得到编码数据,当处理方式为下采样处理方式时,根据下采样信息对应的处理区间将下采样信息添加至编码数据。
编码可以包括预测、变换、量化以及熵编码中的至少一个。当待编码帧为I帧时,在待编码帧的分辨率下对待编码帧进行帧内预测。当待编码帧为P帧以及B帧时,可以获取待编码帧对应的当前参考帧,根据当前参考帧进行预测得到预测残差,并对预测残差进行变换、量化以及熵编码得到输入视频帧对应的编码数据,其中,得到编码数据的过程中,根据待编码帧的分辨率对当前参考帧、待编码帧的各个编码块对应的位置信息、当前参考帧的各个参考块对应的位置信息以及运动矢量中的至少一个进行处理。例如,在计算预测残差时,可以根据待编码帧的分辨率信息对当前参考帧进行处理,得到目标参考帧,从目标参考帧中获取待编码帧中各个编码块对应的目标参考块,根据目标参考块进行预测,得到编码块对应的预测值,再根据编码块的实际值与预测值的绝对值乘积值得到预测残差。计算目标运动矢量时,如果当前参考帧的分辨率与待编码帧的分辨率不同,可以根据当前参考帧与待编码帧的分辨率信息对编码块的位置信息或者解码块的位置信息进行变换,使得待编码帧对应的位置信息与当前参考帧的位置信息处于同一量化尺度下,再根据变换后的位置信息得到目标运动矢量,以减少目标运动矢量的值,减少编码数据的数据量。或者,如果目标运动矢量对应的分辨率信息与待编码帧的分辨率信息不同,则在待编码帧的分辨率下,计算得到待编码帧的编码块对应的第一运动矢量时,根据待编码帧的分辨率信息以及目标运动矢量单位辨率信息对第一运动矢量进行变换,得到目标分辨率下的目标运动矢量。例如,假设待编码帧的分辨率为400*800像素,当前参考帧的分辨率为800*1600像素。则可以根据待编码帧的分辨率对当前参考帧进行2/1下采样,得到目标参考帧的分辨率为400*800像素,再根据目标参考帧进行视频编码。
通过将下采样信息添加至编码数据,便于后续解码端根据编码数据中的下采样信息进行解码,从而实现自适应地选择下采样信息来进行编码,不但提高了编码的速度,而且有利于保证主观质量。
在获取到处理方式为下采样处理方式时,还需要获取下采样信息,然后根据下采样信息对输入视频帧进行处理得到待编码帧,在待编码帧的分辨率下,对待编码帧进行编码得到编码数据,然后根据下采样信息对应的处理区间将下采样信息添加至编码数据。通过灵活地自适应地选择处理方式以及下采样信息,从而实现了在带宽有限的情况下,提高视频质量。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (1)

1.一种基于下采样的信息编码方法,其特征在于,所述方法包括:
获取输入视频帧;
获取所述输入视频帧对应的当前量化参数估算值;
获取所述输入视频帧对应的视频帧信息,所述视频帧信息包括编码信息、图像特征信息、帧内编码块与帧间编码块的比值;
根据所述视频帧信息确定与所述输入视频帧对应的量化参数阈值;
获取候选绝对值乘积值范围与候选下采样比例之间的对应关系;
确定所述当前量化参数与所述量化参数阈值之间的绝对值乘积值对应的目标绝对值乘积值范围;
根据所述目标绝对值乘积值范围确定与所述输入视频帧对应的下采样比例;
根据所述下采样信息对所述输入视频帧进行编码得到所述输入视频帧对应的编码数据;
获取所述下采样信息对应的序列级区间;
将所述下采样信息添加至所述序列级区间对应的数据区块中。
CN201811329451.4A 2018-11-09 2018-11-09 一种基于下采样的信息编码方法 Pending CN109660795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811329451.4A CN109660795A (zh) 2018-11-09 2018-11-09 一种基于下采样的信息编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811329451.4A CN109660795A (zh) 2018-11-09 2018-11-09 一种基于下采样的信息编码方法

Publications (1)

Publication Number Publication Date
CN109660795A true CN109660795A (zh) 2019-04-19

Family

ID=66110764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811329451.4A Pending CN109660795A (zh) 2018-11-09 2018-11-09 一种基于下采样的信息编码方法

Country Status (1)

Country Link
CN (1) CN109660795A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110650370A (zh) * 2019-10-18 2020-01-03 北京达佳互联信息技术有限公司 一种视频编码参数确定方法、装置、电子设备及存储介质
CN113852816A (zh) * 2021-09-28 2021-12-28 浙江大华技术股份有限公司 视频帧处理方法、装置、计算机设备和可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110650370A (zh) * 2019-10-18 2020-01-03 北京达佳互联信息技术有限公司 一种视频编码参数确定方法、装置、电子设备及存储介质
CN110650370B (zh) * 2019-10-18 2021-09-24 北京达佳互联信息技术有限公司 一种视频编码参数确定方法、装置、电子设备及存储介质
CN113852816A (zh) * 2021-09-28 2021-12-28 浙江大华技术股份有限公司 视频帧处理方法、装置、计算机设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN109688414B (zh) 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法
CN103650504B (zh) 基于图像捕获参数对视频编码的控制
CN103826121B (zh) 低延迟视频编码基于场景切换检测的码率控制方法
TWI613910B (zh) 用於訊框序列之影像編碼的方法和編碼器
CN101895751B (zh) 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
CN108012163B (zh) 视频编码的码率控制方法及装置
Kuo et al. Fast variable block size motion estimation for H. 264 using likelihood and correlation of motion field
CN108781284A (zh) 具有仿射运动补偿的视频编解码的方法及装置
Chen et al. Block-composed background reference for high efficiency video coding
CN106937116B (zh) 基于随机训练集自适应学习的低复杂度视频编码方法
CN108989802B (zh) 一种利用帧间关系的hevc视频流的质量估计方法及系统
US9210435B2 (en) Video encoding method and apparatus for estimating a code amount based on bit string length and symbol occurrence frequency
CN104052997A (zh) 图像编码装置及方法,和图像解码装置及方法
CN109618159A (zh) 一种基于分辨率对应关系的自适应编码方法
CN109660796A (zh) 一种对视频帧进行编码的方法
CN102246526A (zh) 运动图像解码方法以及装置、运动图像编码方法以及装置
CN103702119B (zh) 低延迟视频编码基于可变帧率的码率控制方法
CN104601992B (zh) 基于贝叶斯最小风险决策的skip模式快速选择方法
CN104581170A (zh) 基于hevc降视频分辨率的快速帧间转码的方法
CN109660795A (zh) 一种基于下采样的信息编码方法
JP2005328183A5 (zh)
CN104113761B (zh) 一种视频编码中的码率控制方法及编码器
CN110099274A (zh) 估计体验的视频质量
JP2005348280A (ja) 画像符号化方法、画像符号化装置、画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN103051891A (zh) 确定数据流内分块预测编码的视频帧的块的显著值的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190419

WD01 Invention patent application deemed withdrawn after publication