CN108848376B - 视频编码、解码方法、装置和计算机设备 - Google Patents

视频编码、解码方法、装置和计算机设备 Download PDF

Info

Publication number
CN108848376B
CN108848376B CN201810637332.9A CN201810637332A CN108848376B CN 108848376 B CN108848376 B CN 108848376B CN 201810637332 A CN201810637332 A CN 201810637332A CN 108848376 B CN108848376 B CN 108848376B
Authority
CN
China
Prior art keywords
video frame
resolution
frame
reference frame
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810637332.9A
Other languages
English (en)
Other versions
CN108848376A (zh
Inventor
高欣玮
毛煦楠
谷沉沉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810637332.9A priority Critical patent/CN108848376B/zh
Publication of CN108848376A publication Critical patent/CN108848376A/zh
Priority to PCT/CN2019/089817 priority patent/WO2019242491A1/zh
Priority to US16/991,175 priority patent/US11196989B2/en
Application granted granted Critical
Publication of CN108848376B publication Critical patent/CN108848376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种视频编码、解码方法、装置和计算机设备,该方法包括:获取待编码视频帧;根据待编码视频帧和对应参考帧间的分辨率关系,确定所述待编码视频帧所对应当前参考帧的分辨率确定方式;按照所述分辨率确定方式,生成与所述待编码视频帧对应的当前参考帧;根据所述当前参考帧对所述待编码视频帧进行编码,得到所述待编码视频帧对应的编码数据;所述编码数据包括表示所述分辨率关系的标识信息。本申请方案通过灵活选择分辨率匹配的当前参考帧,提高了编码的准确度,从而提高视频帧的编码质量。

Description

视频编码、解码方法、装置和计算机设备
技术领域
本发明涉及视频编码领域,特别是涉及视频编码、解码方法、装置、计算机设备和存储介质。
背景技术
随着数字媒体技术和计算机技术的发展,视频应用于各个领域,如移动通信、网络监控、网络电视等。随着硬件性能和屏幕分辨率的提高,用户对高清视频的需求日益强烈。
在带宽有限的条件下,传统的编码器对视频帧无区分地进行编码,可能出现某些场景视频质量差的问题,如在750kbps时,对于所有视频帧不加区分地进行编码时,存在部分视频帧质量差的情况,比如基于H.264\H.265\iOS等的编码器都存在相似问题。
发明内容
本发明实施例提供了一种视频编码、解码方法、装置、计算机设备和存储介质,能够提高视频帧的编码质量和效率。
一种视频编码方法,所述方法包括:
获取待编码视频帧;
根据待编码视频帧和对应参考帧间的分辨率关系,确定所述待编码视频帧所对应当前参考帧的分辨率确定方式;
按照所述分辨率确定方式,生成与所述待编码视频帧对应的当前参考帧;
根据所述当前参考帧对所述待编码视频帧进行编码,得到所述待编码视频帧对应的编码数据;所述编码数据包括表示所述分辨率关系的标识信息。
一种视频解码方法,所述方法包括:
获取待编码视频帧的编码数据;
根据所述编码数据中表示分辨率关系的标识信息,确定当前参考帧的分辨率确定方式;
按照所述分辨率确定方式,生成所述待编码视频帧对应的当前参考帧;
根据所述当前参考帧对所述待解码视频帧进行解码,得到所述待解码视频帧对应的重建视频帧。
一种视频编码装置,所述装置包括:
视频帧获取模块,用于获取待编码视频帧;
方式确定模块,用于根据待编码视频帧和对应参考帧间的分辨率关系,确定所述待编码视频帧所对应当前参考帧的分辨率确定方式;
参考帧生成模块,用于按照所述分辨率确定方式,生成与所述待编码视频帧对应的当前参考帧;
视频帧编码模块,用于根据所述当前参考帧对所述待编码视频帧进行编码,得到所述待编码视频帧对应的编码数据;所述编码数据包括表示所述分辨率关系的标识信息。
一种视频编码装置,所述装置包括:
编码数据获取模块,用于获取待编码视频帧的编码数据;
方式确定模块,用于根据所述编码数据中表示分辨率关系的标识信息,确定当前参考帧的分辨率确定方式;
参考帧生成模块,用于按照所述分辨率确定方式,生成所述待编码视频帧对应的当前参考帧;
视频帧解码模块,用于根据所述当前参考帧对所述待解码视频帧进行解码,得到所述待解码视频帧对应的重建视频帧。
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行所述视频编码和/或视频解码方法的步骤。
一种存储有计算机程序的存储介质,所述计算机程序被处理器执行时,使得处理器执行所述视频编码和/或视频解码方法的步骤。
上述视频编码、解码方法、装置、计算机设备和存储介质,根据待编码视频帧和对应参考帧间的分辨率关系,确定当前参考帧的分辨率确定方式,从而根据参考帧分辨率确定方式,能够灵活选择与待编码视频帧的分辨率匹配的当前参考帧。即使当前参考帧与待编码视频帧的分辨率不同,也可作为待编码视频帧的参考帧,提高了参考帧的使用效率。根据当前参考帧对待编码视频帧进行编码,通过灵活选择分辨率匹配的当前参考帧,提高了编码的准确度,从而提高视频帧的编码质量,通过选择分辨率匹配的当前参考帧,也提高了编码效率。
附图说明
图1为一个实施例中视频编码或视频解码方法的应用场景图;
图2为一个实施例中视频编码方法对应的编码框架图;
图3为一个实施例中视频解码方法对应的编码框架图;
图4为一个实施例中像素图像块的划分示意图;
图5为一个实施例中视频编码方法的流程示意图;
图6为一个实施例中生成待编码视频帧的步骤的流程示意图;
图7为一个实施例中确定分辨率确定方式的步骤的流程示意图;
图8为一个实施例中根据当前参考帧进行编码的步骤的流程示意图;
图9为一实施例中视频帧序列的结构框图;
图10为一个实施例中视频解码方法的流程示意图;
图11为一个实施例中得到重建视频帧的步骤的流程示意图;
图12为一个实施例中视频编码装置的框图;
图13为一个实施例中视频解码装置的框图;
图14为一个实施例中计算机设备的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为一个实施例中视频编码或视频解码方法的应用场景图。参照图1,该应用场景中包括终端110和服务器120。
视频编码方法、视频解码方法可以在终端110或服务器120中完成,终端110可将输入视频帧采用视频编码方法进行编码后将编码数据发送至服务器120,也可从服务器120接收编码数据进行解码后生成解码视频帧。服务器120可以对视频帧进行编码,此时视频编码方法在服务器120完成,如果服务器120需要对编码数据进行解码,则视频解码方法在服务器120完成。当然,服务器120接收终端110发送的编码数据后,可将编码数据发送到对应的接收终端中,由接收终端进行解码。
终端110与服务器120通过网络连接。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑以及笔记本电脑等中的至少一种,但并不局限于此。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现,服务器120包括处理器、输入接口或输出解码和数据库,输入接口用户接收输入视频帧或编码数据,输出接口用户输出解码视频帧或编码数据,处理器用于对输入视频帧进行编码或对编码数据进行解码,数据库用于存储输入视频帧、编码数据要和解码视频帧中的至少一种。
图2为一个实施例中提供的视频编码方法对应的编码框架图,本发明实施例提供的视频编码方法可以获取输入视频序列的各个输入视频帧进行编码,得到对应的编码数据,并通过存储发送单元222存储或者发送编码数据,或者存储并发送编码数据。其中,在处理方式决策单元202处,可以对输入视频帧进行处理方式决策,得到输入视频帧对应的处理方式。在处理单元204处,可以根据处理方式对输入视频帧进行处理,得到待编码视频帧。在第一预测单元206处,可以在待编码视频帧的分辨率下,可以对待编码视频帧的各个编码块进行帧内预测或者帧间预测,并根据编码块对应的参考块的图像值得到预测值以及对应的运动矢量,将编码块实际值与预测值相减得到预测残差,运动矢量表示编码块相对于参考块的位移。在变换单元208处,将空间域中的预测残差以及矢量信息变换到频率域,并可以对变换系数进行编码。变换的方法可以为离散傅里叶变换或者离散余弦变换等等,矢量信息可以为表示位移的实际运动矢量或者运动矢量差值,运动矢量差值为实际运动矢量与预测运动矢量的差值。
在量化单元210处,将变换后的数据映射成另一个数值,例如可以通过变换后的数据除以量化步长得到一个较小的值。量化参数是量化步长对应的的序号,根据量化参数可以查找到对应的量化步长。量化参数小,则图像帧的大部分的细节都会被保留,对应的码率高。量化参数大,则对应的码率低,但图像失真较大、质量不高。量化的原理用公式表示如下:FQ=round(y/Qstep)。其中,y为量化之前视频帧对应的值,Qstep为量化步长,FQ为对y进行量化得到的量化值。Round(x)函数指将取值进行四舍五入取偶,即四舍六入五取偶。量化参数与量化步长的对应关系具体可以根据需要进行设置。例如,在一些视频编码标准中,对于亮度编码而言,量化步长共有52个值,为0~51之间的整数,对于色度编码,量化步长的取值为0~39之间的整数,且量化步长随着量化参数的增加而增加,每当量化参数增加6,量化步长便增加一倍。
熵编码单元220用于进行熵编码,熵编码为按熵原理进行编码,且不丢失任何信息的数据编码方式,能够利用较小的字符来表达一定的信息。熵编码方法例如可以为香农编码(shannon)或者哈夫曼编码(huffman)等。
第一反量化单元212、第一反变换单元213、第一重建单元214以及第一环路滤波单元215是重建路径对应的单元,利用重建路径的各个单元进行帧的重建得到参考帧,能够保持编码以及解码中参考帧的一致。其中第一反量化单元212进行的步骤是进行量化的逆过程,第一反变换单元214进行的步骤是是变换单元210进行变换的逆过程,第一重建单元216用于将反变换得到的残差数据加上预测数据得到重建参考帧。第一环路滤波单元218用于进行环路滤波,降低视频帧的方块效应,以提高视频质量。
图3为一个实施例中提供的视频解码方法对应的解码框架图,本发明实施例提供的视频解码方法,可以通过编码数据获取单元300获取待解码视频序列的各个待解码视频帧对应的编码数据,通过熵解码单元302进行熵解码后,得到熵解码数据,第二反量化单元304对熵解码数据进行反量化,得到反量化数据,第二反变换单元306对反量化数据进行反变换,得到反变换的数据,该反变换的数据可以与图2中第一反变换单元214进行反变换后得到的数据是一致的。分辨率信息获取单元308用于获取待解码视频帧对应的分辨率信息。第二环路滤波单元312对第二重建单310重建得到的重建视频帧进行环路滤波,第二预测单元314根据运动矢量信息获取待解码块的参考块,根据参考块的图像值得到与图2中的预测值一致的预测值。第二重建单元310根据预测值以及反变换的数据即预测残差进行重建,得到重建视频帧。第二处理单元316根据所述待解码视频帧对应的分辨率信息对重建视频帧进行处理,得到对应的解码视频帧。播放存储单元318可以对解码视频帧进行播放或者存储,或者进行播放以及存储。
可以理解,上述的编码框架图、解码框架图仅是一种示例,并不构成对本申请方案所应用于的视频编码或视频解码方法的限定,具体的编码框架图以及解码框架图可以包括比图中所示更多或更少的单元,或者组合某些单元,或者具有不同的部件单元不知。例如,可以不进行环路滤波。
可以将待编码视频帧划分为多个编码块,编码块的大小可以根据需要进行设置或者计算得到。例如编码块的大小可以均为8*8像素。或者可以通过计算各种编码块的划分方式对应的率失真代价,选择率失真代价小的划分方式进行编码块的划分。如图4所示为一个64*64像素图像块的划分示意图,一个方块代表一个编码块。由图4可知,编码块的大小可以包括32*32像素、16*16像素、8*8像素以及4*4像素。当然,编码块的大小也可是其他大小,例如可以是32*16像素或者是64*64像素。可以理解,在解码时,由于编码块与待解码块是一一对应的,因此待解码块的像素大小也可以包括32*32像素、16*16像素、8*8像素以及4*4像素等。
如图5所示,在一个实施例中,提供一种视频编码方法。如图5所示,在一个实施例中,提供了一种视频编码方法。本实施例主要以该方法应用于上述图1中的终端110或服务器120来举例说明。编码端既可以是终端110也可以是服务器120。参照图5,该视频编码方法具体包括如下步骤:
S502,获取待编码视频帧。
其中,待编码视频帧是对输入视频帧进行处理之后得到的。当对输入视频帧进行处理的处理方式包括全分辨率处理方式时,则可以将输入视频帧作为待编码视频帧。当对输入视频帧进行处理的处理方式包括下采样处理方式时,则可以对输入视频帧进行下采样处理,得到待编码视频帧。
例如,当输入视频帧的分辨率为800*800像素,处理方式为水平以及垂直方向均进行1/2下采样时,下采样待编码视频帧的分辨率为400*400像素。
其中,输入视频帧是构成视频的基本单位,一个视频序列或视频组可以包括多个视频帧。输入视频帧可以是实时采集的视频帧,例如可以是通过终端的摄像头实时获取的视频帧,也可以是存储的视频对应的视频帧。输入视频帧可以是I帧、P帧或者B帧,其中I帧为帧内预测帧,P帧为前向预测帧,B帧为双向预测帧。
在一个实施例中,服务器获取输入视频帧,对输入视频帧根据相应的处理方式进行处理,得到待编码视频帧。
S504,根据待编码视频帧和对应参考帧间的分辨率关系,确定待编码视频帧所对应当前参考帧的分辨率确定方式。
其中,待编码视频帧和对应参考帧间的分辨率关系,为待编码视频帧的分辨率与待编码视频帧所对应参考帧的分辨率之间的参考关系。待编码视频帧和对应参考帧间的分辨率关系包括:全分辨率的待编码视频帧参考下采样分辨率的参考帧、下采样分辨率的待编码视频帧参考全分辨率的参考帧、全分辨率的待编码视频帧参考全分辨率的参考帧和下采样分辨率的待编码视频帧参考下采样分辨率的参考帧。
其中,分辨率确定方式为用于确定分辨率大小的处理方式。当前参考帧,是在对待编码视频帧进行编码时所要参考的视频帧。当前参考帧是对可作为参考帧的视频帧对应的编码数据重建得到的视频帧。当前待编码视频帧对应的当前参考帧根据帧间预测类型的不同,可为前向参考帧或双向参考帧,待编码视频帧对应的当前参考帧的个数可为一个或多个。
例如,当待编码视频帧为P帧,则对应的参考帧可以为1个。当待编码视频帧为B帧,则对应的参考帧可以为2个。待编码视频帧对应的参考帧可以是根据参考关系得到的,参考关系根据各个视频编解码标准可以不同。例如,对于一个视频图像组(Group Of Picture,GOP)中的第二个视频帧,为B帧,对应的参考帧可以是该视频组的I帧以及视频组的第4帧。或者待编码视频帧对应的当前参考帧可以是其前向的已编码帧中的前一个或者两个。
在一个实施例中,服务器确定获取到的待编码视频帧所对应的待编码视频帧和对应参考帧间的分辨率关系,根据待编码视频帧和对应参考帧间的分辨率关系,确定与待编码视频帧对应的当前参考帧的分辨率确定方式。
在一个实施例中,服务器从获取到的待编码视频帧对应的待编码视频帧对应参考帧间的分辨率关系中提取参考帧分辨率信息,根据提取到的参考帧分辨率信息确定当前参考帧的分辨率确定方式。
举例说明,若服务器提取到的参考帧分辨率信息为下采样分辨率的参考帧,则当前参考帧的分辨率确定方式为下采样确定方式;若服务器提取到的参考帧分辨率信息为原分辨率的参考帧,则当前参考帧的分辨率确定方式为原分辨率确定方式。
S506,按照分辨率确定方式,生成与待编码视频帧对应的当前参考帧。
具体地,服务器中存储着重建的与待编码视频帧对应的不同分辨率的各参考帧。服务器根据分辨率确定方式从存储的参考帧中选取参考帧,以选取的参考帧作为待编码视频帧对应的当前参考帧。
在一个实施例中,编码端可在获取到当前参考帧对应的编码数据后,可对编码数据进行熵解码、反量化、反变换得到各个帧内预测块对应的预测残差,然后将该预测残差与相应的参考块相加得到各个重建块,从而得到该输入视频帧的重建帧,即当前参考帧。
S508,根据当前参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据;编码数据包括表示分辨率关系的标识信息。
具体地,对待编码视频帧进行编码是在待编码视频帧的分辨率的条件下进行的。编码可以包括预测、变换、量化以及熵编码中的至少一个。服务器获取待编码视频帧对应的当前参考帧,根据当前参考帧进行预测得到预测残差,并对预测残差进行变换、量化以及熵编码等得到待编码视频帧对应的编码数据,并将表示分辨率关系的标识信息添加到编码数据中。
在一个实施例中,服务器检测当前目标帧的分辨率与待编码视频帧的分辨率是否相同,若相同,则根据当前参考帧进行预测得到预测残差,并对预测残差进行变换、量化以及熵编码等得到待编码视频帧对应的编码数据,并将表示分辨率关系的标识信息添加到编码数据中;若不相同,则对当前参考帧进行采样处理,使得采样处理后的当前参考帧的分辨率与待编码视频帧的分辨率相同,并对采样处理后的进行预测得到预测残差,并对预测残差进行变换、量化以及熵编码等得到待编码视频帧对应的编码数据,并将表示分辨率关系的标识信息添加到编码数据中。
例如,在计算预测残差时,可以根据待编码视频帧的分辨率信息对当前参考帧进行采样处理,得到与待编码视频帧的分辨率一致的目标参考帧,再从目标参考帧中获取待编码视频帧中各个编码块对应的参考块,根据参考块进行预测,得到编码块对应的预测值,再根据编码块的实际值与预测值的差值得到预测残差,在计算运动矢量值时,如果参考帧的分辨率不同,则可以根据参考帧与待编码视频帧的分辨率对编码块的位置信息或者解码块的位置信息进行变换。再根据变换后的位置信息得到运动矢量值。
在一个实施中,在待编码视频帧的分辨率下,对待编码视频帧进行编码得到输入视频帧对应的编码数据包括:在待编码视频帧的分辨率下,获取待编码视频帧进行编码时对应的编码方式;将编码方式对应的编码方式信息添加至输入视频帧对应的编码数据中。
具体地,编码方式是与编码端进行编码有关的处理方式。例如可以包括编码时对参考帧进行解码重建后的视频帧采用的上采样方式、参考规则对应的规则、对参考帧进行分像素插值中的一种或多种等。编码端通过将编码方式对应的编码方式信息添加至输入视频帧对应的编码数据,解码端可以根据编码方式信息对待解码视频帧进行解码。
在一个实施例中,也可以不将编码方式对应的编码方式信息添加到编码数据中。而是在编码端与解码端预先设置编码方式,在解码端中设置与该编码方式对应的解码方式。或者编码端与解码端可以根据相同或者对应的算法计算得到对应的编码方式以及解码方式。例如,在编解码标准中预先设置编码端对当前参考帧进行上采样方法与解码端对当前参考帧进行上采样的方法相同。
在一个实施例中,编码端可根据待编码视频帧的分辨率信息和第一分辨率信息确定第一矢量变换参数,第一分辨率信息包括当前参考帧的分辨率信息或者输入视频帧对应的目标运动矢量单位分辨率信息;根据第一矢量变换参数得到待编码视频帧中各个编码块对应的目标运动矢量。
具体地,第一矢量变换参数用于对得到运动矢量的位置信息或者运动矢量进行变换。分辨率信息是与分辨率相关的信息,例如可以是分辨率本身或者下采样比例等。第一矢量参数可以是待编码视频帧的分辨率信息和第一分辨率信息之间的比例。例如,假设当前参考帧的下采样比例为1/3,待编码视频帧的下采样比例为1/6。则第一矢量变换参数可以为1/3除以1/6等于2。
在一个实施例中,得到第一矢量变换参数后,根据第一矢量变换参数对得到的运动矢量或者运动矢量对应的位置信息进行变换,得到目标运动矢量。当利用第一矢量变换参数对目标运动矢量进行变换时,使得目标运动矢量是在目标运动矢量单位分辨率信息所表示的目标分辨率下的运动矢量,目标运动矢量单位分辨率信息与目标运动矢量的单位所对应的目标分辨率对应的信息,例如可以是目标分辨率本身或者下采样比例。当利用第一矢量变换参数对运动矢量对应的位置信息进行变换时,使得待编码视频帧对应的位置信息与当前参考帧的位置信息处于同一量化尺度下,根据变换后的位置信息得到第二运动矢量,将第二运动矢量变换为目标分辨下的目标运动矢量。
在一个实施例中,编码可以包括预测、变换、量化以及熵编码中的至少一个。当待编码视频帧为I帧时,在待编码视频帧的分辨率下对待编码视频帧进行帧内预测。当待编码视频帧为P帧以及B帧时,可以获取待编码视频帧对应的当前参考帧,根据当前参考帧进行预测得到预测残差,并对预测残差进行变换、量化以及熵编码得到输入视频帧对应的编码数据,其中,得到编码数据的过程中,根据待编码视频帧的分辨率对当前参考帧、待编码视频帧的各个编码块对应的位置信息、当前参考帧的各个参考块对应的位置信息以及运动矢量中的至少一个进行处理。例如,在计算预测残差时,可以根据待编码视频帧的分辨率信息对当前参考帧进行处理,得到目标参考帧,从目标参考帧中获取待编码视频帧中各个编码块对应的目标参考块,根据目标参考块进行预测,得到编码块对应的预测值,再根据编码块的实际值与预测值的差值得到预测残差。计算目标运动矢量时,如果当前参考帧的分辨率与待编码视频帧的分辨率不同,可以根据当前参考帧与待编码视频帧的分辨率信息对编码块的位置信息或者解码块的位置信息进行变换,使得待编码视频帧对应的位置信息与当前参考帧的位置信息处于同一量化尺度下,再根据变换后的位置信息得到目标运动矢量,以减少目标运动矢量的值,减少编码数据的数据量。或者,如果目标运动矢量对应的分辨率信息与待编码视频帧的分辨率信息不同,则在待编码视频帧的分辨率下,计算得到待编码视频帧的编码块对应的第一运动矢量时,根据待编码视频帧的分辨率信息以及目标运动矢量单位辨率信息对第一运动矢量进行变换,得到目标分辨率下的目标运动矢量。例如,假设待编码视频帧的分辨率为400*800像素,当前参考帧的分辨率为800*1600像素。则可以根据待编码视频帧的分辨率对当前参考帧进行1/2下采样,得到目标参考帧的分辨率为400*800像素,再根据目标参考帧进行视频编码。
本实施例中,根据待编码视频帧和对应参考帧间的分辨率关系,确定当前参考帧的分辨率确定方式,从而根据参考帧分辨率确定方式,能够灵活选择与待编码视频帧的分辨率匹配的当前参考帧。即使当前参考帧与待编码视频帧的分辨率不同,也可作为待编码视频帧的参考帧,提高了参考帧的使用效率。根据当前参考帧对待编码视频帧进行编码,通过灵活选择分辨率匹配的当前参考帧,提高了编码的准确度,从而提高视频帧的编码质量,通过选择分辨率匹配的当前参考帧,也提高了编码效率。
如图6所示,在一个实施例中,S502具体包括生成待编码视频帧的步骤,该步骤具体包括以下内容:
S602,获取输入视频帧。
具体地,视频帧是构成视频的单位,一个视频序列可以包括多个输入视频帧。输入视频帧可以是实时采集的视频帧,例如可以是通过终端的摄像头实时获取的视频帧,也可以是预先存储的视频序列对应的视频帧。输入视频帧可以根据编码算法确定对应的编码帧预测类型,编码帧预测类型包括可以是I帧、P帧或者B帧,其中I帧为帧内预测帧,P帧为前向预测帧,B帧为双向预测帧,P帧与B帧的各个编码块可以采用帧内预测方式也可以采用帧间预测方式进行编码。
在一个实施例中,服务器获取视频帧序列,从视频帧序列中读取输入视频证。服务器获取视频帧序列,从视频帧序列中读取视频帧组,从视频帧组中读取输入视频帧。
S604,确定输入视频帧所对应待编码视频帧的分辨率确定方式。
具体地,输入视频帧所对应编码视频帧的分辨率确定方式是从候选的处理方式中选取的,候选的处理方式可以是全分辨率处理方式以及下采样处理方式。得到输入视频帧所对应编码视频帧的处理方式的方法可以根据实际需要设置。例如,可以是获取输入视频帧对应的处理参数,根据处理参数得到对应的处理方式。处理参数是用于确定处理方式的参数,具体采用的处理参数可以根据需要进行设置。例如处理参数可以包括输入视频帧对应的当前编码信息以及图像特征的至少一种。
在一个实施例中,当输入视频帧对应的处理方式包括下采样处理方式时,还可以获取下采样比例以及下采样方法。其中,采样比例为采样后的分辨率除以采样前的分辨率得到的比值。下采样方法可以可采用直接平均、滤波器、bicubic interpolation双三次插值或者bilinear Interpolation双线性插值等。下采样比例可以是预先设置的也可以灵活地调整下采样比例。例如,可以设置下采样的比例均为1/2。可以是输入视频序列的第一个输入视频帧的下采样比例为1/2,第二个输入视频帧的下采样比例为1/4。可以根据输入视频帧在视频组的编码位置得到下采样比例,其中编码位置越后,则下采样比例越小。下采样方向可以是垂直下采样、水平下采样以及垂直和水平下采样结合中的一种。若采样前的视频帧分辨率为800*800像素,当下采样比例为1/2且为进行水平下采样,则采样后视频帧的分辨率为400*800像素。当下采样比例为1/2且为进行垂直下采样,采样后视频帧的分辨率为800*400像素。
在一个实施例中,下采样的比例可以根据执行视频编码方法的设备如终端或者服务器的处理器能力得到。处理器处理能力强的设备对应的下采样比例大,处理器处理能力弱的设备对应的下采样比例小。可以设置处理器处理能力与下采样比例的对应关系,当需要进行编码时,获取处理器处理能力,根据处理器处理能力得到对应的下采样比例。例如,可以设置16位处理器对应的下采样比例为1/8,32位处理器对应的下采样比例为1/4。
在一个实施例中,下采样的比例可以根据输入视频帧作为参考帧的频率或者次数得到,可以设置下采样比例与输入视频帧作为参考帧的频率或者次数的对应关系。其中,输入视频帧作为参考帧的频率高或者次数多,则下采样比例大。输入视频帧作为参考帧的频率低或者次数少,则下采样比例小。例如,对于I帧,作为参考帧的频率高,则对应的下采样比例大,可以为1/2。对于P帧,作为参考帧的频率低,则对应的下采样比例小,例如可以为1/4。通过根据输入视频帧作为参考帧的频率或者次数得到下采样比例,当输入视频帧作为参考帧的频率高或者次数多时,图像质量较好,因此能够提高进行预测的准确度,减小预测残差,提高编码图像的质量。
在一个实施例中,下采样的方法可以根据执行视频编码方法的设备如终端或者服务器的处理器能力得到。对于处理器处理能力强的设备对应的下采样方法复杂度高,处理器处理能力弱的设备对应的下采样方法复杂度低。可以设置处理器处理能力与下采样方法的对应关系,当需要进行编码时,获取处理器处理能力,根据处理器处理能力得到对应的下采样方法。例如,bicubic interpolation双三次插值比bilinear Interpolation双线性插值的复杂度高,因此你可以设置16位处理器对应的下采样方法为bilinear Interpolation双线性插值,32位处理器对应的下采样方法bicubic interpolation双三次插值。
本发明实施例中,在对输入视频帧采用下采样处理方式处理时,还可按照不同的下采样方法或下采样比例进行下采样,对输入视频帧进行处理的方式更为灵活。
在一个实施例中,可以根据输入视频帧对应的当前编码信息以及图像特征信息中的至少一种得到输入视频帧对应的处理方式。当前编码信息是指视频在编码时得到的视频压缩参数信息,如帧预测类型、运动向量、量化参数、视频来源、码率、帧率以及分辨率的一种或多种。图像特征信息是指与图像内容相关的信息,包括图像运动信息以及图像纹理信息的一种或多种,如边缘等。当前编码信息以及图像特征信息反映了视频帧对应的场景、细节复杂度或者运动剧烈程度等,如通过运动向量、量化参数或者码率中的一个或多个等可判断运动场景,量化参数大则一般运动剧烈,运动向量大则代表图像场景是大运动场景。还可根据已编码I帧与P帧或已编码I帧与B帧的码率比值判断,如果比值超过第一预设阈值,则判断为静止图像,如果比值小于第二预设阈值,则可判断为运动剧烈图像。或直接根据图像内容跟踪目标对象,根据目标对象的运动速度确定是否为大运动场景。码率一定时能表达的信息量一定,对于运动剧烈的场景,时间域信息量大,相应的可用于表达空间域信息的码率就少,因此采用低分辨率能达到较好的图像质量效果,更倾向于选择下采样模式进行编码。通过帧预测类型可确定画面切换场景,也可根据帧预测类型对其它帧的影响确定倾向于的编码模式。如I帧一般为首帧或存在画面切换,I帧的质量影响了后续P帧或B帧的质量,所以帧内预测帧相比于帧间预测帧更倾向于选择全分辨率处理方式,以保证图像质量。因为P帧可作为B帧的参考帧,P帧图像质量影响了后续B帧的图像质量,所以如果采用P帧编码则相比于采用B帧编码更倾向于选择全分辨率处理方式。通过图像特征信息,如图像纹理信息确定待编码视频帧的纹理复杂度,如果纹理复杂,包含的细节多,则图像空域信息多,如果进行下采样,可能由于下采样损失较多细节信息,影响视频质量,所以纹理复杂的待编码视频帧相比于纹理简单的待编码视频帧更倾向于选择全分辨率处理。
在一个实施例中,可以根据输入视频帧对应的当前量化参数以及量化参数阈值的大小关系得到输入视频帧对应的分辨率。如果当前量化参数大于量化参数阈值,则确定处理方式为下采样方式,否则确定处理方式为全分辨率处理方式。量化参数阈值可以根据在输入视频帧之前,已编码的前向编码视频帧的帧内编码块的比例得到,可以预先设置帧内预测块比例与量化参数阈值的对应关系,从而在确定了当前帧的帧内预测块比例后,可以根据对应关系确定与当前帧的帧内预测块比例对应的量化参数阈值。对于固定量化参数编码,当前量化参数可以是对应的固定量化参数值。对于固定码率编码,则可以根据码率控制模型计算得到输入视频帧对应的当前量化参数。或者,可以将参考帧对应的量化参数作为输入视频帧对应的当前量化参数。本发明实施例中,当前量化参数越大一般运动越剧烈,对于运动剧烈的场景更倾向于选择下采样处理方式。
在一个实施例中,帧内预测块比例与量化参数阈值的关系为正相关关系。比如,可以根据经验,预先确定帧内预测块比例Intra0与量化参数阈值QPTH的对应关系为:
Figure BDA0001701904660000151
S606,基于输入视频帧,并按照待编码视频帧的分辨率确定方式,生成待编码视频帧。
具体地,待编码视频帧是根据分辨率确定方式对输入视频帧进行处理得到的。当分辨率确定方式包括全分辨率处理方式时,则可以将输入视频帧作为待编码视频帧。当分辨率确定方式包括下采样处理方式时,则可以对输入视频帧进行下采样处理,得到待编码视频帧。例如,当输入视频帧的分辨率为800*800像素,处理方式为水平以及垂直方向均进行1/2下采样时,下采样得到的待编码视频帧的分辨率为400*400像素。
本实施例中,在获取输入视频帧后,根据输入视频帧所对应待编码视频帧的分辨率确定方式,对输入视频帧进行分辨率处理生成待编码视频帧,可以灵活配置待编码视频帧的分辨率确定方式,可以减少输入视频帧编码过程中的数据量,提高了视频编码效率。
如图7所示,在一个实施例中,S604具体包括确定分辨率确定方式的步骤,该步骤具体包括以下内容:
S702,确定输入视频帧所属的视频帧序列。
其中,视频帧序列为由多个视频帧组或多个输入视频帧构成的帧序列。视频帧组为由多个输入视频帧构成的帧组。
具体地,服务器获取输入视频帧后,根据输入视频帧与视频帧序列的对应关系,确定获取到的输入视频帧所属的视频帧序列。
S704,从视频帧序列的头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系。
具体地,视频帧序列的头部信息中包括待编码视频帧和对应参考帧间的分辨率关系。服务器在确定输入视频帧所属的视频帧序列后,查询视频帧序列的头部信息,从查询到的头部信息中提取待编码视频帧和对应参考帧间的分辨率关系。
在一个实施例中,S704具体包括以下内容:当在视频帧序列的序列头部信息中存在分辨率关系时,则从序列头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系;当在视频帧序列的序列头部信息中不存在分辨率关系时,则在视频帧序列的视频帧组头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系。
具体地,视频帧序列的头部信息包括序列头部信息和视频帧组头部信息。服务器先在视频帧序列的序列头部信息中查询分辨率关系,当序列头部信息中存在分辨率关系,则从序列头部信息中读取待编码视频帧和对应参考帧间的分辨率关系;当序列头部信息中不存在分辨率关系时,服务器获取视频帧序列中的视频帧组,获取视频帧组的视频帧组头部信息,从视频帧组头部信息中读取待编码视频帧和对应参考帧间的分辨率关系。也可以从输入视频帧的帧头部信息中读取待编码视频帧和对应参考帧间的分辨率关系。
S706,根据读取到的分辨率关系,确定输入视频帧所对应待编码视频帧的分辨率确定方式。
具体地,服务器读取到的分辨率关系为待编码视频帧和对应参考帧间的分辨率关系。服务器从获取到的待编码视频帧对应的待编码视频帧对应参考帧间的分辨率关系中提取待编码视频帧分辨率信息,根据提取到的待编码视频帧分辨率信息确定当前参考帧的分辨率确定方式。
举例说明,若服务器提取到的待编码视频帧分辨率信息为下采样分辨率的待编码视频帧,则当前参考帧的分辨率确定方式为下采样确定方式;若服务器提取到的参考帧分辨率信息为原分辨率的参考帧,则待编码视频帧的分辨率确定方式为原分辨率确定方式。
本实施例中,根据序列帧头部信息或视频帧头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系,根据读取到的分辨率关系中的待编码视频帧分辨率信息确定待编码视频帧的分辨率确定方式,根据确定的分辨率确定方式生成待编码视频帧,提高了视频编码的效率。
如图8所示,在一个实施例中,S508具体还包括根据当前参考帧进行编码的步骤,该步骤具体包括以下内容:
S802,获取待编码视频帧和当前参考帧的分辨率信息。
其中,分辨率信息为表示分辨率大小的信息。
具体地,服务器在获取待编码视频帧和当前参考帧后,分别提取待编码视频帧的分辨率信息和当前参考帧的分辨率信息。
S804,根据分辨率信息确定当前参考帧的采样方式。
其中,采样方式是对视频帧进行采样处理的方式,具体可以包括采样比例和/或采样方法。在本实施例中,具体是对当前参考帧进行采样处理的采样方式。其中,对当前参考帧进行采样处理包括对当前参考帧进行上采样处理或下采样处理。
具体地,服务器将待编码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率信息所表示的分辨率进行比较,当待编码视频帧的分辨率大于当前参考帧的分辨率时,确定当前参考帧的采样方式为下采样处理方式;当待编码视频帧的分辨率小于当前参考帧的分辨率时,确定当前参考帧的采样方式为上采样处理方式。
在一个实施例中,采样方法有多种,比如bilinear Interpolation(双线性插值)、bicubic interpolation(双三次插值法)、基于CNN(Convolutional Neural Network,卷积神经网络)的算法、或基于统计特性的方法等。基于CNN的算法,比如,当需对当前参考帧进行上采样处理时,可以通过超分辨率重建模型(如Super-Resolution CNN模型)进行上采样重建当前参考帧。基于统计特性的方法,比如最近邻插值法、均值插值发或中值插值法等。
在一个实施例中,编码端和解码端可约定固定的采样方法,并根据约定的采样方法对当前参考帧进行采样处理。在一个实施例中,编码端还可从预设的多种采样方法中,选择合适的采样方法作为对应于当前的待编码视频帧的采样方式。
在一个实施例中,编码端或解码端可根据执行视频编码方法的设备的本地硬件信息和/或待编码视频帧的图像特征信息来确定对应于待编码视频帧的采样方式。其中,本地硬件信息是执行视频编码/视频解码方法的计算机设备的硬件相关的信息,具体可以包括CPU(Central Processing Unit,中央处理器)、内存、主板或驱动器等的相关信息。
在一个实施例中,对当前参考帧进行采样的方法可以根据执行视频编码或视频解码的方法的设备如终端或者服务器的处理器能力得到。对于处理器处理能力强的设备对应的采样方法复杂度高,处理器处理能力弱的设备对应的采样方法复杂度低。可以设置处理器处理能力与采样方法的对应关系,当需要进行编码时,获取处理器处理能力,根据处理器处理能力得到对应的采样方法。例如,可以设置16位处理器对应的采样比例为1/8,32位处理器对应的下采样比例为1/4。例如,bicubic interpolation双三次插值比bilinearInterpolation双线性插值的复杂度高,因此可以设置16位处理器对应的下采样方法为bilinear Interpolation双线性插值,32位处理器对应的下采样方法bicubicinterpolation双三次插值。
在一个实施例中,对当前参考帧进行采样的方法还可以根据待编码视频帧或待解码视频帧的图像特征信息来确定。其中,图像特征信息是指与视频帧的图像内容相关的信息,包括图像的内容、图像运动信息、图像纹理信息,如边缘等。图像特征信息反映了视频帧对应的场景、细节复杂度、运动剧烈程度等。对于图像特征信息多且复杂的视频帧,在对当前参考帧进行采样时可选择采样方法复杂度高的采样方法,对于图像特征信息少且简单的视频帧,在对当前参考帧进行采样时可选择采样方法复杂度低的采样方法。可以设置待编码视频帧的内容与采样方法的对应关系,当对视频帧进行编码时,可预先确定待编码视频帧的图像特征信息,根据待编码视频帧的图像特征信息得到对应的采样方法。
在一个实施例中,确定对当前参考帧进行采样处理的采样方式时,还可以综合考量编码端或解码端的硬件信息和图像特征信息,以选择当前最合适的采样方式。
在一个实施例中,该视频编码方法还包括:将表示待编码视频帧与参考帧之间的分辨率关系的标识信息添加到编码数据中。
具体地,编码端在编码数据中加入表示待编码视频帧与参考帧之间的分辨率关系的标识信息。标识信息可以添加至编码数据对应的头部信息中,例如可以添加到帧头部信息、视频帧组头部信息或者序列头部信息的预设位置中。其中,帧头部信息是输入帧对应的编码数据的头部信息,视频帧组头部信息是指视频帧组对应的编码数据的头部信息,序列头部信息是指视频帧序列对应的编码数据的头部信息。一个视频帧序列可以包括多个视频帧组,一个视频帧组可以包括多个视频帧。可根据实际需求将标识信息添加至不同范围的头部信息,以作用于不同范围的视频帧。若视频帧序列采用相同的分辨率确定方式,则标识信息在编码数据的添加位置可以是序列头部信息。若视频帧序列的各个视频帧组采用的分辨率确定方式不同,则标识信息在编码数据的添加位置可以是视频帧组头部信息。
如图9所示,图9示出了一个实施例中视频帧序列的结构框图。图9中虚线所指的方框表示各个输入视频帧对应的编码数据的头部信息,frame分别代表第1个、第2个以及第n个视频帧对应的编码数据,由图9可知,编码端可将表示分辨率关系的标识信息作为头信息字段,添加至编码数据对应的头部信息中,比如图9中的序列头信息字段、帧组头信息字段和帧头部信息字段。
在一个实施例中,可以在编码数据中加入表示待编码视频帧与参考帧之间的分辨率关系的标识信息的标志位Sequence_Resolution_Referencer_Rules。各个标识信息所对应的标志位的值可以根据需要设置。例如,当待编码视频帧与参考帧之间的分辨率关系为原分辨率待编码视频帧参考原分辨率参考帧时,对应的标志位为0;当待编码视频帧与参考帧之间的分辨率关系为原分辨率待编码视频帧参考下采样分辨率参考帧时,对应的标志位为1;当待编码视频帧与参考帧之间的分辨率关系为下采样分辨率待编码视频帧参考原分辨率参考帧时,对应的标志位为2;当待编码视频帧与参考帧之间的分辨率关系为下采样分辨率待编码视频帧参考下采样分辨率参考帧时,对应的标志为为3。
S806,按照采样方式和待编码视频帧的分辨率信息,对当前参考帧进行采样处理,得到目标参考帧。
具体地,服务器在确定当前参考帧的采样方式后,按照确定的采样方式对当前参考帧进行采样处理,使得采样处理得到的目标参考帧的分辨率与待编码视频帧的分辨率信息表示的分辨率相同。
在一个实施例中,具体地,上采样处理是对图像进行放大,比如可采用内插值方法,在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。其中,待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率具体可以是:全分辨率方式下的待编码视频帧参考采用下采样方式处理的当前参考帧;或者,采用下采样方式处理的待编码视频帧参考采用下采样方式处理的当前参考帧,且待编码视频帧的下采样比例大于当前参考帧的下采样比例。
在一个实施例中,确定对应于待编码视频帧所配置的采样方式包括:根据本地硬件信息和/或待编码视频帧的图像特征信息,确定对当前参考帧进行上采样处理的采样方式。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,对当前参考帧进行上采样处理。其中,对当前参考帧进行上采样处理的采样方式可以根据本地硬件信息和/或待编码视频帧的图像特征信息来确定。比如,对于处理器处理能力强的设备对应的上采样方法复杂度高,处理器处理能力弱的设备对应的上采样方法复杂度低。还比如,对于图像特征信息多且复杂的视频帧,在对当前参考帧进行上采样时可选择采样方法复杂度高的采样方法,对于图像特征信息少且简单的视频帧,在对当前参考帧进行上采样时可选择采样方法复杂度低的采样方法。或者,综合考量执行视频编码的设备的本地硬件信息和待编码视频帧的图像特征进行,以选择当前最合适的上采样方式。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,对当前参考帧进行上采样处理。具体地,可以按照配置的采样方式,并根据待编码视频帧的分辨率信息,对当前参考帧进行上采样处理,以得到与待编码视频帧的分辨率一致的目标参考帧。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,按照采样方式,并根据待编码视频帧的分辨率信息对当前参考帧进行下采样处理,得到对应的目标参考帧。
具体地,下采样处理是对图像进行缩小。比如,对于一幅图像I尺寸为M*N,对其进行1/a倍下采样,即得到(M/a)*(N/a)尺寸的分辨率图像。其中,a为M和N的公约数。如果是矩阵形式的图像,下采样处理就是把原始图像s*s窗口内的图像变成一个像素,这个像素点的值就是窗口内所有像素的均值。待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率具体可以是:采用下采样方式处理的待编码视频帧参考全分辨率方式下的当前参考帧;或者,采用下采样方式处理的待编码视频帧参考采用下采样方式处理的当前参考帧,且待编码视频帧的下采样比例小于当前参考帧的下采样比例。
例如,假设待编码视频帧的分辨率为400*800像素,当前参考帧的分辨率为800*1600像素。则可以根据待编码视频帧的分辨率对当前参考帧进行下采样处理,得到对应的目标参考帧,再根据目标参考帧进行视频编码。例如,对当前参考帧的宽与高进行1/2下采样,得到目标参考帧的分辨率为400*800像素。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,对当前参考帧进行下采样处理。具体地,可以根据采用下采样方式处理的待编码视频帧所对应的下采样方法,对当前参考帧进行相应的下采样处理,以得到与待编码视频帧的分辨率一致的目标参考帧。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,可以不对当前参考帧进行下采样处理。直接对当前参考帧进行分像素插值处理,以得到目标参考帧。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率等于当前参考帧的分辨率信息所表示的分辨率时,可以不对当前参考帧进行采样处理。直接对当前参考帧进行分像素插值处理,以得到目标参考帧。
在一个实施例中,按照采样方式,并根据待编码视频帧的分辨率信息,对当前参考帧进行采样处理,得到对应的目标参考帧的步骤包括:根据待编码视频帧的分辨率信息、以及当前参考帧的分辨率信息,确定对当前参考帧进行采样处理对应的采样比例;按照采样方式和采样比例,对当前参考帧进行采样处理,得到对应的目标参考帧。
具体地,编码端可获取待编码视频帧的分辨率信息,以及当前参考帧的分辨率信息。根据待编码视频帧的分辨率信息、以及当前参考帧的分辨率信息,确定对当前参考帧进行采样处理对应的采样比例。其中,对当前参考帧进行采样处理对应的采样比例应满足:对当前参考帧进行采样处理后,得到目标参考帧,目标参考帧的分辨率和待编码视频帧的分辨率保持一致。
在一个实施例中,当全分辨率方式下的待编码视频帧参考采用下采样方式处理的当前参考帧时,对当前参考帧进行上采样重建的上采样比例具体可以是采用下采样方式处理的当前参考帧所对应的下采样比例的倒数。上采样方向可以是垂直上采样、水平上采样、垂直和水平上采样中的一种。
在一个实施例中,当采用下采样方式处理的待编码视频帧参考采用下采样方式处理的当前参考帧,且待编码视频帧的下采样比例大于当前参考帧的下采样比例时,对当前参考帧进行上采样重建的上采样比例需满足通过上采样重建后的目标参考帧的分辨率和待编码视频帧的分辨率保持一致的条件。比如,全分辨率方式下的视频帧的分辨率为12M*12N,采用1/2下采样方式处理的待编码视频帧的分辨率为6M*6N,采用1/6下采样方式处理的当前参考帧的分辨率为2M*2N。此时,可对当前参考帧进行3倍上采样处理,得到目标参考帧,目标参考帧的分辨率为6M*6N。
在一个实施例中,当采用下采样方式处理的待编码视频帧参考全分辨率方式下的当前参考帧时,对当前参考帧进行下采样重建的下采样比例具体可以是采用下采样方式处理的待编码视频帧所对应的下采样比例。下采样方向可以是垂直下采样、水平下采样、垂直和水平下采样中的一种。
在一个实施例中,当采用下采样方式处理的待编码视频帧参考采用下采样方式处理的当前参考帧,且待编码视频帧的下采样比例小于当前参考帧的下采样比例时,对当前参考帧进行下采样重建的下采样比例需满足通过下采样重建后的目标参考帧的分辨率和待编码视频帧的分辨率保持一致的条件。比如,全分辨率方式下的视频帧的分辨率为12M*12N,采用1/6下采样方式处理的待编码视频帧的分辨率为2M*2N,采用1/2下采样方式处理的当前参考帧的分辨率为6M*6N。此时,可对当前参考帧进行1/3下采样处理,得到目标参考帧,目标参考帧的分辨率为2M*2N。
在一个实施例中,编码端还可以将采样比例对应的采样比例信息添加至输入视频帧对应的编码数据中,解码端在进行解码处理时,可读取编码数据中相应的采样比例信息,以确定对当前参考帧进行采样处理的采样比例。
具体地,采样比例信息用于描述对当前参考帧进行采样处理时的采样比例,可以在编码数据中加入描述采样比例信息的标志位Sampling_Scale。具体的标志位的值可以根据需要设置。采样比例信息在编码数据的添加位置可以是帧头部信息、视频帧组头部信息或序列头部信息中的任一个,采样比例信息在编码数据的添加位置可以根据采样处理的作用范围确定。采样比例信息可以根据待编码视频帧的分辨率信息和当前参考帧的分辨率信息确定。
上述实施例中,根据待编码视频帧的分辨率信息、以及当前参考帧的分辨率信息,来确定对当前参考帧进行采样处理对应的采样比例,进而根据确定的采样比例,对当前参考帧进行采样处理,可以得到合适的目标参考帧,比如与待编码视频帧的分辨率一致的目标参考帧,以方便进行后续的视频编码。
在一个实施例中,S806具体还包括:按照采样方式,并根据待编码视频帧的分辨率信息对当前参考帧进行采样处理,得到中间参考帧;对中间参考帧进行分像素插值处理,得到目标参考帧。
其中,分像素插值是通过中间参考帧中整像素的参考数据插值得到分像素级别的参考数据的过程。编码端按照确定的采样方式,并根据待编码视频帧的分辨率信息对当前参考帧进行采样处理,得到中间参考帧,可直接将中间参考帧作为目标参考帧。
在一个实施例中,编码端可按照确定的采样方式,根据待编码视频帧的分辨率信息对当前参考帧进行采样处理,得到中间参考帧。对中间参考帧进行分像素插值处理,以得到目标参考帧。
在一个实施例中,编码端可在各自的编解码规则中设置根据中间参考帧进行处理得到目标参考帧时所采用的分像素插值方式。在编、解码时就根据配置确定对中间参考帧进行处理所对应的分像素插值方式。其中,编码端和解码端所采用的分像素插值方式应当是一致的。
在一个实施例中,当采用自适应分辨率的编码框架对输入视频帧进行编码时,还可将分像素插值方式对应的分像素插值方式信息添加至输入视频帧对应的编码数据中。分像素插值方式信息在编码数据的添加位置可以是对应的序列头部信息、视频帧组头部信息以及帧头部信息中的任一个,分像素插值方式信息在编码数据的添加位置可以根据分像素插值方式对应的作用范围确定。可将分像素插值方式信息添加至输入视频帧对应的编码数据的帧头部信息中,表示输入视频帧在被编码时对应的当前参考帧采用分像素插值方式信息对应的分像素插值方式进行分像素插值处理。例如,当编码数据的帧头部信息中用于确定分像素插值方式的标识位Pixel_Sourse_Interpolation为0时,表示输入视频帧对应的当前参考帧采用直接进行分像素插值处理,在Pixel_Sourse_Interpolation为1时,表示输入视频帧对应的当前参考帧采用采样处理后再分像素插值处理。解码端就可按照编码数据中标识位所表示的分像素插值方式对当前参考帧进行分像素插值处理得到目标参考帧,从而可依据目标参考帧对编码数据进行解码得到重建视频帧。
上述实施例中,通过对当前参考帧进行采样处理,得到中间参考帧,再对中间参考帧进行分像素插值处理,得到目标参考帧。通过对中间参考帧进行分像素插值处理,进一步提高了待编码视频帧与要参考的帧之间的图像匹配度,大大提高了运动估计的像素精度,减小预测残差,提高编码图像的质量。
在一个实施例中,按照采样方式,并根据待编码视频帧的分辨率信息对当前参考帧进行采样处理,得到对应的目标参考帧的步骤包括:按照采样方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行采样处理,得到对应的目标参考帧。
其中,运动估计像素精度是待编码视频帧中的编码块对应的运动矢量的单位长度。编码端在对待编码视频帧中的编码块进行编码时,可按照获取的运动估计像素精度将编码块对应的运动矢量的单位长度进行细化,这样得到的运动向量更为精细和准确,因而,需要按照获取的运动估计像素精度对当前参考帧进行采样处理得到目标参考帧,再依据目标参考帧计算待编码视频帧中各编码块对应的第一运动向量,基于该第一运动向量进行编码得到待编码视频帧对应的编码数据。
具体地,可获取当前参考帧的分辨率信息,根据待编码视频帧采用的分像素插值方式,以及待编码视频帧的分辨率信息、当前参考帧的分辨率信息以及待编码视频帧对应的运动估计像素精度确定对当前参考帧进行何种采样处理方法、采样处理对应的采样比例以及像素插值精度。运动估计像素精度的大小可以根据需要设置,例如一般为1/2像素精度、1/4像素精度或1/8像素精度。
在一个实施例中,可根据待编码视频帧的图像特征信息为该待编码视频帧配置相应的运动估计像素精度,图像特征信息比如该待编码视频帧的大小、纹理信息、运动速度等,可综合多种图像特征信息确定待编码视频帧对应的运动估计像素精度。待编码视频帧所携带的图像数据越复杂,图像信息越丰富,相应的运动估计像素精度更高。比如,在对P帧进行帧间预测时,可采用较高的运动估计像素精度计算P帧中各编码块对应的运动矢量,而在对B帧进行帧间预测时,可采用较低的运动估计像素精度计算B帧中各编码块对应的运动矢量。
在一个实施例中,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行采样处理,得到对应的目标参考帧包括:根据待编码视频帧的分辨率信息以及运动估计像素精度计算得到像素插值精度;根据像素插值精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
具体地,像素插值精度是对当前参考帧进行分像素插值对应的像素精度。当分像素插值方式为直接分像素插值方式,表示可对当前参考帧直接进行分像素插值处理得到目标参考帧。因此可以根据待编码视频帧的分辨率信息以及运动估计像素精度计算得到像素插值精度。可以计算当前参考帧的分辨率信息与待编码视频帧的分辨率信息的比例,根据比例以及运动估计像素精度得到像素插值精度。
在一个实施例中,当当前参考帧的分辨率大于待编码视频帧的分辨率时,当前参考帧中部分分像素点的数据可直接复用,可作为与运动估计像素精度相应的分像素点对应的数据。也就是说,当当前参考帧的分辨率大于待编码视频帧的分辨率时,可不对当前参考帧进行下采样处理,直接进行分像素插值处理。比如,待编码视频帧的分辨率为M*N,当前参考帧的分辨率为2M*2N,若运动估计像素精度为1/2,像素插值精度为1,那么当前参考帧可直接作为目标参考帧;若运动估计像素精度为1/4,那么计算得到像素插值精度为1/2,可对当前参考帧以1/2像素插值精度进行分像素插值处理得到目标参考帧。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率相同时,则根据运动估计像素精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
具体地,通过全分辨处理方式对输入视频帧进行处理得到待编码视频帧,且当前参考帧的分辨率也是原分辨时,则待编码视频帧的分辨率和当前参考帧的分辨率相同。或者,通过下采样方式对输入视频帧进行处理得到待编码视频帧,且当前参考帧帧也是采用相同采用比例的下采样方式编码得到的编码数据重建得到的,则待编码视频帧的分辨率和当前参考帧的分辨率相同。那么,就可以直接基于运动估计像素精度直接对当前参考帧进行分像素插值处理得到目标参考帧,并且,分像素插值处理对应的像素插值精度和运动估计像素精度相同。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,则根据待编码视频帧的分辨率信息对当前参考帧进行下采样处理,得到中间参考帧,然后基于待编码视频帧对应的运动估计像素精度对中间参考帧进行分像素插值处理,得到目标参考帧。举例说明:通过对分辨率为2M*2N的输入视频帧按照下采样处理方式进行下采样处理得到分辨率为M*N的待编码视频帧,而当前参考帧的分辨率为2M*2N(全分辨率处理方式),则对当前参考帧按照1/2的采样比例进行下采样处理得到分辨率为M*N的中间参考帧,若获取的待编码视频帧对应的运动估计像素精度为1/2,再对中间参考帧按照与运动估计像素精度相同的像素插值精度,即1/2分像素插值精度进行分像素插值处理,得到目标参考帧;若获取的待编码视频帧对应的运动估计像素精度为1/4,则对中间参考帧按照1/4分像素插值精度进行分像素插值处理,得到目标参考帧。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,则根据待编码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧,然后基于待编码视频帧对应的运动估计像素精度对中间参考帧进行分像素插值处理,得到目标参考帧。比如,待编码视频帧的分辨率为2M*2N,当前参考帧的分辨率为1/2M*1/2N,则需要按照采样比例为4对当前参考帧进行上采样处理得到与待编码视频帧分辨率相同的中间参考帧,若运动估计像素精度为1/2,则继续对得到的中间参考帧按照1/2像素插值精度进行分像素插值处理,得到目标参考帧;若运动估计像素精度为1/4,则继续对得到的中间参考帧按照1/4像素插值精度进行分像素插值处理,得到目标参考帧。
S808,根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧的编码数据。
具体地,对待编码视频帧进行编码是在待编码视频帧的分辨率的条件下进行的。编码可以包括预测、变换、量化以及熵编码中的至少一个。编码端可以获取待编码视频帧对应的当前参考帧,根据确定的采样方式对当前参考帧进行采样处理,以得到目标参考帧。根据目标参考帧进行预测得到预测残差,并对预测残差进行变换、量化以及熵编码等得到输入视频帧对应的编码数据。
例如,在计算预测残差时,可以根据待编码视频帧的分辨率信息对当前参考帧进行采样处理,得到与待编码视频帧的分辨率一致的目标参考帧,再从目标参考帧中获取待编码视频帧中各个编码块对应的参考块,根据参考块进行预测,得到编码块对应的预测值,再根据编码块的实际值与预测值的差值得到预测残差,在计算运动矢量值时,如果参考帧的分辨率不同,则可以根据参考帧与待编码视频帧的分辨率对编码块的位置信息或者解码块的位置信息进行变换。再根据变换后的位置信息得到运动矢量值。
在一个实施中,在待编码视频帧的分辨率下,对待编码视频帧进行编码得到输入视频帧对应的编码数据包括:在待编码视频帧的分辨率下,获取待编码视频帧进行编码时对应的编码方式;将编码方式对应的编码方式信息添加至输入视频帧对应的编码数据中。
具体地,编码方式是与编码端进行编码有关的处理方式。例如可以包括编码时对参考帧进行解码重建后的视频帧采用的上采样方式、参考规则对应的规则、对参考帧进行分像素插值中的一种或多种等。通过将编码方式对应的编码方式信息添加至输入视频帧对应的编码数据,解码端可以根据编码方式信息对待解码视频帧进行解码。
在一个实施例中,也可以不将编码方式对应的编码方式信息添加到编码数据中。而是在编码端与解码端预先设置编码方式,在解码端中设置与该编码方式对应的解码方式。或者编码端与解码端可以根据相同或者对应的算法计算得到对应的编码方式以及解码方式。例如,在编解码标准中预先设置编码端对当前参考帧进行上采样方法与解码端对当前参考帧进行上采样的方法相同。
在一个实施例中,编码端可根据待编码视频帧的分辨率信息和第一分辨率信息确定第一矢量变换参数,第一分辨率信息包括当前参考帧的分辨率信息或者输入视频帧对应的目标运动矢量单位分辨率信息;根据第一矢量变换参数得到待编码视频帧中各个编码块对应的目标运动矢量。
具体地,第一矢量变换参数用于对得到运动矢量的位置信息或者运动矢量进行变换。分辨率信息是与分辨率相关的信息,例如可以是分辨率本身或者下采样比例等。第一矢量参数可以是待编码视频帧的分辨率信息和第一分辨率信息之间的比例。例如,假设当前参考帧的下采样比例为1/3,待编码视频帧的下采样比例为1/6。则第一矢量变换参数可以为1/3除以1/6等于2。
在一个实施例中,得到第一矢量变换参数后,根据第一矢量变换参数对得到的运动矢量或者运动矢量对应的位置信息进行变换,得到目标运动矢量。当利用第一矢量变换参数对目标运动矢量进行变换时,使得目标运动矢量是在目标运动矢量单位分辨率信息所表示的目标分辨率下的运动矢量,目标运动矢量单位分辨率信息与目标运动矢量的单位所对应的目标分辨率对应的信息,例如可以是目标分辨率本身或者下采样比例。当利用第一矢量变换参数对运动矢量对应的位置信息进行变换时,使得待编码视频帧对应的位置信息与当前参考帧的位置信息处于同一量化尺度下,根据变换后的位置信息得到第二运动矢量,将第二运动矢量变换为目标分辨下的目标运动矢量。
在一个实施例中,根据待编码视频帧的分辨率信息和第一分辨率信息确定第一矢量变换参数的步骤包括:根据待编码视频帧的分辨率信息和当前参考帧的分辨率信息确定第一矢量变换参数。根据第一矢量变换参数得到待编码视频帧中各个编码块对应的运动矢量的步骤包括:获取当前编码块对应的第一位置信息,获取当前编码块对应的目标参考块对应的第二位置信息;根据第一矢量变换参数、第一位置信息和第二位置信息计算得到当前编码块对应的目标运动矢量。
具体地,当前编码块是输入视频帧中当前需要进行预测编码的编码块。目标参考块是参考帧中用于对当前编码块进行预测编码的图像块。当前编码块对应的第一位置信息可以用像素的坐标表示。当前编码块对应的第一位置信息可以包括当前编码块的全部像素对应的坐标,当前编码块对应的第一位置信息也可以是包括当前编码块的一个或多个像素的坐标。目标参考块对应的第二位置信息可以包括目标参考块的全部像素对应的坐标,目标参考块对应的第二位置信息也可以是包括目标参考块的一个或多个像素的坐标。例如,可以当前图像块的第一个像素点的坐标作为当前编码块的坐标值,以目标参考块的第一个像素点的坐标作为目标参考块的坐标值。
在一个实施例中,可以利用第一矢量变换参数对第一位置信息进行变换,得到对应的第一变换位置信息,根据第一变换位置信息与第二位置信息的差值得到目标运动矢量。或者可以利用第一矢量变换参数对第二位置信息进行变换,得到对应的第二变换位置信息,根据第一位置信息与第二位变换置信息的差值得到目标运动矢量。
在一个实施例中,第一矢量变换参数是待编码视频帧的分辨率与当前参考帧的分辨率信息中,大分辨率信息除以小分辨率信息得到的比例,其中,大分辨率信息对应的分辨率比小分辨率对应的分辨率大。第一矢量变换参数用于与待编码视频帧与当前参考帧中小分辨率信息的帧的位置信息进行变换。例如,待编码视频帧的分辨率为1200*1200像素,当前参考帧的分辨率为600*600像素,则大分辨率为1200*1200像素,小分辨率为600*600像素。第一矢量变换参数可以为2。假设第一位置信息为(6,8),第二位置信息为(3,3)。则目标运动矢量为(6,8)-(3*2,3*2)=(0,2)。本发明实施例中,通过对小分辨率信息的帧对应的位置信息进行变换,可以降低目标运动矢量的值,减少编码数据的数据量。
在一个实施例中,第一矢量变换参数是待编码视频帧的分辨率与当前参考帧的分辨率信息中,小分辨率信息除以大分辨率信息得到的比例,第一矢量变换参数用于对待编码视频帧与当前参考帧中,大分辨率信息的帧的位置信息进行变换。例如,待编码视频帧的分辨率为1200*1200像素,当前参考帧的分辨率为600*600像素,第一矢量变换参数可以为1/2。假设第一位置信息为(6,8),第二位置信息为(3,3)。则目标运动矢量为(6*1/2,8*1/2)-(3,3)=(0,1)。
本实施例中,通过第一矢量变换参数对位置信息进行变换,使得得到的位置信息处于同一量化尺度下,可以降低目标运动矢量的值,减少编码数据的数据量。
在一个实施例中,根据待编码视频帧的分辨率信息和第一分辨率信息确定第一矢量变换参数的步骤包括:获取目标运动矢量单位分辨率信息;根据待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息确定第一矢量变换参数。根据第一矢量变换参数得到待编码视频帧中各个编码块对应的目标运动矢量的步骤包括:根据当前编码块与对应的目标参考块的位移得到第一运动矢量;根据第一矢量变换参数以及第一运动矢量得到当前编码块对应的目标运动矢量。
具体地,目标运动矢量单位分辨率信息是指与目标运动矢量的单位对应的目标分辨率对应的信息,例如可以是目标分辨率或者对应的下采样比例。目标运动矢量是以该分辨率下的矢量单位为标准计算的。由于输入视频序列的对应的各个待编码视频帧可能有一些分辨率与输入视频帧的原始分辨率相同,而另一些待编码视频帧的分辨率比输入视频帧的原始分辨率小,即视频序列中待编码视频帧的分辨率有多种,因此需要确定目标运动矢量的单位对应的分辨率。目标运动矢量的单位对应的分辨率可以是在编码前已经设定或者根据编码过程的参数得到,具体可以根据需要进行设置。
第一运动矢量是根据当前编码块与对应的目标参考块的位移得到的,目标参考块可以是从当前参考帧中获取的,也可以从对当前参考帧进行处理后得到的目标参考帧中获取的,当得到第一运动矢量后,可以将第一矢量变换参数以及第一运动矢量相乘,将得到的乘积作为目标运动矢量。比如,假设目标运动矢量单位对应的分辨率是原始分辨率,而待编码视频帧对应的下采样比例为1/2。由于目标运动矢量单位是原始分辨率,而第一运动矢量是在待编码视频帧的分辨率下计算得到的,因此需要对第一运动矢量进行变换,第一矢量变换参数等于2,当得到的第一运动矢量为(2,2,),则目标运动矢量为(4,4)。得到目标运动矢量后,可以根据目标运动矢量进行编码,例如可以对目标运动矢量以及当前编码块对应的预测残差进行编码,得到编码数据。
在一个实施例中,当目标参考块是从当前参考帧中获取的,可以理解,对于同一编码块,第一运动矢量可等于第二运动矢量。
在一个实施例中,目标运动矢量的单位对应的分辨率可以是输入视频帧对应的分辨率,即原始分辨率,或者目标运动矢量的单位对应的分辨率可以是待编码视频帧对应的分辨率。第一矢量变换参数可以是目标运动矢量单位对应的分辨率信息与待编码视频帧的分辨率信息的比例。例如,假设目标运动矢量单位对应的分辨率是原始分辨率,目标运动矢量单位对应的采样比例为1,待编码视频帧的分辨率的采样比例为1/2,则,第一矢量变换参数可以为1除以1/2等于2。或者,假设目标运动矢量单位对应的分辨率是原始分辨率,为900*900像素,目待编码视频帧的分辨率的采样比例为450*600像素,第一矢量变换参数可以包括两个,水平方向的第一矢量变换参数以及垂直方向的第一矢量变换参数。则水平方向的第一矢量变换参数为900/450=2,垂直方向的第一矢量变换参数为900/600=1.5。
在一个实施例中,可以根据进行编码的设备的计算能力得到目标运动矢量单位分辨率信息,例如,当进行编码的设备只能对整数进行运算或者当数值为小数时运算耗时长,则目标运动矢量单位对应的分辨率可以为输入视频帧对应的原始分辨率,当进行编码的设备能够快速进行小数的运算,目标运动矢量单位对应的分辨率可以为待编码视频帧对应的分辨率。
在一个实施例中,当待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息一致时,第一矢量变换参数为1,第一运动矢量与目标运动矢量相同,因此,可以跳过根据待编码视频帧的分辨率信息和第一分辨率信息确定第一矢量变换参数的步骤,直接将第一运动矢量作为目标运动矢量。当待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息不一致时,则执行根据待编码视频帧的分辨率信息和第一分辨率信息确定第一矢量变换参数的步骤。
本发明实施例中,当目标运动矢量的单位对应的分辨率为输入视频帧对应的分辨率,即原始分辨率,对于分辨率统一的视频序列,各个输入视频帧对应目标分辨率是一致的,可以保持目标运动矢量的统一性。当目标运动矢量的单位对应的分辨率为待编码视频帧对应的分辨率时,由于待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息一致,因此不需要需对第一运动矢量进行变换,可以减少计算时间。
在一个实施例中,可以将表示目标运动矢量单位分辨率信息的的标识信息添加至编码数据中,该标识信息用于表示目标运动矢量所对应的分辨率信息。标识信息在编码数据的添加位置可以是视频帧组头部信息、序列头部信息帧头部信息以及块级头信息中的一个或多个,其中块级头信息是指编码块对应的编码数据的头信息。标识信息在编码数据的添加位置可以根据目标运动矢量单位分辨率信息的作用范围确定。例如,若视频序列中矢量单位对应的分辨率一致,则添加位置可以是序列头部信息。具体的标志位的值所代表的分辨率信息可以根据需要设置。例如,当目标运动矢量单位分辨率信息对应的分辨率为原始分辨率时,对应的标志位MV_Scale_Adaptive为0,当目标运动矢量单位分辨率信息对应的分辨率为待编码视频帧对应的分辨率时,对应的标志位MV_Scale_Adaptive为1。
在一个实施例,步骤S510即根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据包括:获取当前编码块对应的初始预测运动矢量;根据初始预测运动矢量对应的当前运动矢量单位分辨率信息和目标运动矢量单位分辨率信息,得到第二矢量变换系数;根据初始预测运动矢量和第二矢量变换系数得到当前编码块对应的目标预测运动矢量;根据目标运动矢量和目标预测运动矢量得到运动矢量差。
具体地,为了降低用于编码数据的比特数,可以对当前编码块的运动矢量进行预测,得到预测值,计算目标运动矢量与预测值的差值,得到运动矢量差值,对运动矢量差值进行编码。初始预测运动矢量用于对当前编码块的运动矢量进行预测。初始预测运动矢量的数量可以为一个或多个,具体可以根据需要进行设置。初始预测运动矢量的获取规则可以根据需要进行设置,由于当前编码块与其相邻编码块的往往具有空间相关性,因此可以将当前编码块对应的一个或多个相邻已编码块的对应的目标运动矢量值作为初始预测运动矢量。例如,可以将当前编码块中右上角以及左上角的相邻已编码块对应的第一运动矢量值作为初始预测运动矢量。或者,可以将当前编码块对应的目标参考块所对应的目标参考块的运动矢量值作为初始预测运动矢量。
进一步地,当前运动矢量单位分辨率信息是指与初始预测运动矢量的单位对应的当前分辨率对应的信息,例如可以是当前分辨率或者下采样比例。初始预测运动矢量的单位对应的分辨率是指该初始预测运动矢量的单位是以当前分辨率下的矢量单位为标准计算的,即是当前分辨率下的运动矢量。当初始预测运动矢量对应的当前运动矢量单位分辨率信息和目标运动矢量单位分辨率信息不同,则需要根据初始预测运动矢量对应的当前运动矢量单位分辨率信息和目标运动矢量单位分辨率信息得到第二矢量变换系数。第二矢量变换参数用于将初始预测运动矢量变换为目标分辨率下的运动矢量,第二矢量变换参数可以是目标运动矢量单位对应的分辨率信息与当前运动矢量单位分辨率信息的比例。例如,假设目标运动矢量单位对应的分辨率是200*200像素,当前运动矢量单位分辨率信息是100*100像素,则第一矢量变换参数可以是2。
进一步地,得到第二矢量变换参数后,根据初始预测运动矢量与第二矢量变换系数进行运算,得到目标预测运动矢量,目标预测运动矢量是目标分辨率下的预测运动矢量。例如,当初始预测运动矢量为一个时,可以将初始预测运动矢量与第二矢量变换系数的乘积作为目标预测运动矢量。当初始预测运动矢量为多个时,可以对初始预测运动矢量进行计算,得到计算结果,根据计算结果与第二矢量变换系数得到目标运动矢量。计算结果可以是初始预测运动矢量中的最小值、平均值以及中位数值中的一种或多种。可以理解,根据初始预测运动矢量和第二矢量变换系数得到目标预测运动矢量的算法可以自定义,在解码端可以利用一致的自定义的算法计算得到相同的目标预测运动矢量。
进一步地,将运动目标矢量与目标预测运动矢量的差值作为运动矢量差,以根据运动矢量差进行编码,得到编码数据,减少编码数据的数据量。
本发明实施例中,通过对初始预测运动矢量进行变换,得到在目标分辨率下的目标预测运动矢量,使目标预测运动矢量以及目标运动矢量的单位是在匹配的量化尺度下的,因此得到的运动矢量差值小,减少了编码数据的数据量。
本实施例中,能够灵活选择对应于待编码视频帧对应的当前参考帧的采样方式,以对当前参考帧进行相应的采样处理,进而得到目标参考帧。根据目标参考帧对待编码视频帧进行编码,以减小待编码数据的数据量。由于可以灵活选择当前参考帧的采样方式,以对当前参考帧进行采样重建,调整当前参考帧的分辨率,即使当前参考帧与当前待编码视频帧的分辨率不同,也可作为参考帧,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,进而提高了编码图像的质量。
以下假设视频序列A包括三个输入视频帧:a、b以及c,对视频编码方法进行说明。
1、获取视频序列A对应的目标视频序列编码模式,由于当前环境是视频通话环境,目标视频序列编码模式为混合分辨率编码模式。
2、利用混合分辨率编码框架中的处理决策单元对第一个输入视频帧a进行决策,得到处理方式为下采样方式,下采样比例为1/2,对a进行下采样处理,得到下采样后的视频帧a1,对a1进行帧内编码,得到a1对应的编码数据d1,并将a1对应的编码数据进行重建,得到对应的重建视频帧a2。
3、利用混合分辨率编码框架中的处理决策单元对第二个输入视频帧b进行决策,得到处理方式为下采样方式,采样比例为1/4。对b进行下采样,得到b1,对b1进行编码,得到b对应的编码数据,并在编码数据中携带下采样比例对应的采用比例信息以及处理方式对应的处理方式信息。
其中编码过程包括:由于b为帧间预测帧,因此需要将a2作为当前参考帧,由于b1与a2的分辨率不同,故需要对a2进行采样处理。确定a2的采样方式为直接分像素插值,运动估计精度为1/4,故像素插值精度为1/4*2=1/2,根据像素插值精度对a2进行1/2分像素插值,得到目标参考帧a3。计算b1中的当前编码块与目标参考帧中的目标参考块的第一运动矢量MV1,预测残差为p1。并获取得到目标分辨率为原始分辨率,因此,目标运动矢量为4MV1。计算得到初始预测矢量为MV2,初始预测矢量是在1/4下采样比例对应的分辨率下计算得到,因此,目标预测矢量为4MV2,故当前编码块对应的运动矢量差MVD1等于4MV1-4MV2。对MVD1以及p1进行变换、量化以及熵编码,得到编码数据。
4、利用混合分辨率编码框架中的处理决策单元对第三个输入视频帧c进行决策,得到处理方式为下采样方式,采样比例为1/8。对c进行下采样,得到c1,对c1进行编码,得到c对应的编码数据d2。
其中编码过程包括:由于c为帧间预测帧,对应的当前参考帧为对b的编码数据重建得到的重建视频帧b2,由于c1与b2的分辨率不同,故需要对b2进行采样处理。确定b2的采样方式为直接分像素插值,运动估计精度为1/4,故像素插值精度为1/4*2=1/2,根据像素插值精度对b2进行1/2分像素插值,得到目标参考帧b3。计算c1中的当前编码块与目标参考帧中的目标参考块的第一运动矢量MV3,预测残差为p2。并获取得到目标分辨率为原始分辨率,因此,目标运动矢量为8MV3。获取初始预测矢量为MV4,初始预测矢量是在1/4下采样比例对应的分辨率下计算得到,因此,目标预测矢量为4MV4,故当前编码块对应的运动矢量差MVD2等于8MV3-4MV4。对MVD2以及p2进行变换、量化以及熵编码,得到编码数据d3。
5、将d1、d2以及d3组成编码数据包,作为视频序列对应的编码数据,发送到接收终端,其中,视频序列对应的编码数据中携带了描述目标视频序列编码模式为混合分辨率编码模式的标志位。
如图10所示,在一个实施例中,提供一种视频解码方法。本实施例主要以该方法应用于上述图1中的终端110或服务器120来举例说明。参照图9,该视频解码方法具体包括如下步骤:
S1002,获取待解码视频帧的编码数据。
其中,编码数据是用于进行解码的数据。编码数据可以是编码端按照全分辨率处理方式对输入视频帧进行编码得到的,也可以是编码端按照下采样处理方式对输入视频帧进行下采样后再进行编码得到的。具体地,解码端可通过网络接收编码端发送的编码数据。
S1004,根据编码数据中表示分辨率关系的标识信息,确定当前参考帧的分辨率确定方式。
其中,当前参考帧,是在对待解码视频帧进行解码时所要参考的视频帧。当前参考帧是对可作为参考帧的视频帧对应的编码数据重建得到的视频帧。当前待解码视频帧对应的当前参考帧根据帧间预测类型的不同,可为前向参考帧或双向参考帧,待解码视频帧对应的当前参考帧的个数可为一个或多个。需要说明的是,视频解码方法中的当前参考帧与视频编码方法中的当前参考帧是对应的。
其中,分辨率关系的标识信息用于标识待解码视频帧与参考帧之间的分辨率对应关系的信息。分辨率确定方式为采样方式,采样方式是对视频帧进行采样处理的方式,具体可以包括采样比例和/或采样方法。在本实施例中,具体是对当前参考帧进行采样处理的采样方式。
具体地,采样方法有多种,比如bilinear Interpolation(双线性插值)、bicubicinterpolation(双三次插值法)、基于CNN(Convolutional Neural Network,卷积神经网络)的算法、或基于统计特性的方法等。基于CNN的算法,比如,当需对当前参考帧进行上采样处理时,可以通过超分辨率重建模型(如Super-Resolution CNN模型)进行上采样重建当前参考帧。基于统计特性的方法,比如最近邻插值法、均值插值发或中值插值法等。
在一个实施例中,当编码段和解码端约定了固定的采样方式时,解码端可按照约定的采样方式对当前参考帧进行采样处理。
在一个实施例中,在一个实施例中,解码端可根据执行视频解码方法的设备的本地硬件信息和/或待编码视频帧的图像特征信息来确定对应于待解码帧的采样方式。
在一个实施例中,当编码端在对待编码视频帧进行编码时,将对待编码视频帧所对应的当前参考帧进行采样处理的采样方式信息添加至当前参考帧对应的编码数据中时,解码端可从相应的头信息中读取采样方式信息,并根据读取的采样方式信息确定对应于待编码视频帧所配置的采样方式。比如,当编码端将采样方式信息添加至编码数据对应的帧头部信息、视频帧组头部信息或者序列头部信息的预设位置时,解码端可从相应的帧头部信息、视频帧组头部信息或者序列头部信息的预设位置处读取采样方式信息。
S1006,按照分辨率确定方式,生成待解码视频帧对应的当前参考帧。
其中,分辨率确定方式为采样方式。当待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,按照采样方式,并根据待解码视频帧的分辨率信息,对当前参考帧进行上采样处理,得到对应的目标参考帧。
具体地,上采样处理是对图像进行放大,比如可采用内插值方法,在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。其中,待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率具体可以是:全分辨率方式下的待解码视频帧参考采用下采样方式处理的当前参考帧;或者,采用下采样方式处理的待解码视频帧参考采用下采样方式处理的当前参考帧,且待解码视频帧的下采样比例大于当前参考帧的下采样比例。
在一个实施例中,确定对应于待解码视频帧所配置的采样方式包括:根据本地硬件信息和/或待解码视频帧的图像特征信息,确定对当前参考帧进行上采样处理的采样方式。
在一个实施例中,当待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,对当前参考帧进行上采样处理。其中,对当前参考帧进行上采样处理的采样方式可以根据本地硬件信息和/或待解码视频帧的图像特征信息来确定。比如,对于处理器处理能力强的设备对应的上采样方法复杂度高,处理器处理能力弱的设备对应的上采样方法复杂度低。还比如,对于图像特征信息多且复杂的视频帧,在对当前参考帧进行上采样时可选择采样方法复杂度高的采样方法,对于图像特征信息少且简单的视频帧,在对当前参考帧进行上采样时可选择采样方法复杂度低的采样方法。或者,综合考量执行视频编码的设备的本地硬件信息和待解码视频帧的图像特征进行,以选择当前最合适的上采样方式。
在一个实施例中,当待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,对当前参考帧进行上采样处理。具体地,可以按照配置的采样方式,并根据待解码视频帧的分辨率信息,对当前参考帧进行上采样处理,以得到与待解码视频帧的分辨率一致的目标参考帧。
在一个实施例中,当待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,按照采样方式,并根据待解码视频帧的分辨率信息对当前参考帧进行下采样处理,得到对应的目标参考帧。
具体地,下采样处理是对图像进行缩小。待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率具体可以是:采用下采样方式处理的待解码视频帧参考全分辨率方式下的当前参考帧;或者,采用下采样方式处理的待解码视频帧参考采用下采样方式处理的当前参考帧,且待解码视频帧的下采样比例小于当前参考帧的下采样比例。
例如,假设待解码视频帧的分辨率为400*800像素,当前参考帧的分辨率为800*1600像素。则可以根据待解码视频帧的分辨率对当前参考帧进行下采样处理,得到对应的目标参考帧,再根据目标参考帧进行视频编码。例如,对当前参考帧的宽与高进行1/2下采样,得到目标参考帧的分辨率为400*800像素。
在一个实施例中,当待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,对当前参考帧进行下采样处理。具体地,可以根据采用下采样方式处理的待解码视频帧所对应的下采样方法,对当前参考帧进行相应的下采样处理,以得到与待解码视频帧的分辨率一致的目标参考帧。
在一个实施例中,当待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,可以不对当前参考帧进行下采样处理。直接对当前参考帧进行分像素插值处理,以得到目标参考帧。
在一个实施例中,当待解码视频帧的分辨率信息所表示的分辨率等于当前参考帧的分辨率信息所表示的分辨率时,可以不对当前参考帧进行采样处理。直接对当前参考帧进行分像素插值处理,以得到目标参考帧。
S1008,根据当前参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧。
具体地,重建视频帧是解码重建得到的视频帧。可以理解,该重建视频帧对应的分辨率信息与编码过程中的待编码视频帧的分辨率信息是对应的。如果在编码的过程中图像信息不存在损失,则重建视频帧与待编码视频帧是相同的,如果在编码的过程中图像信息存在损失,则重建视频帧与待编码视频帧的差异与损失值对应。对编码数据进行解码是在待解码视频帧对应的分辨率信息进行的。解码可以包括预测、反变换、反量化以及熵解码中的至少一个,具体根据编码的过程确定。在解码时,根据待解码视频帧的分辨率信息对当前参考帧、待解码帧的各个待解码块对应的位置信息、当前参考帧的各个参考块对应的位置信息以及运动矢量中的至少一个进行处理,其中的处理方法与编码端进行解码时的处理方法是匹配的。例如可以获取待解码视频帧对应的当前参考帧,根据待解码视频帧对应的分辨率信息对当前参考帧进行处理,得到目标参考帧,根据携带的运动矢量信息获取目标参考块,根据目标参考块得到待解码块对应的预测值,并根据编码数据中的预测残差与预测值得到重建视频帧。
在一个实施例中,解码端进行解码时,是根据待解码视频帧对应的分辨率信息进行解码的。得到当前参考帧后,可以从当前参考帧中获取与待编码视频帧的编码块对应的参考块,根据参考块对编码块进行解码。也可以根据待解码视频帧对当前参考帧进行采样处理,得到对应的目标参考帧,从目标参考帧中获取与待解码视频帧的待解码块对应的目标参考块,根据目标参考块对编码块进行解码,得到待解码视频帧对应的重建视频帧。
在一个实施例中,当编码端对位置信息进行了变换时,则在解码过程中获取得到相应的位置信息时,需要对该位置信息进行相应的变换,以保持编码端与解码端得到的目标参考块的一致性。
在一个实施例中,当编码数据中携带的运动矢量信息是目标运动矢量时,可以根据目标运动矢量单位分辨率信息与待解码视频帧对应的分辨率信息将目标运动矢量进行变换,得到在待解码视频帧对应的分辨率信息下的第一运动矢量,根据第一运动矢量得到待解码块对应的目标参考块。
在一个实施例中,当编码数据中携带的运动矢量信息是运动矢量差值时,获取当前待解码块对应的初始预测运动矢量,对各待解码块对应的运动矢量差值和预测运动矢量在相同分辨率下进行处理,得到相应待解码块所对应的、且在待解码视频帧的分辨率下的第一运动矢量,根据第一运动矢量得到待解码块对应的目标参考块。
具体地,可以将初始预测运动矢量变换为目标分辨率下的目标预测运动矢量,根据目标预测运动矢量以及运动矢量差值得到目标运动矢量,再将目标运动矢量变换到待解码视频帧的分辨率下的第一运动矢量。也可以将初始预测运动矢量变换为待解码视频帧的分辨率下的预测运动矢量,将运动矢量差值变换到待解码视频帧的分辨率下的运动矢量差值,根据待解码视频帧的分辨率下的运动矢量差值以及待解码视频帧的分辨率下的预测运动矢量得到第一运动矢量。
在一个实施例中,解码端可根据待解码视频帧对应的分辨率信息以及第一分辨率信息确定第三矢量变换参数,第一分辨率信息包括目标运动矢量单位分辨率信息或者当前参考帧的分辨率信息;根据编码数据获取待解码视频帧中各个待解码块对应的目标运动矢量;根据第三矢量变换参数以及目标运动矢量得到待解码视频帧中各个待解码块对应的目标参考块;根据目标参考块对编码数据进行解码,得到待解码视频帧对应的重建视频帧。
具体地,第三矢量变换参数用于对得到运动矢量的位置信息或者运动矢量进行变换。第三矢量参数可以是第一分辨率信息与待解码帧的分辨率信息之间的比例,第三矢量参数与第一矢量参数是对应的。当利用第三矢量变换参数对目标运动矢量进行变换时,可以将目标运动矢量变换到待解码帧对应的分辨率下,所对应的运动矢量,则第三矢量参数可以是第一矢量参数的倒数。当利用第三矢量变换参数对运动矢量对应的位置信息进行变换时,如果编码端中第一矢量变换参数用于对第一位置信息进行变换,则由于待解码块与编码块的位置信息相同,因此第三矢量变换参数与第一矢量变换参数相同。如果编码端中第一矢量变换参数用于对第二位置信息进行变换,由于根据目标运动矢量以及第一位置信息计算得到的位置值,是编码端中对根据第一矢量变换参数对第二位置信息进行变换后的位置值,因此第三矢量变换参数为第一矢量变换参数的倒数。
进一步地,当编码数据中携带目标运动矢量时,从编码数据中读取目标运动矢量。当编码数据中携带的是运动矢量差时,则可以计算得到目标预测运动矢量,根据运动矢量差以及目标预测运动矢量得到目标运动矢量。
进一步地,解码端得到第三矢量变换参数后,根据第三矢量变换参数对得到的运动矢量或者运动矢量对应的位置信息进行变换,得到目标参考块对应的位置信息,从而得到目标参考块。
进一步地,得到目标参考块后,根据目标参考块的像素值以及编码数据中携带待解码块的预测残差,得到重建视频帧各个图像块的像素值,得到重建视频帧。
在一个实施例中,根据待解码视频帧对应的分辨率信息以及第一分辨率信息确定第三矢量变换参数的步骤包括:根据待解码视频帧对应的分辨率信息和当前参考帧的分辨率信息确定第三矢量变换参数;根据第三矢量变换参数以及目标运动矢量得到待解码视频帧中各个待解码块对应的目标参考块的步骤包括:获取当前待解码块对应的第一位置信息;根据第一位置信息、第三矢量变换参数以及目标运动矢量得到当前待解码块对应的目标参考块。
具体地,可以根据第一位置信息、第三矢量变换参数以及目标运动矢量得到目标参考块对应的第二位置信息,根据第二位置信息得到目标参考块。由于编码与解码的对应性,如果编码端中第一矢量变换参数用于对第一位置信息进行变换,则由于待解码块与编码块的位置信息相同,因此第三矢量变换参数与第一矢量变换参数相同。如果编码端中第一矢量变换参数用于对第二位置信息进行变换,由于根据目标运动矢量以及第一位置信息计算得到的位置值,是编码端中对根据第一矢量变换参数对第二位置信息进行变换后的位置值,因此第三矢量变换参数为第一矢量变换参数的倒数。
例如,待解码帧的分辨率为1200*1200像素,当前参考帧的分辨率为600*600像素。第一矢量变换参数用于对第二位置信息进行变换,第一矢量变换参数为2,则第三矢量变换参数为1/2。假设第一位置信息为(6,8),目标运动矢量为(0,2),则中间位置信息为(6,8)-(0,2)=(6,6),目标参考块对应的第二位置信息为(6*1/2,6*1/2)=(3,3)。
例如,待解码帧的分辨率为1200*1200像素,当前参考帧的分辨率为600*600像素,第一矢量变换参数用于对第一位置信息进行变换,第一矢量变换参数为1/2,则第三矢量变换参数为1/2。假设第一位置信息为(6,8),则目标运动矢量为(0,1),则第二位置信息为(6*1/2,8*1/2)-(0,1)=(3,3)。
在一个实施例中,根据待解码视频帧对应的分辨率信息以及第一分辨率信息确定第三矢量变换参数的步骤包括:根据待解码视频帧对应的分辨率信息和目标运动矢量单位分辨率信息确定第三矢量变换参数;根据第三矢量变换参数以及目标运动矢量得到待解码视频帧中各个待解码块对应的目标参考块的步骤包括:根据目标运动矢量以及第三矢量变换参数得到第一运动矢量;根据第一运动矢量获取当前待解码块对应的目标参考块。
具体地,第三矢量变换参数是根据待解码视频帧对应的分辨率信息和目标运动矢量单位分辨率信息确定的,用于将目标运动矢量变换到带解码帧对应的分辨率下对应的第一运动矢量。当得到第三矢量变换参数后,可以将第三矢量变换参数以及目标运动矢量相乘,将得到的乘积作为第一运动矢量。可以理解,根据第三矢量变换参数以及目标运动矢量得到第一运动矢量这一过程与根据第一矢量变换参数以及第一运动矢量得到当前编码块对应的目标运动矢量是逆过程。例如如果编码端中,该待解码块对应的编码块第一矢量变换参数等于2。得到的第一运动矢量为(2,2),根据第一矢量变换参数与第一运动矢量为(2,2,)的乘积得到目标运动矢量为(4,4)。那么解码过程中,第三矢量变换参数为1/2,得到的目标运动矢量为(4,4),根据第三矢量变换参数1/2与目标运动矢量(4,4)的乘积得到第一运动矢量为(2,2)。
在一个实施例中,当编码数据中携带的是运动矢量差时,则根据编码数据获取待解码视频帧中各个待解码块对应的目标运动矢量的步骤包括:根据编码数据获取待解码视频帧中的当前待解码块对应的运动矢量差;获取当前待解码块对应的初始预测运动矢量;根据初始预测运动矢量对应的当前运动矢量单位分辨率信息和目标运动矢量单位分辨率信息,得到第二矢量变换系数;根据初始预测运动矢量和第二矢量变换系数得到当前解码块对应的目标预测运动矢量;根据目标预测运动矢量以及运动矢量差得到目标运动矢量。
在一个实施例中,由于解码与编码过程中待解码块与待编码块是对应的,初始预测运动矢量获取规则相同,因此当前待解码块对应的初始运动预测矢量与当前待编码块对应的初始预测运动矢量是一致的,得到目标预测运动矢量的方法可以参照编码过程中的方法,具体不再赘述。目标运动矢量是目标预测运动矢量以及运动矢量差的和。
本实施例中,能够灵活选择对应于待解码帧对应的当前参考帧的采样方式,以对当前参考帧进行相应的采样处理,进而得到目标参考帧。再根据目标参考帧对待解码帧进行解码,得到重建视频帧。由于可以灵活选择当前参考帧的采样方式,以对当前参考帧进行采样重建,调整当前参考帧分辨率,即使当前参考帧与当前待解码帧的分辨率不同,也可作为参考帧,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,进而提高了解码图像的质量。
在一个实施例中,按照采样方式,并根据待解码视频帧的分辨率信息,对当前参考帧进行采样处理,得到对应的目标参考帧的步骤包括:按照采样方式,并根据待解码视频帧的分辨率信息对当前参考帧进行采样处理,得到中间参考帧;对中间参考帧进行分像素插值处理,得到目标参考帧。
具体地,在对待解码视频帧进行解码的过程中,需要在当前参考帧中采用运动搜索技术找到与待解码视频帧中编码块相应的参考块,根据编码块相对于参考块的运动信息计算得到运动矢量,对运动矢量进行解码以告知解码端参考块对应的参考数据在当前参考帧中的位置,因而,通过对中间参考帧进行分像素插值处理得到目标参考帧,待解码视频帧就可以根据分辨率更高的目标参考帧进行运动估计,从而提高运动估计的准确度,提升解码视频的质量。
在一个实施例中,按照确定的采样方式,并根据待解码视频帧的分辨率信息对当前参考帧进行采样处理,得到中间参考帧,可直接将中间参考帧作为目标参考帧。
在一个实施例中,解码端可按照确定的采样方式,根据待解码视频帧的分辨率信息对当前参考帧进行采样处理,得到中间参考帧。对中间参考帧进行分像素插值处理,以得到目标参考帧。
在一个实施例中,编码端可在各自的编解码规则中设置根据中间参考帧进行处理得到目标参考帧时所采用的分像素插值方式。在解码时,解码端可读取配置信息,以确定对中间参考帧进行处理所对应的分像素插值方式,解码端所采用的分像素插值方式应当是与编码端保持一致。
在一个实施例中,当编码端采用自适应分辨率的编码框架对输入视频帧进行编码时,将分像素插值方式对应的分像素插值方式信息添加至输入视频帧对应的编码数据中,比如,将分像素插值方式信息添加至对应的序列头部信息、视频帧组头部信息或者帧头部信息。解码端在进行解码时,可从相应的序列头部信息、视频帧组头部信息或者帧头部信息中读取分像素插值方式信息,根据读取的分像素插值方式信息确定对中间参考帧进行分像素插值的方式,以对中间参考帧进行处理得到目标参考帧,从而可依据目标参考帧对编码数据进行解码得到重建视频帧。
待解码视频帧与待编码视频帧的分辨率是一致的,得到的目标参考帧的分辨率也是一致的,因此,根据待解码视频帧对应的分辨率信息对当前参考帧进行采样处理,得到中间参考帧,对中间参考帧进行分像素插值处理,得到目标参考帧的步骤与编码端中是一致的,本发明实施例在此不再赘述。
上述实施例中,通过对当前参考帧进行采样处理,得到中间参考帧,再对中间参考帧进行分像素插值处理,得到目标参考帧。通过对中间参考帧进行分像素插值处理,进一步提高了待解码视频帧与要参考的帧之间的图像匹配度,大大提高了运动估计的像素精度,减小预测残差,提高解码图像的质量。
在一个实施例中,按照采样方式,并根据待解码视频帧的分辨率信息,对当前参考帧进行采样处理,得到对应的目标参考帧的步骤包括:根据待解码视频帧的分辨率信息、以及当前参考帧的分辨率信息,确定对当前参考帧进行采样处理对应的采样比例;按照采样方式和采样比例,对当前参考帧进行采样处理,得到对应的目标参考帧。
具体地,解码端可获取待解码视频帧的分辨率信息,以及当前参考帧的分辨率信息。根据待解码视频帧的分辨率信息、以及当前参考帧的分辨率信息,确定对当前参考帧进行采样处理对应的采样比例。其中,对当前参考帧进行采样处理对应的采样比例应满足:对当前参考帧进行采样处理后,得到目标参考帧,目标参考帧的分辨率和待解码视频帧的分辨率保持一致。
在一个实施例中,当全分辨率方式下的待解码视频帧参考采用下采样方式处理的当前参考帧时,对当前参考帧进行上采样重建的上采样比例具体可以是采用下采样方式处理的当前参考帧所对应的下采样比例的倒数。上采样方向可以是垂直上采样、水平上采样、垂直和水平上采样中的一种。
在一个实施例中,当采用下采样方式处理的待解码视频帧参考采用下采样方式处理的当前参考帧,且待解码视频帧的下采样比例大于当前参考帧的下采样比例时,对当前参考帧进行上采样重建的上采样比例需满足通过上采样重建后的目标参考帧的分辨率和待解码视频帧的分辨率保持一致的条件。比如,全分辨率方式下的视频帧的分辨率为12M*12N,采用1/2下采样方式处理的待解码视频帧的分辨率为6M*6N,采用1/6下采样方式处理的当前参考帧的分辨率为2M*2N。此时,可对当前参考帧进行3倍上采样处理,得到目标参考帧,目标参考帧的分辨率为6M*6N。
在一个实施例中,当采用下采样方式处理的待解码视频帧参考全分辨率方式下的当前参考帧时,对当前参考帧进行下采样重建的下采样比例具体可以是采用下采样方式处理的待解码视频帧所对应的下采样比例。下采样方向可以是垂直下采样、水平下采样、垂直和水平下采样中的一种。
在一个实施例中,当采用下采样方式处理的待解码视频帧参考采用下采样方式处理的当前参考帧,且待解码视频帧的下采样比例小于当前参考帧的下采样比例时,对当前参考帧进行下采样重建的下采样比例需满足通过下采样重建后的目标参考帧的分辨率和待解码视频帧的分辨率保持一致的条件。比如,全分辨率方式下的视频帧的分辨率为12M*12N,采用1/6下采样方式处理的待解码视频帧的分辨率为2M*2N,采用1/2下采样方式处理的当前参考帧的分辨率为6M*6N。此时,可对当前参考帧进行1/3下采样处理,得到目标参考帧,目标参考帧的分辨率为2M*2N。
在一个实施例中,当编码端将采样比例信息添加至帧头部信息、视频帧组头部信息或序列头部信息中时,解码端在进行解码时,可直接从相应的位置处读取头信息中的采样比例信息。解码端根据采样比例信息确定对当前参考帧进行采样处理的采样比例。
上述实施例中,根据待解码视频帧的分辨率信息、以及当前参考帧的分辨率信息,来确定对当前参考帧进行采样处理对应的采样比例,进而根据确定的采样比例,对当前参考帧进行采样处理,可以得到合适的目标参考帧,比如与待解码视频帧的分辨率一致的目标参考帧,以方便进行后续的视频编码。
在一个实施例中,视频解码方法还包括:根据编码数据所携带的当前编码模式信息确定待解码视频帧对应的当前解码模式;根据当前解码模式,对待解码视频帧对应的重建视频帧进行处理得到解码视频帧。
具体地,与编码数据对应的每个编码视频帧可携带当前编码模式信息,解码端可根据当前编码模式信息确定当前解码视频帧对应的当前解码模式。解码端可根据当前解码模式,对重建视频帧进行处理得到解码视频帧。
在一个实施例中,解码端可从编码数据的头信息中获取编码数据所携带的当前编码模式信息,根据当前编码模式信息确定待解码视频帧对应的当前解码模式。解码端在得到待解码视频帧对应的重建视频帧之后,可按照当前解码模式对重建视频帧进行处理,得到解码视频帧。头信息具体可以是编码数据的帧头部信息,表示当前编码数据对应的输入视频帧在被编码时所采用的处理方式。比如,当编码数据的帧头部信息中用于确定处理方式的标识位Frame_Resolution_Flag为0时,表示输入视频帧在被编码时均采用全分辨率处理方式,则解码端对编码数据进行解码得到的重建视频帧即为待解码视频帧对应的解码视频帧;在Frame_Resolution_Flag为1时,表示输入视频帧在被编码时采用下采样处理方式,解码端可按照与该下采样处理方式相匹配的处理方式对得到的重建视频帧进一步处理,得到解码视频帧。进一步处理比如是上采样处理。
在一个实施例中,可从编码数据的头信息中确定待解码视频帧对应的解码框架。具体地,解码端可以从编码数据对应的序列头部信息中,获取当前编码数据对应的输入视频帧序列中每个输入视频帧在被编码时所采用的编码框架,从而确定与之匹配的待解码视频帧的解码框架。比如,当编码数据的序列头部信息中用于确定所采用编码框架的标识位Sequence_Mix_Flag为0时,表示输入视频帧序列中各个输入视频帧在被编码时均采用恒定分辨率的编码框架,则解码端可采用恒定分辨率的解码框架对编码数据进行解码得到待解码视频帧对应的重建视频帧;在Sequence_Mix_Flag为1时,表示输入视频帧序列中各个输入视频帧在被编码时均采用自适应分辨率的编码框架,解码端就可采用自适应分辨率的解码框架对编码数据进行解码得到重建视频帧序列。
在一个实施例中,当解码端采用自适应分辨率的解码框架对编码数据进行解码时,还可根据决策算法确定当前待解码视频帧对应的处理方式。该决策算法应当与编码端所采用的对输入视频帧进行编码时所采用的决策算法相匹配。
在一个实施例中,当解码端从编码数据的头信息中确定当前编码数据是通过下采样处理方式进行编码得到的,则解码端还可从头信息中获取所采用的下采样比例信息或下采样方法信息,并采用与下采样比例信息或下采样方法信息匹配的上采样比例、上采样方法对得到的重建视频帧进行上采样处理,得到解码视频帧。比如,下采样比例信息对应的采样比例为1/2,则解码端需要按照2倍上采样比例、以及与下采样方法信息匹配的上采样方法对重建视频帧进行上采样处理,得到解码视频帧。解码端可以从序列头部信息、视频帧组头部信息以及帧头部信息中的任一个获取到当前编码数据对应的下采样比例信息或下采样方法信息。
上述实施例中,可自适应的确定待解码视频帧的当前解码模式,从而能够针对不同场景,自适应的选择合适的分辨率进行解码。根据与当前编码模式对应的当前解码模式,对待解码视频帧对应的重建帧进行处理得到解码视频帧,可以针对采用自适应变化模式编码的码流,自适应调整参考帧分辨率,进行解码,自适应变化模式编码的码流是针对不同场景选择合适的分辨率进行编码的码流,从而提供对高质量图像质量码流的解码支持。
如图11所示,在一个实施例中,S1008具体还包括得到重建视频帧的步骤,该步骤具体包括以下内容:
S1102,获取待解码视频帧和当前参考帧的分辨率信息。
具体地,分辨率信息为表示分辨率大小的信息。服务器在获取待编码视频帧和当前参考帧后,分别提取待编码视频帧的分辨率信息和当前参考帧的分辨率信息。
S1104,根据分辨率信息确定当前参考帧的采样方式。
其中,采样方式是对视频帧进行采样处理的方式,具体可以包括采样比例和/或采样方法。在本实施例中,具体是对当前参考帧进行采样处理的采样方式。其中,对当前参考帧进行采样处理包括对当前参考帧进行上采样处理或下采样处理。
具体地,服务器将待解码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率信息所表示的分辨率进行比较,当待解码视频帧的分辨率大于当前参考帧的分辨率时,确定当前参考帧的采样方式为下采样处理方式;当待解码视频帧的分辨率小于当前参考帧的分辨率时,确定当前参考帧的采样方式为上采样处理方式。
具体地,采样方法有多种,比如bilinear Interpolation(双线性插值)、bicubicinterpolation(双三次插值法)、基于CNN(Convolutional Neural Network,卷积神经网络)的算法、或基于统计特性的方法等。基于CNN的算法,比如,当需对当前参考帧进行上采样处理时,可以通过超分辨率重建模型(如Super-Resolution CNN模型)进行上采样重建当前参考帧。基于统计特性的方法,比如最近邻插值法、均值插值发或中值插值法等。
在一个实施例中,编码端和解码端可约定固定的采样方法,并根据约定的采样方法对当前参考帧进行采样处理。在一个实施例中,编码端还可从预设的多种采样方法中,选择合适的采样方法作为对应于当前的待编码视频帧的采样方式。
在一个实施例中,编码端或解码端可根据执行视频编码方法的设备的本地硬件信息和/或待编码视频帧的图像特征信息来确定对应于待编码视频帧的采样方式。其中,本地硬件信息是执行视频编码/视频解码方法的计算机设备的硬件相关的信息,具体可以包括CPU(Central Processing Unit,中央处理器)、内存、主板或驱动器等的相关信息。
在一个实施例中,对当前参考帧进行采样的方法可以根据执行视频编码或视频解码的方法的设备如终端或者服务器的处理器能力得到。对于处理器处理能力强的设备对应的采样方法复杂度高,处理器处理能力弱的设备对应的采样方法复杂度低。可以设置处理器处理能力与采样方法的对应关系,当需要进行编码时,获取处理器处理能力,根据处理器处理能力得到对应的采样方法。例如,可以设置16位处理器对应的采样比例为1/8,32位处理器对应的下采样比例为1/4。例如,bicubic interpolation双三次插值比bilinearInterpolation双线性插值的复杂度高,因此可以设置16位处理器对应的下采样方法为bilinear Interpolation双线性插值,32位处理器对应的下采样方法bicubicinterpolation双三次插值。
在一个实施例中,对当前参考帧进行采样的方法还可以根据待编码视频帧或待解码视频帧的图像特征信息来确定。其中,图像特征信息是指与视频帧的图像内容相关的信息,包括图像的内容、图像运动信息、图像纹理信息,如边缘等。图像特征信息反映了视频帧对应的场景、细节复杂度、运动剧烈程度等。对于图像特征信息多且复杂的视频帧,在对当前参考帧进行采样时可选择采样方法复杂度高的采样方法,对于图像特征信息少且简单的视频帧,在对当前参考帧进行采样时可选择采样方法复杂度低的采样方法。可以设置待编码视频帧的内容与采样方法的对应关系,当对视频帧进行编码时,可预先确定待编码视频帧的图像特征信息,根据待编码视频帧的图像特征信息得到对应的采样方法。
在一个实施例中,确定对当前参考帧进行采样处理的采样方式时,还可以综合考量编码端或解码端的硬件信息和图像特征信息,以选择当前最合适的采样方式。
S1106,按照采样方式和待解码视频帧的分辨率信息,对当前参考帧进行采样处理,得到目标参考帧。
具体地,服务器在确定当前参考帧的采样方式后,按照确定的采样方式对当前参考帧进行采样处理,使得采样处理得到的目标参考帧的分辨率与待编码视频帧的分辨率信息表示的分辨率相同。
在一个实施例中,具体地,上采样处理是对图像进行放大,比如可采用内插值方法,在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。其中,待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率具体可以是:全分辨率方式下的待编码视频帧参考采用下采样方式处理的当前参考帧;或者,采用下采样方式处理的待编码视频帧参考采用下采样方式处理的当前参考帧,且待编码视频帧的下采样比例大于当前参考帧的下采样比例。
在一个实施例中,确定对应于待编码视频帧所配置的采样方式包括:根据本地硬件信息和/或待编码视频帧的图像特征信息,确定对当前参考帧进行上采样处理的采样方式。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,对当前参考帧进行上采样处理。其中,对当前参考帧进行上采样处理的采样方式可以根据本地硬件信息和/或待编码视频帧的图像特征信息来确定。比如,对于处理器处理能力强的设备对应的上采样方法复杂度高,处理器处理能力弱的设备对应的上采样方法复杂度低。还比如,对于图像特征信息多且复杂的视频帧,在对当前参考帧进行上采样时可选择采样方法复杂度高的采样方法,对于图像特征信息少且简单的视频帧,在对当前参考帧进行上采样时可选择采样方法复杂度低的采样方法。或者,综合考量执行视频编码的设备的本地硬件信息和待编码视频帧的图像特征进行,以选择当前最合适的上采样方式。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,对当前参考帧进行上采样处理。具体地,可以按照配置的采样方式,并根据待编码视频帧的分辨率信息,对当前参考帧进行上采样处理,以得到与待编码视频帧的分辨率一致的目标参考帧。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,按照采样方式,并根据待编码视频帧的分辨率信息对当前参考帧进行下采样处理,得到对应的目标参考帧。
具体地,下采样处理是对图像进行缩小。比如,对于一幅图像I尺寸为M*N,对其进行1/a倍下采样,即得到(M/a)*(N/a)尺寸的分辨率图像。其中,a为M和N的公约数。如果是矩阵形式的图像,下采样处理就是把原始图像s*s窗口内的图像变成一个像素,这个像素点的值就是窗口内所有像素的均值。待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率具体可以是:采用下采样方式处理的待编码视频帧参考全分辨率方式下的当前参考帧;或者,采用下采样方式处理的待编码视频帧参考采用下采样方式处理的当前参考帧,且待编码视频帧的下采样比例小于当前参考帧的下采样比例。
例如,假设待编码视频帧的分辨率为400*800像素,当前参考帧的分辨率为800*1600像素。则可以根据待编码视频帧的分辨率对当前参考帧进行下采样处理,得到对应的目标参考帧,再根据目标参考帧进行视频编码。例如,对当前参考帧的宽与高进行1/2下采样,得到目标参考帧的分辨率为400*800像素。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,对当前参考帧进行下采样处理。具体地,可以根据采用下采样方式处理的待编码视频帧所对应的下采样方法,对当前参考帧进行相应的下采样处理,以得到与待编码视频帧的分辨率一致的目标参考帧。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,可以不对当前参考帧进行下采样处理。直接对当前参考帧进行分像素插值处理,以得到目标参考帧。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率等于当前参考帧的分辨率信息所表示的分辨率时,可以不对当前参考帧进行采样处理。直接对当前参考帧进行分像素插值处理,以得到目标参考帧。
在一个实施例中,按照采样方式,并根据待编码视频帧的分辨率信息,对当前参考帧进行采样处理,得到对应的目标参考帧的步骤包括:根据待编码视频帧的分辨率信息、以及当前参考帧的分辨率信息,确定对当前参考帧进行采样处理对应的采样比例;按照采样方式和采样比例,对当前参考帧进行采样处理,得到对应的目标参考帧。
具体地,编码端可获取待编码视频帧的分辨率信息,以及当前参考帧的分辨率信息。根据待编码视频帧的分辨率信息、以及当前参考帧的分辨率信息,确定对当前参考帧进行采样处理对应的采样比例。其中,对当前参考帧进行采样处理对应的采样比例应满足:对当前参考帧进行采样处理后,得到目标参考帧,目标参考帧的分辨率和待编码视频帧的分辨率保持一致。
在一个实施例中,当全分辨率方式下的待编码视频帧参考采用下采样方式处理的当前参考帧时,对当前参考帧进行上采样重建的上采样比例具体可以是采用下采样方式处理的当前参考帧所对应的下采样比例的倒数。上采样方向可以是垂直上采样、水平上采样、垂直和水平上采样中的一种。
在一个实施例中,当采用下采样方式处理的待编码视频帧参考采用下采样方式处理的当前参考帧,且待编码视频帧的下采样比例大于当前参考帧的下采样比例时,对当前参考帧进行上采样重建的上采样比例需满足通过上采样重建后的目标参考帧的分辨率和待编码视频帧的分辨率保持一致的条件。比如,全分辨率方式下的视频帧的分辨率为12M*12N,采用1/2下采样方式处理的待编码视频帧的分辨率为6M*6N,采用1/6下采样方式处理的当前参考帧的分辨率为2M*2N。此时,可对当前参考帧进行3倍上采样处理,得到目标参考帧,目标参考帧的分辨率为6M*6N。
在一个实施例中,当采用下采样方式处理的待编码视频帧参考全分辨率方式下的当前参考帧时,对当前参考帧进行下采样重建的下采样比例具体可以是采用下采样方式处理的待编码视频帧所对应的下采样比例。下采样方向可以是垂直下采样、水平下采样、垂直和水平下采样中的一种。
在一个实施例中,当采用下采样方式处理的待编码视频帧参考采用下采样方式处理的当前参考帧,且待编码视频帧的下采样比例小于当前参考帧的下采样比例时,对当前参考帧进行下采样重建的下采样比例需满足通过下采样重建后的目标参考帧的分辨率和待编码视频帧的分辨率保持一致的条件。比如,全分辨率方式下的视频帧的分辨率为12M*12N,采用1/6下采样方式处理的待编码视频帧的分辨率为2M*2N,采用1/2下采样方式处理的当前参考帧的分辨率为6M*6N。此时,可对当前参考帧进行1/3下采样处理,得到目标参考帧,目标参考帧的分辨率为2M*2N。
在一个实施例中,编码端还可以将采样比例对应的采样比例信息添加至输入视频帧对应的编码数据中,解码端在进行解码处理时,可读取编码数据中相应的采样比例信息,以确定对当前参考帧进行采样处理的采样比例。
具体地,采样比例信息用于描述对当前参考帧进行采样处理时的采样比例,可以在编码数据中加入描述采样比例信息的标志位Sampling_Scale。具体的标志位的值可以根据需要设置。采样比例信息在编码数据的添加位置可以是帧头部信息、视频帧组头部信息或序列头部信息中的任一个,采样比例信息在编码数据的添加位置可以根据采样处理的作用范围确定。采样比例信息可以根据待编码视频帧的分辨率信息和当前参考帧的分辨率信息确定。
上述实施例中,根据待编码视频帧的分辨率信息、以及当前参考帧的分辨率信息,来确定对当前参考帧进行采样处理对应的采样比例,进而根据确定的采样比例,对当前参考帧进行采样处理,可以得到合适的目标参考帧,比如与待编码视频帧的分辨率一致的目标参考帧,以方便进行后续的视频编码。
在一个实施例中,S1106具体还包括:按照采样方式,并根据待编码视频帧的分辨率信息对当前参考帧进行采样处理,得到中间参考帧;对中间参考帧进行分像素插值处理,得到目标参考帧。
其中,分像素插值是通过中间参考帧中整像素的参考数据插值得到分像素级别的参考数据的过程。
按照确定的采样方式,并根据待编码视频帧的分辨率信息对当前参考帧进行采样处理,得到中间参考帧,可直接将中间参考帧作为目标参考帧。
在一个实施例中,编码端可按照确定的采样方式,根据待编码视频帧的分辨率信息对当前参考帧进行采样处理,得到中间参考帧。对中间参考帧进行分像素插值处理,以得到目标参考帧。
在一个实施例中,编码端可在各自的编解码规则中设置根据中间参考帧进行处理得到目标参考帧时所采用的分像素插值方式。在编、解码时就根据配置确定对中间参考帧进行处理所对应的分像素插值方式。其中,编码端和解码端所采用的分像素插值方式应当是一致的。
在一个实施例中,当采用自适应分辨率的编码框架对输入视频帧进行编码时,还可将分像素插值方式对应的分像素插值方式信息添加至输入视频帧对应的编码数据中。分像素插值方式信息在编码数据的添加位置可以是对应的序列头部信息、视频帧组头部信息以及帧头部信息中的任一个,分像素插值方式信息在编码数据的添加位置可以根据分像素插值方式对应的作用范围确定。可将分像素插值方式信息添加至输入视频帧对应的编码数据的帧头部信息中,表示输入视频帧在被编码时对应的当前参考帧采用分像素插值方式信息对应的分像素插值方式进行分像素插值处理。例如,当编码数据的帧头部信息中用于确定分像素插值方式的标识位Pixel_Sourse_Interpolation为0时,表示输入视频帧对应的当前参考帧采用直接进行分像素插值处理,在Pixel_Sourse_Interpolation为1时,表示输入视频帧对应的当前参考帧采用采样处理后再分像素插值处理。解码端就可按照编码数据中标识位所表示的分像素插值方式对当前参考帧进行分像素插值处理得到目标参考帧,从而可依据目标参考帧对编码数据进行解码得到重建视频帧。
上述实施例中,通过对当前参考帧进行采样处理,得到中间参考帧,再对中间参考帧进行分像素插值处理,得到目标参考帧。通过对中间参考帧进行分像素插值处理,进一步提高了待编码视频帧与要参考的帧之间的图像匹配度,大大提高了运动估计的像素精度,减小预测残差,提高编码图像的质量。
在一个实施例中,按照采样方式,并根据待编码视频帧的分辨率信息对当前参考帧进行采样处理,得到对应的目标参考帧的步骤包括:按照采样方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行采样处理,得到对应的目标参考帧。
其中,运动估计像素精度是待编码视频帧中的编码块对应的运动矢量的单位长度。编码端在对待编码视频帧中的编码块进行编码时,可按照获取的运动估计像素精度将编码块对应的运动矢量的单位长度进行细化,这样得到的运动向量更为精细和准确,因而,需要按照获取的运动估计像素精度对当前参考帧进行采样处理得到目标参考帧,再依据目标参考帧计算待编码视频帧中各编码块对应的第一运动向量,基于该第一运动向量进行编码得到待编码视频帧对应的编码数据。
具体地,可获取当前参考帧的分辨率信息,根据待编码视频帧采用的分像素插值方式,以及待编码视频帧的分辨率信息、当前参考帧的分辨率信息以及待编码视频帧对应的运动估计像素精度确定对当前参考帧进行何种采样处理方法、采样处理对应的采样比例以及像素插值精度。运动估计像素精度的大小可以根据需要设置,例如一般为1/2像素精度、1/4像素精度或1/8像素精度。
在一个实施例中,可根据待编码视频帧的图像特征信息为该待编码视频帧配置相应的运动估计像素精度,图像特征信息比如该待编码视频帧的大小、纹理信息、运动速度等,可综合多种图像特征信息确定待编码视频帧对应的运动估计像素精度。待编码视频帧所携带的图像数据越复杂,图像信息越丰富,相应的运动估计像素精度更高。比如,在对P帧进行帧间预测时,可采用较高的运动估计像素精度计算P帧中各编码块对应的运动矢量,而在对B帧进行帧间预测时,可采用较低的运动估计像素精度计算B帧中各编码块对应的运动矢量。
在一个实施例中,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行采样处理,得到对应的目标参考帧包括:根据待编码视频帧的分辨率信息以及运动估计像素精度计算得到像素插值精度;根据像素插值精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
具体地,像素插值精度是对当前参考帧进行分像素插值对应的像素精度。当分像素插值方式为直接分像素插值方式,表示可对当前参考帧直接进行分像素插值处理得到目标参考帧。因此可以根据待编码视频帧的分辨率信息以及运动估计像素精度计算得到像素插值精度。可以计算当前参考帧的分辨率信息与待编码视频帧的分辨率信息的比例,根据比例以及运动估计像素精度得到像素插值精度。
在一个实施例中,当当前参考帧的分辨率大于待编码视频帧的分辨率时,当前参考帧中部分分像素点的数据可直接复用,可作为与运动估计像素精度相应的分像素点对应的数据。也就是说,当当前参考帧的分辨率大于待编码视频帧的分辨率时,可不对当前参考帧进行下采样处理,直接进行分像素插值处理。比如,待编码视频帧的分辨率为M*N,当前参考帧的分辨率为2M*2N,若运动估计像素精度为1/2,像素插值精度为1,那么当前参考帧可直接作为目标参考帧;若运动估计像素精度为1/4,那么计算得到像素插值精度为1/2,可对当前参考帧以1/2像素插值精度进行分像素插值处理得到目标参考帧。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率相同时,则根据运动估计像素精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
具体地,通过全分辨处理方式对输入视频帧进行处理得到待编码视频帧,且当前参考帧的分辨率也是原分辨时,则待编码视频帧的分辨率和当前参考帧的分辨率相同。或者,通过下采样方式对输入视频帧进行处理得到待编码视频帧,且当前参考帧帧也是采用相同采用比例的下采样方式编码得到的编码数据重建得到的,则待编码视频帧的分辨率和当前参考帧的分辨率相同。那么,就可以直接基于运动估计像素精度直接对当前参考帧进行分像素插值处理得到目标参考帧,并且,分像素插值处理对应的像素插值精度和运动估计像素精度相同。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,则根据待编码视频帧的分辨率信息对当前参考帧进行下采样处理,得到中间参考帧,然后基于待编码视频帧对应的运动估计像素精度对中间参考帧进行分像素插值处理,得到目标参考帧。举例说明:通过对分辨率为2M*2N的输入视频帧按照下采样处理方式进行下采样处理得到分辨率为M*N的待编码视频帧,而当前参考帧的分辨率为2M*2N(全分辨率处理方式),则对当前参考帧按照1/2的采样比例进行下采样处理得到分辨率为M*N的中间参考帧,若获取的待编码视频帧对应的运动估计像素精度为1/2,再对中间参考帧按照与运动估计像素精度相同的像素插值精度,即1/2分像素插值精度进行分像素插值处理,得到目标参考帧;若获取的待编码视频帧对应的运动估计像素精度为1/4,则对中间参考帧按照1/4分像素插值精度进行分像素插值处理,得到目标参考帧。
在一个实施例中,当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,则根据待编码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧,然后基于待编码视频帧对应的运动估计像素精度对中间参考帧进行分像素插值处理,得到目标参考帧。比如,待编码视频帧的分辨率为2M*2N,当前参考帧的分辨率为1/2M*1/2N,则需要按照采样比例为4对当前参考帧进行上采样处理得到与待编码视频帧分辨率相同的中间参考帧,若运动估计像素精度为1/2,则继续对得到的中间参考帧按照1/2像素插值精度进行分像素插值处理,得到目标参考帧;若运动估计像素精度为1/4,则继续对得到的中间参考帧按照1/4像素插值精度进行分像素插值处理,得到目标参考帧。
S1108,根据目标参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧。
具体地,重建视频帧是解码重建得到的视频帧。可以理解,该重建视频帧对应的分辨率信息与编码过程中的待编码视频帧的分辨率信息是对应的。如果在编码的过程中图像信息不存在损失,则重建视频帧与待编码视频帧是相同的,如果在编码的过程中图像信息存在损失,则重建视频帧与待编码视频帧的差异与损失值对应。对编码数据进行解码是在待解码视频帧对应的分辨率信息进行的。解码可以包括预测、反变换、反量化以及熵解码中的至少一个,具体根据编码的过程确定。在解码时,根据待解码视频帧的分辨率信息对当前参考帧、待解码帧的各个待解码块对应的位置信息、当前参考帧的各个参考块对应的位置信息以及运动矢量中的至少一个进行处理,其中的处理方法与编码端进行解码时的处理方法是匹配的。例如可以获取待解码视频帧对应的当前参考帧,根据待解码视频帧对应的分辨率信息对当前参考帧进行处理,得到目标参考帧,根据携带的运动矢量信息获取目标参考块,根据目标参考块得到待解码块对应的预测值,并根据编码数据中的预测残差与预测值得到重建视频帧。
在一个实施例中,解码端进行解码时,是根据待解码视频帧对应的分辨率信息进行解码的。得到当前参考帧后,可以从当前参考帧中获取与待编码视频帧的编码块对应的参考块,根据参考块对编码块进行解码。也可以根据待解码视频帧对当前参考帧进行采样处理,得到对应的目标参考帧,从目标参考帧中获取与待解码视频帧的待解码块对应的目标参考块,根据目标参考块对编码块进行解码,得到待解码视频帧对应的重建视频帧。
在一个实施例中,当编码端对位置信息进行了变换时,则在解码过程中获取得到相应的位置信息时,需要对该位置信息进行相应的变换,以保持编码端与解码端得到的目标参考块的一致性。
在一个实施例中,当编码数据中携带的运动矢量信息是目标运动矢量时,可以根据目标运动矢量单位分辨率信息与待解码视频帧对应的分辨率信息将目标运动矢量进行变换,得到在待解码视频帧对应的分辨率信息下的第一运动矢量,根据第一运动矢量得到待解码块对应的目标参考块。
在一个实施例中,当编码数据中携带的运动矢量信息是运动矢量差值时,获取当前待解码块对应的初始预测运动矢量,对各待解码块对应的运动矢量差值和预测运动矢量在相同分辨率下进行处理,得到相应待解码块所对应的、且在待解码视频帧的分辨率下的第一运动矢量,根据第一运动矢量得到待解码块对应的目标参考块。
具体地,可以将初始预测运动矢量变换为目标分辨率下的目标预测运动矢量,根据目标预测运动矢量以及运动矢量差值得到目标运动矢量,再将目标运动矢量变换到待解码视频帧的分辨率下的第一运动矢量。也可以将初始预测运动矢量变换为待解码视频帧的分辨率下的预测运动矢量,将运动矢量差值变换到待解码视频帧的分辨率下的运动矢量差值,根据待解码视频帧的分辨率下的运动矢量差值以及待解码视频帧的分辨率下的预测运动矢量得到第一运动矢量。
在一个实施例中,解码端可根据待解码视频帧对应的分辨率信息以及第一分辨率信息确定第三矢量变换参数,第一分辨率信息包括目标运动矢量单位分辨率信息或者当前参考帧的分辨率信息;根据编码数据获取待解码视频帧中各个待解码块对应的目标运动矢量;根据第三矢量变换参数以及目标运动矢量得到待解码视频帧中各个待解码块对应的目标参考块;根据目标参考块对编码数据进行解码,得到待解码视频帧对应的重建视频帧。
具体地,第三矢量变换参数用于对得到运动矢量的位置信息或者运动矢量进行变换。第三矢量参数可以是第一分辨率信息与待解码帧的分辨率信息之间的比例,第三矢量参数与第一矢量参数是对应的。当利用第三矢量变换参数对目标运动矢量进行变换时,可以将目标运动矢量变换到待解码帧对应的分辨率下,所对应的运动矢量,则第三矢量参数可以是第一矢量参数的倒数。当利用第三矢量变换参数对运动矢量对应的位置信息进行变换时,如果编码端中第一矢量变换参数用于对第一位置信息进行变换,则由于待解码块与编码块的位置信息相同,因此第三矢量变换参数与第一矢量变换参数相同。如果编码端中第一矢量变换参数用于对第二位置信息进行变换,由于根据目标运动矢量以及第一位置信息计算得到的位置值,是编码端中对根据第一矢量变换参数对第二位置信息进行变换后的位置值,因此第三矢量变换参数为第一矢量变换参数的倒数。
进一步地,当编码数据中携带目标运动矢量时,从编码数据中读取目标运动矢量。当编码数据中携带的是运动矢量差时,则可以计算得到目标预测运动矢量,根据运动矢量差以及目标预测运动矢量得到目标运动矢量。
进一步地,解码端得到第三矢量变换参数后,根据第三矢量变换参数对得到的运动矢量或者运动矢量对应的位置信息进行变换,得到目标参考块对应的位置信息,从而得到目标参考块。
进一步地,得到目标参考块后,根据目标参考块的像素值以及编码数据中携带待解码块的预测残差,得到重建视频帧各个图像块的像素值,得到重建视频帧。
在一个实施例中,根据待解码视频帧对应的分辨率信息以及第一分辨率信息确定第三矢量变换参数的步骤包括:根据待解码视频帧对应的分辨率信息和当前参考帧的分辨率信息确定第三矢量变换参数;根据第三矢量变换参数以及目标运动矢量得到待解码视频帧中各个待解码块对应的目标参考块的步骤包括:获取当前待解码块对应的第一位置信息;根据第一位置信息、第三矢量变换参数以及目标运动矢量得到当前待解码块对应的目标参考块。
具体地,可以根据第一位置信息、第三矢量变换参数以及目标运动矢量得到目标参考块对应的第二位置信息,根据第二位置信息得到目标参考块。由于编码与解码的对应性,如果编码端中第一矢量变换参数用于对第一位置信息进行变换,则由于待解码块与编码块的位置信息相同,因此第三矢量变换参数与第一矢量变换参数相同。如果编码端中第一矢量变换参数用于对第二位置信息进行变换,由于根据目标运动矢量以及第一位置信息计算得到的位置值,是编码端中对根据第一矢量变换参数对第二位置信息进行变换后的位置值,因此第三矢量变换参数为第一矢量变换参数的倒数。
例如,待解码帧的分辨率为1200*1200像素,当前参考帧的分辨率为600*600像素。第一矢量变换参数用于对第二位置信息进行变换,第一矢量变换参数为2,则第三矢量变换参数为1/2。假设第一位置信息为(6,8),目标运动矢量为(0,2),则中间位置信息为(6,8)-(0,2)=(6,6),目标参考块对应的第二位置信息为(6*1/2,6*1/2)=(3,3)。
例如,待解码帧的分辨率为1200*1200像素,当前参考帧的分辨率为600*600像素,第一矢量变换参数用于对第一位置信息进行变换,第一矢量变换参数为1/2,则第三矢量变换参数为1/2。假设第一位置信息为(6,8),则目标运动矢量为(0,1),则第二位置信息为(6*1/2,8*1/2)-(0,1)=(3,3)。
在一个实施例中,根据待解码视频帧对应的分辨率信息以及第一分辨率信息确定第三矢量变换参数的步骤包括:根据待解码视频帧对应的分辨率信息和目标运动矢量单位分辨率信息确定第三矢量变换参数;根据第三矢量变换参数以及目标运动矢量得到待解码视频帧中各个待解码块对应的目标参考块的步骤包括:根据目标运动矢量以及第三矢量变换参数得到第一运动矢量;根据第一运动矢量获取当前待解码块对应的目标参考块。
具体地,第三矢量变换参数是根据待解码视频帧对应的分辨率信息和目标运动矢量单位分辨率信息确定的,用于将目标运动矢量变换到带解码帧对应的分辨率下对应的第一运动矢量。当得到第三矢量变换参数后,可以将第三矢量变换参数以及目标运动矢量相乘,将得到的乘积作为第一运动矢量。可以理解,根据第三矢量变换参数以及目标运动矢量得到第一运动矢量这一过程与根据第一矢量变换参数以及第一运动矢量得到当前编码块对应的目标运动矢量是逆过程。例如如果编码端中,该待解码块对应的编码块第一矢量变换参数等于2。得到的第一运动矢量为(2,2),根据第一矢量变换参数与第一运动矢量为(2,2,)的乘积得到目标运动矢量为(4,4)。那么解码过程中,第三矢量变换参数为1/2,得到的目标运动矢量为(4,4),根据第三矢量变换参数1/2与目标运动矢量(4,4)的乘积得到第一运动矢量为(2,2)。
在一个实施例中,当编码数据中携带的是运动矢量差时,则根据编码数据获取待解码视频帧中各个待解码块对应的目标运动矢量的步骤包括:根据编码数据获取待解码视频帧中的当前待解码块对应的运动矢量差;获取当前待解码块对应的初始预测运动矢量;根据初始预测运动矢量对应的当前运动矢量单位分辨率信息和目标运动矢量单位分辨率信息,得到第二矢量变换系数;根据初始预测运动矢量和第二矢量变换系数得到当前解码块对应的目标预测运动矢量;根据目标预测运动矢量以及运动矢量差得到目标运动矢量。
在一个实施例中,由于解码与编码过程中待解码块与待编码块是对应的,初始预测运动矢量获取规则相同,因此当前待解码块对应的初始运动预测矢量与当前待编码块对应的初始预测运动矢量是一致的,得到目标预测运动矢量的方法可以参照编码过程中的方法,具体不再赘述。目标运动矢量是目标预测运动矢量以及运动矢量差的和。
本实施例中,能够灵活选择对应于待解码帧对应的当前参考帧的采样方式,以对当前参考帧进行相应的采样处理,进而得到目标参考帧。再根据目标参考帧对待解码帧进行解码,得到重建视频帧。由于可以灵活选择当前参考帧的采样方式,以对当前参考帧进行采样重建,调整当前参考帧分辨率,即使当前参考帧与当前待解码帧的分辨率不同,也可作为参考帧,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,进而提高了解码图像的质量。
在一个实施例中,S1108之后具体还包括获得解码视频帧序列的步骤,该步骤具体包括以下内容:根据表示分辨率关系的标识信息,确定重建视频帧采样方式;按照重建视频帧采样方式,对重建视频帧进行采样处理,得到解码视频帧;根据解码视频帧得到解码视频帧序列。
具体地,分辨率关系的标识信息为标识待编码视频帧与参考帧之间的分辨率的对应关系。解码端根据分辨率关系的标识信息确定待编码视频帧与参考帧之间的分辨率关系。解码段从分辨率关系中提取到待编码视频帧的分辨率信息,根据提取到的待编码视频帧的分辨率信息确定重建视频帧采样方式,对重建视频帧进行采样处理,得到解码视频帧。解码段按照解码视频帧中的时间戳对解码视频帧进行排列得到解码视频帧序列。
在一个实施例中,解码端从分辨率关系中提取到待编码视频帧分辨率信息。当提取到的待编码视频帧分辨率信息为下采样待编码视频帧时,则解码端确定重建视频帧采样方式为上采样处理方式,根据上采样处理方式对重建视频帧进行上采样处理,得到解码视频帧。
在一个实施例中,当提取到的待编码视频帧分辨率信息为原分辨率待编码视频帧时,则解码段直接以重建视频帧为解码视频帧。
在一个实施例中,按照重建视频帧采样方式,对重建视频帧进行采样处理,得到解码视频帧包括:确定分辨率关系的适用范围;适用范围包括帧序列范围和帧组范围;按照重建视频帧采样方式,对适用范围对应的重建视频帧进行采样处理,得到适用范围对应的解码视频帧。
其中,分辨率关系的适用范围为适用分辨率关系的视频帧范围,适用可以为帧序列范围或帧组范围。
具体地,当分辨率关系的适用范围为帧序列范围,确定帧序列范围内的重建视频帧,按照重建视频帧采样方式,对帧序列范围内的重建视频帧进行采样处理,得到帧序列范围内的解码视频帧,根据解码视频帧生成解码视频帧序列。
在一个实施例中,适用范围为帧组范围;按照重建视频帧采样方式,对适用范围对应的重建视频帧进行采样处理,得到适用范围对应的解码视频帧包括:按照重建视频帧采样方式,对帧组范围对应的重建视频帧进行采样处理,得到帧组范围对应解码视频帧。根据解码视频帧得到解码视频帧序列包括:根据帧组范围对应的解码视频帧生成解码视频帧组;根据生成的解码视频帧组构成解码视频帧序列。
具体地,当分辨率关系的适用范围为帧组范围,确定帧组范围内的重建视频帧,按照重建视频帧采样方式,对帧组范围内的重建视频帧进行采样处理,得到帧组范围内的解码视频帧,从而得到各帧组范围内的解码视频帧,根据各帧组范围内的解码视频帧构建解码视频帧序列。不同的帧组范围内的重建视频帧对应的重建视频帧采样方式可以不同。重建视频帧采样方式包括重建视频帧上采样方式和重建视频帧下采样方式。
本实施例中,根据分辨率关系的适用范围,按照重建视频帧采样方式对适用范围内的重建视频帧进行采样处理,得到解码视频帧,从而根据解码视频帧得到视频帧序列,提高了分辨率关系的适用范围内解码视频帧的解码质量。
以下以对视频序列A对应的编码数据进行解码为例,对视频解码方法进行说明。其中,假设输入视频帧a、b、c在解码端对应的待解码视频帧的名称分别为e、f以及g。
1、接收终端获取视频序列A对应的编码数据,从编码数据对应的序列头信息中获取得到目标视频序列编码模式为混合分辨率编码模式,因此,利用混合分辨率解码框架对编码数据进行解码。
2、混合分辨率解码框架的分辨率信息获取单元获取第一个待解码视频帧e对应的分辨率信息,可以理解,e对应的编码数据为对a1进行编码得到的数据。对e进行帧内解码,得到重建视频帧e1,由于e对应的分辨率信息为1/2,因此,可以对重建视频帧e1进行采样比例为2的上采样处理,得到解码视频帧e2。
3、混合分辨率解码框架的分辨率信息获取单元获取第二个待解码视频帧f对应的分辨率信息,可以理解,f对应的编码数据为对b1进行编码得到的数据。对f进行帧间解码,得到重建视频帧f1,由于f对应的分辨率信息为下采样比例为1/4,因此,可以对重建视频帧f1进行采样比例为4的上采样处理,得到解码视频帧f2。
解码过程如下:由于f为帧间预测帧,因此需要将重建视频帧e1作为当前参考帧,可以理解,e1与a2是相同的,对e1进行与a2相同的采样处理,得到e3,这里的e3与a3是相同的,为目标参考帧。从编码数据中获取得到当前待解码块对应的运动矢量差为MVD1,由于MVD1是目标分辨率即原始分辨率下的,因此需要将MVD1转换为f对应的分辨率下,因此可以得到MVD3为MVD1/4。获取初始预测矢量为MV2,由于初始预测矢量是在1/4下采样比例对应的分辨率下计算得到,与f对应的分辨率相同,故可以得到第一运动矢量为MV1等于MVD1/4+MV2。根据MV1获取得到目标参考块。根据目标参考块得到待解码块对应的预测值,将预测残差p1加上预测值重建得到重建视频帧f1对应的重建块。
4、混合分辨率解码框架的分辨率信息获取单元获取第三个待解码视频帧g对应的编码数据,可以理解,g对应的编码数据为对c1进行编码得到的数据。对g进行帧间解码,得到重建视频帧g1,由于g对应的分辨率信息为1/8,因此,可以对重建视频帧f1进行采样比例为8的上采样处理,得到解码视频帧g2。
解码过程如下:由于g为帧间预测帧,因此需要将重建视频帧f1作为当前参考帧,可以理解,f1与b2是相同的,对f1进行与b2相同的采样处理,得到f3,这里的f3与b3是相同的,为目标参考帧。从编码数据中获取得到当前待解码块对应的运动矢量差为MVD2,由于MVD2是目标分辨率即原始分辨率下的,因此需要将MVD2转换为g对应的分辨率下,因此可以得到MVD2为MVD1/8。获取初始预测矢量为MV4,由于初始预测矢量是在1/4下采样比例对应的分辨率下计算得到,需要变换为f对应的分辨率下,f对应的下采样比例为1/8,故可以得到第一运动矢量为MV3等于MVD2/8+MV4/2。根据MV3获取得到目标参考块。根据目标参考块得到待解码块对应的预测值,将预测残差p2加上预测值重建得到重建视频帧g1对应的重建块。
5、接收终端播放e2、f2以及g2。
如图12所示,在一个实施例中,提供一种视频编码装置1200,该装置具体包括以下内容:视频帧获取模块1202、方式确定模块1204、参考帧生成模块1206和视频帧编码模块1208。
视频帧获取模块1202,用于获取待编码视频帧。
方式确定模块1204,用于根据待编码视频帧和对应参考帧间的分辨率关系,确定待编码视频帧所对应当前参考帧的分辨率确定方式。
参考帧生成模块1206,用于按照分辨率确定方式,生成与待编码视频帧对应的当前参考帧。
视频帧编码模块1208,用于根据当前参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据;编码数据包括表示分辨率关系的标识信息。
在一个实施例中,视频帧获取模块1202还用于获取输入视频帧;确定输入视频帧所对应待编码视频帧的分辨率确定方式;基于输入视频帧,并按照待编码视频帧的分辨率确定方式,生成待编码视频帧。
在一个实施例中,视频帧获取模块1202还用于确定输入视频帧所属的视频帧序列;从视频帧序列的头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系;根据读取到的分辨率关系,确定输入视频帧所对应待编码视频帧的分辨率确定方式。
在一个实施例中,视频帧获取模块1202还用于当在视频帧序列的序列头部信息中存在分辨率关系时,则从序列头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系;当在视频帧序列的序列头部信息中不存在分辨率关系时,则在视频帧序列的视频帧组头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系。
在一个实施例中,视频帧编码模块1208还用于获取待编码视频帧和当前参考帧的分辨率信息;根据分辨率信息确定当前参考帧的采样方式;按照采样方式和待编码视频帧的分辨率信息,对当前参考帧进行采样处理,得到目标参考帧;根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧的编码数据。
在一个实施例中,视频帧编码模块1208还用于当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,确定当前参考帧的采样方式为下采样处理方式;当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,确定当前参考帧的采样方式为上采样处理方式。
本实施例中,根据待编码视频帧和对应参考帧间的分辨率关系,确定当前参考帧的分辨率确定方式,从而根据参考帧分辨率确定方式,能够灵活选择与待编码视频帧的分辨率匹配的当前参考帧。即使当前参考帧与待编码视频帧的分辨率不同,也可作为待编码视频帧的参考帧,提高了参考帧的使用效率。根据当前参考帧对待编码视频帧进行编码,通过灵活选择分辨率匹配的当前参考帧,提高了编码的准确度,从而提高视频帧的编码质量,通过选择分辨率匹配的当前参考帧,也提高了编码效率。
如图13所示,在一个实施例中,提供一种视频解码装置1300,该装置具体包括以下内容:编码数据获取模块1302、方式确定模块1304、参考帧生成模块1306和视频帧解码模块1308。
编码数据获取模块1302,用于获取待解码视频帧的编码数据。
方式确定模块1304,用于根据编码数据中表示分辨率关系的标识信息,确定当前参考帧的分辨率确定方式。
参考帧生成模块1306,用于按照分辨率确定方式,生成待解码视频帧对应的当前参考帧。
视频帧解码模块1308,用于根据当前参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧。
在一个实施例中,视频帧解码模块1308还用于获取待解码视频帧和当前参考帧的分辨率信息;根据分辨率信息确定当前参考帧的采样方式;按照采样方式和待解码视频帧的分辨率信息,对当前参考帧进行采样处理,得到目标参考帧;根据目标参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧。
在一个实施例中,视频帧解码模块1308还用于当待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,确定当前参考帧的采样方式为下采样处理方式;当待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,确定当前参考帧的采样方式为上采样处理方式。
在一个实施例中,视频帧解码模块1308还用于根据表示分辨率关系的标识信息,确定重建视频帧采样方式;按照重建视频帧采样方式,对重建视频帧进行采样处理,得到解码视频帧;根据解码视频帧得到解码视频帧序列。
在一个实施例中,视频帧解码模块1308还用于确定分辨率关系的适用范围;适用范围包括帧序列范围和帧组范围;按照重建视频帧采样方式,对适用范围对应的重建视频帧进行采样处理,得到适用范围对应的解码视频帧。
在一个实施例中,视频帧解码模块1308还用于按照重建视频帧采样方式,对帧组范围对应的重建视频帧进行采样处理,得到帧组范围对应解码视频帧;根据帧组范围对应的解码视频帧生成解码视频帧组;根据生成的解码视频帧组构成解码视频帧序列。
本实施例中,能够灵活选择对应于待解码帧对应的当前参考帧的采样方式,以对当前参考帧进行相应的采样处理,进而得到目标参考帧。再根据目标参考帧对待解码帧进行解码,得到重建视频帧。由于可以灵活选择当前参考帧的采样方式,以对当前参考帧进行采样重建,调整当前参考帧分辨率,即使当前参考帧与当前待解码帧的分辨率不同,也可作为参考帧,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,进而提高了解码图像的质量。
图14为一个实施例中计算机设备的内部结构示意图。参照图13,该计算机设备可以是图1中所示的服务器110,也可以是图1中所示的终端120,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质可存储操作系统和计算机程序。该计算机程序被执行时,可使得处理器执行一种视频编码或视频解码方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该内存储器中可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行一种视频编码或视频解码方法。计算机设备的网络接口用于进行网络通信。
本领域技术人员可以理解,图14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备或服务器的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的视频编码装置1200可以实现为一种计算机程序的形式,计算机程序可在如图14所示的计算机设备上运行。计算机设备的存储器中可存储组成该视频编码装置的各个程序模块,比如,图12所示的视频帧获取模块1202、方式确定模块1204、参考帧生成模块1206和视频帧编码模块1208。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的视频编码方法中的步骤。
例如,图14所示的计算机设备可以通过如图12所示的视频帧获取模块1202获取待编码视频帧。计算机设备可通过方式确定模块1204根据待编码视频帧和对应参考帧间的分辨率关系,确定待编码视频帧所对应当前参考帧的分辨率确定方式。计算机设备可通过参考帧生成模块1206按照分辨率确定方式,生成与待编码视频帧对应的当前参考帧。计算机设备可通过视频帧编码模块1208根据当前参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据;编码数据包括表示分辨率关系的标识信息。
在一个实施例中,本申请提供的视频解码装置1300可以实现为一种计算机程序的形式,计算机程序可在如图14所示的计算机设备上运行。计算机设备的存储器中可存储组成该视频解码装置的各个程序模块,比如,图13所示的编码数据获取模块1302、方式确定模块1304、参考帧生成模块1306和视频帧解码模块1308。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的视频编码方法中的步骤。
例如,图14所示的计算机设备可以通过如图13所示的编码数据获取模块1302获取待解码视频帧的编码数据。计算机设备可通过方式确定模块1304根据编码数据中表示分辨率关系的标识信息,确定当前参考帧的分辨率确定方式。计算机设备可通过参考帧生成模块1306,用于按照分辨率确定方式,生成待解码视频帧对应的当前参考帧。计算机设备可通过视频帧解码模块1308,用于根据当前参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧。
一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如下步骤:获取待编码视频帧;根据待编码视频帧和对应参考帧间的分辨率关系,确定待编码视频帧所对应当前参考帧的分辨率确定方式;按照分辨率确定方式,生成与待编码视频帧对应的当前参考帧;根据当前参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据;编码数据包括表示分辨率关系的标识信息。
在一个实施例中,获取待编码视频帧包括:获取输入视频帧;确定输入视频帧所对应待编码视频帧的分辨率确定方式;基于输入视频帧,并按照待编码视频帧的分辨率确定方式,生成待编码视频帧。
在一个实施例中,确定输入视频帧所对应待编码视频帧的分辨率确定方式包括:确定输入视频帧所属的视频帧序列;从视频帧序列的头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系;根据读取到的分辨率关系,确定输入视频帧所对应待编码视频帧的分辨率确定方式。
在一个实施例中,从视频帧序列的头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系包括:当在视频帧序列的序列头部信息中存在分辨率关系时,则从序列头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系;当在视频帧序列的序列头部信息中不存在分辨率关系时,则在视频帧序列的视频帧组头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系。
在一个实施例中,根据当前参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据包括:获取待编码视频帧和当前参考帧的分辨率信息;根据分辨率信息确定当前参考帧的采样方式;按照采样方式和待编码视频帧的分辨率信息,对当前参考帧进行采样处理,得到目标参考帧;根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧的编码数据。
在一个实施例中,根据分辨率信息确定当前参考帧的采样方式包括:当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,确定当前参考帧的采样方式为下采样处理方式;当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,确定当前参考帧的采样方式为上采样处理方式。
本实施例中,根据待编码视频帧和对应参考帧间的分辨率关系,确定当前参考帧的分辨率确定方式,从而根据参考帧分辨率确定方式,能够灵活选择与待编码视频帧的分辨率匹配的当前参考帧。即使当前参考帧与待编码视频帧的分辨率不同,也可作为待编码视频帧的参考帧,提高了参考帧的使用效率。根据当前参考帧对待编码视频帧进行编码,通过灵活选择分辨率匹配的当前参考帧,提高了编码的准确度,从而提高视频帧的编码质量,通过选择分辨率匹配的当前参考帧,也提高了编码效率。
一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如下步骤:获取待解码视频帧的编码数据;根据编码数据中表示分辨率关系的标识信息,确定当前参考帧的分辨率确定方式;按照分辨率确定方式,生成待解码视频帧对应的当前参考帧;根据当前参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧。
在一个实施例中,根据当前参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧包括:获取待解码视频帧和当前参考帧的分辨率信息;根据分辨率信息确定当前参考帧的采样方式;按照采样方式和待解码视频帧的分辨率信息,对当前参考帧进行采样处理,得到目标参考帧;根据目标参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧。
在一个实施例中,根据分辨率信息确定当前参考帧的采样方式包括:当待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,确定当前参考帧的采样方式为下采样处理方式;当待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,确定当前参考帧的采样方式为上采样处理方式。
在一个实施例中,根据当前参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧之后,还包括:根据表示分辨率关系的标识信息,确定重建视频帧采样方式;按照重建视频帧采样方式,对重建视频帧进行采样处理,得到解码视频帧;根据解码视频帧得到解码视频帧序列。
在一个实施例中,按照重建视频帧采样方式,对重建视频帧进行采样处理,得到解码视频帧包括:确定分辨率关系的适用范围;适用范围包括帧序列范围和帧组范围;按照重建视频帧采样方式,对适用范围对应的重建视频帧进行采样处理,得到适用范围对应的解码视频帧。
在一个实施例中,适用范围为帧组范围;按照重建视频帧采样方式,对适用范围对应的重建视频帧进行采样处理,得到适用范围对应的解码视频帧包括:按照重建视频帧采样方式,对帧组范围对应的重建视频帧进行采样处理,得到帧组范围对应解码视频帧。
在一个实施例中,根据解码视频帧得到解码视频帧序列包括:根据帧组范围对应的解码视频帧生成解码视频帧组;根据生成的解码视频帧组构成解码视频帧序列。
本实施例中,能够灵活选择对应于待解码帧对应的当前参考帧的采样方式,以对当前参考帧进行相应的采样处理,进而得到目标参考帧。再根据目标参考帧对待解码帧进行解码,得到重建视频帧。由于可以灵活选择当前参考帧的采样方式,以对当前参考帧进行采样重建,调整当前参考帧分辨率,即使当前参考帧与当前待解码帧的分辨率不同,也可作为参考帧,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,进而提高了解码图像的质量。
一种存储有计算机程序的存储介质,所述计算机程序被处理器执行时,使得处理器执行如下步骤:获取待编码视频帧;根据待编码视频帧和对应参考帧间的分辨率关系,确定待编码视频帧所对应当前参考帧的分辨率确定方式;按照分辨率确定方式,生成与待编码视频帧对应的当前参考帧;根据当前参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据;编码数据包括表示分辨率关系的标识信息。
在一个实施例中,获取待编码视频帧包括:获取输入视频帧;确定输入视频帧所对应待编码视频帧的分辨率确定方式;基于输入视频帧,并按照待编码视频帧的分辨率确定方式,生成待编码视频帧。
在一个实施例中,确定输入视频帧所对应待编码视频帧的分辨率确定方式包括:确定输入视频帧所属的视频帧序列;从视频帧序列的头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系;根据读取到的分辨率关系,确定输入视频帧所对应待编码视频帧的分辨率确定方式。
在一个实施例中,从视频帧序列的头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系包括:当在视频帧序列的序列头部信息中存在分辨率关系时,则从序列头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系;当在视频帧序列的序列头部信息中不存在分辨率关系时,则在视频帧序列的视频帧组头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系。
在一个实施例中,根据当前参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据包括:获取待编码视频帧和当前参考帧的分辨率信息;根据分辨率信息确定当前参考帧的采样方式;按照采样方式和待编码视频帧的分辨率信息,对当前参考帧进行采样处理,得到目标参考帧;根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧的编码数据。
在一个实施例中,根据分辨率信息确定当前参考帧的采样方式包括:当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,确定当前参考帧的采样方式为下采样处理方式;当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,确定当前参考帧的采样方式为上采样处理方式。
本实施例中,根据待编码视频帧和对应参考帧间的分辨率关系,确定当前参考帧的分辨率确定方式,从而根据参考帧分辨率确定方式,能够灵活选择与待编码视频帧的分辨率匹配的当前参考帧。即使当前参考帧与待编码视频帧的分辨率不同,也可作为待编码视频帧的参考帧,提高了参考帧的使用效率。根据当前参考帧对待编码视频帧进行编码,通过灵活选择分辨率匹配的当前参考帧,提高了编码的准确度,从而提高视频帧的编码质量,通过选择分辨率匹配的当前参考帧,也提高了编码效率。
一种存储有计算机程序的存储介质,所述计算机程序被处理器执行时,使得处理器执行如下步骤:获取待解码视频帧的编码数据;根据编码数据中表示分辨率关系的标识信息,确定当前参考帧的分辨率确定方式;按照分辨率确定方式,生成待解码视频帧对应的当前参考帧;根据当前参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧。
在一个实施例中,根据当前参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧包括:获取待解码视频帧和当前参考帧的分辨率信息;根据分辨率信息确定当前参考帧的采样方式;按照采样方式和待解码视频帧的分辨率信息,对当前参考帧进行采样处理,得到目标参考帧;根据目标参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧。
在一个实施例中,根据分辨率信息确定当前参考帧的采样方式包括:当待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率信息所表示的分辨率时,确定当前参考帧的采样方式为下采样处理方式;当待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率信息所表示的分辨率时,确定当前参考帧的采样方式为上采样处理方式。
在一个实施例中,根据当前参考帧对待解码视频帧进行解码,得到待解码视频帧对应的重建视频帧之后,还包括:根据表示分辨率关系的标识信息,确定重建视频帧采样方式;按照重建视频帧采样方式,对重建视频帧进行采样处理,得到解码视频帧;根据解码视频帧得到解码视频帧序列。
在一个实施例中,按照重建视频帧采样方式,对重建视频帧进行采样处理,得到解码视频帧包括:确定分辨率关系的适用范围;适用范围包括帧序列范围和帧组范围;按照重建视频帧采样方式,对适用范围对应的重建视频帧进行采样处理,得到适用范围对应的解码视频帧。
在一个实施例中,适用范围为帧组范围;按照重建视频帧采样方式,对适用范围对应的重建视频帧进行采样处理,得到适用范围对应的解码视频帧包括:按照重建视频帧采样方式,对帧组范围对应的重建视频帧进行采样处理,得到帧组范围对应解码视频帧。
在一个实施例中,根据解码视频帧得到解码视频帧序列包括:根据帧组范围对应的解码视频帧生成解码视频帧组;根据生成的解码视频帧组构成解码视频帧序列。
本实施例中,能够灵活选择对应于待解码帧对应的当前参考帧的采样方式,以对当前参考帧进行相应的采样处理,进而得到目标参考帧。再根据目标参考帧对待解码帧进行解码,得到重建视频帧。由于可以灵活选择当前参考帧的采样方式,以对当前参考帧进行采样重建,调整当前参考帧分辨率,即使当前参考帧与当前待解码帧的分辨率不同,也可作为参考帧,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,进而提高了解码图像的质量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (22)

1.一种视频编码方法,其特征在于,所述方法包括:
获取待编码视频帧和对应参考帧间的分辨率关系,所述分辨率关系为全分辨率的待编码视频帧参考下采样分辨率的参考帧、下采样分辨率的待编码视频帧参考全分辨率的参考帧、全分辨率的待编码视频帧参考全分辨率的参考帧和下采样分辨率的待编码视频帧参考下采样分辨率的参考帧中的一种;
从所述分辨率关系中提取参考帧分辨率信息与待编码视频帧分辨率信息,根据所述参考帧分辨率信息确定待编码视频帧所对应的当前参考帧的分辨率确定方式,根据所述待编码视频帧分辨率信息确定所述待编码视频帧所对应的分辨率确定方式;
按照所述待编码视频帧所对应的分辨率确定方式,基于输入视频帧生成待编码视频帧;以及按照所述当前参考帧的分辨率确定方式,从存储的与所述待编码视频帧对应的不同分辨率的各参考帧中选取所述待编码视频帧对应的当前参考帧;
根据选取的当前参考帧对生成的待编码视频帧进行编码,得到所述生成的待编码视频帧对应的编码数据;所述编码数据包括表示所述分辨率关系的标识信息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述输入视频帧所属的视频帧序列;
从所述视频帧序列的头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系。
3.根据权利要求2所述的方法,其特征在于,所述从所述视频帧序列的头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系包括:
当在所述视频帧序列的序列头部信息中存在分辨率关系时,则从所述序列头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系;
当在所述视频帧序列的序列头部信息中不存在分辨率关系时,则在所述视频帧序列的视频帧组头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系。
4.根据权利要求1所述的方法,其特征在于,所述根据选取的所述当前参考帧对生成的待编码视频帧进行编码,得到所述生成的待编码视频帧对应的编码数据包括:
获取所述生成的待编码视频帧和所述选取的当前参考帧的分辨率信息;
根据所述分辨率信息确定所述选取的当前参考帧的采样方式;
按照所述采样方式和所述生成的待编码视频帧的分辨率信息,对所述选取的当前参考帧进行采样处理,得到目标参考帧;
根据所述目标参考帧对所述生成的待编码视频帧进行编码,得到所述生成的待编码视频帧的编码数据。
5.根据权利要求4所述的方法,其特征在于,所述根据所述分辨率信息确定所述选取的当前参考帧的采样方式包括:
当所述生成的待编码视频帧的分辨率信息所表示的分辨率小于所述选取的当前参考帧的分辨率信息所表示的分辨率时,确定所述选取的当前参考帧的采样方式为下采样处理方式;
当所述生成的待编码视频帧的分辨率信息所表示的分辨率大于所述选取的当前参考帧的分辨率信息所表示的分辨率时,确定所述选取的当前参考帧的采样方式为上采样处理方式。
6.一种视频解码方法,其特征在于,所述方法包括:
获取待解码视频帧的编码数据;
根据所述编码数据中表示分辨率关系的标识信息,所述分辨率关系的标识信息用于标识待编码视频帧与参考帧之间的分辨率关系,所述分辨率关系为全分辨率的待编码视频帧参考下采样分辨率的参考帧、下采样分辨率的待编码视频帧参考全分辨率的参考帧、全分辨率的待编码视频帧参考全分辨率的参考帧和下采样分辨率的待编码视频帧参考下采样分辨率的参考帧中的一种;
从所述分辨率关系中提取所述参考帧的分辨率信息,作为所述待解码视频帧所对应的当前参考帧的分辨率信息,根据待解码视频帧所对应的参考帧的分辨率信息,确定当前参考帧的分辨率确定方式;
按照所述分辨率确定方式,生成所述待解码视频帧对应的当前参考帧;
根据所述当前参考帧对所述待解码视频帧进行解码,得到所述待解码视频帧对应的重建视频帧;
从所述分辨率关系中提取所述待编码视频帧的分辨率信息,根据所述待编码视频帧的分辨率信息确定所述重建视频帧采样方式;
按照所述重建视频帧采样方式,对所述重建视频帧进行采样处理,得到解码视频帧。
7.根据权利要求6所述的方法,其特征在于,所述根据所述当前参考帧对所述待解码视频帧进行解码,得到所述待解码视频帧对应的重建视频帧包括:
获取所述待解码视频帧和所述当前参考帧的分辨率信息;
根据所述分辨率信息确定所述当前参考帧的采样方式;
按照所述采样方式和所述待解码视频帧的分辨率信息,对所述当前参考帧进行采样处理,得到目标参考帧;
根据所述目标参考帧对所述待解码视频帧进行解码,得到所述待解码视频帧对应的重建视频帧。
8.根据权利要求7所述的方法,其特征在于,所述根据所述分辨率信息确定所述当前参考帧的采样方式包括:
当所述待解码视频帧的分辨率信息所表示的分辨率小于所述当前参考帧的分辨率信息所表示的分辨率时,确定所述当前参考帧的采样方式为下采样处理方式;
当所述待解码视频帧的分辨率信息所表示的分辨率大于所述当前参考帧的分辨率信息所表示的分辨率时,确定所述当前参考帧的采样方式为上采样处理方式。
9.根据权利要求6所述的方法,其特征在于,所述按照所述重建视频帧采样方式,对所述重建视频帧进行采样处理,得到解码视频帧包括:
确定所述分辨率关系的适用范围;所述适用范围包括帧序列范围和帧组范围;
按照所述重建视频帧采样方式,对所述适用范围对应的重建视频帧进行采样处理,得到所述适用范围对应的解码视频帧。
10.根据权利要求9所述的方法,其特征在于,所述适用范围为帧组范围;所述按照所述重建视频帧采样方式,对所述适用范围对应的重建视频帧进行采样处理,得到所述适用范围对应的解码视频帧包括:
按照所述重建视频帧采样方式,对所述帧组范围对应的重建视频帧进行采样处理,得到所述帧组范围对应解码视频帧;
根据所述帧组范围对应的解码视频帧生成解码视频帧组;
根据生成的解码视频帧组构成解码视频帧序列。
11.一种视频编码装置,其特征在于,所述装置包括:
视频帧获取模块,用于获取待编码视频帧和对应参考帧间的分辨率关系,所述分辨率关系为全分辨率的待编码视频帧参考下采样分辨率的参考帧、下采样分辨率的待编码视频帧参考全分辨率的参考帧、全分辨率的待编码视频帧参考全分辨率的参考帧和下采样分辨率的待编码视频帧参考下采样分辨率的参考帧中的一种;从所述分辨率关系中提取参考帧分辨率信息与待编码视频帧分辨率信息,根据所述参考帧分辨率信息确定待编码视频帧所对应的当前参考帧的分辨率确定方式,根据所述待编码视频帧分辨率信息确定所述待编码视频帧所对应的分辨率确定方式;按照所述待编码视频帧所对应的分辨率确定方式,基于输入视频帧生成待编码视频帧;
参考帧生成模块,用于按照所述当前参考帧的分辨率确定方式,从存储的与所述待编码视频帧对应的不同分辨率的各参考帧中选取所述待编码视频帧对应的当前参考帧;
视频帧编码模块,用于根据选取的当前参考帧对生成的待编码视频帧进行编码,得到所述生成的待编码视频帧对应的编码数据;所述编码数据包括表示所述分辨率关系的标识信息。
12.根据权利要求11所述的装置,其特征在于,所述视频帧获取模块还用于:确定所述输入视频帧所属的视频帧序列;
从所述视频帧序列的头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系。
13.根据权利要求12所述的装置,其特征在于,所述视频帧获取模块还用于:
当在所述视频帧序列的序列头部信息中存在分辨率关系时,则从所述序列头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系;
当在所述视频帧序列的序列头部信息中不存在分辨率关系时,则在所述视频帧序列的视频帧组头部信息中,读取待编码视频帧和对应参考帧间的分辨率关系。
14.根据权利要求11所述的装置,其特征在于,所述视频帧编码模块还用于:获取所述生成的待编码视频帧和所述选取的当前参考帧的分辨率信息;
根据所述分辨率信息确定所述选取的当前参考帧的采样方式;
按照所述采样方式和所述生成的待编码视频帧的分辨率信息,对所述选取的当前参考帧进行采样处理,得到目标参考帧;
根据所述目标参考帧对所述生成的待编码视频帧进行编码,得到所述生成的待编码视频帧的编码数据。
15.根据权利要求14所述的装置,其特征在于,所述视频帧编码模块还用于:当所述生成的待编码视频帧的分辨率信息所表示的分辨率小于所述选取的当前参考帧的分辨率信息所表示的分辨率时,确定所述选取的当前参考帧的采样方式为下采样处理方式;
当所述生成的待编码视频帧的分辨率信息所表示的分辨率大于所述选取的当前参考帧的分辨率信息所表示的分辨率时,确定所述选取的当前参考帧的采样方式为上采样处理方式。
16.一种视频解码装置,其特征在于,所述装置包括:
编码数据获取模块,用于获取待解码视频帧的编码数据;
方式确定模块,用于根据所述编码数据中表示分辨率关系的标识信息,所述分辨率关系的标识信息用于标识待编码视频帧与参考帧之间的分辨率关系,所述分辨率关系为全分辨率的待编码视频帧参考下采样分辨率的参考帧、下采样分辨率的待编码视频帧参考全分辨率的参考帧、全分辨率的待编码视频帧参考全分辨率的参考帧和下采样分辨率的待编码视频帧参考下采样分辨率的参考帧中的一种;从所述分辨率关系中提取所述参考帧的分辨率信息,作为所述待解码视频帧所对应的当前参考帧的分辨率信息,根据待解码视频帧所对应的参考帧的分辨率信息,确定当前参考帧的分辨率确定方式;
参考帧生成模块,用于按照所述分辨率确定方式,生成所述待解码视频帧对应的当前参考帧;
视频帧解码模块,用于根据所述当前参考帧对所述待解码视频帧进行解码,得到所述待解码视频帧对应的重建视频帧;从所述分辨率关系中提取所述待编码视频帧的分辨率信息,根据所述待编码视频帧的分辨率信息确定所述重建视频帧采样方式;按照所述重建视频帧采样方式,对所述重建视频帧进行采样处理,得到解码视频帧。
17.根据权利要求16所述的装置,其特征在于,所述视频帧解码模块还用于:
获取所述待解码视频帧和所述当前参考帧的分辨率信息;
根据所述分辨率信息确定所述当前参考帧的采样方式;
按照所述采样方式和所述待解码视频帧的分辨率信息,对所述当前参考帧进行采样处理,得到目标参考帧;
根据所述目标参考帧对所述待解码视频帧进行解码,得到所述待解码视频帧对应的重建视频帧。
18.根据权利要求17所述的装置,其特征在于,所述视频帧解码模块还用于:当所述待解码视频帧的分辨率信息所表示的分辨率小于所述当前参考帧的分辨率信息所表示的分辨率时,确定所述当前参考帧的采样方式为下采样处理方式;
当所述待解码视频帧的分辨率信息所表示的分辨率大于所述当前参考帧的分辨率信息所表示的分辨率时,确定所述当前参考帧的采样方式为上采样处理方式。
19.根据权利要求16所述的装置,其特征在于,所述视频帧解码模块还用于:确定所述分辨率关系的适用范围;所述适用范围包括帧序列范围和帧组范围;
按照所述重建视频帧采样方式,对所述适用范围对应的重建视频帧进行采样处理,得到所述适用范围对应的解码视频帧。
20.根据权利要求19所述的装置,其特征在于,所述适用范围为帧组范围;所述视频帧解码模块还用于:按照所述重建视频帧采样方式,对所述帧组范围对应的重建视频帧进行采样处理,得到所述帧组范围对应解码视频帧;
根据所述帧组范围对应的解码视频帧生成解码视频帧组;
根据生成的解码视频帧组构成解码视频帧序列。
21.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
22.一种存储有计算机程序的存储介质,其特征在于,所述计算机程序被处理器执行时,使得处理器执行如权利要求1至10中任一项所述方法的步骤。
CN201810637332.9A 2018-06-20 2018-06-20 视频编码、解码方法、装置和计算机设备 Active CN108848376B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810637332.9A CN108848376B (zh) 2018-06-20 2018-06-20 视频编码、解码方法、装置和计算机设备
PCT/CN2019/089817 WO2019242491A1 (zh) 2018-06-20 2019-06-03 视频编码、解码方法、装置、计算机设备和存储介质
US16/991,175 US11196989B2 (en) 2018-06-20 2020-08-12 Video encoding method, device and storage medium using resolution information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810637332.9A CN108848376B (zh) 2018-06-20 2018-06-20 视频编码、解码方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN108848376A CN108848376A (zh) 2018-11-20
CN108848376B true CN108848376B (zh) 2022-03-01

Family

ID=64202607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810637332.9A Active CN108848376B (zh) 2018-06-20 2018-06-20 视频编码、解码方法、装置和计算机设备

Country Status (3)

Country Link
US (1) US11196989B2 (zh)
CN (1) CN108848376B (zh)
WO (1) WO2019242491A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108848376B (zh) 2018-06-20 2022-03-01 腾讯科技(深圳)有限公司 视频编码、解码方法、装置和计算机设备
CN109379630B (zh) * 2018-11-27 2021-03-12 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质
JP7374137B2 (ja) * 2019-03-01 2023-11-06 アリババ・グループ・ホールディング・リミテッド 適応解像度ビデオコーディング
WO2021003671A1 (en) * 2019-07-09 2021-01-14 Alibaba Group Holding Limited Resolution-adaptive video coding
WO2021000245A1 (en) * 2019-07-02 2021-01-07 Alibaba Group Holding Limited Constant rate factor control for adaptive resolution video coding
CN110545431B (zh) * 2019-09-27 2023-10-24 腾讯科技(深圳)有限公司 视频解码方法及装置、视频编码方法及装置
CN110662071B (zh) * 2019-09-27 2023-10-24 腾讯科技(深圳)有限公司 视频解码方法和装置、存储介质及电子装置
CN110636302B (zh) * 2019-09-27 2023-10-24 腾讯科技(深圳)有限公司 视频解码、编码方法和装置、存储介质及解码器、编码器
CN111131265A (zh) * 2019-12-26 2020-05-08 武汉宏数信息技术有限责任公司 一种工程勘察设计中视频加密传输方法
US20210067785A1 (en) * 2020-11-17 2021-03-04 Intel Corporation Video encoding rate control for intra and scene change frames using machine learning
CN112565887B (zh) * 2020-11-27 2023-06-20 紫光展锐(重庆)科技有限公司 一种视频处理方法、装置、终端及存储介质
CN113068049A (zh) * 2021-03-16 2021-07-02 上海富瀚微电子股份有限公司 分数像素运动估计装置
US20220303642A1 (en) * 2021-03-19 2022-09-22 Product Development Associates, Inc. Securing video distribution
CN113452996B (zh) * 2021-06-08 2024-04-19 杭州网易智企科技有限公司 一种视频编码、解码方法及装置
CN113766232B (zh) * 2021-09-24 2024-06-07 百果园技术(新加坡)有限公司 一种编码、解码方法、装置、电子设备及存储介质
CN114513670B (zh) * 2021-12-30 2023-03-10 浙江大华技术股份有限公司 一种端到端的视频压缩方法、装置和计算机可读存储介质
CN115361582B (zh) * 2022-07-19 2023-04-25 鹏城实验室 一种视频实时超分辨率处理方法、装置、终端及存储介质
WO2024092425A1 (zh) * 2022-10-31 2024-05-10 Oppo广东移动通信有限公司 视频编解码方法、装置、设备、及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813174A (zh) * 2012-11-12 2014-05-21 腾讯科技(深圳)有限公司 一种混合分辨率编解码方法和装置
CN104602019A (zh) * 2014-12-31 2015-05-06 乐视网信息技术(北京)股份有限公司 一种视频编码方法及装置
CN107155107A (zh) * 2017-03-21 2017-09-12 腾讯科技(深圳)有限公司 视频编码方法和装置、视频解码方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679018B1 (ko) * 2004-09-07 2007-02-05 삼성전자주식회사 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더
US20100208086A1 (en) * 2009-02-19 2010-08-19 Texas Instruments Incorporated Reduced-memory video stabilization
US20110013692A1 (en) * 2009-03-29 2011-01-20 Cohen Robert A Adaptive Video Transcoding
GB2471323B (en) * 2009-06-25 2014-10-22 Advanced Risc Mach Ltd Motion vector estimator
US8315310B2 (en) * 2010-01-08 2012-11-20 Research In Motion Limited Method and device for motion vector prediction in video transcoding using full resolution residuals
US10136160B2 (en) * 2014-10-24 2018-11-20 Mediatek Inc. Method and apparatus for resolution adaptive video encoding with search range constraint
KR102349788B1 (ko) * 2015-01-13 2022-01-11 인텔렉추얼디스커버리 주식회사 영상의 부호화/복호화 방법 및 장치
CN105898308A (zh) * 2015-12-18 2016-08-24 乐视云计算有限公司 变分辨率的编码模式预测方法及装置
CN109151481B (zh) * 2017-06-28 2022-03-15 腾讯科技(深圳)有限公司 图片的传输和接收的方法、装置、系统、设备和介质
CN108848376B (zh) * 2018-06-20 2022-03-01 腾讯科技(深圳)有限公司 视频编码、解码方法、装置和计算机设备
CN109618159A (zh) * 2018-11-06 2019-04-12 建湖云飞数据科技有限公司 一种基于分辨率对应关系的自适应编码方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813174A (zh) * 2012-11-12 2014-05-21 腾讯科技(深圳)有限公司 一种混合分辨率编解码方法和装置
CN104602019A (zh) * 2014-12-31 2015-05-06 乐视网信息技术(北京)股份有限公司 一种视频编码方法及装置
CN107155107A (zh) * 2017-03-21 2017-09-12 腾讯科技(深圳)有限公司 视频编码方法和装置、视频解码方法和装置

Also Published As

Publication number Publication date
CN108848376A (zh) 2018-11-20
US11196989B2 (en) 2021-12-07
US20200374514A1 (en) 2020-11-26
WO2019242491A1 (zh) 2019-12-26

Similar Documents

Publication Publication Date Title
CN108848376B (zh) 视频编码、解码方法、装置和计算机设备
CN108848380B (zh) 视频编码和解码方法、装置、计算机设备及存储介质
CN108833918B (zh) 视频编码方法、解码方法、装置、计算机设备及存储介质
CN108769682B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN108848381B (zh) 视频编码方法、解码方法、装置、计算机设备及存储介质
CN108833923B (zh) 视频编码、解码方法、装置、存储介质和计算机设备
CN108769681B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN108924553B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN108833916B (zh) 视频编码、解码方法、装置、存储介质和计算机设备
CN108833917B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN108495130B (zh) 视频编码、解码方法和装置、终端、服务器和存储介质
CN108848377B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
US20100086048A1 (en) System and Method for Video Image Processing
CN112995663B (zh) 视频编码的方法、视频解码的方法及相应装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant