CN108833916A - 视频编码、解码方法、装置、存储介质和计算机设备 - Google Patents

视频编码、解码方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN108833916A
CN108833916A CN201810635813.6A CN201810635813A CN108833916A CN 108833916 A CN108833916 A CN 108833916A CN 201810635813 A CN201810635813 A CN 201810635813A CN 108833916 A CN108833916 A CN 108833916A
Authority
CN
China
Prior art keywords
reference frame
frame
video frame
image element
element interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810635813.6A
Other languages
English (en)
Other versions
CN108833916B (zh
Inventor
高欣玮
毛煦楠
谷沉沉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810635813.6A priority Critical patent/CN108833916B/zh
Publication of CN108833916A publication Critical patent/CN108833916A/zh
Priority to PCT/CN2019/090682 priority patent/WO2019242528A1/zh
Priority to US16/991,741 priority patent/US11128888B2/en
Priority to US17/383,994 priority patent/US11563974B2/en
Application granted granted Critical
Publication of CN108833916B publication Critical patent/CN108833916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及一种视频编码、解码方法、装置、存储介质和计算机设备,视频编码方法包括:获取待编码视频帧对应的当前参考帧;确定分像素插值方式;分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;采用分像素插值方式,根据待编码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧;根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据。上述视频编码方法可以灵活选择待编码视频帧对应的参考帧,有效提高参考帧的使用效率。

Description

视频编码、解码方法、装置、存储介质和计算机设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种视频编码、解码方法、装置、存储介质和计算机设备。
背景技术
随着数字媒体技术和计算机技术的发展,视频应用于各个领域,如移动通信、网络监控、网络电视等。随着硬件性能和屏幕分辨率的提高,用户对高清视频的需求日益强烈。
在带宽有限的条件下,传统的编码器对视频帧无区分地进行编码,可能出现某些场景视频质量差的问题,如在码率为750kbps时,对于所有视频帧不加区分地进行编码时,所参考的视频帧的分辨率都是相同的,那么视频帧只能参考同一分辨率的参考帧,参考帧的使用效率不高,参考关系也不够灵活。
发明内容
本发明实施例提供了一种视频编码、解码方法、装置、存储介质和计算机设备,能够在参考帧具有不同分辨率的情况下还能参考当前参考帧对待编码视频帧进行编码,能够提高参考帧的使用效率,视频帧之间的参考关系更为灵活,能够解决现有技术中对所有视频帧不加区分地编码、而存在的参考帧使用效率不高的技术问题。
一种视频编码方法,包括:
获取待编码视频帧对应的当前参考帧;
确定分像素插值方式;所述分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;
采用所述分像素插值方式,根据所述待编码视频帧的分辨率信息,对所述当前参考帧进行处理,得到对应的目标参考帧;
根据所述目标参考帧对所述待编码视频帧进行编码,得到所述待编码视频帧对应的编码数据。
一种视频编码装置,包括:
当前参考帧获取模块,用于获取待编码视频帧对应的当前参考帧;
分像素插值方式确定模块,用于确定分像素插值方式;所述分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;
目标参考帧确定模块,用于采用所述分像素插值方式,根据所述待编码视频帧的分辨率信息,对所述当前参考帧进行处理,得到对应的目标参考帧;
编码数据得到模块,用于根据所述目标参考帧对所述待编码视频帧进行编码,得到所述待编码视频帧对应的编码数据。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述视频编码方法的步骤。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述视频编码方法的步骤。
上述视频编码方法、装置、存储介质和计算机设备,在获取到待编码视频帧对应的当前参考帧后,可确定当前参考帧的分像素插值方式,采用该分像素插值方式,根据当前参考帧的分辨率信息,对当前参考帧进行处理,调整当前参考帧的分辨率,得到目标参考帧,即使当前参考帧与待编码视频帧的分辨率不同,也可作为待编码视频帧的参考帧,根据得到的目标参考帧对待编码视频帧进行编码,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,提高编码图像的质量。
一种视频解码方法,包括:
获取待解码视频帧对应的编码数据;
获取所述待解码视频帧对应的当前参考帧;
确定分像素插值方式;所述分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;
采用所述分像素插值方式,根据所述待解码视频帧的分辨率信息,对所述当前参考帧进行处理,得到对应的目标参考帧;
根据所述目标参考帧对所述编码数据进行解码,得到所述待解码视频帧对应的重建视频帧。
一种视频解码装置,包括:
编码数据获取模块,用于获取待解码视频帧对应的编码数据;
当前参考帧获取模块,用于获取所述待解码视频帧对应的当前参考帧;
分像素插值方式确定模块,用于确定分像素插值方式;所述分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;
目标参考帧确定模块,用于采用所述分像素插值方式,根据所述待解码视频帧的分辨率信息,对所述当前参考帧进行处理,得到对应的目标参考帧;
重建视频帧得到模块,用于根据所述目标参考帧对所述编码数据进行解码,得到所述待解码视频帧对应的重建视频帧。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述视频解码方法的步骤。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述视频解码方法的步骤。
上述视频解码方法、装置、存储介质和计算机设备,在获取到待解码视频帧对应的编码数据以及待解码帧对应的当前参考帧后,可确定当前参考帧的分像素插值方式,采用该分像素插值方式,根据当前参考帧的分辨率信息,对当前参考帧进行处理,调整当前参考帧的分辨率,得到目标参考帧,即使当前参考帧与待解码视频帧的分辨率不同,也可作为待解码视频帧的参考帧,根据得到的目标参考帧对待解码视频帧进行编码,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,提高编码图像的质量。
附图说明
图1为一个实施例中视频编码方法的应用环境图;
图2为一个实施例中视频编码方法的流程示意图;
图3为一个实施例中视频编码框架的框架示意图;
图4为一个实施例中混合分辨率编码框架的示意图;
图5为一个实施例中对输入视频帧采用不同分辨率进行编码的示意图;
图6(1)为一个实施例中对当前参考帧进行1/2像素精度进行像素插值的示意图;
图6(2)为一个实施例中对当前参考帧进行1/4像素精度进行像素插值的示意图;
图7为一个实施例中采用分像素插值方式,根据待编码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧的流程示意图;
图8为一个实施例中采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的流程示意图;
图9为另一个实施例中采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的流程示意图;
图10为又一个实施例中采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的流程示意图;
图11为一个实施例中根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据的流程示意图;
图12为另一个实施例中根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据的流程示意图;
图13为一个实施例中视频解码方法的流程示意图;
图14为一个实施例中混合分辨率解码框架的示意图;
图15为一个实施例中采用分像素插值方式,根据待解码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧的流程示意图;
图16为一个实施例中根据目标参考帧对编码数据进行解码,得到待解码视频帧对应的重建视频帧的流程示意图;
图17为一个实施例中视频编码装置的结构框图;
图18为一个实施例中视频解码装置的结构框图;
图19为一个实施例中计算机设备的结构框图;
图20为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中视频编码方法的应用环境图。参照图1,该视频编码方法应用于视频编码系统。该视频编码系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种,但并不局限于此。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
视频编码方法、视频解码方法可以在终端110或服务器120中完成,终端110可将待编码视频帧采用视频编码方法进行编码后发送至服务器120,也可从服务器120接收编码数据并采用视频解码方法进行解码后生成重建视频帧。服务器120可以对码流存储时进行转码,此时视频编码方法在服务器完成,如果服务器120需要对码流进行解码,则视频解码方法在服务器完成。可以理解的是,编码端和解码端可以是同一端或者不同端,上述计算机设备,比如终端或服务器,可以是编码端也可以是解码端。
参照图1,终端110或服务器120可以通过编码器进行视频编码,或者通过解码器进行视频解码。终端110或服务器120也可以通过处理器运行视频编码程序进行视频编码,或者通过处理器运行视频解码程序进行视频解码。服务器120通过输入接口接收到终端110发送的编码数据后,可直接传递至处理器进行解码,也可存储至数据库中等待后续解码。服务器120在通过处理器对原始视频帧编码得到编码数据后,可直接通过输出接口发送至终端110,也可将编码数据存储至数据库中等待后续传递。
如图2所示,在一个实施例中,提供了一种视频编码方法。本实施例主要以该方法应用于上述图1中的终端110或服务器120来举例说明。参照图2,该视频编码方法具体包括如下步骤:
S202,获取待编码视频帧对应的当前参考帧。
其中,待编码视频帧可以是实时采集的视频帧,也可以是存储的视频对应的视频帧。待编码视频帧可以是输入视频帧序列中的输入视频帧;待编码视频帧还可以是将输入视频帧序列中的输入视频帧按照相应的处理方式进行处理之后得到的视频帧,其中,编码端在对输入视频帧按照相应的处理方式进行处理之后,得到的待编码视频帧的分辨率比原始的输入视频帧的分辨率小,比如,可对输入视频帧按照相应的采样比例进行下采样处理,得到待编码视频帧。
具体地,编码端可确定输入视频帧的处理方式,根据输入视频帧的处理方式对输入视频帧进行处理,得到待编码视频帧。处理方式包括下采样处理方式和全分辨率处理方式。下采样处理方式是指对输入视频帧进行下采样后得到待编码视频帧,再对得到的待编码视频帧进行编码。下采样处理方式中下采样方式可根据需要自定义,包括垂直下采样、水平下采样、垂直和水平下采样,可采用直接平均、滤波器、bicubic interpolation双三次插值、bilinear Interpolation双线性插值等算法进行下采样。全分辨率处理方式是指直接将输入视频帧作为待编码视频帧,基于输入视频帧的原始分辨率直接对待编码视频帧进行编码。
在一个实施例中,视频编码框架如图3所示,包括恒定分辨率编码框架以及混合分辨率编码框架。编码端可采用混合分辨率编码框架或恒定分辨率编码框架对输入视频帧序列进行编码。当采用恒定分辨率编码框架对输入视频帧序列进行编码,则输入视频帧序列中的每个输入视频帧均采用全分辨率处理方式进行编码,恒定分辨率编码框架可以是目前的HEVC编码框架或者H.265编码框架等。当采用如图4所示的混合分辨率编码框架对输入视频帧序列进行编码,则输入视频帧序列中的每个输入视频帧既可采用全分辨率处理方式进行编码,也可采用下采样处理方式进行编码,比如,如图5所示,对输入视频帧序列中的第N个输入视频帧采用全分辨率处理方式进行编码,对第N+1个输入视频帧采用下采样处理方式进行编码,对第N+2个输入视频帧采用全分辨率处理方式进行编码。
如图4所示为一个实施例中混合分辨率编码框架的示意图。参照图4,编码端通过对获取输入视频序列的各个输入视频帧进行编码,得到对应的编码数据,并通过存储发送单元422存储或者发送编码数据,或者存储并发送编码数据。其中,在处理方式决策单元402处,可以对输入视频帧进行处理方式决策,得到输入视频帧对应的处理方式。在处理单元404处,可以根据处理方式对输入视频帧进行处理,得到待编码视频帧。在第一预测单元406处,可以在待编码视频帧的分辨率下,可以确定待编码视频帧的各个编码块进行帧内预测或者帧间预测,并得到编码块的参考块的图像值得到对应的预测值以及对应的运动矢量,将编码块实际值与预测值相减得到预测残差,运动矢量值可以是编码块相对于参考块的位移。在变换单元408处,将空间域中的预测残差以及运动矢量数据变换到频率域,并可以对变换系数进行编码。变换的方法可以包括有离散傅里叶变换以及离散余弦变换等等。在量化单元410处,将变换后的数据映射成另一个数值,例如可以通过变换后的数据除以量化步长得到一个较小的值。量化参数是量化步长对应的的序号,根据量化参数可以查找到对应的量化步长。量化参数小,则图像帧的大部分的细节都会被保留,对应的码率高。量化参数大,则对应的码率低,但图像失真较大、质量不高。熵编码单元420用于进行熵编码,熵编码按熵原理不丢失任何信息的数据编码方式,能够利用较小的字符来表达一定的信息。熵编码方法例如可以为香农编码(shannon)或者哈夫曼编码(huffman)等。
第一反量化单元412、第一反变换单元414、第一重建单元416以及参考信息自适应单元418是重建路径对应的单元,利用重建路径的各个单元进行帧的重建得到参考帧,能够保持编码以及解码中参考帧的一致。其中第一反量化单元412进行的步骤是进行量化的逆过程,第一反变换单元414进行的步骤是是变换单元410进行变换的逆过程,第一重建单元416用于将反变换得到的残差数据加上预测数据得到重建参考帧。第一参考信息自适应单元418用于在待编码视频帧的分辨率下,对重建得到的当前参考帧、待编码视频帧的各个编码块对应的位置信息、当前参考帧的各个参考块对应的位置信息以及运动矢量中等参考信息中的至少一个进行自适应处理,使第一预测单元406根据自适应处理后的参考信息进行预测。
在一个实施例中,编码端还可将对输入视频帧序列进行编码时所采用的编码框架对应的编码框架信息添加至输入视频帧序列对应的编码数据中。编码框架信息在编码数据中的添加位置可以根据编码框架的作用范围确定。具体可以将编码框架信息添加至编码数据对应的序列级头信息中,用于告知解码端当前编码数据对应的输入视频帧序列中每个输入视频帧在被编码时所采用的编码框架,且输入视频帧序列中每个输入视频帧采用的编码框架都是相同的。比如,当编码数据的序列级头信息中用于确定所采用编码框架的标识位Sequence_Mix_Flag为0时,表示输入视频帧序列中各个输入视频帧在被编码时均采用恒定分辨率编码框架,在Sequence_Mix_Flag为1时,表示输入视频帧序列中各个输入视频帧在被编码时均采用自适应分辨率的编码框架,解码端就可按照与该编码框架相应的解码框架对编码数据进行解码得到重建视频帧序列。
在一个实施例中,输入视频帧对应的处理方式的方法可以根据实际需要设置。例如,可以是获取输入视频帧对应的处理参数,根据处理参数得到对应的处理方式。处理参数是用于确定处理方式的参数,具体采用的处理方式可以根据需要进行设置。例如处理参数例如可以包括根据输入视频帧对应的当前编码信息和/或图像特征。
在一个实施例中,编码端可以根据输入视频帧对应的当前编码信息以及图像特征信息中的至少一种得到输入视频帧对应的处理方式。当前编码信息是指视频在编码时得到的视频压缩参数信息,如帧类型、运动向量、量化参数、视频来源、码率、帧率以及分辨率的一种或多种。图像特征信息是指与图像内容相关的信息,包括图像运动信息以及图像纹理信息的一种或多种,如边缘等。当前编码信息以及图像特征信息反映了视频帧对应的场景、细节复杂度或者运动剧烈程度等,如通过运动向量、量化参数或者码率中的一个或多个等可判断运动场景,量化参数大则一般运动剧烈,运动向量大则代表图像场景是大运动场景。
编码端还可根据已编码I帧与P帧或已编码I帧与B帧的码率比值判断,如果比值超过第一预设阈值,则判断为静止图像,如果比值小于第二预设阈值,则可判断为运动剧烈图像。或直接根据图像内容跟踪目标对象,根据目标对象的运动速度确定是否为大运动场景。码率一定时能表达的信息量一定,对于运动剧烈的场景,时间域信息量大,相应的可用于表达空间域信息的码率就少,因此采用低分辨率能达到较好的图像质量效果,更倾向于选择下采样模式进行编码。通过帧预测类型可确定画面切换场景,也可根据帧预测类型对其它帧的影响确定倾向于的编码模式。由于I帧一般为首帧或存在画面切换,I帧的质量影响了后续P帧或B帧的质量,所以帧内预测帧相比于帧间预测帧更倾向于选择全分辨率编码,以保证图像质量。因为P帧可作为B帧的参考帧,P帧图像质量影响了后续B帧的图像质量,所以如果采用P帧编码则相比于采用B帧编码更倾向于选择全分辨率编码。
通过图像特征信息,如图像纹理信息确定待编码视频帧的纹理复杂度,如果纹理复杂,包含的细节多,则图像空域信息多,如果进行下采样,可能由于下采样损失较多细节信息,影响视频质量,所以纹理复杂的待编码视频帧相比于纹理简单的待编码视频帧更倾向于选择全分辨率编码。
在一个实施例中,编码端可以根据在输入视频帧对应的当前量化参数以及量化参数阈值的大小关系得到输入视频帧对应的处理方式。如果当前量化参数大于量化参数阈值,则确定处理方式为下采样方式,否则确定处理方式为全分辨率方式。量化参数阈值可以根据在输入视频帧之前,已编码的前向编码视频帧的帧内编码块的比例得到,可以预先设置帧内预测块比例与量化参数阈值的对应关系,从而在确定了当前帧的帧内预测块比例后,可以根据对应关系确定与当前帧的帧内预测块比例对应的量化参数阈值。对于固定量化参数编码,当前量化参数可以是对应的固定量化参数值。对于固定码率编码,则可以根据码率控制模型计算得到输入视频帧对应的当前量化参数。或者,可以将参考帧对应的量化参数作为输入视频帧对应的当前量化参数。本发明实施例中,当前量化参数越大一般运动越剧烈,对于运动剧烈的场景更倾向于选择下采样模式进行编码。
在一个实施例中,编码端还可计算目标预测类型编码块在输入视频帧对应的前向编码视频帧中的比例;根据比例确定输入视频帧对应的处理方式。
具体地,预测类型编码块是帧预测类型对应的编码块。目标预测类型的比例可以是帧内编码块对应的比例以及帧间编码块对应的比例中的一种或两种。目标预测类型编码块在输入视频帧对应的前向编码视频帧中的比例可以是该目标预测类型编码块与其他预测类型编码块的比例,也可以是该类型编码块与总编码块数量的比例。具体可以根据需要进行设置。例如可以获取前向编码视频帧中帧内编码块的第一数量,前向编码视频帧中帧间编码块的第二数量。根据第一数量和第二数量计算得到帧内编码块与帧间编码块的比例,或者统计前向编码视频帧的全部编码块的第三数量,根据第一数量和第三数量计算得到帧内编码块与第三数据量的比例。还可根据第二数量和第三数量计算得到帧间编码块与第三数据量的比例。
前向编码视频帧是指对输入视频帧进行编码之前已经编码的视频帧,获取的前向编码视频帧的具体数量可自定义,例如,前向编码视频帧可以是输入视频帧的前一个已编码的编码视频帧,前向编码视频帧也可以是输入视频帧的前3个已编码的编码视频帧。在计算得到目标预测类型编码块对应的在前向编码视频帧中的比例后,根据计算得到的比例确定输入视频帧对应的处理方式。若获取到的前向编码视频帧的数量为多个时,可以计算得到不同类型编码块对应的在每一个前向编码视频帧中的比例,根据各个比例进行加权计算得到总比例,再根据总比例和预设阈值确定输入视频帧对应的目标处理方式。其中,前向视频帧对应的权重可以与前向编码视频帧与输入视频帧的编码距离成负相关关系。
在一个实施例中,编码端可以计算前向编码视频帧中帧内编码块在前向编码视频帧中的比例,当比例大于目标阈值时,确定处理方式为下采样处理方式。
对于帧内编码块对应的比例,可以是当该比例大于目标阈值时,确定输入视频帧对应的目标处理方式为下采样分辨率方式,否则确定视频帧对应的目标处理方式为全分辨率方式。如,当比例大于目标阈值时,确定输入视频帧对应的处理方式为下采样分辨率方式,否则确定视频帧对应的目标处理方式为全分辨率方式。
本发明实施例中,如果帧内编码块的比例大,则说明视频会相对比较复杂或者视频帧之间的相关度比较低,因此得到的预测残差比较大,因此更倾向于采用下采样处理方式进行编码,减少编码数据量。
其中,目标阈值可根据输入视频帧对应的参考帧的处理方式进行确定。当输入视频帧对应的参考帧的处理方式为下采样方式时,编码端可获取第一预设阈值T1,将第一预设阈值T1作为目标阈值。同样地,当输入视频帧对应的参考帧的处理方式为全分辨率方式时,编码端可获取第二预设阈值T2,将第二预设阈值T2作为目标阈值。进一步地,编码端在根据输入视频帧对应的参考帧的分辨率信息获取到目标阈值后,根据目标阈值和前向编码视频帧中帧内编码块在前向编码视频帧中的比例确定输入视频帧的处理方式。其中,当前向编码视频帧中帧内编码块在前向编码视频帧中的比例大于目标阈值时,确定输入视频帧对应的处理方式为下采样处理方式。
在一个实施例中,第二预设阈值大于第一预设阈值,这样,当当前参考帧对应的处理方式全分辨率处理方式时,输入视频帧更倾向于采用全分辨率处理方式,当当前参考帧为下采样处理方式时,输入视频帧更倾向于采用下采样处理方式。
在一个实施例中,当采用自适应分辨率的编码框架对输入视频帧进行编码时,编码端还可将对输入视频帧进行编码时所采用的处理方式对应的处理方式信息添加至输入视频帧对应的编码数据中。具体可以将处理方式信息添加至编码数据对应的帧级头信息中,用于告知解码端当前编码数据对应的输入视频帧在被编码时所采用的处理方式。比如,当编码数据的帧级头信息中用于确定处理方式的标识位Frame_Resolution_Flag为0时,表示输入视频帧在被编码时均采用全分辨率处理方式,在Frame_Resolution_Flag为1时,表示输入视频帧在被编码时采用下采样处理方式,解码端可按照相应的处理方式对编码数据进行解码得到重建视频帧。
在一个实施例中,编码端还可获取输入视频帧对应的处理参数,根据处理参数确定输入视频帧对应的处理方式;当处理参数在解码过程中不能重现时,将处理方式对应的处理方式信息添加至输入视频帧对应的编码数据中。
具体地,处理参数例如可以包括输入视频帧对应的图像编码信息以及图像特征信息中的至少一个等。处理参数在解码过程中不能重现是指在解码的过程中不能得到或者不会产生该处理参数。例如,如果处理参数是与输入视频帧的图像内容对应的信息,而在编码过程中图像信息是存在损失的,则解码过程中输入视频帧对应的解码视频帧与输入视频帧存在差别,因此,解码过程中不会得到输入视频帧的图像内容对应的信息,即图像内容对应的信息在解码过程中不能重现。编码过程中需要计算率失真代价,而解码过程中不计算率失真代价,则当处理参数包括率失真代价时,则该处理参数不能在解码过程中重现。对于编码过程中得到的重建视频帧与输入视频帧的PSNR(Peak Signal to Noise Ratio,峰值信噪比)信息,解码过程中不能得到,因此PSNR信息在解码过程中不能重现。
在一个实施例中,当处理参数在解码端中能够重现时,编码端可以将处理方式对应的处理方式信息添加至输入视频帧对应的编码数据中,也可以不将处理方式对应的处理方式信息添加至输入视频帧对应的编码数据中。其中,将处理方式对应的处理方式信息添加至输入视频帧对应的编码数据中时,解码端可以从编码数据中读取处理方式信息,无需再根据处理数据得到处理方式。当不将处理方式对应的处理方式信息添加至输入视频帧对应的编码数据中时,由解码设备根据处理参数确定处理方式,可以减少编码数据的数据量。
在一个实施例中,当采用下采样处理方式对输入视频帧进行下采样处理,得到待编码视频帧,编码端可以根据执行视频编码方法的设备如终端或者服务器的处理器能力得到具体的下采样的比例。处理器处理能力强的设备对应的下采样比例大,处理器处理能力弱的设备对应的下采样比例小。可以设置处理器处理能力与下采样比例的对应关系,当需要进行编码时,获取处理器处理能力,根据处理器处理能力得到对应的下采样比例。例如,可以设置16位处理器对应的下采样比例为1/8,32位处理器对应的下采样比例为1/4。
在一个实施例中,下采样的比例还可以根据输入视频帧作为参考帧的频率或者次数得到,编码端可以设置下采样比例与输入视频帧作为参考帧的频率或者次数的对应关系。其中,输入视频帧作为参考帧的频率高或者次数多,则下采样比例大。输入视频帧作为参考帧的频率低和/或次数少,则下采样比例小。例如,对于I帧,作为参考帧的频率高,则对应的下采样比例大,例如可以为1/2。对于P帧,作为参考帧的频率低,则对应的下采样比例小,例如可以为1/4。通过根据据输入视频帧作为参考帧的频率或者次数得到下采样比例,当输入视频帧作为参考帧的频率高或者次数多时,图像质量较好,因此能够提高进行预测的准确度,减小预测残差,提高编码图像的质量。
在一个实施例中,当编码端采用下采样处理方式对输入视频帧进行下采样处理,得到待编码视频帧,具体的下采样的方法可以根据执行视频编码方法的设备如终端或者服务器的处理器能力得到。对于处理器处理能力强的设备对应的下采样方法复杂度高,处理器处理能力弱的设备对应的下采样方法复杂度低。可以设置处理器处理能力与下采样方法的对应关系,当需要进行编码时,获取处理器处理能力,根据处理器处理能力得到对应的下采样方法。例如,bicubicinterpolation双三次插值比bilinear Interpolation双线性插值的复杂度高,因此你可以设置16位处理器对应的下采样方法为bilinear Interpolation双线性插值,32位处理器对应的下采样方法bicubicinterpolation双三次插值。
本发明实施例中,在对输入视频帧采用下采样处理方式处理时,还可按照不同的下采样方法或下采样比例进行下采样,对输入视频帧进行处理的方式更为灵活。
在一个实施例中,当编码端采用下采样处理方式对输入视频帧进行下采样处理,得到待编码视频帧时,编码端还可将下采样方法对应的下采样方法信息以及下采样比例对应的下采样比例信息中的至少一种添加至输入视频帧对应的编码数据中。
下采样方法信息在编码数据的添加位置可以是对应的序列级头信息、组级头信息以及帧级头信息中的任一个,下采样方法信息在编码数据的添加位置可以根据下采样方法对应的作用范围确定。例如,编码端可将下采样方法信息添加至输入视频帧序列对应的编码数据的序列级头信息中,表示该输入视频帧序列中各个输入视频帧在被编码时,均采用下采样方法信息对应的下采样方法进行下采样处理,下采样比例是相同的,例如,均采用宽2倍下采样、高2倍下采样,宽3倍下采样、高3倍下采样,宽2倍下采样、高3倍下采样等等。编码端也可将下采样方法信息添加至视频组(GOP,Groups of Picture)对应的编码数据的组级头信息中,表示该视频组中各个输入视频帧在被编码时,均采用下采样方法信息对应的下采样方法进行下采样处理。编码端还可将下采样方法信息添加至视频帧对应的编码数据的帧级头信息中,表示输入视频帧序列中各个输入视频帧在被编码时,按照下采样方法信息对应的下采样方法进行下采样处理。比如,添加至帧级头信息中的用于确定下采样方法信息的标识位Down_Sampling_Method的作用范围限制在帧级,表示编码数据对应的输入视频帧是采用各自的下采样方法信息所对应的下采样方法进行采样处理。
类似地,下采样比例信息在编码数据的添加位置可以是对应的序列级头信息、组级头信息以及帧级头信息中的任一个,下采样比例信息在编码数据的添加位置可以根据下采样比例对应的作用范围确定。比如,添加至帧级头信息中的用于确定下采样比例信息的标识位Down_Sampling_Scale的作用范围限制在帧级,可以实现不同的输入视频帧采用不同的下采样比例进行采样处理,得到不同分辨率的待编码视频帧,例如第1帧下采样比例为1/2,第2帧下采样比例为1/3,等等。
在给定码率的情况下,视频帧的分辨率与清晰度成反比,因而,可对各个输入视频帧按照相应的处理方式进行自适应处理后得到待编码视频帧之后再进行编码,能够提高编码质量,提升图像清晰度,同时,在对输入视频帧采用下采样处理方式处理时,还可按照不同的下采样方法和下采样比例进行下采样,对输入视频帧进行处理的方式更为灵活。
当前参考帧,是在对待编码视频帧进行编码时所要参考的视频帧。当前参考帧是对可作为参考帧的视频帧对应的编码数据重建得到的视频帧。当前待编码视频帧对应的当前参考帧根据帧间预测类型的不同,可为前向参考帧或双向参考帧,待编码视频帧对应的当前参考帧的个数可为一个或多个。例如当待编码视频帧为P帧,则对应的参考帧可以为1个。当待编码视频帧为B帧,则对应的参考帧可以为2个。待编码视频帧对应的参考帧可以是根据参考关系得到的,参考关系根据各个视频编解码标准可以不同。
具体地,编码端在对可作为参考帧的输入视频帧进行帧内预测得到相应的编码数据后,可对该编码数据进行熵解码、反量化、反变换得到各个帧内预测块对应的预测残差,然后将该预测残差与该输入视频帧中相应的参考块相加得到各个重建块,从而得到该输入视频帧的重建帧,即当前参考帧,比如I帧。
类似地,编码端在对可作为参考帧的输入视频帧进行帧间预测得到相应的编码数据后,编码端可对该编码数据进行熵解码、反量化、反变换得到各个帧间预测块对应的预测残差,然后将该预测残差与该输入视频帧对应的参考帧中相应的参考块相加得到各个重建块,从而得到该输入视频帧的重建帧,即当前参考帧,比如P帧。
在一个实施例中,编码端可将输入视频帧序列对应的各个当前参考帧进行缓存,并建立待编码视频帧与当前参考帧之间的对应关系。编码端在对待编码视频帧进行编码时,就可以直接获取对应的当前参考帧。编码端还可以获取当前参考帧对应的分辨率信息。
在一个实施例中,步骤S202,获取待编码视频帧对应的当前参考帧包括:获取第一参考规则,第一参考规则包括待编码视频帧与当前参考帧的分辨率大小关系;根据第一参考规则获取待编码视频帧对应的当前参考帧。
具体地,第一参考规则确定了待编码视频帧与参考帧的分辨率大小的限制关系,分辨率大小关系包括待编码视频帧与参考帧的分辨率相同以及不同的至少一种。当第一参考规则包括待编码视频帧与参考帧的分辨率相同时,第一参考规则还可以包括待编码视频帧与参考帧的分辨率的处理方式参考规则。例如处理方式参考规则可以包括全分辨处理方式的待编码视频帧可以参考全分辨率处理方式的参考帧以及下采样处理方式的待编码视频帧可以参考下采样处理方式的参考帧的一种或两种。当第一参考规则包括待编码视频帧与参考帧的分辨率不相同时,第一参考规则还可以包括待编码视频帧的分辨率大于参考帧的分辨率以及待编码视频帧的分辨率小于参考帧的分辨率的一种或两种。第一参考规则可以包括原始分辨率待编码视频帧可以参考下采样分辨率参考帧、下采样分辨率待编码视频帧可以参考原始分辨率参考帧、原始分辨率待编码视频帧可以参考原始分辨率参考帧以及下采样分辨率待编码视频帧可以参考下采样分辨率的参考帧中的一种或多种。其中原始分辨率待编码视频帧是指该待编码视频帧的分辨率与对应的输入视频帧的分辨率相同,原始分辨率参考帧是指该参考帧的分辨率与其对应的输入视频帧的分辨率相同。下采样分辨率待编码视频帧是指该待编码视频帧是对应的输入视频帧进行下采样处理得到的。下采样分辨率参考帧是指该参考帧是对应的参考帧进行下采样处理得到的。得到第一参考规则后,根据第一参考规则待编码视频帧对应的当前参考帧。使得到的当前参考帧满足第一参考规则。
在一个实施例中,编码端在对待编码视频帧进行编码时,还可将第一参考规则对应的规则信息添加至待编码视频帧对应的编码数据中。
具体地,规则信息用于描述采用的第一参考规则,编码端可以在编码数据中加入描述处理方式的标志位Resolution_Referencer_Rules。具体的标志位的值可以根据需要设置。规则信息在编码数据的添加位置可以是组级头信息、序列级头信息以及帧级头信息中的一个或多个,规则信息在编码数据的添加位置可以根据第一处理参考规则的作用范围确定。例如,当第一参考规则为原始分辨率待编码视频帧可以参考下采样分辨率参考帧时,对应的Resolution_Referencer_Rules可以为1,当第一参考规则为下采样分辨率待编码视频帧可以参考下采样分辨率的参考帧时,对应的Resolution_Referencer_Rules可以为2。若视频帧序列采用相同的第一参考规则,则规则信息在编码数据的添加位置可以是序列级头信息。若视频帧序列的各个视频组采用的第一参考规则可以不同,则规则信息在编码数据的添加位置可以是组级头信息。
S204,确定分像素插值方式;分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种。
其中,分像素插值是通过当前参考帧中整像素的参考数据插值得到分像素级别的参考数据的过程。比如,如图6(1)、6(2)所示,为一个实施例中对当前参考帧进行插值的示意图。参照图6(1),A1、A2、A3、B1、B2、B3等像素点为当前参考帧中的2*2整像素点,根据这些整像素点的参考数据计算得到分像素点的参考数据,比如,可根据A1、A2、A3三个整像素点的参考数据取平均值计算得到分像素点a23的参考数据,根据A2、B2、C2三个整像素点的参考数据取平均值计算得到分像素点a21的参考数据,再根据分像素点a23、a21的参考数据计算得到分像素点a22的参考数据,实现对当前参考帧进行1/2像素精度插值。参照图6(2),A1、A2、A3、B1、B2、B3等像素点为当前参考帧中的4*4整像素点,根据这些整像素点的参考数据计算得到15个分像素点参考数据,实现对当前参考帧进行1/4像素精度插值。比如,根据A2、B2整像素点的参考数据计算得到分像素点a8的参考数据,根据A2、A3整像素点的参考数据计算得到分像素点a2的参考数据,同理计算得到a1至a15共15个分像素点的参考数据,实现对整像素点A2的1/4像素精度插值。编码端在对待编码视频帧进行编码的过程中,需要在当前参考帧中采用运动搜索技术找到与待编码视频帧中编码块相应的参考块,根据编码块相对于参考块的运动信息计算得到运动矢量,对运动矢量进行编码以告知解码端参考块对应的参考数据在当前参考帧中的位置,因而,通过对当前参考帧进行分像素插值处理得到目标参考帧,待编码视频帧就可以根据分辨率更高的目标参考帧进行运动估计,从而提高运动估计的准确度,提升编码质量。
分像素插值方式是对获取的当前参考帧进行分像素插值处理的方式,包括直接对当前参考帧进行分像素插值处理以及对当前参考帧进行采样处理后再分像素插值处理。
具体地,在当前参考帧与待编码视频帧的分辨率相同时,编码端可直接对当前参考帧进行分像素插值处理;在当前参考帧与待编码视频帧的分辨率不相同时,编码端可直接对当前参考帧进行分像素插值处理,也可对当前参考帧进行采样得到与待编码视频帧分辨率相同的帧、再对得到分辨率相同的帧进行分像素插值处理,适用两种分像素插值方式。其中,对当参考帧进行采样包括上采样处理和下采样处理。在一个实施例中,若当前参考帧的个数为多个,则分别对每个当前参考帧进行采样得到与待编码视频帧分辨率相同的帧。
本实施例中,对当前参考帧进行采样得到与待编码视频帧分辨率相同的帧,可在一定程度上提高待编码视频帧与要参考的帧之间的图像匹配度,从而提高帧间预测的准确度,减小预测残差,提高编码图像的质量。
在一个实施例中,编码端和解码端可在各自的编解码规则中设置根据当前参考帧进行处理得到目标参考帧时所采用的分像素插值方式,采用的分像素插值方式应当是一致的,在编、解码时就根据配置确定对当前参考帧进行处理所对应的分像素插值方式。
在一个实施例中,当采用自适应分辨率的编码框架对输入视频帧进行编码时,编码端还可将分像素插值方式对应的分像素插值方式信息添加至待编码视频帧对应的编码数据中。分像素插值方式信息在编码数据的添加位置可以是对应的序列级头信息、组级头信息以及帧级头信息中的任一个,分像素插值方式信息在编码数据的添加位置可以根据分像素插值方式对应的作用范围确定。编码端可将分像素插值方式信息添加至输入视频帧对应的编码数据的帧级头信息中,表示输入视频帧在被编码时对应的当前参考帧采用分像素插值方式信息对应的分像素插值方式进行分像素插值处理。例如,当编码数据的帧级头信息中用于确定分像素插值方式的标识位Pixel_Sourse_Interpolation为0时,表示输入视频帧对应的当前参考帧采用直接进行分像素插值处理,在Pixel_Sourse_Interpolation为1时,表示输入视频帧对应的当前参考帧采用采样处理后再分像素插值处理。解码端就可按照编码数据中标识位所表示的分像素插值方式对当前参考帧进行分像素插值处理得到目标参考帧,从而可依据目标参考帧对编码数据进行解码得到重建视频帧。
S206,采用分像素插值方式,根据待编码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧。
其中,待编码视频帧的分辨率信息可以是待编码视频帧的分辨率,也可以是对输入视频帧进行下采样处理得到待编码视频帧所对应的下采样比例信息。比如,输入视频帧的分辨率均为2M*2N,通过对输入视频帧进行下采样处理得到的分辨率为M*N的待编码视频帧,那么分辨率信息可以是待编码视频帧的分辨率M*N,也可以是下采样比例信息,即为1/2;又比如,待编码视频帧对应的处理方式是全分辨率处理方式,即直接将输入视频帧作为待编码视频帧,那么分辨率信息可以是待编码视频帧的分辨率2M*2N,也可以是下采样比例信息,即为1。
目标参考帧,是对当前参考帧按照相应的分像素插值方式进行分像素插值处理后得到的视频帧。具体地,编码端可根据待编码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率信息所表示的分辨率之间的比例关系,确定所采用分像素插值方式对应的采样方法,包括上采样或下采样。
在一个实施例中,编码端可根据待编码视频帧的分辨率与当前参考帧的分辨率之间的比例关系确定对当前参考帧进行采样的比例。比如,输入视频帧的分辨率均为2M*2N,通过对当前输入视频帧按照全分辨率处理方式进行处理,即直接将当前输入视频帧作为待编码视频帧,则待编码视频帧的分辨率为2M*2N,而对可作为参考帧的输入视频帧按照下采样处理方式进行处理,得到下采样后的当前待编码参考帧的分辨率为M*2N,则重建后得到的相应的当前参考帧的分辨率也为M*2N,那么就确定对当前参考帧以宽2倍、高1倍的采样比例进行上采样处理,得到与待编码视频帧分辨率相同的帧。若编码端通过对当前输入视频帧按照下采样处理方式进行处理,下采样后得到的待编码视频帧的分辨率为M*N,而对可作为参考帧的输入视频帧按照全分辨率处理方式进行处理,那么重建后得到的当前参考帧的分辨率为2M*2N,则确定对当前参考帧以宽、高均为1/2的采样比例进行下采样处理,得到与待编码视频帧分辨率相同的帧。
在一个实施例中,由于输入视频帧的分辨率一般是相同的,编码端可根据输入视频帧进行下采样得到待编码视频帧所对应的下采样比例,以及对可作为参考帧的输入视频帧进行下采样得到待编码参考帧所对应的下采样比例,确定对当前参考帧进行采样的比例。比如,通过对输入视频帧以1/2的采样比例进行下采样处理得到待编码视频帧,通过对可作为参考帧的输入视频帧以1/4的采样比例进行下采样处理得到待编码参考帧,那么根据待编码参考帧的编码数据重建后得到的当前参考帧对应的下采样比例也是1/4,那么,根据两者下采样比例之间的倍数关系,可确定对当前参考帧以2倍的采样比例进行上采样处理得到与待编码视频帧分辨率相同的帧。
在一个实施例中,编码端对当前参考帧进行采样的采样方法与对输入视频帧进行下采样得到待编码视频帧的采样算法匹配,即如果需要对当前参考帧进行下采样,则下采样算法与对待编码视频帧进行下采样得到待编码视频帧的下采样算法相同。如果需要对当前参考帧进行上采样,则上采样算法与对输入视频帧进行下采样得到当前待编码视频帧的下采样算法匹配的相反的采样算法。
本实施例中,对当前参考帧进行采样的采样算法与对待编码视频帧进行下采样得到当前编码视频帧的采样算法匹配,可进一步提高当前参考帧与当前编码视频帧的图像匹配度,进一步提高帧间预测的准确度,减小预测残差,提高编码图像的质量。
S208,根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据。
具体地,编码可以包括预测、变换、量化以及熵编码中的至少一个。当待编码视频帧为P帧以及B帧时,编码端可以获取待编码视频帧对应的当前参考帧,根据当前参考帧进行预测得到预测残差,并对预测残差进行变换、量化以及熵编码等得到输入视频帧对应的编码数据,其中,得到编码数据的过程中,根据待编码视频帧的分辨率对当前参考帧、待编码视频帧的各个编码块对应的位置信息以及运动矢量中的至少一个进行处理。例如,在计算预测残差时,编码端可以根据待编码视频帧的分辨率信息对当前参考帧进行处理,得到目标参考帧,从目标参考帧中获取待编码视频帧中各个编码块对应的参考块,根据参考块进行预测,得到编码块对应的预测值,再根据编码块的实际值与预测值的差值得到预测残差。编码端计算目标运动矢量时,如果当前参考帧的分辨率与待编码视频帧的分辨率不同,可以根据当前参考帧与待编码视频帧的分辨率对编码块的位置信息或者解码块的位置信息进行变换,再根据变换后的位置信息得到目标运动矢量,以减少目标运动矢量的值,减少编码数据的数据量。或者,如果目标运动矢量对应的分辨率信息与待编码视频帧的分辨率信息不同,则在计算得到待编码视频帧的编码块对应的第一运动矢量时,根据待编码视频帧的分辨率信息以及目标运动矢量对应的分辨率信息对第一运动矢量进行变换,得到目标运动矢量。例如,假设待编码视频帧的分辨率为400*800像素,当前参考帧的分辨率为800*1600像素。则可以根据待编码视频帧的分辨率对当前参考帧进行进行1/2下采样,得到目标参考帧的分辨率为400*800像素,再根据目标参考帧进行视频编码。当待编码对应的分辨率信息与当前参考帧对应的分辨率信息不同,对待编码视频帧对应的编码块的位置信息变换,得到变换后的位置.
在一个实施例中,编码端还可将对当前参考帧进行处理对应的采样方式信息添加至当前参考帧对应的编码数据中。编码端还可获取待编码视频帧进行编码时对应的编码方式;将编码方式对应的编码方式信息添加至输入视频帧对应的编码数据中。
具体地,编码方式是与编码端进行编码有关的处理方式。例如可以包括编码时对参考帧进行解码重建后的视频帧采用的上采样方式、参考规则对应的规则、对参考帧进行分像素插值中的一种或多种等。通过将编码方式对应的编码方式信息添加至输入视频帧对应的编码数据,解码端可以根据编码方式信息对待解码视频帧进行解码。
在一个实施例中,编码端也可以不将编码方式对应的编码方式信息添加到编码数据中。而是在编码端与解码端预先设置编码方式,在解码端中设置与该编码方式对应的解码方式。或者编码端与解码端可以根据相同或者对应的算法计算得到对应的编码方式以及解码方式。例如,在编解码标准中预先设置编码端对当前参考帧进行上采样方法与解码端对当前参考帧进行上采样的方法相同。
上述视频编码方法,在获取到待编码视频帧对应的当前参考帧后,可确定当前参考帧的分像素插值方式,采用该分像素插值方式,根据当前参考帧的分辨率信息,对当前参考帧进行处理,调整当前参考帧的分辨率,得到目标参考帧,即使当前参考帧与待编码视频帧的分辨率不同,也可作为待编码视频帧的参考帧,根据得到的目标参考帧对待编码视频帧进行编码,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,提高编码图像的质量。
如图7所示,在一个实施例中,步骤S206,采用分像素插值方式,根据待编码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧具体包括:
S702,获取待编码视频帧对应的运动估计像素精度。
其中,运动估计像素精度是待编码视频帧中的编码块对应的运动矢量的单位长度。编码端在对待编码视频帧中的编码块进行编码时,可按照获取的运动估计像素精度将编码块对应的运动矢量的单位长度进行细化,这样得到的运动向量更为精细和准确,因而,编码端需要按照获取的运动估计像素精度对当前参考帧进行分像素插值处理得到目标参考帧,再依据目标参考帧计算待编码视频帧中各编码块对应的运动向量,基于该运动向量进行编码得到待编码视频帧对应的编码数据。
S704,采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧。
具体地,编码端可获取当前参考帧的分辨率信息,根据待编码视频帧采用的分像素插值方式,以及待编码视频帧的分辨率信息、当前参考帧的分辨率信息以及待编码视频帧对应的运动估计像素精度确定对当前参考帧进行何种采样处理、采样处理对应的采样比例以及像素插值精度。
在一个实施例中,运动估计像素精度一般为1/2像素精度、1/4像素精度或1/8像素精度,更高精度的运动估计并不能更明显的提升编码质量,却会导致计算复杂度的显著提升。
在一个实施例中,编码端可根据待编码视频帧的图像特征信息为该待编码视频帧配置相应的运动估计像素精度,图像特征信息比如该待编码视频帧的大小、纹理信息、运动速度等,可综合多种图像特征信息确定待编码视频帧对应的运动估计像素精度。待编码视频帧所携带的图像数据越复杂,图像信息越丰富,相应的运动估计像素精度更高。比如,在对P帧进行帧间预测时,可采用较高的运动估计像素精度计算P帧中各编码块对应的运动矢量,而在对B帧进行帧间预测时,可采用较低的运动估计像素精度计算B帧中各编码块对应的运动矢量。
如图8所示,在一个实施例中,步骤S704,采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧包括:
S802,当分像素插值方式为采样后分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待编码视频帧的分辨率信息对当前参考帧进行下采样处理,得到中间参考帧。
具体地,当待编码视频帧对应的分像素插值方式为采样后分像素插值方式,表示要对当前参考帧先进行采样处理,得到与待编码视频帧分辨率相同的中间参考帧,再对中间参考帧进行分像素插值处理得到对应的目标参考帧。
S804,根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
如前文,当根据待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,编码端就需要根据二者之间分辨率的比例关系,确定对当前参考帧进行下采样的采样比例,按照该采样比例进行下采样后得到与待编码视频帧相同分辨率的中间参考帧;然后基于运动估计像素精度对中间参考帧进行分像素插值处理,得到目标参考帧,并且,这种情况下,像素插值精度与运动估计像素精度相同。
举例说明:编码端通过对分辨率为2M*2N的输入视频帧按照下采样处理方式进行下采样处理得到分辨率为M*N的待编码视频帧,而当前参考帧的分辨率为2M*2N(全分辨率处理方式),则对当前参考帧按照1/2的采样比例进行下采样处理得到分辨率为M*N的中间参考帧,若获取的待编码视频帧对应的运动估计像素精度为1/2,再对中间参考帧按照与运动估计像素精度相同的像素插值精度,即1/2分像素插值精度进行分像素插值处理,得到目标参考帧;若获取的待编码视频帧对应的运动估计像素精度为1/4,则对中间参考帧按照1/4分像素插值精度进行分像素插值处理,得到分辨率更高的目标参考帧。
当然,当前参考帧也可以是通过采用下采样处理方式得到的。比如,编码端通过对分辨率为2M*2N的输入视频帧按照下采样处理方式进行下采样处理得到分辨率为1/2M*1/2N的待编码视频帧,而当前参考帧是通过对分辨率为2M*2N的输入视频帧进行下采样处理得到分辨率为M*N的待编码参考帧对应的编码数据重建得到的,那么,当前参考帧的分辨率也为M*N,因而,待编码视频帧的分辨率小于当前参考帧的分辨率,可对当前参考帧按照1/2的采样比例进行下采样处理得到与待编码视频帧相同的中间参考帧,然后再基于运动估计像素精度进行分像素插值处理得到目标参考帧。
如图9所示,在一个实施例中,步骤S704,采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧包括:
S902,当分像素插值方式为直接分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待编码视频帧的分辨率信息以及运动估计像素精度计算得到像素插值精度。
S904,根据像素插值精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
具体地,当待编码视频帧对应的分像素插值方式为直接分像素插值方式,表示可对当前参考帧直接进行分像素插值处理得到目标参考帧。可以理解,由于当前参考帧的分辨率大于待编码视频帧的分辨率,因此,当前参考帧中部分分像素点的数据可直接复用,可作为与运动估计像素精度相应的分像素点对应的数据。
比如,待编码视频帧的分辨率为M*N,当前参考帧的分辨率为2M*2N,若运动估计像素精度为1/2,那么当前参考帧可直接作为目标参考帧;若运动估计像素精度为1/4,那么计算得到像素插值精度为1/2,可对当前参考帧以1/2像素插值精度进行分像素插值处理得到目标参考帧。
如图10所示,在一个实施例中,步骤S704,采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧包括:
S1002,当分像素插值方式为采样后分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,根据待编码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧。
S1004,根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
如前文,当待编码视频帧的分辨率大于当前参考帧的分辨率时,编码端需要对当前参考帧进行上采样处理,得到与待编码视频帧分辨率相同的中间参考帧,然后基于待编码视频帧对应的运动估计像素精度对中间参考帧进行分像素插值处理,得到目标参考帧。
比如,待编码视频帧的分辨率为2M*2N,当前参考帧的分辨率为1/2M*1/2N,则需要按照1/4采样比例对当前参考帧进行上采样处理得到与待编码视频帧分辨率相同的中间参考帧,若运动估计像素精度为1/2,则继续对得到的中间参考帧按照1/2像素插值精度进行分像素插值处理,得到目标参考帧;若运动估计像素精度为1/4,则继续对得到的中间参考帧按照1/4像素插值精度进行分像素插值处理,得到目标参考帧。
在一个实施例中,采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧包括:当分像素插值方式为直接分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率相同时,根据运动估计像素精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
具体地,通过全分辨处理方式对输入视频帧进行处理得到待编码视频帧,且当前参考帧的分辨率也是原分辨时,则待编码视频帧的分辨率和当前参考帧的分辨率相同。或者,通过下采样方式对输入视频帧进行处理得到待编码视频帧,且当前参考帧帧也是采用相同采用比例的下采样方式编码得到的编码数据重建得到的,则待编码视频帧的分辨率和当前参考帧的分辨率相同。那么,编码端就可以直接基于运动估计像素精度直接对当前参考帧进行分像素插值处理得到目标参考帧,并且,分像素插值处理对应的像素插值精度和运动估计像素精度相同。
在上述实施例中,通过对当前参考帧进行分像素插值处理,使得当前参考帧的分辨率更高,这样计算得到的待编码视频帧相对于参考帧的运动矢量更为精细,进一步减小预测残差,能够提高编码质量。
在一个实施例中,如图11所示,步骤S208,根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据,包括:
S1102,根据待编码视频帧的分辨率信息和第一分辨率信息确定第一矢量变换参数,第一分辨率信息包括输入视频帧对应的目标运动矢量单位分辨率信息。
具体地,第一矢量变换参数用于对得到运动矢量的位置信息或者运动矢量进行变换,以使得变换后的运动矢量或者位置与。分辨率信息是与分辨率相关的信息,例如可以是分辨率本身或者下采样比例等。第一矢量参数可以是待编码视频帧的分辨率信息和第一分辨率信息之间的比例,可以是待编码视频帧的分辨率信息除以第一分辨率信息得到的。也可以是第一分辨率信息除以待编码视频帧的分辨率信息得到的。或者,得到比例后,可以对比例乘以相应的系数或者加上预设的偏移量得到。例如,假设当前参考帧的下采样比例为1/3,待编码视频帧的下采样比例为1/6。则第一矢量变换参数可以为1/3除以1/6等于2。
S1104,根据第一矢量变换参数得到待编码视频帧中各个编码块对应的目标运动矢量。
具体地,编码端得到第一矢量变换参数后,根据第一矢量变换参数对得到的运动矢量或者运动矢量对应的位置信息进行变换,得到目标运动矢量。
在一个实施例中,步骤S1102,根据待编码视频帧的分辨率信息和第一分辨率信息确定第一矢量变换参数包括:获取目标运动矢量单位分辨率信息;根据待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息确定第一矢量变换参数。
具体地,目标运动矢量单位分辨率信息是指与目标运动矢量的单位对应的分辨率相关的信息,例如可以是分辨率或者下采样比例。目标运动矢量的单位对应的分辨率是指该目标运动矢量的单位是以该分辨率下的矢量单位为标准计算的。由于输入视频序列的对应的各个待编码视频帧可能有一些分辨率与输入视频帧的原始分辨率相同,而另一些待编码视频帧的分辨率比输入视频帧的原始分辨率小,即待编码视频帧的分辨率可能有一种或多种,因此需要确定目标运动矢量的单位对应的分辨率。目标运动矢量的单位对应的分辨率可以是在编码前已经设定或者根据编码过程的参数得到,具体可以根据需要进行设置。
在一个实施例中,目标运动矢量的单位对应的分辨率可以是输入视频帧对应的分辨率,即原始分辨率,或者目标运动矢量的单位对应的分辨率可以是待编码视频帧对应的分辨率。第一矢量变换参数可以是目标运动矢量单位对应的分辨率信息与待编码视频帧的分辨率信息的比例。例如,假设目标运动矢量单位对应的分辨率是原始分辨率,目标运动矢量单位对应的采样比例为1,待编码视频帧的分辨率的采样比例为1/2,则,第一矢量变换参数可以为1除以1/2等于2。或者,假设目标运动矢量单位对应的分辨率是原始分辨率,为900*900像素,目待编码视频帧的分辨率的采样比例为450*600像素,第一矢量变换参数可以包括两个,水平方向的第一矢量变换参数以及垂直方向的第一矢量变换参数。则水平方向的第一矢量变换参数为900/450=2,垂直方向的第一矢量变换参数为900/600=1.5。
在一个实施例中,编码端可以根据进行编码的设备的计算能力得到目标运动矢量单位分辨率信息,例如,当进行编码的设备只能对整数进行运算或者当数值为小数时运算耗时长,则目标运动矢量单位对应的分辨率可以为输入视频帧对应的分辨率,当进行编码的设备智快速进行小数的运算,目标运动矢量单位对应的分辨率可以为待编码视频帧对应的分辨率。
在一个实施例中,当根据待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息确定第一矢量变换参数时,步骤S1104即根据第一矢量变换参数得到待编码视频帧中各个编码块对应的目标运动矢量包括:根据当前编码块与对应的目标参考块的位移得到第一运动矢量;根据第一矢量变换参数以及第一运动矢量得到当前编码块对应的目标运动矢量。
具体地,第一运动矢量是根据当前编码块与对应的目标参考块的位移得到的,目标参考块可以是从对当前参考帧进行处理后得到的目标参考帧中获取的,得到第一运动矢量后,可以将第一矢量变换参数以及第一运动矢量相乘,将得到的乘积作为目标运动矢量。假设目标运动矢量单位对应的分辨率是原始分辨率,由于目标运动矢量单位是原始分辨率,而第一运动矢量是在待编码视频帧的分辨率下计算得到的,因此需要对第一运动矢量进行变换。如果第一矢量变换参数等于2。得到的第一运动矢量为(2,2,),则目标运动矢量为(4,4)。得到目标运动矢量后,可以根据目标运动矢量进行编码,例如可以对目标运动矢量以及当前编码块对应的预测残差进行编码,得到编码数据。
在一个实施例中,当待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息一致时,第一矢量变换参数为1,第一运动矢量与目标运动矢量相同,因此,可以跳过步骤S1102,将第一运动矢量作为目标运动矢量。当待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息不一致时,则执行步骤S1102。
在一个实施例中,当待编码视频帧与目标参考帧的分辨率信息不同时,则得到第一运动矢量的步骤包括:根据待编码视频帧的分辨率信息和目标参考帧的分辨率信息确定第三矢量变换参数;根据第三矢量变换参数得到待编码视频帧中各个编码块对应的第一运动矢量。
在一个实施例中,根据第三矢量变换参数得到待编码视频帧中各个编码块对应的第一运动矢量包括:获取当前编码块对应的第一位置信息,获取当前编码块对应的目标参考块对应的第二位置信息;根据第三矢量变换参数、第一位置信息和第二位置信息计算得到当前编码块对应的第一运动矢量。
具体地,当前编码块是输入视频帧中当前需要进行预测编码的编码块。目标参考块是目标参考帧中用于对当前编码块进行预测编码的图像块。当前编码块对应的第一位置信息可以用像素的坐标表示。当前编码块对应的第一位置信息可以包括当前编码块的全部像素对应的坐标,当前编码块对应的第一位置信息也可以是包括当前编码块的一个或多个像素的坐标。当前编码块对应的第一位置信息可以包括当前编码块的全部像素对应的坐标,当前编码块对应的第一位置信息也可以是包括当前编码块的一个或多个像素的坐标。目标参考块对应的第二位置信息可以包括目标参考块的全部像素对应的坐标,目标参考块对应的第二位置信息也可以是包括目标参考块的一个或多个像素的坐标。例如,可以当前图像块的第一个像素点的坐标作为当前编码块的坐标值,以目标参考块的第一个像素点的坐标作为目标参考块的坐标值。
编码端可以利用第三矢量变换参数对第一位置信息进行变换,得到对应的第一变换位置信息,根据第一变换位置信息与第二位置信息的差值得到第一运动矢量。或者可以利用第三矢量变换参数对第二位置信息进行变换,得到对应的第二变换位置信息,根据第一位置信息与第二位变换置信息的差值得到第一运动矢量。
在一个实施例中,第三矢量变换参数是待编码视频帧的分辨率与目标参考帧的分辨率信息中,大分辨率信息除以小分辨率信息得到的比例,其中,大分辨率信息对应的分辨率比小分辨率对应的分辨率大。第三矢量变换参数用于与待编码视频帧与目标参考帧中小分辨率信息的帧的位置信息进行变换。例如,待编码视频帧的分辨率为1200*1200像素,目标参考帧的分辨率为600*600像素,则大分辨率为1200*1200像素,小分辨率为600*600像素。第一矢量变换参数可以为2。假设第一位置信息为(6,8),第二位置信息为(3,3)。则第一运动矢量为(6,8)-(3*2,3*2)=(0,2)。本发明实施例中,通过小分辨率信息的帧对应的位置信息进行变换,可以降低第一运动矢量的值,减少编码数据的数据量。
本发明实施例中,当第一运动矢量的单位对应的分辨率为输入视频帧对应的分辨率,即原始分辨率,对于分辨率统一的输入视频帧序列,各个输入视频帧对应的目标运动矢量单位是一致的,可以保持目标运动矢量的延续性。当目标运动矢量的单位对应的分辨率为待编码视频帧对应的分辨率时,由于待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息一致,因此不需要需对第一运动矢量进行变换,可以减少计算时间。
在一个实施例,如图12所示,步骤S208即根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据包括:
S1202,获取当前编码块对应的初始预测运动矢量;
具体地,为了降低用于编码数据的比特数,编码端可以对当前编码块的运动矢量进行预测,得到预测值,计算目标运动矢量与预测值的差值,得到运动矢量差值,对运动矢量差值进行编码。初始预测运动矢量用于对当前编码块的运动矢量进行预测。初始预测运动矢量的数量可以为一个或多个,具体可以根据需要进行设置。初始预测运动矢量的获取规则可以根据需要进行设置,由于当前编码块与其相邻编码块的往往具有空间相关性,因此可以将当前编码块对应的一个或多个相邻已编码块的对应的目标运动矢量值作为初始预测运动矢量。例如,可以将当前编码块中右上角以及左上角的相邻已编码块对应的第一运动矢量值作为初始预测运动矢量。
S1204,根据初始预测运动矢量对应的当前运动矢量单位分辨率信息和目标运动矢量单位分辨率信息,得到第二矢量变换系数;
具体地,当前运动矢量单位分辨率信息是指与目标运动矢量的单位对应的分辨率相关的信息,例如可以是分辨率或者下采样比例。初始预测运动矢量的单位对应的分辨率是指该初始预测运动矢量的单位是以该分辨率下的矢量单位为标准计算的。当初始预测运动矢量对应的当前运动矢量单位分辨率信息和目标运动矢量单位分辨率信息不同,则编码端需要根据初始预测运动矢量对应的当前运动矢量单位分辨率信息和目标运动矢量单位分辨率信息得到第二矢量变换系数。第一矢量变换参数可以是目标运动矢量单位对应的分辨率信息与当前运动矢量单位分辨率信息的比例。例如,假设目标运动矢量单位对应的分辨率是200*200像素,当前运动矢量单位分辨率信息是100*100像素,则第一矢量变换参数可以是2。
S1206,根据初始预测运动矢量和第二矢量变换系数得到当前编码块对应的目标预测运动矢量;
具体地,得到第二矢量变换参数后,根据初始预测运动矢量与第二矢量变换系数进行运算,得到目标预测运动矢量。例如,当初始预测运动矢量为一个时,可以将初始预测运动矢量与第二矢量变换系数的乘积作为目标预测运动矢量。当初始预测运动矢量为多个时,编码端可以对初始预测运动矢量进行计算,得到计算结果,根据计算结果与第二矢量变换系数得到目标运动矢量。计算结果可以是初始预测运动矢量中的最小值、平均值以及中位数值中的一种或多种。可以理解,根据初始预测运动矢量和第二矢量变换系数得到目标预测运动矢量的算法可以自定义,在解码端可以利用一致的自定义的算法计算得到相同的目标预测运动矢量。
S1208,根据目标运动矢量和目标预测运动矢量得到运动矢量差。
具体地,将运动目标矢量与目标预测运动矢量的差值作为运动矢量差,以根据运动矢量差进行编码,得到编码数据,减少编码数据的数据量。
在一个实施例中,如图13所示,提供了一种视频解码方法,以应用于图1所示的应用环境中的终端110或服务器120来举例说明,包括以下步骤:
S1302,获取待解码视频帧对应的编码数据。
其中,待解码视频帧是需要进行解码的视频帧,编码数据是用于进行解码的数据。解码端可通过网络接收编码端发送的编码数据。编码数据可以是编码端按照全分辨率处理方式对输入视频帧进行编码得到的,也可以是编码端按照相应的处理方式下采样处理方式对输入视频帧进行下采样后再进行编码得到的。
在一个实施例中,解码端可从编码数据的头信息中获取待解码视频帧对应的处理方式信息,在得到待解码视频帧对应的重建视频帧之后,解码端可按照与该处理方式信息匹配的方式对重建视频帧进行处理,得到解码视频帧。头信息具体可以是编码数据的帧级头信息,表示当前编码数据对应的输入视频帧在被编码时所采用的处理方式。比如,当编码数据的帧级头信息中用于确定处理方式的标识位Frame_Resolution_Flag为0时,表示输入视频帧在被编码时均采用全分辨率处理方式,则解码端对编码数据进行解码得到的重建视频帧即为待解码视频帧对应的解码视频帧;在Frame_Resolution_Flag为1时,表示输入视频帧在被编码时采用下采样处理方式,解码端可按照与该下采样处理方式相匹配的处理方式对得到的重建视频帧进一步处理,得到解码视频帧。进一步处理比如是上采样处理。
在一个实施例中,解码端可从编码数据的头信息中确定待解码视频帧对应的解码框架。具体地,解码端可以从编码数据对应的序列级头信息中,获取当前编码数据对应的输入视频帧序列中每个输入视频帧在被编码时所采用的编码框架,从而确定与之匹配的待解码视频帧的解码框架。比如,当编码数据的序列级头信息中用于确定所采用编码框架的标识位Sequence_Mix_Flag为0时,表示输入视频帧序列中各个输入视频帧在被编码时均采用恒定分辨率编码框架,则解码端可采用恒定分辨率的解码框架对编码数据进行解码得到待解码视频帧对应的重建视频帧;在Sequence_Mix_Flag为1时,表示输入视频帧序列中各个输入视频帧在被编码时均采用自适应分辨率的编码框架,解码端就可采用自适应分辨率的解码框架对编码数据进行解码得到重建视频帧序列。
图14为一个实施例中提供的视频解码方法对应的解码框架图,本发明实施例提供的视频解码方法可以通过编码数据获取单元1400获取待解码视频序列的各个待解码视频帧对应的编码数据,通过熵解码单元1402进行熵解码后,得到熵解码数据,第二反量化单元1404对熵解码数据进行反量化,得到反量化数据,第二反变换单元1406对反量化数据进行反变换,得到反变换的数据,该反变换的数据可以与图4中第一反变换单元1414进行反变换后得到的数据是一致的,第二参考信息自适应单元1412用于获取第二重建单元重建得到当前参考帧,根据待解码视频帧的分辨率信息对当前参考帧、待解码帧的各个待解码块对应的位置信息、当前参考帧的各个参考块对应的位置信息以及运动矢量等参考信息中的至少一个进行自适应处理,根据自适应处理后的信息进行预测。第二预测单元1414根据自适应后得到的参考信息获取待解码块对应的参考块,根据参考块的图像值得到与图4中的预测值一致的预测值。第二重建单元1410根据预测值以及反变换的数据即预测残差进行重建,得到重建视频帧。第二处理单元1416根据待解码视频帧对应的分辨率信息对重建视频帧进行处理,得到对应的解码视频帧。播放存储单元1418可以对解码视频帧进行播放或者存储,或者进行播放以及存储。
在一个实施例中,当解码端采用自适应分辨率的解码框架对编码数据进行解码时,还可根据决策算法确定当前编码数据对应的处理方式。该决策算法应当与编码端所采用的对输入视频帧进行编码时所采用的决策算法相匹配。
在一个实施例中,当解码端从编码数据的头信息中确定当前编码数据是通过下采样处理方式进行编码得到的,则解码端还可从头信息中获取所采用的下采样比例信息或下采样方法信息,并采用与下采样比例信息或下采样方法信息匹配的上采样比例、上采样方法对得到的重建视频帧进行上采样处理,得到解码视频帧。比如,下采样比例信息对应的采样比例为1/2,则解码端需要按照1/2采样比例、以及下采样方法信息匹配的上采样方法对重建视频帧进行上采样处理,得到解码视频帧。解码端可以从序列级头信息、组级头信息以及帧级头信息中的任一个获取到当前编码数据对应的下采样比例信息或下采样方法信息。
S1304,获取待解码视频帧对应的当前参考帧。
其中,当前参考帧是在对待解码视频帧进行解码时所要参考的视频帧。当前参考帧是对可作为参考帧的视频帧对应的编码数据重建得到的视频帧。当前待编码视频帧对应的当前参考帧根据帧间预测类型的不同,可为前向参考帧或双向参考帧,待编码视频帧对应的当前参考帧的个数可为一个或多个。需要说明的是,视频解码方法中的当前参考帧与视频编码方法中的当前参考帧是对应的。
具体地,解码端可在获取到当前参考帧对应的编码数据后,可对编码数据进行熵解码、反量化、反变换得到各个帧内预测块对应的预测残差,然后将该预测残差与相应的参考块相加得到各个重建块,从而得到该输入视频帧的重建帧,即当前参考帧,比如I帧。
在一个实施例中,解码端可将待解码视频帧对应的各个当前参考帧进行缓存,并建立待解码视频帧与当前参考帧之间的对应关系。在对待解码视频帧进行解码时,就可以直接获取对应的当前参考帧。还可以获取当前参考帧对应的分辨率信息。比如,对于一个GOP组而言,通常多个在后的待解码视频帧需要参考同一个在前的参考帧。
在一个实施例中,步骤S1304获取待解码视频帧对应的当前参考帧具体包括:获取第二参考规则,第二参考规则包括待解码视频帧与当前参考帧的分辨率大小关系;根据第二参考规则获取待解码视频帧对应的当前参考帧。
具体地,第二参考规则确定了待解码视频帧与当前参考帧的分辨率大小的限制关系,可以理解,为了保证编码过程中获取得到的当前参考帧与解码过程中获取得到的参考帧的一致性,第一参考规则与第二参考规则是一致的。第一参考规则、第二参考规则可以是在编解码标准中预先设置的。或者,在进行编码时,可以根据编码的应用场景、实时性要求等选择第一参考规则,并在编码数据中携带参考规则信息,解码器根据编码数据中的参考规则信息得到第二参考规则。分辨率大小关系包括待解码视频帧与参考帧相同以及不同的至少一种。当第二参考规则包括待解码视频帧与参考帧的分辨率相同时,第二参考规则还可以包括待解码视频帧与当前参考帧的分辨率的处理方式参考规则。例如处理方式参考规则可以包括全分辨处理方式的待解码视频帧可以参考全分辨率处理方式的当前参考帧以及下采样处理方式的待解码视频帧可以参考下采样处理方式的当前参考帧的一种或两种。当第二参考规则包括待解码视频帧与参考帧的分辨率不相同时,第二参考规则还可以包括待解码视频帧的分辨率大于当前参考帧的分辨率以及待解码视频帧的分辨率小于当前参考帧的分辨率的一种或两种。因此,第二参考规则可以包括原始分辨率待解码视频帧可以参考下采样分辨率参考帧、下采样分辨率待解码视频帧可以参考原始分辨率参考帧、原始分辨率待解码视频帧可以参考原始分辨率参考帧以及下采样分辨率待解码视频帧可以参考下采样分辨率的参考帧中的一种或多种。其中原始分辨率待解码视频帧是指该待解码视频帧的分辨率与对应的输入视频帧的分辨率相同,原始分辨率参考帧是指该参考帧的分辨率与其对应的输入视频帧的分辨率相同。下采样分辨率待解码视频帧是指该待解码视频帧对应的分辨率信息为下采样。下采样分辨率参考帧是指该参考帧对应的分辨率信息为下采样。得到第二参考规则后,根据第二参考规则待解码视频帧对应的当前参考帧,使得到的当前参考帧满足第二参考规则。
S1306,确定分像素插值方式;分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种。
其中,分像素插值是通过当前参考帧中整像素的参考数据插值得到分像素级别的参考数据的过程。在对待解码视频帧进行解码的过程中,解码端需要根据编码数据进行解码得到运动矢量,从而根据运动矢量确定待解码视频帧中的解码块在当前参考帧中对应的位置,并根据编码数据进行解码得到残差,将当前参考帧中对应位置处的数据与残差相加得到解码块对应的数据,从而得到重建块。因而,通过对当前参考帧进行分像素插值处理得到目标参考帧,就可以从分辨率更高的目标参考帧中准确地找到待解码视频帧中的解码块对应的位置,提升解码质量。
分像素插值方式是对获取的当前参考帧进行分像素插值处理的方式,包括直接对当前参考帧进行分像素插值处理以及对当前参考帧进行采样处理后再分像素插值处理。
具体地,在当前参考帧与待解码视频帧的分辨率相同时,解码端可直接对当前参考帧进行分像素插值处理;在当前参考帧与待解码视频帧的分辨率不相同时,解码端可直接对当前参考帧进行分像素插值处理,也可对当前参考帧进行采样得到与待解码视频帧分辨率相同的帧、再对得到分辨率相同的帧进行分像素插值处理,适用两种分像素插值方式。其中,对当参考帧进行采样包括上采样处理和下采样处理。在一个实施例中,若当前参考帧的个数为多个,则分别对每个当前参考帧进行采样得到与待解码视频帧分辨率相同的帧。
本实施例中,对当前参考帧进行采样得到与待解码视频帧分辨率相同的帧,可在一定程度上提高待解码视频帧与要参考的帧之间的图像匹配度,从而提高帧间预测的准确度,减小预测残差,提高解码图像的质量。
在一个实施例中,解码端和解码端可在各自的编解码规则中设置根据当前参考帧进行处理得到目标参考帧时所采用的分像素插值方式,采用的分像素插值方式应当是一致的,在编、解码时就根据配置确定对当前参考帧进行处理所对应的分像素插值方式。
在一个实施例中,解码端还可从编码数据的头信息中获取待解码视频帧对应的分像素插值方式信息。具体可以从序列级头信息、组级头信息以及帧级头信息中的任一个获取到待解码视频帧对应的分像素插值方式信息。例如,当编码数据的帧级头信息中用于确定分像素插值方式的标识位Pixel_Sourse_Interpolation为0时,表示输入视频帧对应的当前参考帧采用直接进行分像素插值处理,在Pixel_Sourse_Interpolation为1时,表示输入视频帧对应的当前参考帧采用采样处理后再分像素插值处理。解码端就可按照与编码数据中标识位所表示的分像素插值方式相同的方式对当前参考帧进行分像素插值处理得到目标参考帧,从而可依据目标参考帧对编码数据进行解码得到重建视频帧。
S1308,采用分像素插值方式,根据待解码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧。
其中,待解码视频帧的分辨率信息可以是待解码视频帧的分辨率,也可以是待解码视频帧所对应的下采样比例信息。由于解码和编码的对应性,待解码视频帧对应的编码数据是对待编码视频帧进行编码得到的,因此,待解码视频帧的分辨率信息和待编码视频帧的分辨率信息是相同的。同样地,待解码视频帧对应的当前参考帧与待编码视频帧对应的当前参考帧也是相同的。
目标参考帧,是对当前参考帧按照相应的分像素插值方式进行分像素插值处理后得到的视频帧。具体地,解码端可根据待解码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率信息所表示的分辨率之间的比例关系,确定所采用分像素插值方式对应的采样方法,包括上采样或下采样。
在一个实施例中,解码端可根据待解码视频帧的分辨率与当前参考帧的分辨率之间的比例关系确定对当前参考帧进行采样的比例。比如,若待解码视频帧的分辨率为2M*2N,待解码视频帧对应的当前参考帧的分辨率为M*2N,那么就确定对当前参考帧以宽1/2、高1的采样比例进行上采样处理,得到与待解码视频帧分辨率相同的帧。若待解码视频帧的分辨率为M*N,待解码视频帧对应的当前参考帧的分辨率为2M*2N,则确定对当前参考帧以宽、高均为1/2的采样比例进行下采样处理,得到与待解码视频帧分辨率相同的帧。
在一个实施例中,由于输入视频帧的分辨率一般是相同的,解码端可根据输入视频帧进行下采样得到待编码视频帧所对应的下采样比例,以及对可作为参考帧的输入视频帧进行下采样得到待编码参考帧所对应的下采样比例,确定对待解码视频帧对应的采样比例,以及待解码视频帧对应的当前参考帧的采样比例。比如,通过对输入视频帧以1/2的采样比例进行下采样处理得到待编码视频帧,则待解码视频帧对应的采样比例也为1/2,通过对可作为参考帧的输入视频帧以1/4的采样比例进行下采样处理得到待编码参考帧,那么根据待编码参考帧的编码数据重建后得到的当前参考帧对应的下采样比例也是1/4,则待解码视频帧对应的当前参考帧对应的下采样比例也为1/4,那么,根据待解码视频帧、对应的当前参考帧下采样比例之间的倍数关系,可确定对待解码视频帧对应的当前参考帧以2倍的采样比例进行上采样处理得到与待解码视频帧分辨率相同的帧。
S1310,根据目标参考帧对编码数据进行解码,得到待解码视频帧对应的重建视频帧。
其中,重建视频帧是解码重建得到的视频帧。可以理解,该重建视频帧对应的分辨率信息与编码过程中的待编码视频帧的分辨率信息是对应的。如果在编码的过程中图像信息不存在损失,则重建视频帧与待编码视频帧是相同的,如果在编码的过程中图像信息存在损失,则重建视频帧与待编码视频帧的差异与损失值对应。对编码数据进行解码是在待解码视频帧对应的分辨率信息进行的。解码可以包括预测、反变换、反量化以及熵解码中的至少一个,具体根据编码的过程确定。在解码时,例如可以获取待解码视频帧对应的当前参考帧,根据待解码视频帧对应的分辨率信息对当前参考帧进行处理,得到目标参考帧,根据目标参考帧得到待解码视频对应的预测值,并根据编码数据中的预测残差与预测值得到重建视频帧。根据运动矢量值得到参考帧中与当前待解码块对应的目标参考块时,根据编码数据中的运动矢量的单位对应的分辨率信息与待解码视频帧对应的分辨率信息对编码数据中的运动矢量进行变换,得到目标运动矢量,在根据目标运动矢量得到目标参考块。
具体地,进行解码时,是根据待解码视频帧对应的分辨率信息进行解码的。得到目标参考帧后,可以从目标参考帧中获取与待编码视频帧的编码块对应的参考块,根据参考块对编码块进行解码,得到待解码视频帧对应的重建视频帧。
上述视频解码方法,在获取到待解码视频帧对应的编码数据以及待解码视频帧对应的当前参考帧后,可确定当前参考帧的分像素插值方式,采用该分像素插值方式,根据当前参考帧的分辨率信息,对当前参考帧进行处理,调整当前参考帧的分辨率,得到目标参考帧,即使当前参考帧与待解码视频帧的分辨率不同,也可作为待解码视频帧的参考帧,根据得到的目标参考帧对待解码视频帧进行编码,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,提高编码图像的质量。
如图15所示,在一个实施例中,步骤S1308,采用分像素插值方式,根据待解码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧包括:
S1502,获取待解码视频帧对应的运动估计像素精度。
S1504,采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧。
具体地,解码端可获取当前参考帧的分辨率信息,根据待解码视频帧采用的分像素插值方式,以及待解码视频帧的分辨率信息、当前参考帧的分辨率信息以及待解码视频帧对应的运动估计像素精度确定对当前参考帧进行何种采样处理、采样处理对应的采样比例以及像素插值精度。
在一个实施例中,运动估计像素精度一般为1/2像素精度、1/4像素精度或1/8像素精度,更高精度的运动估计并不能更明显的提升编码质量,却会导致计算复杂度的显著提升。
在一个实施例中,解码端可根据待解码视频帧的图像特征信息为该解码视频帧配置相应的运动估计像素精度,图像特征信息比如该待编码视频帧的大小、纹理信息、运动速度等,可综合多种图像特征信息确定解码视频帧对应的运动估计像素精度。待解码视频帧所携带的图像数据越复杂,图像信息越丰富,相应的运动估计像素精度更高。比如,在对P帧进行帧间预测时,可采用较高的运动估计像素精度计算P帧中各编码块对应的运动矢量,而在对B帧进行帧间预测时,可采用较低的运动估计像素精度计算B帧中各编码块对应的运动矢量。
在一个实施例中,步骤S1504,采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧包括:当分像素插值方式为采样后分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息对当前参考帧进行下采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
具体地,当待解码视频帧对应的分像素插值方式为采样后分像素插值方式,表示要对当前参考帧先进行采样处理,得到与待解码视频帧分辨率相同的中间参考帧,再对中间参考帧进行分像素插值处理得到对应的目标参考帧。
如前文,当根据待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,解码端就需要根据二者之间分辨率的比例关系,确定对当前参考帧进行下采样的采样比例,按照该采样比例进行下采样后得到与待编解码视频码帧相同分辨率的中间参考帧;然后基于运动估计像素精度对中间参考帧进行分像素插值处理,得到目标参考帧,并且,这种情况下,像素插值精度与运动估计像素精度相同。
举例说明:通过对分辨率为2M*2N的输入视频帧按照下采样处理方式进行下采样处理得到分辨率为M*N的待编码视频帧,则待解码视频帧的分辨率也为M*N,而当前参考帧的分辨率为2M*2N(全分辨率处理方式),则对当前参考帧按照1/2的采样比例进行下采样处理得到分辨率为M*N的中间参考帧,若获取的待解码视频帧对应的运动估计像素精度为1/2,再对中间参考帧按照与运动估计像素精度相同的像素插值精度,即1/2分像素插值精度进行分像素插值处理,得到目标参考帧;若获取的待解码视频帧对应的运动估计像素精度为1/4,则对中间参考帧按照1/4分像素插值精度进行分像素插值处理,得到分辨率更高的目标参考帧。
当然,当前参考帧也可以是通过采用下采样处理方式得到的。比如,通过对分辨率为2M*2N的输入视频帧按照下采样处理方式进行下采样处理得到分辨率为1/2M*1/2N的待编码视频帧,则待解码视频帧的分辨率也为1/2M*1/2N,而当前参考帧是通过对分辨率为2M*2N的输入视频帧进行下采样处理得到分辨率为M*N的待编码参考帧对应的编码数据重建得到的,那么,当前参考帧的分辨率也为M*N,因而,待解码视频帧的分辨率小于当前参考帧的分辨率,可对当前参考帧按照1/2的采样比例进行下采样处理得到与待解码视频帧相同的中间参考帧,然后再基于运动估计像素精度进行分像素插值处理得到目标参考帧。
在一个实施例中,步骤S1504,采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧包括:当分像素插值方式为直接分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息以及运动估计像素精度计算得到像素插值精度;根据像素插值精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
具体地,当待解码视频帧对应的分像素插值方式为直接分像素插值方式,表示可对当前参考帧直接进行分像素插值处理得到目标参考帧。可以理解,由于当前参考帧的分辨率大于待解码视频帧的分辨率,因此,当前参考帧中部分分像素点的数据可直接复用,可作为与运动估计像素精度相应的分像素点对应的数据。
比如,待解码视频帧的分辨率为M*N,当前参考帧的分辨率为2M*2N,若运动估计像素精度为1/2,那么当前参考帧可直接作为目标参考帧;若运动估计像素精度为1/4,那么计算得到像素插值精度为1/2,可对当前参考帧以1/2像素插值精度进行分像素插值处理得到目标参考帧。
在一个实施例中,步骤S1504,采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧包括:当分像素插值方式为采样后分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
如前文,当待解码视频帧的分辨率大于当前参考帧的分辨率时,解码端需要对当前参考帧进行上采样处理,得到与待解码视频帧分辨率相同的中间参考帧,然后基于待解码视频帧对应的运动估计像素精度对中间参考帧进行分像素插值处理,得到目标参考帧。
比如,待解码视频帧的分辨率为2M*2N,当前参考帧的分辨率为1/2M*1/2N,则需要按照1/4采样比例对当前参考帧进行上采样处理得到与待解码视频帧分辨率相同的中间参考帧,若运动估计像素精度为1/2,则继续对得到的中间参考帧按照1/2像素插值精度进行分像素插值处理,得到目标参考帧;若运动估计像素精度为1/4,则继续对得到的中间参考帧按照1/4像素插值精度进行分像素插值处理,得到目标参考帧。
在一个实施例中,步骤S1504,采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧包括:当分像素插值方式为直接分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率相同时,根据运动估计像素精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
具体地,通过全分辨处理方式对输入视频帧进行处理得到待编码视频帧,则待解码视频帧的分辨率也是原分辨率,且当前参考帧的分辨率也是原分辨率时,待解码视频帧的分辨率和当前参考帧的分辨率相同。或者,通过下采样方式对输入视频帧进行处理得到待编码视频帧,且当前参考帧帧也是采用相同采用比例的下采样方式编码得到的编码数据重建得到的,则待解码视频帧的分辨率和当前参考帧的分辨率相同。那么,解码端就可以直接基于运动估计像素精度直接对当前参考帧进行分像素插值处理得到目标参考帧,并且,分像素插值处理对应的像素插值精度和运动估计像素精度相同。
在上述实施例中,通过对当前参考帧进行分像素插值处理,使得当前参考帧的分辨率更高,这样计算得到的待解码视频帧相对于参考帧的运动矢量更为精细,进一步减小预测残差,能够提高编码质量。
在一个实施例中,如图16所示,步骤S1310即根据目标参考帧对编码数据进行解码,得到待解码视频帧对应的重建视频帧包括:
S1602,根据待解码视频帧对应的分辨率信息以及第一分辨率信息确定第三矢量变换参数,第一分辨率信息包括目标运动矢量单位分辨率信息。
具体地,第三矢量变换参数用于对得到运动矢量的位置信息或者运动矢量进行变换。第三矢量参数可以是第一分辨率信息与待解码视频帧的分辨率信息之间的比例,可以是待解码视频帧的分辨率信息除以第一分辨率信息得到的。也可以是第一分辨率信息除以待解码码帧的分辨率信息得到的。或者,得到比例后,可以对比例乘以相应的系数或者加上预设的偏移量得到。例如,假设当前参考帧的下采样比例为1/3,待解码视频帧的下采样比例为1/6。则第三矢量变换参数可以为1/6除以1/3等于2。可以理解,由于解码与编码的对应性,根据待解码视频帧对应的分辨率信息以及第一分辨率信息确定第三矢量变换参数的这一步骤是根据待编码视频帧的分辨率信息和第一分辨率信息确定第一矢量变换参数这一步骤的逆过程。例如,假设当前参考帧的下采样比例为1/3,待编码视频帧的下采样比例为1/6。则第一矢量变换参数可以为1/3除以1/6等于2。那在解码过程中,由于待解码视频帧是待编码视频帧编码后的视频帧,当前参考帧的下采样比例也为1/3,待解码视频帧对应的下采样比例为1/6,则第三矢量变换参数为1/6除以1/3等于2。
S1604,根据编码数据获取待解码视频帧中各个待解码块对应的目标运动矢量。
具体地,当编码数据中携带目标运动矢量时,从编码数据中读取目标运动矢量。当编码数据中携带的是运动矢量差时,则可以计算得到目标预测运动矢量,根据运动矢量差以及目标预测运动矢量得到目标运动矢量。
S1606,根据第三矢量变换参数以及目标运动矢量得到待解码视频帧中各个待解码块对应的参考图像块。
具体地,得到第三矢量变换参数后,根据第三矢量变换参数对得到的运动矢量或者运动矢量对应的位置信息进行变换,得到参考图像块对应的位置信息,从而得到参考图像块。
S1608,根据参考图像块对编码数据进行解码,得到待解码视频帧对应的重建视频帧。
具体地,得到参考图像块后,根据参考图像块的像素值以及编码数据中携带待解码块的预测残差,得到重建视频帧各个图像块的像素值,得到重建视频帧。
在一个实施例中,步骤S1602即根据待解码视频帧对应的分辨率信息以及第一分辨率信息确定第三矢量变换参数包括:根据待解码视频帧对应的分辨率信息和当前参考帧的分辨率信息确定第三矢量变换参数;步骤S1606即根据第三矢量变换参数以及目标运动矢量得到待解码视频帧中各个待解码块对应的参考图像块包括:获取当前待解码块对应的第一位置信息;根据第一位置信息、第三矢量变换参数以及目标运动矢量得到当前待解码块对应的目标参考图像块。
具体地,可以根据第一位置信息、第三矢量变换参数以及目标运动矢量得到目标参考图像块对应的第二位置信息,根据第二位置信息得到目标参考图像块。由于编码与解码的对应性,根据待解码视频帧对应的分辨率信息以及第一分辨率信息确定第三矢量变换参数的过程是根据据待编码视频帧的分辨率信息和当前参考帧的分辨率信息确定第一矢量变换参数的逆过程。
在一个实施例中,当第一矢量变换参数是待编码视频帧的分辨率与当前参考帧的分辨率信息中,大分辨率信息除以小分辨率信息得到的比例时,第三矢量变换参数可以是待解码视频帧的分辨率与当前参考帧的分辨率信息中,小分辨率信息除以大分辨率信息得到的比例,其中,大分辨率信息对应的分辨率比小分辨率对应的分辨率大。第三矢量变换参数用于与待解码视频帧与当前参考帧中小分辨率信息的帧的位置信息进行变换。例如,待解码视频帧的分辨率为1200*1200像素,当前参考帧的分辨率为600*600像素,则大分辨率为1200*1200像素,小分辨率为600*600像素。第三矢量变换参数可以为1/2。假设第一位置信息为(6,8),目标运动矢量为(0,2),则中间位置信息为(6,8)-(0,2)=(6,6),目标参考块对应的第二位置信息为(6*1/2,6*1/2)=3。
在一个实施例中,步骤S1602即根据待解码视频帧对应的分辨率信息以及第一分辨率信息确定第三矢量变换参数包括:根据待解码视频帧对应的分辨率信息和目标运动矢量单位分辨率信息确定第三矢量变换参数;步骤S1604即根据第三矢量变换参数以及目标运动矢量得到待解码视频帧中各个待解码块对应的参考图像块包括:根据目标运动矢量以及第三矢量变换参数得到第一运动矢量;根据第一运动矢量获取当前待解码块对应的目标参考图像块。
具体地,第三矢量变换参数是根据待解码视频帧对应的分辨率信息和目标运动矢量单位分辨率信息确定的。当得到第三矢量变换参数后,可以将第三矢量变换参数以及目标运动矢量相乘,将得到的乘积作为第一运动矢量。可以理解,根据第三矢量变换参数以及目标运动矢量得到第一运动矢量这一过程与根据第一矢量变换参数以及第一运动矢量得到当前编码块对应的目标运动矢量是逆过程。例如如果第一矢量变换参数等于2。得到的第一运动矢量为(2,2,),则根据第一矢量变换参数与第一运动矢量为(2,2,)的乘积得到目标运动矢量为(4,4)。那么解码过程中,第三矢量变换参数为1/2,得到的目标运动矢量为(4,4),根据第三矢量变换参数1/2与目标运动矢量(4,4)的乘积得到第一运动矢量为(2,2,)。
在一个实施例中,当编码数据中携带的是运动矢量差时,则根据编码数据获取待解码视频帧中各个待解码块对应的目标运动矢量包括:根据编码数据获取待解码视频帧中的当前待解码块对应的运动矢量差;
获取当前待解码块对应的初始预测运动矢量;根据初始预测运动矢量对应的当前运动矢量单位分辨率信息和目标运动矢量单位分辨率信息,得到第二矢量变换系数;根据初始预测运动矢量和第二矢量变换系数得到当前解码块对应的目标预测运动矢量;根据目标预测运动矢量以及运动矢量差得到目标运动矢量。
具体地,由于解码与编码过程中待解码块与待编码块是对应的,初始预测运动矢量获取规则相同,因此当前待解码块对应的初始运动预测矢量与当前待编码块对应的初始预测运动矢量是一致的,得到目标预测运动矢量的方法可以参照编码过程中的方法,具体不再赘述。目标运动矢量可以是目标预测运动矢量以及运动矢量差的和。
如图17所示,在一个实施例中,提供了一种视频编码装置1700,该视频编码装置1700具体包括当前参考帧获取模块1702、分像素插值方式确定模块1704、目标参考帧确定模块1706和编码数据得到模块1708,其中:
当前参考帧获取模块1702,用于获取待编码视频帧对应的当前参考帧。
分像素插值方式确定模块1704,用于确定分像素插值方式;分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种。
目标参考帧确定模块1706,用于采用分像素插值方式,根据待编码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧。
编码数据得到模块1708,用于根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据。
在一个实施例中,目标参考帧确定模块1706还用于获取待编码视频帧对应的运动估计像素精度;采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧。
在一个实施例中,目标参考帧确定模块1706还用于当分像素插值方式为采样后分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待编码视频帧的分辨率信息对当前参考帧进行下采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,目标参考帧确定模块1706还用于在一个实施例中,目标参考帧确定模块1706还用于当分像素插值方式为直接分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待编码视频帧的分辨率信息以及运动估计像素精度计算得到像素插值精度;根据像素插值精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,目标参考帧确定模块1706还用于当分像素插值方式为采样后分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,根据待编码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,目标参考帧确定模块1706还用于当分像素插值方式为直接分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率相同时,根据运动估计像素精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,编码数据得到模块1708还用于将对当前参考帧进行处理对应的分像素插值方式添加至待编码视频帧帧对应的编码数据中。
上述视频编码装置1700,在获取到待编码视频帧对应的当前参考帧后,可确定当前参考帧的分像素插值方式,采用该分像素插值方式,根据当前参考帧的分辨率信息,对当前参考帧进行处理,调整当前参考帧的分辨率,得到目标参考帧,即使当前参考帧与待编码视频帧的分辨率不同,也可作为待编码视频帧的参考帧,根据得到的目标参考帧对待编码视频帧进行编码,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,提高编码图像的质量。
如图18所示,在一个实施例中,提供了一种视频解码装置1800,该视频解码装置1800具体包括编码数据获取模块1802、当前参考帧获取模块1804、分像素插值方式确定模块1806、目标参考帧确定模块1808和重建视频帧得到模块1810,其中:
编码数据获取模块1802,用于获取待解码视频帧对应的编码数据;
当前参考帧获取模块1804,用于获取待解码视频帧对应的当前参考帧;
分像素插值方式确定模块1806,用于确定分像素插值方式;分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;
目标参考帧确定模块1808,用于采用分像素插值方式,根据待解码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧;
重建视频帧得到模块1810,用于根据目标参考帧对编码数据进行解码,得到待解码视频帧对应的重建视频帧。
在一个实施例中,目标参考帧确定模块1808还用于获取待解码视频帧对应的运动估计像素精度;采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧。
在一个实施例中,目标参考帧确定模块1808还用于当分像素插值方式为采样后分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息对当前参考帧进行下采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,目标参考帧确定模块1808还用于当分像素插值方式为直接分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息以及运动估计像素精度计算得到像素插值精度;根据像素插值精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,目标参考帧确定模块1808还用于当分像素插值方式为采样后分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,目标参考帧确定模块1808还用于当分像素插值方式为直接分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率相同时,根据运动估计像素精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
上述视频解码装置1800,在获取到待解码视频帧对应的编码数据以及待解码视频帧对应的当前参考帧后,可确定当前参考帧的分像素插值方式,采用该分像素插值方式,根据当前参考帧的分辨率信息,对当前参考帧进行处理,调整当前参考帧的分辨率,得到目标参考帧,即使当前参考帧与待解码视频帧的分辨率不同,也可作为待解码视频帧的参考帧,根据得到的目标参考帧对待解码视频帧进行编码,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,提高编码图像的质量。
图19示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图19所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现视频编码方法以及视频解码方法中的至少一种。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行视频编码方法以及视频解码方法中的至少一种。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
图20示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图20所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现视频编码方法以及视频解码方法中的至少一种。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行视频编码方法以及视频解码方法中的至少一种。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图19及图20中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的视频编码装置1700可以实现为一种计算机程序的形式,计算机程序可在如图19及图20所示的计算机设备上运行。计算机设备的存储器中可存储组成该视频编码装置的各个程序模块,比如,图17所示的当前参考帧获取模块1702、分像素插值方式确定模块1704、目标参考帧确定模块1706和编码数据得到模块1708。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的视频编码方法中的步骤。
例如,图19及图20所示的计算机设备可以通过如图17所示的视频编码装置1700中的当前参考帧获取模块1702执行步骤S202。计算机设备可通过分像素插值方式确定模块1704执行步骤S204。计算机设备可通过目标参考帧确定模块1706执行步骤S206。计算机设备可通过编码数据得到模块1708执行步骤S208。
在一个实施例中,本申请提供的视频解码装置1800可以实现为一种计算机程序的形式,计算机程序可在如图19及图20所示的计算机设备上运行。计算机设备的存储器中可存储组成该视频解码装置的各个程序模块,比如,图16所示的编码数据获取模块1802、当前参考帧获取模块1804、分像素插值方式确定模块1806、目标参考帧确定模块1808和重建视频帧得到模块1810。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的视频编码方法中的步骤。
例如,图19及图20所示的计算机设备可以通过如图18所示的视频解码装置1800中的编码数据获取模块1802执行步骤S1302。计算机设备可通过当前参考帧获取模块1804执行步骤S1304。计算机设备可通过分像素插值方式确定模块1806执行步骤S1306。计算机设备可通过目标参考帧确定模块1808执行步骤S1308。计算机设备可通过重建视频帧得到模块1810执行步骤S1310。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:获取待编码视频帧对应的当前参考帧;确定分像素插值方式;分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;采用分像素插值方式,根据待编码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧;根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待编码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:获取待编码视频帧对应的运动估计像素精度;采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为采样后分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待编码视频帧的分辨率信息对当前参考帧进行下采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为直接分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待编码视频帧的分辨率信息以及运动估计像素精度计算得到像素插值精度;根据像素插值精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为采样后分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,根据待编码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为直接分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率相同时,根据运动估计像素精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行时,使得处理器还执行以下步骤:将对当前参考帧进行处理对应的分像素插值方式添加至待编码视频帧帧对应的编码数据中。
上述计算机设备,在获取到待编码视频帧对应的当前参考帧后,可确定当前参考帧的分像素插值方式,采用该分像素插值方式,根据当前参考帧的分辨率信息,对当前参考帧进行处理,调整当前参考帧的分辨率,得到目标参考帧,即使当前参考帧与待编码视频帧的分辨率不同,也可作为待编码视频帧的参考帧,根据得到的目标参考帧对待编码视频帧进行编码,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,提高编码图像的质量。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:获取待编码视频帧对应的当前参考帧;确定分像素插值方式;分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;采用分像素插值方式,根据待编码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧;根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待编码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:获取待编码视频帧对应的运动估计像素精度;采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为采样后分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待编码视频帧的分辨率信息对当前参考帧进行下采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为直接分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待编码视频帧的分辨率信息以及运动估计像素精度计算得到像素插值精度;根据像素插值精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为采样后分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,根据待编码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为直接分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率相同时,根据运动估计像素精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行时,使得处理器还执行以下步骤:将对当前参考帧进行处理对应的分像素插值方式添加至待编码视频帧帧对应的编码数据中。
上述计算机可读存储介质,在获取到待编码视频帧对应的当前参考帧后,可确定当前参考帧的分像素插值方式,采用该分像素插值方式,根据当前参考帧的分辨率信息,对当前参考帧进行处理,调整当前参考帧的分辨率,得到目标参考帧,即使当前参考帧与待编码视频帧的分辨率不同,也可作为待编码视频帧的参考帧,根据得到的目标参考帧对待编码视频帧进行编码,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,提高编码图像的质量。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:获取待解码视频帧对应的编码数据;获取待解码视频帧对应的当前参考帧;确定分像素插值方式;分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;采用分像素插值方式,根据待解码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧;根据目标参考帧对编码数据进行解码,得到待解码视频帧对应的重建视频帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待解码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:获取待解码视频帧对应的运动估计像素精度;采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为采样后分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息对当前参考帧进行下采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为直接分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息以及运动估计像素精度计算得到像素插值精度;根据像素插值精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为采样后分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为采样后分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
上述计算机设备,在获取到待解码视频帧对应的编码数据以及待解码视频帧对应的当前参考帧后,可确定当前参考帧的分像素插值方式,采用该分像素插值方式,根据当前参考帧的分辨率信息,对当前参考帧进行处理,调整当前参考帧的分辨率,得到目标参考帧,即使当前参考帧与待解码视频帧的分辨率不同,也可作为待解码视频帧的参考帧,根据得到的目标参考帧对待解码视频帧进行编码,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,提高编码图像的质量。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:获取待解码视频帧对应的编码数据;获取待解码视频帧对应的当前参考帧;确定分像素插值方式;分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;采用分像素插值方式,根据待解码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧;根据目标参考帧对编码数据进行解码,得到待解码视频帧对应的重建视频帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待解码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:获取待解码视频帧对应的运动估计像素精度;采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为采样后分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息对当前参考帧进行下采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为直接分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息以及运动估计像素精度计算得到像素插值精度;根据像素插值精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为采样后分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
在一个实施例中,计算机程序被处理器执行采用分像素插值方式,根据待解码视频帧的分辨率信息以及运动估计像素精度对当前参考帧进行处理,得到对应的目标参考帧的步骤时,使得处理器具体执行以下步骤:当分像素插值方式为采样后分像素插值方式、且根据待解码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,根据待解码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧;根据运动估计像素精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。
上述计算机可读存储介质,在获取到待解码视频帧对应的编码数据以及待解码视频帧对应的当前参考帧后,可确定当前参考帧的分像素插值方式,采用该分像素插值方式,根据当前参考帧的分辨率信息,对当前参考帧进行处理,调整当前参考帧的分辨率,得到目标参考帧,即使当前参考帧与待解码视频帧的分辨率不同,也可作为待解码视频帧的参考帧,根据得到的目标参考帧对待解码视频帧进行编码,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,提高编码图像的质量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (17)

1.一种视频编码方法,包括:
获取待编码视频帧对应的当前参考帧;
确定分像素插值方式;所述分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;
采用所述分像素插值方式,根据所述待编码视频帧的分辨率信息,对所述当前参考帧进行处理,得到对应的目标参考帧;
根据所述目标参考帧对所述待编码视频帧进行编码,得到所述待编码视频帧对应的编码数据。
2.根据权利要求1所述的方法,其特征在于,所述采用所述分像素插值方式,根据所述待编码视频帧的分辨率信息,对所述当前参考帧进行处理,得到对应的目标参考帧包括:
获取所述待编码视频帧对应的运动估计像素精度;
采用所述分像素插值方式,根据所述待编码视频帧的分辨率信息以及所述运动估计像素精度对所述当前参考帧进行处理,得到对应的目标参考帧。
3.根据权利要求2所述的方法,其特征在于,所述采用所述分像素插值方式,根据所述待编码视频帧的分辨率信息以及所述运动估计像素精度对所述当前参考帧进行处理,得到对应的目标参考帧包括:
当所述分像素插值方式为采样后分像素插值方式、且当所述待编码视频帧的所述分辨率信息所表示的分辨率小于所述当前参考帧的分辨率时,
根据所述待编码视频帧的分辨率信息对所述当前参考帧进行下采样处理,得到中间参考帧;
根据所述运动估计像素精度对所述中间参考帧进行分像素插值处理,得到对应的目标参考帧。
4.根据权利要求2所述的方法,其特征在于,所述采用所述分像素插值方式,根据所述待编码视频帧的分辨率信息以及所述运动估计像素精度对所述当前参考帧进行处理,得到对应的目标参考帧包括:
当所述分像素插值方式为直接分像素插值方式、且当所述待编码视频帧的所述分辨率信息所表示的分辨率小于所述当前参考帧的分辨率时,
根据所述待编码视频帧的分辨率信息以及所述运动估计像素精度计算得到像素插值精度;
根据所述像素插值精度直接对所述当前参考帧进行分像素插值处理,得到对应的目标参考帧。
5.根据权利要求2所述的方法,其特征在于,所述采用所述分像素插值方式,根据所述待编码视频帧的分辨率信息以及所述运动估计像素精度对所述当前参考帧进行处理,得到对应的目标参考帧包括:
当所述分像素插值方式为采样后分像素插值方式、且当所述待编码视频帧的所述分辨率信息所表示的分辨率大于所述当前参考帧的分辨率时,
根据所述待编码视频帧的分辨率信息对所述当前参考帧进行上采样处理,得到中间参考帧;
根据所述运动估计像素精度对所述中间参考帧进行分像素插值处理,得到对应的目标参考帧。
6.根据权利要求2所述的方法,其特征在于,所述采用所述分像素插值方式,根据所述待编码视频帧的分辨率信息以及所述运动估计像素精度对所述当前参考帧进行处理,得到对应的目标参考帧包括:
当所述分像素插值方式为直接分像素插值方式、且当所述待编码视频帧的所述分辨率信息所表示的分辨率与所述当前参考帧的分辨率相同时,
根据所述运动估计像素精度直接对所述当前参考帧进行分像素插值处理,得到对应的目标参考帧。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:
将对所述当前参考帧进行处理对应的分像素插值方式添加至所述待编码视频帧帧对应的编码数据中。
8.一种视频解码方法,包括:
获取待解码视频帧对应的编码数据;
获取所述待解码视频帧对应的当前参考帧;
确定分像素插值方式;所述分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;
采用所述分像素插值方式,根据所述待解码视频帧的分辨率信息,对所述当前参考帧进行处理,得到对应的目标参考帧;
根据所述目标参考帧对所述编码数据进行解码,得到所述待解码视频帧对应的重建视频帧。
9.根据权利要求8所述的方法,其特征在于,所述采用所述分像素插值方式,根据所述待解码视频帧的分辨率信息,对所述当前参考帧进行处理,得到对应的目标参考帧包括:
获取所述待解码视频帧对应的运动估计像素精度;
采用所述分像素插值方式,根据所述待解码视频帧的分辨率信息以及所述运动估计像素精度对所述当前参考帧进行处理,得到对应的目标参考帧。
10.根据权利要求9所述的方法,其特征在于,所述采用所述分像素插值方式,根据所述待解码视频帧的分辨率信息以及所述运动估计像素精度对所述当前参考帧进行处理,得到对应的目标参考帧包括:
当所述分像素插值方式为采样后分像素插值方式、且根据所述待解码视频帧的所述分辨率信息所表示的分辨率小于所述当前参考帧的分辨率时,
根据所述待解码视频帧的分辨率信息对所述当前参考帧进行下采样处理,得到中间参考帧;
根据所述运动估计像素精度对所述中间参考帧进行分像素插值处理,得到对应的目标参考帧。
11.根据权利要求9所述的方法,其特征在于,所述采用所述分像素插值方式,根据所述待解码视频帧的分辨率信息以及所述运动估计像素精度对所述当前参考帧进行处理,得到对应的目标参考帧包括:
当所述分像素插值方式为直接分像素插值方式、且根据所述待解码视频帧的所述分辨率信息所表示的分辨率小于所述当前参考帧的分辨率时,
根据所述待解码视频帧的分辨率信息以及所述运动估计像素精度计算得到像素插值精度;
根据所述像素插值精度直接对所述当前参考帧进行分像素插值处理,得到对应的目标参考帧。
12.根据权利要求9所述的方法,其特征在于,所述采用所述分像素插值方式,根据所述待解码视频帧的分辨率信息以及所述运动估计像素精度对所述当前参考帧进行处理,得到对应的目标参考帧包括:
当所述分像素插值方式为采样后分像素插值方式、且根据所述待解码视频帧的所述分辨率信息所表示的分辨率大于所述当前参考帧的分辨率时,
根据所述待解码视频帧的分辨率信息对所述当前参考帧进行上采样处理,得到中间参考帧;
根据所述运动估计像素精度对所述中间参考帧进行分像素插值处理,得到对应的目标参考帧。
13.根据权利要求9所述的方法,其特征在于,所述采用所述分像素插值方式,根据所述待解码视频帧的分辨率信息以及所述运动估计像素精度对所述当前参考帧进行处理,得到对应的目标参考帧包括:
当所述分像素插值方式为直接分像素插值方式、且根据所述待解码视频帧的所述分辨率信息所表示的分辨率与所述当前参考帧的分辨率相同时,
根据所述运动估计像素精度直接对所述当前参考帧进行分像素插值处理,得到对应的目标参考帧。
14.一种视频编码装置,包括:
当前参考帧获取模块,用于获取待编码视频帧对应的当前参考帧;
分像素插值方式确定模块,用于确定分像素插值方式;所述分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;
目标参考帧确定模块,用于采用所述分像素插值方式,根据所述待编码视频帧的分辨率信息,对所述当前参考帧进行处理,得到对应的目标参考帧;
编码数据得到模块,用于根据所述目标参考帧对所述待编码视频帧进行编码,得到所述待编码视频帧对应的编码数据。
15.一种视频解码装置,包括:
编码数据获取模块,用于获取待解码视频帧对应的编码数据;
当前参考帧获取模块,用于获取所述待解码视频帧对应的当前参考帧;
分像素插值方式确定模块,用于确定分像素插值方式;所述分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;
目标参考帧确定模块,用于采用所述分像素插值方式,根据所述待解码视频帧的分辨率信息,对所述当前参考帧进行处理,得到对应的目标参考帧;
重建视频帧得到模块,用于根据所述目标参考帧对所述编码数据进行解码,得到所述待解码视频帧对应的重建视频帧。
16.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至13中任一项所述方法的步骤。
17.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至13中任一项所述方法的步骤。
CN201810635813.6A 2018-06-20 2018-06-20 视频编码、解码方法、装置、存储介质和计算机设备 Active CN108833916B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810635813.6A CN108833916B (zh) 2018-06-20 2018-06-20 视频编码、解码方法、装置、存储介质和计算机设备
PCT/CN2019/090682 WO2019242528A1 (zh) 2018-06-20 2019-06-11 视频编码、解码方法、装置、存储介质和计算机设备
US16/991,741 US11128888B2 (en) 2018-06-20 2020-08-12 Method and apparatus for video decoding
US17/383,994 US11563974B2 (en) 2018-06-20 2021-07-23 Method and apparatus for video decoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810635813.6A CN108833916B (zh) 2018-06-20 2018-06-20 视频编码、解码方法、装置、存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN108833916A true CN108833916A (zh) 2018-11-16
CN108833916B CN108833916B (zh) 2021-09-24

Family

ID=64142734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810635813.6A Active CN108833916B (zh) 2018-06-20 2018-06-20 视频编码、解码方法、装置、存储介质和计算机设备

Country Status (3)

Country Link
US (2) US11128888B2 (zh)
CN (1) CN108833916B (zh)
WO (1) WO2019242528A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110545433A (zh) * 2019-09-27 2019-12-06 腾讯科技(深圳)有限公司 视频编解码方法和装置及存储介质
CN110572675A (zh) * 2019-09-27 2019-12-13 腾讯科技(深圳)有限公司 视频解码、编码方法和装置、存储介质与解码器、编码器
CN110572677A (zh) * 2019-09-27 2019-12-13 腾讯科技(深圳)有限公司 视频编解码方法和装置、存储介质及电子装置
CN110582022A (zh) * 2019-09-27 2019-12-17 腾讯科技(深圳)有限公司 视频编解码方法和装置及存储介质
WO2019242528A1 (zh) * 2018-06-20 2019-12-26 腾讯科技(深圳)有限公司 视频编码、解码方法、装置、存储介质和计算机设备
CN110636295A (zh) * 2019-09-27 2019-12-31 腾讯科技(深圳)有限公司 视频编解码方法和装置、存储介质及电子装置
CN110677676A (zh) * 2019-09-27 2020-01-10 腾讯科技(深圳)有限公司 视频编码方法和装置、视频解码方法和装置及存储介质
WO2021000245A1 (en) * 2019-07-02 2021-01-07 Alibaba Group Holding Limited Constant rate factor control for adaptive resolution video coding
WO2021057686A1 (zh) * 2019-09-27 2021-04-01 腾讯科技(深圳)有限公司 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置
CN113347425A (zh) * 2019-01-16 2021-09-03 Oppo广东移动通信有限公司 信息处理方法及装置、设备、存储介质
CN113411611A (zh) * 2021-06-30 2021-09-17 脸萌有限公司 视频图像处理方法、设备及电子设备
CN113766232A (zh) * 2021-09-24 2021-12-07 百果园技术(新加坡)有限公司 一种编码、解码方法、装置、电子设备及存储介质
CN114513670A (zh) * 2021-12-30 2022-05-17 浙江大华技术股份有限公司 一种端到端的视频压缩方法、装置和计算机可读存储介质
CN118338003A (zh) * 2024-06-12 2024-07-12 北京欣博电子科技有限公司 视频解码方法、装置、计算机设备、可读存储介质和程序产品

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228692A1 (en) * 2019-05-12 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Motion prediction from temporal blocks with reference picture resampling
US11284125B2 (en) * 2020-06-11 2022-03-22 Western Digital Technologies, Inc. Self-data-generating storage system and method for use therewith
CN113852850B (zh) * 2020-11-24 2024-01-09 广东朝歌智慧互联科技有限公司 音视频流播放装置
CN114782253B (zh) * 2022-05-12 2024-10-22 广州仲恒房屋安全鉴定有限公司 图像亚像素插值方法及装置、计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1431917A2 (en) * 2002-12-20 2004-06-23 Lsi Logic Corporation Motion estimation engine with parallel interpolation and search hardware
CN101043621A (zh) * 2006-06-05 2007-09-26 华为技术有限公司 一种自适应插值处理方法及编解码模块
US20070223589A1 (en) * 2006-02-11 2007-09-27 Sung-Cheol Park Spatial resolution conversion of image signal based on motion compensation
CN101778275A (zh) * 2009-01-09 2010-07-14 深圳市融创天下科技发展有限公司 一种自适应时间域和空间域分辨率框架的图像处理方法
US20120275511A1 (en) * 2011-04-29 2012-11-01 Google Inc. System and method for providing content aware video adaptation
US20130121420A1 (en) * 2008-01-14 2013-05-16 Broadcom Corporation Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
CN106101709A (zh) * 2016-07-08 2016-11-09 上海大学 一种联合增强层的shvc质量可分级的基本层帧间预测方法
US20160345018A1 (en) * 2015-05-19 2016-11-24 Microsoft Technology Licensing, Llc Video encoding and decoding
CN107155107A (zh) * 2017-03-21 2017-09-12 腾讯科技(深圳)有限公司 视频编码方法和装置、视频解码方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788347B1 (en) * 1997-03-12 2004-09-07 Matsushita Electric Industrial Co., Ltd. HDTV downconversion system
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
JP2009207128A (ja) * 2008-01-29 2009-09-10 Sanyo Electric Co Ltd 表示装置及び表示方法
JP2010124397A (ja) * 2008-11-21 2010-06-03 Toshiba Corp 高解像度化装置
US20100208086A1 (en) * 2009-02-19 2010-08-19 Texas Instruments Incorporated Reduced-memory video stabilization
EP2262267A1 (en) * 2009-06-10 2010-12-15 Panasonic Corporation Filter coefficient coding scheme for video coding
US8170110B2 (en) * 2009-10-16 2012-05-01 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for zoom motion estimation
CN102196256B (zh) * 2010-03-11 2013-03-27 中国科学院微电子研究所 一种视频编码方法及装置
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
CN102438135B (zh) * 2011-01-14 2013-12-04 展讯通信(上海)有限公司 高分辨率视频在小尺寸显示设备上的降采样解码方法及装置
GB2487241A (en) * 2011-01-17 2012-07-18 Sony Corp Feature Aligned Interpolation Using Colour Components
CN103813174B (zh) * 2012-11-12 2016-04-27 腾讯科技(深圳)有限公司 一种混合分辨率编解码方法和装置
CN108833916B (zh) * 2018-06-20 2021-09-24 腾讯科技(深圳)有限公司 视频编码、解码方法、装置、存储介质和计算机设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1431917A2 (en) * 2002-12-20 2004-06-23 Lsi Logic Corporation Motion estimation engine with parallel interpolation and search hardware
US20070223589A1 (en) * 2006-02-11 2007-09-27 Sung-Cheol Park Spatial resolution conversion of image signal based on motion compensation
CN101043621A (zh) * 2006-06-05 2007-09-26 华为技术有限公司 一种自适应插值处理方法及编解码模块
US20130121420A1 (en) * 2008-01-14 2013-05-16 Broadcom Corporation Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
CN101778275A (zh) * 2009-01-09 2010-07-14 深圳市融创天下科技发展有限公司 一种自适应时间域和空间域分辨率框架的图像处理方法
US20120275511A1 (en) * 2011-04-29 2012-11-01 Google Inc. System and method for providing content aware video adaptation
US20160345018A1 (en) * 2015-05-19 2016-11-24 Microsoft Technology Licensing, Llc Video encoding and decoding
CN106101709A (zh) * 2016-07-08 2016-11-09 上海大学 一种联合增强层的shvc质量可分级的基本层帧间预测方法
CN107155107A (zh) * 2017-03-21 2017-09-12 腾讯科技(深圳)有限公司 视频编码方法和装置、视频解码方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAO CHUNLIAN,等: "《Intra prediction based on interpolation》", 《PROCEEDINGS OF 2011 INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND NETWORK TECHNOLOGY》 *
陆寄远等: "HEVC的高效分像素运动补偿", 《软件学报》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11563974B2 (en) 2018-06-20 2023-01-24 Tencent Technology (Shenzhen) Company Limited Method and apparatus for video decoding
US11128888B2 (en) 2018-06-20 2021-09-21 Tencent Technology (Shenzhen) Company Limited Method and apparatus for video decoding
WO2019242528A1 (zh) * 2018-06-20 2019-12-26 腾讯科技(深圳)有限公司 视频编码、解码方法、装置、存储介质和计算机设备
CN113347425B (zh) * 2019-01-16 2023-05-26 Oppo广东移动通信有限公司 信息处理方法及装置、设备、存储介质
CN113347425A (zh) * 2019-01-16 2021-09-03 Oppo广东移动通信有限公司 信息处理方法及装置、设备、存储介质
WO2021000245A1 (en) * 2019-07-02 2021-01-07 Alibaba Group Holding Limited Constant rate factor control for adaptive resolution video coding
CN110636295B (zh) * 2019-09-27 2023-10-24 腾讯科技(深圳)有限公司 视频编解码方法和装置、存储介质及电子装置
CN110572677B (zh) * 2019-09-27 2023-10-24 腾讯科技(深圳)有限公司 视频编解码方法和装置、存储介质及电子装置
WO2021057705A1 (zh) * 2019-09-27 2021-04-01 腾讯科技(深圳)有限公司 视频编解码方法和相关装置
WO2021057686A1 (zh) * 2019-09-27 2021-04-01 腾讯科技(深圳)有限公司 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置
CN110636295A (zh) * 2019-09-27 2019-12-31 腾讯科技(深圳)有限公司 视频编解码方法和装置、存储介质及电子装置
US12015763B2 (en) 2019-09-27 2024-06-18 Tencent Technology (Shenzhen) Company Limited Video encoding method, video decoding method, and related apparatuses
CN110582022A (zh) * 2019-09-27 2019-12-17 腾讯科技(深圳)有限公司 视频编解码方法和装置及存储介质
US11943473B2 (en) 2019-09-27 2024-03-26 Tencent Technology (Shenzhen) Company Limited Video decoding method and apparatus, video encoding method and apparatus, storage medium, and electronic device
CN110677676B (zh) * 2019-09-27 2024-02-09 腾讯科技(深圳)有限公司 视频编码方法和装置、视频解码方法和装置及存储介质
CN110582022B (zh) * 2019-09-27 2022-12-30 腾讯科技(深圳)有限公司 视频编解码方法和装置及存储介质
CN110572677A (zh) * 2019-09-27 2019-12-13 腾讯科技(深圳)有限公司 视频编解码方法和装置、存储介质及电子装置
CN110572675B (zh) * 2019-09-27 2023-11-14 腾讯科技(深圳)有限公司 视频解码、编码方法和装置、存储介质与解码器、编码器
CN110545433B (zh) * 2019-09-27 2023-03-21 腾讯科技(深圳)有限公司 视频编解码方法和装置及存储介质
CN110572675A (zh) * 2019-09-27 2019-12-13 腾讯科技(深圳)有限公司 视频解码、编码方法和装置、存储介质与解码器、编码器
CN110677676A (zh) * 2019-09-27 2020-01-10 腾讯科技(深圳)有限公司 视频编码方法和装置、视频解码方法和装置及存储介质
CN110545433A (zh) * 2019-09-27 2019-12-06 腾讯科技(深圳)有限公司 视频编解码方法和装置及存储介质
CN113411611B (zh) * 2021-06-30 2023-06-20 脸萌有限公司 视频图像处理方法、设备及电子设备
CN113411611A (zh) * 2021-06-30 2021-09-17 脸萌有限公司 视频图像处理方法、设备及电子设备
CN113766232A (zh) * 2021-09-24 2021-12-07 百果园技术(新加坡)有限公司 一种编码、解码方法、装置、电子设备及存储介质
CN113766232B (zh) * 2021-09-24 2024-06-07 百果园技术(新加坡)有限公司 一种编码、解码方法、装置、电子设备及存储介质
CN114513670B (zh) * 2021-12-30 2023-03-10 浙江大华技术股份有限公司 一种端到端的视频压缩方法、装置和计算机可读存储介质
CN114513670A (zh) * 2021-12-30 2022-05-17 浙江大华技术股份有限公司 一种端到端的视频压缩方法、装置和计算机可读存储介质
CN118338003A (zh) * 2024-06-12 2024-07-12 北京欣博电子科技有限公司 视频解码方法、装置、计算机设备、可读存储介质和程序产品
CN118338003B (zh) * 2024-06-12 2024-09-13 北京欣博电子科技有限公司 视频解码方法、装置、计算机设备、可读存储介质和程序产品

Also Published As

Publication number Publication date
US20200374547A1 (en) 2020-11-26
WO2019242528A1 (zh) 2019-12-26
CN108833916B (zh) 2021-09-24
US20210352318A1 (en) 2021-11-11
US11563974B2 (en) 2023-01-24
US11128888B2 (en) 2021-09-21

Similar Documents

Publication Publication Date Title
CN108833916A (zh) 视频编码、解码方法、装置、存储介质和计算机设备
CN108769682A (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN108848376A (zh) 视频编码、解码方法、装置和计算机设备
CN108769681A (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN108833918A (zh) 视频编码方法、解码方法、装置、计算机设备及存储介质
CN108848381A (zh) 视频编码方法、解码方法、装置、计算机设备及存储介质
CN108848380A (zh) 视频编码和解码方法、装置、计算机设备及存储介质
CN108833917A (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN108924553A (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN108833923A (zh) 视频编码、解码方法、装置、存储介质和计算机设备
CN104754355B (zh) 一种图像解码设备
CN108848377A (zh) 视频编码、解码方法、装置、计算机设备和存储介质
US20150350671A1 (en) Motion compensation method and device for encoding and decoding scalable video
CN110312130B (zh) 基于三角模式的帧间预测、视频编码方法及设备
CN101682781A (zh) 图像编码方法以及图像解码方法
CN109729352B (zh) 确定仿射编码块的运动矢量的方法和装置
CN109495746A (zh) 一种基于运动矢量调整的视频编码方法
CN109618159A (zh) 一种基于分辨率对应关系的自适应编码方法
CN109660796A (zh) 一种对视频帧进行编码的方法
JP7431752B2 (ja) ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラム
CN109618160A (zh) 一种基于运动信息与残差信息计算的视频编码方法
CN101023672A (zh) 在可调整视频编码中用于运动预测的系统和方法
KR20130095322A (ko) 양자화 제어 장치 및 방법, 및 양자화 제어 프로그램
CN109618167A (zh) 一种基于插值处理的图像编码方法
CN109495740A (zh) 一种基于环境信息来对图像进行编码的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant