CN109792524A - 切换内插滤波器的系统及方法 - Google Patents

切换内插滤波器的系统及方法 Download PDF

Info

Publication number
CN109792524A
CN109792524A CN201780060942.0A CN201780060942A CN109792524A CN 109792524 A CN109792524 A CN 109792524A CN 201780060942 A CN201780060942 A CN 201780060942A CN 109792524 A CN109792524 A CN 109792524A
Authority
CN
China
Prior art keywords
interpolation filter
decoding unit
filter
subset
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780060942.0A
Other languages
English (en)
Other versions
CN109792524B (zh
Inventor
李圣远
钱威俊
张凯
陈建乐
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN202310310570.XA priority Critical patent/CN116347075A/zh
Publication of CN109792524A publication Critical patent/CN109792524A/zh
Application granted granted Critical
Publication of CN109792524B publication Critical patent/CN109792524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Complex Calculations (AREA)
  • Peptides Or Proteins (AREA)

Abstract

本发明提供用于在视频数据的编码或视频位流的解码期间自适应地切换内插滤波器的系统、方法及设备。在各种实施方案中,可定义内插滤波器集合且使其可用于译码装置。所述译码装置可针对给定译码单元选择内插滤波器。可基于例如所述译码单元的译码层级等等来选择所述内插滤波器。在一些实例中,可通过针对给定译码情形选择所述内插滤波器集合的子集来简化所述经选择内插滤波器的信号传送。接着可用信号传送指示来自所述子集的内插滤波器的索引。替代地,解码器可自由位流提供的数据导出所述内插滤波器的标识,在此状况下,无需在所述位流中明确地用信号传送所述索引。

Description

切换内插滤波器的系统及方法
技术领域
本申请案涉及在高级视频编解码器的上下文中切换待用于运动估计(ME)及运动补偿(MC)过程的内插滤波器,包含在联合探索模型(JEM)中开发的代码。举例来说,所提议的方法通过以自适应方式采用多个内插滤波器来改善层间预测的性能。
背景技术
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称为ISO/IECMPEG-4AVC),包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。
另外,ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)以及3D视频译码扩展开发联合协作小组(JCT-3V)最近已开发新视频译码标准,即,高效率视频译码(HEVC)或ITU-T H.265,包含其范围与屏幕内容译码扩展、3D视频译码(3D-HEVC)与多视图扩展(MV-HEVC),及可缩放扩展(SHVC)。
在2016年,MPEG及ITU-T VCEG已形成联合探索视频小组(JVET)以探索用于下一代视频译码标准的新译码工具。参考软件被称为联合探索模型(JEM)。
发明内容
视频压缩技术执行空间及时间预测以缩减或移除输入视频信号中固有的冗余。为了缩减时间冗余(即,相邻帧中的视觉相似性),实行运动估计以跟踪视频中的对象移动。运动向量可以像素单位距离指示位移。在一些状况下,运动向量可具有程度高于整数像素精确度的精确度,例如二分之一像素、四分之一像素或1/16像素距离。较精细程度的精确度可使视频译码器能够更准确地跟踪运动场,且因此获得较佳预测。
根据至少一个实例,提供一种编码视频数据的方法,其包含获得所述视频数据。所述方法进一步包含针对译码单元从内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述视频数据中与所述译码单元相关联的信息而确定。所述方法进一步包含编码所述译码单元,其中编码所述译码单元包含针对所述译码单元选择用于运动估计及运动补偿的内插滤波器,其中所述内插滤波器是选自所述内插滤波器子集。所述方法进一步包含产生经编码视频位流,其中所述经编码视频位流包含所述经编码译码单元。
在另一实例中,提供一种设备,其包含:存储器,其经配置以存储视频数据;及处理器。所述处理器经配置以且可获得所述视频数据。所述处理器经配置以且可针对译码单元从内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述视频数据中与所述译码单元相关联的信息而确定。所述处理器经配置以且可编码所述译码单元,其中编码所述处理包含选择用于运动估计及运动补偿的内插滤波器,其中所述内插滤波器是选自所述内插滤波器子集。所述处理器经配置以且可产生经编码视频位流,其中所述经编码视频位流包含所述经编码译码单元。
在另一实例中,提供一种计算机可读媒体,其上存储有指令,所述指令在由处理器执行时执行方法,所述方法包含:获得视频数据。所述方法进一步包含针对译码单元从内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述视频数据中与所述译码单元相关联的信息而确定。所述方法进一步包含编码译码单元,其中编码所述译码单元包含针对所述译码单元选择用于运动估计及运动补偿的内插滤波器,其中所述内插滤波器是选自内插滤波器集合。所述方法进一步包含产生经编码视频位流,其中所述经编码视频位流包含所述经编码译码单元。
在另一实例中,提供一种设备,其包含用于获得视频数据的装置。所述设备进一步包含用于针对译码单元从内插滤波器集合确定内插滤波器子集的装置,其中所述内插滤波器子集是基于所述视频数据中与所述译码单元相关联的信息而确定。所述设备进一步包括用于编码所述译码单元的装置,其中编码所述译码单元包含针对所述译码单元选择用于运动估计及运动补偿的内插滤波器,其中所述内插滤波器是选自所述内插滤波器子集。所述设备进一步包括用于产生经编码视频位流的装置,其中所述经编码视频位流包含所述经编码译码单元。
在一些方面中,上文所描述的方法、设备及计算机可读媒体进一步包括从所述内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述译码单元的译码层级而确定,且其中所述内插滤波器是从所述内插滤波器子集而确定。
在一些方面中,上文所描述的方法、设备及计算机可读媒体进一步包括从所述内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于用于所述译码单元的预测模式而确定,且其中所述内插滤波器是从所述内插滤波器子集而确定。
在一些方面中,上文所描述的方法、设备及计算机可读媒体进一步包括从所述内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述运动信息而确定,且其中所述内插滤波器是从所述内插滤波器子集而确定。
在一些方面中,上文所描述的方法、设备及计算机可读媒体进一步包括从所述内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于用以译码所述译码单元的译码工具而确定,且其中所述内插滤波器是从所述内插滤波器子集而确定。
在一些方面中,所述内插滤波器是选自经先前译码块。在一些方面中,所述内插滤波器是选自所述译码单元的相邻块。
在一些方面中,上文所描述的方法、设备及计算机可读媒体进一步包括合并所述内插滤波器与第二内插滤波器,其中所得的经合并内插滤波器用于所述运动估计。
在一些方面中,所述内插滤波器与第二内插滤波器相关联,其中所述内插滤波器用于整数像素位置,且其中所述第二内插滤波器用于分数像素位置。
在一些方面中,所述内插滤波器及所述第二内插滤波器具有不同截止频率。
在一些方面中,所述经编码视频位流包含识别所述内插滤波器的值。
在一些方面中,不运用所述经编码视频位流来用信号传送所述内插滤波器集合,且其中可从所述经编码视频位流暗示所述内插滤波器的标识。
在一些方面中,如上文所描述的设备可包含用于捕获图片的相机。
根据至少一个实例,提供一种解码视频数据的方法,其包含获得经编码视频位流。所述方法进一步包含从所述经编码视频位流确定用于当前帧中的译码单元的参考帧。所述方法进一步包含从内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述经编码视频位流中与所述译码单元相关联的信息而确定。所述方法进一步包含从所述内插滤波器子集确定内插滤波器。所述方法进一步包含使用所述参考帧及所述内插滤波器以重构所述译码单元。
在另一实例中,提供一种设备,其包含:存储器,其经配置以存储视频数据;及处理器。所述处理器经配置以且可获得经编码视频位流。所述处理器经配置以且可从所述经编码视频位流确定用于当前帧中的译码单元的参考帧。所述处理器经进一步配置以从内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述经编码视频位流中与所述译码单元相关联的信息而确定。所述处理器经配置以且可从所述内插滤波器子集确定内插滤波器。所述处理器经配置以且可使用所述参考帧及所述内插滤波器以重构所述译码单元。
在另一实例中,提供一种计算机可读媒体,其上存储有指令,所述指令在由处理器执行时执行方法,所述方法包含:获得经编码视频位流。所述方法进一步包含从所述经编码视频位流确定用于当前帧中的译码单元的参考帧。所述方法进一步包含从内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述经编码视频位流中与所述译码单元相关联的信息而确定。所述方法进一步包含从内插滤波器集合确定内插滤波器。所述方法进一步包含使用所述参考帧及所述内插滤波器以重构所述译码单元。
在另一实例中,提供一种设备,其包含用于获得经编码视频位流的装置。所述设备进一步包括用于从所述经编码视频位流确定用于当前帧中的译码单元的参考帧的装置。所述设备进一步包含用于从内插滤波器集合确定内插滤波器子集的装置,其中所述内插滤波器子集是基于所述经编码视频位流中与所述译码单元相关联的信息而确定。所述设备进一步包括用于从所述内插滤波器子集确定内插滤波器的装置。所述设备进一步包括用于使用所述参考帧及所述内插滤波器以重构所述译码单元的装置。
在一些方面中,上文所描述的方法、设备及计算机可读媒体进一步包括从所述内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述译码单元的译码层级而确定,且其中所述内插滤波器是从所述内插滤波器子集而确定。
在一些方面中,上文所描述的方法、设备及计算机可读媒体进一步包括从所述内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于用于所述译码单元的预测模式而确定,且其中所述内插滤波器是从所述内插滤波器子集而确定。
在一些方面中,上文所描述的方法、设备及计算机可读媒体进一步包括从所述内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于运动信息而确定,且其中所述内插滤波器是从所述内插滤波器子集而确定。
在一些方面中,上文所描述的方法、设备及计算机可读媒体进一步包括从所述内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于用以译码所述译码单元的译码工具而确定,且其中所述内插滤波器是从所述内插滤波器子集而确定。
在一些方面中,其中所述内插滤波器是选自经先前译码块。在一些方面中,所述内插滤波器是选自相邻块。
在一些方面中,上文所描述的方法、设备及计算机可读媒体进一步包括合并所述内插滤波器与第二内插滤波器,其中所得的经合并内插滤波器用于重构所述预测单元。
在一些方面中,所述内插滤波器与第二内插滤波器相关联,其中所述内插滤波器用于整数像素位置,且其中所述第二内插滤波器用于分数像素位置。在一些方面中,所述内插滤波器及所述第二内插滤波器具有不同截止频率。
在一些方面中,所述经编码视频位流包含识别所述内插滤波器的值。
在一些方面中,上文所描述的方法、设备及计算机可读媒体进一步包括使用所述经编码视频位流来导出所述内插滤波器的标识。
在一些方面中,如上文所描述的设备可包含用于捕获图片的相机。在一些方面中,所述设备可包含用于显示视频数据的显示器。
附图说明
下文参考以下附图来详细地描述本发明的说明性实施例:
图1为绘示编码装置及解码装置的实例的框图。
图2绘示用于来自当前帧的当前块的编码过程的实例。
图3绘示分数像素位置的实例。
图4绘示编码过程的运动估计步骤的实例。
图5绘示解码过程的运动估计步骤的实例。
图6为绘示三个实例滤波器F0、F1及F2的频率响应的图形。
图7绘示用于在编码过程期间切换内插滤波器的过程的实例。
图8为用于在解码过程中切换内插滤波器的过程的实例。
图9为绘示实例编码装置的框图。
图10为绘示实例视频解码装置的框图。
具体实施方式
下文提供本发明的某些方面及实施例。这些方面及实施例中的一些可被独立地应用且这些方面及实施例中的一些可被组合地应用,这对于所属领域技术人员来说将显而易见。在以下描述中,出于阐释的目的,阐述特定细节以便提供对本发明的实施例的透彻理解。然而,将显而易见,可在无这些特定细节的情况下实践各种实施例。图及描述并不意图为限定性的。
随后的描述仅提供示范性实施例,且并不意图限制本发明的范围、适用性或配置。更确切来说,示范性实施例的随后的描述将向所属领域技术人员提供用于实施示范性实施例的开放描述。应理解,可在不脱离如所附权利要求书中所阐述的本发明的精神及范围的情况下对元件的功能及布置进行各种改变。
在以下描述中给出特定细节以提供对实施例的透彻理解。然而,所属领域一般技术人员应理解,可在无这些特定细节的情况下实践实施例。举例来说,可以框图形式将电路、系统、网络、过程及其它组件展示为组件,以免以不必要的细节混淆实施例。在其它情况下,可在无不必要的细节的情况下展示熟知的电路、过程、算法、结构及技术以便避免混淆实施例。
此外,应注意,可将个别实施例描述为被描绘为流程图、流图、数据流图、结构图或框图的过程。尽管流程图可将操作描述为顺序过程,但许多操作可并行地或同时地执行。另外,可重新布置操作的次序。过程在其操作完成时终止,但可具有未包含于图中的额外步骤。过程可对应于方法、函数、规程、子例程、子程序等等。在过程对应于函数时,其终止可对应于函数返回至调用函数或主函数。
术语“计算机可读媒体”包含但不限于便携式或非便携式存储装置、光学存储装置,及能够存储、含有或携载指令及/或数据的各种其它媒体。计算机可读媒体可包含非暂时性媒体,数据可存储于非暂时性媒体中,且非暂时性媒体不包含载波及/或以无线方式或经由有线连接而传播的暂时性电子信号。非暂时性媒体的实例可包含但不限于磁盘或磁带、例如紧密光盘(CD)或数字多功能光盘(DVD)的光学存储媒体、闪速存储器、存储器或存储器装置。计算机可读媒体可存储有代码及/或机器可执行指令,代码及/或机器可执行指令可表示规程、函数、子程序、程序、例程、子例程、模块、软件包、类,或指令、数据结构或程序语句的任何组合。可通过传递及/或接收信息、数据、自变量、参数或存储器内容而将一代码段耦合至另一代码段或硬件电路。可经由包含存储器共享、消息传递、令牌传递、网络传输等等的任何合适方式来传递、转发或传输信息、自变量、参数、数据等等。
此外,实施例可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合实施。在以软件、固件、中间件或微码予以实施时,用以执行必要任务的程序代码或代码段(例如计算机程序产品)可存储于计算机可读或机器可读媒体中。处理器可执行必要任务。
随着更多装置及系统向取用者提供取用数字视频数据的能力,针对高效视频译码技术的需要变得更重要。需要视频译码来缩减为处置存在于数字视频数据中的大量数据所必要的存储及传输要求。各种视频译码技术可用以将视频数据压缩成使用较低位速率同时维持高视频质量的形式。如本文中所使用,“译码”是指“编码”或“解码”。
图1为绘示包含编码装置104及解码装置112的视频译码系统100的实例的框图。编码装置104可为源装置的部分,且解码装置112可为接收装置的部分。源装置及/或接收装置可包含电子装置,例如移动或静止电话手机(例如智能电话、蜂窝电话等等)、桌上型计算机、膝上型或笔记本计算机、平板计算机、机顶盒、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置、互联网协议(IP)相机,或任何其它合适电子装置。在一些实例中,源装置及接收装置可包含用于无线通信的一或多个无线收发器。本文中所描述的译码技术适用于各种多媒体应用中的视频译码,包含流式处理视频传输(例如经由互联网)、电视广播或传输、用于存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,系统100可支持单向或双向视频传输以支持例如视频会议、视频流式处理、视频回放、视频广播、游戏及/或视频电话的应用。
编码装置104(或编码器)可用以使用视频译码标准或协议来编码视频数据以产生经编码视频位流。视频译码标准的实例包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-TH.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-T H.264(也被称为ISO/IEC MPEG-4AVC),包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展,及高效率视频译码(HEVC)或ITU-T H.265。存在涉及多层视频译码的各种HEVC扩展,包含范围与屏幕内容译码扩展、3D视频译码(3D-HEVC)与多视图扩展(MV-HEVC),及可缩放扩展(SHVC)。ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)以及3D视频译码扩展开发联合协作小组(JCT-3V)已开发HEVC及其扩展。MPEG及ITU-T VCEG还已形成联合探索视频小组(JVET)以探索用于下一代视频译码标准的新译码工具。参考软件被称为联合探索模型(JEM)。
本文中所描述的许多实例提供使用JEM模型、HEVC标准及/或其扩展的实例。然而,本文中所描述的技术及系统还可适用于其它译码标准,例如AVC、MPEG、其扩展,或当前存在或未来的译码标准的其它合适译码标准。因此,虽然可参考特定视频译码标准来描述本文中所描述的技术及系统,但所属领域一般技术人员应了解,描述不应被解释为仅适用于所述特定标准。
参看图1,视频源102可将视频数据提供至编码装置104。视频源102可为源装置的部分,或可为除了源装置以外的装置的部分。视频源102可包含视频捕获装置(例如视频相机、相机电话、视频电话等等)、含有经存储视频的视频存档、提供视频数据的视频服务器或内容提供者、从视频服务器或内容提供者接收视频的视频馈送接口、用于产生计算机图形视频数据的计算机图形系统、此类源的组合,或任何其它合适视频源。
来自视频源102的视频数据可包含一或多个输入图片或帧。视频的图片或帧为场景的静态图像。编码装置104的编码器引擎106(或编码器)编码视频数据以产生经编码视频位流。在一些实例中,经编码视频位流(或“视频位流”或“位流”)为一系列一或多个经译码视频序列。经译码视频序列(CVS)包含一系列存取单元(AU),其始于具有在基础层中且具有某些属性的随机存取点图片的AU,直到且不包含具有在基础层中且具有某些属性的随机存取点图片的下一AU。举例来说,开始CVS的随机存取点图片的某些属性可包含等于1的RASL旗标(例如NoRaslOutputFlag)。否则,随机存取点图片(具有等于0的RASL旗标)不会开始CVS。存取单元(AU)包含一或多个经译码图片及对应于共享相同输出时间的经译码图片的控制信息。图片的经译码切片在位流层级中囊封成被称为网络抽象层(NAL)单元的数据单元。举例来说,HEVC视频位流可包含一或多个CVS,一或多个CVS包含NAL单元。每一NAL单元具有NAL单元标头。在一个实例中,标头对于H.264/AVC(但多层扩展除外)为一字节且对于HEVC为二字节。NAL单元标头中的语法元素采取指定位,且因此对于所有种类的系统及输送层是可见的,例如输送流、实时输送(RTP)协议、文件格式等等。
两类NAL单元存在于HEVC标准中,包含视频译码层(VCL)NAL单元及非VCL NAL单元。VCL NAL单元包含经译码图片数据的一个切片或切片段(下文所描述),且非VCL NAL单元包含关于一或多个经译码图片的控制信息。在一些状况下,NAL单元可被称作数据包。HEVC AU包含含有经译码图片数据的VCL NAL单元及对应于经译码图片数据的非VCL NAL单元(如果存在)。
NAL单元可含有形成视频数据的经译码表示的位序列(例如经编码视频位流、位流的CVS,等等),例如视频中的图片的经译码表示。编码器引擎106通过将每一图片分割成多个切片而产生图片的经译码表示。一切片独立于其它切片,使得所述切片中的信息在不取决于来自同一图片内的其它切片的数据的情况下被译码。切片包含一或多个切片段,一或多个切片段包含独立切片段,及如果存在,取决于先前切片段的一或多个相依切片段。切片接着分割成亮度样本及色度样本的译码树块(CTB)。亮度样本的CTB及色度样本的一或多个CTB连同用于所述样本的语法一起被称作译码树单元(CTU)。CTU为用于HEVC编码的基本处理单元。CTU可分裂成具有不同大小的多个译码单元(CU)。CU含有被称作译码块(CB)的亮度及色度样本阵列。
亮度及色度CB可进一步分裂成预测块(PB)。PB为对于帧间预测或块内副本预测(在可用或经启用以供使用时)使用相同运动参数的亮度分量或色度分量的样本块。亮度PB及一或多个色度PB与关联语法一起形成预测单元(PU)。对于帧间预测,运动参数集合(例如一或多个运动向量、参考索引等等)针对每一PU在位流中被用信号传送,且用于亮度PB及一或多个色度PB的帧间预测。运动参数也可被称作运动信息。CB还可分割成一或多个变换块(TB)。TB表示颜色分量的正方形样本块,对正方形样本块应用相同二维变换以用于译码预测残余信号。变换单元(TU)表示亮度及色度样本的TB,以及对应语法元素。
CU的大小对应于译码模式的大小,且可为正方形形状。举例来说,CU的大小可为8×8样本、16×16样本、32×32样本、64×64样本,或高达对应CTU的大小的任何其它适当大小。短语“N×N”在本文中用以是指视频块在竖直及水平维度方面的像素尺寸(例如8个像素×8个像素)。可按行及列来布置块中的像素。在一些实例中,块在水平方向上与在竖直方向上可能不具有相同数目个像素。与CU相关联的语法数据可描述例如将CU分割成一或多个PU。分割模式可在CU被帧内预测模式编码还是帧间预测模式编码之间不同。PU可分割成非正方形形状。与CU相关联的语法数据还可描述例如根据CTU而将CU分割成一或多个TU。TU可为正方形或非正方形形状。
根据HEVC标准,可使用变换单元(TU)来执行变换。TU针对不同CU可变化。TU可基于给定CU内的PU的大小而定大小。TU可与PU大小相同或小于PU。在一些实例中,可使用被称为残余四叉树(residual quad tree;RQT)的四叉树结构而将对应于CU的残余样本再分成较小单元。RQT的叶节点可对应于TU。可变换与TU相关联的像素差值以产生变换系数。变换系数接着可由编码器引擎106量化。
一旦视频数据的图片分割成CU,编码器引擎106就使用预测模式来预测每一PU。接着从原始视频数据减去预测单元或预测块以取得残余(下文所描述)。对于每一CU,可使用语法数据而在位流内部用信号传送预测模式。预测模式可包含帧内预测(或图片内预测)或帧间预测(或图片间预测)。帧内预测利用图片内的空间上相邻样本之间的相关性。举例来说,在使用帧内预测的情况下,使用例如DC预测以得知PU的平均值、使用平面预测以使平面表面拟合于PU、使用方向预测以从相邻数据外插或使用任何其它合适类型的预测而从同一图片中的相邻图像数据预测每一PU。帧间预测使用图片之间的时间相关性以便导出针对图像样本块的运动补偿预测。举例来说,在使用帧间预测的情况下,使用运动补偿预测而从一或多个参考图片(按输出次序在当前图片之前或之后)中的图像数据预测每一PU。可例如在CU层级处作出使用图片间预测还是图片内预测来译码图片区域的决策。
在一些实例中,图片的一或多个切片被指派切片类型。切片类型包含I切片、P切片及B切片。I切片(内部帧,可独立解码的)为仅通过帧内预测而译码的图片的切片,且因此为可独立解码的,这是因为I切片仅需要帧内的数据来预测切片的任何预测单元或预测块。P切片(单向预测帧)为可运用帧内预测及运用单向帧间预测而译码的图片的切片。P切片内的每一预测单元或预测块是运用帧内预测或帧间预测被译码。在帧间预测适用时,预测单元或预测块是仅由一个参考图片预测,且因此参考样本仅来自一个帧的一个参考区。B切片(双向预测性帧)为可运用帧内预测及运用帧间预测(例如双向预测或单向预测)而译码的图片的切片。可从两个参考图片双向预测B切片的预测单元或预测块,其中每一图片促成一个参考区,且两个参考区的样本集合被加权(例如运用相等权重或运用不同权重)以产生双向预测块的预测信号。如上文所阐释,一个图片的切片被独立地译码。在一些状况下,图片可作为仅仅一个切片被译码。
PU可包含与预测过程相关的数据(例如运动参数或其它合适数据)。举例来说,在使用帧内预测来编码PU时,PU可包含描述用于PU的帧内预测模式的数据。作为另一实例,在使用帧间预测来编码PU时,PU可包含定义用于PU的运动向量的数据。定义用于PU的运动向量的数据可描述例如运动向量的水平分量(Δx)、运动向量的竖直分量(Δy)、运动向量的分辨率(例如整数精确度、四分之一像素精确度,或八分之一像素精确度)、运动向量所指向的参考图片、参考索引、运动向量的参考图片列表(例如列表0、列表1或列表C),或其任何组合。
编码装置104接着可执行变换及量化。举例来说,在预测之后,编码器引擎106可计算对应于PU的残余值。残余值可包括正被译码的像素的当前块(PU)与用以预测当前块的预测块(例如当前块的经预测版本)之间的像素差。举例来说,在产生预测块(例如发出帧间预测或帧内预测)之后,编码器引擎106可通过从当前块减去由预测单元产生的预测块来产生残余块。残余块包含量化当前块的像素值与预测块的像素值之间的差的像素差值集合。在一些实例中,可以二维块格式(例如像素值的二维矩阵或阵列)表示残余块。在此类实例中,残余块为像素值的二维表示。
使用块变换来变换可在执行预测之后剩余的任何残余数据,块变换可基于离散余弦变换、离散正弦变换、整数变换、小波变换、其它合适变换功能或其任何组合。在一些状况下,一或多个块变换(例如大小32×32、16×16、8×8、4×4等等)可应用于每一CU中的残余数据。在一些实例中,TU可用于由编码器引擎106实施的变换及量化过程。具有一或多个PU的给定CU还可包含一或多个TU。如下文进一步详细地所描述,可使用块变换将残余值变换成变换系数,且接着可使用TU来量化及扫描残余值以产生用于熵译码的串行化变换系数。
在一些实例中,在使用CU的PU进行帧内预测性或帧间预测性译码之后,编码器引擎106可计算用于CU的TU的残余数据。PU可包括空间域(或像素域)中的像素数据。在应用块变换之后,TU可包括变换域中的系数。如先前所提到,残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差值。编码器引擎106可形成包含用于CU的残余数据的TU,且接着可变换TU以产生用于CU的变换系数。
编码器引擎106可执行变换系数的量化。量化通过量化变换系数以缩减用以表示系数的数据的量而提供进一步压缩。举例来说,量化可缩减与一些或全部系数相关联的位深度。在一个实例中,具有n位值的系数可在量化期间向下舍入为m位值,其中n大于m。
一旦执行量化,经译码视频位流就包含经量化变换系数、预测信息(例如预测模式、运动向量、块向量等等)、分割信息,及例如其它语法数据的任何其它合适数据。接着可由编码器引擎106熵编码经译码视频位流的不同元素。在一些实例中,编码器引擎106可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在一些实例中,编码器引擎106可执行自适应扫描。在扫描经量化变换系数以形成向量(例如一维向量)之后,编码器引擎106可熵编码向量。举例来说,编码器引擎106可使用上下文自适应可变长度译码、上下文自适应二进制算术译码、基于语法的上下文自适应二进制算术译码、概率区间分割熵译码,或另一合适熵编码技术。
如先前所描述,HEVC位流包含NAL单元群组,NAL单元群组包含VCL NAL单元及非VCL NAL单元。VCL NAL单元包含形成经译码视频位流的经译码图片数据。举例来说,形成经译码视频位流的位序列在VCL NAL单元中被重新发送。非VCL NAL单元还可含有具有与经编码视频位流相关的高层级信息的参数集,外加其它信息。举例来说,参数集可包含视频参数集(VPS)、序列参数集(SPS)及图片参数集(PPS)。参数集的目标的实例包含位速率效率、错误复原(error resiliency),及提供系统层接口。每一切片参考单一活动PPS、SPS及VPS以存取可由解码装置112用于解码所述切片的信息。可针对每一参数集译码一标识符(ID),包含VPS ID、SPS ID及PPS ID。SPS包含SPS ID及VPS ID。PPS包含PPS ID及SPS ID。每一切片标头包含PPS ID。在使用ID的情况下,可针对给定切片识别活动参数集。
PPS包含适用于给定图片中的所有切片的信息。由此,图片中的所有切片参考同一PPS。不同图片中的切片也可参考同一PPS。SPS包含适用于同一经译码视频序列(CVS)或位流中的所有图片的信息。如先前所描述,经译码视频序列为一系列存取单元(AU),其始于在基础层中且具有某些属性(上文所描述)的随机存取点图片(例如瞬时解码参考(IDR)图片或断链存取(BLA)图片,或其它适当随机存取点图片),直到且不包含具有在基础层中且具有某些属性的随机存取点图片的下一AU(或位流的末端)。SPS中的信息可能不会在经译码视频序列内随不同图片而改变。经译码视频序列中的图片可使用同一SPS。VPS包含适用于经译码视频序列或位流内的所有层的信息。VPS包含具有适用于全部经译码视频序列的语法元素的语法结构。在一些实例中,可运用经编码位流在频带内传输VPS、SPS或PPS。在一些实例中,相比于含有经译码视频数据的NAL单元可在单独传输中在频带外传输VPS、SPS或PPS。
视频位流还可包含补充增强信息(SEI)消息。举例来说,SEI NAL单元可为视频位流的部分。在一些状况下,SEI消息可含有不为解码过程所需要的信息。举例来说,SEI消息中的信息对于解码器解码位流的视频图片可能不为必需的,但解码器可使用所述信息以改善图片的显示或处理(例如经解码输出)。SEI消息中的信息可为嵌入式元数据。在一个说明性实例中,SEI消息中的信息可由解码器侧实体使用以改善内容的可观看性。在一些情况下,某些应用标准可强制此类SEI消息在位流中的存在,使得符合应用标准的所有装置可得到质量改善(例如,用于帧兼容平面立体3DTV视频格式的帧包装SEI消息的携载,其中针对视频的每一帧携载SEI消息;恢复点SEI消息的处置;拉移式扫描矩形SEI消息在DVB中的使用;外加许多其它实例)。
编码装置104的输出110可经由通信链路120而将组成经编码视频数据的NAL单元发送至接收装置的解码装置112。解码装置112的输入114可接收NAL单元。通信链路120可包含由无线网络、有线网络或有线网络与无线网络的组合提供的信道。无线网络可包含任何无线接口或无线接口组合,且可包含任何合适无线网络(例如互联网或其它广域网、基于数据包的网络、WiFiTM、射频(RF)、UWB、WiFi-Direct、蜂窝、长期演进(LTE)、WiMaxTM,等等)。有线网络可包含任何有线接口(例如光纤、以太网、电力线以太网、经由同轴电缆的以太网、数字信号线(DSL),等等)。可使用例如基站、路由器、存取点、网桥、门网关、交换机等等的各种设备来实施有线及/或无线网络。可根据例如无线通信协议的通信标准来调制经编码视频数据,且将其传输至接收装置。
在一些实例中,编码装置104可将经编码视频数据存储于存储装置108中。输出110可从编码器引擎106或从存储装置108检索经编码视频数据。存储装置108可包含多种分布式或本地存取数据存储媒体中的任一者。举例来说,存储装置108可包含硬盘驱动器、存储光盘、闪速存储器、易失性或非易失性存储器,或用于存储经编码视频数据的任何其它合适数字存储媒体。
解码装置112的输入114接收经编码视频位流数据,且可将视频位流数据提供至解码器引擎116或提供至存储装置118以用于稍后由解码器引擎116使用。解码器引擎116可通过熵解码(例如使用熵解码器)及提取组成经编码视频数据的一或多个经译码视频序列的元素来解码经编码视频位流数据。解码器引擎116接着可重新缩放经编码视频位流数据且对其执行反变换。接着将残余数据传递至解码器引擎116的预测级。解码器引擎116接着预测像素块(例如PU)。在一些实例中,将预测与反变换的输出(残余数据)相加。
解码装置112可将经解码视频输出至视频目的地装置,视频目的地装置可包含用于将经解码视频数据显示给内容的取用者的显示器或其它输出装置。在一些方面中,视频目的地装置122可为包含解码装置112的接收装置的部分。在一些方面中,视频目的地装置122可为除了接收装置以外的单独装置的部分。
在一些实例中,视频编码装置104及/或视频解码装置112分别可与音频编码装置及音频解码装置集成。视频编码装置104及/或视频解码装置112还可包含为实施上文所描述的译码技术所必要的其它硬件或软件,例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码装置104及视频解码装置112可被集成为相应装置中的组合式编码器/解码器(编解码器)的部分。下文参考图9来描述编码装置104的特定细节的实例。下文参考图10来描述解码装置112的特定细节的实例。
对HEVC标准的扩展包含被称作MV-HEVC的多视图视频译码扩展,及被称作SHVC的可缩放视频译码扩展。MV-HEVC及SHVC扩展共享分层译码的概念,其中不同层包含于经编码视频位流中。经译码视频序列中的每一层是由唯一层标识符(ID)寻址。层ID可存在于NAL单元的标头中以识别与NAL单元相关联的层。在MV-HEVC中,不同层通常表示视频位流中的同一场景的不同视图。在SHVC中,提供以不同空间分辨率(或图片分辨率)或以不同重构保真度表示视频位流的不同可缩放层。可缩放层可包含基础层(其中层ID=0)及一或多个增强层(其中层ID=1,2,…n)。基础层可符合HEVC的第一版本的配置文件,且表示位流中的最低可用层。与基础层相比较,增强层具有增加的空间分辨率、时间分辨率或帧速率及/或重构保真度(或质量)。增强层被按层次组织,且可能(或可能不)取决于较低层。在一些实例中,可使用单一标准编解码器来译码不同层(例如,使用HEVC、SHVC或其它译码标准来编码所有层)。在一些实例中,可使用多标准编解码器来译码不同层。举例来说,可使用AVC来译码基础层,而可使用对HEVC标准的SHVC及/或MV-HEVC扩展来译码一或多个增强层。
视频压缩技术执行空间及时间预测以缩减或移除输入视频信号中固有的冗余。为了缩减时间冗余(即,相邻帧中的视觉相似性),实行运动估计以跟踪视频中的对象移动。运动估计为针对来自当前帧的给定像素块识别参考帧中(或用于双向预测的两个参考帧中)的最佳匹配(例如最相似)像素块的过程。可使用一或多个参考索引而针对当前块识别一或多个参考帧。参考帧中的像素块可被称作候选块、预测子或预测块。块的大小可变化。来自当前帧的当前块与来自参考帧的候选块之间的偏移的特征可为运动向量,运动向量可指示位移程度及位移方向。
运动向量可以像素单位距离指示位移。在一些状况下,运动向量可具有程度高于整数像素精确度的精确度,例如二分之一像素、四分之一像素或1/16像素距离。较精细程度的精确度可使视频译码器能够更准确地跟踪运动场,且因此获得较佳预测。
在视频译码器正运用分数像素值来重构帧且遇到运动向量时,视频译码器可进行内插以产生分数像素值。举例来说,且如下文进一步所论述,视频译码器可将内插滤波器应用于可用像素以针对二分之一像素、四分之一像素或某其它分数像素位置产生经内插像素。
许多视频编解码器使用固定内插滤波器。就固定内插滤波器来说,编码器及解码器两者可提前被提供滤波器系数,且无需在经编码位流中提供所述系数。
然而,可通过使用最佳内插滤波器而非固定滤波器来优化运动估计及运动补偿。用于给定情形的最佳滤波器倾向于为高度局部化且内容相依的。使用最佳滤波器因此可增加编码器复杂性及/或可显著地增加信号传送开销,这在于将需要将滤波器系数从编码器传输至解码器。
在各种实施方案中,提供系统及方法,其中不同内插滤波器可应用于不同译码单元,且可在对经译码位流的大小的额外增加最小的情况下被用信号传送。举例来说,对于HEVC,在译码单元处于序列层级、图片层级、编码树单元层级、译码单元层级、变换单元层级或预测单元层级等等时,特定滤波器候选者集合可为可用的。另外,对于JEM,特定滤波器候选者集合在四叉树加二叉树(QTBT)层级等等处可为可用的。在本文中,译码单元也可被称作块。在这些及其它实例中,视频译码器可在编码视频或解码位流的同时在内插滤波器之间切换。
在各种实施方案中,可定义N个滤波器的集合,各自具有不同特性(例如滤波器长度、截止频率、转变频带,或波纹量,以及其它特性)。对于处于不同译码层级的块,可定义N个滤波器的集合的子集。在使用各种准则的情况下,编码器可从滤波器子集选择滤波器。接着可向解码器明确地或隐含地用信号传送或指示经选择滤波器。应用于给定层级处的滤波器子集可基于例如经先前译码块中的滤波器的命中率以及其它准则的某些准则而变化。在一些实施方案中,还可使用相似机制来隐含地或隐含地用信号传送用于色度分量或整数像素位置的滤波器选择。
图2绘示用于来自当前帧的当前块236的编码过程200的实例。当前块236也可被称作译码单元。当前块236可小于整个当前帧。
在此实例中,编码过程200首先对当前块236进行运动估计242。运动估计242可包含从可用参考帧264当中识别一或多个参考帧。参考帧可包含时间上出现在当前帧之前或之后的帧。进行运动估计242可包含搜索参考帧中的搜索区域以找到“最佳”匹配于当前块236的区。可例如通过从当前块236减去候选区以确定残余能量来确定最佳匹配。在此实例中,可将具有最低残余能量的候选区选择为最佳匹配。
运动估计242进一步包含产生运动向量243,其估计当前块236相对于参考帧的移动方向及程度。在大多数状况下,一或多个参考索引与运动向量相关联,其中参考索引识别用以确定运动向量的参考帧。在一些状况下,在运动估计之后,可使用例如速率失真模型来选择最佳运动向量。
运动补偿244可包含通过使用最佳运动向量来执行运动补偿而产生预测块245。预测块245为使用最佳运动向量而从参考帧选择的块。可从当前块236减去预测块245以产生残余块251。可将块变换252应用于残余块251。所得的变换系数可经历量化254以产生经量化系数255。可将熵译码256应用于经量化系数255以进一步缩减位速率且产生经编码位流210。
还可将经量化系数255输入至反量化258中,且接着输入至反变换260中。反量化258及反变换260与块变换252及量化254步骤反向,且产生经重构残余块261。可将经重构残余块261与经预测块245相加以产生经重构块253。经重构块253与当前块236大致相同。经重构视频块253可包含于参考帧中以用于编码额外块。
实例过程200主要描述时间运动估计。在其它实例中,例如H.264/AVC及HEVC编码过程的编码过程还可进行空间预测以产生经帧内译码块。关于图9来更详细地描述编码过程。
如先前所提到,用于当前块的最佳匹配参考块可处于从当前块的全像素偏移,或处于分数像素偏移。在运动信息指示最佳匹配处于分数像素位置时,视频译码器可通过从参考块中的像素内插分数位置处的像素来重构块。
图3绘示分数像素位置的实例。在图3的实例中,绘示三个像素宽及三个像素高的来自参考帧的块300。使用以大写字母加阴影的块来绘示整数像素位置(例如A0,0、A1,0、A0,1、A-1,0、A0,-1、A1,1、A1,-1、A-1,1及A-1,-1)。使用小写字母来绘示在本文中也被称作子像素位置的四分之一像素位置(例如a0,0、b0,0、c0,0等等)。在此实例中,每像素位置存在15个子像素位置,被标记为a至r(应注意,出于清晰起见而省略“l”及“o”)。
可使用各种方法以导出用于子像素位置的样本。举例来说,二分之一像素位置b0,0处的样本可通过将位置A0,0及A1,0处的像素平均化而产生。作为另一实例,来自相邻块的位置A-1,0、A1,0、A0,0及A2,0处的像素可经平均化以产生用于位置b0,0的样本。
在HEVC中,可通过将8分接头滤波器应用于最接近整数位置样本来导出用于位置a0,0、b0,0及c0,0的水平子像素样本及用于位置d0,0、h0,0及n0,0的竖直子像素样本。可通过将8分接头滤波器应用于位置a0,i、b0,i及c0,i处的样本来导出用于位置e0,0、i0,0、p0,0、f0,0、j0,0、q0,0、g0,0、k0,0及r0,0的样本,其中i=-3…4。表1中绘示8分接头亮度内插滤波器的实例
表1
相移 系数
0 {0,0,0,64,0,0,0,0},
1 {-1,4,-10,58,17,-5,1,0},
2 {-1,4,-11,40,40,-11,4,-1},
3 {0,1,-5,17,58,-10,4,-1},
表1包含每相移八个系数,每一分接头一个系数。每一相移对应于四分之一像素位置。举例来说,相移1可对应于子像素位置a0,0及d0,0,相移2可对应于子像素位置b0,0及h0,0等等。在其它实例中,可应用具有较长分接头(例如具有较多系数)的滤波器。具有较长分接头的滤波器相比于8分接头滤波器可具有不同特性,且在应用时可需要更复杂的计算。
在包含JEM中正开发的编解码器的其它视频编解码器中,可启用1/16子像素运动向量分辨率。就1/16子像素位置来说,可将具有16个相位的滤波器用于内插。表2中提供具有16个相位的实例滤波器。然而,在JEM中,使用具有固定系数的8分接头滤波器。
表2
相移 系数
0 {0,0,0,64,0,0,0,0},
1 {0,1,-3,63,4,-2,1,0},
2 {-1,2,-5,62,8,-3,1,0},
3 {-1,3,-8,60,13,-4,1,0},
4 {-1,4,-10,58,17,-5,1,0},
5 {-1,4,-11,52,26,-8,3,-1},
6 {-1,3,-9,47,31,-10,4,-1},
7 {-1,4,-11,45,34,-10,4,-1},
8 {-1,4,-11,40,40,-11,4,-1},
9 {-1,4,-10,34,45,-11,4,-1},
10 {-1,4,-10,31,47,-9,3,-1},
11 {-1,3,-8,26,52,-11,4,-1},
12 {0,1,-5,17,58,-10,4,-1},
13 {0,1,-4,13,60,-8,3,-1},
14 {0,1,-3,8,62,-5,2,-1},
15 {0,1,-2,4,63,-3,1,0}
参看图2,内容自适应二进制算术译码(CABAC)为可用于熵译码256以编码及解码位流中的语法元素的一个系统。CABAC可通过以下操作来实现良好压缩性能:针对每一语法元素选择概率模型,使用所述元素的上下文;基于局部统计来适应概率估计;及使用算术译码以代替可变长度译码。
CABAC使用二进制算术译码,这意味着仅编码二进制决策(1或0)。非二进制值符号(例如变换系数或运动向量,或具有两个或多于两个可能值的任何符号)在算术译码之前被“二进制化”或转换为二进制码。对于经二进制化符号的每一位,接着选择上下文模型。上下文模型为用于经二进制化符号的一或多个二进制的概率模型。基于经最近译码数据符号的统计而从可用模型选择上下文模型。上下文模型将每一二进制的概率存储为“1”或“0”。算术译码器接着根据经选择概率模型来编码每一二进制。接着基于实际经译码值来更新经选择上下文模型(例如,如果二进制值为“1”,那么增加“1”的频率计数)。
作为一实例,被命名为skip_flag_C[0]、skip_flag_C[1]及skip_flag_C[2]的三个候选上下文模型可用以译码语法元素cu_skip_flag。为了从三个候选者选择适当上下文,将选择值x计算为:
x=(cu_skip_flag[xNbL][yNbL]&&availableL)+(cu_skip_flag[xNbA][yNbA]&&availableA)
对于以上方程式,可如下确定待使用的上下文模型:
(x0,y0)指定当前亮度块的左顶部亮度样本相对于当前图片的左顶部样本的位置。
位置(xNbL,yNbL)可被设定为(x0-1,y0),且变量availableL可指示位于当前块正左侧的块的可用性。
位置(xNbA,yNbA)可被设定为等于(x0,y0-1),且变量availableA可指定位于当前块正上方的译码块的可用性。
cu_skip_flag[xNbL][yNbL]及cu_skip_flag[xNbA][yNbA]分别可表示用于第一块(块L)及第二块(块A)的cu_skip_flag。
如上文所提到,由JEM实施的HEVC及编解码器在启用子像素运动向量时使用固定内插滤波器。对于任何给定情形,内插滤波器可并非最佳。举例来说,在译码单元具有较多细节时,具有较高截止频率的滤波器可更适当,使得可在进行内插时节约细节。作为另一实例,在处理单元具有较少细节时,具有较低截止频率的滤波器可更适当,使得译码单元可运用较少位被译码。
可通过使用最佳内插滤波器而非固定滤波器来优化运动估计及运动补偿。用于给定情形的最佳滤波器倾向于为高度局部化且内容相依的。使用最佳滤波器因此可增加编码器复杂性及/或可显著地增加信号传送开销,这在于将需要将滤波器系数从编码器传输至解码器。
在各种实施方案中,视频译码器可经配置以在针对不同预测单元进行运动估计及运动补偿时在可用内插滤波器之间切换。在一些状况下,可通过以自适应方式选择内插滤波器来改善层间预测。在各种实施方案中,可定义N个滤波器的集合,各自具有例如滤波器长度、截止频率、转变频带、波纹量及/或特性组合的特性。
f 400。图4中还绘示滤波器集合410,其表示已被定义以供编解码器使用的所有滤波器。如上文所论述,在运动估计444步骤中,确定来自参考帧464的参考块。参考块为在外观方面最佳匹配于(例如最相似于)译码单元402的参考帧464的部分。在此实例中,译码单元402可为序列、图片、切片、编码树单元、译码单元、变换单元、预测单元,或某其它视频数据块。在使用参考块的情况下,运动估计444可确定用于译码单元402的运动信息406。运动信息406可包含一或多个运动向量,及可用以识别参考帧的索引等等。
在图4的实例中,运动估计444步骤还可确定滤波器选择准则414。滤波器选择准则414可用以选择适用于特定译码单元402的滤波器子集412(在本文中也被称作滤波器候选者)。举例来说,在一些实施方案中,滤波器选择准则414可为译码单元402的译码层级(例如序列层级、图片层级、切片层级、编码树单元层级、译码单元层级、变换单元层级、预测单元层级等等)。在此实例中,可基于译码单元402的译码层级来选择滤波器子集412。举例来说,子集中的特定滤波器及子集中的滤波器数目可遍及不同处理层级而改变。
在各种实施方案中,运动估计444可从滤波器子集412当中选择最佳内插滤波器。举例来说,运动估计444可使用速率失真优化以确定滤波器子集412中的哪一滤波器提供最佳压缩。可使用各种其它方法以选择最佳滤波器。
在各种实施方案中,可使用滤波器索引408来识别经选择滤波器。滤波器索引408可识别选自滤波器子集412的滤波器。举例来说,可能的索引可为0、1或2(在所绘示实例中分别对于F1、F3及F9),且在选择滤波器F1时,滤波器索引408可为“0”。在一些状况下,滤波器索引408可与运动信息406一起包含于输出位流420中。在这些实施方案中,滤波器索引408可被称为在位流420中被明确地用信号传送。
在一些状况下,可隐含地用信号传送滤波器索引408;即,滤波器索引408未包含于位流420中,且可代替地由解码器在解码位流420时导出。举例来说,在一些状况下,滤波器选择准则414引起包含仅一个滤波器的滤波器子集412。作为另一实例,在一些状况下,滤波器子集412可包含多个滤波器,但运动估计444确定使用默认滤波器(例如,对于时间合并候选者,始终选择滤波器F1)。在其它实例中,例如译码层级、预测模式及/或正被使用的译码工具的一或多个因素可由解码器使用以导出适当滤波器。
在一些实施方案中,运动估计444可基于从经先前译码块导出的静态来选择滤波器。举例来说,在经先前译码块中,由于具有不良性能,可从不使用来自滤波器子集412的一些滤波器。在此实例中,运动估计444可在针对当前特定译码单元402选择滤波器时消除性能不良的滤波器。相反地,在已极频繁地将特定滤波器用于经先前译码块时,运动估计444可在针对特定译码单元402选择滤波器时对此滤波器设定优先权。
在一些实施方案中,运动估计444可从例如空间相邻者或时间相邻者的相邻块选择滤波器。举例来说,在一些状况下,译码单元402可从相邻块复制运动向量。在此实例中,译码单元402还可从同一相邻块借用滤波器索引。作为另一实例,在数个相邻块使用同一滤波器时,运动估计444可确定译码单元402应使用同一滤波器。
在一些实施方案中,滤波器选择准则414可基于各种因素。举例来说,可基于用于当前块的预测模式(例如帧间预测、帧内预测等等)、运动向量的分辨率或差、正被使用的译码工具(例如双向光流)及/或重叠块运动补偿中的像素来选择滤波器子集412中的滤波器。作为另一实例,可基于当前块的大小及/或形状、当前帧的分辨率、当前帧与参考帧之间的距离及/或用于参考图片的量化参数(QP)值来选择滤波器子集412中的滤波器。
作为一实例,在译码单元402为例如帧或切片的大数据集合或译码单元402具有极少细节时,滤波器子集412中的滤波器可为具有低截止的滤波器。具有低截止频率的滤波器倾向于消除细节,因此在译码单元402具有极少细节时,通过使用具有低截止频率的滤波器将不会遗失数据。作为另一实例,在译码单元402为例如译码单元的小数据集合或译码单元402具有高程度的细节时,滤波器子集412可包含具有高截止频率的滤波器。具有高截止频率的滤波器可维持译码单元402中的高频分量,且因此节约细节。
在一些实施方案中,可通过合并来自滤波器子集412的滤波器来产生额外滤波器候选者。举例来说,在给出两个滤波器候选者的情况下,合并来自第一候选滤波器的偶相移与来自第二候选者的奇相移以产生第三候选者。作为另一实例,可通过组合来自第一候选者的奇相移与来自第二候选者的偶相移来构造第四候选者。
在一些实施方案中,可耦合内插滤波器。举例来说,可将用于整数样本的内插滤波器计数至用于分数样本的内插滤波器。在此实例中,相比于从用于分数样本的滤波器具有最小非零相移的滤波器,用于整数样本的滤波器可具有较高截止频率。替代地,相比于用于分数样本的滤波器,用于整数样本的滤波器可具有较低截止频率。
在一些实施方案中,译码工具还与滤波器相关联。举例来说,双向光流可使用梯度滤波器,且帧速率向上转换可使用改进滤波器。在一些实施方案中,可根据滤波器子集412中的每一滤波器候选者来产生工具特定滤波器。举例来说,在给出三个内插滤波器候选者的情况下,可针对双向光流导出三个梯度滤波器。在这些实施方案中,通过导出工具特定滤波器,无需在输出位流420中描述工具特定滤波器。
在一些实例中,在滤波器应用于整数像素位置及分数像素位置两者时,可首先应用用于整数像素位置的滤波器。接着可将经滤波整数样本用作输入以用于进一步内插以导出分数像素样本。
在一些实例中,在滤波器应用于整数像素位置及分数像素位置两者时,用于整数像素位置的滤波器可仅在关联运动向量具有整数程度的精确度时适用。在这些实例中,可将整数位置处的未经滤波像素用作输入来导出分数像素样本。
图5绘示解码过程500的运动估计544步骤的实例。图5中还绘示滤波器集合510,其表示已被定义以供编解码器使用的所有滤波器。在解码器过程500中,运动估计544可用以重构或预测预测单元502。对于当前帧中的预测单元502,经编码位流520可包含运动信息506。运动信息506可包含例如一或多个运动向量及至参考帧564的索引。在使用运动信息506的情况下,运动估计544可识别参考帧564中的参考块,且预测或产生预测单元502。
在一些实施方案中,运动估计544还可确定滤波器选择准则514。滤波器选择准则514可用以选择适用于预测单元502的滤波器子集512。举例来说,滤波器选择准则514可基于预测单元502的译码层级、预测模式,及/或正被使用的译码工具。子集中的特定滤波器及子集中的滤波器数目可随着解码位流520及遇到不同情形而改变。
在一些状况下,位流520包含可用以从滤波器子集512选择滤波器的明确滤波器索引508。在各种实施方案中,滤波器索引508可与运动信息506相关联。在滤波器索引508包含于位流520中时,滤波器索引508被称为被明确地用信号传送。滤波器索引508可从滤波器子集512当中识别应被用于内插的滤波器。举例来说,可能的索引可为0、1或2(在所绘示实例中分别对于F1、F3及F9),且在选择滤波器F1时,滤波器索引508可为“0”。
在一些状况下,解码器过程500可导出滤波器索引508。举例来说,在一些状况下,滤波器选择准则514产生包含仅一个滤波器的滤波器子集512。作为另一实例,在一些状况下,滤波器子集512可包含多个滤波器,但运动估计544确定使用默认滤波器(例如,对于时间合并候选者,始终选择滤波器F1)。在其它实例中,例如译码层级、预测模式及/或正被使用的译码工具的一或多个因素可由解码器使用以导出适当滤波器。因为解码器应使用由编码器确定的同一滤波器,所以在解码器不能够确定性地导出滤波器的标识的状况下,将在位流520中用信号传送滤波器的标识。
可使用各种方法来确定内插滤波器以在滤波器索引为隐含时使用。在一些实例中,内插滤波器可由在当前块之前编码的其它块确定。举例来说,满足某些条件的块可通过推断或继承针对其它块所选择的滤波器来确定滤波器。举例来说,在从经先前译码块导出当前运动向量(例如,空间合并候选者、仿射合并候选者及其它候选者即是此状况)时,可将针对供导出运动向量的块所选择的内插滤波器用于当前块。在此实例中,可能无需明确地用信号传送滤波器索引,这是因为:一旦解码器已确定运动向量,解码器就可在无需任何额外信息的情况下导出用于当前块的滤波器。
在一些实例中,用于某些块的内插滤波器可始终选择或有时选择预定默认滤波器。在这些实例中,无需从另一块搜索滤波器或继承滤波器。在一些状况下,一旦确定,默认滤波器就应用于所有译码层级处。在一些实例中,滤波器子集可偏向于选择特定滤波器。举例来说,可按顺序测试滤波器,且可将特定滤波器设定为用于从帧速率向上转换、时间运动向量预测(TMVP)、高级运动向量预测(AMVP)或零运动向量合并候选者导出运动向量的块的第一候选者。在一些实例中,默认滤波器可遍及帧及/或切片而改变。举例来说,可将先前图片及/或切片中的经频繁选择的滤波器设定为用于属于当前图片或切片的所有块的默认滤波器。因为解码器可在无来自编码器的任何侧信息的情况下模仿相同规程,所以可能无需明确地用信号传送滤波器索引。
视需要,滤波器索引可以其它方式明确地包含于位流中。在一些实例中,可被称为“interpolation_filter_index”的语法元素可由编码器用信号传送至解码器以指示针对不能够隐含地选择滤波器的块所选择的内插滤波器。信号传送意味着interpolation_filter_index可包含于位流中,以供解码器读取。
在一些实例中,interpolation_filter_index的值可运用例如固定长度码、指数哥伦布(Exponential Golomb)码、一元码或截断一元码的二进制化码予以二进制化。举例来说,在滤波器子集中存在三个滤波器时,可使用截断一元码以指示interpolation_filter_index。在此实例中,可使用两个旗标(例如FLAG0及FLAG1)以译码用于子集中的三个滤波器的三个可能索引0、1及2。举例来说,三个索引分别可被译码为(0,N/A)、(1,0)及(1,1)。在此实例中,可使用仅一个旗标(FLAG0)以指示interpolation_filter_index=0。
在一些实例中,某些上下文模型可与interpolation_filter_index相关联,所述上下文模型可在编码interpolation_filter_index时使用。举例来说,X数目个上下文模型可与interpolation_filter_index相关联,被命名为例如interpolation_filter_index_C[0]、interpolation_filter_index_C[1]、…、interpolation_filter_index_C[X-1]。在此实例中,来自这些上下文模型当中具有索引x的上下文模型interpolation_filter_index_C[x]可被选择为用以译码用于当前块的interpolation_filter_index的上下文。
在一些实例中,在可使用两个旗标(例如FLAG0及FLAG1)来表示interpolation_filter_index时,可存在与每一旗标相关联的某一数目个上下文模型。举例来说,可存在与FLAG0相关联的Y个上下文模型,被命名为interpolation_filter_index_C[0]、interpolation_filter_index_C[1]、…、interpolation_filter_index_C[Y-1]。在此实例中,在设定FLAG0时,具有索引x的上下文模型interpolation_filter_index_C[x]可被选择为用以译码当前块的interpolation_filter_index的上下文。在此实例中,可能不设定FLAG1,或FLAG1可能无关紧要。作为另一实例,可存在与FLAG1相关联的Z个上下文模型,被命名为interpolation_filter_index_C[0]、interpolation_filter_index_C[1]、…、interpolation_filter_index_C[Z-1]。在此实例中,在设定FLAG1时,具有索引x的上下文模型interpolation_filter_index_C[x]被选择为用以译码当前块的interpolation_filter_index的上下文。在此实例中,可能不设定FLAG0,或FLAG0可能无关紧要。
在以上实例中,可基于各种准则来选择x。举例来说,x可基于当前块的大小、当前块的形状、当前帧的分辨率、帧间预测方向、用于当前块的运动向量、用于当前块的运动向量差、用于当前块的参考帧、当前块的相邻块的interpolation_filter_index、一些其它准则,或准则组合。在各种实例中,可使用一函数以产生x的值,其中所述函数可将以上实例准则中的一或多者作为输入。在一些实例中,不同函数可用于不同帧分辨率。
在一些实例中,在x是基于当前块的大小时,可使用阈值P以确定x的值。举例来说,在当前块的大小小于P时,x可为0;否则,x可为1。阈值P可为整数。当前块的大小可被计算为M×N,其中M及N为当前块的宽度及高度,以像素为单位。
在一些实例中,在x是基于当前块的大小时,可从整数阵列{aK}确定x的值,其中所述阵列是按升序而排序。举例来说,在aK-1<=S<aK时,x可等于K,其中S为当前块的大小。在此实例中,S可为当前块中的像素数目,被计算为M×N,其中M及N为当前块的宽度及高度,以像素为单位。
在一些实例中,在x是基于当前块的形状时,可从块的高度与宽度之间的关系确定x的值。举例来说,在给出当前块的高度M及宽度N的情况下,在M<N时,x可等于0;在M=N时,x可等于1;且在M>N时,x可等于2。
在一些实例中,在x是基于当前块的预测方向时,可从预测方向确定x的值。举例来说,在运用单向帧间预测来译码当前块时,x可等于0,且在运用双向帧间预测来译码当前块时,x可等于1。作为另一实例,x的值可基于值InerDir,其中在运用来自参考列表0的单向帧间预测来译码当前块时,InterDir为1;在运用来自参考列表1的单向帧间预测来译码当前块时,InterDir为2;且在运用双向帧间预测来译码当前块时,InterDir为3。在此实例中,x可等于InterDir-1。
在一些实例中,在x是基于相邻块的interpolation_filter_index时,可从一或多个相邻块的interpolation_filter_index确定x的值。举例来说,可由函数f(left_idx,top_idx)确定x的值,其中left_idx为左侧相邻块的interpolation_filter_index,且top_idx为顶部相邻块的interpolation_filter_index。函数f可为任何函数。在一些实例中,不同函数可用于不同帧分辨率。替代地或另外,x的值可等于a+b,其中在左侧相邻块的interpolation_filter_index可用且大于零时,a等于1(否则a等于0),且在顶部相邻块的interpolation_filter_index可用且大于零时,b等于1(否则b等于0)。
在一些实例中,在确定x的值时可考虑因素组合。举例来说,可使用当前块的大小以从相邻块选择interpolation_filter_index值。举例来说,在当前图片的大小小于阈值P时,x可等于f(left_idx,top_idx)的结果,其中P为整数,且当前块的大小被计算为M×N,其中M及N为当前块的宽度及高度,以像素为单位。在当前块的大小大于或等于P时,x可等于函数g(left_idx,top_idx)的输出。
现在描述切换内插滤波器的实例应用。如上文所提到,可从可具有不同特性的N个滤波器当中针对每一块选择最佳滤波器。可例如使用速率失真优化或某其它选择机制来选择最佳滤波器。
为了缩减编码器复杂性,可从已经被译码的块继承最佳滤波器,从先前决策再用最佳滤波器,或在不评估所有可用滤波器的性能的情况下固定最佳滤波器。为了缩减信号传送开销,提前确定固定滤波器集合,且编码器可将滤波器索引用信号传送至解码器,以代替滤波器系数。
以下实例使用基于HM16.6的JEM3.0以表明切换内插滤波器的应用。JEM为国际电信联盟视频译码专家组(ITU-VCEG)与国际标准组织/国际电工委员会动画专家组(ISO/IECMPEG)的专案。JEM为提供用于研究及潜在地标准化相比于HEVC具有较佳压缩能力的视频译码技术的平台的参考软件。
在以下实例中,译码单元为实施于JEM3.0上的QTBT结构中所定义的块。在其它实例中,译码单元可为较大结构,例如QTBT块、CTU、切片、图片、序列或另一合适译码单元的集合。应注意,所述实例仅展示用于亮度分量的内插滤波器,且切换内插滤波器可扩展至色度分量以及整数样本。
在所述实例中,内插滤波器候选集合包含具有不同特性的三个滤波器:一个12分接头滤波器(F0)及两个8分接头滤波器(F1及F2)。表3中绘示滤波器F0,表4中绘示滤波器F1,且表5中绘示滤波器F2。在此实例中,滤波器候选者集合遍及不同图片及/或切片不会改变。因为JEM3.0支持高达1/16运动向量分辨率,所以每一滤波器候选者被构造为具有16个不同相移,如以下表中所展示。
表3
相移 系数(F0)
0 {0,0,0,0,0,256,0,0,0,0,0,0},
1 {-1,2,-4,7,-14,254,16,-7,4,-2,1,0},
2 {-1,4,-7,12,-27,249,35,-15,8,-4,2,0},
3 {-2,5,-10,17,-36,241,54,-22,12,-6,3,0},
4 {-2,6,-12,21,-44,232,75,-30,16,-9,4,-1},
5 {-2,7,-13,24,-49,215,97,-36,19,-10,5,-1},
6 {-2,7,-14,26,-51,198,119,-42,22,-12,6,-1},
7 {-2,7,-14,26,-52,183,140,-47,24,-13,6,-2},
8 {-2,7,-14,26,-50,161,161,-50,26,-14,7,-2},
9 {-2,6,-13,24,-47,140,183,-52,26,-14,7,-2},
10 {-1,6,-12,22,-42,119,198,-51,26,-14,7,-2},
11 {-1,5,-10,19,-36,97,215,-49,24,-13,7,-2},
12 {-1,4,-9,16,-30,75,232,-44,21,-12,6,-2},
13 {0,3,-6,12,-22,54,241,-36,17,-10,5,-2},
14 {0,2,-4,8,-15,35,249,-27,12,-7,4,-1},
15 {0,1,-2,4,-7,16,254,-14,7,-4,2,-1},
表4
表5
相移 系数(F2)
0 {0,0,0,256,0,0,0,0,},
1 {1,15,61,97,70,17,-3,-2,},
2 {0,13,58,96,73,20,-2,-2,},
3 {0,11,55,95,75,23,-1,-2,},
4 {0,10,51,94,77,26,0,-2,},
5 {0,8,48,92,80,29,1,-2,},
6 {-1,7,45,90,82,32,2,-1,},
7 {-1,5,41,88,86,35,3,-1,},
8 {-1,4,38,87,87,38,4,-1,},
9 {-1,3,35,86,88,41,5,-1,},
10 {-1,2,32,82,90,45,7,-1,},
11 {-2,1,29,80,92,48,8,0,},
12 {-2,0,26,77,94,51,10,0,},
13 {-2,-1,23,75,95,55,11,0,},
14 {-2,-2,20,73,96,58,13,0,},
15 {-2,-3,17,70,97,61,15,1,},
图6为绘示三个实例滤波器F0、F1及F2的频率响应的图形。每一曲线对应于每一滤波器的为8的相同相移。如由此实例所绘示,滤波器F0具有高截止频率,而滤波器F2具有低截止频率。滤波器F1具有相当中性的截止频率。
继续所述实例,对于给定译码单元,可选择滤波器F0、F1及F2中的一者。可隐含地或明确地用信号传送经选择滤波器。
在此实例中,因为解码器可在无来自编码器的任何侧信息的情况下模仿由编码器执行以确定合并运动向量候选者的相同规程,所以针对合并模式启用滤波器索引的隐含信号传送。举例来说,可通过从供导出当前运动的块继承滤波器索引或选择在此实例中为滤波器F0的默认滤波器来确定用于译码单元的内插滤波器。
继续所述实例,在从空间合并候选者、正被组合的两个候选者使用相同滤波器时的组合式合并候选者以及仿射合并候选者导出当前运动时,可使用滤波器继承。在这些状况中的每一者下,经继承块的内容可影响滤波器的选择。还在此实例中,在从帧速率向上转换合并候选者或时间合并候选者(例如TMVP、AMVP、STMVP及零运动向量)候选者导出当前运动向量时,选择默认滤波器F0。在这些状况中的每一者下,可能需要具有高截止频率的滤波器,以便节约块中的细节。
继续所述实例,针对AMVP模式启用滤波器索引的明确信号传送。在JEM3.0中,两个额外速率-失真优化包含于编码器中,其可用以从三个实例滤波器候选者选择最佳滤波器。可通过以下操作来简化额外优化过程:再用整数运动向量;或通过再用在特定配置中选择的滤波器来跳过额外过程。作为一个实例,对于照明补偿(IC)工具,在照明补偿开启的状况下,可再用在照明补偿关闭时所选择的滤波器。这可减少编码时间。
继续所述实例,在启用滤波器索引的明确信号传送时,可针对F0使用“0”、针对F1使用“10”且针对F2使用“11”来二进制化interpolation_filter_index。可使用两个旗标FLAG0及FLAG1以译码interpolation_filter_index,如下:
FLAG0
if(FLAG0)
FLAG1
继续以上实例,可针对每一旗标提供两个上下文:用于FLAG0的(FLAG0_ctx0,FLAG0_ctx1),及用于FLAG1的(FLAG1_ctx0,FLAG1_ctx1)。作为一实例,在运用单向预测来译码当前块时,可使用FLAG0_ctx0以译码FLAG0,且可使用FLAG1_ctx0以译码FLAG1。作为另一实例,在运用双向预测来译码当前块时,可使用FLAG0_ctx1以译码FLAG0,且可使用FLAG1_ctx1以译码FLAG1。
在编码两个内插候选者F0及F2的另一实例中,interpolation_filter_index可针对F0被二进制化为“0”且针对F1被二进制化为“1”。在此实例中,可使用一个旗标以译码interpolation_filter_index。每一旗标可具有关联上下文FLAG0_ctx0及FLAG0_ctx1。在当前块的大小小于(出于此实例的目的)256时,可使用FLAG0_ctx0以译码FLAG0。否则,在大小大于或等于256时,可使用FLAG0_ctx1以译码FLAG0。当前块的大小被计算为w×h,其中w及h分别表示当前块的宽度及高度,以像素为单位。
图7绘示用于在编码过程期间切换内插滤波器的过程700的实例。在702处,过程700包含获得视频数据。可例如从例如相机的视频捕获装置获得视频数据。替代地或另外,可从存储位置读取视频数据。
在704处,过程包含编码译码单元,其中编码处理包含针对译码单元选择用于运动估计及运动补偿的内插滤波器,其中内插滤波器是选自内插滤波器集合。在一些实施方案中,内插滤波器是选自内插滤波器子集,内插滤波器子集是选自内插滤波器集合。在一些实施方案中,内插滤波器子集是基于译码单元的译码层级而确定。在一些实施方案中,子集是基于译码单元的预测模式而确定。在一些实施方案中,子集是基于运动估计的结果而确定。在一些实施方案中,子集是基于用以译码译码单元的译码工具而确定。
在一些实施方案中,内插滤波器是选自经先前译码块。在一些实施方案中,内插滤波器是选自相邻块。
在一些实施方案中,内插滤波器与另一内插滤波器合并,且所得的经合并内插滤波器用于运动估计。
在一些实施方案中,内插滤波器耦合至第二内插滤波器。在这些实施方案中,内插滤波器可用于整数像素位置,且第二内插滤波器可用于分数像素位置。在一些实施方案中,内插滤波器及第二内插滤波器可具有不同截止频率。
在706处,过程700包含产生经编码视频位流,其中视频位流包含经编码译码单元。在一些实施方案中,经编码视频位流可包含识别经选择内插滤波器的明确值,例如滤波器索引。在一些实施方案中,可从经编码视频位流暗示识别内插滤波器的值。
图8为用于在解码过程中切换内插滤波器的过程800的实例。在802处,过程800包含获得经编码视频位流。可例如针对存储位置及/或经由网络获得位流。
在804处,过程800包含从经编码视频位流确定用于当前帧中的译码单元的参考帧。参考帧可时间上在当前帧之前或之后。参考帧可为与当前帧相同的帧。
在806处,过程800包含从内插滤波器集合确定内插滤波器。在一些实施方案中,内插滤波器可选自来自内插滤波器集合的内插滤波器子集。在一些实施方案中,内插滤波器子集可基于译码单元的译码层级而确定。在一些实施方案中,子集可基于用于译码单元的预测模式而确定。在一些实施方案中,子集可基于运动估计的结果而确定。在一些实施方案中,子集可基于用以译码译码单元的译码工具而确定。
在一些实施方案中,内插滤波器可选自经先前译码块。在一些实施方案中,内插滤波器可选自相邻块。
在一些实施方案中,内插滤波器可与第二内插滤波器合并,且所得的经合并内插滤波器可用于运动估计。
在一些实施方案中,内插滤波器可耦合至第二内插滤波器。在这些实施方案中,内插滤波器可用于整数像素位置,且第二内插滤波器可用于分数像素位置。在一些实施方案中,内插滤波器及第二内插滤波器可具有不同截止频率。
在一些实施方案中,经编码视频位流包含识别经选择内插滤波器的明确值,例如滤波器索引。在一些实施方案中,过程包含使用来自位流的数据来导出内插滤波器的标识。
在808处,过程800包含使用在804处确定的参考帧及在806处确定的内插滤波器以重构译码单元。
本文中所论述的译码技术可实施于实例视频编码及解码系统(例如系统100)中。在一些实例中,系统包含源装置,源装置提供稍后将由目的地装置解码的经编码视频数据。具体地说,源装置经由计算机可读媒体而将视频数据提供至目的地装置。源装置及目的地装置可包括广泛范围的装置中的任一者,包含桌上型计算机、笔记本(即,膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、所谓的“智能”平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置等等。在一些状况下,源装置及目的地装置可经装备以用于无线通信。
目的地装置可经由计算机可读媒体而接收待解码的经编码视频数据。计算机可读媒体可包括能够将经编码视频数据从源装置移动至目的地装置的任何类型的媒体或装置。在一个实例中,计算机可读媒体可包括通信媒体以使源装置能够实时地将经编码视频数据直接传输至目的地装置。可根据例如无线通信协议的通信标准来调制经编码视频数据,且将经编码视频数据传输至目的地装置。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成例如局域网、广域网或例如互联网的全局网络的基于数据包的网络的部分。通信媒体可包含路由器、交换机、基站,或可用于促进从源装置至目的地装置的通信的任何其它设备。
在一些实例中,可将经编码数据从输出接口输出至存储装置。相似地,可由输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取数据存储媒体中的任一者,例如硬盘驱动器、蓝光(Blu-ray)光盘、DVD、CD-ROM、闪速存储器、易失性或非易失性存储器,或用于存储经编码视频数据的任何其它合适数字存储媒体。在另外实例中,存储装置可对应于可存储由源装置产生的经编码视频的文件服务器或另一中间存储装置。目的地装置可经由流式处理或下载而从存储装置存取经存储视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据传输至目的地装置的任何类型的服务器。实例文件服务器包含网页服务器(例如用于网站)、FTP服务器、网络附接存储(NAS)装置,或本地磁盘驱动器。目的地装置可经由包含互联网连接的任何标准数据连接来存取经编码视频数据。此连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等等)或此两者的组合。经编码视频数据从存储装置的传输可为流式处理传输、下载传输或其组合。
本发明的技术并不必限于无线应用或设定。所述技术可应用于视频译码来支持多种多媒体应用中的任一者,例如空中电视广播、有线电视传输、卫星电视传输、例如HTTP动态自适应流式处理(DASH)的互联网流式处理视频传输、编码至数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,系统可经配置以支持单向或双向视频传输以支持例如视频流式处理、视频回放、视频广播及/或视频电话的应用。
在一个实例中,源装置包含视频源、视频编码器及输出接口。目的地装置可包含输入接口、视频解码器及显示装置。源装置的视频编码器可经配置以应用本文中所揭示的技术。在其它实例中,源装置及目的地装置可包含其它组件或布置。举例来说,源装置可从例如外部相机的外部视频源接收视频数据。同样地,目的地装置可与外部显示装置介接,而非包含集成显示装置。
以上实例系统仅仅为一个实例。用于并行地处理视频数据的技术可由任何数字视频编码及/或解码装置执行。尽管本发明的技术通常是由视频编码装置执行,但所述技术还可由通常被称作“编解码器”的视频编码器/解码器执行。此外,本发明的技术还可由视频预处理器执行。源装置及目的地装置仅仅为源装置产生经译码视频数据以供传输至目的地装置的此类译码装置的实例。在一些实例中,源装置及目的地装置可以大体上对称方式而操作,使得所述装置中的每一者包含视频编码及解码组件。因此,实例系统可支持视频装置之间的单向或双向视频传输,例如用于视频流式处理、视频回放、视频广播或视频电话。
视频源可包含视频捕获装置,例如视频相机、含有先前捕获的视频的视频存档,及/或用以从视频内容提供者接收视频的视频馈送接口。作为另外替代例,视频源可产生作为源视频的基于计算机图形的数据,或实况视频、经存档视频及经计算机产生视频的组合。在一些状况下,如果视频源为视频相机,那么源装置及目的地装置可形成所谓的相机电话或视频电话。然而,如上文所提及,本发明中所描述的技术一般可适用于视频译码,且可应用于无线及/或有线应用。在每一状况下,可由视频编码器编码经捕获、经预捕获或经计算机产生视频。接着可由输出接口将经编码视频信息输出至计算机可读媒体上。
如所提到,计算机可读媒体可包含:瞬态媒体,例如无线广播或有线网络传输;或存储媒体(即,非暂时性存储媒体),例如硬盘、闪存驱动器、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中,网络服务器(未展示)可例如经由网络传输而从源装置接收经编码视频数据且将经编码视频数据提供至目的地装置。相似地,例如光盘冲压设施的媒体生产设施的计算装置可从源装置接收经编码视频数据且生产含有经编码视频数据的光盘。因此,在各种实例中,计算机可读媒体可被理解为包含各种形式的一或多个计算机可读媒体。
目的地装置的输入接口从计算机可读媒体接收信息。计算机可读媒体的信息可包含由视频编码器定义的语法信息,其也由视频解码器使用,所述语法信息包含描述块及其它经译码单元(例如图片群组(GOP))的特性及/或处理的语法元素。显示装置将经解码视频数据显示给用户,且可包括多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器,或另一类型的显示装置。已描述了本发明的各种实施例。
图9及图10中分别展示编码装置104及解码装置112的特定细节。图9为绘示可实施本发明中所描述的技术中的一或多者的实例编码装置104的框图。编码装置104可例如产生本文中所描述的语法结构(例如VPS、SPS、PPS或其它语法元素的语法结构)。编码装置104可执行视频切片内的视频块的帧内预测及帧间预测译码。如先前所描述,帧内译码至少部分地依赖于空间预测以缩减或移除给定视频帧或图片内的空间冗余。帧间译码至少部分地依赖于时间预测以缩减或移除视频序列的邻近或周围帧内的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指若干基于时间的压缩模式中的任一者。
编码装置104包含分割单元35、预测处理单元41、滤波器单元63、图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44及帧内预测处理单元46。对于视频块重构,编码装置104还包含反量化单元58、反变换处理单元60及求和器62。滤波器单元63意图表示一或多个环路滤波器,例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管滤波器单元63在图9中被展示为环路内滤波器,但在其它配置中,滤波器单元63可被实施为环路后滤波器。后处理装置57可对由编码装置104产生的经编码视频数据执行额外处理。在一些情况下,本发明的技术可由编码装置104实施。然而,在其它情况下,本发明的技术中的一或多者可由后处理装置57实施。
如图9所展示,编码装置104接收视频数据,且分割单元35将数据分割成视频块。分割还可包含分割成切片、切片段、图片块或其它较大单元,以及例如根据LCU及CU的四叉树结构的视频块分割。编码装置104大体上绘示编码待编码视频切片内的视频块的组件。可将切片划分成多个视频块(且可能划分成被称作图片块的视频块集合)。预测处理单元41可基于错误结果(例如译码速率及失真水平,等等)而针对当前视频块选择多个可能译码模式中的一者,例如多个帧内预测译码模式中的一者或多个帧间预测译码模式中的一者。预测处理单元41可将所得的经帧内或帧间译码块提供至求和器50以产生残余块数据,且将所得的经帧内或帧间译码块提供至求和器62以重构经编码块以供用作参考图片。
预测处理单元41内的帧内预测处理单元46可执行当前视频块相对于与待译码的当前块在同一帧或切片中的一或多个相邻块的帧内预测译码,以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44执行当前视频块相对于一或多个参考图片中的一或多个预测性块的帧间预测性译码,以提供时间压缩。
运动估计单元42可经配置以根据用于视频序列的预定图案来确定用于视频切片的帧间预测模式。预定图案可将序列中的视频切片指定为P切片、B切片或GPB切片。运动估计单元42及运动补偿单元44可高度地集成,但出于概念目的而被单独地绘示。由运动估计单元42执行的运动估计为产生估计视频块的运动的运动向量的过程。举例来说,运动向量可指示当前视频帧或图片内的视频块的预测单元(PU)相对于参考图片内的预测性块的位移。
预测性块为被发现为在像素差方面接近地匹配于待译码视频块的PU的块,像素差可由绝对差和(SAD)、平方差和(SSD)或其它差度量确定。在一些实例中,编码装置104可计算存储于图片存储器64中的参考图片的次整数像素位置的值。举例来说,编码装置104可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可执行关于全像素位置及分数像素位置的运动搜索且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1),列表0及列表1中的每一者识别存储于参考存储器64中的一或多个参考图片。运动估计单元42将经计算的运动向量发送至熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计所确定的运动向量而提取或产生预测性块,可能执行子像素精确度的内插。在接收到用于当前视频块的PU的运动向量后,运动补偿单元44就可在参考图片列表中定位运动向量所指向的预测性块。编码装置104通过从正被译码的当前视频块的像素值减去预测性块的像素值而形成像素差值来形成残余视频块。像素差值形成用于块的残余数据,且可包含亮度及色度差分量两者。求和器50表示执行此减去运算的组件或多个组件。运动补偿单元44还可产生与视频块及视频切片相关联的语法元素,以供解码装置112用于解码视频切片的视频块。
作为如上文所描述的由运动估计单元42及运动补偿单元44执行的帧间预测的替代例,帧内预测处理单元46可帧内预测当前块。具体地说,帧内预测处理单元46可确定帧内预测模式以用以编码当前块。在一些实例中,帧内预测处理单元46可例如在单独编码遍次期间使用各种帧内预测模式来编码当前块,且帧内预测处理单元46可从经测试模式选择适当帧内预测模式以供使用。举例来说,帧内预测处理单元46可使用针对各种经测试帧内预测模式的速率-失真分析来计算速率-失真值,且可在经测试模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析大体上确定经编码块与经编码以产生经编码块的原始未经编码块之间的失真(或误差)量,以及用以产生经编码块的位速率(即,位的数目)。帧内预测处理单元46可从各种经编码块的失真及速率计算比率以确定哪一帧内预测模式展现块的最佳速率-失真值。
在任何状况下,在选择用于块的帧内预测模式之后,帧内预测处理单元46可将指示用于块的经选择帧内预测模式的信息提供至熵编码单元56。熵编码单元56可编码指示经选择帧内预测模式的信息。编码装置104可在经传输位流配置数据中包含编码用于各种块的上下文的定义,以及待用于每一上下文的最可能帧内预测模式、帧内预测模式索引表及经修改帧内预测模式索引表的指示。位流配置数据可包含多个帧内预测模式索引表及多个经修改帧内预测模式索引表(也被称作码字映射表)。
在预测处理单元41经由帧间预测或帧内预测而产生用于当前视频块的预测性块之后,编码装置104通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中且应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上相似变换而将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域转换至变换域,例如频域。
变换处理单元52可将所得的变换系数发送至量化单元54。量化单元54量化变换系数以进一步缩减位速率。量化过程可缩减与一些或全部系数相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54接着可执行包含经量化变换系数的矩阵的扫描。替代地,熵编码单元56可执行扫描。
在量化之后,熵编码单元56熵编码经量化变换系数。举例来说,熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码,或另一熵编码技术。在由熵编码单元56进行熵编码之后,可将经编码位流传输至解码装置112,或予以存档以供稍后由解码装置112传输或检索。熵编码单元56还可熵编码用于正被译码的当前视频切片的运动向量及其它语法元素。
反量化单元58及反变换处理单元60分别应用反量化及反变换以在像素域中重构残余块以供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块与参考图片列表内的参考图片中的一者的预测性块相加来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残余块以计算次整数像素值以用于运动估计。求和器62将经重构残余块与由运动补偿单元44产生的运动补偿预测块相加以产生参考块以供存储于图片存储器64中。参考块可由运动估计单元42及运动补偿单元44使用作为参考块以帧间预测后续视频帧或图片中的块。
以此方式,图9的编码装置104表示经配置以产生用于经编码视频位流的语法的视频编码器的实例。编码装置104可例如产生如上文所描述的VPS、SPS及PPS参数集。编码装置104可执行本文中所描述的技术中的任一者,包含上文所描述的过程。本发明的技术已大体上关于编码装置104予以描述,但如上文所提及,本发明的技术中的一些还可由后处理装置57实施。
图10为绘示实例解码装置112的框图。解码装置112包含熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90、滤波器单元91及图片存储器92。预测处理单元81包含运动补偿单元82及帧内预测处理单元84。在一些实例中,解码装置112可执行与关于来自图10的编码装置104所描述的编码遍次大体上互逆的解码遍次。
在解码过程期间,解码装置112接收表示经编码视频切片的视频块及由编码装置104发送的关联语法元素的经编码视频位流。在一些实施例中,解码装置112可从编码装置104接收经编码视频位流。在一些实施例中,解码装置112可从例如以下各者的网络实体79接收经编码视频位流:服务器、媒体感知网络元件(MANE)、视频编辑器/剪接器,或经配置以实施上文所描述的技术中的一或多者的其它此类装置。网络实体79可能或可能不包含编码装置104。本发明中所描述的技术中的一些可在网络实体79将经编码视频位流传输至解码装置112之前由网络实体79实施。在一些视频解码系统中,网络实体79及解码装置112可为单独装置的部分,而在其它情况下,关于网络实体79所描述的功能性可由包括解码装置112的同一装置执行。
解码装置112的熵解码单元80熵解码位流以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发至预测处理单元81。解码装置112可接收处于视频切片层级及/或视频块层级的语法元素。熵解码单元80可处理及剖析例如VPS、SPS及PPS的一或多个参数集中的固定长度语法元素及可变长度语法元素两者。
在视频切片被译码为经帧内译码(I)切片时,预测处理单元81的帧内预测处理单元84可基于经用信号传送的帧内预测模式及来自当前帧或图片的经先前解码块的数据而产生用于当前视频切片的视频块的预测数据。在视频帧被译码为经帧间译码(即,B、P或GPB)切片时,预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量及其它语法元素而产生用于当前视频切片的视频块的预测性块。可从参考图片列表内的参考图片中的一者产生预测性块。解码装置112可基于存储于图片存储器92中的参考图片而使用默认构造技术来构造参考帧列表:列表0及列表1。
运动补偿单元82通过剖析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息,且使用预测信息以产生用于正被解码的当前视频块的预测性块。举例来说,运动补偿单元82可使用参数集中的一或多个语法元素以确定用以译码视频切片的视频块的预测模式(例如帧内预测或帧间预测)、帧间预测切片类型(例如B切片、P切片或GPB切片)、用于切片的一或多个参考图片列表的构造信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态,及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元82还可执行基于内插滤波器的内插。运动补偿单元82可使用如由编码装置104在编码视频块期间使用的内插滤波器以计算参考块的次整数像素的经内插值。在此状况下,运动补偿单元82可从经接收语法元素确定由编码装置104使用的内插滤波器,且可使用内插滤波器以产生预测性块。
反量化单元86反量化或解量化位流中所提供且由熵解码单元80解码的经量化变换系数。反量化过程可包含使用由编码装置104针对视频切片中的每一视频块计算的量化参数以确定应被应用的量化程度且同样地确定应被应用的反量化程度。反变换处理单元88将反变换(例如反DCT或其它合适反变换)、反整数变换或概念上相似反变换过程应用于变换系数,以便在像素域中产生残余块。
在运动补偿单元82基于运动向量及其它语法元素而产生用于当前视频块的预测性块之后,解码装置112通过对来自反变换处理单元88的残余块与由运动补偿单元82产生的对应预测性块求和而形成经解码视频块。求和器90表示可执行此求和运算的组件或多个组件。必要时,环路滤波器(在译码环路中或在译码环路之后)还可用以使像素转变平滑,或以其它方式改善视频质量。滤波器单元91意图表示一或多个环路滤波器,例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管滤波器单元91在图10中被展示为环路内滤波器,但在其它配置中,滤波器单元91可被实施为环路后滤波器。给定帧或图片中的经解码视频块接着存储于图片存储器92中,图片存储器92存储用于后续运动补偿的参考图片。图片存储器92还存储经解码视频以供稍后呈现于例如图1所展示的视频目的地装置122的显示装置上。
在前述描述中,参考本申请案的特定实施例而描述了本申请案的方面,但所属领域技术人员将认识到,本发明并不限于此情形。因此,虽然本文中已详细地描述了本申请案的说明性实施例,但应理解,本发明概念可以其它方式被不同地体现及使用,且所附权利要求书意图被认作包含此类变化,但现有技术所限制者除外。本发明的各种特征及方面可被个别地或联合地使用。另外,实施例可用于除了本文中所描述的那些环境及应用以外的任何数目个环境及应用,而不脱离本说明书的更广精神及范围。因此,本说明书及附图被视为说明性而非限定性的。出于说明的目的,以特定次序描述了方法。应了解,在替代实施例中,可以与所描述的次序不同的次序来执行所述方法。
在组件被描述为“经配置以”执行某些操作的情况下,可例如通过设计电子电路或其它硬件以执行操作、通过编程可编程电子电路(例如微处理器或其它合适电子电路)以执行操作或其任何组合来实现此类配置。
结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块、电路及算法步骤可被实施为电子硬件、计算机软件、固件或其组合。为了清楚地说明硬件与软件的此可互换性,各种说明性组件、块、模块、电路及步骤已在上文大体上在其功能性方面予以描述。此类功能性被实施为硬件还是软件取决于特定应用及强加于整个系统上的设计约束。所属领域技术人员可针对每一特定应用而以不同的方式来实施所描述功能性,但不应将此类实施决策解释为造成脱离本发明的范围。
本文中所描述的技术还可实施于电子硬件、计算机软件、固件或其任何组合中。此类技术可实施于多种装置中的任一者中,例如通用计算机、无线通信装置手机,或具有多种用途的集成电路装置,所述用途包含应用于无线通信装置手机及其它装置中。可将被描述为模块或组件的任何特征一起实施于集成逻辑装置中或单独地实施为离散但可互操作的逻辑装置。如果以软件予以实施,那么所述技术可至少部分地由包括包含指令的程序代码的计算机可读数据存储媒体实现,所述指令在执行时执行上文所描述的方法中的一或多者。计算机可读数据存储媒体可形成计算机程序产品的部分,计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体,例如随机存取存储器(RAM),例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、磁性或光学数据存储媒体,等等。另外或替代地,所述技术可至少部分地由计算机可读通信媒体实现,计算机可读通信媒体携载或传达呈指令或数据结构形式且可由计算机存取、读取及/或执行的程序代码,例如经传播信号或波。
程序代码可由处理器执行,处理器可包含一或多个处理器,例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA),或其它等效集成或离散逻辑电路系统。此类处理器可经配置以执行本发明中所描述的技术中的任一者。通用处理器可为微处理器;但在替代例中,处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可被实施为计算装置的组合,例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器,或任何其它此类配置。因此,如本文中所使用的术语“处理器”可指以下各者中的任一者:前述结构、前述结构的任何组合,或适合于实施本文中所描述的技术的任何其它结构或设备。另外,在一些方面中,本文中所描述的功能性可提供于经配置用于编码及解码的专用软件模块或硬件模块内,或并入于组合式视频编码器-解码器(编解码器)中。

Claims (35)

1.一种编码视频数据的方法,其包括:
获得所述视频数据;
针对译码单元从内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述视频数据中与所述译码单元相关联的信息而确定;
编码所述译码单元,其中编码所述译码单元包含针对所述译码单元选择用于运动估计及运动补偿的内插滤波器,其中所述内插滤波器是选自所述内插滤波器子集;及
产生经编码视频位流,其中所述经编码视频位流包含所述经编码译码单元。
2.根据权利要求1所述的方法,其中所述内插滤波器子集是基于所述译码单元的译码层级而确定。
3.根据权利要求1所述的方法,其中所述内插滤波器子集是基于用于所述译码单元的预测模式而确定。
4.根据权利要求1所述的方法,其中所述内插滤波器子集是基于与所述译码单元相关联的运动信息而确定。
5.根据权利要求1所述的方法,其中所述内插滤波器子集是基于用以译码所述译码单元的译码工具而确定。
6.根据权利要求1所述的方法,其中所述内插滤波器子集是基于所述译码单元的大小而确定。
7.根据权利要求1所述的方法,其中所述内插滤波器是选自经先前译码块。
8.根据权利要求1所述的方法,其中所述内插滤波器是选自所述译码单元的相邻块。
9.根据权利要求1所述的方法,其进一步包括:
合并所述内插滤波器与第二内插滤波器,其中所得的经合并内插滤波器用于所述运动估计及所述运动补偿。
10.根据权利要求1所述的方法,其中所述内插滤波器与第二内插滤波器相关联,其中所述内插滤波器用于整数像素位置,且其中所述第二内插滤波器用于分数像素位置。
11.根据权利要求10所述的方法,其中所述内插滤波器及所述第二内插滤波器具有不同截止频率。
12.根据权利要求1所述的方法,其中所述经编码视频位流包含识别所述内插滤波器的值。
13.根据权利要求1所述的方法,其中不运用所述经编码视频位流来用信号传送所述内插滤波器集合,且其中能够从所述经编码视频位流暗示所述内插滤波器的标识。
14.一种设备,其包括:
存储器,其经配置以存储视频数据;及
处理器,其经配置以进行以下操作:
获得所述视频数据;
针对译码单元从内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述视频数据中与所述译码单元相关联的信息而确定;
编码所述译码单元,其中编码所述处理包含选择用于运动估计及运动补偿的内插滤波器,其中所述内插滤波器是选自所述内插滤波器子集;及
产生经编码视频位流,其中所述经编码视频位流包含所述经编码译码单元。
15.根据权利要求14所述的设备,其中所述设备包括移动装置,所述移动装置具有用于捕获图片的相机。
16.一种计算机可读媒体,其上存储有指令,所述指令在由处理器执行时致使所述处理器执行操作,所述操作包含:
获得视频数据;
针对译码单元从内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述视频数据中与所述译码单元相关联的信息而确定;
编码所述译码单元,其中编码所述译码单元包含选择用于运动估计及运动补偿的内插滤波器,其中所述内插滤波器是选自所述内插滤波器子集;及
产生经编码视频位流,其中所述经编码视频位流包含所述经编码译码单元。
17.一种用于编码视频数据的设备,其包括:
用于获得视频数据的装置;
用于针对译码单元从内插滤波器集合确定内插滤波器子集的装置,其中所述内插滤波器子集是基于所述视频数据中与所述译码单元相关联的信息而确定;
用于编码所述译码单元的装置,其中所述用于编码所述译码单元的装置包含选择用于运动估计及运动补偿的内插滤波器,其中所述内插滤波器是选自内插滤波器集合;及
用于产生经编码视频位流的装置,其中所述经编码视频位流包含所述经编码译码单元。
18.一种解码视频数据的方法,其包括:
获得经编码视频位流;
从所述经编码视频位流确定用于当前帧中的译码单元的参考帧;
从内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述经编码视频位流中与所述译码单元相关联的信息而确定;
从所述内插滤波器子集确定内插滤波器;及
使用所述参考帧及所述内插滤波器以重构所述译码单元。
19.根据权利要求18所述的方法,其中所述内插滤波器子集是基于所述译码单元的译码层级而确定。
20.根据权利要求18所述的方法,其中所述内插滤波器子集是基于用于所述译码单元的预测模式而确定。
21.根据权利要求18所述的方法,其中所述内插滤波器子集是基于与所述译码单元相关联的运动信息而确定。
22.根据权利要求18所述的方法,其中所述内插滤波器子集是基于用以译码所述译码单元的译码工具而确定。
23.根据权利要求18所述的方法,其中所述内插滤波器子集是基于所述译码单元的大小而确定。
24.根据权利要求18所述的方法,其中所述内插滤波器是选自经先前译码块。
25.根据权利要求18所述的方法,其中所述内插滤波器是选自相邻块。
26.根据权利要求18所述的方法,其进一步包括:
合并所述内插滤波器与第二内插滤波器,其中所得的经合并内插滤波器用于重构所述译码单元。
27.根据权利要求18所述的方法,其中所述内插滤波器与第二内插滤波器相关联,其中所述内插滤波器用于整数像素位置,且其中所述第二内插滤波器用于分数像素位置。
28.根据权利要求27所述的方法,其中所述内插滤波器及所述第二内插滤波器具有不同截止频率。
29.根据权利要求18所述的方法,其中所述经编码视频位流包含识别所述内插滤波器的值。
30.根据权利要求18所述的方法,其进一步包括:
使用所述经编码视频位流来导出所述内插滤波器的标识。
31.一种设备,其包括:
存储器,其经配置以存储经编码视频数据;及
处理器,其经配置以进行以下操作:
获得经编码视频位流;
从所述经编码视频位流确定用于当前帧中的译码单元的参考帧;
从内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述经编码视频位流中与所述译码单元相关联的信息而确定;
从所述内插滤波器子集确定内插滤波器;及
使用所述参考帧及所述内插滤波器以重构所述译码单元。
32.根据权利要求31所述的设备,其进一步包括:
显示器,其用于显示所述视频数据。
33.根据权利要求31所述的设备,其中所述设备包括移动装置,所述移动装置具有用于捕获图片的相机。
34.一种计算机可读媒体,其上存储有指令,所述指令在由处理器执行时致使所述处理器执行操作,所述操作包含:
获得经编码视频位流;
从所述经编码视频位流确定用于当前帧中的译码单元的参考帧;
从内插滤波器集合确定内插滤波器子集,其中所述内插滤波器子集是基于所述经编码视频位流中与所述译码单元相关联的信息而确定;
从所述内插滤波器子集确定内插滤波器;及
使用所述参考帧及所述内插滤波器以重构所述译码单元。
35.一种用于解码视频数据的设备,其包括:
用于获得经编码视频位流的装置;
用于从所述经编码视频位流确定用于当前帧中的译码单元的参考帧的装置;
用于从内插滤波器集合确定内插滤波器子集的装置,其中所述内插滤波器子集是基于所述经编码视频位流中与所述译码单元相关联的信息而确定;
用于从所述内插滤波器子集确定内插滤波器的装置;及
用于使用所述参考帧及所述内插滤波器以重构所述译码单元的装置。
CN201780060942.0A 2016-10-05 2017-10-05 切换内插滤波器的系统及方法 Active CN109792524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310310570.XA CN116347075A (zh) 2016-10-05 2017-10-05 切换内插滤波器的系统及方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662404749P 2016-10-05 2016-10-05
US62/404,749 2016-10-05
US15/724,155 2017-10-03
US15/724,155 US10341659B2 (en) 2016-10-05 2017-10-03 Systems and methods of switching interpolation filters
PCT/US2017/055390 WO2018067848A1 (en) 2016-10-05 2017-10-05 Systems and methods of switching interpolation filters

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310310570.XA Division CN116347075A (zh) 2016-10-05 2017-10-05 切换内插滤波器的系统及方法

Publications (2)

Publication Number Publication Date
CN109792524A true CN109792524A (zh) 2019-05-21
CN109792524B CN109792524B (zh) 2023-04-04

Family

ID=61759166

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310310570.XA Pending CN116347075A (zh) 2016-10-05 2017-10-05 切换内插滤波器的系统及方法
CN201780060942.0A Active CN109792524B (zh) 2016-10-05 2017-10-05 切换内插滤波器的系统及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310310570.XA Pending CN116347075A (zh) 2016-10-05 2017-10-05 切换内插滤波器的系统及方法

Country Status (9)

Country Link
US (1) US10341659B2 (zh)
EP (1) EP3523966A1 (zh)
JP (2) JP7317703B2 (zh)
KR (1) KR102546383B1 (zh)
CN (2) CN116347075A (zh)
BR (1) BR112019006882A2 (zh)
SG (1) SG11201901631SA (zh)
TW (1) TWI775780B (zh)
WO (1) WO2018067848A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112204977A (zh) * 2019-09-24 2021-01-08 北京大学 视频编解码方法、装置和计算机可读存储介质
CN113259669A (zh) * 2021-03-25 2021-08-13 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2020003656A (es) * 2017-10-02 2020-10-12 Arris Entpr Llc Sistema y método para reducir artefactos de bloque y proporcionar eficiencia de codificación mejorada.
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
US10582212B2 (en) * 2017-10-07 2020-03-03 Google Llc Warped reference motion vectors for video compression
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
KR102275654B1 (ko) * 2018-01-15 2021-07-09 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
ES2960283T3 (es) * 2018-09-07 2024-03-04 Huawei Tech Co Ltd Método y aparato para el filtrado de la interpolación para la intra e interpredicción en la codificación de vídeo
EP3854089A1 (en) 2018-09-21 2021-07-28 Vid Scale, Inc. Complexity reduction and bit-width control for bi-directional optical flow
CN111010568B (zh) * 2018-10-06 2023-09-29 华为技术有限公司 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器
WO2020093999A1 (en) * 2018-11-05 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
WO2020130887A1 (en) * 2018-12-21 2020-06-25 Huawei Technologies Co., Ltd. Method and apparatus of interpolation filtering for predictive coding
WO2020139169A1 (en) * 2018-12-28 2020-07-02 Huawei Technologies Co., Ltd. Method and apparatus of sharpening interpolation filtering for predictive coding
CN113475078A (zh) 2019-01-08 2021-10-01 腾讯美国有限责任公司 用于小帧间块的存储器带宽减小的方法和装置
US11394999B2 (en) * 2019-03-11 2022-07-19 Alibaba Group Holding Limited Method, device, and system for determining prediction weight for merge mode
US11178415B2 (en) * 2019-03-12 2021-11-16 Tencent America LLC Signaling of CU based interpolation filter selection
CN113826388A (zh) * 2019-03-12 2021-12-21 弗劳恩霍夫应用研究促进协会 用于混合视频编码的编码器、解码器、方法及视频比特流以及计算机程序
SG11202110650WA (en) * 2019-04-01 2021-10-28 Beijing Bytedance Network Technology Co Ltd Using interpolation filters for history based motion vector prediction
JP7239732B2 (ja) 2019-04-02 2023-03-14 北京字節跳動網絡技術有限公司 双方向オプティカルフローに基づく映像符号化及び復号化
EP4304178A3 (en) 2019-04-19 2024-03-06 Beijing Bytedance Network Technology Co., Ltd. Gradient calculation in different motion vector refinements
WO2020211866A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
CN113711609B (zh) 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
EP3949403A4 (en) * 2019-05-11 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. INTERACTIONS BETWEEN SEVERAL INTRACODING PROCEDURES
US11076169B2 (en) * 2019-05-14 2021-07-27 Qualcomm Incorporated Switchable interpolation filtering (SIF) for video coding
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
WO2020244545A1 (en) * 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Interaction between motion vector refinements and other coding tools
CN114503564A (zh) * 2019-08-05 2022-05-13 Lg电子株式会社 使用运动信息候选的视频编码/解码方法和设备及发送比特流的方法
EP3997881A4 (en) 2019-08-20 2022-09-14 Beijing Bytedance Network Technology Co., Ltd. SELECTIVE USE OF ALTERNATIVE INTERPOLATION FILTERS IN VIDEO PROCESSING
EP4018668A4 (en) * 2019-08-23 2023-06-21 Samsung Electronics Co., Ltd. INTRA PREDICTION METHOD AND DEVICE USING IT, ENCODING AND DECODE METHOD AND DEVICE USING IT BASED ON INTRA PREDICTION
US11375222B2 (en) * 2019-09-22 2022-06-28 Tencent America LLC Method and device for video encoding and decoding with interpolation filter flag being consistent with MMVD distances
CN113596456B (zh) * 2019-09-23 2022-07-01 杭州海康威视数字技术股份有限公司 编解码方法、装置及设备
CN113726406B (zh) * 2021-08-25 2022-06-21 中国电子科技集团公司第五十四研究所 一种基于分组编码的频点可变的多速率Ku通信发射装置
WO2023200381A1 (en) * 2022-04-12 2023-10-19 Telefonaktiebolaget Lm Ericsson (Publ) Enhanced interpolation filtering
CN116962706A (zh) * 2022-04-15 2023-10-27 华为技术有限公司 图像解码方法、编码方法及装置
WO2023241634A1 (en) * 2022-06-18 2023-12-21 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2024080905A1 (en) * 2022-10-13 2024-04-18 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for enhanced interpolation filtering

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1620821A (zh) * 2002-01-23 2005-05-25 索尼株式会社 图像信息编码装置和图像信息编码方法、图像信息解码装置和图像信息解码方法
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
CN101990760A (zh) * 2008-04-10 2011-03-23 高通股份有限公司 用于视频译码中的运动补偿的高级内插技术
CN101990759A (zh) * 2008-04-10 2011-03-23 高通股份有限公司 用于在视频译码中进行内插的预测技术
CN102037732A (zh) * 2009-07-06 2011-04-27 联发科技(新加坡)私人有限公司 单循环自适应内插滤波器
CN102172022A (zh) * 2008-10-03 2011-08-31 高通股份有限公司 使用内插滤波器及偏移的数字视频译码
US20110317764A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
US20120147967A1 (en) * 2010-12-10 2012-06-14 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US20120224636A1 (en) * 2011-03-04 2012-09-06 Kddi Corporation Video encoding apparatus, video encoding method, and computer program
US20120230407A1 (en) * 2011-03-11 2012-09-13 General Instrument Corporation Interpolation Filter Selection Using Prediction Index
CN102792698A (zh) * 2010-02-18 2012-11-21 高通股份有限公司 用于运动内插法的色度高精度运动滤波
CN103733624A (zh) * 2011-08-18 2014-04-16 数码士有限公司 应用通过精确单元的滤波器选择的图像编码/解码装置和方法
CN104012094A (zh) * 2011-11-07 2014-08-27 李英锦 视频数据的解码方法
CN104255029A (zh) * 2012-04-26 2014-12-31 索尼公司 产生用于不同的颜色取样格式的子像素值
CN104396243A (zh) * 2012-06-08 2015-03-04 高通股份有限公司 用于视频压缩的自适应上取样滤波器
US20160373743A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1530829B1 (en) * 2002-07-09 2018-08-22 Nokia Technologies Oy Method and apparatus for selecting interpolation filter type in video coding
US20070195887A1 (en) * 2004-09-29 2007-08-23 Comer Mary L Method and apparatus for reduced resolution update video coding and decoding
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP2011135184A (ja) * 2009-12-22 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム
JP5439162B2 (ja) * 2009-12-25 2014-03-12 株式会社Kddi研究所 動画像符号化装置および動画像復号装置
KR101682147B1 (ko) * 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
WO2011126284A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
KR101750046B1 (ko) * 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
JP5649523B2 (ja) * 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法,装置,映像復号方法,装置およびそれらのプログラム
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
WO2014011622A2 (en) * 2012-07-09 2014-01-16 Vid Scale, Inc. Power aware video decoding and streaming
KR102073930B1 (ko) * 2014-03-14 2020-02-06 브이아이디 스케일, 인크. Rgb 비디오 코딩 향상을 위한 시스템 및 방법
US10659806B2 (en) * 2014-11-04 2020-05-19 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus using interpolation filter on which image characteristic is reflected

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1620821A (zh) * 2002-01-23 2005-05-25 索尼株式会社 图像信息编码装置和图像信息编码方法、图像信息解码装置和图像信息解码方法
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
CN101990760A (zh) * 2008-04-10 2011-03-23 高通股份有限公司 用于视频译码中的运动补偿的高级内插技术
CN101990759A (zh) * 2008-04-10 2011-03-23 高通股份有限公司 用于在视频译码中进行内插的预测技术
CN102172022A (zh) * 2008-10-03 2011-08-31 高通股份有限公司 使用内插滤波器及偏移的数字视频译码
CN102037732A (zh) * 2009-07-06 2011-04-27 联发科技(新加坡)私人有限公司 单循环自适应内插滤波器
CN102792698A (zh) * 2010-02-18 2012-11-21 高通股份有限公司 用于运动内插法的色度高精度运动滤波
US20110317764A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
CN103004196A (zh) * 2010-06-25 2013-03-27 高通股份有限公司 在经压缩位流中包含切换式内插滤波器系数
US20120147967A1 (en) * 2010-12-10 2012-06-14 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US20120224636A1 (en) * 2011-03-04 2012-09-06 Kddi Corporation Video encoding apparatus, video encoding method, and computer program
US20120230407A1 (en) * 2011-03-11 2012-09-13 General Instrument Corporation Interpolation Filter Selection Using Prediction Index
CN103733624A (zh) * 2011-08-18 2014-04-16 数码士有限公司 应用通过精确单元的滤波器选择的图像编码/解码装置和方法
CN104012094A (zh) * 2011-11-07 2014-08-27 李英锦 视频数据的解码方法
CN104869402A (zh) * 2011-11-07 2015-08-26 李英锦 视频数据的解码方法
CN104255029A (zh) * 2012-04-26 2014-12-31 索尼公司 产生用于不同的颜色取样格式的子像素值
CN104396243A (zh) * 2012-06-08 2015-03-04 高通股份有限公司 用于视频压缩的自适应上取样滤波器
US20160373743A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张婵等: "一种用于层间预测的自适应插值方法", 《解放军理工大学学报(自然科学版)》 *
李志斌等: "用于视频编码的维纳滤波器抽头系数表示新方法", 《西安交通大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112204977A (zh) * 2019-09-24 2021-01-08 北京大学 视频编解码方法、装置和计算机可读存储介质
WO2021056210A1 (zh) * 2019-09-24 2021-04-01 北京大学 视频编解码方法、装置和计算机可读存储介质
CN113259669A (zh) * 2021-03-25 2021-08-13 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP3523966A1 (en) 2019-08-14
US10341659B2 (en) 2019-07-02
CN116347075A (zh) 2023-06-27
JP2019535198A (ja) 2019-12-05
CN109792524B (zh) 2023-04-04
JP7317703B2 (ja) 2023-07-31
BR112019006882A2 (pt) 2019-06-25
TW201826791A (zh) 2018-07-16
WO2018067848A1 (en) 2018-04-12
TWI775780B (zh) 2022-09-01
JP2023100713A (ja) 2023-07-19
SG11201901631SA (en) 2019-04-29
US20180098066A1 (en) 2018-04-05
KR20190059282A (ko) 2019-05-30
KR102546383B1 (ko) 2023-06-22

Similar Documents

Publication Publication Date Title
CN109792524A (zh) 切换内插滤波器的系统及方法
CN106464874B (zh) 用于块内复制的系统和方法
CN106664427B (zh) 用于对视频数据进行编码的设备和方法及计算机可读媒体
CN106537921B (zh) 用于在参数集中选择性地用信号表示不同数目的视频信号信息语法结构的系统和方法
CN106797476B (zh) 用于编码/解码视频数据的方法和视频解码装置
CN106105225B (zh) Hevc sei消息用于多层编解码器的一般使用
CN104396265B (zh) 在视频译码中从清晰随机存取图片的全面随机存取
CN105493507B (zh) 用于帧内块复制的残余预测
CN106537922B (zh) 用于编码多层视频数据的方法、装置和设备
CN104380747B (zh) 视频译码中的参数集更新
CN104429082B (zh) 用于视频译码的长期参考图片的信令
CN107852498A (zh) 在视频译码中限制双向预测的方法及系统
CN105794211B (zh) 一种编解码视频数据的方法、装置及可读存储媒体
CN109076235A (zh) 用于在视频译码中的并置参考索引的一致性约束
CN104429081B (zh) 基于干净随机存取(cra)图片的流式传输适应
CN105723707A (zh) 用于视频译码的色彩残差预测
CN108028934A (zh) 改进的视频流切换和随机存取的方法和系统
CN106105217B (zh) 用于多层视频译码的poc值设计
CN105580374B (zh) 一种对多层视频数据进行编解码的方法、视频解码设备及存储媒体
CN105379272B (zh) 在vps中用信号通知位速率信息及图片速率信息
CN107251556A (zh) 用于运动搜索中低复杂度四分之一像素产生的方法及设备
TW202031052A (zh) 用於照明補償模式之刪剪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40001722

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant