CN103609112B - 视频译码中的内部位深度增加 - Google Patents

视频译码中的内部位深度增加 Download PDF

Info

Publication number
CN103609112B
CN103609112B CN201280029510.0A CN201280029510A CN103609112B CN 103609112 B CN103609112 B CN 103609112B CN 201280029510 A CN201280029510 A CN 201280029510A CN 103609112 B CN103609112 B CN 103609112B
Authority
CN
China
Prior art keywords
bit depth
video data
video
depth
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280029510.0A
Other languages
English (en)
Other versions
CN103609112A (zh
Inventor
陈盈
陈培松
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103609112A publication Critical patent/CN103609112A/zh
Application granted granted Critical
Publication of CN103609112B publication Critical patent/CN103609112B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一实例中,本发明的方面通常涉及译码视频数据的方法,其包含确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度,其中所述第一位深度小于所述第二位深度。所述方法还包含确定在译码其它视频数据时是否将所述视频数据用作参考数据。所述方法还包含基于所述确定,在所述视频数据未用作参考数据时将所述视频数据存储在所述第一位深度处,并且在所述视频数据用作参考数据时将所述视频数据存储在所述第二位深度处。

Description

视频译码中的内部位深度增加
本申请案主张2011年6月9日申请的第61/495,333号美国临时专利申请案、2011年10月28日申请的第61/552,876号美国临时专利申请案,以及2011年11月4日申请的第61/556,002号美国临时专利申请案的权益,所有所述临时专利申请案的内容特此以全文引用的方式并入本文中。
技术领域
本发明涉及视频译码技术。
背景技术
数字视频能力可并入到较宽范围的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、e书籍阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等。数字视频装置实施视频压缩技术,例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4,第10部分,高级视频译码(AVC)界定的标准,或目前正在开发的高效视频译码(HEVC)标准或此类标准的扩展中所描述的那些技术。视频装置可通过实施此类视频压缩技术来更高效地发射、接收、编码、解码且/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码,可将视频片(即,视频帧或视频帧的一部分)分割为视频块,其也可称为树块、译码单元(CU)和/或译码节点。相对于图片中的相邻块中的参考样本,使用空间预测来编码同一图片的经帧内译码(I)片中的视频块。图片的经帧间译码(P或B)片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测,或相对于其它参考图片中的参考样本使用时间预测。图片可称为帧,且参考图片可称为参考帧。
空间或时间预测得出待译码的块的预测块。残余数据表示待译码的原始块与预测块之间的像素差。根据指向形成所述预测块的参考样本块的运动向量以及指示经译码块与预测块之间的差的残余数据来编码经帧间译码的块。根据帧内译码模式和残余数据来编码经帧内译码的块。为了进一步压缩,可将残余数据从像素域变换到变换域,从而得出接着可量化的残余变换系数。可扫描经量化的变换系数,最初布置成二维阵列,以便产生变换系数的一维向量,且可应用熵译码来实现更多的压缩。
发明内容
一般来说,本发明的技术涉及视频译码以及视频译码中的内部位深度增加(IBDI)。举例来说,视频译码器可使用IBDI来增加正译码的样本的位深度,以减少内部计算中的舍入误差。本发明的技术通常涉及管理使用IBDI时的存储器利用率,以及确定输出位深度。就是说,例如,在一些实例中,本发明的技术包含在不将视频数据用作参考视频数据的情况下,在将视频数据存储到经解码图片缓冲器之前,将视频数据从较高位深度舍入到较低位深度。在另一实例中,本发明的技术涉及确定是否在IBDI(例如,增加的)位深度输出视频数据。
在本发明的实例方面中,通常涉及译码视频数据的方法,其包含确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度,其中所述第一位深度小于所述第二位深度。所述方法还包含确定在译码其它视频数据时,是否将所述视频数据用作参考数据。所述方法还包含基于所述确定,在不将所述视频数据用作参考数据时将所述视频数据存储在所述第一位深度处,且在将所述视频数据用作参考数据时将所述视频数据存储在所述第二位深度处。
在另一实例中,本发明的方面通常涉及一种用于译码视频数据的设备,其包含一个或一个以上处理器,所述处理器经配置以:确定用于输出视频数据的第一位深度,以及用于译码所述视频数据的第二位深度,其中所述第一位深度小于所述第二位深度;确定在译码其它视频数据时,是否将所述视频数据用作参考数据;以及基于所述确定,在不将所述视频数据用作参考数据时,将所述视频数据存储在第一位深度处,且在将所述视频数据用作参考数据时,将所述视频数据存储在第二位深度处。
在另一实例中,本发明的方面通常涉及一种用于译码视频数据的设备,其包含:用于确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度的装置,其中所述第一位深度小于所述第二位深度;用于确定在译码其它视频数据时是否将所述视频数据用作参考数据的装置;以及用于基于所述确定在不将所述视频数据用作参考数据时将所述视频数据存储在第一位深度处,且在将所述视频数据用作参考数据时将所述视频数据存储在第二位深度处的装置。
在另一实例中,本发明的方面通常涉及一种上面存储有指令的计算机可读存储媒体,所述指令在执行时致使一个或一个以上处理器:确定用于输出视频数据的第一位深度,以及用于译码所述视频数据的第二位深度,其中所述第一位深度小于所述第二位深度;确定在译码其它视频数据时,是否将所述视频数据用作参考数据;以及基于所述确定,在不将所述视频数据用作参考数据时,将所述视频数据存储在第一位深度处,且在将所述视频数据用作参考数据时,将所述视频数据存储在第二位深度处。
在附图及下文描述中陈述本发明的一个或一个以上方面的细节。将从描述和图式以及从所附权利要求书明白本发明中所描述的技术的其它特征、目标和优点。
附图说明
图1是说明可利用本发明的技术的实例视频编码和解码系统的框图。
图2是说明视频译码中的实例内部位深度增加(IBDI)操作的框图。
图3是说明可实施本发明的任一或全部技术的视频编码器的实例的框图。
图4是说明可实施本发明的任一或全部技术的视频解码器的实例的框图。
图5是说明执行视频译码中的IBDI相关操作的实例方法的流程图。
具体实施方式
一般来说,本发明的技术涉及视频译码。举例来说,视频译码器可使用内部位深度增加(IBDI)操作来增加正译码的样本的位深度,以减少内部计算中的舍入误差。本发明的技术通常涉及管理使用IBDI时的存储器利用率,以及确定输出位深度。就是说,例如,在一些实例中,本发明的技术包含在不将视频数据用作参考视频数据的情况下,在将视频数据存储到经解码图片缓冲器之前,将视频数据从较高位深度舍入到较低位深度。在另一实例中,本发明的技术涉及确定是否以增加的位深度输出视频数据。
举例来说,位深度可通常指代用于视频数据的给定样本(例如,像素的亮度和/或色度值)的若干信息位。当执行IBDI时,视频译码器可将正译码的样本的位深度从第一数目个位(例如,“M”个位)扩展到第二增加的数目个位(例如,“N”个位)。较大的位深度意在减少内部计算中的舍入误差。举例来说,在执行内部计算时增加算术精度可有助于实现理想的结果。可受益于增加的位深度的实例过程可包含运动补偿、内插滤波、去块滤波以及经加权预测等等。
视频译码器可在译码期间将经解码的视频数据存储到经解码图片缓冲器(例如,以用作预测性译码的参考数据)。视频译码器还可在输出(例如,显示)之前将经解码的视频数据存储到经解码图片缓冲器。当在增加的位深度处(例如,使用IBDI)执行内部计算时,视频译码器可将视频数据存储在所述增加的位深度。因此,在从经解码图片缓冲器输出视频数据以供显示之前,视频译码器可执行舍入。
将视频数据存储在增加的位深度处可消耗相对较大量的存储器。然而,存储在经解码图片缓冲器中的视频数据(例如,视频图片)中的一些不可用作参考数据(例如,参考图片)。就是说,视频数据的某些图片不可用作参考数据,但在被输出(例如,以供显示)之前,仍可存储在经解码图片缓冲器中。此外,在译码过程期间,存储到经解码图片缓冲器的一些视频图片可由视频译码器标记为“不用于参考”。虽然本发明通常涉及“图片”、“视频图片”以及“参考图片”,但应理解,本发明的技术适用于其它大小的视频数据/视频数据的配置(例如,视频块、片、瓦片等)。
本发明的各方面大体上涉及管理在视频译码器中使用可高于用于显示的位深度的内部位深度时的存储器利用率。举例来说,本发明的技术包含:在将视频数据用作参考数据时,将视频数据存储在第一增加的位深度处;以及当不将经解码视频图片用作参考图片时,将视频数据存储在减小的位深度处。就是说,本发明的技术大体上涉及在不将视频数据用作参考视频数据时,在将视频数据存储到经解码图片缓冲器之前,将视频数据从增加的位深度舍入到较低位深度。举例来说,本发明的技术包含将具有增加的位深度的经解码视频图片转换为具有相对于所述增加的位深度来说较低的位深度的经解码视频图片。
一般来说,所述较低位深度可等于接收视频数据时的原始位深度。然而,所述较低位深度也可等于输出视频数据时的位深度(例如,在其中输出位深度小于所述增加的位深度的实例中),或某一其它低于所述增加的位深度的位深度。另外,虽然相对于将视频数据舍入到较低位深度来描述本发明的各方面,但应理解,本发明的技术更一般地适用于减小视频数据样本的位深度,不管是通过舍入、截尾(无舍入)还是某一其它过程或减小位深度。
本发明的方面还涉及确定是以增加的位深度还是减小的位深度(例如,原始位深度)输出视频数据。在一些实例中,可根据与将输出(例如,由视频解码器输出)视频数据所处的位深度相关联的信令来作出此确定。此信令可例如包含于可由视频解码器解码的经编码视频数据位流中。就是说,本发明的技术包含用信号向视频解码器通知视频解码器应以减小的位深度(例如等于接收视频数据时的位深度(称为“原始”位深度))输出视频数据,还是以增加的位深度(例如,IBDI位深度)输出视频数据。在另一实例中,输出的位深度不是作为经解码视频位流的部分而存在,而是从在视频解码器外部的来源得出,例如通过呈现来自视频解码器的经解码视频数据的显示器的配置。
在一些实例中,视频译码器可用针对确定输出位深度的技术来实施本发明的存储器管理技术。在其中视频译码器将以原始(较低)位深度输出视频数据的实例中,视频译码器可实施上文所述的存储器管理技术,使得当将经解码图片用作参考图片时,经解码的图片仅存储在增加的(IBDI)位深度中。
本发明的方面可降低与编码和/或解码视频数据相关联的存储器要求。举例来说,在其中使用IBDI技术来增加用于内部译码操作的视频数据的位深度但不将所述视频数据用于参考的实例中,本发明的技术允许存储较少数据位。另外,所述技术可减少存储器带宽消耗。举例来说,多个模块可共享存储器总线来在译码期间存取存储器。在此类实例中,根据本发明的技术,将较少位存储到缓冲器可减少在缓冲器与视频译码装置之间传送的数据的量。
在一些实例中,减小存储器带宽在移动应用中(例如,在其中视频译码器并入到移动装置中的应用中)可为有用的。举例来说,如上文所述,对存储器的读取和写入可消耗存储器总线带宽,存储器总线带宽在移动应用中可相对有限。此外,对存储器的读取和写入可增加移动装置所消耗的电力量(例如,考虑到读取和写入各自需要为存储器总线和存储器供电)。因此,本发明的技术可部署在电力受限装置中,例如移动装置、膝上型计算机,以及任何其它类型的不具有恒定的专用电力供应的装置。
图1是说明实例视频编码和解码系统10的框图,视频编码和解码系统10可经配置以利用本发明中所描述的技术来管理在视频译码器中使用IBDI时的存储器利用率。如图1的实例中所示,系统10包含源装置12,其产生经编码视频供目的地装置14解码。源装置12可经由通信信道16将经编码视频发射到目的地装置14,或可将经编码视频存储在存储媒体34或文件服务器36上,使得经编码视频可由目的地装置14在需要时存取。源装置12和目的地装置14可包括各种各样的装置中的任一者,包含桌上型计算机、笔记本型(即,膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的智能电话)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台等。
在许多情况下,此类装置可为无线通信而配备。因此,通信信道16可包括适合传输经编码视频数据的无线信道、有线信道或无线与有线信道的组合。举例来说,通信信道16可包括任何无线或有线通信媒体,例如,射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任何组合。通信信道16可形成例如局域网、广域网或例如因特网等全局网络的基于包的网络的部分。通信信道16一般表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合,包括有线或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的装置14的通信的路由器、交换器、基站或任何其它设备。
根据本发明的实例,本发明中所描述的用于管理在视频译码器中使用IBDI时的存储器利用率的技术可应用于支持多种多媒体应用(例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如经由因特网))中的任一者的视频译码,编码数字视频以供存储在数据存储媒体上、解码存储在数据存储媒体上的数字视频,或其它应用。在一些实例中,源装置10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
如图1的实例中进一步展示,源装置12包含视频源18、视频编码器20、调制器/解调器22(调制解调器22)以及发射器24。在源装置12中,视频源18可包含例如视频捕获装置等来源。举例来说,视频捕获装置可包含视频相机、含有先前捕获的视频的视频档案、用以从视频内容听着接收视频的视频馈送接口,和/或用于产生计算机图形数据作为源视频的计算机图形系统中的一者或一者以上。作为一个实例,如果视频源18为视频相机,那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而,本发明的技术不一定限于无线应用或设置,且还可应用于包含视频编码和/或解码能力的无线装置。源装置12和目的地装置14仅为可支持本文所述的技术的译码装置的实例。
所捕获、预捕获或计算机产生的视频可由视频编码器20编码。经编码的视频信息可由调制解调器22根据通信标准(例如无线通信协议)来调制,且经由发射器24发射到目的地装置14。调制解调器22可包含经设计以用于信号调制的各种混频器、滤波器、放大器或其它组件。发射器24可包含经设计以用于发射数据的电路,包含放大器、滤波器及一个或一个以上天线。
由视频编码器20编码的所捕获、预捕获或计算机产生的视频还可存储到存储媒体34或文件服务器36上以供以后消耗。存储媒体34可包含蓝光光盘、DVD、CD-ROM、快闪存储器,或任何其它用于存储经编码视频的合适数字存储媒体。存储在存储媒体34上的经编码视频可接着由目的地装置14存取,以用于解码和重放。
文件服务器36可为能够存储经编码视频且将所述经编码视频发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置、本地磁盘驱动器,或能够存储经编码视频数据并将其发射到目的地装置的任何其它类型的装置。通过目的地装置14可经由任何标准数据连接(包含因特网连接)接入文件服务器36。这可包含无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等),或两者的组合,其适合存取存储在文件服务器上的经编码视频数据。经编码视频数据从文件服务器36的发射可为流式发射、下载发射或两者的组合。
本发明通常还涉及视频编码器20将某些信息“用信号通知”给另一装置,例如视频解码器30。然而,应理解,视频编码器20可通过使某些语法元素与视频数据的各个经编码部分相关联来用信号通知信息。就是说,视频编码器20可通过将某些语法元素存储到视频数据的各个经编码部分的标头来“用信号通知”数据,例如输出位深度。在一些情况下,在视频解码器30接收并解码此类语法元素之前,可编码和存储此类语法元素(例如,存储到存储媒体34或文件服务器36上)。因此,术语“用信号通知”可一般指代用于解码经压缩视频数据的语法或其它数据的通信,不管此通信实时或近实时发生还是在一段时间内发生,例如可在编码时将语法元素存储到媒体上时发生,语法元素接着可在被存储到此媒体上之后的任何时间由解码装置检索。
在图1的实例中,目的地装置14包含接收器26、调制解调器28、视频解码器30以及显示装置32。目的地装置14的接收器26经由信道16接收信息,且调制解调器28解调所述信息以为视频解码器30产生经解调位流。经由信道16传送的信息可包含由视频编码器20产生的多种语法信息,以供视频解码器30在解码视频数据时使用。此语法还可与存储在存储媒体34或文件服务器36上的经编码视频数据包含在一起。视频编码器20和视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(CODEC)的部分。
显示装置32可与目的地装置14集成或可在目的地装置14外部。在一些实例中,目的地装置14可包含集成显示装置,且还可经配置以与外部显示装置交互。在其它实例中,目的地装置14可为显示装置。一般来说,显示装置32向用户显示经解码的视频数据,且可包括多种显示装置中的任一者,例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据视频压缩标准来操作,例如目前在开发的高效视频译码(HEVC)标准,且可符合HEVC测试模型(HM)。或者,视频编码器20和视频解码器30可根据其它专有或行业标准来操作,例如ITU-T H.264标准,或者称为MPEG-4,部分10,高级视频译码(AVC),或此类标准的扩展。然而,本发明的技术不限于任何特定译码标准。其它实例包括MPEG-2和ITU-T H.263。
HEVC标准涉及视频数据的块作为译码单元(CU)。一般来说,CU具有与根据H.264译码的宏块类似的目的,只是CU不具有大小差别。因此,CU可分割为若干子CU。一般来说,本发明中对CU的参考可指代图片的最大译码单元(LCU)或LCU的子CU。举例来说,位流内的语法数据可界定LCU,依据像素数目,其为最大译码单元。可将LCU分割为若干子CU,且每一子CU可分割为若干子CU。用于位流的语法数据可界定LCU可分割的最大次数,称为最大CU深度。因此,位流还可界定最小译码单元(SCU)。
LCU可与分级四分树数据结构相关联。一般来说,四分树数据结构每CU包含一个节点,其中根节点对应于LCU。如果CU分割为四个子CU,那么对应于CU的节点包含四个叶节点,其各自对应于子CU中的一者。四分树数据结构的每一节点可提供用于对应CU的语法数据。举例来说,四分数中的节点可包含分割旗标,指示对应于所述节点的CU是否被分割为子CU。CU的语法元素可递归地界定,且可取决于CU是否分割为子CU。
未分割的CU可包含一个或一个以上预测单元(PU)。一般来说,PU表示对应CU的全部或一部分,且包含用于检索PU的参考样本的数据。举例来说,当PU经帧内模式编码时,PU可包含描述PU的帧内预测模式的数据。作为另一实例,当PU经帧间模式编码时,PU可包含描述PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片,和/或运动向量的参考列表(例如,列表0或列表1)。界定PU的CU的数据还可描述(例如)将CU分为一个或一个以上PU。划分模式可在CU未经译码、经帧内模式编码或经帧间预测模式编码之间不同。
具有一个或一个以上PU的CU还可包含一个或一个以上变换单元(TU)。遵循使用PU的预测,视频编码器可计算CU的对应于PU的部分的残余值。可变换、量化和扫描残余值。TU不一定限于PU的大小。因此,TU可大于或小于用于同一CU的对应PU。在一些实例中,TU的最大大小可为对应CU的大小。本发明还使用术语“块”来指代CU、PU或TU中的任一者。
一般来说,经编码视频数据可包含预测数据和残余数据。视频编码器20可在帧内预测模式或帧间预测模式期间产生预测数据。帧内预测通常涉及相对于图片的相邻先前译码块中的参考样本来预测同一图片(其也可称为帧)的块中的像素值。帧间预测通常涉及相对于先前译码图片的数据来预测图片的块中的像素值,例如亮度和色度值。
在帧内或帧间预测之后,视频编码器20可计算所述块的残余像素值。残余值通常对应于块的所预测像素值数据与所述块的真实像素值数据之间的差异。举例来说,残余值可包含指示经译码像素与预测性像素之间的差异的像素差异值。在一些实例中,经译码像素可与待译码像素块相关联,且预测性像素可与用以预测经译码块的一个或一个以上像素块相关联。
为了进一步压缩块的残余值,可将残余值变换为一组变换系数,其将尽可能多的数据(也称为“能量”)压到尽可能少的系数中。变换技术可包括离散余弦变换(DCT)过程或概念上类似的过程、整数变换、小波变换或其它类型的变换。所述变换将像素的残余值从空间域转换为变换域。变换系数对应于通常与原始块相同大小的二维系数矩阵。换句话说,仅存在与参数数据的原始块中的像素一样多的变换系数。然而,归因于变换,变换系数中的许多可具有等于零的值。
视频编码器20可接着量化变换系数的级以进一步压缩视频数据。量化通常涉及将相对较大范围内的值映射到相对较小范围内的值,从而减少表示经量化变换系数所需的数据量。更具体地说,可根据量化参数(QP)来应用量化,QP可根据在量化期间引用于变换系数的量化器步长大小而编索引。视频编码器20可通过调整QP来修改量化程度(例如,量化器步长大小)。
在量化之后,视频编码器20可扫描变换系数,从而从包含经量化变换系数的二维矩阵产生一维向量。视频编码器20可接着对所得阵列进行熵编码以更进一步压缩数据。一般来说,熵译码包括一个或一个以上过程,其共同压缩经量化变换系数和/或其它语法信息的序列。举例来说,例如增量QP、预测向量、译码模式、滤波器、偏移或其它信息等语法元素也可包含于经熵译码的位流中。接着将经扫描系数连同任何语法信息进行熵译码,例如经由内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码过程。
为了执行CABAC,视频编码器20可选择上下文模型来应用于某一上下文以编码待发射的符号。所述上下文可与(例如)相邻值是非零还是零有关。视频编码器20还可对语法元素(例如在执行自适应扫描时产生的有效系数旗标和最后系数旗标)进行编码。
视频解码器30所执行的视频解码过程可通常包含与视频编码器20所执行的编码技术互逆的技术。尽管通常是互逆的,但在一些例子中,视频解码器30可执行与视频编码器20所执行的技术类似的技术。换句话说,视频解码器30可执行大体上与视频编码器20所执行的过程类似的过程。视频解码器30还可依靠接收到的位流中所含有的语法元素或其它数据,所接收到的位流包含相对于视频编码器20所描述的数据。
在一些例子中,视频编码器20可产生且视频解码器30可接收某些参数集合,其可在解码视频数据时使用。举例来说,在H.264/AVC(高级视频译码)标准中,将经译码视频区段组织成NAL单元,其提供“网络友好”视频表示寻址应用,例如视频电话、存储、广播或流式传输。可将NAL单元分类为视频译码层(VCL)NAL单元和非VCL NAL单元。VCL单元可含有核心压缩引擎,且可包含块、宏块和/或片级数据。其它NAL单元可为非VCL NAL单元。在一些实例中,在一个时间实例中,经译码图片(通常呈现为主要经译码图片)可被包含于存取单元(其可包含一个或一个以上NAL单元)中。
非VCL NAL单元可包含参数集合NAL单元和SEI NAL单元等。参数集合可含有序列级标头信息(在序列参数集合(SPS)中),以及非频繁改变的图片级标头信息(在图片参数集合(PPS)中)。对于参数集合(例如,PPS和SPS),无需针对每一序列或图片重复非频繁改变的信息,因此可改进译码效率。此外,参数集合的使用可实现重要标头信息的带外发射,从而不需要冗余发射来进行误差恢复。在带外发射实例中,可在与其它NAL单元(例如SEI NAL单元)不同的信道上发射参数集合NAL单元。
补充增强信息(SEI)可含有对解码来自VCL NAL单元的经译码图片样本来说不必要的信息,但可辅助与解码、显示、误差恢复和其它目的有关的过程。SEI消息可包含在非VCL NAL单元中。SEI消息是一些标准规范的标准部分,且因此对于符合标准的解码器实施方案来说,不总是强制性的。SEI消息可为序列级SEI消息或图片级SEI消息。一些序列级信息可包含于SEI消息中,例如SVC的实例中的可缩放性信息SEI消息,以及MVC中的视图可缩放性信息SEI消息。
另外,在一些实例中,视频解码器30可符合实施某一媒体格式的标准。举例来说,ISO基础媒体文件格式经设计以含有经计时的媒体信息,以供以灵活、可扩展格式呈现,此促进媒体的交换、管理、编辑和呈现。MPEG-4,部分12中指定ISO基础媒体文件格式(ISO/IEC14496-12:2004),其界定基于时间的媒体文件的一般结构。基础格式可用作系列中的其它文件格式的基础,例如经界定以支持H.264/MPEG-4AVC视频压缩的高级视频译码(AVC)文件格式(ISO/IEC14496-15)、3GPP文件格式、SVC文件格式以及MVC文件格式,其为AVC文件格式的扩展。
一般来说,ISO基础媒体文件格式含有经定时媒体数据序列(例如音频-视觉呈现)的时序、结构和媒体信息。文件结构可为面向对象的。就是说,可非常简单地将文件分解为基础对象,且对象的结构可从其类型暗示。符合ISO基础媒体文件格式的文件可形成为一系列对象,称为“盒”。数据通常包含于盒中,且文件内通常不存在其它数据。因此,“盒”是由唯一类型识别符和长度界定的面向对象的构造块。
在另一实例中,AVC文件格式(也称为,MPEG-4,部分15)是ISO基础媒体文件格式的扩展。在AVC文件格式中,视频样本包含于“AVC样本”中,其含有AVCDecoderConfigurationRecord(AVC解码器配置记录),以及同一存取单元的NAL单元。AVCDecoderConfigurationRecord还可包含于“AVCParameterSample(AVC参数样本)”中,其仅含有参数集合。AVCDecoderConfigurationRecord的语法可包含如下:
在以上实例中,AVCDecoderConfigurationRecord含有某些简档和级相关元素。正如许多视频译码标准,H.264/AVC界定用于无误差位流的语法、语义和解码过程,所述位流中的任一者均符合某一简档或级。H.264/AVC不指定编码器,但编码器的任务是保证所产生的位流符合解码器的标准。在视频译码标准的上下文中,“简档”对应于应用于其的算法、特征或工具和约束的子集。举例来说,如由H.264标准所界定,“简档”是由H.264标准指定的整个位流语法的子集。“级”对应于解码器资源消耗的限制,例如与图片的分辨率、位速率和宏块(MB)处理速率有关的解码器存储器和计算的限制。可用profile_idc(简档指示符)值来用信号通知简档,而可用(级指示符)值来用信号通知级。
举例来说,H.264/AVC标准认识到,在由给定简档的语法强加的界限内,依据位流中的语法元素(例如经解码图片的指定大小)所采用的值,仍可能需要编码器和解码器的性能的较大变化。H.264/AVC标准进一步认识到,在许多应用中,实施能够处理特定简档内的语法的所有假设使用的解码器既不实际也不经济。因此,H.264/AVC标准将“级”界定为强加于位流中的语法元素的值上的指定一组约束。这些约束可为对值的简单限制。或者,这些约束可采用对值的算术组合的约束的形式(例如,图片宽度乘以图片高度乘以每秒解码的图片的数目)。H.264/AVC标准进一步提供个别实施方案可支持每一所支持简档的不同级。
在一些实例中,视频编码器20和/或视频解码器30还可根据例如MPEG-2标准等其它专属或行业标准来操作。MPEG-2系统规范描述经压缩多媒体数据流(例如,视频和音频流)可如何与其它数据一起多路复用,以形成适合数字发射或存储的单个数据流。MPEG-2系统的最新规范在以下文献中指定“信息技术-移动图片和相关联音频的一般译码:系统,推荐H.222.0;国际标准化组织(International Organization for Standardization),ISO/IEC JTC1/SC29/WG11;移动图片和相关联音频的一般译码”,2006年5月。
作为背景,根据MPEG-2,基本流为程序的单个经数字译码(可能经MPEG压缩)的组成部分。举例来说,程序的经译码视频或音频部分可为基本流。在多路复用到程序流或输送流中之前,可将基本流转换为经包化基本流(PES)。在同一程序内,可使用stream_id来将属于一个基本流的PES包与另一者区分开。
程序流通常包含一个或一个以上相关联基本流,且通常含有具有可变长度包的包。另外,程序流通常包含从贡献基本流得出且组织成所谓的“包”的PES包。包以任何次序包含包标头、任选的系统标头,以及取自贡献基本流中的任一者的任何数目个PES包。当被包含时,系统标头可含有程序流的特性的概述,例如最大数据速率、贡献视频和音频基本流的数目以及时序信息。解码器(例如视频解码器30)可使用系统标头中所含有的信息来确定解码器是否能够解码程序流。
输送流既定用于在潜在容易出错的信道上同时递送若干程序。输送流包括一连串相对较短的输送包,其降低了对误差的易感性。虽然输送流提供误差恢复和运载许多同时程序的能力,但其还可包含比程序流复杂的多路复用,且可较难创建和解多路复用。
可使用13位包识别符(PID)字段来将含有一个基本流的数据的输送包与运载其它基本流的数据的输送包区分开。程序特定信息可指定程序与组成基本流之间的关系。可用MPEG-2系统规范内所指定的许多描述符中的一些来修饰基础程序映射表(PMT)。出于实例的目的,假定PMT包含具有数目三的程序,其含有具有PID33的视频、具有PID57的英语音频以及具有PID60的中文音频。PMT可包含一个以上程序。
与PMT相关联的描述符通常传达关于程序或其组成基本流的进一步信息。描述符包含视频编码参数、音频编码参数、语音识别、光景比改变技术信息、条件接入细节、版权信息等等。如果需要,那么广播员或其它用户可界定额外私有描述符。
程序流地图(PSM)提供程序流中的基本流及其与彼此的关系的描述。当在输送流中运载时,可不修改PSM。当stream_id值为0xBC时,PSM作为PES包而存在。程序关联表(PAT)提供输送流中可用的所有程序以及含有其程序映射表(PMT)的输送包的PID值的完整列表。使用上文所提到的同一实例,指定程序编号三的基本流的PMT可具有PID1001,且另一PMT可具有另一PID1002。
对于AVC(例如,ITU-T Rec.H.264I ISO/IEC14496-10)视频流,AVC视频描述符提供用于识别相关联AVC视频流的译码参数的基本信息,例如关于包含于AVC视频流的SPS中的简档和级参数的信息。
举例来说,AVC视频描述符可用信号通知AVC视频流中的AVC静止图片的存在和AVC24小时图片的存在。如果此描述符不包含于PMT或PSM(如果存在)中,那么AVC视频流可不含有AVC静止图片和AVC24小时图片。实例AVC视频描述符包含于下文的实例表1中:
表1-AVC视频描述符
视频编码器20和/或视频解码器30还可符合基于HTTP(DASH)的MPEG指定动态自适应流式传输。在DASH中,存在明显文件,即MPD(媒体呈现描述符),其描述服务的表示。举例来说,MPD可包含通常描述所包含的表示的特性(例如译码和渲染特性、适应集合、MPD所对应的简档、文本类型信息、相机角度信息、评级信息、技巧模式信息(例如,指示包含时间子序列的表示的信息),和/或用于检索远程周期(例如,用于在重放期间将目标广告插入到媒体内容中)的信息)的数据。
每一表示可包含标头数据以及一个或一个以上媒体数据区段。标头数据在存在时可描述区段的特性,例如随机接入点的时间位置、与区段内的随机接入点的字节偏移、所述区段的统一资源定位符(URL),或区段的其它方面。另外或替代地,此类特性可完全包含在MPD内。每一区段可包含一个或一个以上经译码视频样本,其中的每一者可包含图片或视频数据片。所述区段的经译码视频样本中的每一者可具有类似特性,例如高度、宽度和带宽要求。所述区段中的每一者可与唯一统一资源识别符(URI)(例如,统一资源定位符(URL))相关联。因此,所述区段中的每一者可使用例如DASH等流式传输网络协议独立检索。以此方式,目的地装置(其可包含视频解码器,例如视频解码器30)可使用HTTP获得请求来检索所述区段。
尽管图1中未展示,但在一些方面中,视频编码器20和视频解码器30可各自与音频编码器和解码器集成,且可包含适当的多路复用器-解复用器(MUX-DEMUX)单元或其它硬件及软件,以处置对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中,如果适用,MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可经实施为例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当所述技术部分以软件来实施时,装置可将用于所述软件的指令存储在合适的非暂时计算机可读媒体中,且使用一个或一个以上处理器来在硬件中执行所述指令以实施本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中,其中的任一者可集成为相应装置中的组合式视频编码器/解码器(CODEC)的部分。
根据本发明的方面,如下文相对于图3和4更详细地描述,视频编码器20和/或视频解码器30可在使用高于输出位深度的内部位深度时执行存储器利用率管理。就是说,内部位深度通常指代用于在视频编码器20和/或视频解码器30内部的计算的位深度。实例内部计算包含运动补偿、内插滤波、区块滤波以及经加权预测,等等。输出位深度通常指代从视频编码器20和/或视频解码器30发射的位深度。举例来说,相对于视频解码器30,输出位深度为发送到显示装置32以供呈现的样本的位深度(例如,像素的亮度和/或色度值)。
举例来说,当经解码的图片将被用作参考图片时,视频编码器20和/或视频解码器30可将视频数据存储在第一、增加的位深度处。当经解码图片将不被用作参考图片时,视频编码器20和/或视频解码器30可将经解码图片存储在减小的位深度(例如,原始位深度)处。就是说,如果经解码图片不用作参考图片,那么在将视频数据存储到经解码图片缓冲器之前,视频编码器20和/或视频解码器30可将视频数据从增加的位深度舍入到较低位深度。
另外,根据本发明的方面,视频编码器20可提供,且视频解码器30可解码关于视频解码器30的输出格式的某些指示(例如,语法元素)。举例来说,本发明的方面还涉及与视频数据将在其处由视频解码器30输出的位深度相关联的信令。举例来说,视频编码器20可编码,且视频解码器30可解码指示视频解码器30是应在视频编码器20或视频解码器30接收视频数据的原始位深度下输出图片,还是在增加的位深度(例如,IBDI位深度)下输出图片。
可例如在SPS、PPS,或其它参数集合中,或在一个或一个以上SEI消息中提供此信令。在另一实例中,可以文件格式(例如,作为ISO基本媒体文件格式的扩展),或在含有简档和级信息的样本中提供此信令。在另一实例中,在MPEG-2系统中,可在描述符中提供此信令。在另一实例中,在经由HTTP的动态自适应流式传输(DASH)环境下,此信令可在媒体呈现描述(MPD)文件中提供。在另一实例中,此信令可由显示装置使用,其通过例如远程控制来决定输出位深度。
图2是说明视频译码中的实例IBDI操作的框图。虽然通常将相对于图2描述的操作描述为由视频译码器38执行,但应理解,此类操作可由视频编码器20和/或视频解码器30执行,如下文更详细地描述。
在图2的实例中,视频译码器38接收M位源数据33。源数据33可包含(例如)具有深度为“M”个位的样本(例如,像素值)的图片,其中“M”为正值。在一实例中,源数据33可包含具有有八位深度的样本的图片,但也可使用其它位深度。
在接收到源数据33后,视频译码器38可即刻增加源数据33的位深度。举例来说,如图2的实例中所示,视频译码器38可对源数据22执行右移操作(<<),以使源数据33的位深度增加N-M个位,其中“N”大于“M”(34)。在其中M为八个位且N为10个位的实例中,视频译码器38可执行右移操作,以使源数据33扩大两个位。
在增加源数据33的位深度之后,视频译码器38可执行N位译码操作(35)。举例来说,视频译码器38可执行图片内预测,应用一个或一个以上内插滤波器,应用一个或一个以上去块滤波器,应用一个或一个以上空间变换,或使用增加的位深度执行其它过程。将相对较高(增加)的位深度用于内部计算(例如,在视频译码器38内部)还可称为高准确性内部过程(HAIP)。通过应用HAIP,内部过程的准确性增加了N-M个位。较大的位深度可有助于减少内部计算中的舍入误差。举例来说,在执行内部计算(例如数字滤波处理)时增加算术精度可有助于实现理想的结果。在一些实例中,视频译码器38可经配置以执行使用原始M位源数据33的一些操作,以及使用N位、位增加的数据的其它操作。
视频译码器38可接着在输出数据之前对所得数据执行舍入操作(截尾)。举例来说,视频译码器38可将位增加的数据舍入回到原始M位深度(36)。因此,视频译码器38可输出M位输出数据37。输出数据37可为经编码位流(例如,当输出数据37来自视频编码器时),或可为经解码图片(例如,当输出数据37来自视频解码器时)。
图3是说明可管理在视频译码器中使用IBDI时的存储器利用率的技术的视频编码器20的实例的框图。应理解,出于概念目的,图3的某些组件可相对于单个组件展示并描述,但可包含一个或一个以上功能单元。另外,虽然图3的某些组件可相对于单个组件展示并描述,但这些组件物理上可由一个或一个以上离散和/或集成单元组成。
如图3中所示,视频编码器20接收待编码视频图片内的当前视频块。在图3的实例中,视频编码器20包含模式选择单元40、IBDI模块41A、41B和41C(合称,IBDI模块41)、运动估计单元42、运动补偿单元44、参考图片存储器64、求和器50、变换单元52、量化单元54以及熵译码单元56。为了视频块重构,视频编码器20还包含逆量化单元58、逆变换单元60以及求和器62。还可包含区块滤波器(图3中未展示),以对块边界进行滤波,以将成块假影从经重构的视频去除。在需要时,去块滤波器将通常对求和器62的输出进行滤波。
在编码过程期间,视频编码器20接收待译码的视频图片或切片。可将图片或切片分为多个视频块。在一些实例中,IBDI模块41A可增加待译码的所接收视频图片或切片的所接收样本(例如,像素)的位深度。举例来说,如上文相对于图2所描述,IBDI模块41A可执行右移操作以增加所接收样本的位深度。在出于说明目的的实例中,假定所接收视频数据具有位深度八(例如,视频数据的每一样本包含八个数据位)。在此实例中,IBDI模块41A可执行右移操作以使样本的位深度增加到10(例如,使得视频数据的每一样本包含十个数据位)。在另一实例中,IBDI模块41A可执行右移操作,以使样本的位深度增加到12。其它变化也是可能的。
在图3中所示的实例中,将IBDI模块41A定位在视频编码器20的相对输入处,使得视频编码器20的所有操作均为经位深度增加的。然而,应理解,在一些实例中,可仅将IBDI应用于与视频编码器20相关联的操作子集。举例来说,IBDI模块41A可对视频编码器20内的任何操作子集执行IBDI(例如,与运动估计单元42、运动补偿单元44、帧内预测单元46、变换单元52、量化单元54、逆量化单元58、逆变换单元60、去块或其它滤波器(未图示),或视频编码器20的任何其它单元相关联的操作)。
运动估计单元42和运动补偿单元44相对于一个或一个以上参考图片中的一个或一个以上块执行对所接收的视频块的帧间预测译码。就是说,运动估计单元42可相对于不同时期的一个或一个以上参考图片中的一个或一个以上块来执行对所接收视频块的帧间预测译码,例如使用同一视图的一个或一个以上参考图片的运动估计。另外,运动估计单元42可相对于同一时期的一个或一个以上参考图片中的一个或一个以上块来执行对所接收视频块的帧间预测译码,例如使用同一视图的一个或一个以上参考图片的运动差异。
帧内预测单元46可相对于与待译码的块在同一图片或切片中的一个或一个以上相邻块执行所接收视频块的帧内预测译码,以提供空间压缩。模式选择单元40可例如基于错误结果选择译码模式(帧内或帧间)中的一者,且将所得经帧内译码或帧间译码块提供给求和器50以产生残余块数据,且提供给求和器62以重构经编码块以用于参考图片中。
运动估计单元42与运动补偿单元44可高度集成,但出于概念上的目的而分开予以说明。运动估计是产生估计视频块的运动的运动向量的过程。运动向量(例如)可指示预测参考图片(或其它经译码单元)内的预测块相对于当前图片(或其它经译码单元)内正被译码的当前块的位移。预测块是被发现在像素差异方面密切地匹配待译码的块的块,其可由绝对差总和(SAD)、平方差总和(SSD)或其它差异量度确定。运动向量还可指示宏块的分区的移位。运动补偿可涉及基于运动估计单元42所确定的运动向量(或移位向量)获取或产生预测块。并且,在一些实例中,运动估计单元42和运动补偿单元44可功能上集成。
运动估计单元42可通过将视频块与参考图片存储器64中的参考图片的视频块进行比较来计算经帧间译码图片的视频块的运动向量。运动补偿单元44还可内插参考图片的子整数像素,例如I帧或P帧。ITU-T H.264标准指代参考图片“列表”,例如列表0到列表1。列表0包含具有早于当前图片的显示次序的参考图片,而列表1包含具有晚于当前图片的显示次序的参考图片。在其它译码方案中,可维持单个列表。
运动估计单元42将来自参考图片存储器64的一个或一个以上参考图片的块与当前图片(例如P图片或B图片)的待编码块进行比较。当参考图片存储器64中的参考图片包含子整数像素的值时,由运动估计单元42计算的运动向量可指代对应于参考帧的子整数像素位置的样本。运动估计单元42将所计算的运动向量发送到熵译码单元56和运动补偿单元44。由运动向量识别的参考图片块可称为预测块。运动补偿单元44计算参考图片的预测块的残余误差值。
变换单元52对残余块应用例如离散余弦变换(DCT)、整数变换,或概念上类似的变换等变换,从而产生包括残余变换系数值的视频块。变换单元52可执行其它变换,例如由H.264标准界定的那些变换,其概念上类似于DCT。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任何情况下,变换单元52均将变换应用于残余块,从而产生残余变换系数块。变换单元52可将残余信息从像素值域转换到变换域(例如,频域)。
量化单元54量化残余变换系数以进一步减小位率。量化过程可减少与系数中的一些或全部相关联的位深度。通过调整量化参数来修改量化程度。举例来说,量化通常涉及将相对较大范围内的值映射到相对较小范围内的值,从而减少表示经量化变换系数所需的数据量。视频编码器可通过根据预定义算法应用量化参数(QP)来量化变换系数。视频编码器可通过调整QP来修改应用于变换系数值的量化程度。
在量化之后,熵译码单元56对经量化变换系数进行熵译码。举例来说,熵译码单元56可执行内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC),或另一熵译码技术。在熵译码单元56进行的熵译码之后,可将经编码视频发射到另一装置或加以存档以用于稍后发射或检索。在上下文自适应二进制算术译码(CABAC)的情况下,上下文可基于相邻宏块。
在一些情况下,熵译码单元56或视频编码器20的另一单元可经配置以执行除熵译码之外的其它译码功能。举例来说,熵译码单元56可经配置以确定宏块和分区的CBP值。并且,在一些情况下,熵译码单元56可执行对其宏块或分区中的系数的游程长度译码。明确地说,熵译码单元56可应用曲折扫描或其它扫描模式来扫描宏块或分区中的变换系数,且编码零的游程以用于进一步压缩。熵译码单元56还可用适当的语法元素建构标头信息以供在经编码视频位流中进行发射。
在熵译码之前,IBDI模块41B可将样本值从增加的位深度(例如,如由IBDI模块41A增加)舍入到原始位深度。就是说,在使用增加的位深度执行内部操作之后,IBDI模块41B可使视频数据返回到原始位深度(即,视频编码器20层曾接收数据的位深度,或在视频数据从视频编码器20输出之前的某一其它相对较低的位深度)。
逆量化单元58和逆变换单元60分别应用逆量化和逆变换,以在像素域中重构残余块,例如以供稍后用作参考块。运动补偿单元44可通过将残余块与参考图片存储器64的图片中的一者的预测块相加来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重构的残余块,以计算供在运动估计中使用的子整数像素值。求和器62将所重构的残余块与运动补偿单元44产生的经运动补偿的预测块相加以产生经重构视频块,以存储在参考图片存储器64中。经重构的视频块可由运动估计单元42和运动补偿单元44用作对后续视频图片中的块进行帧间预测的参考块。
在一些实例中,根据本发明的方面,IBDI模块41C可有帮助管理使用IBDI时的存储器利用率。举例来说,在将经重构的块存储到参考图片存储器64之前,IBDI模块41C可确定数据是否将被实际用作参考数据。根据本发明的方面,IBDI模块41C可不更改将被用作参考数据的视频数据。相反,可将经重构的图片存储到参考图片存储器64的IBDI(增加的)位深度处。相反,IBDI模块41C可舍入将不被用作参考图片的图片样本。就是说,在将经解码的图片存储到参考图片存储器64之前,IBDI模块41C可减小经解码图片的位深度。以此方式,视频编码器20可实现使用IBDI时的某些存储器消耗节省,因为存储在参考图片存储器64中的数据的至少一些可存储在减小的位深度处。
另外,根据本发明的一些方面,视频编码器20可提供关于用于视频解码器(例如下文所述的视频解码器30)的输出格式的某些指示。举例来说,视频编码器20可编码指示视频解码器应以曾接收视频数据的位深度输出经解码图片还是以增加的位深度(例如,IBDI位深度)输出经解码图片的语法元素。可例如在SPS、PPS,或其它参数集合中,或在SEI消息中提供此信令。在另一实例中,可以文件格式(例如,作为ISO基本媒体文件格式的扩展)提供此信令,或在含有简档和级信息的样本提供信令。在另一实例中,在MPEG-2系统中,可在描述符中提供此信令。在另一实例中,在经由HTTP的动态自适应流式传输(DASH)环境下,此信令可在媒体呈现描述(MPD)文件中提供。
虽然将IBDI模块41展示为单独模块,其中模块41A负责增加位深度,模块41B负责在输出之前对位深度进行截尾,且模块41C负责在存储在参考图片存储器63中之前对位深度进行截尾,但应理解,此类IBDI模块41可高度集成和/或并入到单个模块中。另外,虽然出于阐释的目的展示为离散模块,但应理解,IBDI模块41可在硬件、软件、固件或其任何组合中实施。
图4是说明可执行本发明的技术的视频解码器30的实例的框图。在图4的实例中,视频解码器30包含熵解码单元130、IBDI模块131A和131B(总称为IBDI模块131)、运动补偿单元132、帧内预测单元134、逆量化单元136、逆变换单元138、参考图片存储器142和求和器140。
熵解码单元130可对接收到的位流进行熵解码。举例来说,熵解码单元130可接收串行化变换系数,且逆扫描所述变换系数,以产生变换系数的二维阵列。
IBDI模块131A可增加经熵解码样本的位深度。举例来说,如上文相对于图2和图3所述,IBDI模块131A可执行右移操作,以增加接收到的样本的位深度。在出于说明目的的实例中,假定所接收视频数据(例如,来自经编码位流的变换系数、运动向量等)具有位深度八(例如,视频数据的每一样本包含八个数据位)。在此实例中,IBDI模块131A可执行右移操作,以使样本的位深度增加到10。在另一实例中,IBDI模块131A可执行右移操作,以使样本的位深度增加到12。其它变化也是可能的。
运动补偿单元132可基于从熵解码单元130接收到的运动向量产生预测数据。运动补偿单元132可使用在位流中接收到的运动向量来识别参考图片存储器142中的参考图片中的预测块。帧内预测单元134可使用在位流中接收到的帧内预测模式从空间上邻近的块形成预测块。逆量化单元136将提供于位流中且由熵解码单元130解码的经量化的块系数逆量化(即,去量化)。
逆变换单元158对变换系数应用逆变换(例如,逆DCT、逆整数变换,或概念上类似的逆变换过程),以便产生像素域中的残余块。运动补偿单元132产生经运动补偿的块,从而可能执行基于内插滤波器的内插。待用于具有子像素精度的运动估计的内插滤波器的识别符可包含于语法元素中。运动补偿单元132可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的经内插值。运动补偿单元132可根据所接收的语法元素来确定视频编码器20所使用的内插滤波器,且使用内插滤波器来产生预测块。
运动补偿单元132使用语法信息中的一些来确定用于编码经编码视频序列的图片的宏块的大小、描述经编码视频序列的图片的每一宏块如何分区的分区信息、指示如何编码每一分区的模式、用于每一经帧间编码宏块或分区的一个或一个以上参考图片(或列表),以及用以解码经编码视频序列的其它信息。
求和器140对残余块与由运动补偿单元132或帧内预测单元74产生的对应预测块进行求和以形成经解码块。如果需要的话,还可应用去块滤波器来对经解码块进行滤波,以便去除成块假象。接着将经解码的视频块存储在参考图片存储器142中,参考图片存储器142提供用于后续运动补偿的参考块且还产生用于在显示装置(例如,图1的显示装置32)上呈现的经解码视频。
根据本发明的方面,IBDI模块131B可有助于管理使用IBDI时的存储器利用率。举例来说,在将经解码图片存储到参考图片存储器142之前,视频解码器30可确定所述图片是否将用作参考图片,例如用于解码其它所预测像素值。根据本发明的方面,IBDI模块131B可不更改将用作参考图片的图片。相反,视频解码器30可将经解码的图片存储到参考图片存储器142,在IBDI(增加的)位深度处。就是说,相对于上文在图2中展示和描述的IBDI实例,视频解码器30可以“N”位深度将经解码图片存储到参考图片存储器142。
相反,IBDI模块131B可舍入不将用作参考图片的经解码图片样本。举例来说,某些图片(例如一些B帧等)不可用作参考图片。此外,在一些例子中,视频解码器30可将某些图片标记为“未用于参考”。举例来说,如果图片已经编码但尚未显示且不用作参考图片,那么所述图片可被标记为未用于参考。因此,当图片将不用作参考数据时,IBDI模块131B可在将经解码图片存储到参考图片存储器142之前减小经解码图片的位深度。就是说,IBDI模块131B可将未用作参考图片的任何经解码图片从增加的位深度转换到原始的较低位深度。举例来说,IBDI模块131B可最初以较低位深度将未用作参考图片的经解码图片存储到参考图片存储器142。IBDI模块还可将原始存储在增加的位深度处但不再用作参考图片的经解码图片转换为较低位深度。以此方式,视频解码器30可实现使用IBDI时的某些存储器消耗节省,因为存储在参考图片存储器142中的数据的至少一些可存储在相对于增加的位深度较低的位深度处。
根据本发明的一些方面,视频解码器30可将图片维持在原始位深度(例如,非IBDI位深度),不管所述图片是否用作参考图片。根据此经修改IBDI过程,视频解码器30可增加将图片用于某些过程(例如运动补偿)时的位深度。就是说,例如,视频解码器30可执行例如子像素内插、逆量化、逆变换和最终重构等内部解码过程中相对较高精度的计算。然而,IBDI模块131B可接着在将经解码图片存储到参考图片存储器142之前减小所有经解码图片(包含用作参考图片的图片)的位深度,以降低存储器带宽消耗。
在一些例子中,视频解码器30可相对于曾接收数据(例如,所接收经编码位流)所处的位深度以增加的位深度输出经解码图片。输出增加的位深度数据可为能够处置此较高位深度数据的解码器和显示器提供相对较佳的视频和/或音频质量。
根据本发明的方面,视频解码器30可基于所接收的输出位深度指示符确定是以增加的位深度(例如,IBDI位深度)还是原始位深度(例如,曾接收经编码位流所处的位深度)输出经解码图片。举例来说,视频解码器30可接收和解码指示输出位深度的某些语法元素,且根据经解码的语法元素输出经解码图片(例如,来自参考图片存储器142)。
在一实例中,输出位深度指示符可包含于SPS、PPS或其它参数集合、SEI消息和/或其它消息中。举例来说,视频解码器30可接收SPS或SEI消息中的旗标(例如display_IBDI_depth_flag(显示_IBDI_深度_旗标)),其指示是以原始位深度(例如,曾接收经译码视频数据的位深度)还是增加的位深度(例如,IBDI位深度)输出经解码图片。如果将显示位深度旗标设定为零(“0”),那么视频解码器30可以原始位深度输出经解码图片,而如果将显示旗标设定为一(“1”),那么那么视频解码器30可以增加的位深度输出经解码图片(或反之亦然)。在一些实例中,显示位深度旗标只能在启用IBDI过程(例如,bitDepthIncreased(位深度增加)语法元素大于零,指示IBDI被启用)时设定。
根据本发明的方面,视频解码器30可实施轻量转码技术,以基于多种因素修改显示位深度旗标。举例来说,如果显示器(例如,图1中所示的显示装置32)仅能够显示具有原始位深度(例如,8位深度)的图片,那么视频解码器30可使显示位深度旗标复位到零,不管显示位深度旗标的原始值如何。就是说,如果显示器不能够以增加的位深度呈现经解码图片,那么视频解码器30可使显示位深度旗标从值一复位到值零。
在其它实例中,旗标不是包含于参数集合或其它消息中,而是旗标可为与特定译码标准相关联的可配置参数。举例来说,相对于新兴的HEVC标准,可在解码过程中使用显示IBDIDepthFlag(IBDI深度旗标)参数。在此实例中,可在系统规范中用信号通知所述参数,不管显示位深度旗标是包含于参数集合(例如,SPS或PPS)还是其它消息(例如,SEI消息)中。
在其它实例中,输出位深度指示符可包含于文件格式中(例如,作为ISO基本媒体文件格式的扩展)。举例来说,输出位深度指示符可包含于含有简档和级信息的样本中。在出于说明目的的实例中,输出位深度指示符可共享与上文相对于图1所论述的AVC文件格式相同的AVCDecoderConfigurationRecord(AVC解码器配置记录)。然而,根据本发明的方面,可根据以下格式来修改文件格式:
在此实例中,等于零(“0”)的显示IBDI深度指示IBDI不用于位流中,或输出信号(例如,来自视频解码器30的经解码图片)使用较低的非IBDI位深度(例如,M位)。或者,等于一(“1”)的displayIBDIDepth(显示IBDI深度)可指示使用IBDI,且将以增加的位深度显示输出信号。根据本发明的一些方面,当显示为深度旗标(例如,display_IBDI_depth_flag)存在于SPS(或在一些实例中,SEI消息)中,那么将displayIBDIDepth设定为等于display_IBDI_depth_flag。在上文所示的实例中,IBDI_bit_depth_luma_minus8plus8(IBDI_位_深度_亮度_减8加8)可指示将用于显示的位深度(N)。就是说,IBDI_bit_depth_luma_minus8+8等于(N),其可等于与bitDepthIncreased组合的位深度(M)。
应理解,仅出于说明的目的提供以上实例,且其它实例也是可能的。举例来说,上文所述的AVCDecoderConfigurationRecord可重命名为HEVCDecoderConfigurationRecord(HEVC解码器配置记录),但可在新兴HEVC文件格式中扮演与AVC文件格式中的AVCDecoderConfigurationRecord相同的角色。
在另一实例中,输出位深度指示符可包含于描述符(例如MPEG-2描述符)中。举例来说,HEVC MPEG-2系统设计可类似于AVC的设计,如上文所述。就是说,HEVC MPEG-2可再用AVC视频描述符来描述HEVC位流,下文在表2中说明变化:
表2-AVC视频描述符
在图2的实例中,等于零(“0”)的display_IBDI_depth指示IBDI不用于位流中,或待显示的输出信号(例如,来自视频解码器30的经解码图片)使用较低的非IBDI位深度(例如,M位)。或者,等于一(“1”)的display_IBDI_depth可指示使用IBDI,且将以增加的位深度(例如,N位,其中N大于M)显示输出信号。当display_IBDI_depth_flag存在于SPS中时,可将display_IBDI_depth设定为等于display_IBDI_depth_flag。另外,在上文所示的实例中,IBDI_bit_depth_minus8plus8可指示将用于显示的位深度(N)。就是说,IBDI_bit_depth_minus8+8等于(N),其可等于与bitDepthIncreased组合的位深度(M)。应理解,表2中所示的实例仅出于说明的目的而提供。就是说,在另一实例中,所述描述符还可命名为具有类似语法元素的HEVC描述符(或对应于另一译码标准的描述符)。
在又一实例中,输出位深度指示符可包含于MPD文件中(例如,在DASH环境中)。举例来说,如上文所述,MPD可描述可用于解码的视频数据的不同表示。举例来说,MPD可包含通常描述所包含的表示的特性(例如译码和渲染特性、适应集合、MPD所对应的简档,以及多种其它信息)的数据,如上文所述。
根据本发明的方面,输出位深度可由负责在包封(例如,封装以供发射到视频解码器30)时提供内容的服务器确定。就是说,例如,服务提供商可确定不需要额外位深度来显示某些内容。在此些例子中,服务提供商可设定指示不将以IBDI位深度显示表示的IBDI旗标(例如,在MPD中)。或者,服务提供商可确定可使用额外位深度来显示特定表示的数据,且可相应地设定显示位深度指示符。下文在表3中展示实例MPD。
表3-MPD
如上文所述,当存在@IBDIDepth元素时,可使用所述元素来指示将以IBDI深度的增加的位深度(N位)来显示HEVC表示(或另一译码标准的表示)。当不存在所述元素时,所述表示将以正常位深度(M位)显示。@IBDIDepth的值可等于M位深度+位深度增加,如位流的SPS(或SEI消息)中所指示。
在一些实例中,如上文所述,可使用经修改的IBDI过程,其包含正存储到参考图片存储器142的所有经解码图片的舍入,不管经解码图片是否被用作参考图片。在此些实例中,可实施额外指示符(例如,旗标)来指示是使用第一IBDI过程还是第二经修改IBDI过程。此指示符可在SPS、SEI消息等中提供,如上文所述。举例来说,如果指示符为真,那么经修改的IBDI过程可用于图片序列。或者,如果指示符为假,那么当前IBDI过程可用于图片序列。
虽然大体上相对于视频解码器30来描述上文所述的输出位深度指示符,但应理解,此些指示符可由一个或一个以上装置产生且/或发射。举例来说,上文所述的显示位深度指示符可由多种视频译码器(包含视频编码器20(图1和2))、用于提供内容的服务器或其它组件(如上文相对于DASH实例所述)、其它处理器、处理单元、基于硬件的译码单元(例如编码器/解码器(CODEC))等产生。
根据本发明的方面,视频解码器30可接收输出位深度指示符,且基于接收到的输出位深度指示符确定是以增加的位深度还是原始位深度输出经解码图片。在视频解码器30以增加的位深度输出经解码图片的实例中,IBDI模块131B在将经解码图片存储在参考图片存储器142中之前,可不更改经解码图片。就是说,如上文所述,当实施IBDI时,IBDI模块131A可在执行某些内部译码操作之前增加视频数据的位深度。当视频解码器30以增加的位深度输出经解码图片时,IBDI模块131B在将经解码图片存储到参考图片存储器142之前可不舍入视频数据的位深度。因此,视频解码器30可以增加的位深度输出来自参考图片存储器142的经解码图片(例如,用于在显示器处呈现,例如显示装置32(图1))。
或者,在其中视频解码器30以非IBDI位深度输出经解码图片的实例中,IBDI模块131B可在将经解码图片存储到参考图片存储器142时,实施本发明中所描述的技术。就是说,在一些实例中,IBDI模块131B可不更改将用作参考图片的图片样本。相反,视频解码器30可将经解码的图片存储到参考图片存储器142,在IBDI(增加的)位深度处。相反,根据本发明的方面,IBDI模块131B可舍入将不用作参考图片的图片的样本。
虽然将IBDI模块131展示为单独模块,但应理解,此IBDI模块131可高度集成且/或并入到单个模块中。另外,虽然出于阐释的目的展示为离散模块,但应理解,IBDI模块131可在硬件、软件、固件或其任何组合中实施。
图5是说明增加执行与视频译码相关联的操作时的位深度的框图。图5中所示的实例通常描述为由视频译码器执行。应理解,在一些实例中,图5的技术可由上文所述的视频编码器20(图1和2)或或视频解码器30(图2和3)进行。在其它实例中,图5的技术可由多种其它处理器、处理单元、基于硬件的译码单元(例如编码器/解码器(CODEC)等执行。
在图5中所示的实例中,视频译码器可使用IBDI过程,例如上文所述的过程,来以增加的位深度对视频数据执行一个或一个以上视频译码操作(160)。举例来说,视频译码器可接收具有位深度八的视频数据的一个或一个以上样本,且可使位深度从8增加到10、12或另一较高位深度。视频译码器可使用增加的位深度对视频数据执行操作,例如执行帧内预测,应用一个或一个以上内插滤波器(包含子像素内插),用于一个或一个以上去块滤波器,应用一个或一个以上空间变换(或逆变换),执行量化,或执行其它过程。
视频译码器还可确定是否以增加的位深度输出视频数据,即经解码图片(162)。根据本发明的方面,视频译码器可基于(例如)所接收输出位深度指示符作出此确定。如上文所述,所述指示符可包含SPS、SEI消息等中所含有的输出显示位深度旗标。在其它实例中,可以文件格式(例如,作为ISO基本媒体文件格式的扩展)、含有简档和级信息的样本中所提供的一个或一个以上语法元素、描述符(例如,MPEG-2描述符)或MPD文件(例如在DASH环境中)提供指示符。在其它实例中,在视频译码器外部的装置(例如显示装置(例如图1中所示的显示装置32))可通过例如远程控制确定输出位深度。
在图5中所示的实例中,如果视频译码器将以增加的位深度输出视频数据(例如,步骤162的是分支),那么视频译码器可以增加的位深度存储视频数据(例如,存储到经解码图片缓冲器)(164)。如果视频译码器将不以增加的位深度输出视频数据(例如,步骤162的否分支),那么视频译码器可确定是否将视频数据用作参考数据(166)。根据本发明的方面,如果将视频数据用作参考数据(例如,166的是分支),那么视频译码器可以增加的位深度存储视频数据(164)。
如果不将视频数据用作参考数据(例如,166的否分支),那么视频译码器可减小视频数据的位深度(168)。举例来说,某些图片(例如一些B帧等)不可用作参考图片。此外,在一些例子中,视频译码器可将某些视频数据标记为“未用于参考”。在此些实例中,视频译码器可使位深度从用于IBID操作的增加的位深度减小到原始位深度。视频译码器可将视频数据存储在减小的位深度处(170)。
图5中所示的实例可降低与编码和/或解码视频数据相关联的存储器要求。举例来说,图5的实例中所示的技术可允许存储较少的数据位,这可降低存储器要求以及存储器带宽消耗。
应理解,图5中所示的步骤仅作为一个实例而提供。就是说,根据本发明的一些方面,视频译码器可将视频数据维持在原始位深度(例如,非IBDI位深度),不管所述视频数据是否用于参考。根据此经修改的IBDI过程,当将视频数据用于某些过程(例如,与运动补偿、子像素内插、量化、变换和重构相关联的内部译码过程)时,视频译码器可增加位深度,但可接着在存储视频数据之前减小所有经解码视频数据的位深度,以降低存储器带宽消耗。
另外,图5的方法的步骤无需一定以图5中所示的次序执行,且可执行较少、额外或替代步骤。举例来说,本发明的针对存储器利用率管理(例如步骤166到168)的方面可独立于本发明的针对确定输出位深度(例如,步骤162)的方面来执行,如上文所述。
此外,还应理解,取决于实例,本文所述的技术中的任一者的某些动作或事件可以不同序列执行,可相加、合并或完全忽视(例如,不是所有的所描述动作或事件均对方法的实践来说是必要的)。此外,在某些实例中,可例如通过多线程处理、中断处理或多个处理器同时(而不是循序地)执行动作或事件。
在一个或一个以上实例中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果实施于软件中,那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体而传输,且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于例如数据存储媒体等有形媒体,或包含例如根据通信协议促进计算机程序从一处到另一处的传送的任何媒体的通信媒体。
以此方式,计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构以供实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例(而非限制),所述计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置,或其它磁性存储装置,快闪存储器,或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样,可恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。
然而,应理解,计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬态媒体,而是针对非瞬态有形存储媒体。如本文中所使用,磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘使用激光以光学方式再现数据。上文的组合也应包括在计算机可读媒体的范围内。
指令可由一个或一个以上处理器执行,例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA),或其它等效集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外,在一些方面中,本文所述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内,或并入在组合式编解码器中。并且,可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可在各种各样的装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本发明中描述各种组件、模块或单元,以强调经配置以执行所揭示技术的装置的功能方面,但不一定要求由不同硬件单元来实现。相反,如上文所述,各种单元可组合在编解码器硬件单元中,或由互操作硬件单元的集合提供,包含如上文所述的一个或一个以上处理器,结合合适的软件和/或固件。
已描述了本发明的各个方面。这些和其它方面在所附权利要求书的范围内。

Claims (38)

1.一种译码视频数据的方法,其包括:
确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度,其中所述第一位深度小于所述第二位深度;
确定在译码其它视频数据时是否将所述视频数据用作参考数据;以及
在存储所述视频数据之前,响应于确定所述视频数据待以所述第一位深度输出且所述视频数据未用作参考数据,使所述视频数据从用于译码所述视频数据所述第二位深度减小到用于输出所述视频数据的所述第一位深度;
将所述视频数据存储在所述第一位深度和所述第二位深度之一处。
2.根据权利要求1所述的方法,其中使所述视频数据从所述第二位深度减小到所述第一位深度包括对所述视频数据执行位移位操作,以将所述第二位深度转换为所述第一位深度。
3.根据权利要求1所述的方法,其中所述视频数据包括经解码图片,且其中存储所述视频数据包括将所述经解码图片存储到经解码图片缓冲器。
4.根据权利要求1所述的方法,其进一步包括在所述第一位深度处接收所述视频数据,以及在内部位深度增加IBDI过程期间译码所述视频数据之前,将所述第一位深度增加到所述第二位深度。
5.根据权利要求1所述的方法,其中译码所述视频数据包括对所述视频数据执行高准确性内部过程HAIP。
6.根据权利要求1所述的方法,其中所述第一位深度为八个位,且所述第二位深度等于或大于十个位。
7.根据权利要求1所述的方法,其进一步包括编码是否以所述第一位深度和所述第二位深度之一显示所述视频数据的指示。
8.根据权利要求7所述的方法,其中编码所述指示包括将所述指示包含在经编码视频数据位流中的序列参数集合SPS和补充增强信息SEI消息之一中。
9.根据权利要求1所述的方法,其进一步包括译码文件格式和描述符之一中输出位深度是否等于所述第二位深度的指示。
10.根据权利要求9所述的方法,其中所述指示包括输出位深度的指示。
11.根据权利要求9所述的方法,其中所述文件格式包括ISO基本媒体文件格式和输送流格式之一。
12.根据权利要求9所述的方法,其中所述描述符包括基于HTTP的动态自适应流式传输(DASH)媒体呈现描述MPD描述符。
13.根据权利要求9所述的方法,其中译码所述指示包括解码含有所述指示的所述文件格式,以及确定是否以所述第一位深度和所述第二位深度之一显示所述视频数据。
14.根据权利要求9所述的方法,其中译码所述指示包括解码含有所述指示的所述描述符,以及确定是否以所述第一位深度和所述第二位深度之一显示所述视频数据。
15.根据权利要求9所述的方法,其中译码所述指示包括解码含有所述指示的媒体呈现描述MPD,以及确定是否以所述第一位深度和所述第二位深度之一显示所述视频数据。
16.根据权利要求1所述的方法,其进一步包括基于显示装置的配置确定输出位深度是包括所述第一位深度还是所述第二位深度。
17.一种用于译码视频数据的设备,其包括一个或一个以上处理器,所述处理器经配置以:
确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度,其中所述第一位深度小于所述第二位深度;
确定在译码其它视频数据时是否将所述视频数据用作参考数据;以及
在存储所述视频数据之前,响应于确定所述视频数据待以所述第一位深度输出且所述视频数据未用作参考数据,使所述视频数据从用于译码所述视频数据的所述第二位深度减小到用于输出所述视频数据的所述第一位深度;
将所述视频数据存储在所述第一位深度和所述第二位深度之一处。
18.根据权利要求17所述的设备,其中为了使所述视频数据从所述第二位深度减小到所述第一位深度,所述一个或一个以上处理器经配置以对所述视频数据执行位移位操作,以将所述第二位深度转换为所述第一位深度。
19.根据权利要求17所述的设备,其中所述视频数据包括经解码图片,且其中为了存储所述视频数据,所述一个或一个以上处理器经配置以将所述经解码图片存储到经解码图片缓冲器。
20.根据权利要求17所述的设备,所述一个或一个以上处理器经配置以在所述第一位深度处接收所述视频数据,以及在内部位深度增加IBDI过程期间译码所述视频数据之前,将所述第一位深度增加到所述第二位深度。
21.根据权利要求17所述的设备,其中为了译码所述视频数据,所述一个或一个以上处理器经配置以对所述视频数据执行高准确性内部过程HAIP。
22.根据权利要求17所述的设备,其中所述第一位深度为八个位,且所述第二位深度等于或大于十个位。
23.根据权利要求17所述的设备,所述一个或一个以上处理器进一步经配置以编码是否以所述第一位深度和所述第二位深度之一显示所述视频数据的指示。
24.根据权利要求23所述的设备,其中为了编码所述指示,所述一个或一个以上处理器经配置以将所述指示包含在经编码视频数据位流中的序列参数集合SPS和补充增强信息SEI之一中。
25.根据权利要求17所述的设备,所述一个或一个以上处理器进一步经配置以译码文件格式和描述符之一中输出位深度是否等于所述第二位深度的指示。
26.根据权利要求25所述的设备,其中所述指示包括输出位深度的指示。
27.根据权利要求25所述的设备,其中所述文件格式包括ISO基本媒体文件格式和输送流格式之一。
28.根据权利要求25所述的设备,其中所述描述符包括基于HTTP的动态自适应流式传输(DASH)媒体呈现描述MPD描述符。
29.根据权利要求25所述的设备,其中为了译码所述指示,所述一个或一个以上处理器经配置以解码含有所述指示的所述文件格式,且确定是否以所述第一位深度和所述第二位深度之一显示所述视频数据。
30.根据权利要求25所述的设备,其中为了译码所述指示,所述一个或一个以上处理器经配置以解码含有所述指示的所述描述符,且确定是否以所述第一位深度和所述第二位深度之一显示所述视频数据。
31.根据权利要求25所述的设备,其中为了译码所述指示,所述一个或一个以上处理器经配置以解码含有所述指示的媒体呈现描述MPD,且确定是否以所述第一位深度和所述第二位深度之一显示所述视频数据。
32.根据权利要求17所述的设备,所述一个或一个以上处理器进一步经配置以基于显示装置的配置确定输出位深度是包括所述第一位深度还是所述第二位深度。
33.根据权利要求17所述的设备,其中,所述设备是无线通信装置,所述设备还包括经配置以接收所述视频数据的接收器。
34.根据权利要求33所述的设备,其中,所述无线通信装置是蜂窝电话,所述视频数据是所述接收机接收并依据无线通信标准调制。
35.一种用于译码视频数据的设备,其包括:
用于确定用于输出视频数据的第一位深度以及用于译码所述视频数据的第二位深度的装置,其中所述第一位深度小于所述第二位深度;
用于确定在译码其它视频数据时是否将所述视频数据用作参考数据的装置;以及
用于在存储所述视频数据之前,响应于确定所述视频数据待以所述第一位深度输出且所述视频数据未用作参考数据使所述视频数据从用于译码所述视频数据所述第二位深度减小到用于输出所述视频数据所述第一位深度的装置;
用于将所述视频数据存储在所述第一位深度和所述第二位深度之一处的装置。
36.根据权利要求35所述的设备,其中用于使所述视频数据从所述第二位深度减小到所述第一位深度的装置包括用于对所述视频数据执行位移位操作以将所述第二位深度转换为所述第一位深度的装置。
37.根据权利要求35所述的设备,其进一步包括用于将是否以所述第一位深度和所述第二位深度之一显示所述视频数据的指示包含在所述视频数据的经编码位流中的装置。
38.根据权利要求35所述的设备,其进一步包括用于译码文件格式和描述符之一中输出位深度是否等于所述第二位深度的指示的装置。
CN201280029510.0A 2011-06-09 2012-06-08 视频译码中的内部位深度增加 Expired - Fee Related CN103609112B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201161495333P 2011-06-09 2011-06-09
US61/495,333 2011-06-09
US201161552876P 2011-10-28 2011-10-28
US61/552,876 2011-10-28
US201161556002P 2011-11-04 2011-11-04
US61/556,002 2011-11-04
US13/491,227 2012-06-07
US13/491,227 US9521434B2 (en) 2011-06-09 2012-06-07 Internal bit depth increase in video coding
PCT/US2012/041575 WO2012170833A1 (en) 2011-06-09 2012-06-08 Internal bit depth increase in video coding

Publications (2)

Publication Number Publication Date
CN103609112A CN103609112A (zh) 2014-02-26
CN103609112B true CN103609112B (zh) 2018-01-12

Family

ID=47292842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280029510.0A Expired - Fee Related CN103609112B (zh) 2011-06-09 2012-06-08 视频译码中的内部位深度增加

Country Status (7)

Country Link
US (1) US9521434B2 (zh)
EP (1) EP2719177A1 (zh)
JP (1) JP5778339B2 (zh)
KR (2) KR20160086978A (zh)
CN (1) CN103609112B (zh)
IN (1) IN2014MN00016A (zh)
WO (1) WO2012170833A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9055304B2 (en) * 2011-07-01 2015-06-09 Qualcomm Incorporated Reduced resolution pixel interpolation
US9762899B2 (en) * 2011-10-04 2017-09-12 Texas Instruments Incorporated Virtual memory access bandwidth verification (VMBV) in video coding
CN104429093B (zh) 2012-07-09 2018-01-05 华为技术有限公司 超文本传输协议动态自适应流媒体客户端及其会话管理实施方法
US9485506B2 (en) * 2012-09-11 2016-11-01 Texas Instruments Incorporated Method and system for constraining slice header processing overhead in video coding
US10785482B2 (en) * 2012-09-24 2020-09-22 Texas Instruments Incorporated Method and system for constraining tile processing overhead in video coding
CN104813672A (zh) * 2012-11-27 2015-07-29 Lg电子株式会社 信号收发装置和信号收发方法
JP2016519854A (ja) * 2013-04-05 2016-07-07 シャープ株式会社 色ビット深度スケーリングを用いたビデオ圧縮
JP2016522621A (ja) * 2013-07-15 2016-07-28 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ダイナミックアダプティブストリーミング・オーバー・ハイパーテキストトランスファープロトコルにおけるリモート要素のジャストインタイムデリファレンス
US9912943B2 (en) 2013-07-15 2018-03-06 Qualcomm Incorporated Signaling of bit rate information and picture rate information in VPS
US9554150B2 (en) * 2013-09-20 2017-01-24 Qualcomm Incorporated Combined bi-predictive merging candidates for 3D video coding
US9866608B2 (en) * 2014-03-24 2018-01-09 Qualcomm Incorporated Processing continuous multi-period content
EP3127330A4 (en) * 2014-05-05 2017-12-13 MediaTek Singapore Pte Ltd. Method and apparatus for determining residue transform tree representation
US9874995B2 (en) * 2014-06-25 2018-01-23 Oracle International Corporation Maintaining context for maximize interactions on grid-based visualizations
US9787751B2 (en) 2014-08-06 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content utilizing segment and packaging information
WO2016172394A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
KR101770300B1 (ko) * 2015-06-09 2017-08-22 삼성전자주식회사 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US20180359468A1 (en) * 2015-10-01 2018-12-13 Lg Electronics Inc. Image processing method on basis of inter prediction mode and apparatus therefor
EP3185556A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Method and apparatus for combined adaptive resolution and internal bit-depth increase coding
US10657674B2 (en) 2016-06-17 2020-05-19 Immersive Robotics Pty Ltd. Image compression method and apparatus
AU2018218182B2 (en) 2017-02-08 2022-12-15 Immersive Robotics Pty Ltd Antenna control for mobile device communication
KR20190123745A (ko) 2017-03-22 2019-11-01 한양대학교 산학협력단 영상을 구성하는 화소값 범위를 이용한 영상 부호화/복호화 방법
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10609372B2 (en) 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
WO2019100109A1 (en) 2017-11-21 2019-05-31 Immersive Robotics Pty Ltd Frequency component selection for image compression
WO2019100108A1 (en) 2017-11-21 2019-05-31 Immersive Robotics Pty Ltd Image compression for digital reality
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
CN109963176B (zh) * 2017-12-26 2021-12-07 中兴通讯股份有限公司 视频码流处理方法、装置、网络设备和可读存储介质
WO2019159697A1 (ja) 2018-02-14 2019-08-22 ソニー株式会社 画像処理装置および方法
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11044478B2 (en) * 2018-07-02 2021-06-22 Apple Inc. Compression with multi-level encoding
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11218700B2 (en) * 2019-07-01 2022-01-04 Qualcomm Incorporated Minimum allowed quantization parameter for transform skip mode and palette mode in video coding
US11375219B2 (en) * 2019-09-24 2022-06-28 Tencent America LLC Coding method and system with improved dynamic internal bit depth
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2222087A1 (en) * 2009-02-19 2010-08-25 Thomson Licensing Bit depth upscaling in RGB colour space for reducing propagation of errors due to transformation to YUV colour space
KR20100111841A (ko) * 2009-04-08 2010-10-18 한국전자통신연구원 적응적 비트 심도 감소를 통한 부호화와 복호화 방법 및 그 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097843A (en) 1997-01-27 2000-08-01 Sony Corporation Compression encoding apparatus, encoding method, decoding apparatus, and decoding method
JP3918263B2 (ja) 1997-01-27 2007-05-23 ソニー株式会社 圧縮符号化装置および符号化方法
US6470051B1 (en) 1999-01-25 2002-10-22 International Business Machines Corporation MPEG video decoder with integrated scaling and display functions
BR0015959A (pt) 1999-12-14 2002-08-06 Scientific Atlanta Sistema e método para o processamento de vìdeo adaptativo com alocação de recursos coordenados
US20080075166A1 (en) 2004-07-13 2008-03-27 Dolby Laboratories Licensing Corporation Unbiased Rounding for Video Compression
KR100668324B1 (ko) * 2005-01-21 2007-01-12 삼성전자주식회사 화상 데이터 부호화시의 비트율 제어방법 및 장치
JP4384130B2 (ja) * 2006-03-28 2009-12-16 株式会社東芝 動画像復号方法及び装置
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
WO2007114368A1 (ja) 2006-03-30 2007-10-11 Kabushiki Kaisha Toshiba 画像符号化装置及び方法並びに画像復号化装置及び方法
US7898550B2 (en) * 2006-06-09 2011-03-01 Via Technologies, Inc. System and method for memory bandwidth compressor
KR101365597B1 (ko) 2007-10-24 2014-02-20 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
DK2835976T3 (en) 2008-04-16 2016-12-05 Ge Video Compression Llc Bit depth scalability
KR101692829B1 (ko) * 2008-06-12 2017-01-05 톰슨 라이센싱 감소된 비트 깊이 갱신 모드와 감소된 크로마 샘플링 갱신 모드로 비디오 코딩 및 디코딩하기 위한 방법 및 장치
US9049450B2 (en) * 2010-04-05 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2222087A1 (en) * 2009-02-19 2010-08-25 Thomson Licensing Bit depth upscaling in RGB colour space for reducing propagation of errors due to transformation to YUV colour space
KR20100111841A (ko) * 2009-04-08 2010-10-18 한국전자통신연구원 적응적 비트 심도 감소를 통한 부호화와 복호화 방법 및 그 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Rounding-Error Conscious Memory Compression Method for IBDI";CHONO K ET AL;《JCTVC-D045》;20110115;摘要,第2部分,附图2 *
"Tool Experiment 2:Internal Bit-Depth Increase(IBD) and Memory Compression";CHUJOH T ET AL;《JCTVC-A302》;20100509;第3.2节第一、二段 *
"WD1:Working draft 1 of High-Efficiency Video Coding";THOMAS W ET AL;《JCTVC-C403》;20101015;第48页第7.4.2.1节 *

Also Published As

Publication number Publication date
JP5778339B2 (ja) 2015-09-16
JP2014517631A (ja) 2014-07-17
KR20160086978A (ko) 2016-07-20
CN103609112A (zh) 2014-02-26
US9521434B2 (en) 2016-12-13
IN2014MN00016A (zh) 2015-06-12
KR20140019474A (ko) 2014-02-14
EP2719177A1 (en) 2014-04-16
WO2012170833A1 (en) 2012-12-13
US20120314026A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
CN103609112B (zh) 视频译码中的内部位深度增加
CN104969555B (zh) 一种编码或解码视频数据的方法及装置
CN103404144B (zh) 视频译码中的经量化脉码调制
CN104685888B (zh) 补充增强信息消息译码
CN103999463B (zh) 对识别长期参考帧的图片次序计数值进行译码
CN104396243B (zh) 用于视频压缩的自适应上取样滤波器
CN103797802B (zh) 用于视频译码中的短距离帧内预测的线缓冲器减少
CN104041029B (zh) 确定在视频译码中用于译码变换系数数据的上下文
CN103238323B (zh) 在视频译码中基于视频块的扫描次序对块内的最后有效系数的位置进行译码
CN103299620B (zh) 在视频译码中使用最可能扫描次序对用于视频块的扫描次序信息进行有效译码
CN103430539B (zh) 经解码图片缓冲器管理
CN104205829B (zh) 合并信令及环路滤波器开/关信令
CN104904223B (zh) 对视频译码中的视频时序的时钟节拍导出信息的信令
CN107660341A (zh) 切片级帧内块复制及其它视频译码改进
CN103959779B (zh) 在视频译码中用于自适应环路滤波和样本自适应偏移的基于最大译码单元(lcu)或分区的语法
CN104185995A (zh) 译码视频及存储视频内容的方法
CN109716774A (zh) 用于视频译码的可变数目的帧内模式
CN103748882A (zh) 支持内侧视图运动预测模式的以多重视图译码为基础的三维视频译码编解码器
CN104205835B (zh) 导出最末位置译码的上下文以供视频译码
CN106664420A (zh) 用于帧内块复制的块向量译码
CN104246773B (zh) 识别视频文件中的参数集
CN108353167A (zh) 译码视频数据的正负号信息
CN105009590B (zh) 用于视频信息的可缩放译码的装置和方法
CN103891293A (zh) 用于色度分量的自适应环路滤波
CN106464904A (zh) 用于视频译码的帧内块复制块向量信令

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180112

Termination date: 20190608