CN103688547B - 用于视频译码的调适参数集 - Google Patents

用于视频译码的调适参数集 Download PDF

Info

Publication number
CN103688547B
CN103688547B CN201280035481.9A CN201280035481A CN103688547B CN 103688547 B CN103688547 B CN 103688547B CN 201280035481 A CN201280035481 A CN 201280035481A CN 103688547 B CN103688547 B CN 103688547B
Authority
CN
China
Prior art keywords
data structure
aps
aps data
received
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280035481.9A
Other languages
English (en)
Other versions
CN103688547A (zh
Inventor
陈英
钟仁肃
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103688547A publication Critical patent/CN103688547A/zh
Application granted granted Critical
Publication of CN103688547B publication Critical patent/CN103688547B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一实例中,一种视频解码器经配置以:将调适参数集APS数据结构存储于译码装置的缓冲器中,其中所述APS数据结构包含可适用于视频数据的一个或一个以上切片的传讯数据;基于所述APS数据结构的所述传讯数据解码所述切片中的至少一者;在解码所述切片后,确定可从所述缓冲器移除所述APS数据结构;基于所述确定从所述缓冲器移除所述APS数据结构;及在从所述缓冲器移除所述APS数据结构后解码所述视频数据的一个或一个以上额外切片。

Description

用于视频译码的调适参数集
本申请案主张2011年7月18日申请的第61/509,015号美国临时申请案、2011年7月25日申请的第61/511,477号美国临时申请案及2011年9月29日申请的第61/540,907号美国临时申请案的权利,所述申请案的每一者的全文分别特此被以引用的方式并入。
技术领域
本发明涉及视频译码。
背景技术
可将数字视频能力并入到广泛范围的装置内,包含数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置及类似者。数字视频装置实施视频压缩技术,例如,在由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准及此些标准的扩展中描述的技术,以更有效率地发射及接收数字视频信息。
即将到来的视频译码标准为高效视频译码(HEVC)标准,“HEVC工作草案7”或“WD7”描述于文件HCTVC-I1003中Bross等人的“High Efficiency Video Coding(HEVC)TextSpecification Draft7”中,ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的关于视频译码的联合协作小组(JCT-VC),第9次会议:瑞士日内瓦,2012年4月27日到2012年5月7日,在2012年6月25日,所述草案可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v3.zip下载。另一被称作“HEVC工作草案6”或“WD6”的HEVC工作草案描述于文件JCTVC-H1003中Bross等人的“High efficiency videocoding(HEVC)text specification draft6”中,ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的关于视频译码的联合协作小组(JCT-VC),第8次会议:美国加州圣何塞(San Jose),2012年2月,在2012年6月25日,其可从http://phenix.int-evry.fr/jct/doc_end_user/documents/8_SanJose/wg11/JCTVC-H1003-v22.zip下载。
视频压缩技术执行空间预测及/或时间预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码,可将视频帧或切片分割成块。可进一步分割每一块。使用关于相邻块的空间预测编码帧内译码(I)帧或切片中的块。帧间译码(P或B)帧或切片中的块可使用关于同一帧或切片中的相邻块的空间预测或关于先前译码的参考帧的数据的时间预测。
发明内容
一般来说,本发明描述用于使用用于视频译码的调适参数集来传讯用于视频数据的切片的一个或一个以上参数的技术。此外,本发明提供用于确定可从例如视频解码装置的视频译码装置的缓冲器移除调适参数集的存储器管理技术。以此方式,视频译码装置可避免将过量数据存储于缓冲器中,其可改进视频译码装置的存储器利用。
在一实例中,一种解码视频数据的方法包含:将调适参数集(APS)数据结构存储于译码装置的缓冲器中,其中所述APS数据结构包含可适用于视频数据的一个或一个以上切片的传讯数据;基于所述APS数据结构的所述传讯数据解码所述切片中的至少一者;在解码所述切片后,确定可从所述缓冲器移除所述APS数据结构;基于所述确定从所述缓冲器移除所述APS数据结构;及在从所述缓冲器移除所述APS数据结构后解码所述视频数据的一个或一个以上额外切片。
在另一实例中,一种用于解码视频数据的装置包含视频解码器,所述视频解码器经配置以:将调适参数集(APS)数据结构存储于译码装置的缓冲器中,其中所述APS数据结构包含可适用于视频数据的一个或一个以上切片的传讯数据;基于所述APS数据结构的所述传讯数据解码所述切片中的至少一者;在解码所述切片后,确定可从所述缓冲器移除所述APS数据结构;基于所述确定从所述缓冲器移除所述APS数据结构;及在从所述缓冲器移除所述APS数据结构后解码所述视频数据的一个或一个以上额外切片。
在另一实例中,一种用于解码视频数据的装置包含:用于将调适参数集(APS)数据结构存储于译码装置的缓冲器中的装置,其中所述APS数据结构包含可适用于视频数据的一个或一个以上切片的传讯数据;用于基于所述APS数据结构的所述传讯数据解码所述切片中的至少一者的装置;用于在解码所述切片后确定可从所述缓冲器移除所述APS数据结构的装置;用于基于所述确定从所述缓冲器移除所述APS数据结构的装置;及用于在从所述缓冲器移除所述APS数据结构后解码所述视频数据的一个或一个以上额外切片的装置。
在另一实例中,一种计算机可读存储媒体具有存储于其上的指令,所述指令当经执 行时使处理器进行以下操作:将调适参数集(APS)数据结构存储于译码装置的缓冲器中,其中所述APS数据结构包含可适用于视频数据的一个或一个以上切片的传讯数据;基于所述APS数据结构的所述传讯数据解码所述切片中的至少一者;在解码所述切片后,确定可从所述缓冲器移除所述APS数据结构;基于所述确定从所述缓冲器移除所述APS数据结构;及在从所述缓冲器移除所述APS数据结构后解码所述视频数据的一个或一个以上额外切片。
在另一实例中,一种编码视频数据的方法包含:使用一个或一个以上参数编码视频数据的一个或一个以上切片的第一集合;在调适参数集(APS)数据结构中传讯所述一个或一个以上参数;及不参考所述APS数据结构编码在一个或一个以上切片的所述第一集合中的确定的切片后的所述视频数据的一个或一个以上切片的第二集合。
在另一实例中,一种用于编码视频数据的装置包含视频编码器,所述视频编码器经配置以:使用一个或一个以上参数编码视频数据的一个或一个以上切片的第一集合;在调适参数集(APS)数据结构中传讯所述一个或一个以上参数;及不参考所述APS数据结构编码在一个或一个以上切片的所述第一集合中的确定的切片后的所述视频数据的一个或一个以上切片的第二集合。
在另一实例中,一种用于编码视频数据的装置包含:用于使用一个或一个以上参数编码视频数据的一个或一个以上切片的第一集合的装置;用于在调适参数集(APS)数据结构中传讯所述一个或一个以上参数的装置;及用于不参考所述APS数据结构编码在一个或一个以上切片的所述第一集合中的确定的切片后的所述视频数据的一个或一个以上切片的第二集合的装置。
在另一实例中,一种计算机可读存储媒体具有存储于其上的指令,所述指令当经执行时使处理器进行以下操作:使用一个或一个以上参数编码视频数据的一个或一个以上切片的第一集合;在调适参数集(APS)数据结构中传讯所述一个或一个以上参数;及不参考所述APS数据结构编码在一个或一个以上切片的所述第一集合中的确定的切片后的所述视频数据的一个或一个以上切片的第二集合。
在附图和以下描述中陈述一个或一个以上实例的细节。从描述和图式以及从权利要求书将明了其它特征、目的和优点。
附图说明
图1为说明可利用用于利用调适参数集(APS)数据结构的技术的实例视频编码及解码系统的框图。
图2为说明可实施用于利用APS数据结构的技术的视频编码器的实例的框图。
图3为说明可实施用于利用APS数据结构的技术的视频解码器的实例的框图。
图4为说明用于使用APS数据结构编码视频数据的实例方法的流程图。
图5为说明用于使用APS数据结构解码视频数据的实例方法的流程图。
图6为说明APS数据结构的各种实例的概念图。
具体实施方式
一般来说,本发明描述用于视频数据的译码的技术。视频数据通常包含经译码的数据及用于传讯经译码的数据的特性的语法数据。经译码的数据包含用于形成预测数据的数据,例如,用于帧的译码单元(CU)的预测单元(PU),以及用于CU的变换单元(TU)的量化变换系数。
一类型的语法数据为自适应回路滤波器(ALF)系数。在一些情况下,应用滤波器以解码视频数据,例如,以将视频数据解块。当由视频译码装置应用为译码过程的部分时,此些滤波器被称为经“回路内”应用,因为可将经滤波的数据用作随后译码的视频数据的参考,即,支持预测译码。详言之,可将滤波器数据添加到经解码图片缓冲器(DPB),用于在预测译码中使用。视频编码器可个别地(例如,视频数据的每个帧或每个切片个别地)确定用于ALF的滤波器系数,且将所述系数作为语法数据编码于位流中。
另一类型的语法数据为样本自适应偏移(SAO)参数。残余数据指待译码的块与预测块之间的像素差数据。可将残余数据从空间域变换到变换域。将变换应用到残余数据产生变换系数,可在频域中表达变换系数,因此,TU可具有表达基频的直流(DC)系数,及多个交流(AC)系数。在一些情况下,用于基频的系数可由作为语法数据传讯的偏移值修改。额外或替代性地,AC系数中的一者或一者以上的值还可由偏移值修改。可将此些偏移值作为SAO参数加以传讯。
高效视频译码(HEVC)已引入调适参数集(APS)数据结构,其传讯用于视频数据的一个或一个以上切片的各种参数(例如,ALF系数及SAO参数)。即,APS数据结构可应用于单个切片,或可应用于多个切片。切片可使用多个APS,且APS可应用于一个以上切片。每一APS包含识别符(ID)值,且切片可通过传讯APS的ID来指示所述APS应用于所述切片。APS的ID值可唯一地识别用于对应的位流的APS。
如在HEVC的工作草案6中定义,APS包含:
当sample_adaptive_offset_enabled_flag或adaptive_loop_filter_enabled_flag中的至少一者等于1时,可由一个或一个以上经译码的图片的经译码的切片NAL单元参考的参 数。最初在解码过程的操作开始时,不将每一调适参数集RBSP[原始字节序列有效负载]当作在作用中的。在解码过程的操作期间的任一给定时刻,将至多一个调适参数集RBSP当作在作用中的,且任一特定调适参数集RBSP的启动导致先前在作用中的调适参数集RBSP(如果有)的撤销启动。
当调适参数集RBSP(具有特定值aps_id)并不在作用中且其由经译码的切片NAL单元参考(使用所述aps_id值)时,其经启动。此调适参数集RBSP被叫作作用中调适参数集RBSP,直到其由另一调适参数集RBSP的启动而撤销启动为止。具有所述特定aps_id值的调适参数集RBSP应在其启动前可用于解码过程。
以上描述陈述于HEVC WD6第67页处。
如同例如序列参数集(SPS)及图片参数集(PPS)的其它参数集数据结构,APS常规地存储于视频译码装置(例如,视频解码器)的缓冲器中,直到经译码的视频序列的末尾。然而,APS包含比SPS及PPS多得多的数据。本发明提供用于比HEVC的常规技术更有效率地处置APS的存储器管理技术。
在一些实例中,APS包含指示不再需要一个或一个以上先前APS的数据。因此,响应于接收到包含指示不再需要先前APS的数据的当前APS,视频解码器可从缓冲器删除由当前APS指示的先前APS,从而在缓冲器中提供额外空间。
额外或替代性地,每一APS可包含指示将APS使用一次抑或一次以上的旗标。如果仅将APS使用一次,那么一旦随后切片已经解码,即可删除所述APS。另一方面,如果将APS使用一次以上(如由旗标指示),那么可针对经解码的视频序列中的其余切片存储所述APS,或存储所述APS直到所述APS被指示为不再需要为止,例如,如上文所论述。
作为另一实例,可能存在待在任一时间存储于缓冲器中的APS的最大数目的显式指示。如果缓冲器包含最大数目个APS且接收到新的APS,那么可从缓冲器移除APS,例如,按先进先出(FIFO)次序。或者,可按以下方式指派ID值:ID值指示APS的存储的优先权,且因此当当前存储了最大数目个APS时,可移除具有低优先权的APS(基于与其它存储的APS的ID值相比的所述APS的ID值)。即,编码器可保证在未来将不需要此些APS,或如果需要实质上类似于此些APS的数据,那么编码器将在位流的未来区段中提供此数据,使得可安全地移除所述APS。举例来说,可按渐增方式指派APS的ID值,使得较低ID值指示较低优先权,或可将较大ID值指派给被预见将比其它APS更频繁地使用的APS。
在一些实例中,可从一个或一个以上先前APS预测APS的全部或一部分。举例来说,所述APS可包含以下指示:其ALF系数与第一个先前APS相同,且其SAO参数与第二个先前APS相同。或者,可显式地传讯ALF系数或SAO参数中的一者,且可将其它者指示为与先前APS的那些者相同。在此情况下,与经译码的图片相关联的APS可受限于仅参考与具有相等或较低temporal_ID值的经译码的图片相关联的APS,使得子位流提取并不阻碍对相依APS的使用。
在一些实例中,APS可仅参考自从上个随机存取点以来已接收的先前APS。此外,在一些实例中,在随机存取点后,可从缓冲器移除所有APS。
本发明还提议一些对HEVC的APS进行某些修改的实例。举例来说,除了以上论述的语法数据之外或替代以上论述的语法数据,APS可传讯参考图片列表修改数据、参考图片列表组合数据、存储器管理控制操作语法数据及/或加权预测表中的任何者或所有者。因此,APS可包含包括以下各者中的一者或一者以上的传讯数据:ALF系数、SAO参数、参考图片列表修改数据、参考图片列表组合数据、存储器管理控制操作语法数据及/或加权预测表。以此方式,经解码图片缓冲器管理(例如,经由存储器管理控制操作(MMCO)语法表及/或加权预测表)还可包含到APS内。
还可在APS中传讯其它切片或图片层级信息,例如,量化矩阵。一般来说,在APS中可存在或不存在任一组信息。如果所述组不存在于特定APS中,那么所述APS可参考不同APS以得到所述组信息,且APS可参考多个APS以得到不同组的信息。举例来说,APS可传讯SAO参数,但参考第一不同APS以获得量化矩阵,参考第二不同APS以获得ALF参数,且甚至参考第三APS以获得经解码图片缓冲器管理及参考图片列表建构。
图1为说明可利用用于利用调适参数集(APS)数据结构的技术的实例视频编码及解码系统10的框图。APS数据结构还可被称作调适切片参数集,因为APS通常包含用于切片的参数。如图1中所示,系统10包含源装置12,其经由通信通道16将经编码的视频发射到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任何者。在一些情况下,源装置12及目的地装置14可包括无线通信装置,例如,无线手持机、所谓的蜂窝式或卫星无线电电话或可在通信通道16上传达视频信息的任何无线装置,在所述情况下,通信通道16为无线的。然而,本发明的关于利用APS数据结构的技术未必限于无线应用或设置。举例来说,此些技术可应用于空中电视广播、有线电视发射、卫星电视发射、因特网视频发射、经编码于存储媒体上的经编码的数字视频或其它情形。因此,通信通道16可包括适合于发射或存储经编码的视频数据的无线、有线或存储媒体的任一组合。
在图1的实例中,源装置12包含视频源18、视频编码器20、调制器/解调制器(调制解调器)22及发射器24。目的地装置14包含接收器26、调制解调器28、视频解码器30及显示装置32。根据本发明,源装置12的视频编码器20可经配置以应用用于利用APS数据结构的技术。在其它实例中,源装置及目的地装置可包含其它组件或布置。举例来说,源装置12可从外部视频源18(例如,外部相机)接收视频数据。同样地,目的地装置14可与外部显示装置介接,而非包含集成显示装置。
图1的所说明系统10仅为一实例。用于利用APS数据结构的技术可由任一数字视频编码及/或解码装置执行。虽然通常本发明的技术由视频编码装置执行,但所述技术还可由视频编码器/解码器(通常被称作“CODEC”)执行。此外,本发明的技术还可由视频预处理器执行。源装置12及目的地装置14仅为此些译码装置的实例,其中源装置12产生用于发射到目的地装置14的经译码的视频数据。在一些实例中,装置12、14可以实质上对称的方式操作使得装置12、14中的每一者包含视频编码及解码组件。因此,系统10可支持视频装置12、14之间的单程或双程视频发射,例如,用于视频流式传输、视频播放、视频广播或视频电话。
源装置12的视频源18可包含视频捕获装置,例如,视频相机、含有先前捕获的视频的视频存档及/或来自视频内容提供者的视频馈入。作为另一替代,视频源18可产生基于计算机图形的数据作为源视频,或实时视频、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18为视频相机,那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而,如上文提到,本发明中描述的技术一般可适用于视频译码,且可应用于无线及/或有线应用。在每一情况下,经捕获的、预捕获的或计算机产生的视频可由视频编码器20编码。经编码的视频信息可接着由调制解调器22根据通信标准加以调制,且经由发射器24发射到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计用于信号调制的其它组件。发射器24可包含经设计用于发射数据的电路,包含放大器、滤波器及一个或一个以上天线。
目的地装置14的接收器26在通道16上接收信息,且调制解调器28解调制信息。再次地,视频编码过程可实施本文中描述的技术中的一者或一者以上以利用APS数据结构。在通道16上传达的信息可包含还由视频解码器30使用的由视频编码器20定义的语法信息,其包含描述块及其它经译码单元(例如,GOP)的特性及/或处理的语法元素。显示装置32对用户显示经解码的视频数据,且可包括各种各样的显示装置中的任一者,例如,阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在图1的实例中,通信通道16可包括任一无线或有线通信媒体,例如,射频(RF)频谱或一个或一个以上物理传输线或无线与有线媒体的任何组合。通信通道16可形成基于包的网络的部分,例如,局域网、广域网或全球网络(例如,因特网)。通信通道16通常表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合,包含有线或无线媒体的任一合适组合。通信通道16可包含路由器、交换器、基站或可适用于促进从源装置12到目的地装置14的通信的任一其它设备。在其它实例中,源装置12可将经编码的数据存储于存储媒体上,而非发射数据。同样地,目的地装置14可经配置以从例如蓝光光盘、DVD光盘、闪盘驱动器或类似者的存储媒体检索经编码的数据。
视频编码器20及视频解码器30可根据视频压缩标准操作,例如,ITU-T H.264标准,或者被称作MPEG-4第10部分高级视频译码(AVC)。然而,本发明的技术不限于任一特定译码标准。其它实例包含MPEG-2及ITU-T H.263。尽管在图1中未图示,但在一些方面中,视频编码器20及视频解码器30可各自与音频编码器及解码器集成,且可包含适当MUX-DEMUX单元或其它硬件及软件,以处置在共同数据流或分开的数据流中的音频及视频两者的编码。如果可适用,那么MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)的其它协议。
视频编码器20及视频解码器30各自可实施为各种各样的合适编码器电路中的任一者,例如,一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码器20及视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中,其任一者可集成为相应相机、计算机、移动装置、订户装置、广播装置、机顶盒、服务器或类似者中的组合式编码器/解码器(CODEC)的部分。
当前正在努力开发新的视频译码标准,其当前被称作高效视频译码(HEVC)。即将到来的标准也被称作H.265。标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的模型。HM假设与根据(例如)ITU-T H.264/AVC的装置相比的视频译码装置的若干能力。举例来说,尽管H.264提供九个帧内预测编码模式,但HM提供多达三十四个帧内预测编码模式。
有时被称作视频序列的图片组(GOP)通常包含一个或一个以上视频图片的一系列。GOP可在GOP的标头、GOP的一个或一个以上图片的标头中或在其它处包含语法数据,所述语法数据描述包含于GOP中的若干图片。每一图片可包含描述相应图片的编码模式的图片语法数据。每一视频图片可包含多个切片,其中每一切片包含一个或一个以上 最大译码单元(LCU)的一系列。视频编码器20通常对图片的个别切片内的视频块操作以便编码视频数据。视频块可对应于块或块的分割区(例如,LCU或其子CU)。视频块可具有固定或变化的大小,且大小可根据所指定的译码标准而不同。
作为实例,HM支持在各种PU大小下的预测。假定,特定CU的大小为2Nx2N,那么HM支持在2Nx2N或NxN的PU大小下的帧内预测,及在2Nx2N、2NxN、Nx2N或NxN的对称的PU大小下的帧间预测。HM还支持在2NxnU、2NxnD、nLx2N及nRx2N的PU大小下的用于帧间预测的不对称分割。在不对称分割中,CU的一方向未被分割,而另一方向被分割成25%及75%。对应于25%分割区的CU的部分由“n”接着是“上”、“下”、“左”或“右”的指示来指示。因此,举例来说,“2NxnU”指在顶部具有2Nx0.5NPU且在底部具有2Nx1.5N PU的水平分割的2Nx2N CU。
在本发明中,“NxN”与“N乘N”可互换使用以指代就垂直及水平尺寸而言的块的像素尺寸,例如,16x16个像素或16乘16个像素。一般来说,16x16块将在垂直方向上具有16个像素(y=16)且在水平方向上具有16个像素(x=16)。同样,NxN块通常在垂直方向上具有N个像素且在水平方向上具有N个像素,其中N表示非负整数值。块中的像素可按行及列排列。此外,块未必需要在水平方向上与在垂直方向上具有相同数目个像素。举例来说,块可包括NxM个像素,其中M未必等于N。
HEVC将视频数据的块称作译码单元(CU),其可包含一个或一个以上预测单元(PU)及/或一个或一个以上变换单元(TU)。在位流内的语法数据可定义最大译码单元(LCU),就像素的数目而言,其为最大译码单元。一般来说,CU具有类似于H.264的宏块的用途,只是CU不具有大小区别。因此,可将CU分裂成子CU。一般来说,本发明中对CU的提及可指代图片的最大译码单元或LCU的子CU。可将LCU分裂成子CU,且每一子CU可进一步分裂成子CU。用于位流的语法数据可定义LCU可分裂的最大次数(被称作CU深度)。相应地,位流还可定义最小译码单元(SCU)。本发明还使用术语“块”来指代CU、PU或TU中的任一者。
LCU可与四分树数据结构相关联。一般来说,四分树数据结构包含每个CU一个节点,其中根节点对应于LCU。如果将CU分裂成四个子CU,那么对应于所述CU的节点包含四个叶节点,其中的每一者对应于子CU中的一者。四分树数据结构的每一节点可提供用于对应的CU的语法数据。举例来说,四分树中的节点可包含分裂旗标,其指示对应于所述节点的CU是否经分裂成子CU。用于CU的语法元素可被递归地定义,且可视所述CU是否经分裂成子CU而定。如果CU未经进一步分裂,那么其被称作叶CU。在本发明中,叶CU的4个子CU还将被称作叶CU,尽管不存在原始叶CU的显式分裂。 举例来说,如果16x16大小的CU未经进一步分裂,那么尽管16x16CU从未被分裂,四个8x8子CU仍还将被称作叶CU。
此外,叶CU的TU还可与相应四分树数据结构相关联。即,叶CU可包含指示将所述叶CU分割成TU的方式的四分树。本发明将指示分割LCU的方式的四分树称作CU四分树,且将指示将叶CU分割成TU的方式的四分树称作TU四分树。TU四分树的根节点通常对应于叶CU,而CU四分树的根节点通常对应于LCU。TU四分树的未经分裂的TU被称作叶TU。
叶CU可包含一个或一个以上预测单元(PU)。一般来说,PU表示对应的CU的全部或一部分,且可包含用于检索用于所述PU的参考样本的数据。举例来说,当PU经帧间模式编码时,PU可包含定义PU的运动向量的数据。定义运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精确度或八分之一像素精确度)、运动向量指向的参考帧及/或运动向量的参考列表(例如,列表0或列表1,还被称作L0及L1)。定义PU的叶CU的数据还可描述(例如)CU到一个或一个以上PU的分割。视CU未译码、经帧内预测模式编码抑或经帧间预测模式编码而定,分割模式可不同。对于帧内译码,可与以下描述的叶变换单元相同地处理PU。
叶CU可包含一个或一个以上变换单元(TU)。可使用TU四分树结构来指定变换单元,如上文所论述。即,分裂旗标可指示是否将叶CU分裂成四个变换单元。接着,每一变换单元可进一步分裂成4个子TU。当TU未进一步分裂时,其可被称作叶TU。通常,对于帧内译码,属于叶CU的所有叶TU共享同一帧内预测模式。即,通常应用同一帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码,视频编码器可使用帧内预测模式计算每一叶TU的残余值,作为预测值的对应于TU的部分与原始块之间的差。可变换、量化及扫描所述残余值。对于帧间译码,视频编码器可执行在PU层级下的预测,且可计算每一PU的残余值。可变换、量化及扫描对应于叶CU的残余值。对于帧间译码,叶TU可比PU大或小。对于帧内译码,可使PU与对应的叶TU设在同一位置。在一些实例中,叶TU的最大大小可为对应的叶CU的大小。
一般来说,本发明分别使用术语CU及TU来指代叶CU及叶TU,除非另有指出。一般来说,本发明的技术涉及变换、量化、扫描及熵编码CU的数据。作为实例,本发明的技术包含基于用以预测块的帧内预测模式选择用以变换经帧内预测的块的残余值的变换。本发明还使用术语“方向变换”或“设计的变换”来指代此种视帧内预测模式方向而定的变换。即,视频编码器可选择方向变换来应用于变换单元(TU)。如上文提及, 帧内预测包含根据图片的先前译码的CU及TU预测同一图片的当前CU的TU。更特定来说,视频编码器可使用特定帧内预测模式帧内预测图片的当前TU。
根据本发明的技术,视频编码器20可使用一个或一个以上参数编码切片。此些参数可包含下列各者中的任何者或全部:自适应回路滤波器(ALF)系数、样本自适应偏移(SAO)参数、图片列表修改数据、参考图片列表组合数据、存储器管理控制操作语法数据、加权预测表及量化矩阵。视频编码器20可在APS数据结构中传讯此些参数及/或数据中的任何者或全部。视频编码器20或源装置12的另一元件可形成单独的包含APS数据结构的视频译码层(VCL)网络抽象层(NAL)单元。因此,VCL NAL单元可包含APS数据结构,且另一VCL NAL单元可包含用于切片的经译码的数据,其中可使用在APS数据结构中传讯的参数来译码所述切片。
如果APS位于经译码的图片的第一切片前且在所述经译码的图片的第一切片与所述APS之间不存在切片,那么所述APS可被叫作与所述经译码的图片“相关联”。此外,在一些实例中,APS可与位流中紧接在APS后的切片相关联。举例来说,当在位流中包含APS的NAL单元之后紧接着包含切片的NAL单元时,所述APS可与所述切片相关联。切片可使用多个APS,且APS可用于多个切片。
视频编码器20可通过在位流的范围内的唯一识别符来建构用于所述位流的APS。举例来说,视频编码器20可传讯用于每一APS数据结构的aps_parameter_set_id值。APS识别符还可被称作作为语法元素的“aps_id”。视频编码器20可进一步通过在切片(例如,切片的标头)中传讯APS的识别符(ID)值来指示所述切片与所述APS数据结构相关联。在一些实例中,例如,如果可按其它方式确定切片与APS相关联,例如,如果紧接在所述切片前传讯所述APS,那么切片不需要包含识别APS的信息。
根据本发明的技术,视频编码器20可提供(即,传讯)指示何时可从例如视频解码器30的视频解码器的缓冲器移除APS的信息。同样地,根据本发明的技术,视频解码器30可经配置以确定何时可移除APS(例如,基于由视频编码器20传讯的信息),及移除APS。以此方式,可在移除了APS后重新分配视频解码器30的由APS消耗的存储器资源。因此,尽管常规地,参数集数据结构将被存储直到完整视频序列的末尾,但本发明提供了用于传讯何时从视频解码器的存储器移除例如APS的参数集数据结构及用于从视频解码器的存储器移除例如APS的参数集数据结构的技术,其可允许视频解码器重新分配存储器资源且借此更有效率地操作。
本发明还提供用于在APS中传讯某些切片或图片层级信息的技术。举例来说,不同于在切片标头或图片标头中传讯可适用于多个切片或图片的信息,本发明提供用于在 APS中传讯此数据的技术,更特定来说,在一些实例中,此数据可为先前(即,在采用本发明的技术前)在图片参数集中提供的信息,包含(例如)量化矩阵。此数据可为切片标头中的信息,例如,与存储器管理控制操作语法表、参考图片列表及/或加权预测表相关联的数据。此外,本发明提供用于在多个APS之间重新使用此数据的技术。因此,如果随后APS将包含与先前APS相同的数据,那么并非在随后APS中传讯共同数据,随后APS可改为返回参考先前APS。此些技术可借此减小随后APS的大小,其可因此减少由每一随后APS消耗的存储器的量。即,视频编码器20仅需要传讯在随后APS中不同的数据,且在随后APS中指示在先前APS中传讯其它数据。
在帧内预测或帧间预测译码以产生预测数据及残余数据后,且在进行任何变换(例如,离散余弦变换(DCT))以产生变换系数后,可执行变换系数的量化。量化通常指代变换系数经量化以可能地减少用以表示系数的数据量的过程。量化过程可减小与所述系数中的一些或所有者相关联的位深度。举例来说,在量化期间可将n位值降值舍位到m位值,其中n大于m。
在量化后,可执行经量化的数据的熵译码,例如,根据内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码方法。经配置以用于熵译码的处理单元或另一处理单元可执行其它处理功能,例如,量化系数的零游程长度译码,及/或语法信息(例如,译码块模式(CBP)值、块类型、译码模式、经译码的单元(例如,帧、切片、块或序列)的最大块大小或类似者)的产生。
视频解码器30可最终从(例如)视频编码器20接收一个或一个以上APS数据结构。然而,并非存储APS数据结构直到经译码的视频序列的末尾,视频解码器30可经配置以在到达经译码的视频序列的末尾前移除一个或一个以上APS数据结构。根据本发明的技术,如以下更详细地论述,视频解码器30可配置有关于管理APS数据结构的一个或一个以上存储器管理技术,例如,APS数据结构在视频解码器30的缓冲器中的存储及移除,如在本发明中所描述。
视频编码器20及视频解码器30各自可实施为各种各样的合适编码器或解码器电路中的任一者(在适用时),例如,一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20及视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中,其中的任一者可集成为组合式视频编码器/解码器(CODEC)的部分。包含视频编码器20及/或视频解码器30的设备可包括集成电路、微处理器及/或无线通信装置(例如,蜂窝式电话)。
图2为说明可实施用于利用APS数据结构的技术的视频编码器20的实例的框图。视频编码器20可执行在视频帧内的块(包含块或块的分割区或子分割区)的帧内及帧间译码。帧内编码依赖于空间预测来减少或移除在给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的压缩模式中的任一者,及例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的压缩模式中的任一者。
如图2中所示,视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中,视频编码器20包含运动补偿单元44、运动估计单元42、帧内预测单元46、参考帧存储器64、求和器50、变换处理单元52、量化单元54及熵译码单元56。为了视频块重建构,视频编码器20还包含反量化单元58、反变换单元60、求和器62及回路内滤波器66。
在编码过程期间,视频编码器20接收待译码的视频帧或切片。可将帧或切片划分成多个视频块。运动估计单元42及运动补偿单元44执行相对于一个或一个以上参考帧中的一个或一个以上块的对接收的视频块的帧间预测译码以提供时间压缩。帧内预测单元46可执行相对于与待译码的块相同的帧或切片中的一个或一个以上相邻块的对接收的视频块的帧内预测译码以提供空间压缩。
模式选择单元40可选择译码模式(帧内或帧间)中的一者,例如,基于误差结果,且将所得的经帧内或帧间译码的块提供到求和器50以产生残余块数据,且提供到求和器62以重建构经编码的块以用作参考帧。
运动估计单元42与运动补偿单元44可经高度集成,但为了概念上的目的,分开地加以说明。运动估计为产生运动向量的过程,其估计视频块的运动。举例来说,运动向量可指示在预测参考帧(或其它经译码的单元)内预测块相对于当前帧(或其它经译码的单元)内正被译码的当前块的位移。预测块为被发现在像素差方面紧密匹配待译码的块的块,像素差可由绝对差的总和(SAD)、平方差的总和(SSD)或其它差量度确定。运动向量还可指示块的分割区的位移。运动补偿可涉及基于由运动估计确定的运动向量而获取或产生预测块。再次地,在一些实例中,可在功能上集成运动估计单元42与运动补偿单元44。
运动估计单元42通过将视频块与参考帧存储器64中的参考帧的视频块比较来计算用于经帧间译码的帧的视频块的运动向量。运动补偿单元44还可内插参考帧的次整数像素,例如,I帧或P帧。举例来说,两个列表可包含参考帧:列表0,其包含具有比正编码的当前帧早的显示次序的参考帧;及列表1,其包含具有比正编码的当前帧晚的 显示次序的参考帧。因此,可根据此些列表组织存储于参考帧存储器64中的数据。
运动估计单元42将来自参考帧存储器64的一个或一个以上参考帧的块与当前帧(例如,P帧或B帧)的待编码的块比较。当参考帧存储器64中的参考帧包含次整数像素的值时,由运动估计单元42计算的运动向量可涉及参考帧的次整数像素位置。如果无次整数像素位置的值存储于参考帧存储器64中,那么运动估计单元42及/或运动补偿单元44还可经配置以计算存储于参考帧存储器64中的参考帧的次整数像素位置的值。运动估计单元42将计算的运动向量发送到熵译码单元56及运动补偿单元44。由运动向量识别的参考帧块可被称作预测块。
运动补偿单元44可基于预测块计算预测数据。视频编码器20通过从正译码的原始视频块减去来自运动补偿单元44的预测数据而形成残余视频块。求和器50表示执行此减法运算的一个或一个以上组件。变换处理单元52将变换(例如,离散余弦变换(DCT)或概念上类似的变换)应用到残余块,从而产生包括残余变换系数值的视频块。变换处理单元52可执行例如由H.264标准定义的变换的其它变换,其概念上类似于DCT。还可使用小波变换、整数变换、子带变换或其它类型的变换。在任一情况下,变换处理单元52将变换应用到残余块,从而产生残余变换系数的块。变换可将残余信息从像素值域转换到变换域(例如,频域)。量化单元54量化残余变换系数以进一步减小位速率。量化过程可减小与所述系数中的一些或所有者相关联的位深度。可通过调整量化参数来修改量化的程度。
在量化后,熵译码单元56熵译码经量化的变换系数及语法元素。举例来说,熵译码单元56可执行内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码技术。在由熵译码单元56进行了熵译码后,经编码的视频可被发射到另一装置或被存档用于稍后发射或检索。在上下文自适应二进制算术译码的情况下,上下文可至少部分基于相邻块的数据。
在一些情况下,熵译码单元56或视频编码器20的另一单元可经配置以除了熵译码之外还执行其它译码功能。举例来说,熵译码单元56可经配置以确定块及分割区的CBP值。而且,在一些情况下,熵译码单元56可执行块或其分割区中的系数的游程长度译码。详言之,熵译码单元56可应用曲折扫描或其它扫描模式以扫描块或分割区中的变换系数且编码连串的零以用于进一步压缩。熵译码单元56还可通过适当语法元素建构标头信息以用于在经编码的视频位流中发射。
反量化单元58及反变换单元60分别应用反量化及反变换以重建构像素域中的残余块,例如,用于稍后用作参考块。运动补偿单元44可通过将残余块加到参考帧存储器 64的帧中的一者的预测块来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用到经重建构的残余块以计算用于在运动估计中使用的次整数像素值。求和器62将经重建构的残余块加到由运动补偿单元44产生的经运动补偿的预测块以产生经重建构的视频块,以用于存储于参考帧存储器64中。经重建构的视频块可由运动估计单元42及运动补偿单元44用作参考块以帧间译码随后视频帧中的块。
在图2的实例中,视频编码器20还包含回路内滤波器66。回路内滤波器66可执行自适应滤波技术,例如,以将存储于参考帧存储器64中的视频数据的帧解块。在此实例中,回路内滤波器66执行自适应滤波。即,回路内滤波器自适应地修改滤波系数(被称作自适应回路滤波器(ALF)系数)以改进滤波结果。可在包含使用由回路内滤波器66使用的ALF系数滤波的块的切片的APS中传讯那些ALF系数。此外,根据本发明的技术,随后APS可重新使用先前APS的ALF系数,例如,通过参考包含待由随后APS使用的ALF系数的APS的APS ID。以此方式,随后APS自身不需要直接传讯ALF系数的值,此可减小随后APS的大小。
根据本发明的技术,可将相同的ALF系数用于共同切片中的所有块。视频编码器20可在用于所述切片的APS中传讯ALF系数,且所述切片可包含对APS的参考,例如,APS ID的指示。此外,视频编码器20可将相同的ALF系数用于多个不同切片。因此,切片中的每一者可参考同一APS,以使用相同的ALF系数。或者,如果使用不同参数译码切片的其它方面,那么视频编码器20可提供用于此些其它切片的不同APS,以捕获经传讯的参数的差异。如下文所论述,视频编码器20可在每一APS中提供ALF系数,或视频编码器20可包含对包含ALF系数的先前APS的参考(假定视频编码器20使用相同的ALF系数译码随后切片)。
变换处理单元52可将样本自适应偏移(SAO)应用到一个或一个以上变换系数,例如,直流(DC)系数及/或交流(AC)系数。变换处理单元52可将相同的SAO参数应用到切片、帧、序列、GOP或视频数据的其它经译码单元的TU。根据本发明的技术,视频编码器20还可(额外或替代性地)在APS数据结构中传讯用于一个或一个以上切片的SAO参数。
量化单元54可使用量化矩阵连同指定量化参数将量化应用于TU的变换系数。量化单元54可将应用矩阵应用到切片、帧、序列、GOP或视频数据的其它经译码单元。根据本发明的技术,视频编码器20还可(额外或替代性地)在APS数据结构中传讯用于一个或一个以上切片的量化矩阵。
额外地,或替代性地,视频编码器20可在APS数据结构中传讯其它参数。举例来说,除了以上论述的其它数据之外或替代以上论述的其它数据,视频编码器20可在APS数据结构中传讯图片列表修改数据、参考图片列表组合数据、存储器管理控制操作语法数据及加权预测表中的任何者或全部。举例来说,视频编码器20可在APS数据结构中传讯针对图片列表修改数据操纵参考帧存储器64的方式及/或组合两个列表(例如,LO及L1)以形成组合式参考图片列表的方式。
此外,根据本发明的技术,视频编码器20可提供指示何时可移除特定APS的信息。因此,接收此信息的例如视频解码器30的视频解码器可在视频序列的末尾前删除APS。作为一实例,APS可保持在作用中,直到传讯了随后的APS,在所述情况下,可删除先前APS。因此,视频编码器20可通过仅提供随后APS来指示可删除先前APS。
或者,视频编码器20可在每一APS中提供指示是否可删除一个或一个以上先前提供的APS的旗标或其它值。举例来说,视频编码器20可提供指示是否可安全地删除紧接在前的APS的旗标。作为另一实例,视频编码器20可在随后APS中包含一个或一个以上APS ID值,其中APS ID值指代可安全地删除的一个或一个以上APS。作为再一实例,视频编码器20可在每一APS中包含指示所述APS是否需要用于经译码的视频数据的一个以上单元(例如,一个以上切片或一个以上图片)的旗标。因此,如果旗标指示APS仅需要用于一个视频数据单元,那么在译码所述单元后,可删除所述APS。
作为又一实例,视频编码器20可提供待同时存储的APS的最大数目的指示。在提供了多于所述数目的APS后,可删除先前存储的APS中的一者或一者以上。用于删除超过所指示数目个APS的APS的策略可为(例如)先进先出(FIFO)。或者,可存在基于APS ID值的用于APS的滑动窗。举例来说,可基于重要性来指派APS ID,例如,在将较低值的APS ID值当作比较高值的APS ID值重要的情况下。换句话说,如果APS的数目超过所指示的最大数目,那么可移除具有最高APS ID值的APS,直到存储的APS的数目达到最大数目。或者,可将较低值的APS ID值当作重要性低于较高值的APS ID值。视频编码器20可指派APS ID使得APS ID值始终增大,或可确定特定APS有可能更重要,且相应地指派APS ID。
视频编码器20可经配置以根据时间阶层来译码数据以获得时间可扩充性。即,视频编码器20可将各种时间识别符(时间ID)值指派到图片。作为实例,具有时间ID“0”的图片可用以产生15个帧每秒(fps)的视频播放,可与具有时间ID“0”的图片相结合使用具有时间ID“1”的图片以产生30fps的视频播放,以此类推。更通常地,具有时间ID“N”的图片当与具有小于N的时间ID的图片组合时可用以产生帧速率大于使用具有高达“N-1”的时间ID的图片的情况但小于使用具有高于N的时间ID的图片的情况 的播放。
视频编码器20可使APS与一个或一个以上时间层处的切片或图片相关联。因此,视频编码器20还可将时间ID指派到APS。视频编码器20可进一步强制执行以下约束:当APS具有N的时间ID时,具有小于N的时间ID的切片并不参考具有N的时间ID的APS。以此方式,如果例如视频解码器30的视频解码器执行时间可扩充性(在所述情况下,视频解码器不接收具有等于或大于N的时间ID的视频数据),那么所述视频解码器将仍能够解码接收的视频数据。
此外,视频编码器20可释放APS ID值。通常,在已使用了APS ID值后,所述APS ID与其对应的APS相关联。然而,在已从存储器移除APS后,视频编码器20可使APS ID与包含所述APS ID的APS不相关联。以此方式,可重新使用所述APS ID,例如,在不同APS中。
此外,视频编码器20可周期性地清空存储的APS。举例来说,在瞬时解码器刷新(IDR)图片后,视频编码器20可假定已从解码器存储器清除所有APS。以此方式,在IDR图片后的图片及切片可仅参考出现在IDR图片后的APS。此外,视频编码器20可释放与在IDR图片前的APS相关联的APS ID,使得视频编码器20可重新使用此些APS ID,而不带来不确定性。以此方式,此些技术可支持随机存取,因为视频解码器可成功地解码开始于IDR随机存取点(RAP)处的视频位流,而无需检索IDR RAP前的数据,例如,在IDR RAP前传讯的APS数据。
如上文所论述,在一些实例中,视频编码器20可重新使用APS之间的数据。即,如果随后APS包含与先前APS的参数数据相同的参数数据,那么随后APS可仅包含针对所述参数数据的对先前APS的参考,而非重复地传讯相同的参数数据。举例来说,如果先前APS传讯ALF系数及SAO参数,且视频编码器20使用相同的ALF系数但不同的SAO参数编码随后切片,那么视频编码器20可建构传讯不同SAO参数、但包含对先前APS的ALF系数的参考的随后APS。以此方式,视频编码器20可避免重复地在多个APS中传讯相同的APS参数,其可避免浪费例如视频解码器30的视频解码器中的带宽、存储空间及缓冲器资源。此外,随后APS可参考多个不同APS以获得不同参数。即,随后APS可包含针对第一参数的对第一先前APS的第一参考,及针对第二不同参数的对第二不同APS的第二参考。
以此方式,视频编码器20表示经配置以进行以下操作的视频编码器的实例:使用一个或一个以上参数编码视频数据的一个或一个以上切片的第一集合;在调适参数集(APS)数据结构中传讯所述一个或一个以上参数;及不参考所述APS数据结构编码在一 个或一个以上切片的所述第一集合中的确定的切片后的所述视频数据的一个或一个以上切片的第二集合。
图3为说明可实施用于利用APS数据结构的技术的视频解码器30的实例的框图。在图3的实例中,视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、包含参考帧存储器82的存储器84、回路内滤波器86及求和器80。在一些实例中,视频解码器30可执行通常与关于视频编码器20(图2)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据。
一般来说,如下更详细地解释,根据本发明的技术,视频解码器30接收APS数据结构且将其存储于存储器84中。此外,视频解码器30可在对应的视频序列的末尾前删除存储的APS88中的一者或一者以上。举例来说,视频解码器30可在接收随后IDR RAP前删除存储的APS88中的一者或一者以上。同样,存储的APS88可参考一个或一个以上其它存储的APS88,使得视频解码器30可在解码单个切片时从存储的APS88中的两者或两者以上检索数据。此外,存储的APS88可提供关于常规HEVC技术的APS的额外数据,如下文所解释。
运动补偿单元72可使用在位流中接收的运动向量识别在存储器84的参考帧存储器82中的参考帧中的预测块。帧内预测单元74可使用在位流中接收的帧内预测模式而根据空间邻近块形成预测块。反量化单元76反量化(即,解量化)在位流中提供且由熵解码单元70解码的量化块系数。反量化过程可包含常规过程,例如,如由H.264解码标准定义的过程。反量化过程还可包含使用由编码器50针对每一块计算的量化参数QPY确定量化的程度,及同样地,应应用的反量化的程度。根据本发明的技术,反量化单元76可从存储的APS88中的一者或一者以上接收一个或一个以上量化矩阵以执行反量化。
反变换单元58将反变换(例如,反DCT、反整数变换或概念上类似的反变换过程)应用到变换系数以便在像素域中产生残余块。运动补偿单元72产生经运动补偿的块(可能执行基于内插滤波器的内插)。待用于具有次像素精密度的运动估计的内插滤波器的识别符可包含于语法元素中。运动补偿单元72可使用如由视频编码器20在视频块的编码期间使用的内插滤波器计算参考块的次整数像素的内插值。运动补偿单元72可根据接收的语法信息(例如,如在APS中所提供)确定由视频编码器20使用的内插滤波器,且使用所述内插滤波器产生预测块。
运动补偿单元72使用语法信息中的一些确定:用以编码经编码视频序列的帧的块的大小、描述分割经编码视频序列的帧的每一块的方式的分割区信息、指示编码每一分 割区的方式的模式、用于每一帧间编码的块或分割区的一个或一个以上参考帧(及参考帧列表),及用以解码经编码视频序列的其它信息。
求和器80将残余块与由运动补偿单元72或帧内预测单元产生的对应的预测块求和以形成经解码的块。如图3中所示,可应用由回路内滤波器86表示的解块滤波器以滤波经解码的块,以便移除成块假影。根据本发明的技术,回路内滤波器86从存储的APS88中的一者或一者以上接收ALF系数,且使用所述ALF系数来滤波求和器80的输出。举例来说,回路内滤波器86可从存储的APS88中的当前切片对应于的一者(例如,如由在当前切片的切片标头中传讯的APS识别符指示)检索ALF系数。以此方式,视频解码器30可以实质上类似于视频编码器20的解码过程(由反量化单元58、反变换单元60、求和器62及回路内滤波器66(图2)表示)的方式解码且滤波视频块。接着将经解码的视频块存储于参考帧存储器82中,参考帧存储器82提供用于随后运动补偿的参考块,且还产生经解码的视频以用于在显示装置(例如,图1的显示装置32)上呈现。
视频解码器30可接收由(例如)视频编码器20形成的APS数据结构。视频解码器30可进一步解码APS数据结构且将其存储于例如存储器84的存储器中。存储的APS88表示存储于视频解码器30的存储器84中的APS的实例。然而,应理解,APS未必存储于与参考帧存储器82相同的存储器中。在一些实例中,当视频解码器30解析APS且将其存储于存储器84中时,其可被临时存储且接着被移除,例如,在解码了随后切片时或当解码了包含APS对应于的切片的整个相关联的图片时。一般来说,视频解码器30接收指示何时可从存储器84移除存储的APS88中的一者的信息,例如,从视频编码器20。存储器84还可被称作“缓冲器”,或可包含被布置作为用于存储根据本发明的技术的APS数据结构的缓冲器的一部分。在一些实例中,熵解码单元70可将APS数据直接提供到存储器84。
在一些实例中,可将旗标添加到APS,所述旗标指示此APS显式地将先前APS中的至少一者标记为不再需要用于未来使用。如果通过此旗标或其它语法元素将存储的APS88中的一者标记为不需要,那么视频解码器30可从存储器(例如,存储器84)删除经标记的经解码的APS。在一些实例中,就在APS含有的图片经解码后将旗标添加到APS,所述旗标指示可能需要存储的APS88中的对应者以用于未来使用。视频解码器30可删除存储的APS88中的具有此种指示不需要将所述APS用于未来使用的旗标的一者或一者以上,但存储旗标指示进一步需要所述APS的APS。
在一些实例中,视频解码器30的配置数据可指定可存储于存储器84中的存储的APS88的最大数目。待在存储器84中缓冲的APS的最大数目可在其它参数集中(例如, 在序列参数集或图片参数集中)传讯。可将此数目设定为参考帧的最大数目或经解码图片的最大数目。此外,可使用用于APS的自动机制。举例来说,视频解码器30可使用基于APS的ID值的滑动窗。在此实例中,如果解码器缓冲器(例如,存储器84)中的存储的APS88的当前数目等于APS的最大数目,那么可从缓冲器移除具有最大数目的ID的APS。在此情况下,可对不常使用的APS指派相对较大的值。在另一实例中,视频解码器30可根据先进先出(FIFO)定序机制移除APS。即,当从存储器84移除存储的APS88中的一者的时间到来时,存储的APS88中的第一个存储到存储器84中的APS为第一个被从存储器84移除的APS。
在一些实例中,可使用用于指派APS的ID值的两个机制。在一些实例中,APS的ID值始终增大。以此方式,视频解码器30可在确定了应删除存储的APS88中的一者或一者以上后移除存储的APS88中的接收时间最久的APS。在另一实例中,对被预见将进一步使用的APS指派相对较大的id,且对将不被按解码次序在当前图片后的图片所使用的APS指派相对大的值。以此方式,视频解码器30可在确定应删除存储的APS88中的一者或一者以上后删除具有相对较大的APS ID值的存储的APS88。
可添加约束使得与temporal_id等于特定temporal_id(TID)的经译码的图片相关联的任一APS将不被temporal_id小于TID的图片参考。或者,如果在APS的NAL单元标头中传讯TID,那么约束可指定temporal_ID必须与APS的相关联的图片中的其它VCLNAL单元相同,且不应由temporal_id小于特定TID的切片参考。因此,视频解码器30可解码为了执行时间可扩充性的目的而提取的子位流,而无需任何额外传讯信息。即,用于在特定时间层处的切片及图片的APS的所有传讯数据将处于所述特定层处或低于所述特定层,使得可确保视频解码器30接收到用于那些切片及图片的APS数据。
在一些实例中,视频解码器30可接收指示APS ID值的释放的数据。即,此数据可指示应释放APS ID值,使得可对新的不同APS指派所述同一APS ID值。另外或替代性地,视频解码器30可经配置使得在任一随机存取点后,清除解码器缓冲器(例如,存储器84)中的所有存储的APS88,即,被舍弃或以其它方式移除或被标记为从存储器84移除。即,具有比随机存取点图片晚的输出或解码次序的任一图片可仅参考与当前图片相关联的APS或与按解码次序在随机存取点后的图片相关联的APS。换句话说,在遇到(例如)瞬时解码器刷新(IDR)随机存取点(RAP)后,视频解码器可清除所有存储的APS88,且接收IDR RAP后的新APS。在此些情况下,在解码对应于IDR RAP的图片前,视频解码器30可能需要等待接收新的APS。
在一些实例中,当前APS可参考缓冲器(例如,存储器84)中的先前APS,即,存储 的APS88中的一者。当前APS可重新使用存储的APS88中的由当前APS参考的所述APS的APS参数的部分,同时可显式地传讯当前APS的其它部分。此外,当前APS可参考仍在缓冲器中的两个或两个以上先前APS,例如,以获得当前APS的不同部分。参考先前存储的APS的APS的各种实例说明于图6中且关于图6加以描述,如下文详细地解释。
在一些实例中,还可在APS中传讯包含参考图片列表修改及参考图片列表组合的有关于参考图片列表建构的语法表。因此,视频解码器30可基于在APS中传讯的数据组合列表0与列表1以形成组合式列表。类似地,在一些实例中,经解码图片缓冲器管理(例如,存储器管理控制操作(MMCO)语法表及/或加权预测表)还可包含到APS内。因此,视频解码器30可使用此数据确定何时从参考帧存储器82移除图片、执行各种MMCO及/或将权数指派到参考帧存储器82的数据(例如,图片的像素值)。权数可对应于(例如)加权的双向预测,在所述情况下,根据两个图片预测块,两个图片中的一者的权数比另一者重。即,当运动补偿单元72计算双向预测块的预测值时,两个图片中的一者可比另一者对预测值有更强的影响,如由权数及APS中指示的其它数据所指示。
还可在APS中传讯其它切片或图片层级信息,例如,量化矩阵。一般来说,在APS中可存在或不存在任一组信息。即,可在APS中传讯可应用于一个或一个以上切片的参数的任一组。如果所述组不存在于特定APS中,那么此APS可参考不同的APS(例如,存储的APS88中的先前存储的一APS)以得到所述组信息,且APS可参考多个APS以得到不同组的信息。举例来说,APS可传讯SAO参数,但参考存储的APS88中的第一不同APS以获得量化矩阵,参考存储的APS88中的第二不同APS以获得ALF参数,且甚至参考存储的APS88中的第三APS以获得经解码图片缓冲器管理及参考图片列表建构信息。因此,视频解码器30可从存储的APS88中的一者或一者以上检索数据以解码当前切片。
以此方式,视频解码器30表示经配置以进行以下操作的视频解码器的实例:将调适参数集(APS)数据结构存储于译码装置的缓冲器中,其中所述APS数据结构包含可适用于视频数据的一个或一个以上切片的传讯数据;基于所述APS数据结构的所述传讯数据解码所述切片中的至少一者;在解码所述切片后,确定可从所述缓冲器移除所述APS数据结构;基于所述确定从所述缓冲器移除所述APS数据结构;及在从所述缓冲器移除所述APS数据结构后解码所述视频数据的一个或一个以上额外切片。
下表1说明序列参数集(SPS)数据结构的实例句法(syntactic)结构。在此实例中,SPS数据结构传讯待存储于存储器84中的APS的最大数目。虽然可存储额外APS(例如,基 于视频解码器30的实施),但SPS的此信息指示在已超过了APS数据结构的最大数目后,可安全地舍弃(清除、移除、舍弃、覆写、标记为不再需要或类似者)一个或一个以上APS,而不损害位流的可解码性。
表1
seq_parameter_set_rbsp(){ 描述符
profile_idc u(8)
reserved_zero_8bits/*等于0*/ u(8)
...
aps_present_flag u(1)
if(aps_present_flag){
max_num_APSs ue(v)
}
rbsp_trailing_bits()
}
在此实例中,max_num_APSs指定可在解码器缓冲器中缓冲的最大APS数目。在此情况下,(例如,用于视频解码器30的配置数据的)MaxNumAPSs可设定到max_num_APSs。
下表2提供APS参数集的语法。
表2
aps_parameter_set_rbsp(){ 描述符
aps_parameter_set_id ue(v)
ref_aps_flag u(1)
removal_aps_flag u(1)
if(removal_aps_flag){
num_APS_to_remove_minus1 ue(v)
for(i=0;i<=num_APS_to_remove_minus1;i++)
removal_aps_id[[i] u(1)
...
}
在此实例中,等于1的ref_aps_flag指示用于按解码次序在当前图片后的图片的此APS存储于解码器存储器中。等于0的此旗标指示此APS仅临时地存储于存储器中,且将在完全解码了相关联的图片后被移除。
在此实例中,removal_aps_flag等于1指示当前APS含有用以从解码器缓冲器移除至少一APS的显式传讯。此值等于0指示当前APS不含有用以从解码器缓冲器移除APS的显式传讯。注意,甚至当此旗标等于0时,在某些自动滑动窗机制的情况下,仍可能 发生在缓冲器中的APS的当前数目大于或等于MaxNumAPSs。
在此实例中,num_APS_to_remove_minus1加1指示在解码当前APS前(或后)将要从解码器缓冲器移除的APS的数目。
在此实例中,removal_aps_id[i]指定将要从解码器缓冲器移除的第i个APS的APS参数集id。
或者,可仅在要缓冲当前APS时调用移除过程。表3提供在此实例中APS的语法的实例组:
表3
aps_parameter_set_rbsp(){ 描述符
aps_parameter_set_id ue(v)
ref_aps_flag u(1)
if(ref_aps_flag){
removal_aps_flag u(1)
if(removal_aps_flag){
num_APS_to_remove_minus1 ue(v)
for(i=0;i<=num_APS_to_remove_minus1;i++)
removal_aps_id[[i] u(1)
}
...
}
根据表3中的省略号的指示,应理解,表3仅表示APS RBSP(原始字节序列有效负载)的语法元素的一部分。APS RBSP的其它部分可发现于HEVC的WD6中。在再另一实例中,可基于当前APS的APS id传讯APS id的增量值。
视频解码器30可在解码当前APS前或后针对移除过程执行以下解码过程:
1.如果removal_aps_flag等于1,那么对于每一removal_aps_id[i](i从0到num_APS_to_remove_minus1(包含性)),如果id等于removal_aps_id[i]的APS处于解码器缓冲器中,那么将其移除。
2.如果removal_aps_flag等于0,那么识别具有最大APS id的已在解码器缓冲器中的APS,将其移除。
下表4为用于APS的语法的实例组。提供表4的语法作为在HEVC WD6中定义的语法的替代。
表4
以下提供表4的语法数据的实例的实例语义。特定来说,针对相对于在HEVC WD6中定义的APS RBSP不同的APS RBSP的元素提供语义。以下未论述的其它语法元素的语义可保持与HEVC WD6中所定义者相同。在此实例中,aps_reference_picture_list_construction_flag等于1可指示是否在当前APS中传讯了有关于参考图片列表建构的语法元素。此旗标等于0可指示在切片标头中传讯那些语法元素。
在此实例中,ref_aps_flag等于1可指示APS参数的部分可与先前参考APS相同,且不被传讯。此值等于0可指示APS不参考id为ref_aps_id的先前APS。
在此实例中,reuse_alf_flag等于1可指示此APS的ALF参数与id为ref_aps_id的参考APS的ALF参数相同。此值等于0可指示在此APS中传讯ALF参数。当不存在时,推断reuse_alf_flag为0。
在此实例中,reuse_sao_flag等于1可指示此APS的SAO参数与id为ref_aps_id的参考APS的SAO参数相同。此值等于0可指示在此APS中传讯SAO参数。当不存在时,可推断reuse_sao_flag为0。
在此实例中,reuse_lists_flag等于1可指示此APS的有关于参考图片列表的语法元素与id为ref_aps_id的参考APS的所述语法元素相同。此值等于0可指示在此APS中传讯所述元素。当不存在时,推断reuse_lists_flag为0。
在一些实例中,可修改切片标头以反映由APS数据结构传讯的数据。举例来说,下表5提供根据本发明的技术的实例切片标头。
表5
在一些实例中,ref_const_in_aps_flag为在PPS或SPS中传讯的旗标,以指示是否可在APS中传讯有关于参考图片列表的语法元素。
图4为说明用于使用APS数据结构编码视频数据的实例方法的流程图。虽然关于视频编码器20的实例加以解释,但应理解,图4的方法还可由其它视频编码装置(例如,转换编码器)执行。此外,所述方法的某些步骤可省略或按不同次序或并行地执行。
一开始,视频编码器20可使用一个或一个以上参数编码切片(150)。参数可包含ALF系数、SAO参数、图片列表修改数据、参考图片列表组合数据、存储器管理控制操作语法数据、加权预测表及/或量化矩阵或其它此数据中的一者或一者以上。视频编码器20可进一步在APS数据结构中传讯所述参数中的任何者或全部(152)。在一些实例中,假定先前APS先前被输出到位流内且假定存储于视频解码器缓冲器中,APS的参数中的一者或一者以上可参考一个或一个以上先前APS。
视频编码器20可进一步提供指示何时可删除APS的信息(154)。此可发生在编码切片及发送APS前,或编码切片及发送APS后。举例来说,视频编码器20可在随后APS中传讯指示可删除在步骤152中传讯的APS的旗标或其它语法元素,如上文所论述。或者,视频编码器20可传讯待存储于视频解码器缓冲器中的APS的最大数目,例如,在SPS数据结构中。在一些实例中,信息可为隐式的,例如,通过提供随后译码的图片为随机存取点(RAP)的指示。
视频编码器20可进一步使用一个或一个以上参数编码随后切片(156)。此些参数可与用以编码步骤150的切片的参数不同。或者,参数可与用以编码步骤150的切片的参数相同,例如,当假定要删除在步骤152中传讯的APS(例如,在随机存取点后)时。因此,视频编码器20可确定是否使用不同参数编码随后切片(158)。如果视频编码器20不使用不同参数编码随后切片(158的“否”分支),那么视频编码器20可在随后切片的切片标头中传讯先前APS的APS ID(166)。另一方面,如果视频编码器20使用一个或一个以上不同参数编码随后切片(158的“是”分支),那么视频编码器20可在随后APS中传讯不同参数(160)。
视频编码器20还可在随后APS中传讯对先前APS的参考以获得共同参数(即,在先前APS中传讯的用以编码先前切片的参数及用以编码随后切片的参数)(162)。此外,视频编码器20可在随后切片标头中传讯随后APS的APS ID值(164)。额外或替代性地,随后APS可参考两个或两个以上先前APS,例如,以获得随后APS的不同部分。在步骤152中传讯的APS及/或步骤158的随后APS可应用于一个或一个以上切片,且所述一个或一个以上切片可参考一个或一个以上APS。此外,如上文所论述,视频编码器20可在随后APS中提供可删除一个或一个以上先前APS(如果其不再需要)的指示。在一些 替代实例中,视频编码器20可仅在随后APS中提供所有参数,而非针对共同参数提供对先前APS的参考。
以此方式,图4的方法表示包含以下步骤的方法的实例:使用一个或一个以上参数编码视频数据的一个或一个以上切片的第一集合;在APS数据结构中传讯所述一个或一个以上参数;及不参考所述APS数据结构编码在一个或一个以上切片的所述第一集合中的确定的切片后的所述视频数据的一个或一个以上切片的第二集合。
图5为说明用于使用APS数据结构解码视频数据的实例方法的流程图。虽然为了解释的目的关于视频解码器30进行描述,但应理解,其它视频解码装置还可执行类似方法。同样地,所述方法的步骤可按不同次序或并行地执行,且可省略某些步骤。
视频解码器30可接收用于切片的APS数据结构,其中所述APS数据结构传讯用于所述切片的一个或一个以上参数(200)。在一些实例中,所述APS数据结构传讯用于多个切片的参数。视频解码器30可使用所述APS数据结构解码切片中的至少一者(202),例如,使用在所述APS数据结构中传讯的参数。此些参数可包含(例如)ALF系数、SAO参数、参考图片列表修改数据、参考图片列表组合数据、存储器管理控制操作语法数据、加权预测表及/或量化矩阵或可为多个切片或图片共同的其它额外或替代数据。如上文所论述,APS可包含对其它先前存储的APS的参考,使得视频解码器30可使用一个或一个以上存储的APS(例如,存储的APS88)的数据解码切片。视频解码器30还可确定何时可移除APS数据结构(204),例如,使用以上描述的技术中的任何者,例如,包含于APS数据结构中的旗标、随后APS的接收、经传讯或以其它方式确定的待存储于存储器84中的APS的最大数目、待移除的APS的显式指示或如上所述的其它技术。
基于可移除APS的确定,视频解码器30可移除APS数据结构(206)。在一些实例中,视频解码器30未必紧接在确定可移除APS数据结构后即移除APS数据结构,而可仅将APS数据结构标记为不再需要,且在垃圾收集过程期间删除APS数据结构。视频解码器30可在解码同一视频序列的切片前从存储器84移除一个或一个以上APS数据结构(208)。
以此方式,图5的方法表示包含以下步骤的方法的实例:将APS数据结构存储于译码装置的缓冲器中,其中所述APS数据结构包含可适用于视频数据的一个或一个以上切片的传讯数据;基于所述APS数据结构的所述传讯数据解码所述切片中的至少一者;在解码所述切片后,确定可从所述缓冲器移除所述APS数据结构;基于所述确定从所述缓冲器移除所述APS数据结构;及在从所述缓冲器移除所述APS数据结构后解码所述视频数据的一个或一个以上额外切片。
图6为说明APS数据结构250、260及270的概念图。在此实例中,APS数据结构250包含ALF系数252、SAO参数254、量化矩阵256及加权语法表258,以及由省略号指示的其它可能数据。因此,视频编码器20可已使用ALF系数252、SAO参数254、量化矩阵256及加权语法表258的数据编码切片(未图示)。因此,视频编码器20可在确定用以译码所述切片的ALF系数252、SAO参数254、量化矩阵256及加权语法表258的值后建构APS250。视频编码器20还可将ID值(未图示)指派到APS250,且可建构所述切片的标头(包含对APS250的APS ID的参考)。
以此方式,视频解码器30可接收APS250及经译码的切片(包含对APS250的APSID的参考)。因此,视频解码器30可基于在切片标头中传讯的APS ID使用APS250的ALF系数252、SAO参数254、量化矩阵256及加权语法表258解码所述切片。
随后,视频编码器20可使用不同SAO参数及不同加权语法表但使用相同的ALF系数及相同的量化矩阵来编码切片。相应地,视频编码器20可建构不同的APS(例如,APS260)以传讯不同参数,但包含对APS250(在此实例中,先前APS)的参数的参考,使得不需要在不同APS中再生此数据。在此实例中,APS260包含ALF系数识别符262、SAO参数264、量化矩阵识别符266及加权语法表268。ALF系数识别符262参考APS250的ALF系数252,且量化矩阵识别符266参考APS250的量化矩阵256,如由图6的箭头指示。视频编码器20可进一步对APS260指派一单独的APS ID值,且在切片的切片标头中传讯此APS ID值。
因此,视频解码器30可接收用于APS260的数据及所述切片。基于切片的APS ID值,参考APS260,视频解码器30可使用APS260的数据解码切片。当执行自适应回路滤波时,视频解码器30可确定APS260的ALF系数识别符262参考ALF系数252。因此,视频解码器30可检索APS250的ALF系数252以执行针对所述切片的自适应回路滤波。当执行样本自适应偏移时,视频解码器30可从APS260的SAO参数264检索数据。当执行量化时,视频解码器30可确定量化矩阵识别符266参考APS250的量化矩阵256,且因此,可检索APS250的量化矩阵256的数据。此外,当执行加权时,视频解码器30可检索用于APS260的加权语法表268的数据。
随后,视频编码器20可使用与在APS250中所传讯的ALF系数相同的ALF系数、与在APS260中所传讯的SAO参数相同的SAO参数及新的量化矩阵及加权语法表来编码切片。因此,视频编码器20可建构APS270以包含ALF系数识别符272(参考APS250的ALF系数252)、SAO参数识别符274(参考SAO参数264)、量化矩阵276及加权语法表278。以此方式,APS270代表参考两个单独的APS以获得待传讯的各种参数的APS 的实例。视频编码器20可进一步在切片的切片标头中传讯用于APS270的APS ID值。
视频解码器30可接收用于APS270的数据及切片。基于切片标头的APS ID,视频解码器30可确定在APS270中传讯的参数将用以解码所述切片。当执行自适应回路滤波时,视频解码器30可确定APS270的ALF系数识别符272参考ALF系数252。因此,视频解码器30可检索APS250的ALF系数252以执行针对所述切片的自适应回路滤波。当执行样本自适应偏移时,视频解码器30可确定SAO参数识别符274参考SAO参数264。因此,视频解码器30可从APS260的SAO参数264检索数据。当执行量化时,视频解码器30可检索APS270的量化矩阵276的数据。此外,当执行加权时,视频解码器30可检索APS270的加权语法表278的数据。
应认识到,视实例而定,本文中描述的技术中的任何者的某些动作或事件可按不同序列执行,可被添加、合并或完全省去(例如,对于所述技术的实践,并非所有描述的动作或事件皆为必要的)。此外,在某些实例中,动作或事件可(例如)经由多线程处理、中断处理或多个处理器同时而非依序执行。
在一个或一个以上实例中,所描述的功能可以硬件、软件、固件或其任何组合实施。如果以软件实施,那么可将功能作为一个或一个以上指令或代码存储于计算机可读媒体上或在计算机可读媒体上传输,且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体,通信媒体包含促进(例如)根据通信协议将计算机程序从一处传送到另一处的任何媒体。以此方式,计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索用于实施在本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制,此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用以存储呈指令或数据结构的形式的所要的代码且可由计算机存取的任何其它媒体。而且,将任何连接恰当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或无线技术(例如红外线、无线电及微波)而从网站、服务器或其它远程源传输指令,那么同轴电缆、光缆、双绞线、DSL或无线技术(例如红外线、无线电及微波)包含于媒体的定义中。然而,应理解,计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体,而是针对非暂时性有形存储媒体。如本文中所使用,磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、 软磁盘及蓝光光盘,其中磁盘通常以磁性方式再生数据,而光盘使用激光以光学方式再生数据。以上的组合还应包含于计算机可读媒体的范围内。
指令可由一个或一个以上处理器执行,例如,一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指代前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外,在一些方面中,本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内,或被并入于组合的编码解码器中。同样,所述技术可完全地实施于一个或一个以上电路或逻辑元件中。
本发明的技术可实施于广泛的各种各样的装置或设备中,包含无线手持机、集成电路(IC)或IC的集合(例如,芯片组)。在本发明中描述了各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面,但未必需要通过不同硬件单元实现。相反,如上文所述,各种单元可在编码解码器硬件单元中加以组合或由结合合适的软件及/或固件的互操作的硬件单元(包含如上文所述的一个或一个以上处理器)的集合提供。
已描述各种实例。此些及其它实例处于所附权利要求书的范围内。

Claims (32)

1.一种解码视频数据的方法,所述方法包括:
接收经编码视频流中的调适参数集APS数据结构,所接收APS数据结构包括指示所接收APS数据结构的识别符的语法元素,所接收APS数据结构包含代表用于与所接收APS数据结构相关联的多个切片的一个或多个样本自适应偏移SAO参数的数据,其中与所接收APS数据结构相关联的所述多个切片中的每一者传讯所接收APS数据结构的所述识别符;
将所接收APS数据结构存储于缓冲器中,其中所接收APS数据结构包含可适用于所述多个切片的传讯数据;
基于所接收APS数据结构的所述传讯数据解码所述多个切片;
接收指示可存储于所述缓冲器中的APS数据结构的最大数目的信息;
在解码所述多个切片后,基于所述信息确定所述缓冲器包含所述最大数目的APS数据结构;
基于所述确定从所述缓冲器移除所接收APS数据结构;及
在从所述缓冲器移除所接收APS数据结构后解码所述视频数据的一个或多个额外切片。
2.根据权利要求1所述的方法,其中所接收APS数据结构包含代表所述多个切片的量化矩阵的数据。
3.根据权利要求2所述的方法,其中所接收APS数据结构是第一所接收APS数据结构,第一所接收APS数据结构包括一组数据,且所述多个切片是第一多个切片,所述方法进一步包括使用第一所接收APS数据结构的所述组数据解码一个或多个切片的第二集合,而不从可适用于一个或多个切片的所述第二集合的第二所接收APS数据结构检索所述组数据。
4.根据权利要求3所述的方法,其中所述组数据包括自适应回路滤波器ALF系数。
5.根据权利要求1所述的方法,其中所接收APS数据结构包含代表用于所述多个切片的ALF系数中的一者或多者以上的数据。
6.根据权利要求1所述的方法,其中所接收APS数据结构包含代表用于所述一个或多个切片的图片列表修改数据、参考图片列表组合数据、存储器管理控制操作语法数据及加权预测表中的一者或多者以上的数据。
7.根据权利要求1所述的方法,其中所接收APS数据结构是第一所接收APS数据结构,所述方法进一步包括:
接收第二APS数据结构,其中第二所接收APS数据结构包含指示第二所接收APS数据结构的至少一部分参考第一所接收APS数据结构的对应的部分的信息;及
基于第二所接收APS数据结构的所述信息,使用第一所接收APS数据结构的所述部分的数据解码与第二所接收APS数据结构相关联的切片。
8.根据权利要求7所述的方法,其进一步包括:
接收第三APS数据结构,其中第三所接收APS数据结构包含指示第三所接收APS数据结构的第一部分参考第一所接收APS数据结构的对应的部分及第三所接收APS数据结构的第二不同部分参考第二所接收APS数据结构的对应的部分的信息;及
基于第三所接收APS数据结构的所述信息,使用第一所接收APS数据结构的所述部分的数据及第二所接收APS数据结构的所述部分的数据解码与第三所接收APS数据结构相关联的切片。
9.一种用于解码视频数据的装置,所述装置包括:
存储器,其包括缓冲器;及
视频解码器,其经配置以:
接收调适参数集APS数据结构,所接收APS数据结构包括指示所接收APS数据结构的识别符的语法元素,所接收APS数据结构包含代表用于与所接收APS数据结构相关联的多个切片的一个或多个样本自适应偏移SAO参数的数据,其中与所接收APS数据结构相关联的所述多个切片中的每一者传讯所接收APS数据结构的所述识别符;
将所接收APS数据结构存储于所述缓冲器中,其中所接收APS数据结构包含可适用于所述多个切片的传讯数据;
基于所接收APS数据结构的所述传讯数据解码所述多个切片;
接收指示可存储于所述缓冲器中的APS数据结构的最大数目的信息;
在解码所述多个切片后,基于所述信息确定所述缓冲器包含所述最大数目的APS数据结构;
基于所述确定从所述缓冲器移除所接收APS数据结构;及
在从所述缓冲器移除所接收APS数据结构后解码所述视频数据的一个或多个额外切片。
10.根据权利要求9所述的装置,其中所接收APS数据结构包含代表所述多个切片的量化矩阵的数据。
11.根据权利要求9所述的装置,其中所接收APS数据结构是第一所接收APS数据结构,第一所接收APS数据结构包括一组数据,且所述多个切片是第一多个切片,其中所述视频解码器经进一步配置以使用第一所接收APS数据结构的所述组数据解码一个或多个切片的第二集合,而不从可适用于一个或多个切片的所述第二集合的第二所接收APS数据结构检索所述组数据。
12.根据权利要求11所述的装置,其中所述组数据包括自适应回路滤波器ALF系数。
13.根据权利要求9所述的装置,其中所接收APS数据结构包括第一所接收APS数据结构,且所述视频解码器经配置以:接收第二APS数据结构,其中第二所接收APS数据结构包含指示第二所接收APS数据结构的至少一部分参考第一所接收APS数据结构的对应的部分的信息;
其中所述视频解码器进一步经配置以基于第二所接收APS数据结构的所述信息,使用第一所接收APS数据结构的所述部分的数据解码与第二所接收APS数据结构相关联的切片。
14.一种用于解码视频数据的装置,所述装置包括:
用于接收经编码视频位流中的调适参数集APS数据结构的装置,所接收APS数据结构包括指示所接收APS数据结构的识别符的语法元素,所接收APS数据结构包含代表用于与所接收APS数据结构相关联的多个切片的一个或多个样本自适应偏移SAO参数的数据,其中与所接收APS数据结构相关联的所述多个切片中的每一者传讯所接收APS数据结构的所述识别符;
用于将所接收APS数据结构存储于缓冲器中的装置,其中所接收APS数据结构包含可适用于所述多个切片的传讯数据;
用于基于所接收APS数据结构的所述传讯数据解码所述多个切片的装置;
用于接收指示可存储于所述缓冲器中的APS数据结构的最大数目的信息的装置;
用于在解码所述多个切片后,基于所述信息确定所述缓冲器包含所述最大数目的APS数据结构的装置;
用于基于所述确定从所述缓冲器移除所接收APS数据结构的装置;及
用于在从所述缓冲器移除所接收APS数据结构后解码所述视频数据的一个或多个额外切片的装置。
15.根据权利要求14所述的装置,其中所接收APS数据结构包含代表所述多个切片的量化矩阵的数据。
16.根据权利要求14所述的装置,其中所接收APS数据结构是第一所接收APS数据结构,第一所接收APS数据结构包括一组数据,且所述多个切片是第一多个切片,所述装置包括用于使用第一所接收APS数据结构的所述组数据解码一个或多个切片的第二集合而不从可适用于一个或多个切片的所述第二集合的第二所接收APS数据结构检索所述组数据的装置。
17.根据权利要求15所述的装置,其中所述组数据包括自适应回路滤波器ALF系数。
18.根据权利要求14所述的装置,其中所接收APS数据结构包括第一所接收APS数据结构,所述装置包括:
用于接收第二APS数据结构的装置,其中第二所接收APS数据结构包含指示第二所接收APS数据结构的至少一部分参考第一所接收APS数据结构的对应的部分的信息;及
用于基于第二所接收APS数据结构的所述信息,使用第一所接收APS数据结构的所述部分的数据解码与第二所接收APS数据结构相关联的切片的装置。
19.一种编码视频数据的方法,所述方法包括:
在调适参数集APS数据结构中传讯一个或多个参数,所述APS数据结构包括指示所述APS数据结构的识别符的语法元素,所述APS数据结构中的所述一个或多个参数包括用于所述视频数据的第一多个切片的一个或多个样本自适应偏移SAO参数;
使用所述一个或多个参数编码所述视频数据的所述第一多个切片,所述第一多个切片中的每一切片指定所述APS数据结构的所述识别符;
不参考所述APS数据结构编码所述视频数据的第二多个切片;及
提供指示可存储于缓冲器中的APS数据结构的最大数目的信息。
20.根据权利要求19所述的方法,其中在所述APS数据结构中传讯的所述一个或多个参数包含所述第一多个切片的一个或多个量化矩阵。
21.根据权利要求19所述的方法,其中在所述APS数据结构中传讯的所述一个或多个参数包含一个或多个自适应回路滤波器ALF系数。
22.根据权利要求19所述的方法,其中在所述APS数据结构中传讯的所述一个或多个参数包含用于所述第一多个切片的图片列表修改数据、参考图片列表组合数据、存储器管理控制操作语法数据及加权预测表中的一者或一者以上。
23.根据权利要求19所述的方法,其中所述APS数据结构是第一APS数据结构,所述方法进一步包括:
使用在所述第一APS数据结构中传讯的所述一个或多个参数及未在所述第一APS数据结构中传讯的一个或多个参数编码所述视频数据的切片;
在第二APS数据结构中传讯未在所述第一APS数据结构中传讯的所述一个或多个参数;及
在所述第二APS数据结构中提供指示所述第二APS数据结构的一部分参考所述第一APS数据结构的对应的部分的信息,其中所述对应的部分包括用以编码所述切片的在所述第一APS数据结构中传讯的所述一个或多个参数。
24.根据权利要求23所述的方法,其进一步包括给所述第一APS数据结构指派比随后APS数据结构的优先权值低的优先权值。
25.一种用于编码视频数据的装置,所述装置包括:
数据存储媒体,所述数据存储媒体经配置以存储所述视频数据;及
视频编码器,所述视频编码器经配置以:
在调适参数集APS数据结构中传讯一个或多个参数,所述APS数据结构包括指示所述APS数据结构的识别符的语法元素,所述APS数据结构中的所述一个或多个参数包含代表用于所述视频数据的第一多个切片的一个或多个样本自适应偏移SAO参数的数据;
使用所述一个或多个参数编码所述视频数据的所述第一多个切片,所述第一多个切片中的每一切片指定所述APS数据结构的所述识别符;
不参考所述APS数据结构编码所述视频数据的第二多个切片;及
提供指示可存储于缓冲器中的APS数据结构的最大数目的信息。
26.根据权利要求25所述的装置,其中在所述APS数据结构中传讯的所述一个或多个参数包含所述第一多个切片的一个或多个量化矩阵。
27.根据权利要求25所述的装置,其中在所述APS数据结构中传讯的所述一个或多个参数包含自适应回路滤波器ALF系数、图片列表修改数据、参考图片列表组合数据、存储器管理控制操作语法数据、加权预测表及量化矩阵中的一者或一者以上。
28.根据权利要求25所述的装置,其中所述APS数据结构是第一APS数据结构,其中所述视频编码器经进一步配置以:
使用在所述第一APS数据结构中传讯的所述一个或多个参数及未在所述第一APS数据结构中传讯的一个或多个参数编码所述视频数据的切片;
在第二APS数据结构中传讯未在所述第一APS数据结构中传讯的所述一个或多个参数;及
在所述第二APS数据结构中提供指示所述第二APS数据结构的一部分参考所述第一APS数据结构的对应的部分的信息,其中所述对应的部分包括用以编码所述切片的在所述第一APS数据结构中传讯的所述一个或多个参数。
29.一种用于编码视频数据的装置,所述装置包括:
用于在调适参数集APS数据结构中传讯一个或多个参数的装置,所述APS数据结构包括指示所述APS数据结构的识别符的语法元素,所述APS数据结构中的所述一个或多个参数包括代表用于所述视频数据的第一多个切片的一个或多个样本自适应偏移SAO参数的数据;
用于使用所述一个或多个参数编码所述视频数据的所述第一多个切片的装置,所述第一多个切片中的每一切片指定所述APS数据结构的所述识别符;
用于不参考所述APS数据结构编码所述视频数据的第二多个切片的装置;及
用于提供指示可存储于缓冲器中的APS数据结构的最大数目的信息的装置。
30.根据权利要求29所述的装置,其中在所述APS数据结构中传讯的所述一个或多个参数包含所述第一多个切片的一个或多个量化矩阵。
31.根据权利要求29所述的装置,其中在所述APS数据结构中传讯的所述一个或多个参数包含自适应回路滤波器ALF系数、图片列表修改数据、参考图片列表组合数据、存储器管理控制操作语法数据、加权预测表及量化矩阵中的一者或一者以上。
32.根据权利要求29所述的装置,其中所述APS数据结构包括第一APS数据结构,所述装置包括:
用于使用在所述第一APS数据结构中传讯的一个或多个参数及未在所述第一APS数据结构中传讯的一个或多个参数编码所述视频数据的切片的装置;
用于在第二APS数据结构中传讯未在所述第一APS数据结构中传讯的所述一个或多个参数的装置;及
用于在所述第二APS数据结构中提供指示所述第二APS数据结构的一部分参考所述第一APS数据结构的对应的部分的信息的装置,其中所述对应的部分包括用以编码所述切片的在所述第一APS数据结构中传讯的所述一个或多个参数。
CN201280035481.9A 2011-07-18 2012-07-16 用于视频译码的调适参数集 Expired - Fee Related CN103688547B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201161509015P 2011-07-18 2011-07-18
US61/509,015 2011-07-18
US201161511477P 2011-07-25 2011-07-25
US61/511,477 2011-07-25
US201161540907P 2011-09-29 2011-09-29
US61/540,907 2011-09-29
US13/548,742 2012-07-13
US13/548,742 US9277228B2 (en) 2011-07-18 2012-07-13 Adaptation parameter sets for video coding
PCT/US2012/046895 WO2013012792A2 (en) 2011-07-18 2012-07-16 Adaptation parameter sets for video coding

Publications (2)

Publication Number Publication Date
CN103688547A CN103688547A (zh) 2014-03-26
CN103688547B true CN103688547B (zh) 2017-02-15

Family

ID=47555721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280035481.9A Expired - Fee Related CN103688547B (zh) 2011-07-18 2012-07-16 用于视频译码的调适参数集

Country Status (8)

Country Link
US (1) US9277228B2 (zh)
EP (1) EP2735149B1 (zh)
JP (1) JP5886425B2 (zh)
KR (1) KR101548470B1 (zh)
CN (1) CN103688547B (zh)
IN (1) IN2014MN00007A (zh)
TW (1) TW201313026A (zh)
WO (1) WO2013012792A2 (zh)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5761993B2 (ja) 2010-12-28 2015-08-12 キヤノン株式会社 アクセスポイント探索装置、アクセスポイントの探索方法、およびプログラム
WO2013031315A1 (ja) * 2011-08-30 2013-03-07 ソニー株式会社 画像処理装置及び画像処理方法
CA2847296C (en) 2011-10-17 2017-09-19 Kabushiki Kaisha Toshiba Encoding device, decoding device, encoding method, and decoding method
CN103096047B (zh) * 2011-11-01 2018-06-19 中兴通讯股份有限公司 一种分片层参数集解码及编码方法和装置
JP2014197723A (ja) * 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
RU2584501C1 (ru) * 2012-04-16 2016-05-20 Нокиа Текнолоджиз Ой Способ и устройство для видеокодирования
US9979959B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
US9736476B2 (en) 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
US9516308B2 (en) 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
US9479776B2 (en) 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
US9344717B2 (en) * 2012-08-06 2016-05-17 Mediatek Inc. Method and apparatus for sample adaptive offset in a video decoder
US9516306B2 (en) * 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
WO2014163241A1 (ko) 2013-04-02 2014-10-09 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
EP3055998A1 (en) * 2013-10-11 2016-08-17 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
US10264272B2 (en) * 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9031138B1 (en) * 2014-05-01 2015-05-12 Google Inc. Method and system to combine multiple encoded videos for decoding via a video docoder
US9955159B2 (en) * 2014-10-31 2018-04-24 Google Llc Multi-video decoding with input switching
SG11201703015PA (en) * 2014-10-31 2017-05-30 Mediatek Inc Method of improved directional intra prediction for video coding
US11064195B2 (en) 2016-02-15 2021-07-13 Qualcomm Incorporated Merging filters for multiple classes of blocks for video coding
EP3563571A4 (en) 2016-12-30 2020-02-12 Telefonaktiebolaget LM Ericsson (publ) DECODED IMAGE BUFFER MEMORY MANAGEMENT FOR PROCESSING PREDICTION OF CROSS IMAGE DATA
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US11451773B2 (en) * 2018-06-01 2022-09-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) design and signaling
US11284075B2 (en) * 2018-09-12 2022-03-22 Qualcomm Incorporated Prediction of adaptive loop filter parameters with reduced memory consumption for video coding
US11051017B2 (en) 2018-12-20 2021-06-29 Qualcomm Incorporated Adaptive loop filter (ALF) index signaling
KR20210117327A (ko) 2019-01-25 2021-09-28 미디어텍 인크. 비디오 코딩에서 비선형 적응적 루프 필터링을 위한 방법 및 장치
CN113475079A (zh) 2019-02-01 2021-10-01 北京字节跳动网络技术有限公司 环路整形和帧内块复制之间的相互作用
KR20210118400A (ko) 2019-02-01 2021-09-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 루마 종속적 크로마 잔차 스케일링의 구성
WO2020175893A1 (ko) 2019-02-28 2020-09-03 엘지전자 주식회사 Aps 시그널링 기반 비디오 또는 영상 코딩
CN113475072B (zh) * 2019-03-04 2023-12-15 北京字节跳动网络技术有限公司 视频处理中滤波信息的信令
KR20230004921A (ko) * 2019-03-07 2023-01-06 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
KR102491959B1 (ko) * 2019-03-11 2023-01-27 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
WO2020185813A1 (en) * 2019-03-11 2020-09-17 Tencent America LLC Tile and sub-picture partitioning
SG11202108935YA (en) * 2019-03-11 2021-09-29 Tencent America LLC Signaling of adaptive picture size in video bitstream
CN117499644A (zh) 2019-03-14 2024-02-02 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
US20220132110A1 (en) * 2019-03-23 2022-04-28 Lg Electronics Inc. Filtering-based video or image coding comprising mapping
WO2020192614A1 (en) * 2019-03-23 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Restrictions on adaptive-loop filtering parameter sets
TWI739386B (zh) * 2019-04-11 2021-09-11 聯發科技股份有限公司 具有適應性參數集之適應性迴路濾波器
US11368684B2 (en) * 2019-04-23 2022-06-21 Qualcomm Incorporated Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters
WO2020216380A1 (en) * 2019-04-26 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Prediction of parameters for in-loop reshaping
US11166033B2 (en) * 2019-06-06 2021-11-02 Qualcomm Incorporated Adaptation parameter set in access unit in video coding
KR20220003115A (ko) * 2019-06-24 2022-01-07 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
WO2021006632A1 (ko) * 2019-07-08 2021-01-14 엘지전자 주식회사 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
JP7377953B2 (ja) * 2019-08-19 2023-11-10 フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ アクセスユニットデリミタおよび適応パラメータセットの使用
WO2021045765A1 (en) * 2019-09-05 2021-03-11 Huawei Technologies Co., Ltd. Efficient adaptive loop filter parameter signaling in video coding
EP4080886A4 (en) * 2019-12-20 2024-02-21 Lg Electronics Inc PREDICTION WEIGHTED TABLE BASED IMAGE/VIDEO CODING METHOD AND APPARATUS
GB2590636B (en) * 2019-12-20 2024-01-10 Canon Kk High level syntax for video coding and decoding
KR20220098005A (ko) * 2019-12-20 2022-07-08 엘지전자 주식회사 가중된 예측에 기반한 영상/비디오 코딩 방법 및 장치
US11303914B2 (en) * 2020-01-08 2022-04-12 Tencent America LLC Method and apparatus for video coding
EP4097979A4 (en) 2020-02-29 2023-07-26 Beijing Bytedance Network Technology Co., Ltd. RESTRICTIONS ON HIGH-LEVEL SYNTAX ELEMENTS
EP4104438A4 (en) * 2020-03-11 2023-08-16 Beijing Bytedance Network Technology Co., Ltd. ADAPTIVE LOOP FILTERING
CN115428444A (zh) * 2020-04-01 2022-12-02 抖音视界有限公司 对自适应参数集语法元素的约束
CN115606183A (zh) 2020-04-07 2023-01-13 抖音视界有限公司(Cn) 参考图片环绕的剪裁操作
JP2023521588A (ja) 2020-04-09 2023-05-25 北京字節跳動網絡技術有限公司 映像コーディングにおけるデブロッキング信号通知
CN115486064A (zh) 2020-04-10 2022-12-16 抖音视界有限公司 标头语法元素和自适应参数集的使用
WO2021208899A1 (en) * 2020-04-13 2021-10-21 Beijing Bytedance Network Technology Co., Ltd. General constraint information in video coding
WO2021209061A1 (en) 2020-04-17 2021-10-21 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
WO2021213357A1 (en) * 2020-04-20 2021-10-28 Beijing Bytedance Network Technology Co., Ltd. Adaptive color transform in video coding
KR20230002447A (ko) 2020-04-26 2023-01-05 바이트댄스 아이엔씨 비디오 코딩 신택스 요소의 조건적 시그널링
CN115804092A (zh) 2020-05-22 2023-03-14 抖音视界有限公司 通用约束标志的信令
KR20230024340A (ko) * 2020-06-10 2023-02-20 엘지전자 주식회사 Aps에 대한 식별자를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2021251752A1 (ko) * 2020-06-10 2021-12-16 엘지전자 주식회사 최대 시간 식별자에 기반하여 서브 비트스트림 추출과정을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체
WO2021256382A1 (ja) * 2020-06-15 2021-12-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
WO2021056002A2 (en) * 2020-12-09 2021-03-25 Futurewei Technologies, Inc. Media packetization for network qualitative communication
US20230224465A1 (en) * 2022-01-13 2023-07-13 Tencent America LLC Cross-Channel Prediction based on Multiple Prediction Modes

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1871854A (zh) * 2003-09-05 2006-11-29 康奈克森特系统公司 具有压缩图像与视频的低启动时延的假想参考解码器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181742B1 (en) * 1998-01-26 2001-01-30 International Business Machines Corporation Single pass target allocation for video encoding
US7751628B1 (en) 2001-12-26 2010-07-06 Reisman Richard R Method and apparatus for progressively deleting media objects from storage
US7852919B2 (en) 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US20060159352A1 (en) 2005-01-18 2006-07-20 Faisal Ishtiaq Method and apparatus for encoding a video sequence
WO2008144926A1 (en) * 2007-06-01 2008-12-04 Research In Motion Limited Method and apparatus for multi-part interactive compression
US8265144B2 (en) 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US8611435B2 (en) 2008-12-22 2013-12-17 Qualcomm, Incorporated Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
WO2011050641A1 (en) 2009-10-28 2011-05-05 Mediatek Singapore Pte. Ltd. Video coding methods and video encoders and decoders with localized weighted prediction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1871854A (zh) * 2003-09-05 2006-11-29 康奈克森特系统公司 具有压缩图像与视频的低启动时延的假想参考解码器

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Adaptation Parameter Set(APS);Stephan Wenger et al;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting:JCTVC-F747》;20110717;第1、4.1.4、4.2.1节 *
CE4: Improvement on efficiency of high-level syntax in adaptive ROI conditions;Zhongkang Lu;《Joint Video Team (JVT) of ISO/IEC MPEG&ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)18th Meeting:JVT-R043》;20060120;全文 *
Parameter set updates using conditional replacement;Stephan Wenger;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting:JCTVC-E309》;20110323;第1节 *
Quantization Matrix for HEVC;Junichi Tanaka;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting:JCTVC-E073》;20110223;全文 *
Slice parameter set;Stephan Wenger et al;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting:JCTVC-E281》;20110323;全文 *

Also Published As

Publication number Publication date
KR101548470B1 (ko) 2015-08-28
EP2735149A2 (en) 2014-05-28
WO2013012792A2 (en) 2013-01-24
JP5886425B2 (ja) 2016-03-16
IN2014MN00007A (zh) 2015-06-12
KR20140056277A (ko) 2014-05-09
CN103688547A (zh) 2014-03-26
TW201313026A (zh) 2013-03-16
EP2735149B1 (en) 2015-11-04
JP2014525197A (ja) 2014-09-25
US20130022104A1 (en) 2013-01-24
WO2013012792A3 (en) 2013-12-19
US9277228B2 (en) 2016-03-01

Similar Documents

Publication Publication Date Title
CN103688547B (zh) 用于视频译码的调适参数集
CN103975596B (zh) 用于视频译码的瓦片的分组
CN103299627B (zh) 视频译码中的帧分裂
CN103828374B (zh) 参考图片信令和经解码图片缓冲器管理
CN105103560B (zh) 用于仅高级语法可缩放视频译码的层间参考图片限制
CN106464922B (zh) 处理视频数据的方法和设备及计算机可读介质
CN104823449B (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
CN106464920B (zh) 用于在参数集中用信号表示层集合的信息的系统和方法
CN104704841B (zh) 编码和解码视频数据的方法和装置及计算机可读存储介质
CN104685887B (zh) 于视频译码中发信用于操作点的层识别符
CN104904208B (zh) 用于视频译码中的随机存取的视频缓冲操作
CN104221374A (zh) 在视频译码中分群经旁路译码语法元素
CN103891279A (zh) 用于帧内预测译码的最大概率变换
CN105379272B (zh) 在vps中用信号通知位速率信息及图片速率信息
CN104221387A (zh) 在视频译码中的低延迟视频缓冲
CN103947207A (zh) 用于图片分割方案的统一设计
CN103891293A (zh) 用于色度分量的自适应环路滤波
CN106464917A (zh) 用信号表示用于位流分区的hrd参数
CN104704843A (zh) 视频性质的指示
CN104685890B (zh) 用于处理和编码多层视频数据的方法、装置和设备
CN104956676B (zh) 层间语法预测控制
CN105637863A (zh) 用于视频信息的可缩放译码的装置和方法
CN103416074B (zh) 视频编解码器中的缓冲器管理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170215

Termination date: 20190716

CF01 Termination of patent right due to non-payment of annual fee