CN104488267B - 用于译码视频的方法和装置 - Google Patents

用于译码视频的方法和装置 Download PDF

Info

Publication number
CN104488267B
CN104488267B CN201380032634.9A CN201380032634A CN104488267B CN 104488267 B CN104488267 B CN 104488267B CN 201380032634 A CN201380032634 A CN 201380032634A CN 104488267 B CN104488267 B CN 104488267B
Authority
CN
China
Prior art keywords
block
tiling
video
wpp
inlet point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380032634.9A
Other languages
English (en)
Other versions
CN104488267A (zh
Inventor
穆罕默德·蔡德·科班
王益魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104488267A publication Critical patent/CN104488267A/zh
Application granted granted Critical
Publication of CN104488267B publication Critical patent/CN104488267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述可使视频译码器能够同时实施多个并行处理机制的技术,所述多个并行处理机制包含波前并行处理WPP、平铺块及熵切片中的两者或两者以上。本发明描述不仅与仅允许一次实施一个并行处理机制的译码标准兼容而且与可允许同时实施一个以上并行处理机制的可能的未来译码标准兼容的信号发送技术。本发明还描述可使WPP及平铺块能够同时实施的限制。

Description

用于译码视频的方法和装置
本发明主张于2012年6月29日申请的第61/666,617号美国临时申请案的权利,所述申请案的全部内容以引用的方式并入。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中,所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术,例如在以下各者中所描述的那些技术:由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(高级视频译码(AVC))定义的标准、目前在开发中的高效率视频译码(HEVC)标准及此些标准的扩展。视频装置可通过实施此些视频压缩技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码,可将视频切片(即,视频帧或视频帧的部分)分割成视频块,视频块还可被称作树型块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测,或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧,且参考图片可被称作参考帧。
空间或时间预测产生待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码经帧间译码块。根据帧内译码模式及残余数据来编码经帧内译码块。为了进一步压缩,可将残余数据从像素域变换到变换域,从而产生接着可经量化的残余变换系数。可按次序扫描最初布置成二维阵列的经量化变换系数以产生变换系数的一维向量,且可应用熵译码以达成甚至更多压缩。
发明内容
本发明描述可使视频译码器能够同时实施多个并行处理机制的技术,多个并行处理机制包含波前并行处理(WPP)、平铺块及熵切片中的两者或两者以上。本发明描述不仅与仅允许一次实施一个并行处理机制的译码标准兼容而且与可允许同时实施一个以上并行处理机制的可能的未来译码标准兼容的信号发送技术。
在一实例中,一种解码视频数据的方法包含:接收包括一或多个第一位及一或多个第二位的参数集,其中所述一或多个第一位指示是否针对一系列视频块启用平铺块,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理(WPP);及基于所述参数集解码所述系列视频块。
在另一实例中,一种用于解码视频数据的装置,所述装置包含:用于接收包括一或多个第一位及一或多个第二位的参数集的装置,其中所述一或多个第一位指示是否针对一系列视频块启用平铺块,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理(WPP);及用于基于所述参数集解码所述系列视频块的装置。
在另一实例中,一种用于解码视频数据的装置包含:用于接收参数集中的一或多个第一位的装置,其中所述一或多个第一位指示是否针对一系列视频块启用平铺块;及用于接收所述参数集中的一或多个第二位的装置,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理(WPP)。
在另一实例中,一种计算机可读存储媒体存储指令,所述指令在由一或多个处理器执行时使所述一或多个处理器进行以下操作:接收包括一或多个第一位及一或多个第二位的参数集,其中所述一或多个第一位指示是否针对一系列视频块启用平铺块,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理(WPP);及基于所述参数集解码所述系列视频块。
在另一实例中,一种编码视频数据的方法包含:产生参数集中的一或多个第一位,其中所述一或多个第一位指示是否针对一系列视频块启用平铺块;及产生所述参数集中的一或多个第二位,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理(WPP)。
在另一实例中,一种用于编码视频数据的装置包含视频编码器,所述视频编码器经配置以进行以下操作:接收参数集中的一或多个第一位,其中所述一或多个第一位指示是否针对一系列视频块启用平铺块;及接收所述参数集中的一或多个第二位,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理(WPP)。
在另一实例中,一种用于编码视频数据的装置包含:用于产生参数集中的一或多个第一位的装置,其中所述一或多个第一位指示是否针对一系列视频块启用平铺块;及用于产生所述参数集中的一或多个第二位的装置,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理(WPP)。
在另一实例中,一种计算机可读存储媒体存储指令,所述指令在由一或多个处理器执行时使所述一或多个处理器进行以下操作:产生参数集中的一或多个第一位,其中所述一或多个第一位指示是否针对一系列视频块启用平铺块;及产生所述参数集中的一或多个第二位,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理(WPP)。
一或多个实例的细节陈述于随附图式及以下描述中。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书显而易见。
附图说明
图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统的框图。
图2为说明经分成数个波前的实例图片的概念图。
图3为展示帧的平铺块的概念图。
图4为说明实例位流的概念图。
图5展示说明根据本发明的技术的平铺块与波前并行处理(WPP)的共存的概念图。
图6为说明可实施本发明中所描述的技术的实例视频编码器的框图。
图7为说明可实施本发明中所描述的技术的实例视频解码器的框图。
图8为说明本发明的技术的流程图。
具体实施方式
本发明描述可允许在新兴的高效率视频译码(HEVC)标准中的多个并行处理机制的共存的设计技术,所述高效率视频译码(HEVC)标准是由ITU-T视频译码专家群(VCEG)及ISO/IEC运动图片专家群(MPEG)的视频译码联合工作小组(JCT-VC)开发。HEVC的各种提议实施若干并行处理机制,包含波前并行处理(WPP)、平铺块及熵切片,但此些并行处理机制大体上彼此独立地实施。举例来说,可使用WPP或平铺块中的一者但不使用WPP及平铺块两者来编码一系列视频块。本发明介绍以下信号发送技术:可允许视频译码器(例如,视频编码器或视频解码器)使用WPP、平铺块及熵切片将图片彼此独立地译码(如HEVC中所指定),同时还允许视频译码器实施可同时启用WPP、平铺块及熵切片中的两者或两者以上的HEVC标准的可能的未来版本及扩展。作为一实例,使用本发明的技术,视频译码器可经配置以同时实施平铺块及WPP两者,此情形与仅实施平铺块及WPP中的一者形成对比。
当实施WPP时,视频译码器(例如,视频编码器或视频解码器)可将图片分割成多个波前,其中每一波前对应于图片的块(例如,最大译码单元(LCU))的列。贯穿本发明,波前还可被称作WPP子流、WPP流或波前子流。视频译码器可实质上并行地译码波前。举例来说,视频译码器可与图片的第二波前的块并行地译码图片的第一波前的块。
在一些实例中,视频译码器可将切片的译码单元(CU)分成被称作“子流”或“子切片”的较小群组。视频译码器可将切片的CU分成各种类型的子流。举例来说,视频译码器可将切片的CU分成多个平铺块。视频译码器可通过定义图片的两个或两个以上水平边界及图片的两个或两个以上垂直边界将CU分成平铺块。水平边界可包含图片的顶边缘及底边缘。垂直边界可包含图片的左侧边及右侧边。当视频译码器不使用平铺块时,视频译码器可以光栅扫描次序编码帧的所有树型块。然而,当视频译码器使用平铺块时,视频译码器可以光栅扫描次序译码平铺块。当视频译码器译码平铺块时,视频译码器可以光栅扫描次序译码平铺块内的树型块(即,LCU)。因此,视频译码器可使用平铺块来改变图片的树型块的编码次序。
在HEVC WD7中,不允许平铺块、波前及熵切片的共存。然而,本发明预期可存在以下状况:此些机制(例如,平铺块及波前)中的两者或两者以上的共存可潜在地改进视频译码且可潜在地经添加到HEVC的未来版本或扩展。因此,本发明描述支持HEVC架构内的多个并行处理机制的共存使用的信号发送技术。在本发明中所介绍的各种技术当中,本发明描述用于以下情形的技术:在针对视频数据的部分启用平铺块的情况下通过用于视频数据的所述部分的参数集中的一或多个第一位来用信号发送,在针对视频数据的所述部分启用WPP的情况下通过一或多个第二位来用信号发送,及/或在针对视频数据的所述部分启用熵切片的情况下通过一或多个第三位来用信号发送。
此些信号发送技术与将视频数据的译码仅限于一并行处理机制(例如,平铺块、WPP及熵切片中的一者)的HEVC版本兼容,同时还使HEVC的未来版本及扩展能够同时启用一个以上并行处理机制。因此,HEVC的未来版本及扩展允许同时实施一个以上并行处理机制,用于用信号发送平铺块、WPP及熵切片的语法可能无需更改,因此减少使视频译码器与未来版本或扩展兼容将需要的重新配置的量,且可能甚至在无需重新配置的情况下使视频译码器向后兼容。
在HEVC WD7中,在图片参数集(PPS)中用信号发送平铺块或WPP的存在。两位语法元素用以识别以下四个可能情形中的一者—1)启用WPP,2)启用平铺块,3)启用熵切片,或4)1到3中无一者经启用。为剖析或解码多个平铺块或波前,视频解码器可需要确定与波前或平铺块相关联的经编码语法元素在经译码切片网络抽象层(NAL)单元内的位置。换句话说,视频解码器可需要确定波前或平铺块的“进入点”。举例来说,解码器可需要确定与第一波前或第一平铺块相关联的经编码语法元素在何处开始,与第二波前或平铺块相关联的经编码语法元素在何处开始,等等。在WD7中,因为不允许平铺块与WPP的共存,所以在切片标头中用信号发送的进入点的类型方面不存在不明确性。如果在PPS中平铺块经启用,那么视频解码器知道切片标头中的进入点为平铺块进入点。如果在PSS中WPP经启用,那么视频解码器知道切片标头中的进入点为WPP进入点。
为了有效地实现平铺块与波前的共存,本发明提议实施以下限制:当WPP及平铺块两者经启用时,平铺块开始新切片(具有切片标头)。另外,本发明提议:如果平铺块及WPP两者在图片中经启用,那么每一波前在平铺块内。如果平铺块与WPP的共存不存在,那么无需强加此些限制,且可使用现有技术。因此,根据本发明的技术,如果平铺块及WPP两者在图片中经启用,那么波前可在不横跨平铺块的情况下存在于平铺块中。如果平铺块与波前两者在图片中共存,那么切片标头中用信号发送的进入点可为WPP进入点。如果平铺块及WPP中的仅一者在图片中经启用,那么切片标头中用信号发送的进入点可如在HEVC WD7规范中对应于平铺块或WPP(如PPS中所指示)。
为实现WPP与平铺块两者的共存,本发明进一步提议平铺块及WPP两者经启用的信号发送(例如,在PPS中)。此信号发送可(例如)包含用可另外用信号发送WPP及平铺块两者的存在以及仅平铺块或仅WPP的存在的3位语法元素替代上文描述的2位语法元素。
图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统10的框图。如下文将较详细地解释,系统10可使用多个并行处理机制(例如,平铺块及WPP两者)来同时译码(编码及解码两者)视频块。如图1中所展示,系统10包含源装置12,源装置12产生稍后待由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者,包含桌上型计算机、笔记型(即,膝上型)计算机、平板型计算机、机顶盒、电话手持机(例如,所谓的“智能”电话)、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置,或其类似者。在一些状况下,源装置12及目的地装置14可经装备以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一实例中,链路16可包括用以使源装置12能够实时将经编码视频数据直接发射到目的地装置14的通信媒体。可根据通信标准(例如,无线通信协议)调制经编码视频数据,且将经编码视频数据发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如,局域网、广域网或例如因特网等全球网络)的部分。通信媒体可包含路由器、交换器、基站或可有用于促进从源装置12到目的地装置14的通信的任何其它设备。
或者,经编码数据可从输出接口22输出到存储装置34。类似地,经编码数据可通过输入接口从存储装置34存取。存储装置34可包含多种分散式或本地存取的数据存储媒体中的任一者,例如硬盘、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器,或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中,存储装置34可对应于文件服务器或可保持由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置34存取所存储视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含web服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、缆线调制解调器等)或两者的组合。经编码视频数据从存储装置34的传输可为流式传输、下载传输或两者的组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码,所述视频译码支持例如以下各者等多种多媒体应用中的任一者:空中电视广播、有线电视传输、卫星电视传输、流式视频传输(例如,经由因特网)、编码数字视频以用于存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频,或其它应用。在一些实例中,系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
在图1的实例中,源装置12包含视频源18、视频编码器20及输出接口22。在一些状况下,输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中,视频源18可包含例如以下各者等源:视频俘获装置(例如,摄像机)、含有先前俘获的视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口,及/或用于产生计算机图形数据作为源视频的计算机图形系统,或此些源的组合。作为一实例,如果视频源18为摄像机,那么源装置12与目的地装置14可形成所谓的相机电话或视频电话。然而,一般来说,本发明中所描述的技术可适用于视频译码,且可应用于无线及/或有线应用。
经俘获、经预先俘获或经计算机产生的视频可由视频编码器20来编码。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。还可(或替代地)将经编码视频数据存储到存储装置34上以供稍后由目的地装置14或其它装置存取以用于解码及/或播放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些状况下,输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置34上提供的经编码视频数据可包含由视频编码器20产生以供例如视频解码器30的视频解码器使用以解码视频数据的多种语法元素。可在发射于通信媒体上、存储于存储媒体上或存储于文件服务器上的经编码视频数据中包含此些语法元素。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中,目的地装置14可包含集成式显示装置,且还经配置以与外部显示装置介接。在其它实例中,目的地装置14可为显示装置。一般来说,显示装置32向用户显示经解码视频数据,且可包括多种显示装置中的任一者,例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
系统10可根据不同视频译码标准来操作。举例来说,视频编码器20及视频解码器30可根据视频压缩标准来操作,例如包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-TH.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(还称为ISO/IEC MPEG-4AVC),包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。在“用于通用视听服务的先进视频译码(Advanced video coding for generic audiovisualservices)”(ITU-T国际标准H.264,2010年3月)中描述MVC扩展的较新近公开可得的联合草案。在“用于通用视听服务的先进视频译码(Advanced video coding for genericaudiovisual services)”(ITU-T国际标准H.264,2011年6月)中描述MVC扩展的较新近公开可得的联合草案。从2012年1月起已批准MVC扩展的联合草案。
另外,存在新的视频译码标准,即,目前由ITU-T视频译码专家群(VCEG)及ISO/IEC运动图片专家群(MPEG)的视频译码联合工作小组(JCT-VC)开发中的高效率视频译码(HEVC)标准。HEVC的一工作草案为文献HCTVC-I1003:Bross等人的“高效率视频译码(HEVC)文本规范草案7(High Efficiency Video Coding(HEVC)Text Specification Draft 7)”(ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合工作小组(JCT-VC)的第9次会议(Geneva,Switzerland),2012年4月27日到2012年5月7日)。此文献被称作HEVC WD7,且从2013年3月14日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v6.zip下载。
出于描述的目的,在HEVC或H.264标准及此些标准的扩展的上下文中描述视频编码器20及视频解码器30。然而,本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2及ITU-T H.263。专属译码技术(例如,称作On2VP6/VP7/VP8的那些技术)还可实施本文中所描述的技术中的一或多者。
尽管未在图1中展示,但在一些方面中,视频编码器20及视频解码器30可各自与音频编码器及解码器集成,且可包含适当MUX-DEMUX单元或其它硬件及软件以处置共同数据流或单独数据流中的音频及视频两者的编码。如果适用,那么在一些实例中,MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可实施为多种合适编码器电路中的任一者,例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。在所述技术部分地以软件实施时,装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器以硬件执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中,其中的任一者可作为组合式编码器/解码器(CODEC)的部分而集成于相应装置中。
JCT-VC致力于HEVC标准的开发。HEVC标准化努力是基于视频译码装置的演进模型,其被称作HEVC测试模型(HM)。HM假设视频译码装置相对于根据(例如)ITU-T H.264/AVC的现有装置的若干额外能力。举例来说,H.264提供九个帧内预测编码模式,而HM可提供多达三十三个帧内预测编码模式。
一般来说,HM的工作模型描述可将视频帧或图片划分成包含亮度样本及色度样本两者的树型块或最大译码单元(LCU)的序列。树型块具有与H.264标准的宏块的目的类似的目的。切片包含按译码次序的数个连续树型块。可将视频帧或图片分割成一或多个切片。每一树型块可根据四分树而分裂成译码单元(CU)。举例来说,树型块(作为四分树的根节点)可分裂成四个子代节点,且每一子代节点又可为亲代节点,且分裂成另外四个子代节点。作为四分树的叶节点的最终不可分裂子代节点包括译码节点,即,经译码视频块。与经译码位流相关联的语法数据可定义树型块可分裂的最大次数,且还可定义译码节点的最小大小。
CU包含译码节点及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且形状必须为正方形。CU的大小可在从8×8个像素直到最大64×64个像素或更大的树型块的大小的范围内。每一CU可含有一或多个PU及一或多个TU。举例来说,与CU相关联的语法数据可描述CU到一或多个PU的分割。分割模式可视CU是经跳过或直接模式编码、经帧内预测模式编码还是经帧间预测模式编码而不同。PU可分割成形状为非正方形。举例来说,与CU相关联的语法数据还可描述CU根据四分树到一或多个TU的分割。TU的形状可为正方形或非正方形。
HEVC标准允许根据TU的变换,所述变换对于不同CU可为不同的。通常基于针对经分割LCU定义的给定CU内的PU的大小而设定TU的大小,但此可不总是为所述状况。TU的大小通常与PU相同或小于PU。在一些实例中,可使用被称作“残余四分树”(RQT)的四分树结构将对应于CU的残余样本再分成较小单元。RQT的叶节点可被称作变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数,变换系数可被量化。
一般来说,PU包含与预测过程有关的数据。举例来说,在PU以帧内模式编码时,PU可包含描述PU的帧内预测模式的数据。作为另一实例,在PU以帧间模式编码时,PU可包含定义PU的运动向量的数据。举例来说,定义PU的运动向量的数据可描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片,及/或运动向量的参考图片列表(例如,列表0、列表1或列表C)。
一般来说,TU用于变换过程及量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测之后,视频编码器20可计算对应于PU的残余值。残余值包括像素差值,像素差值可变换成变换系数、经量化且使用TU扫描以产生串行化变换系数以用于熵译码。本发明通常使用术语“视频块”来指代CU的译码节点。在一些特定状况下,本发明还可使用术语“视频块”来指代包含译码节点及PU以及TU的树型块,即,LCU或CU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)通常包括一系列一或多个视频图片。GOP可在GOP的标头中、图片中的一或多者的标头中或别处包含语法数据,所述语法数据描述包含于GOP中的图片的数目。图片的每一切片可包含切片语法数据,其描述相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小,且可根据指定译码标准而在大小上不同。
作为一实例,HM支持以各种PU大小进行预测。假定特定CU的大小为2N×2N,HM支持以2N×2N或N×N的PU大小进行帧内预测,及以2N×2N、2N×N、N×2N或N×N的对称PU大小进行帧间预测。HM还支持以2N×nU、2N×nD、nL×2N及nR×2N的PU大小进行帧间预测的不对称分割。在不对称分割中,CU的一方向未分割,而另一方向分割成25%及75%。对应于25%分割区的CU的部分由“n”后跟着“上”、“下”、“左”或“右”的指示来指示。因此,例如,“2N×nU”指代在水平方向上以顶部2N×0.5N PU及底部2N×1.5N PU分割的2N×2N CU。
在本发明中,“N×N”与“N乘N”可互换使用以指代按照垂直及水平尺寸的视频块的像素尺寸,例如,16×16像素或16乘16像素。一般来说,16×16块在垂直方向上将具有16个像素(y=16)且在水平方向上将具有16个像素(x=16)。同样地,N×N块通常在垂直方向上具有N个像素,且在水平方向上具有N个像素,其中N表示非负整数值。可将块中的像素布置成行及列。此外,块未必需要在水平方向上与在垂直方向上具有相同数目个像素。举例来说,块可包括N×M个像素,其中M未必等于N。
在使用CU的PU的帧内预测性或帧间预测性译码之后,视频编码器20可计算CU的TU的残余数据。PU可包括空间域(还被称作像素域)中的像素数据,且TU可包括在将变换(例如,离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)应用于残余视频数据之后的变换域中的系数。残余数据可对应于以下两者之间的像素差:未经编码图片的像素,及对应于PU的预测值。视频编码器20可形成包含CU的残余数据的TU,且接着变换TU以产生CU的变换系数。
在任何变换以产生变换系数之后,视频编码器20可执行变换系数的量化。量化通常指代如下过程:对变换系数进行量化以可能减少用以表示系数的数据的量,从而提供进一步压缩。量化过程可减小与系数中的一些或全部相关联的位深度。举例来说,可在量化期间将n位值降值舍位到m位值,其中n大于m。
在一些实例中,视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可经熵编码的串行化向量。在其它实例中,视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来熵编码一维向量。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
为了执行CABAC,视频编码器20可将上下文模型内的上下文指派给待发射的符号。上下文可与(例如)符号的相邻值是否为非零有关。为了执行CAVLC,视频编码器20可选择待发射的符号的可变长度码。VLC中的码字可经建构以使得相对较短码对应于更有可能的符号,而较长码对应于较不可能的符号。以此方式,相比(例如)针对待发射的每一符号使用相等长度码字,VLC的使用可达成位节省。概率确定可基于指派给符号的上下文。
本发明介绍允许多个并行处理机制(例如,HEVC中的平铺块及波前并行处理两者)的受限共存的技术。WPP实现以波前方式并行地处理多个LCU行,其中在所述波前的开始之间存在两个译码树型块(CTB)延迟。在WD7中,存在每一CTB行一波前的限制,其中到波前子流的开始的位流进入点是在同一经译码切片NAL单元中的波前之前在切片标头中用信号发送。CTB还被称作最大译码单元(LCU)。
图2为说明分成波前150到160的实例图片100的概念图。波前150到160中的每一者包含数个块。应注意,图片100可包含额外波前,且每一波前可包含除所展示的那些块外的额外块。所述块中的每一者可对应于(例如)LCU。
视频译码器(例如,视频编码器20及视频解码器30)可经配置以并行地译码波前150到160。视频编码器20可在已译码上方波前的两个块之后开始译码波前。图2说明如下块:在所述块之后可使用由相对水平的弯曲箭头连接的黑点来译码波前。举例来说,可在已译码波前154的块128之后译码波前156的块134。作为一实例,视频译码器可并行地译码以“X”标记的块(即,块116、124、132及136)中的每一者。在图2的实例中,虚线102、104、106及108表示以下块:已剖析所述块且在特定译码时间信息可用于从所述块检索。特定译码时间可对应于译码以“X”标记的块(即,块116、124、132及136)所在的时间。
因此,视频译码器可从通过图4中的实线白色箭头所指向的块检索以“X”标记的块的上下文信息。如图2中所展示,实线白色箭头所指向的块中的每一者在虚线102、104、106及108中的每一者内。举例来说,视频译码器可从块114检索块116的上下文信息;视频译码器可从块110、112、114及/或122检索块124的上下文信息;视频译码器可从块118、120、122及/或130检索块132的上下文信息;且视频译码器可从块126、128、130及/或134检索块136的上下文信息。
根据本发明的技术,波前150到160中的每一者可包含一或多个切片。或者,切片可包含一或多个完整波前,例如波前150到160中的一或多者。举例来说,第一切片可包含波前150及152的块,第二切片可包含波前154及156的块,且第三切片可包含波前158及160的块。以此方式,当切片跨越两个波前之间的边界时,切片可包含两个波前的所有块。
以此方式,当译码在特定位置处的块时,本文中所描述的译码方案可确保译码(例如,使用CABAC)所述块所需的所有数据可用。举例来说,假设视频译码器将译码块132。为了初始化波前154(其包含块132)的上下文状态,视频译码器可需要包含块132的切片的切片标头的一或多个参数。如果切片经准许在波前152的中间的块处开始且跨越波前152与波前154之间的边界,那么视频译码器可需要等待译码切片中的第一块以检索切片标头的信息。举例来说,如果切片将在波前152中处于块116下方的块的水平位置处开始,那么此块将尚未经剖析,且因此在视频译码器可开始译码波前154之前,视频译码器将需要等待直到所述块经剖析为止。然而,在本发明的一或多个实例中,可需要切片包含一或多个完整波前,或可需要波前包含一或多个完整切片。因此,可减少或防止发生译码延迟的情形。
以此方式,视频译码器可在译码视频数据的图片的第一波前的第二块之前安全地译码第一波前的第一块,其中第一块具有水平位置X+N,其中X及N为整数,第二块具有水平位置X+K,其中K>N且其中K为整数;确定包含第二波前的第三块的切片的一或多个切片参数,第三块具有水平位置X,其中第二波前在第一波前下方;至少部分地基于一或多个切片参数来初始化第二波前的上下文;且基于第二波前的当前上下文来译码第二波前的第三块,其中译码第三块包括实质上与第一波前的第四块并行地译码第三块,第四块具有小于X+K的水平位置。
作为一实例,假设视频译码器译码波前152的块124。令块132表示波前154中的在水平位置X处的块。在此实例中,块124将表示在水平位置X+2(例如,X+N,其中N=2)处的块。波前152中的在块124右方(在虚线104外)的块表示具有水平位置X+K(其中K>N)的块的实例。根据本发明的技术,包含块132的切片将在波前154的开头处开始或将包含波前152的所有块(包含块124)。在任一状况下,视频译码器将在译码块132之前已确定包含块132的切片的一或多个切片参数。因此,视频译码器可至少部分地基于一或多个切片参数来初始化波前154的上下文。波前154的上下文的初始化还可基于波前152中的在块126及128上方的块的数据。此外,视频译码器可基于当前上下文来译码块132。在此实例中,将在译码块126、128及130之后确定波前154的当前上下文。作为一替代实例,视频编码器可基于波前154的初始化上下文来译码块126。
平铺块提供图片到多个独立可解码(包含剖析及重建构)区域的矩形分割(具有CTB细微度)。每一平铺块的位流进入点是在同一经译码NAL单元中的平铺块数据之前在切片标头中用信号发送。
图3为展示帧的实例平铺块的概念图。可将帧160分成多个最大译码单元(LCU)161。可将两个或两个以上LCU分群成矩形形状的平铺块。当启用基于平铺块的译码时,在译码后续平铺块之前一起译码(即,编码或解码)每一平铺块内的译码单元。如针对帧160所展示,平铺块162及163是以水平方式定向,且具有水平边界及垂直边界两者。如针对帧170所展示,平铺块172及173是以垂直方式定向,且具有水平边界及垂直边界两者。
图4为说明具有平铺块的实例位流的概念图。在一些实例中,视频编码器可将切片的CU分成较小群组。此些群组可被称作“子流”或“子切片”。视频编码器可将切片的CU分成各种类型的子流。举例来说,视频编码器可将切片的CU分成多个平铺块。视频编码器可通过定义图片的两个或两个以上水平边界及图片的两个或两个以上垂直边界而将CU分成多个平铺块。水平边界可包含图片的顶边缘及底边缘。垂直边界可包含图片的左侧边及右侧边。当视频编码器不使用平铺块时,视频编码器可以光栅扫描次序编码帧的所有树型块。然而,当视频编码器使用平铺块时,视频编码器可以光栅扫描次序编码平铺块。当视频编码器编码平铺块时,视频编码器可以光栅扫描次序编码平铺块内的树型块(即,LCU)。因此,视频编码器可使用平铺块来改变图片的树型块的编码次序。
此外,在一些例子中,当视频编码器正编码给定CU时,视频编码器可仅使用与处在与给定CU相同的平铺块中的CU相关联的信息来对给定CU执行帧内预测或帧间预测。类似地,在一些例子中,当视频编码器正编码给定CU时,视频编码器可仅使用与处在与给定CU相同的平铺块中的CU相关联的信息来选择用于熵编码给定CU的语法元素的上下文。由于此些限制,视频编码器可能够并行地编码所述平铺块中的两者或两者以上。
与给定切片相关联的经译码切片NAL单元可包含与给定切片的平铺块中的每一者相关联的经编码数据。举例来说,经译码切片NAL单元可包含与所述平铺块中的每一者相关联的经编码语法元素。为了并行地剖析或解码切片的多个子流,视频解码器可需要确定与平铺块相关联的经编码语法元素在经译码切片NAL单元内的位置。换句话说,视频解码器可需要确定平铺块的“进入点”。举例来说,解码器可需要确定与第一平铺块相关联的经编码语法元素在何处开始,与第二平铺块相关联的经编码语法元素在何处开始,等等。
在HEVC WD7规范中,以两种或两种以上不同方式来用信号发送平铺块进入点。此些方式中的第一者为使用从NAL单元的开头开始的相对于前一进入点的进入点NAL单元偏移。用以译码平铺块进入点的另一方式可在每一平铺块(以切片标头开始的第一平铺块除外)的开始之前在字节对准位置处使用平铺块开始码标记(entry_point_marker_two_3bytes=0x000002)。而且,当使用平铺块开始码标记时,将tile_idx_minus1语法元素作为TileID来用信号发送。在HEVC WD7规范中,每一平铺块可不必具有用信号发送的进入点。可存在比用信号发送的进入点的数目多的平铺块(考虑切片中的第一平铺块具有隐含地用信号发送的进入点)。
HEVC WD7规范允许两种类型的信号发送的存在:同时或单独地。而且,当同时使用两种方法时,进入点信号发送的两种方式不必对准。此意谓位流可具有:第一平铺块,其进入点仅以进入点标记来用信号发送;第二平铺块,其进入点仅以进入点偏移来用信号发送;第三平铺块,其进入点是以进入点标记及进入点标记两者来用信号发送;及第四平铺块,其进入点未用信号发送。
在HEVC WD7规范中,不支持平铺块与波前的共存。然而,可能存在平铺块与波前的共存可有用的状况。对于此些状况,本发明描述简单的限制性方案以在HEVC架构中支持平铺块及波前并行处理两者。
在HEVC WD7规范中,在如下文在表1中所展示的图片参数集中用信号发送平铺块或WPP的存在。在表1以及本发明中的其它表中,描述符栏识别用于特定语法元素的位数目。举例来说,描述符“u(2)”指示两个位,描述符“u(4)”指示四个位,等等。描述符“ue(v)”指示位的数目可变,且解码器实施熵解码以解译语法元素。
表1-7.3.2.3图片参数集RBSP语法
如上文所介绍,语法元素“tiles_or_entropy_coding_sync_idc”为可具有四个可能值的两位语法元素。所述两位语法元素用以识别四个可能情形中的一者—1)启用WPP,2)启用平铺块,3)启用熵切片,或4)1到3中无一者经启用。WPP、平铺块及熵切片中的一者以上无法使用表1中所展示的语法来启用。
而且,在切片标头中,如下文表2中所展示来用信号发送平铺块及波前的进入点。
表2-7.3.3切片标头语法
在HEVC WD7中,因为不支持平铺块与WPP的共存,所以在切片标头中用信号发送的进入点的类型方面不存在不明确性。如果在图片参数集(PPS)中用信号发送平铺块的存在,那么将切片标头中的进入点称为平铺块进入点。如果在PPS中用信号发送WPP,那么将进入点称为WPP进入点。
如果将启用平铺块与波前的共存,那么支持两个并行机制的简单方式为:如果平铺块及WPP两者存在于图片中,那么使平铺块开始新切片(具有切片标头);及使每一波前在平铺块内。如果平铺块与WPP的共存不存在,那么无需强加此限制,且可实施HEVC WD7的现有限制。如果平铺块及WPP两者存在于图片中,那么本发明的技术包含使波前存在于平铺块内及防止波前横跨平铺块。因此,如果平铺块及波前两者共存于图片中,那么在切片标头中用信号发送的进入点可为WPP进入点。如果平铺块及WPP中的仅一者存在于图片中,那么在切片标头中用信号发送的进入点可对应于如PPS中所指示的平铺块或WPP(与HEVC WD7规范中相同)。
图5说明根据本发明的技术的用于平铺块及WPP的共存的所提议方案。图5展示图片501,且图片501包含标示为平铺块0、平铺块1、平铺块2及平铺块3的四个平铺块。还将图片501分成四个切片,其中每一切片具有切片标头(SH)。如图5的实例中可见,每一平铺块对应于一切片。因此,每一平铺块的开始还开始新切片。
图5还展示在图片501内共存的十六个WPP流。将十六个WPP流标示为子流0到子流15。如图5中所展示,每一平铺块包含四个WPP流。举例来说,平铺块0包含子流0到3;平铺块1包含子流4到7;平铺块2包含子流8到11;且平铺块3包含子流12到15。每一子流包含六个LCU。举例来说,子流0包含LCU 0到LCU 5;子流4包含LCU 24到LCU 29;子流8包含LCU 48到LCU 53,等等。为了简化说明,图4中未标示出所有LCU。如图5中所展示,波前(例如,子流)存在于平铺块内且不横跨多个平铺块。举例来说,包括子流2的LCU全部为均在平铺块0内的LCU;包括子流7的LCU全部为在平铺块1内的LCU,等等。
可分别通过表3及表4中所展示的以下经修改的PPS及切片标头语法来描述支持平铺块及WPP两者的所提议语法的实例。
表3-7.3.2.3图片参数集RBSP语法
表4-7.3.3切片标头语法
现将描述表3的“parallelism_idc”语法元素。此语法元素指示参考图片参数集的图片中的平铺块、波前或熵切片的可能存在。此语法元素的最低有效位(位0)等于1指定图片中可能存在一个以上平铺块,且此位等于0指定图片中可存在不多于一个的平铺块。此语法元素的位1等于1指定波前可存在,且此位等于0指定波前不存在。此语法元素的位2等于1指定熵切片可存在,且此位等于0指定熵切片不存在。当所述语法元素的位0或位1等于1时,语法元素的位2应等于0。
尽管在表3中展示为三位语法元素,但“parallelism_idc”语法元素可本质上包括三个单独的1位语法元素,其中第一位指示是否启用平铺块,第二位指示是否启用WPP,且第三位指示是否启用熵切片。对于无法同时启用多个并行处理机制的译码方案,三个位中的一者可为1,其中1识别启用哪一并行处理方案。举例来说,“parallelism_idc”语法元素的值100可表示启用平铺块。“parallelism_idc”语法元素的值010可表示启用WPP,且“parallelism_idc”语法元素的值001可表示启用熵切片。“parallelism_idc”语法元素的值000可表示平铺块、WPP及熵切片中无一者经启用。以此方式,本发明的信号发送技术与仅允许一次实施一个并行处理机制的译码标准兼容。
然而,本发明的信号发送技术还与允许同时实施一个以上并行处理机制的可能的未来译码标准兼容。举例来说,如果同时实施平铺块及WPP,那么可使用“parallelism_idc”语法元素的值110,其中第一位的1指示启用平铺块且第二位的1指示启用WPP。平铺块及WPP两者经启用的信号发送仍仅采用三个位,如平铺块及WPP中的仅一者经启用的信号发送一样。因此,在平铺块及WPP两者能够同时经启用的情况下使视频译码器能够剖析参数集将必要的重新设计的量将最小。
如通过比较表2与表4可见,用于本发明的技术的用以用信号发送进入点的语法元素不改变,但视频解码器解译那些语法元素的方式可改变。举例来说,根据本发明的技术,如果平铺块及WPP两者在图片中经启用,那么视频译码器可将在切片标头中用信号发送的进入点解译为WPP进入点。如果平铺块及WPP中的仅一者在图片中经启用,那么在切片标头中用信号发送的进入点可对应于如PPS中所指示的平铺块或WPP(如HEVC WD7规范中)。举例来说,响应于仅平铺块经启用,视频解码器30可将在切片标头中用信号发送的进入点解译为对应于平铺块进入点,且响应于仅WPP经启用,视频解码器30可将在切片标头中用信号发送的进入点解译为对应于WPP进入点。
图6为说明可实施本发明中所描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可指代若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的压缩模式中的任一者。
在图6的实例中,视频编码器20包含分割单元35、预测处理单元41、滤波器单元63、参考图片存储器64、求和器50、反变换处理单元52、量化单元54及熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44及帧内预测处理单元46。对于视频块重建构,视频编码器20还包含反量化单元58、反变换处理单元60及求和器62。滤波器单元63意欲表示一或多个回路滤波器,例如解块滤波器、自适应回路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管滤波器单元63在图6中展示为回路内滤波器,但在其它配置中,滤波器单元63可实施为回路后滤波器。
如图6中所示,视频编码器20接收视频数据,且分割单元35将数据分割成多个视频块。此分割还可包含分割成切片、平铺块或其它较大单元以及视频块分割(例如,根据LCU及CU的四分树结构)。视频编码器20大体上说明编码待编码的视频切片内的视频块的组件。可将切片分成多个视频块(且可能分成称作平铺块的视频块集合)。预测处理单元41可基于误差结果(例如,译码速率及失真程度)选择多个可能译码模式中的一者(例如,多个帧内译码模式中的一者或多个帧间译码模式中的一者)用于当前视频块。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据,且将所得经帧内或帧间译码块提供到求和器62以重建构经编码块以用作参考图片。
预测处理单元41内的帧内预测处理单元46可执行相对于与待译码的当前块相同的帧或切片中的一或多个相邻块的当前视频块的帧内预测性译码,以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44执行相对于一或多个参考图片中的一或多个预测性块的当前视频块的帧间预测性译码,以提供时间压缩。
运动估计单元42可经配置以根据视频序列的预定模式来确定视频切片的帧间预测模式。预定模式可将序列中的视频切片指定为P切片、B切片或GPB切片。运动估计单元42及运动补偿单元44可高度集成,但出于概念目的而分别说明。由运动估计单元42执行的运动估计为产生运动向量的过程,运动向量估计视频块的运动。运动向量(例如)可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。
预测性块为经发现依据像素差而密切匹配待译码的视频块的PU的块,像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差量度确定。在一些实例中,视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。举例来说,视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可执行相对于全像素位置及分数像素位置的运动搜索且输出具有分数像素精度的运动向量。
运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置而计算所述PU的运动向量。参考图片可从第一参考图片列表(列表0)或第二参考图片列表(列表1)选择,所述列表中的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将经计算运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计确定的运动向量来提取或产生预测性块,可能对子像素预测执行内插。在接收到当前视频块的PU的运动向量后,运动补偿单元44即可在参考图片列表中的一者中定位运动向量所指向的预测性块。视频编码器20通过从正经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差值形成块的残余数据,且可包含亮度差分量与色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
作为由运动估计单元42及运动补偿单元44执行的帧间预测(如上文所描述)的替代,帧内预测单元46可帧内预测当前块。详言来说,帧内预测单元46可确定将用以编码当前块的帧内预测模式。在一些实例中,帧内预测单元46可(例如)在单独编码遍次期间使用各种帧内预测模式来编码当前块,且帧内预测单元46(或在一些实例中,模式选择单元40)可从经测试模式中选择待适当帧内预测模式来使用。举例来说,帧内预测单元46可针对各种经测试帧内预测模式使用速率-失真分析来计算速率-失真值,且在经测试模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析通常确定经编码块与经编码以产生经编码块的原始未经编码块之间的失真(或误差)的量,以及用以产生经编码块的位速率(即,位的数目)。帧内预测单元46可从各种经编码块的失真及速率计算比率以确定哪一帧内预测模式展现块的最佳速率-失真值。
在任何状况下,在选择块的帧内预测模式之后,帧内预测单元46可将指示块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码根据本发明的技术指示选定帧内预测模式的信息。视频编码器20可将配置数据包含于经发射位流中,配置数据可包含多个帧内预测模式索引表及多个经修改帧内预测模式索引表(还称作码字映射表)、各种块的编码上下文的定义,及用于上下文中的每一者的最有可能帧内预测模式、帧内预测模式索引表及经修改帧内预测模式索引表的指示。
在预测处理单元41经由帧间预测或帧内预测产生当前视频块的预测性块之后,视频编码器20通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中且应用于反变换处理单元52。反变换处理单元52使用变换(例如,离散余弦变换(DCT)或概念上类似的变换)将残余视频数据变换成残余变换系数。反变换处理单元52可将残余视频数据从像素域转换到变换域(例如频域)。
反变换处理单元52可将所得变换系数发送到量化单元54。量化单元54对变换系数进行量化以进一步减小位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数而修改量化程度。在一些实例中,量化单元54可接着执行包含经量化变换系数的矩阵的扫描。或者,熵编码单元56可执行所述扫描。
在量化之后,熵编码单元56熵编码经量化变换系数。举例来说,熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在通过熵编码单元56进行熵编码之后,可将经编码位流发射到视频解码器30或加以存档以供稍后发射或通过视频解码器30检索。熵编码单元56还可熵编码正经译码的当前视频切片的运动向量及其它语法元素。
反量化单元58及反变换处理单元60分别应用反量化及反变换,以在像素域中重建构残余块以供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块与参考图片列表中的一者内的参考图片中的一者的预测性块相加来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重建构残余块以计算子整数像素值以供在运动估计中使用。求和器62将经重建构残余块与由运动补偿单元44所产生的经运动补偿预测块相加,以产生参考块以供存储于参考图片存储器64中。参考块可由运动估计单元42及运动补偿单元44用作参考块以帧间预测后续视频帧或图片中的块。
如上文所描述,视频编码器20可经配置以实施本发明的技术,包含可允许同时实施多个并行处理机制的技术。图6的视频编码器20可(例如)产生供包含于经编码位流中的上文所描述的“parallelism_idc”语法元素。当使用一个以上并行处理机制来译码视频数据时,图6的视频编码器20还可使用本发明中所描述的各种限制中的一或多者来译码视频数据,以使视频解码器能够适当地剖析参数集及切片标头数据。举例来说,视频编码器20可编码视频数据,使得波前完全存在于平铺块内且不横跨多个平铺块。另外,当译码多个平铺块时,视频编码器20可编码多个平铺块,使得每一平铺块开始新切片且每一新切片具有对应切片标头。
以此方式,图6的视频编码器20表示视频编码器的实例,所述视频编码器经配置以产生参数集中的指示是否针对一系列视频块启用平铺块的一或多个第一位,且产生所述参数集中的一或多个第二位,所述一或多个第二位不同于所述一或多个第一位且指示是否针对所述系列视频启用块WPP。所产生的位可包含于视频数据的经译码位流中。
图7为说明可实施本发明中所描述的技术的实例视频解码器30的框图。在图7的实例中,视频解码器30包含熵解码单元80、预测处理单元81、反量化单元86、反变换单元88、求和器90、滤波器单元91及参考图片存储器92。预测处理单元81包含运动补偿单元82及帧内预测处理单元84。在一些实例中,视频解码器30可执行大体上与关于来自图6的视频编码器20描述的编码遍次互反的解码遍次。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元80熵解码所述位流以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转递到预测处理单元81。视频解码器30可在视频切片层级及/或视频块层级处接收语法元素。
当视频切片经译码为经帧内译码(I)切片时,预测处理单元81的帧内预测处理单元84可基于用信号发送的帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。在视频帧经译码为经帧间译码(即,B、P或GPB)切片时,预测处理单元81的运动补偿单元82基于运动向量及从熵解码单元80接收的其它语法元素来产生当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于参考图片存储器92中的参考图片使用默认建构技术来建构参考帧列表(列表0及列表1)。
运动补偿单元82通过剖析运动向量及其它语法元素而确定当前视频切片的视频块的预测信息,且使用预测信息以产生正经解码的当前视频块的预测性块。举例来说,运动补偿单元82使用所接收语法元素中的一些来确定用以译码视频切片的视频块的预测模式(例如,帧内预测或帧间预测)、帧间预测切片类型(例如,B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态,及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器,以计算参考块的子整数像素的内插值。在此状况下,运动补偿单元82可从所接收语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
反量化单元86将位流中所提供且由熵解码单元80解码的经量化变换系数进行反量化(即,解量化)。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块所计算的量化参数来确定量化的程度,且同样地确定应该应用的反量化的程度。反变换处理单元88将反变换(例如,反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数,以便在像素域中产生残余块。
在运动补偿单元82基于运动向量及其它语法元素产生当前视频块的预测性块之后,视频解码器30通过对来自反变换处理单元88的残余块与由运动补偿单元82所产生的对应预测性块求和而形成经解码视频块。求和器90表示执行此加法运算的一或多个组件。如果需要,那么回路滤波器(在译码回路中或在译码回路之后)还可用以使像素转变平滑,或以其它方式改进视频质量。滤波器单元91意欲表示一或多个回路滤波器,例如解块滤波器、自适应回路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管滤波器单元91在图5中展示为回路内滤波器,但在其它配置中,滤波器单元91可实施为回路后滤波器。接着将给定帧或图片中的经解码视频块存储于参考图片存储器92中,参考图片存储器92存储用于后续运动补偿的参考图片。参考图片存储器92还存储经解码视频以用于稍后在显示装置(例如,图1的显示装置32)上呈现。
以此方式,图7的视频解码器30表示视频解码器的实例,所述视频解码器经配置以进行以下操作:接收包括一或多个第一位及一或多个第二位的参数集,其中所述一或多个第一位指示是否针对一系列视频块启用平铺块,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块启用波前并行处理(WPP);及基于所述参数集解码所述系列视频块。视频解码器30可使用平铺块及WPP两者来解码所述系列视频块。视频解码器30可经配置以剖析位流,其中波前完全存在于平铺块内且其中波前不横跨多个平铺块。所述系列视频块可包含多个平铺块,且每一平铺块可开始新切片,其中每一新切片具有对应切片标头。
视频解码器30还可接收在切片标头中用信号发送的WPP进入点。视频解码器30可(例如)接收用于第二系列视频块的指示针对图片仅启用平铺块及WPP中的一者的参数集,且响应于仅启用平铺块,将在切片标头中用信号发送的进入点解译为对应于平铺块进入点,且响应于仅启用WPP,将在切片标头中用信号发送的进入点解译为对应于WPP进入点。
图8为说明本发明的实例技术的流程图。将关于视频解码器30来描述图8,但方法可通过其它类型解码器或其它装置来执行。对于与共同参数集相关联的第一系列视频块,视频解码器30使用平铺块及WPP两者来解码视频块(801)。共同参数集可包括图片参数集。视频解码器30接收一或多个语法元素(802),所述一或多个语法元素指示:是否针对所述系列视频块启用平铺块中的一者;是否针对所述系列视频块启用WPP;及是否针对所述系列视频块启用平铺块及WPP两者。
在一或多个实例中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施,那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体来发射,且通过基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体或通信媒体,计算机可读存储媒体对应于例如数据存储媒体等有形媒体,通信媒体包含促进计算机程序(例如)根据通信协议从一处传送到另一处的任何媒体。以此方式,计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制,此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器,或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且,任何连接被适当地称作计算机可读媒体。举例来说,如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL),或例如红外线、无线电及微波等无线技术而从网站、服务器或其它远程源发射指令,那么同轴缆线、光纤缆线、双绞线、DSL,或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而,应理解,计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体,而是有关于非暂时性有形存储媒体。如本文中所使用,磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘通过激光以光学方式再现数据。以上各物的组合还应包含于计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此,如本文中所使用,术语“处理器”可指代前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,可将本文所描述的功能性提供于经配置以用于编码及解码的专用硬件及/或软件模块内,或并入于组合式编解码器中。而且,所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中,包含无线手持机、集成电路(IC)或IC的集合(例如,芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面,但未必需要通过不同硬件单元实现。更确切地说,如上文所描述,各种单元可组合于编解码器硬件单元中或由交互操作的硬件单元的集合(包含如上文所描述的一或多个处理器)结合合适的软件及/或固件来提供。
已描述各种实例。此些及其它实例属于以下权利要求书的范围内。

Claims (22)

1.一种解码视频数据的方法,所述方法包括:
接收包括一或多个第一位及一或多个第二位的参数集,其中所述一或多个第一位指示是否针对一系列视频块而启用平铺块,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块而启用波前并行处理WPP,
响应于针对切片而启用平铺块和WPP两者,平铺块开始所述切片,将在所述切片标头中用信号发送的进入点解译为WPP进入点,其中波前完全存在于平铺块内且波前不横跨多个平铺块;
响应于仅启用平铺块,将在切片标头中用信号发送的进入点解译为对应于平铺块进入点;
响应于仅启用WPP,将在切片标头中用信号发送的进入点解译为对应于WPP进入点;
基于所述参数集来解码所述系列视频块。
2.根据权利要求1所述的方法,其中所述参数集为图片参数集。
3.根据权利要求1所述的方法,其中所述系列视频块包括多个平铺块,其中每一平铺块开始新切片,且其中每一新切片具有对应切片标头。
4.一种用于解码视频数据的装置,所述装置包括:
存储介质,其经配置以存储所述视频数据;及
作为电路或电路和软件的组合而执行的视频解码器,所述视频解码器经配置以进行以下操作:
接收包括一或多个第一位及一或多个第二位的参数集,其中所述一或多个第一位指示是否针对一系列视频块而启用平铺块,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块而启用波前并行处理WPP,
响应于针对切片而启用平铺块和WPP两者,平铺块开始所述切片,将在所述切片标头中用信号发送的进入点解译为WPP进入点,其中波前完全存在于平铺块内且波前不横跨多个平铺块;
响应于仅启用平铺块,将在切片标头中用信号发送的进入点解译为对应于平铺块进入点;
响应于仅启用WPP,将在切片标头中用信号发送的进入点解译为对应于WPP进入点;
基于所述参数集来解码所述系列视频块。
5.根据权利要求4所述的装置,其中所述参数集为图片参数集。
6.根据权利要求4所述的装置,其中所述系列视频块包括多个平铺块,其中每一平铺块开始新切片,且其中每一新切片具有对应切片标头。
7.根据权利要求4所述的装置,其中所述装置包括以下各者中的至少一者:
集成电路;
微处理器;及,
无线通信装置,其包括所述视频解码器。
8.一种用于解码视频数据的装置,所述装置包括:
用于接收包括一或多个第一位及一或多个第二位的参数集的装置,其中所述一或多个第一位指示是否针对一系列视频块而启用平铺块,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块而启用波前并行处理WPP,其中波前完全存在于平铺块内且波前不横跨多个平铺块;
用于解译在切片标头中用信号发送的进入点的装置,其中,
响应于针对切片而启用平铺块和WPP两者,平铺块开始所述切片,将所述进入点解译为WPP进入点;
用于响应于仅启用平铺块而将在切片标头中用信号发送的进入点解译为对应于平铺块进入点的装置;
用于响应于仅启用WPP而将在切片标头中用信号发送的进入点解译为对应于WPP进入点的装置;以及
用于基于所述参数集来解码所述系列视频块的装置。
9.根据权利要求8所述的装置,其中所述参数集为图片参数集。
10.根据权利要求8所述的装置,其中所述系列视频块包括多个平铺块,其中每一平铺块开始新切片,且其中每一新切片具有对应切片标头。
11.一种计算机可读存储介质,其存储在由一或多个处理器执行时使所述一或多个处理器进行以下操作的指令:
接收包括一或多个第一位及一或多个第二位的参数集,其中所述一或多个第一位指示是否针对一系列视频块而启用平铺块,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块而启用波前并行处理WPP,
响应于针对切片而启用平铺块和WPP两者,平铺块开始所述切片,将在所述切片标头中用信号发送的进入点解译为WPP进入点,其中波前完全存在于平铺块内且波前不横跨多个平铺块;
响应于仅启用平铺块而将在切片标头中用信号发送的进入点解译为对应于平铺块进入点;
响应于仅启用WPP而将在切片标头中用信号发送的进入点解译为对应于WPP进入点;
基于所述参数集来解码所述系列视频块。
12.根据权利要求11所述的计算机可读存储介质,其中所述参数集为图片参数集。
13.根据权利要求11所述的计算机可读存储介质,其中所述系列视频块包括多个平铺块,其中每一平铺块开始新切片,且其中每一新切片具有对应切片标头。
14.一种编码视频数据的方法,所述方法包括:
产生参数集中的一或多个第一位,其中所述一或多个第一位指示是否针对一系列视频块而启用平铺块;
产生所述参数集中的一或多个第二位,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块而启用波前并行处理WPP,其中波前完全存在于平铺块内且波前不横跨多个平铺块;
在针对所述系列视频块的切片标头中用信号发送进入点,其中:
当针对切片而启用平铺块和WPP两者时,平铺块开始所述切片,在所述切片标头中用信号发送的所述进入点为WPP进入点;
当仅启用平铺块时,在所述切片标头中用信号发送的所述进入点为平铺块进入点;
当仅启用WPP时,在所述切片标头中用信号发送的所述进入点为WPP进入点。
15.根据权利要求14所述的方法,其中所述参数集为图片参数集。
16.根据权利要求14所述的方法,其中所述系列视频块包括多个平铺块,其中每一平铺块开始新切片,且其中每一新切片具有对应切片标头。
17.一种用于编码视频数据的装置,所述装置包括:
存储介质,其经配置以存储所述视频数据;以及
作为电路或电路和软件的组合而执行的视频编码器,所述视频编码器经配置以进行以下操作:
产生参数集中的一或多个第一位,其中所述一或多个第一位指示是否针对一系列视频块而启用平铺块;
产生所述参数集中的一或多个第二位,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块而启用波前并行处理WPP,其中波前完全存在于平铺块内且波前不横跨多个平铺块,
在针对所述系列视频块的切片标头中用信号发送进入点,其中:
当针对切片而启用平铺块和WPP两者时,平铺块开始所述切片,在所述切片标头中用信号发送的所述进入点为WPP进入点;
当仅启用平铺块时,在所述切片标头中用信号发送的所述进入点为平铺块进入点;
当仅启用WPP时,在所述切片标头中用信号发送的所述进入点为WPP进入点。
18.根据权利要求17所述的装置,其中所述参数集为图片参数集。
19.根据权利要求17所述的装置,其中所述系列视频块包括多个平铺块,其中每一平铺块开始新切片,且其中每一新切片具有对应切片标头。
20.根据权利要求17所述的装置,其中所述装置包括以下各者中的至少一者:
集成电路;
微处理器;及,
无线通信装置,其包括视频解码器。
21.一种用于编码视频数据的装置,所述装置包括:
用于产生参数集中的一或多个第一位的装置,其中所述一或多个第一位指示是否针对一系列视频块而启用平铺块;
用于产生所述参数集中的一或多个第二位的装置,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块而启用波前并行处理WPP,其中波前完全存在于平铺块内且波前不横跨多个平铺块;
用于在针对所述系列视频块的切片标头中用信号发送进入点的装置,其中:
当针对切片而启用平铺块和WPP两者时,平铺块开始所述切片,在所述切片标头中用信号发送的所述进入点为WPP进入点;
当仅启用平铺块时,在所述切片标头中用信号发送的所述进入点为平铺块进入点;
当仅启用WPP时,在所述切片标头中用信号发送的所述进入点为WPP进入点。
22.一种计算机可读存储介质,其存储在由一或多个处理器执行时使所述一或多个处理器进行以下操作的指令:
产生参数集中的一或多个第一位,其中所述一或多个第一位指示是否针对一系列视频块而启用平铺块;
产生所述参数集中的一或多个第二位,其中所述一或多个第二位不同于所述一或多个第一位,且其中所述一或多个第二位指示是否针对所述系列视频块而启用波前并行处理WPP,其中波前完全存在于平铺块内且波前不横跨多个平铺块,
在针对所述系列视频块的切片标头中用信号发送进入点,其中:
当针对切片而启用平铺块和WPP两者时,平铺块开始所述切片,在所述切片标头中用信号发送的所述进入点为WPP进入点;
当仅启用平铺块时,在所述切片标头中用信号发送的所述进入点为平铺块进入点;
当仅启用WPP时,在所述切片标头中用信号发送的所述进入点为WPP进入点。
CN201380032634.9A 2012-06-29 2013-06-28 用于译码视频的方法和装置 Active CN104488267B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261666617P 2012-06-29 2012-06-29
US61/666,617 2012-06-29
US13/841,253 US9621905B2 (en) 2012-06-29 2013-03-15 Tiles and wavefront parallel processing
US13/841,253 2013-03-15
PCT/US2013/048707 WO2014005087A2 (en) 2012-06-29 2013-06-28 Tiles and wavefront parallel processing

Publications (2)

Publication Number Publication Date
CN104488267A CN104488267A (zh) 2015-04-01
CN104488267B true CN104488267B (zh) 2019-04-05

Family

ID=49778151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380032634.9A Active CN104488267B (zh) 2012-06-29 2013-06-28 用于译码视频的方法和装置

Country Status (14)

Country Link
US (1) US9621905B2 (zh)
EP (1) EP2868102B1 (zh)
JP (1) JP6174139B2 (zh)
KR (1) KR102124225B1 (zh)
CN (1) CN104488267B (zh)
AR (1) AR092851A1 (zh)
DK (1) DK2868102T3 (zh)
ES (1) ES2899642T3 (zh)
HU (1) HUE056893T2 (zh)
PL (1) PL2868102T3 (zh)
PT (1) PT2868102T (zh)
SI (1) SI2868102T1 (zh)
TW (1) TWI520583B (zh)
WO (1) WO2014005087A2 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10142622B2 (en) * 2012-06-29 2018-11-27 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and methods thereof for video processing
JP6376719B2 (ja) * 2012-06-29 2018-08-22 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
US9241163B2 (en) * 2013-03-15 2016-01-19 Intersil Americas LLC VC-2 decoding using parallel decoding paths
US20150023410A1 (en) * 2013-07-16 2015-01-22 Arcsoft Hangzhou Co., Ltd. Method for simultaneously coding quantized transform coefficients of subgroups of frame
US9224187B2 (en) * 2013-09-27 2015-12-29 Apple Inc. Wavefront order to scan order synchronization
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
KR102170169B1 (ko) 2013-10-14 2020-10-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
AU2013403225B2 (en) 2013-10-14 2018-06-14 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
GB2520310A (en) * 2013-11-15 2015-05-20 Sony Corp A method, server, client and software
WO2015090219A1 (en) 2013-12-18 2015-06-25 Mediatek Inc. Method and apparatus for palette initialization and management
CN106031171B (zh) 2013-12-27 2019-08-30 联发科技股份有限公司 具有跨块预测的调色板编码的方法和装置
CA2934743C (en) 2013-12-27 2018-11-27 Hfi Innovation Inc. Method and apparatus for syntax redundancy removal in palette coding
US10542271B2 (en) 2013-12-27 2020-01-21 Hfi Innovation Inc. Method and apparatus for major color index map coding
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
BR112016012449A2 (pt) 2014-01-07 2017-08-08 Mediatek Inc Método e aparelho para predição de índices de cores
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
BR112016018814A8 (pt) 2014-03-04 2020-06-23 Microsoft Technology Licensing Llc dispositivo de computação, método em dispositivo de computação com decodificador de vídeo ou decodificador de imagem e meio legível por computador
KR102413529B1 (ko) 2014-06-19 2022-06-24 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
US10257529B2 (en) * 2014-06-30 2019-04-09 Intel Corporation Techniques for generating wave front groups for parallel processing a video frame by a video encoder
EP3152906B1 (en) * 2014-07-07 2021-06-16 HFI Innovation Inc. Method of intra block copy search and compensation range
US20160014415A1 (en) * 2014-07-08 2016-01-14 Mediatek Inc. Method and apparatus for performing wave-front parallel encoding procedure with constraint on coding mode and/or quantization parameter selection
CN105874795B (zh) * 2014-09-30 2019-11-29 微软技术许可有限责任公司 在波前并行处理被启用时对图片内预测模式的规则
US20160105678A1 (en) * 2014-10-13 2016-04-14 Microsoft Technology Licensing, Llc Video Parameter Techniques
US10277913B2 (en) 2014-10-22 2019-04-30 Samsung Electronics Co., Ltd. Application processor for performing real time in-loop filtering, method thereof and system including the same
GB2532420A (en) * 2014-11-18 2016-05-25 Sony Corp Data encoding and decoding
KR102273670B1 (ko) 2014-11-28 2021-07-05 삼성전자주식회사 움직임 보상 정보를 수정하는 데이터 처리 시스템과 데이터 처리 방법
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
JP6613618B2 (ja) * 2015-05-20 2019-12-04 株式会社ソシオネクスト 画像処理装置および画像処理方法
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
US10382793B2 (en) * 2015-06-23 2019-08-13 Integrated Device Technology, Inc. Apparatuses and methods for performing information extraction and insertion on bitstreams
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
WO2018061550A1 (ja) * 2016-09-28 2018-04-05 シャープ株式会社 画像復号装置及び画像符号化装置
WO2018097577A1 (ko) * 2016-11-25 2018-05-31 경희대학교 산학협력단 영상 병렬 처리 방법 및 장치
CN107197296B (zh) * 2017-06-22 2019-08-13 华中科技大学 一种基于COStream的HEVC并行编码方法和系统
KR20190024212A (ko) * 2017-08-31 2019-03-08 세종대학교산학협력단 타일 구조의 구성 방법 및 이의 장치
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
JP7220223B6 (ja) * 2018-01-25 2023-03-10 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. 効率的なサブピクチャ抽出
US11240500B2 (en) * 2018-06-01 2022-02-01 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
EP3624450A1 (en) * 2018-09-17 2020-03-18 InterDigital VC Holdings, Inc. Wavefront parallel processing of luma and chroma components
US11197006B2 (en) * 2018-06-29 2021-12-07 Interdigital Vc Holdings, Inc. Wavefront parallel processing of luma and chroma components
US10440378B1 (en) 2018-07-17 2019-10-08 Tencent America LLC Method and apparatus for history-based motion vector prediction with parallel processing
WO2020060184A1 (ko) * 2018-09-19 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2021096057A1 (ko) * 2019-11-14 2021-05-20 엘지전자 주식회사 비디오 또는 영상 코딩 시스템에서의 엔트리 포인트 관련 정보에 기반한 영상 코딩 방법
WO2021118076A1 (ko) * 2019-12-12 2021-06-17 엘지전자 주식회사 비디오 또는 영상 코딩 시스템에서의 일부 엔트리 포인트 관련 정보에 기반한 영상 코딩 방법
WO2021134019A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Constraints on coding of layered video
CN114902656A (zh) 2019-12-26 2022-08-12 字节跳动有限公司 对编解码比特流中的视频层的信令的约束
KR20220115959A (ko) 2019-12-27 2022-08-19 바이트댄스 아이엔씨 비디오 코딩에서의 서브픽처 시그널링
WO2021142365A2 (en) 2020-01-09 2021-07-15 Bytedance Inc. Restrictions on gradual decoding refresh (gdr) unit

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059792A (ja) 1998-08-06 2000-02-25 Pioneer Electron Corp 動画像信号の高能率符号化装置
US6963608B1 (en) 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
US7227589B1 (en) 1999-12-22 2007-06-05 Intel Corporation Method and apparatus for video decoding on a multiprocessor system
US7158571B2 (en) 2000-12-11 2007-01-02 Sony Corporation System and method for balancing video encoding tasks between multiple processors
AU2003279015A1 (en) 2002-09-27 2004-04-19 Videosoft, Inc. Real-time video coding/decoding
US20060104351A1 (en) 2004-11-15 2006-05-18 Shu-Wen Teng Video/image processing devices and methods
US8315466B2 (en) 2006-12-22 2012-11-20 Qualcomm Incorporated Decoder-side region of interest video processing
TWI468015B (zh) 2007-10-26 2015-01-01 Ind Tech Res Inst 視訊解碼的平行處理裝置及方法
US20120163457A1 (en) 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
US9300976B2 (en) 2011-01-14 2016-03-29 Cisco Technology, Inc. Video encoder/decoder, method and computer program product that process tiles of video data
US8995523B2 (en) * 2011-06-03 2015-03-31 Qualcomm Incorporated Memory efficient context modeling
US9699456B2 (en) * 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
US9146728B2 (en) * 2011-08-03 2015-09-29 Cinemotion, Llc Mobile application creation platform
IN2014CN02604A (zh) * 2011-10-19 2015-08-07 Panasonic Corp
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9247258B2 (en) * 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
JP2013098735A (ja) * 2011-10-31 2013-05-20 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9077998B2 (en) * 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US9332259B2 (en) * 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
KR20130086009A (ko) * 2012-01-20 2013-07-30 삼성전자주식회사 병렬 처리를 위한 단일화된 신택스를 이용하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101718488B1 (ko) * 2012-01-20 2017-03-21 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
HUE031183T2 (en) * 2012-04-13 2017-06-28 Ge Video Compression Llc Scalable stream and network entity
JP6080405B2 (ja) * 2012-06-29 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2014047134A1 (en) * 2012-09-18 2014-03-27 Vid Scale, Inc. Region of interest video coding using tiles and tile groups
WO2014049980A1 (ja) * 2012-09-26 2014-04-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
KR102063239B1 (ko) * 2012-09-26 2020-01-07 벨로스 미디어 인터내셔널 리미티드 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
US10178400B2 (en) * 2012-11-21 2019-01-08 Dolby International Ab Signaling scalability information in a parameter set
US9462287B2 (en) * 2013-01-04 2016-10-04 Dolby International Ab Implicit signaling of scalability dimension identifier information in a parameter set
US8973142B2 (en) * 2013-07-02 2015-03-03 Imperva, Inc. Compromised insider honey pots using reverse honey tokens
KR102162121B1 (ko) * 2013-07-15 2020-10-06 지이 비디오 컴프레션, 엘엘씨 확장 메커니즘을 사용하는 계층 식별 시그널링
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
CN105637879B (zh) * 2013-10-10 2019-04-19 夏普株式会社 图序计数的对齐方法
WO2015090219A1 (en) * 2013-12-18 2015-06-25 Mediatek Inc. Method and apparatus for palette initialization and management
WO2015102441A1 (ko) * 2014-01-03 2015-07-09 삼성전자 주식회사 효율적인 파라미터 전달을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US11323733B2 (en) * 2014-05-23 2022-05-03 Qualcomm Incorporated Predictor palette initialization in palette-based video coding
CA2950171C (en) * 2014-05-28 2019-11-19 Arris Enterprises Llc Content aware scheduling in a hevc decoder operating on a multi-core processor platform
US20160014415A1 (en) * 2014-07-08 2016-01-14 Mediatek Inc. Method and apparatus for performing wave-front parallel encoding procedure with constraint on coding mode and/or quantization parameter selection
US10212445B2 (en) * 2014-10-09 2019-02-19 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing
GB2532420A (en) * 2014-11-18 2016-05-25 Sony Corp Data encoding and decoding
US20160234498A1 (en) * 2015-02-05 2016-08-11 Sharp Laboratories Of America, Inc. Methods and systems for palette table coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JOINT ,COLLABORATIVE TEAM ON VIEDO CODING OF IOS/IEC JTC1/SC29/WG11 AND ITU-T SG.16;SULLIVAN G J 等;《Meeting report of the 8th JCT-VC Meeting》;20120423;第124-126页
Simplification on tiles and slices;Tammy Lee;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting》;20120210;正文第1页第1小节第1段,第3节最后一段,图1-2

Also Published As

Publication number Publication date
US20140003531A1 (en) 2014-01-02
KR102124225B1 (ko) 2020-06-17
TWI520583B (zh) 2016-02-01
WO2014005087A2 (en) 2014-01-03
JP6174139B2 (ja) 2017-08-02
KR20150036169A (ko) 2015-04-07
AR092851A1 (es) 2015-05-06
CN104488267A (zh) 2015-04-01
ES2899642T3 (es) 2022-03-14
JP2015526969A (ja) 2015-09-10
WO2014005087A3 (en) 2014-07-03
SI2868102T1 (sl) 2022-01-31
EP2868102B1 (en) 2021-11-03
PL2868102T3 (pl) 2022-01-31
US9621905B2 (en) 2017-04-11
PT2868102T (pt) 2021-12-17
DK2868102T3 (da) 2021-12-13
EP2868102A2 (en) 2015-05-06
TW201404174A (zh) 2014-01-16
HUE056893T2 (hu) 2022-03-28

Similar Documents

Publication Publication Date Title
CN104488267B (zh) 用于译码视频的方法和装置
CN104221381B (zh) 用于视频译码的波前并行处理的方法、装置及计算机可读存储媒体
CN104823449B (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
CN105723707B (zh) 用于视频译码的色彩残差预测
CN106464917B (zh) 用信号表示用于位流分区的hrd参数
CN104718752B (zh) 在可缩放视频译码中减少取样相位信息的发信
CN105284113B (zh) 分量间滤波
CN104685875B (zh) 用于视频译码的方法、设备、计算机可读存储媒体
CN105474645B (zh) 对视频数据进行解码的方法、对视频数据进行编码的方法、视频解码装置及视频编码装置
CN104054347B (zh) 在视频译码中波前平行处理的使用的指示
CN104247421B (zh) 用于系数扫描的系数群及系数译码
CN103190147B (zh) 用于视频译码的语法元素的联合译码方法及设备
CN103493488B (zh) 用于视频译码的变换系数的译码
CN104255035B (zh) 视讯译码中的量化参数(qp)译码
CN104904222B (zh) 对视频译码中的视频时序的图片次序计数与时序信息关系的信令
CN104685887B (zh) 于视频译码中发信用于操作点的层识别符
CN104904208B (zh) 用于视频译码中的随机存取的视频缓冲操作
CN103797802B (zh) 用于视频译码中的短距离帧内预测的线缓冲器减少
CN104604224B (zh) 可缩放视频译码中的变换基底调整
CN105165010B (zh) 基于位深度的样本自适应偏移缩放的视频译码方法及设备
CN104471942A (zh) 重新使用参数集用于视频译码
CN104641652A (zh) 用于视频译码的帧封装立体三维(3d)视频数据的指示
CN103563378A (zh) 存储器高效的上下文建模
CN104221374A (zh) 在视频译码中分群经旁路译码语法元素
CN104969555A (zh) 在视频译码中具有时间可扩缩性支持的渐进式改进

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant