CN105393536A - 使用位移向量从预测性块的帧内预测 - Google Patents

使用位移向量从预测性块的帧内预测 Download PDF

Info

Publication number
CN105393536A
CN105393536A CN201480035591.4A CN201480035591A CN105393536A CN 105393536 A CN105393536 A CN 105393536A CN 201480035591 A CN201480035591 A CN 201480035591A CN 105393536 A CN105393536 A CN 105393536A
Authority
CN
China
Prior art keywords
block
video data
predictability
bivector
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480035591.4A
Other languages
English (en)
Other versions
CN105393536B (zh
Inventor
郭立威
庞超
金佑植
濮伟
霍埃尔·索赖·罗哈斯
瑞珍·雷克斯曼·乔许
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105393536A publication Critical patent/CN105393536A/zh
Application granted granted Critical
Publication of CN105393536B publication Critical patent/CN105393536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/563Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及对视频数据进行译码的技术,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,所述技术可包含确定当前视频数据块的预测性视频数据块,其中所述预测性视频数据块是与所述当前视频数据块在同一图片内的经重构视频数据块。可由视频译码器使用以识别所述预测性视频数据块的二维向量包含相对于所述当前视频数据块的水平位移分量和垂直位移分量。用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式可被称为帧内块复制或帧内运动补偿。

Description

使用位移向量从预测性块的帧内预测
本申请案主张以下美国临时申请案中的每一者的权益,其中的每一者的整个内容以引用的方式并入本文中:
2013年6月21日申请的第61/838,209号美国临时申请案;
2013年7月17日申请的第61/847,549号美国临时申请案;
2013年8月16日申请的第61/866,965号美国临时申请案;
2013年8月26日申请的第61/870,050号美国临时申请案;
2013年9月27日申请的第61/883,612号美国临时申请案;
2013年10月4日申请的第61/887,115号美国临时申请案;
2013年10月21日申请的第61/893,539号美国临时申请案;
2013年10月25日申请的第61/896,013号美国临时申请案;以及
2014年1月5日申请的第61/923,698号美国临时申请案。
技术领域
本发明涉及视频译码,并且更确切地说涉及视频块的基于其它视频块的预测。
背景技术
数字视频能力可以并入到多种多样的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术,例如,由MPEG-2、MPEG-4、ITU-TH.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置通过实施这些视频压缩技术可以更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码来说,视频切片(即,视频帧或视频帧的一部分)可分割成视频块,视频块也可被称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧,且参考图片可被称作参考帧。
空间或时间预测产生用于待译码块的预测块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式和残余数据而编码。为了进一步压缩,可将残余数据从像素域变换到变换域,从而产生残余变换系数,接着可以对残余变换系数进行量化。可扫描一开始按二维阵列布置的经量化变换系数,以便产生变换系数的一维向量,且可应用熵译码以实现更多压缩。
发明内容
一般来说,本发明描述用于执行用于视频译码的帧内预测的技术。更确切地说,本发明描述用于对视频数据进行译码的技术,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式。从同一图片内的预测性视频数据块对视频数据块的帧内预测在本文中可被称作帧内块复制(IntraBC)或帧内运动补偿(IntraMC)。
本发明的IntraBC或IntraMC技术可包含识别用于当前视频数据块的视频数据的预测性块,其中视频数据的预测性块是与当前视频数据块在同一图片内的经重构视频数据块。视频数据的预测性块可来自图片内的既定区内,例如当前视频数据块的上方、右上方、左上方和/或左边的区。视频数据的预测性块不限于当前视频块的上方或左边并且因此,用以相对于当前块识别预测性块的向量不一定是一维向量。实际上,为了识别或确定视频数据的预测性块,视频译码器可对界定包含相对于当前视频数据块的水平位移分量和垂直位移分量的二维向量的一或多个语法元素进行译码。所述二维向量可被称为块向量或运动向量。
本发明的技术可通过将额外经重构视频数据块视为当前视频数据块的可能预测性块而改善使用IntraBC(可被称为IntraMC)基于同一图片中的经先前译码视频块预测当前视频块的效率和准确性,例如通过不将预测性块限制为在当前块的上方或左边。在一些实例中,本发明的技术可通过将既定区域界定为包含经重构样本而无环路内滤波(例如解块和样本自适应偏移(SAO)滤波)来改善使用IntraBC基于同一图片中的经先前译码视频块预测当前视频块的效率和准确性。在一些实例中,本发明的技术可通过使视频译码器能够识别和译码当前视频数据块的预测性二维向量当前二维向量(例如,块向量或运动向量)来改善使用IntraBC基于同一图片中的经先前译码视频块预测当前视频块的效率和准确性。
在一个实例中,一种对视频数据进行解码的方法,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,所述方法包括:在经编码视频位流中接收界定二维向量的水平位移分量和垂直位移分量的一或多个语法元素以及当前视频数据块的残余块;以及对所述一或多个语法元素进行解码。所述方法进一步包括:基于界定所述二维向量的所述水平位移分量和所述垂直位移分量的所述经解码语法元素确定所述当前视频数据块的预测性视频数据块,其中所述预测性视频数据块是与所述当前视频数据块在同一图片内的经重构视频数据块;以及基于所述预测性视频数据块和所述残余块重构所述当前视频数据块。
在另一实例中,一种对视频数据进行编码的方法,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,所述方法包括:从与当前视频数据块在同一图片内的经先前编码视频数据块的集合选择所述当前视频数据块的预测性视频数据块。所述方法进一步包括确定二维向量,其中所述二维向量具有水平位移分量和垂直位移分量,其中所述水平位移分量表示预测性视频数据块与当前视频数据块之间的水平位移且所述垂直位移分量表示预测性视频数据块与当前视频数据块之间的垂直位移。所述方法进一步包括基于当前视频数据块和预测性视频数据块确定残余块,且在经编码视频位流中编码界定所述二维向量的水平位移分量和垂直位移分量的一或多个语法元素和所述残余块。
在另一实例中,一种装置包括视频解码器,所述视频解码器经配置以使用用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式对视频数据进行解码。所述视频解码器包括:存储器,其经配置以存储经编码视频位流,所述经编码视频位流包括界定二维向量的水平位移分量和垂直位移分量的一或多个语法元素以及当前视频数据块的残余块;以及一或多个处理器。所述一或多个处理器经配置以:对所述一或多个语法元素进行解码;以及基于界定所述二维向量的所述水平位移分量和所述垂直位移分量的所述经解码语法元素确定所述当前视频数据块的预测性视频数据块,其中所述预测性视频数据块是与所述当前视频数据块在同一图片内的经重构视频数据块。所述一或多个处理器进一步经配置以基于所述预测性视频数据块和所述残余块重构所述当前视频数据块。
在另一实例中,一种装置包括视频编码器,所述视频编码器经配置以使用用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式对视频数据进行编码。所述视频编码器包括经配置以存储经编码视频位流的存储器,以及一或多个处理器。所述一或多个处理器经配置以从与当前视频数据块在同一图片内的经先前编码视频数据块的集合选择用于当前视频数据块的预测性视频数据块。所述一或多个处理器进一步经配置以确定二维向量,其中所述二维向量具有水平位移分量和垂直位移分量,其中所述水平位移分量表示预测性视频数据块与当前视频数据块之间的水平位移且所述垂直位移分量表示预测性视频数据块与当前视频数据块之间的垂直位移。所述一或多个处理器进一步经配置以:基于所述当前视频数据块和所述预测性视频数据块确定残余块;以及在所述经编码视频位流中对界定所述二维向量的所述水平位移分量和所述垂直位移分量的一或多个语法元素以及所述残余块进行编码。
在另一实例中,一种装置包括视频译码器,所述视频译码器经配置以使用用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式对视频数据进行译码。所述视频译码器包括:用于对包含界定二维向量的水平位移分量和垂直位移分量的一或多个语法元素以及当前视频数据块的残余块的视频位流进行译码的装置;以及用于确定所述当前视频数据块的预测性视频数据块的装置。所述二维向量的所述水平位移分量表示所述预测性视频数据块与所述当前视频数据块之间的水平位移且所述二维向量的所述垂直位移分量表示所述预测性视频数据块与所述当前视频数据块之间的垂直位移。所述预测性视频数据块是与所述当前视频数据块在同一图片内的经重构视频数据块,且所述残余块是基于所述当前视频数据块和所述预测性视频数据块而确定。
在另一实例中,一种非暂时性计算机可读存储媒体具有存储于其上的用于对视频数据进行译码的指令,所述译码包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,所述指令当执行时致使一或多个处理器:对包含界定二维向量的水平位移分量和垂直位移分量的一或多个语法元素以及当前视频数据块的残余块的视频位流进行译码;以及确定所述当前视频数据块的预测性视频数据块。所述二维向量的所述水平位移分量表示所述预测性视频数据块与所述当前视频数据块之间的水平位移且所述二维向量的所述垂直位移分量表示所述预测性视频数据块与所述当前视频数据块之间的垂直位移。所述预测性视频数据块是与所述当前视频数据块在同一图片内的经重构视频数据块,且所述残余块是基于所述当前视频数据块和所述预测性视频数据块而确定。
一或多个实例的细节陈述于随附图式及以下描述中。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书显而易见。
附图说明
图1是说明可利用本发明中描述的技术的实例视频编码及解码系统的框图。
图2是说明根据本发明的技术用于预测当前图片内的当前视频数据块的当前图片内的实例预测性视频数据块的概念图。
图3是说明用于界定可从其选择预测性视频数据块的既定区的实例技术的概念图。
图4A到4C是说明用于相对于在相邻最大译码单元中经解块滤波的视频数据样本界定既定区的边界的概念图。
图5A到5C是说明用于相对于在相邻最大译码单元中经解块滤波且经样本自适应偏移(SAO)滤波的视频数据样本界定既定区的边界的概念图。
图6是说明用于相对于在相邻最大译码单元中经解块滤波的视频数据样本界定既定区的边界的概念图。
图7是当前视频数据块以及可从其导出当前视频数据块的候选预测性向量的相邻视频数据块的概念图实例。
图8是说明可实施本发明中所描述的技术的实例视频编码器的框图。
图9是说明可实施本发明中描述的技术的实例视频解码器的框图。
图10是说明用于对视频数据进行编码的实例方法的流程图,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式。
图11是说明用于对视频数据进行解码的实例方法的流程图,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式。
图12是说明包含从对应明度视频数据块的二维向量导出色度视频数据块的二维向量的实例方法的流程图。
图13是说明对视频数据进行编码的实例方法的流程图,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,其包含确定预测性二维向量。
图14是说明对视频数据进行解码的实例方法的流程图,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,其包含确定预测性二维向量。
图15是说明用于确定当前视频数据块的预测性二维向量候选者的实例方法的流程图。
具体实施方式
视频序列一般表示为图片序列。通常,使用基于块的译码技术译码个别图片中的每一者。也就是说,将每一图片划分成块,且个别地译码所述块中的每一者。译码视频数据块一般涉及形成块的预测值及译码残余值,也就是说,原始块与预测值之间的差。具体来说,原始视频数据块包含像素值矩阵,且预测值包含经预测像素值矩阵。残余值对应于原始块的像素值与经预测像素值之间的逐像素差。
用于视频数据块的预测技术一般分类为帧内预测或帧间预测。帧内预测或空间预测大体上涉及从作为经先前译码块的部分的相邻像素值预测块。帧间预测或时间预测大体上涉及从经先前译码图片(例如,帧或切片)的像素值预测块。
许多应用(例如远程桌面、远程游戏、无线显示器、车用信息娱乐、云计算等)在日常生活中正变得常规。这些应用中的视频内容通常是自然内容、文本、人工图形和其它内容的组合。在文本和人工图形区中,常常存在重复模式(例如字符、图标、符号或类似物)。
从同一图片内的视频数据的预测性块对视频数据块的帧内预测可被称为帧内块复制(IntraBC)或帧内运动补偿(IntraMC),是可使视频译码器能够移除此冗余且改善帧内译码效率的技术。在一些视频译码技术中,视频译码器可使用直接在上方或下方或者直接与同一图片中的当前视频数据块水平地成一条线的先前经重构视频数据的块用于当前视频块的预测。换句话说,如果图片或视频数据帧强加于2-D栅格,那么每一视频数据块将占据x值和y值的唯一范围。因此,一些视频译码器可基于同一图片中共享仅相同集合的x值(即,与当前视频块垂直地成一条线)或相同集合的y值(即,与当前视频块水平地成一条线)的经先前译码视频数据的块而预测当前视频数据块。
视频译码器从同一帧(即,同一图片)内不一定直接在当前视频数据块上方或左边(或直接在右边或下方)的先前经重构视频数据块预测当前视频块可为有利的。通过在预测性集合中包含更多视频块,视频译码器可实现当前视频块的较准确预测,进而增加译码效率。
一般来说,本发明描述用于对包含用于从同一图片内的视频数据的预测性块对视频数据块的帧内预测的模式的视频数据进行译码技术,可被称为IntraBC或IntraMC模式。本发明的IntraBC或IntraMC技术可包含识别用于当前视频数据块的视频数据的预测性块,其中视频数据的预测性块是与当前视频数据块在同一图片内的经重构视频数据块。视频数据的预测性块可来自图片内的既定区内,例如当前视频数据块的上方、右上方、左上方和/或左边的区。视频数据的预测性块不限于当前视频块的上方或左边并且因此,用以相对于当前块识别预测性块的向量不一定是一维向量。实际上,为了识别或确定视频数据的预测性块,视频译码器可对界定包含相对于当前视频数据块的水平位移分量和垂直位移分量的二维向量的一或多个语法元素进行译码。所述二维向量可被称为块向量或运动向量。
本发明的技术可通过将额外经重构视频数据块视为当前视频数据块的可能预测性块而改善使用IntraBC或IntraMC基于同一图片中的经先前译码视频块预测当前视频块的效率和准确性,例如通过不将预测性块限制为在当前块的上方或左边。在一些实例中,本发明的技术可通过将既定区界定为包含经重构样本而无环路内滤波(例如解块和样本自适应偏移(SAO)滤波)来改善使用IntraBC基于同一图片中的经先前译码视频块预测当前视频块的效率和准确性。在一些实例中,本发明的技术可通过使视频译码器能够识别和译码当前视频数据块的预测性二维向量当前二维向量(例如,块向量或运动向量)来改善使用IntraBC基于同一图片中的经先前译码视频块预测当前视频块的效率和准确性。
图1是说明可实施本文所描述的技术中的一或多者的实例视频编码和解码系统的框图。如本文所使用,术语“视频译码器”一般是指视频编码器及视频解码器两者。在本发明中,术语“视频译码”或“译码”可一般地指代视频编码或视频解码。
如图1中所展示,系统10包含源装置12,其提供待在稍后时间由目的地装置14解码的经编码视频数据。具体地说,源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者,包含桌上型计算机、笔记型(即,膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些状况下,源装置12和目的地装置14可能经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中,计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码的视频数据直接发射到目的地装置14。可根据通信标准(例如,无线通信协议)调制经编码的视频数据,并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如局域网、广域网或全球网络,例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源装置12到目的地装置14的通信的设备。
在一些实例中,计算机可读媒体16可包括存储装置,且源装置可经由输出接口22将经编码视频数据输出到存储装置。类似地,可通过输入接口28从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码的视频数据的合适的数字存储媒体。举例来说,媒体生产设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据,且生产含有所述经编码视频数据的光盘。因此,在各种实例中,计算机可读媒体16可以理解为各种形式的一或多个计算机可读媒体。在另一实例中,存储装置可以对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据传输到目的装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以经由任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或两者的组合。经编码的视频数据从存储装置的发射可能是流式发射、下载发射或两者的组合。
本发明的技术不必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码,例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流式传输视频发射(例如,经由HTTP的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频,存储在数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,系统10可经配置以支持单向或双向视频发射,以支持例如视频流式传输、视频重放、视频广播及/或视频电话的应用。
图1仅为实例,且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如,视频编码或视频解码)。在其它实例中,数据可从本地存储器检索、在网络上流式传输,等。视频编码装置可以对数据进行编码并且将数据存储到存储器,和/或视频解码装置可以从存储器检索数据并且对数据进行解码。在许多实例中,由并不彼此通信而是仅编码数据到存储器和/或从存储器检索数据且解码数据的装置执行编码和解码。
在图1的实例中,源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。在其它实例中,源装置和目的地装置可包含其它组件或布置。举例来说,源装置12可从外部视频源18(例如外部相机)接收视频数据。同样,目的地装置14可与外部显示装置32介接,而不是包含集成显示装置32。
图1的说明的系统10只是一个实例。任何数字视频编码和/或解码装置可执行本文所描述的技术。尽管本发明的技术一般通过视频编码装置来执行,但是所述技术还可通过视频编码器/解码器(通常被称作“编解码器”)来执行。此外,本发明的技术还可通过视频预处理器来执行。源装置12及目的地装置14仅为此类译码装置的实例,其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中,装置12、14可以实质上对称的方式操作,使得装置12、14中的每一者包含视频编码和解码组件。因此,系统10可支持视频装置12、14之间的单向或双向视频发射以例如用于视频流式传输、视频重放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置,例如视频摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或实况视频、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18是摄像机,那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而,如上文所提及,本发明中所描述的技术可大体上适用于视频译码,且可应用于无线和/或有线应用。在每一情况下,可由视频编码器20来编码经俘获的、经预先俘获的或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。在一些实例中,输出接口22可包含调节器/解调器(调制解调器)及/或发射器。
目的地装置14的输入接口28从计算机可读媒体16接收信息。在一些实例中,输入接口28包含接收器和/或调制解调器。计算机可读媒体16的信息可包含经编码视频位流,其可包含经编码视频数据和由视频编码器20界定的其它语法信息,所述语法信息由视频解码器30使用且描述块和例如切片、图片、图片群组(GOP)或视频数据等其它经译码单元的特性和/或处理。显示装置32将经解码视频数据显示给用户,且可包括多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当部分地用软件实施所述技术时,装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。尽管图1中未展示,但在一些方面中,视频编码器20及视频解码器30可各自与音频编码器及解码器集成,并且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件,以处置对共同数据流或单独数据流中的音频及视频两者的编码。如果适用的话,多路复用器-多路分用器单元可符合ITUH.223多路复用器协议,或例如用户数据报协议(UDP)等其它协议。
本发明可总体上参考视频编码器20向另一装置(例如视频解码器30)“用信号表示”某些信息。术语“用信号表示”可以大体上指对用以对经压缩的视频数据进行解码的语法元素和/或其它数据的通信。此通信可实时或接近实时地发生。替代性地,可历时时间跨度而发生此通信,例如当在编码时,以经编码位流将语法元素存储到计算机可读存储媒体时,可发生此通信,接着,在存储到此媒体之后可由解码装置在任何时间检索所述语法元素。
出于说明的目的,在本发明中将视频编码器20及视频解码器30描述为经配置以根据一或多个视频译码标准而操作。然而,本发明的技术不一定限于任何特定译码标准,且其可应用于多种不同译码标准。
视频编码器20和视频解码器30可根据例如当前在开发的高效率视频译码(HEVC)标准等视频译码标准(包含任何扩展、修改或添加)而操作,且可符合HEVC测试模型(HM)。替代地,视频编码器20和视频解码器30可以根据其它专属或行业标准来操作,所述标准例如ITU-TH.264标准,替代地被称为MPEG-4第10部分高级视频译码(AVC),或这些标准的扩展。然而,本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-TH.263。
其它专有或行业标准的实例包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual及ITU-TH.264(也被称作ISO/IECMPEG-4AVC),所述标准包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展,或此些标准的扩展、修改或添加。此外,正在致力于产生H.264/AVC的三维视频(3DV)译码扩展,即基于AVC的3DV。换句话说,实例视频译码标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual和ITU-TH.264(也称为ISO/IECMPEG-4AVC),包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。ITU-T研究组在2005年3月在ITU-T推荐H.264“用于通用音视频服务的高级视频译码(AdvancedVideoCodingforgenericaudiovisualservices)”中描述了H.264标准,其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频组(JVT)持续致力于扩展H.264/MPEG-4AVC。MVC的最近联合草案描述于“用于通用视听服务的高级视频译码(Advancedvideocodingforgenericaudiovisualservices)”(ITU-T推荐H.264,2010年3月)中。
此外,存在一种新的视频译码标准,即高效率视频译码(HEVC),其由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。在图1的实例中,视频编码器20和视频解码器30可根据HEVC操作。布洛斯等人的“高效率视频译码(HEVC)文本规范草案10(用于FDIS和最后呼叫)(HighEfficiencyVideoCoding(HEVC)textspecificationdraft10(forFDIS&LastCall))”(ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)第12次会议,瑞士日内瓦,2013年1月14-23日,文献JCTVC-L1003_v34)是HEVC的最近草案,其从2013年10月17日起从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip可用(下文为“JCTVC-L1003-v34”),其整个内容以引用的方式并入本文。JCTVC-L1003-v34中界定的HEVC的版本可被称为HEVC版本1或“HEVCv1”。麦凯恩等人的“高效率视频译码(HEVC)测试模型12(HM12)编码器描述(HighEfficiencyVideoCoding(HEVC)TestModel12(HM12)EncoderDescription)”(文献JCTVC-N1002)是HEVC的最近编码器描述,其从http://phenix.int-evry.fr/jct/doc_end_user/ current_document.php?id=8143可用,其整个内容以引用的方式并入本文。
支持3D服务的HEVC的两个扩展已经在由ITU-T视频编码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的3D视频译码联合合作小组(JCT-3V)开发。所述两个扩展分别名为MV-HEVC和3D-HEVC。在图1的实例中,视频编码器20和视频解码器30可根据MV-HEVC和/或3D-HEVC操作。
MV-HEVC支持多个(纹理)视图的译码而无需改变块层级设计。泰克等人的“MV-HEVC草案文本5(MV-HEVCDraftText5)”(ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的3D视频译码扩展开发的联合合作小组,文献编号JCT3V-E1004-v6)是MV-HEVC的最近草案,其从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/ 5_Vienna/wg11/JCT3V-E1004-v6.zip可用,其整个内容以引用的方式并入本文。
3D-HEVC对多视图视频加深度格式进行译码,且包含除了HEVC译码模块外还构造的新译码工具。新引入的译码工具适用于纹理译码和深度译码两者。泰克等人的“3D-JEVC草案文本1(3D-JEVCDraftText1)”(ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的3D视频译码扩展开发的联合合作小组,第5次会议,奥地利维也纳,2013年7月27日到8月2日,文献编号JCT3V-E1001-v3)是3D-HEVC的最近草案,其从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1001-v3.zip可用,其整个内容以引用的方式并入本文。用于3D-HEVC的最近软件3D-HTM可从以下链接下载:
[3D-HTM版本8.0]:https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-8.0/.最近软件描述,张等人的“3D-HEVC测试模型5(3D-HEVCTestModel5)”(ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的3D视频译码扩展开发联合合作小组第5次会议,奥地利维也纳,2013年7月27日到8月2日,文献编号JCT3V-E1005,其整个内容以引用的方式并入本文)从http://phenix.it-sudparis.eu/jct2/doc_end_user/ current_document.php?id=1360可用。
HEVC标准的额外开发和扩展包含HEVC范围扩展。HEVC范围扩展的实例在弗林等人的“高效率视频译码(HEVC)范围扩展文本规范:草案4(HighEfficiencyVideoCoding(HEVC)RangeExtensionstextspecification:Draft4)”(ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC),文献JCTVC-N1005_v3,第13次会议,韩国仁川,2013年4月18到26日)中描述,其以全文引用的方式并入本文中且在http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=8139可用。
在HEVC及其它视频译码规范中,视频序列通常包含一系列图片。图片也可被称作“帧”。图片可以包含三个样本阵列,表示为SL、SCb以及SCr。SL是明度样本的二维阵列(即,块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度样本在本文中还可以被称为“色度”样本。在其它情况下,图片可为单色的且可仅包含明度样本阵列。
所述HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的进化的模型。HM根据(例如)ITU-TH.264/AVC假设视频译码装置相对于现存装置的若干额外能力。举例来说,虽然H.264提供了九种帧内预测编码模式,但是HM可提供多达三十三种帧内预测编码模式。
一般来说,HM的工作模型描述视频编码器20可将视频帧或图片划分为译码树单元(CTU)序列,也被称作最大译码单元(LCU)或树块。CTU中的每一者可包括明度样本的译码树块(CTB)、色度样本的两个对应的译码树块,以及用以对译码树块的样本进行译码的语法结构。在单色图片或包括单独的颜色平面的图片中,CTU可包括单个译码树块及用于对所述译码树块的样本进行译码的语法结构。
位流内的语法数据可以界定CTU(就像素数目来说的最大译码单元)的大小。CTU可为样本的NxN块。HEVC的CTU可大体上类似于其它视频译码标准(例如,H.264/AVC)的宏块。然而,CTU未必限于特定大小,且可包含一或多个译码单元(CU)。
视频帧或图片可以分割成一或多个切片。切片包含呈译码或扫描次序的多个连续CTU。每一CTU可根据四叉树而分裂成译码单元(CU)。CU可为样本的NxN块。一般来说,四叉树数据结构包含每个CU一个节点,其中根节点对应于所述树块。如果一个CU分裂成4个子CU,那么所述节点对应于CU包括4个叶节点,其中的每一者对应于所述子CU中的一者。CU或子CU(也可被称作CU)可包括具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块以及色度样本的两个对应译码块,以及用以对译码块的样本进行译码的语法结构。在单色图片或包括单独的颜色平面的图片中,CU可包括单个译码块及用于对所述单个译码块的样本进行译码的语法结构。
四叉树数据结构的每一节点可提供用于对应的CU的语法数据。举例来说,四叉树中的节点可包含分裂旗标,从而指示对应于所述节点的所述CU是否分裂成子CU。用于CU的语法元素可以递归式定义,且可以取决于CU是否分裂成子CU。如果CU不进一步分裂,那么将其称为叶CU。在本发明中,叶CU的子CU也将被称作叶CU,即使不存在原始叶CU的明确分裂时也是如此。举例来说,如果16x16大小的CU未经进一步分裂,那么尽管16x16CU从未经分裂,四个8x8子CU也将被称作叶CU。与经译码位流相关联的语法数据可定义树块可分裂的最大次数,被称作最大CU深度,且还可定义译码节点的最小大小。所以,位流还可界定最小译码单元(SCU)。
CU包含译码节点以及与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可从8x8像素到具有最大64x64像素或更大的树块的大小变动。一般来说,视频编码器20和视频解码器30以一个模式(例如,帧内预测或帧间预测)对每一CU进行译码。
每一CU可以含有一或多个PU和一或多个TU。举例来说,与CU相关联的语法数据可描述CU划分成一或多个PU。分割模式可以在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有区别。PU可分割为非正方形(例如,矩形)形状。举例来说,与CU相关联的语法数据还可描述CU根据四叉树划分成一或多个TU。TU可以是正方形或非正方形(例如,矩形)形状。
CU的PU和TU可包括图片的明度样本的预测块、图片的色度样本的两个对应的预测块,以及用以对预测块样本进行预测的语法结构。视频编码器20可以产生用于CU的每个PU的明度预测块、Cb预测块以及Cr预测块的预测性明度块、Cb块以及Cr块。在单色图像或包括单独的彩色平面的图片中,PU可包括单个预测块,及用以对所述单个预测块进行预测的语法结构。
视频编码器20及视频解码器30可支持具有各种大小的PU。假定特定CU的大小为2Nx2N,则视频编码器20及视频解码器30可支持2Nx2N或NxN的PU大小,及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中,不分割CU的一个方向,而另一方向分割成25%及75%。CU的对应于25%分割区的部分通过“n”后接续“上”、“下”、“左”或“右”的指示来指示。因此,例如,“2NxnU”是指水平地分割的2Nx2NCU,其中顶部为2Nx0.5NPU,而底部为2Nx1.5NPU。在HEVC中,最小PU大小为8x4及4x8。
在本发明中,“NxN”与“N乘N”可互换使用来指代在垂直及水平尺寸方面的视频块的像素尺寸,例如,16x16像素或16乘16像素。一般来说,16x16块将在垂直方向上具有16个像素(y=16),且在水平方向上具有16个像素(x=16)。同样,NxN块总体上在垂直方向上具有N个像素,且在水平方向上具有N个像素,其中N表示非负整数值。一块中的像素可布置成行和列。此外,块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说,块可包括NxM像素,其中M未必等于N。
总的来说,PU表示对应于对应CU的全部或一部分的空间区域,并且可包含用于检索PU的参考样本的数据。此外,PU包含与预测有关的数据。举例来说,当PU经帧内模式编码时,PU的数据可描述用于对应于所述PU的预测块的帧内预测模式。
作为另一实例,当PU经帧间模式编码时,PU可包含界定PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)。PU还可包含识别运动向量指向的参考图片的数据,例如到包含所述参考图片的参考图片列表中的索引。
帧间预测可为单向的(即,单向预测)或双向的(即,双向预测)。为了执行单向预测或双向预测,视频编码器20和视频解码器可产生当前图片的第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。参考图片列表中的每一者可包含一或多个参考图片。在构造参考图片列表(即RefPicList0和RefPicList1,如果可用)之后,可使用到参考图片列表的参考索引来识别参考图片列表中包含的任何参考图片。
参考图片可为在时间上(例如显示、次序)的先前图片、未来图片,或从两个或两个以上先前编码图片的预测的组合。视频译码器(例如,视频编码器20和视频解码器30)使用图片次序计数(POC)以识别图片的时间次序。视频译码器还使用图片的POC值用于参考图片列表构造和运动向量按比例缩放。视频编码器20或视频解码器30可将参考图片存储在参考图片存储器中,例如参考图片存储器368(图8)和参考图片存储器396(图9)。
在当前视频块(例如PU)是根据本发明的技术使用IntraBC译码时,界定块的二维向量(其可被称为块向量、运动向量或位移向量)的数据可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)。然而,根据本发明的技术使用IntraBC预测的PU的数据不需要识别运动向量指向的参考图片,因为参考块在与当前视频块相同的帧或图片内。
在视频编码器20产生CU的一或多个PU的预测性明度、Cb及Cr块之后,视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的PU的预测性明度块中的明度样本与CU的原始明度译码块中的对应样本之间的差。另外,视频编码器20可以产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的PU的预测性Cb块中的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的PU的预测性Cr块中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。CU的TU可包括明度样本的变换块、色度样本的两个对应的变换块,以及用以对变换块样本进行变换的语法结构。视频编码器20可变换与TU相关的残余块内的像素差值以产生可经量化的变换系数。视频编码器20可例如将离散余弦变换(DCT)、整数变换、小波变换或概念上相似的变换应用于残余视频数据。
TU可以使用RQT(还被称作TU四叉树结构)来指定,如上文所论述。举例来说,分裂旗标可以指示叶CU是否分裂成四个变换单元。接着,每一变换单元可进一步分裂成其它子TU。当TU不进一步分裂时,其可被称为叶TU。TU未必限于PU的大小。因此,TU可大于或小于PU。对于帧内译码,PU可以与相同CU的对应叶TU设在同一位置。在一些实例中,叶TU的最大大小可以对应于对应叶CU的大小。一般来说,除非另有陈述,否则本发明分别使用术语CU及TU来指叶CU及叶TU。
本发明可使用术语“视频单元”、“视频块”或“视频数据块”指代样本的任何一或多个块以及用以如本文中所描述对所述样本的一或多个块的样本进行译码的语法结构。视频块的实例类型在HEVC的上下文中可包含CTU、CU、PU或TU,或在其它标准的上下文中的相似数据结构(例如,H.264/AVC中的宏块及其宏块分区)。
在产生变换系数的任何变换之后,视频编码器20可执行变换系数的量化。量化一般是指将变换系数量化以可能减少用以表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些系数或全部相关联的位深度。举例来说,n位值可在量化期间向下舍入到m位值,其中n大于m。
在量化之后,视频编码器可以扫描变换系数,从包含经量化的变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(以及因此较低频率)系数放置在阵列的前面,且将较低能量(以及因此较高频率)系数放置在阵列的后面。在一些实例中,视频编码器20可利用预定义扫描顺序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中,视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法熵编码一维向量。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
为了执行CABAC,视频编码器20可以向待发射的符号指派上下文模型内的上下文。举例来说,所述上下文可以涉及符号的相邻值是否为非零。为了执行CAVLC,视频编码器20可选择用于待传输的符号的可变长度码。可构造VLC中的码字以使得相对较短代码对应于更有可能的符号,而较长代码对应于不太可能的符号。以此方式,相对于(例如)针对待发射的每一符号使用相等长度码字,使用VLC可实现位节省。概率确定可基于指派给符号的上下文。
另外,视频编码器20可例如通过对残余数据进行逆量化及逆变换而对经编码图片进行解码,且将残余数据与预测数据进行组合。以此方式,视频编码器20可模拟由视频解码器30执行的解码过程。因此,视频编码器20和视频解码器30两者将存取大体上相同经解码视频数据,例如图片或来自图片的块,供用于图片内、图片间或IntraBC预测。
视频编码器20可输出经编码视频位流,其包含形成经译码图片与包含语法元素的相关联数据的表示的位序列。位流可包括网络抽象层(NAL)单元序列。NAL单元中的每一者可包含NAL单元标头,且可囊封原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的所述NAL单元类型代码指示NAL单元的类型。RBSP可包括含有囊封在NAL单元内的整数数目个字节的语法结构。在一些情况下,RBSP包含零个位。
不同类型的NAL单元可囊封不同类型的RBSP。举例来说,第一类型的NAL单元可囊封参数集的RBSP、第二类型的NAL单元可囊封经译码切片的RBSP、第三类型的NAL单元可囊封补充增强信息(SEI)的RBSP,等。囊封用于视频译码数据的RBSP(与用于参数集及SEI消息的RBSP相比)的NAL单元可被称为视频译码层(VCL)NAL单元。囊封经译码切片的NAL单元在本文中可被称作经译码切片NAL单元。用于经译码切片的RBSP可包含切片标头及切片数据。
除经编码视频数据之外,视频编码器20可在经编码视频位流中包含告知视频解码器如何对特定视频数据块或其分组进行解码的语法元素。视频编码器20可以多种语法结构包含语法元素,例如取决于其参考的视频结构(例如,序列、图片、切片、块)的类型以及其值可改变的频繁程度。举例来说,视频编码器20可在例如视频参数集(VPS)、序列参数集(SPS)或图片参数集(PPS)等参数集中包含语法元素。作为其它实例,视频编码器20可在SEI消息和切片标头中包含语法元素。
一般来说,视频解码器30可执行与由视频编码器执行的编码过程相反的解码过程。举例来说,视频解码器30可使用由视频编码器用于对经量化视频数据进行熵编码的熵编码技术的相反过程来执行熵解码。视频解码器30可进一步使用由视频编码器20采用的量化技术的相反过程来逆量化所述视频数据,且可执行由视频编码器20用于产生经量化的变换系数的变换的相反过程。视频解码器30可随后将所得残余块应用于邻近参考视频数据(帧内预测)、来自另一图片的预测性块(帧间预测)或来自同一图片的预测性块(IntraBC)以产生用于最终显示的视频块。视频解码器30可经配置、经指令控制或经引导以基于由视频编码器20提供的语法元素与由视频解码器30接收的位流中的经编码视频数据来执行由视频编码器20执行的各种过程的相反过程。
每一图片可包括明度分量和一或多个色度分量。因此,本文所描述的基于块的编码和解码操作可相等地适用于包含明度或色度像素值或与其相关联的块,例如CU、PU和TU。
IntraMC(也被称作IntraBC)是使得能够移除图片内冗余且改善帧内译码效率的专用技术,如布德甲维等人的“AHG8:使用帧内运动补偿的视频译码(AHG8:VideocodingusingIntramotioncompensation)”(文献:JCTVC-M0350,ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC),第13次会议,韩国仁川,2013年4月18到26日(下文为“JCT-VCM0350”))中报告。JCT-VCM0350以全文引用的方式并入本文中,且可从http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=7601下载。根据JCT-VCM0350,IntraMC包含对:(1)一维偏移或位移向量(此处也被称为块向量、运动向量或“MV”),其指示预测信号(例如,同一帧或图片内的块)从当前视频块(例如,CU)移位的位置,连同(2)残余信号一起进行译码。对于CU或使用IntraMC的其它块,预测信号是从同一图片中的已经重构区获得。
存在与IntraMC或IntraBC的现有提议相关联的一些限制和问题,例如如JCT-VCM0350中呈现。举例来说,根据JCT-VCM0350中呈现的IntraMC技术,视频数据的预测性块必须在当前视频数据块的直接上方或直接左边,即,预测性块的搜索范围仅包含当前视频数据块的直接上方或直接左边的块。因此,根据JCT-VCM0350中呈现的IntraMC技术,视频编码器仅将指定一维块向量的信息用信号发送到视频解码器。块向量是水平位移或垂直位移,且视频编码器编码旗标以将所述方向用信号发送到视频解码器。
作为另一实例,根据JCT-VCM0350中呈现的IntraMC技术,运动向量可指向当前LCU或CTU外部的位置,其可在需要支持LCU层级管线化时使系统设计复杂。举例来说,当在LCU层级处执行并行译码时,与当前LCU在同一图片中的其它LCU将不在当前CU的译码期间重构。因此,此些LCU内的CU将不可用以提供用于IntraMC预测的预测信号。另外,根据JCT-VCM0350中呈现的IntraMC技术,运动向量是以固定长度码(FLC)译码经编码,其可能不是极有效的。
如上文所描述,视频译码器(例如,视频编码器20和/或视频解码器30)从同一帧(即,同一图片)内的先前经重构视频数据块的较大集合而不是以一维向量识别的仅垂直或水平相邻块预测当前视频块可为有利的。通过在预测性集合中包含更多视频块,视频译码器可实现当前视频块的较准确预测,进而增加译码效率。在一些实例中,视频译码器(例如,视频编码器20和/或视频解码器30)可实施本发明的技术以通过界定既定区以使得包含可用经重构样本且在一些情况下包含尚未执行例如解块和样本自适应偏移(SAO)滤波等环路内滤波的样本,来改善使用IntraBC基于同一图片中的经先前译码视频块预测当前视频块的效率和准确性。在一些实例中,本发明的技术可通过使视频译码器能够识别和译码当前视频数据块的当前二维向量(例如,块向量或运动向量)的预测性二维向量来改善使用IntraBC基于同一图片中的经先前译码视频块预测当前视频块的效率和准确性。另外,在一些实例中,视频编码器20和/或视频解码器30可通过使用可基于块大小、块位置或多种其它因数而为自适应的不同数据编码和解码技术来改善使用IntraBC基于同一图片中的经先前译码视频块预测当前视频块的效率和准确性。
图2是说明根据本发明用于根据用于从同一图片内的视频数据的预测性块对视频数据块的帧内预测的模式(例如,根据本发明的技术根据IntraBC模式)预测当前图片103内的当前视频数据块102的实例技术的概念图。图2说明当前图片103内的视频数据104的预测性块。视频译码器(例如,视频编码器20和/或视频解码器30)可根据本发明的技术根据IntraBC模式使用预测性视频块104来预测当前视频块102。
视频编码器20从先前经重构视频数据块的集合选择用于预测当前视频块102的预测性视频块104。视频编码器20通过逆量化和逆变换也包含在经编码视频位流中的视频数据且将所得残余块与用以预测经重构视频数据块的预测性块求和而重构视频数据块。在图4的实例中,图片103内的既定区108也可被称作“既定区域”或“光栅区域”,包含先前经重构视频块的集合。视频编码器20可以多种方式界定图片103内的既定区108,如下文更详细描述。视频编码器20可根据基于既定区108内的各种视频块预测和译码当前视频块102的相对效率和准确性的分析而从既定区108中的视频块当中选择预测性视频块104以预测当前视频块102。
视频编码器20确定表示预测性视频块104相对于当前视频块102的位置或位移的二维向量106。二维运动向量106包含水平位移分量112和垂直位移分量110,其分别表示预测性视频块104相对于当前视频块102的水平和垂直位移。视频编码器20可包含识别或界定经编码视频位流中的二维运动向量106(例如,界定水平位移分量112和垂直位移分量110)的一或多个语法元素。视频解码器30可解码所述一或多个语法元素以确定二维运动向量106,且使用所确定的向量来识别用于当前视频块102的预测性视频块104。
在一些实例中,二维运动向量106的分辨率可为整数像素,例如约束为具有整数像素分辨率。在此些实例中,水平位移分量112和垂直位移分量110的分辨率将为整数像素。在此些实例中,视频编码器20和视频解码器30不需要内插预测性视频块104的像素值以确定用于当前视频块102的预测符。
在其它实例中,水平位移分量112和垂直位移分量110中的一者或两者的分辨率可为子像素。举例来说,分量112和114中的一者可具有整数像素分辨率,而另一者具有子像素分辨率。在一些实例中,水平位移分量112和垂直位移分量110两者的分辨率可为子像素,但水平位移分量112和垂直位移分量110可具有不同分辨率。
在一些实例中,视频译码器(例如,视频编码器20和/或视频解码器30)基于特定层级适配水平位移分量112和垂直位移分量110的分辨率,例如块层级、切片层级或图片层级适配。举例来说,视频编码器20可例如在切片标头中在切片层级处用信号表示指示水平位移分量112和垂直位移分量110的分辨率是否为整数像素分辨率或不是整数像素分辨率的旗标。如果所述旗标指示水平位移分量112和垂直位移分量110的分辨率不是整数像素分辨率,那么视频解码器30可推断分辨率是子像素分辨率。在一些实例中,不一定是旗标的一或多个语法元素可针对每一切片或其它视频数据单元发射以指示水平位移分量112和/或垂直位移分量110的共同或个别分辨率。
在又其它实例中,替代于旗标或语法元素,视频编码器20可基于分辨率上下文信息而设定且视频解码器30可从分辨率上下文信息推断水平位移分量112和/或垂直位移分量110的分辨率。分辨率上下文信息可包含(作为实例)包含当前视频块102的图片或图片序列的颜色空间(例如,YUV、RGB或类似物)、特定颜色格式(例如,4:4:4、4:2:2、4:2:0或类似物)、帧大小、帧速率或量化参数(QP)。在至少一些实例中,视频译码器可基于与经先前译码帧或图片相关的信息确定水平位移分量112和/或垂直位移分量110的分辨率。以此方式,水平位移分量112的分辨率和垂直位移分量110的分辨率可预定义、用信号表示、可从其它辅助信息(例如,分辨率上下文信息)推断,或可基于已经译码的帧。
当前视频块102可为CU,或CU的PU。在一些实例中,视频译码器(例如,视频编码器20和/或视频解码器30)可将根据IntraBC预测的CU分裂为若干PU。在此些实例中,视频译码器可确定CU的PU中的每一者的相应(例如,不同)二维向量106。举例来说,视频译码器可将2Nx2NCU分裂为两个2NxNPU、两个Nx2NPU,或四个NxNPU。作为其它实例,视频译码器可将2Nx2NCU分裂为((N/2)xN+(3N/2)xN)PU、((3N/2)xN+(N/2)xN)PU、(Nx(N/2)+Nx(3N/2))PU、(Nx(3N/2)+Nx(N/2))PU、四个(N/2)x2NPU或四个2Nx(N/2)PU。在一些实例中,视频译码器可使用2Nx2NPU预测2Nx2NCU。
当前视频块102可为明度视频块,或对应于明度视频块的色度视频块。在一些实例中,视频编码器20可仅将界定明度视频块的二维向量106的一或多个语法元素编码到经编码视频位流中。在此些实例中,视频解码器30可基于针对明度块用信号表示的二维向量导出对应于所述明度块的一或多个色度块中的每一者的二维向量106。
取决于颜色格式,例如颜色取样格式或色度取样格式,视频译码器可相对于明度视频块下取样对应色度视频块。颜色格式4:4:4不包含下取样,意味着色度块在水平和垂直方向中包含与明度块相同数目的样本。颜色格式4:2:2在水平方向上下取样,意味着在色度块中在水平方向上相对于明度块存在二分之一那么多的样本。颜色格式4:2:0在水平和垂直方向中下取样,意味着在色度块中在水平和垂直方向中相对于明度块存在二分之一那么多的样本。
在其中视频译码器基于对应明度块的向量106确定色度视频块的向量106的实例中,视频译码器可需要修改明度向量。举例来说,如果明度向量106具有整数分辨率,其中水平位移分量112和/或垂直位移分量110为奇数数目的像素,且颜色格式是4:2:2或4:2:0,那么经转换明度向量将不指向对应色度块中的整数像素位置。在此些实例中,视频译码器可按比例缩放明度向量以用作色度向量以预测对应色度块。在一些实例中,视频编码器20可界定既定区108,或按比例缩放经转换向量,以使得用于预测色度块的经转换明度向量106将不指向未经重构或经环路内滤波的预测性色度块。
图3是说明用于界定既定区的实例技术的概念图,视频编码器20可从所述既定区选择视频数据的预测性块以预测当前视频数据块。在图3说明的实例中,视频编码器20在预测且编码当前视频数据块122。视频编码器20选择既定区128内的视频数据的预测性块124以预测当前视频块122。视频编码器20确定指示预测性视频块124相对于当前视频块122的位移的二维向量126,其包含水平位移分量132和垂直位移分量130。视频编码器20在经编码视频位流中编码界定二维向量126的一或多个语法元素。
在一些实例中,视频编码器20界定既定区128,例如界定既定区的大小(例如高度、宽度或其它尺寸),以使得可降低尤其在视频解码器30处的实施方案和处理复杂性。在这样做时,视频编码器20限制二维向量126的大小,例如限制垂直位移分量130和/或水平位移分量132的大小。在一些实例中,视频编码器20既定区128以促进视频编码器20和视频解码器20并行处理视频数据。在一些实例中,视频编码器20限制既定区128以促进预测性视频块的使用而无需环路内滤波,例如解块和样本自适应偏移(SAO)滤波,且不会不恰当地加重视频译码器的存储器要求或延迟此环路内滤波的应用。
如图3中所说明,当前视频块122在当前LCU134内。图3还当前LCU的左边相邻(左边)136。图3中说明左边LCU136,因为图片的视频块通常在光栅扫描次序中从左上到右下经编码。在其中图片的视频块以不同次序译码的实例中,以下关于左边LCU136的论述可应用于当前LCU134的不同相邻LCU。
在一些实例中,视频编码器20可限制既定区128以使得所获取预测性视频块124与当前视频块122在同一LCU内,即,当前LCU134内。将既定区128限制于当前LCU134可促进视频译码器对LCU的并行处理,因为视频译码器的处理单元当对当前LCU的块进行译码时将不需要来自另一LCU的信息。
在其中既定区128限于当前LCU134的一些实例中,二维向量126可在当前视频块122是当前LCU134的最顶部块的情况下限于水平向量,且在当前视频块122是当前LCU134的最左边块的情况下限于垂直向量。在此些实例中,视频编码器20可对界定二维向量126的水平位移分量132的一或多个语法元素进行编码,且不需要对界定二维向量126的在当前视频块122是当前LCU134的最顶部块的情况下将为零的垂直位移分量130的一或多个语法元素进行编码。类似地,视频编码器20可对界定二维向量126的垂直位移分量130的一或多个语法元素进行编码,且不需要对界定二维向量126的在当前视频块122是当前LCU134的最左边块的情况下将为零的水平位移分量132的一或多个语法元素进行编码。类似地,如果既定区128限于当前LCU134且当前视频块122是当前LCU134的左上单元,那么二维向量126的水平分量130和垂直分量132必须为零。在其中遇到此情形的一些实例中,视频编码器20可不执行IntraBC,且不需要用于IntraBC的单个任何语法元素,例如指示二维向量126的语法元素,或指示当前视频块122是否是根据IntraBC预测的任何旗标。
用以当既定区限于当前LCU且当前视频块在当前LCU中的某些位置内时减少用于IntraBC的信令的这些技术也可以应用于限于一维运动向量的IntraBC技术,例如JCT-VCM0350中同样提出的那些技术。举例来说,如果垂直运动向量受限于在当前LCU内且当前单元是最顶部单元,那么不需要用信号表示所述运动是否是垂直或水平的。
在一些实例中,视频编码器20可将既定区128限制为在当前LCU134内以及一或多个相邻LCU(例如,如图3中所说明的左边LCU136)中的经重构区域的部分。以此方式,视频编码器20限制二维向量126以使得它们除当前LCU134中的经重构块之外还可仅参考一或多个相邻LCU的经重构区域中的块,例如如图3中所说明的左边LCU136。
在一些实例中,视频编码器20基于当前LCU134的大小限制既定区128的大小。举例来说,如图3中所说明,视频编码器20可基于当前LCU134的高度(或上部垂直限制)限制既定区128的高度138,以使得既定区128不垂直地延伸超出当前LCU134和左边LCU136。LCU(或CTB)的大小可由视频编码器20在经编码视频位流中例如经由切片标头、参数集或SEI消息用信号表示给视频解码器30,并且因此基于LCU大小对既定区的限制也可以有效地用信号表示给视频解码器30。在一些实例中,视频编码器20基于整数数目的像素限制既定区128的大小,例如到当前视频块122的左边的高度138或宽度140。举例来说,视频编码器20可将到当前视频块122的左边的宽度140限制于整数数目的像素,例如64,其可对应于LCU134和136的宽度。
视频编码器20可限制既定区128包含经重构视频块而无环路内滤波,例如解块和样本自适应偏移(SAO)滤波。以此方式,视频编码器20可限制用于IntraBC的二维向量以使得它们除当前LCU134之外还可仅参考不执行环路内滤波的例如左边LCU136等相邻LCU的经重构区域中的块。视频编码器20可增加既定区128的大小,但此些增加可延迟环路内滤波并且进一步延迟既定区中的视频块的处理,或在环路内滤波之前需要额外存储器来存储样本。因此,视频编码器20可例如如本文中所描述限制既定区128以实现预测准确性与效率之间的平衡。
图4A到4C是说明用于相对于在相邻LCU中经解块滤波的视频数据样本界定既定区128的边界的概念图。根据HEVC,视频译码器可针对每一8x8块应用解块滤波,并且当应用时仅沿着边缘的三行样本受影响。因此,在一些实例中,视频编码器20可扩展既定区且增加二维块向量大小以参考当前LCU外部,但将既定区和块向量大小限制于在经先前译码相邻LCU中尚未经环路内滤波的区域。
图4A说明当前LCU150和左边相邻LCU152。在图4A中,左边LCU152中的经解块滤波像素154由经填充的圆说明。因为不接近于左边LCU152的边缘并且因此不受水平或垂直解块滤波影响的将不经解块滤波的未经解块滤波像素156在图4A中展示为加阴影的圆。虽然接近于左边LCU152的边缘但因为右边或下方LCU不可用而尚未经解块滤波的未经解块滤波像素158在图4A中展示为空的圆。线160说明当对当前LCU150内的视频数据块进行编码时可由视频编码器20应用的既定区的实例边界以及二维块向量大小的限制。
图4B说明当前LCU161和左边相邻LCU162。在图4B中,左边LCU162中的经解块滤波像素164由经填充的圆说明。因为不接近于左边LCU162的边缘并且因此不受水平或垂直解块滤波影响的将不经解块滤波的未经解块滤波像素166在图4B中展示为加阴影的圆。虽然接近于左边LCU162的边缘但因为右边或下方LCU不可用而尚未经解块滤波的未经解块滤波像素168在图4B中展示为空的圆。
视频译码器可执行水平解块滤波,接着解块垂直滤波。因此,视频译码器可当下部相邻LCU变为可用时在垂直地滤波沿着左边LCU162的底部的像素之前水平地滤波左边LCU162的左下部分中的像素。为了促进此水平滤波,视频编码器20可例如基于图4B中说明的垂直线169而限制左边LCU162内的既定区以允许那些像素的水平滤波。
图4C说明当前LCU170和上部相邻LCU172。在图4C中,上部相邻LCU172中的经解块滤波像素174由经填充的圆说明。因为不接近于上部LCU172的边缘并且因此不受水平或垂直解块滤波影响的将不经解块滤波的未经解块滤波像素176在图4C中展示为加阴影的圆。尚未经解块滤波的未经解块滤波像素178在图4C中展示为空的圆。
在上部相邻LCU172的情况中,视频编码器20可限制既定区和二维块向量,如图4C中的线180所说明。然而,在上部相邻LCU172的情况下,由线180说明的限制可导致线180下方的区域中的像素的水平解块滤波的延迟。为了允许此区域中的水平解块滤波,视频编码器20可将既定区和块向量的垂直限制界定为在当前LCU内,或不超过当前LCU的上部边界,例如如图3中所说明。
图5A到5C是说明用于相对于在相邻LCU中经解块滤波且经样本自适应偏移(SAO)滤波的视频数据样本界定既定区的边界的概念图。图5A说明当前LCU190和左边相邻LCU192。在图5A中,左边LCU152中的经解块滤波像素194由经填充的圆说明。将不经解块滤波的未经解块滤波像素196在图5A中展示为加阴影的圆。尚未经解块滤波的未经解块滤波像素198在图5A中展示为空的圆。
另外,尚未经解块滤波但已经SAO滤波的像素200在图5A中说明为交叉影线圆。线202说明当对当前LCU190内的视频数据块进行编码时可由视频编码器20应用的既定区的实例边界和二维块向量大小的限制。如线202所说明,视频编码器20可限制既定区以避免经SAO滤波像素200。因此,线202和既定区的对应边界可相对于图4A的线160移动。
图5B说明当前LCU210和左边相邻LCU212。在图5B中,左边LCU212中的经解块滤波像素214由经填充的圆说明。将不经解块滤波的未经解块滤波像素216在图5B中展示为加阴影的圆。尚未经解块滤波的未经解块滤波像素218在图5B中展示为空的圆。另外,尚未经解块滤波但已经SAO滤波的像素220在图5B中说明为交叉影线圆。
如上文所论述,视频译码器可执行水平解块滤波接着解块垂直滤波,例如可当下部相邻LCU变为可用时在垂直地滤波沿着左边LCU162的底部的像素之前水平地滤波左边LCU212的左下部分中的像素。为了促进此水平滤波,视频编码器20可例如基于图5B中说明的垂直线222而限制左边LCU212内的既定区以允许那些像素的水平滤波。另外,如由线222所说明,视频编码器20可限制既定区以避免经SAO滤波像素220。因此,线202和既定区的对应边界可相对于图4B的线169移动。
图5C说明当前LCU230和上部相邻LCU232。在图5C中,上部相邻LCU232中的经解块滤波像素234由经填充的圆说明。将不经解块滤波的未经解块滤波像素236在图5C中展示为加阴影的圆。尚未经解块滤波的未经解块滤波像素238在图5C中展示为空的圆。另外,尚未经解块滤波但已经SAO滤波的像素240在图5C中说明为交叉影线圆。
在上部相邻LCU232的情况中,视频编码器20可限制既定区和二维块向量以避免如图5C中的线242所说明的经解块和SAO滤波像素,线242可在与图4C中的线180不同的位置处。然而,如上文所论述,将既定区延伸到上部相邻LCU中可导致上部相邻LCU中的像素的水平解块滤波的延迟。为了允许此区域中的水平解块滤波,视频编码器20可界定既定区和块向量的垂直限制在当前LCU内,或不超过当前LCU的上部边界,例如如图3中所说明。
图6是说明用于相对于在相邻最大译码单元中经解块滤波的视频数据样本界定既定区的边界的概念图。图6说明当前LCU250和左边相邻LCU252。图6还以实心圆说明经解块滤波像素254,且以空的圆说明尚未经解块滤波的像素256。
在一些实例中,视频编码器20可限制既定区和二维块向量的水平分量以使得仅在线258右边的左边LCU252的部分可用作既定区。由于左边LCU252的左边边界的水平解块可仅影响左边LCU252中的像素的三个最左边列,因此当前LCU250的译码和左边LCU252的左边边界的解块可同时执行。
虽然在二维块向量的上下文中描述,但相对于图3、4A到4C、5A到5C和6描述的用于界定既定区的技术可应用于使用一维块向量的IntraBC,例如,例如JCT-VCM0350中描述的使用一维块向量的IntraBC。举例来说,当执行使用一维块向量的IntraBC而不是将垂直运动向量限制于当前LCU时,可允许垂直运动向量从顶部相邻LCU延伸到四个额外最底部线。
虽然视频编码器20可界定既定区不包括经环路内滤波视频块,但视频译码器(例如,视频编码器20和/或视频解码器30)可最终环路内滤波此些视频块以及以IntraBC模式译码的当前视频块。在一些实例中,视频译码器将也应用于以帧内模式译码的视频块(例如,CU)的解块滤波器应用于使用如本文中所描述的IntraBC模式译码的视频块(例如,CU)。在一些实例中,视频译码器将也应用于以帧间模式译码的视频块(例如,CU)的解块滤波器应用于使用如本文中所描述的IntraBC模式译码的视频块(例如,CU)。在一些实例中,从帧内模式或帧间模式的解块滤波器的使用或用于IntraBC模式的任何其它解块滤波器的使用可为选择性的,例如基于每单元、每切片、每图片或每序列。
视频编码器20还可基于内插滤波器的接通/断开和长度而界定当前视频数据块的既定区。大体上用于在子像素位置(例如,1/2)处的像素的内插需要在相邻整数位置(例如,…,-k,..,-1,0,1,..k+1)处的像素。在HEVC中,对于明度像素k=3,且对于色度像素k=1。
在色度像素的情况下,为了确保垂直获取的色度像素在既定区中,例如在当前LCU的垂直边界下方,视频编码器20可限制最小(例如,最多负一,或对应于从图片边界的顶部的最高位置)垂直色度运动向量分量MVc_y指向当前LCU的行k(即,第一行是行0)。视频编码器20可限制最大(例如,最少负一,或对应于从图片边界的顶部的最低位置)色度运动向量MVc_y为-CU_height_chroma-k。对既定区的此些限制的原因是如果MVc_y=-CU_height_chroma,那么预测性块是当前CU的紧邻顶部相邻者。因此,如果MVc_y是-CU_height_chroma-0.5,那么视频译码器需要使用在当前CU的预测期间不可用的包含当前CU中的k个像素的相邻整数位置内插预测性块。
类似地,为了确保水平获取的色度像素在既定区(例如,当前LCU和左边LCU)中,MVc_x可限于1。最小MVc_x指向左边LCU的列k(第一列是列0)。2.最大MVc_x=-CU_width_chroma-k。
另外,视频编码器20可限制既定区以使得水平获取的色度像素在包含当前LCU和左边相邻LCU的N个最右边列的既定区中。作为实例,N可在颜色格式是4:2:2或4:2:0的情况下对于色度为2且对于明度为4,且在颜色格式是4:4:4的情况下对于色度和明度两者为4。左边相邻LCU的N个最右边列可指定为左边LCU的列x,x+1…x+N-1。在一些实例中,视频编码器20可限制MVc_x以使得最小MVc_x指向左边LCU的列x+k。如果左边相邻LCU具有仅K列,K<=x+k,那么最小MVc_x指向当前LCU中的x+k-K。在一些实例中,视频编码器20可限制MVc_x以使得最大MVc_x=-CU_width_chroma-k。
虽然主要相对于色度像素描述,但用于视频编码器20确定运动向量(也被称作块向量或二维向量)的水平分量和垂直分量的最大和最小值的这些技术可应用于明度像素。此外,如上文所描述,在一些实例中,视频编码器20可仅将界定明度视频块的二维向量的一或多个语法元素编码到经编码视频位流中,且视频解码器30可基于针对明度块用信号表示的二维向量导出对应于明度块的一或多个色度块中的每一者的二维向量106。在此些实例中,视频译码器可需要修改(例如,按比例缩放或下取样)明度向量以用作色度向量。在一些实例中,视频编码器20可界定既定区108,设定明度块向量的水平和/或垂直分量的最大和/或最小值,或按比例缩放经转换向量,以使得用于预测色度块的经转换明度向量将不指向未经重构或经环路内滤波的预测性色度块。
另外,或作为对界定既定区避免使用不可用或经环路内滤波像素的替代方案,视频译码器可使用像素填补来允许块向量指向既定区之外。使用像素填补,如果需要既定区外部的像素,那么作为一实例,视频译码器可用在既定区内的最接近像素的值替代所述像素。举例来说,假定当前LCU的最小MVc_x可指向当前LCU的左边相邻LCU的列0,且最大MVc_x=-CU_width_chroma,如果MVc_x指向子像素(比方说1/2)位置,那么需要来自左边相邻LCU的左边相邻LCU的参考像素用于内插。举例来说,如果待内插的位置是左边相邻LCU中的(x=0.5,y),那么需要(-k,y),(-k+1,y),..(-1,y)用于内插(x=0.5,y)。这些像素可在当前LCU的左边相邻LCU的左边相邻LCU中。在此些实例中,视频译码器可使用在左边相邻LCU中的(0,y)处的像素值替代这些像素值。虽然相对于色度像素描述,但视频译码器可将这些像素填补技术应用于明度像素。
在一些实例中,并非对直接指定用于当前视频块(例如,PU)的IntraBC的二维向量的语法元素进行译码,视频译码器可对当前视频块的残余二维向量进行译码,例如,视频编码器20可对其进行编码且视频解码器30可对其进行解码。视频编码器20可确定当前视频块的当前二维向量的预测性二维向量,其具有预测性水平分量和预测性垂直分量。视频编码器20可基于当前与预测性二维向量之间的差而确定具有残余水平分量和残余垂直分量的残余二维向量。视频解码器30还可确定同一预测性二维向量视频编码器20,且基于所确定的预测性二维向量与经解码残余二维向量的总和确定当前二维向量。换句话说,并非对当前视频块的当前二维向量的水平分量和垂直分量Vi(i可为x或y)的语法元素进行译码,视频译码器可确定预测性二维向量的水平分量和垂直分量PVi(其中i可为x或y)且仅对水平和垂直预测误差Vdi(其中i可为x或y)或残余二维向量进行译码。
视频编码器20和视频解码器30可以多种方式确定预测性二维向量。在一些实例中,视频译码器(例如,视频编码器20和/或视频解码器30)可保持一变量,所述变量在存储器中存储用以根据IntraBC最近预测块的最后二维向量。在此些实例中,视频译码器可使用此所存储的用于最后IntraBC块的最后IntraBC向量作为当前视频块(例如,PU)的预测性二维向量。
图7是当前视频数据块260以及可从其导出当前视频数据块的候选预测性向量的相邻视频数据块262、264、266的概念图实例。在一些实例中,类似于用于帧间预测的合并模式或高级运动向量预测(AMVP)模式,视频译码器可基于用以使用IntraBC预测相邻视频块(例如,PU)的二维向量确定当前视频块(例如,PU)的预测性二维向量。图7中说明的相邻块包含左边相邻块262、上方(顶部)相邻块264和左上方(左上)相邻块266。图7中说明的相邻块是一个实例。在其它实例中,视频译码器可考虑更多、更少和/或不同相邻块的向量,例如可根据用于帧间预测的合并和AMVP模式考虑的任何相邻块。
预测符可为来自相邻块中的选定一者的二维运动向量的水平和/或垂直位移分量。在一些实例中,预测符始终来自特定相邻单元,例如顶部相邻单元或左边相邻单元。在一些实例中,相邻块中的哪一者提供当前PU的预测性二维运动向量是基于PU的索引和/或PU形状而确定。在一些实例中,预测符可为来自多个相邻单元的二维运动向量的水平和/或垂直分量的函数(例如平均或中值)。
一般来说,如果相邻块无法提供预测性二维向量,那么预测性二维向量(或候选预测性二维向量)可设定成零或默认二维向量。在一些实例中,相邻块的向量将仅当相邻视频块是根据IntraBC预测时可用作当前视频块的预测性向量。换句话说,不以IntraMC模式译码的相邻块可视为不可用于当前视频块的块向量预测。举例来说,当预测符始终来自左边相邻块且左边相邻块是以IntraMC模式预测时,其二维向量用作预测性二维向量。当预测符始终来自左边相邻块且左边相邻块不是以IntraMC模式预测时,视频译码器可使用零向量或默认向量作为当前视频块的预测性二维向量。
在一些实例中,视频译码器可在相邻视频块的二维向量不在与当前视频块(例如,CU或PU)相同的LCU或其它较大或最大译码单元中的情况下将其视为不可用于当前视频块的二维向量的预测。在一些实例中,如果当前视频块(例如,PU或CU)的当前二维向量是当前CU或LCU中的第一者,那么当前视频块的预测性二维向量可设定成零或默认二维向量。如果上部相邻CU和当前CU不在同一LCU中,那么有可能上部相邻CU被视为不可用。如果左边相邻CU和当前CU不在同一LCU中,那么也可能左边相邻CU被视为不可用。
在一些实例中,以类似于用于帧间预测的合并模式和AMVP模式的方式,视频编码器20和视频解码器30可构造包含若干相邻块的块向量的当前视频块的候选预测性向量的集合。在此些实例中,视频编码器20可对用信号表示哪一候选者用以提供当前视频块的预测性二维向量的索引的进行编码且视频解码器30可对其进行解码。在一些实例中,视频译码器可基于例如来自不同相邻块的不同候选者向量分别确定预测性二维向量的水平位移分量和垂直位移分量。在此些实例中,视频译码器可将相应索引译码到候选者列表水平和垂直位移分量中。
作为一个实例,对于根据IntraBC模式译码的当前CU,为了对其块向量进行译码,视频译码器检查左边和顶部相邻CU。如果其任一者都不可用,例如根据IntraBC译码,那么视频译码器可确定当前CU的预测性二维向量是零向量(对于水平分量和垂直分量两者)。如果相邻CU中的仅一者可用,例如以IntraBC译码,那么视频译码器使用用于可用相邻CU的预测的向量作为当前CU的当前二维向量的预测性二维向量。如果两个相邻CU都可用,例如以IntraBC译码,且其二维向量相同,那么此二维向量用作预测性二维向量。如果两个相邻都可用,例如以IntraBC译码,且其块向量不同,那么视频译码器可对旗标或其它语法元素进行译码以指示来自顶部相邻CU的块向量或来自左边相邻CU的块向量是否用作当前CU的预测性二维向量。
在另一实例中,视频译码器可界定两个或两个以上默认运动向量,其可来自(作为非限制性实例)集合(-w,0),(-2w,0),(-8,0),(0,0),(0,8),(0,-h),(0,-2h),其中w和h是当前视频块(例如,CU)的宽度和高度,且第一分量是水平位移且第二分量是垂直位移。如果左边相邻CU和上部相邻CU两者可用,那么视频译码器可使用其向量作为当前CU的第一和第二预测性二维向量。如果其中的一者不可用,那么视频译码器可使用默认预测性向量替代候选预测性向量列表中的不可用预测性向量。如果其两者不可用,那么视频译码器可使用可相同或不同的两个默认预测性向量替代候选预测性向量列表中的不可用预测性向量。以候选者列表中的默认向量代替不可用预测性向量的优点是用于预测符之间的选择的旗标也可以包含在经编码视频位流中,以使得视频解码器30不需要有条件地剖析此旗标。虽然本文相对于包含从两个相邻块导出的两个预测性向量的候选者列表描述实例,但如果块/向量可用,那么在其它实例中视频译码器可考虑更多或更少的相邻块,且在候选者列表中包含更多或更少的预测性二维向量。
在一些实例中,对于每一LCU中的第一视频块和用于IntraBC的对应二维向量,视频译码器可使用与LCU内的其它块和相关联向量不同的导出过程用于确定其预测性二维向量。举例来说,视频译码器(例如,视频编码器20和/或视频解码器30)可确定LCU中的第一视频块和用于IntraBC的对应二维向量的预测性二维向量是默认二维向量。默认二维向量可为(-w,0),其中w是当前视频块(例如,CU)的宽度。在其它实例中,默认二维向量可为(-2w,0),(-8,0),(0,0),(0,8),(0,-h),(0,-2h),其中w和h是当前视频块(例如,CU)的宽度和高度。在其它实例中,视频译码器(例如,视频编码器20和/或视频解码器30)可如第61/893,794号美国临时申请案中描述导出LCU中的第一视频块和用于IntraBC的对应二维向量的预测性二维向量,所述美国临时申请案在2013年10月21日申请且以全文引用的方式并入本文中。在一些实例中,视频译码器可针对具有不同大小或在LCU中的不同位置处的视频块(例如,CU)以不同方式导出LCU中使用IntraBC译码的第一视频块的预测性二维向量,或换句话说可基于视频块大小或在LCU中的位置以不同方式导出LCU中使用IntraBC译码的第一视频块的预测性二维向量。
在一些实例中,视频译码器可选择用以确定当前视频块的二维向量的水平分量和垂直分量的方法,可基于旗标、语法元素或基于其它信息(例如特定颜色空间(例如,YUV、RGB或类似物)、特定颜色格式(例如,4:2:0、4:4:4或类似物)、帧大小、帧速率或量化参数(QP),或基于经先前译码帧)。
在一些实例中,视频编码器20可对旗标(例如,IntraMC_flag或IntraBC_flag)进行编码以向视频解码器30指示视频块(例如,CU)是否是使用用于基于同一图片中的预测性视频块预测当前视频块的模式编码,所述模式可被称为IntraMC或IntraBC模式。所述旗标可为1位旗标,其值指示一或多个CU或其它块或单元是否是使用例如如本文中所描述的IntraMC或IntraBC模式编码。视频译码器可对每一视频块(例如,CU或PU)的旗标的值进行译码,或可对多个视频块中的每一者对旗标的值进行译码,例如在切片内或在帧或图片或图片序列内。视频译码器可在(作为实例)切片标头、参数集(例如,PPS)或SEI消息中对所述旗标进行译码。
视频译码器可在绕过模式中对旗标进行译码或对具有上下文的旗标进行算术编码,例如CABAC编码。在一些实例中,视频译码器可对具有不取决于相邻视频块的单个固定上下文的旗标进行算术译码,例如CABAC编码。在其它实例中,视频译码器可对具有从相邻视频块导出的上下文的旗标进行算术译码,例如CABAC编码。
参看图7,当视频译码器使用CABAC上下文对用于当前视频块260的旗标进行译码时,所述上下文的值可从相邻视频块导出,例如顶部(上方)相邻视频块264、左上(左上方)相邻视频块266或左边相邻视频块262。视频译码器可当相邻视频块(例如顶部相邻视频块264)与当前视频块在同一LCU内时将所述相邻视频块视为可用于导出当前视频块的上下文,且当相邻视频块在当前LCU之外时将其视为不可用。
作为一实例,对于当前视频块,视频译码器可导出上下文值=(顶部IntraMC_flag==0)?0:1+(左边IntraMC_flag==0)?0:1。在一些实例中,视频译码器可始终从相邻视频块262、264、266中的特定一者(例如,左边相邻视频块262)导出当前视频块260的上下文,且当前视频块的上下文值是(左边IntraMC_flag==0)?0:1。在一些实例中,视频译码器使用取决于视频块(例如,CU)的大小的上下文值对旗标进行译码。在一些实例中,具有不同大小的视频块具有不同上下文值。换句话说,每一视频块(例如,CU)大小可与相应唯一上下文值相关联。在一些实例中,具有不同预定义大小的若干视频块(例如,CU)共享相同上下文值,且具有其它大小的视频块使用一或多个不同上下文值。换句话说,视频译码器可使多个上下文值中的每一者与可能的视频块(例如,CU)大小的相应集合或范围关联。
在一些实例中,视频译码器(例如,视频编码器20和/或视频解码器30)可基于一元码对用于IntraBC的二维向量的水平位移分量和垂直位移分量(例如,图2中的二维向量106的水平位移分量112和垂直位移分量110)进行译码。在其它实例中,视频译码器可基于指数哥伦布或莱斯-哥伦布码对水平位移分量和垂直位移分量进行译码。
在一些实例中,水平和垂直位移分量可仅指示当前视频块上方和左边的区,且视频译码器可不需要保持或译码这些值的正负号位。在一些实例中,视频译码器可构造参考帧以使得当前视频块上方和左边的区域可表示相对于当前视频块的正方向。在此些实例中,如果仅当前视频块上方和/或左边的视频块视为候选预测性视频块,那么视频译码器可不需要保持或译码正负号位,因为可预定义水平位移分量和垂直位移分量的全部值表示正(或负)值且指示当前视频块上方和/或左边的视频块。
在一些实例中,这些二维向量的最大大小(或例如残余二维向量等一或多个二维向量之间的差)可为小的,例如由于如上文所论述的既定区和/或管线约束的定义。在此些实例中,视频编码器20可以截断值二进制化这些二维运动向量。在一些实例中,视频编码器20可在熵编码所述二维向量中,例如在对所述二维向量的水平位移分量和垂直位移分量进行编码中采用截断一元、截断指数哥伦布或截断哥伦布-莱斯码。
视频编码器20在本文所描述的各种截断编码方案中的任一者中可使用的截断值可为常数,例如基于LCU大小。在一些实例中,所述截断值可对于水平位移分量和垂直位移分量为相同的。在其它实例中,所述截断值可对于水平位移分量和垂直位移分量为不同的。
作为一个说明性实例,如果LCU的大小是64,例如64x64,且二维向量的垂直分量限于在LCU内,例如如上文相对于图3所描述,那么所述截断可对于二维向量的水平分量等于63,且对于二维向量的垂直分量等于63-MinCUSize。在一些实例中,所述截断值可取决于LCU内的当前视频块的位置而为自适应的。举例来说,如果二维向量的垂直分量限于在LCU内,那么视频编码器可将向量二进制化截断于当前视频块的顶部位置与LCU的顶部位置之间的差。
视频编码器20可使用绕过模式对二维向量的水平分量和垂直分量的二进制化进行熵编码,或可例如以CABAC上下文对所述二进制化进行算术编码。举例来说,视频编码器20将针对预测性视频块的搜索限制于既定区,例如如图3中所说明,二维向量(MV)的分量的分布可不以零为中心。举例来说,MV_x往往会为负的,因为当前视频块(例如,CU)右边的像素(同一行中)尚未经编码/经重构。类似地,MV_y往往会为负的,因为当前视频块(例如,CU)下方的像素(同一列中)尚未经编码/经重构。
绕过模式可假定对于0和1的相等概率。对于正负号,这意味着绕过模式假定为正或负的相等概率。因为二维向量的分量并不具有为正或负的相等概率,所以视频编码器20可以上下文(例如,以除0.5外的初始概率)对正负号进行算术编码,例如CABAC编码。
视频编码器20可如何对二维向量的水平分量(MV_x)进行编码的一个实例如下。虽然相对于MV_x描述,但所述技术也可应用于对二维向量的垂直分量(MV_y)或表示当前向量与预测性向量之间的差的残余二维向量的水平或垂直分量(例如,mvd_x和mvd_y)进行编码。
MV_x可由正负号值和二进制化串(对于abs(MV_x))b0b1...表示。第一二进位b0指示是否abs(Mv_x)>0(b0=1)或不大于0(b0=0)。视频编码器20可使用具有上下文的CABAC对第一二进位b0进行编码。用于Mv_x和Mv_y的b0可具有单独的上下文,或可共享同一上下文。在一些实例中,IntraBC的MV译码中的第i二进位与帧间运动补偿的运动向量译码中的第i二进位共享相同上下文。在一些实例中,IntraBC的MV译码和帧间运动补偿的运动向量译码中的第i二进位并不共享上下文。
随后的二进位b1b2...表示abs(MV_x)-1的值,且视频编码器20可在绕过模式中使用具有参数3的指数哥伦布码对这些二进位进行编码。在一些实例中,视频编码器20使用其它阶的指数哥伦布码,例如1、2、4、5。在一些实例中,b1表示是否abs(MV_x)=1(b1=1)或不等于1(b1=0)。在一些实例中,视频编码器20可以绕过模式或以CABAC上下文对b1进行编码。
在一些实例中,b2b3...表示abs(MV_x)-2的值,且视频编码器20可使用具有参数3的指数哥伦布码或在绕过模式中使用其它阶的指数哥伦布码对这些二进位进行编码。最后二进位可指示MV_x的正负号,且视频编码器20可在绕过模式中对此二进位进行编码而无需任何上下文。在其它实例中,视频编码器20可以一或多个上下文对使用CABAC编码的正负号二进位进行编码。用于MV_x和MV_y的正负号二进位可具有单独的上下文,或它们有可能共享相同上下文。
在一些实例中,视频译码器(例如,视频编码器20和/或视频解码器30)可将IntraBC模式的应用以及旗标、向量分量或其它语法的任何相关联译码限制于某一大小(即,满足某一大小准则)的视频块。所述大小准则可为最大块大小和/或最小块大小(例如,IntraMC_MaxSize和IntraMC_MinSize)中的一者或两者。视频编码器20可例如使用旗标或其它语法元素在经编码视频位流中向视频解码器30指示所述一或多个大小准则,或视频译码器可基于例如特定颜色空间(例如,YUV、RGB或类似物)、特定颜色格式(例如,4:2:0、4:4:4或类似物)、帧大小、帧速率、量化参数(QP)等其它信息或基于经先前译码帧隐式地确定所述大小准则。举例来说,用于小大小的IntraBC可能对系统的存储器带宽要求具有影响,且视频译码器可应用最小块大小准则以将IntraBC限制于高于大小阈值的块。
图8是说明可实施本发明中所描述的技术的实例视频编码器的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间或视图间预测来减少或去除视频序列的邻近帧或图片内的视频中的冗余。帧内模式(I模式)可指若干基于空间压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可包含若干基于时间的压缩模式中的任一者。视频编码器20还可经配置以利用用于从同一图片内的视频数据的预测性块对视频数据块的帧内预测的模式,例如如本文中所描述的IntraBC或IntraMC模式。
在图8的实例中,视频编码器20包含分割单元335、预测处理单元341、既定区存储器364、滤波器处理单元366、参考图片存储器368、求和器350、变换处理单元352、量化处理单元354和熵编码单元356。预测处理单元341包含运动估计单元342、运动补偿单元344、帧内预测处理单元346和帧内块复制(IntraBC)单元348,且。为了视频块重构,视频编码器20还包含逆量化处理单元358、逆变换处理单元360,及求和器362。
在各种实例中,可给视频编码器20的单元分派任务以执行本发明的技术。并且,在一些实例中,本发明的技术可在视频编码器20的单元中的一或多者当中划分。举例来说,IntraBC单元348可单独或与视频编码器的其它单元组合地执行本发明的技术,所述其它单元例如运动估计单元342、运动补偿单元344、帧内预测处理单元346、既定区存储器364和熵编码单元356。
如图8中所展示,视频编码器20接收视频数据,且分割单元335将数据分割成视频块。此分割还可包含分割成切片、瓦片或其它较大单元,以及例如根据LCU及CU的四叉树结构的视频块分割。视频编码器20大体说明编码待编码视频切片内的视频块的组件。所述切片可划分成多个视频块(且可能划分成被称作瓦片的视频块集合)。
预测处理单元341可根据本发明中描述的技术基于误差结果(例如,译码速率和失真水平)选择多个可能的译码模式中的一者,例如多个帧内译码模式中的一者、多个帧间译码模式中的一者或IntraBC模式用于当前视频块。预测处理单元341可将所得预测性块提供到求和器250以产生残余块数据且提供到求和器262以重构当前块以用于预测其它视频块,例如作为参考图片。
预测处理单元341内的帧内预测单元346可相对于与待译码当前块在相同的帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码,以提供空间压缩。预测处理单元341内的运动估计单元342及运动补偿单元344相对于一或多个参考图片中的一或多个预测性块执行当前视频块的帧间预测性译码以例如提供时间压缩。
运动估计单元342可经配置以根据用于视频序列的预定模式为视频切片确定帧间预测模式。运动估计单元342与运动补偿单元344可高度集成,但出于概念目的单独地加以说明。运动估计单元342所执行的运动估计是产生运动向量的过程,所述过程估计视频块的运动。举例来说,运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。类似地,根据本发明的技术的用于IntraBC的二维向量指示当前视频帧或图片内的视频块的PU相对于同一帧或图片内的预测性块的位移。IntraBC单元348可以类似于运动估计单元342确定运动向量以用于帧间预测的方式确定用于IntraBC译码的二维向量(例如,块向量或运动向量),或可利用运动估计单元342以确定所述二维向量。
例如由运动估计单元342和/或用于帧间预测或IntraBC预测的IntraBC单元识别的预测性块是被发现在像素差方面接近地匹配于待译码视频块的PU的块,其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量确定。在一些实例中,视频编码器20可计算存储在参考图片存储器366中的参考图片或存储在既定区存储器364中的当前图片的既定区的子整数像素位置的值。举例来说,视频编码器20可内插四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此,运动估计单元342和/或IntraBC单元348可执行相对于全像素位置和分数像素位置的预测性块的搜索且以分数像素精确度输出向量。
运动估计单元342通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置来计算PU的运动向量。参考图片可选自第一参考图片列表(列表0或RefPicList0)或第二参考图片列表(列表1或RefPicList1),其中的每一者识别存储在参考图片存储器364中的一或多个参考图片。运动估计单元342将计算的运动向量发送到熵编码单元356和运动补偿单元346。
由运动补偿单元344执行的运动补偿可涉及基于通过运动估计(可能执行对子像素精度的内插)确定的运动向量获取或产生预测性块。在接收到当前视频块的PU的运动向量后,运动补偿单元344便可在参考图片列表中的一者中定位所述运动向量指向的预测块。
在一些实例中,IntraBC单元348可以类似于上文相对于运动估计单元342和运动补偿单元344描述的方式产生二维向量且获取预测性块,但其中所述预测性块与当前块在同一图片或帧中。在其它实例中,IntraBC单元348可完全或部分地使用运动估计单元342和运动补偿单元344根据本文所描述的技术执行用于IntraBC预测的此些功能。在任一情况下,对于IntraBC,预测性块可为被发现在像素差方面接近地匹配待译码块的块,其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量确定,且块的识别可包含用于子整数像素位置的值的计算。
无论预测性视频块是来自根据IntraBC预测的同一图片还是根据帧间预测的不同图片,视频编码器20都可通过从正译码的当前视频块的像素值减去预测性块的像素值而形成像素差值来形成残余视频块。像素差值形成所述块的残余数据,并且可包含明度及色度差分量两者。求和器250表示执行此减法运算的一或多个组件。IntraBC单元348和/或运动补偿单元344还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。所述语法元素可包含例如界定用以识别预测性块的向量的语法元素、指示预测模式的任何旗标或相对于本发明的技术描述的任何其它语法。
帧内预测处理单元346可帧内预测当前块,作为对由运动估计单元342和运动补偿单元344执行的帧间预测或由IntraBC单元348执行的IntraBC预测的替代,如上文所描述。明确地说,帧内预测处理单元346可以确定用以编码当前块的帧内预测模式。在一些实例中,帧内预测处理单元346可以例如在单独的编码遍次期间使用各种帧内预测模式编码当前视频块,并且帧内预测模块346(或在一些实例中为预测处理单元341)可以从测试模式中选择适当帧内预测模式来使用。举例来说,帧内预测处理单元346可使用速率失真分析计算用于各种经测试帧内预测模式的速率失真值,并在经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析总体上确定经编码块与经编码以产生所述经编码块的原始未经编码块之间的失真(或误差)的量,以及用于产生经编码块的位速率(即,位数目)。帧内预测处理单元346可以从用于各种经编码块的失真及速率计算比率,以确定哪种帧内预测模式对于所述块来说展现最佳速率失真值。
在任何情况下,在选择用于块的帧内预测模式之后,帧内预测处理单元346可将指示用于块的所选帧内预测模式的信息提供到熵编码单元356。熵编码单元356可根据本发明的技术编码指示所选帧内预测模式的信息。视频编码器20在传输的位流中可包含配置数据,其可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称为码字映射表),编码用于各种块的上下文的定义,和最可能帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。
在预测处理单元341经由帧间预测、帧内预测或IntraBC预测产生当前视频块的预测性块之后,视频编码器20例如经由求和器350通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中并应用到变换处理单元352。变换处理单元352使用例如离散余弦变换(DCT)或概念上类似变换的变换将残余视频数据变换成残余变换系数。变换处理单元352可将残余视频数据从像素域转换到变换域,例如频域。
变换处理单元352可将所得变换系数发送到量化处理单元354。量化处理单元354量化所述变换系数以进一步减小位速率。量化过程可减少与变换系数中的一些或全部相关联的位深度。可通过调节量化参数来修改量化程度。在一些实例中,量化处理单元354可接着执行对包含经量化变换系数的矩阵的扫描。替代地,熵编码单元356可执行所述扫描。
在量化之后,熵编码单元356对经量化的变换系数进行熵编码。举例来说,熵编码单元356可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码方法或技术。熵编码单元356可执行本文针对二进制化和编码语法元素(包含向量分量、旗标和其它语法元素)以用于根据IntraBC模式的预测的所描述技术中的任一者。在熵编码单元356进行的熵编码之后,可将经编码视频位流发射到视频解码器30,或将经编码位流存档以供稍后发射或由视频解码器30检索。
逆量化处理单元358和逆变换处理单元360分别应用逆量化和逆变换以在像素域中重构残余块供稍后用作用于其它视频块的预测的参考块。运动补偿单元344和/或IntraBC单元348可通过将残余块加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元344和/或IntraBC单元348也可将一或多个内插滤波器应用于经重构残余块以计算用于运动估计的子整数像素值。
求和器362将经重构残余块相加到由运动补偿单元344和/或IntraBC单元348产生的运动补偿预测块以产生经重构视频块。既定区存储器364根据如本文中所描述用于视频编码器20对当前视频块的IntraBC(例如,IntraBC单元348)的既定区的定义存储经重构视频块。既定区存储器364可存储尚未由滤波器处理单元366环路内滤波的经重构视频块。求和器362可与既定区存储器364并行地将经重构视频块提供到滤波器处理单元366,或既定区存储器364可当不再需要用于IntraBC的既定区时将经重构视频块释放到滤波器处理单元366。在任一情况下,IntraBC单元348可搜索既定区存储器364中的经重构视频块是否有与当前视频块在同一图片内的预测性视频块以预测当前视频块。
滤波器处理单元366可对经重构视频块执行环路内滤波。环路内滤波可包含解块滤波以对块边界进行滤波以从经重构视频移除成块效应假象。环路内滤波还可包含SAO滤波以改善经重构视频。其中一些可经环路内滤波的经重构块可存储在参考图片存储器368中作为参考图片。参考图片可包含可由运动估计单元342和运动补偿单元344用作预测性块以帧间预测后续视频帧或图片中的块的经重构块。
以此方式,视频编码器20可经配置以实施本发明的实例技术以用于例如根据IntraBC模式从同一图片内的视频数据预测块对视频数据块的帧内预测。举例来说,视频编码器20可为经配置以执行对视频数据进行编码的方法的视频编码器的实例,包含用于从同一图片内的视频数据预测性块对视频数据块的帧内预测的模式,所述方法包括从与当前视频数据块在同一图片内的视频数据的经先前编码块的集合选择用于当前视频数据块的预测性视频数据块。所述方法进一步包括确定二维向量,其中所述二维向量具有水平位移分量和垂直位移分量,其中所述水平位移分量表示预测性视频数据块与当前视频数据块之间的水平位移且所述垂直位移分量表示预测性视频数据块与当前视频数据块之间的垂直位移。所述方法进一步包括基于当前视频数据块和预测性视频数据块确定残余块,且在经编码视频位流中编码界定所述二维向量的水平位移分量和垂直位移分量的一或多个语法元素和所述残余块。
视频编码器20也可为包括经配置以存储经编码视频位流的存储器和一或多个处理器的视频编码器的实例。所述一或多个处理器经配置以从与当前视频数据块在同一图片内的经先前编码视频数据块的集合选择用于当前视频数据块的预测性视频数据块。所述一或多个处理器进一步经配置以确定二维向量,其中所述二维向量具有水平位移分量和垂直位移分量,其中所述水平位移分量表示预测性视频数据块与当前视频数据块之间的水平位移且所述垂直位移分量表示预测性视频数据块与当前视频数据块之间的垂直位移。所述一或多个处理器进一步经配置以基于当前视频数据块和预测性视频数据块确定残余块,且在经编码视频位流中对界定所述二维向量的水平和垂直位移分量的一或多个语法元素和所述残余块进行编码。
图9是说明可实施本发明中描述的技术的实例视频解码器的框图。在图9的实例中,视频解码器30包含熵解码单元380、预测处理单元381、逆量化处理单元386、逆变换处理单元388、求和器390、既定区存储器392、滤波器处理单元394和参考图片存储器396。预测处理单元381包含运动补偿单元382、帧内预测处理单元384和帧内块复制(IntraBC)单元385。在一些实例中,视频解码器30可执行一般与关于图8的视频编码器20描述的编码遍次互逆的解码遍次。
在各种实例中,可给视频解码器30的单元分派任务以执行本发明的技术。并且,在一些实例中,本发明的技术可在视频解码器30的单元中的一或多者当中划分。举例来说,IntraBC单元385可单独或与视频解码器30的其它单元组合地执行本发明的技术,所述其它单元例如运动补偿单元382、帧内预测处理单元384、既定区存储器392和熵解码单元380。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频块的经编码视频位流和相关联的语法元素。视频解码器30的熵解码单元380对位流进行熵解码以产生经量化系数、用于帧间预测的运动向量、用于IntraBC预测的二维向量以及本文所描述的其它语法元素。熵解码单元380可执行本文所描述的用于二进制化和编码语法元素(包含向量分量、旗标和其它语法元素)以用于根据IntraBC模式的预测的技术中的任一者的逆过程。熵解码单元380将向量和其它语法元素转发到预测处理单元381。视频解码器30可接收序列层级、图片层级、视频切片层级及/或视频块层级的语法元素。
当视频切片经译码为经帧内译码(I)切片时,预测处理单元381的帧内预测单元384可以基于用信号表示的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即,B或P)切片时,预测处理单元381的运动补偿单元382基于从熵解码单元280接收到的运动向量和其它语法元素产生用于当前视频切片的视频块的预测性块。可以从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可使用默认构造技术或基于存储于参考图片存储器396中的参考图片的任何其它技术来构造参考帧列表RefPicList0及RefPicList1。当视频块是根据本文所描述的IntraBC模式经译码时,预测处理单元381的IntraBC单元385基于从熵解码单元380接收的二维向量和其它语法元素产生当前视频块的预测性块。所述预测性块可在由视频编码器20界定的与当前视频块在同一图片内的既定区内,且从既定区存储器392检索。
运动补偿单元382和IntraBC单元385通过剖析向量及其它语法元素确定当前视频切片的视频块的预测信息,且使用所述预测信息来产生正被解码的当前视频块的预测性块。举例来说,运动补偿单元282使用所接收语法元素中的一些语法元素确定用于译码视频切片的视频块的预测模式(例如,帧内预测或帧间预测)、帧间预测切片类型(例如,B切片或P切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态,及用以解码当前视频切片中的视频块的其它信息。类似地,IntraBC单元385可使用所接收语法元素中的一些语法元素(例如,旗标)确定当前视频块是使用IntraBC模式预测、指示图片的哪些视频块在既定区内且应存储在既定区存储器中的用于既定区存储器392的构造信息、切片的每一经IntraBC预测视频块的二维向量、切片的每一经IntraBC预测视频块的IntraBC预测状态,以及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元382和IntraBC单元385还可基于内插滤波器执行内插。运动补偿单元382和IntraBC单元385可在视频块的编码期间使用如由视频编码器20使用的内插滤波器来计算用于预测性块的子整数像素的内插值。在此情况下,运动补偿单元382和IntraBC单元385可从所接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器产生预测性块。
逆量化处理单元386将在位流中提供且由熵解码单元380解码的经量化变换系数逆量化,即解量化。逆量化过程可包含使用由视频编码器20针对视频切片中的每一视频块所计算的量化参数以确定应应用的量化程度且同样确定应应用的逆量化程度。逆变换处理单元388对变换系数应用逆变换,例如逆DCT、逆整数变换或概念上类似的逆变换过程,以便产生像素域中的残余块。
在运动补偿单元382或IntraBC单元385基于所述向量和其它语法元素产生当前视频块的预测性块之后,视频解码器30通过将来自逆变换处理单元388的残余块与由运动补偿单元382和IntraBC单元385产生的对应预测性块求和而形成经解码视频块。求和器390表示执行此求和运算以产生经重构视频块的组件。
既定区存储器392根据如本文中所描述用于视频编码器20对当前视频块的IntraBC的既定区的定义存储经重构视频块。既定区存储器392可存储尚未由滤波器处理单元394环路内滤波的经重构视频块。求和器390可与既定区存储器392并行地将经重构视频块提供到滤波器处理单元394,或既定区存储器392可当不再需要用于IntraBC的既定区时将经重构视频块释放到滤波器处理单元394。在任一情况下,IntraBC单元385从既定区存储器392检索当前视频块的预测性视频块。
滤波器处理单元394可对经重构视频块执行环路内滤波。环路内滤波可包含解块滤波以对块边界进行滤波以从经重构视频移除成块效应假象。环路内滤波还可包含SAO滤波以改善经重构视频。其中一些可经环路内滤波的经重构块可存储在参考图片存储器368中作为参考图片。参考图片可包含可由运动补偿单元382用作预测性块以帧间预测后续视频帧或图片中的块的经重构块。参考图片存储器396还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。
以此方式,视频解码器30可经配置以实施用于基于同一图片内的预测性视频数据块帧内预测当前视频数据块的本发明的实例技术。举例来说,视频解码器30可为经配置以执行对视频数据进行解码的方法的视频解码器的实例,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,所述方法包括在经编码视频位流中接收界定二维向量的水平位移分量和垂直位移分量的一或多个语法元素和当前视频数据块的残余块,且对所述一或多个语法元素进行解码。所述方法进一步包括基于界定所述二维向量的水平位移分量和垂直位移分量的经解码语法元素确定当前视频数据块的预测性视频数据块,其中所述预测性视频数据块是与当前视频数据块在同一图片内的经重构视频数据块,以及基于预测性视频数据块和残余块重构当前视频数据块。
视频解码器30也可为包括经配置以存储对视频数据进行编码的经编码视频位流的存储器和一或多个处理器的视频解码器的实例。视频解码器的所述一或多个处理器可经配置以对所述一或多个语法元素进行解码,基于界定所述二维向量的水平位移分量和垂直位移分量的经解码语法元素确定当前视频数据块的预测性视频数据块,其中所述预测性视频数据块是与当前视频数据块在同一图片内的经重构视频数据块,以及基于预测性视频数据块和所述残余块重构当前视频数据块。
图10是说明用于对视频数据进行编码的实例方法的流程图,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,例如IntraBC模式。图10的实例方法可由例如视频编码器20等视频编码器执行,其可包含IntraBC单元348。
根据图10的实例方法,视频编码器20界定当前视频块的当前图片内的既定区(400)。如本文中所描述,视频编码器20可界定既定区包含当前LCU,或当前LCU和左边相邻LCU的包含尚未经环路内滤波的经重构视频块的一部分。在一些实例中,视频编码器20可界定既定区以使得其高度或最垂直位置不超过当前LCU的垂直限制。在一些实例中,视频编码器20可界定既定区在水平方向中延伸整数数目的像素,例如64或LCU宽度。通过界定既定区,视频编码器20可将二维向量的水平和垂直位移分量中的一者或两者约束为例如小于最大阈值或大于最小阈值。
视频编码器20从既定区内选择当前视频块的预测性块(402)。视频编码器20随后确定从当前视频块到选定预测性视频块的二维向量(例如,块向量或运动向量(MV))(404)。视频编码器20基于例如基于当前视频块与选定预测性视频块之间的差确定残余块(406)。视频编码器20在经编码视频位流中编码界定所述二维向量的一或多个语法元素以及用于当前视频块的预测的残余块。
图11是说明用于对视频数据进行解码的实例方法的流程图,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,例如IntraBC模式。图11的实例方法可由例如视频解码器30等视频解码器执行,其可包含IntraBC单元385。
根据图11的实例方法,视频解码器30从经编码视频位流对界定二维向量和预测当前视频块的残余块的一或多个语法元素进行解码(410)。视频解码器30基于所述二维向量确定与当前视频块在同一图片内的预测性块(412)。如本文中所描述,预测性块可在由视频编码器20界定的既定区内且存储在既定区存储器392内。视频解码器30可随后基于例如基于预测性视频块和残余块的总和重构当前视频块(414)。
图12是说明包含从对应明度视频数据块的二维向量导出色度视频数据块的二维向量的实例方法的流程图。图12的实例方法可由例如视频编码器20和/或视频解码器30等视频译码器执行,其可包含例如IntraBC单元348或IntraBC单元385等帧内BC单元。
根据图12的实例方法,视频译码器对界定二维向量和根据IntraBC模式预测的当前明度块的残余块的一或多个语法元素进行译码(例如,编码或解码)(420)。视频译码器可随后导出对应于所述明度块的色度块的二维向量以根据IntraBC模式预测所述色度块(422)。如本文中所论述,视频译码器可取决于经译码视频的颜色格式(例如,4:4:4、4:2:2或4:2:0)按比例缩放或下取样明度块的二维向量,以使得所述向量指向色度域中的可用的样本。视频译码器可对界定对应于所述明度块的色度块的残余块的一或多个语法元素进行译码(424)。视频译码器不需要对指示所述色度块的单独二维向量的语法元素进行译码。
图13是说明对视频数据进行编码的实例方法的流程图,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,例如IntraBC模式,其包含确定预测性二维向量。图13的实例方法可由例如视频编码器20等视频编码器执行,其可包含IntraBC单元348。
根据图13的实例方法,视频编码器20基于选自与当前块在同一图片中的既定区的预测性块确定当前视频块的二维向量(430)。视频编码器20确定当前视频块是否是当前LCU中以IntraBC模式预测的第一块(432)。如果当前视频块是第一视频块(432的是),那么视频编码器20可确定当前视频块的预测性二维向量是默认二维向量(434)。如本文中所论述,默认二维向量的实例是(-w,0),其中w是包括当前视频块的当前译码单元的宽度。
如果当前视频块不是当前LCU中以IntraBC模式预测的第一视频块(432的否),那么视频编码器20可确定用于根据IntraBC模式的最近先前经预测视频块的预测的最后二维向量(436)。视频编码器20将当前视频块的预测性向量确定为用于IntraBC的此最后二维向量(438)。基于预测性二维向量(例如,默认或最后向量),视频编码器20可确定当前视频块的残余二维向量(440)。视频编码器20可随后例如在经编码视频位流中对界定当前视频块的残余二维向量而不是针对当前视频块确定的二维向量的一或多个语法元素进行编码(442)。
图14是说明对视频数据进行解码的实例方法的流程图,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,其包含确定预测性二维向量。图14的实例方法可由例如视频解码器30等视频解码器执行,其可包含IntraBC单元385。
根据图14的实例方法,视频解码器30例如从经编码视频位流对界定当前视频块的残余二维向量而不是由视频编码器20针对当前视频块确定的二维向量的一或多个语法元素进行解码(450)。视频解码器30确定当前视频块是否是当前LCU中以IntraBC模式预测的第一块(452)。如果当前视频块是第一视频块(452的是),那么视频解码器30可确定当前视频块的预测性二维向量是默认二维向量(454)。
如果当前视频块不是当前LCU中以IntraBC模式预测的第一视频块(452的否),那么视频解码器30可确定用于根据IntraBC模式对最近先前经预测视频块的预测的最后二维向量(456)。视频解码器30将当前视频块的预测性向量确定为用于IntraBC的此最后二维向量(458)。基于所述预测性二维向量(例如,默认或最后向量)和残余二维向量,例如基于其总和,视频解码器30可确定当前视频块的当前二维向量(460)。
图15是说明用于确定当前视频数据块的预测性二维向量候选者的实例方法的流程图。图15的实例方法可由例如视频编码器20和/或视频解码器30等视频译码器执行,其可包含例如IntraBC单元348或IntraBC单元385等IntraBC单元。
根据图15的实例方法,视频译码器检查当前视频块的相邻块的二维向量(470),且确定所述向量是否可用,例如相邻块是否是使用IntraBC译码的(472)。如果所述向量可用(472的是),那么视频译码器可将所述向量插入到当前视频块的预测性向量候选者列表中(474)。如果所述向量不可用(472的否),那么视频译码器可将默认向量插入到当前视频块的预测性候选者列表中(476)。
应认识到,取决于实例,本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如,实践所述技术并不需要所有的所描述动作或事件)。此外,在某些实例中,可同时(例如,通过多线程处理、中断处理或多个处理器)而非顺序地执行动作或事件。
在一或多个实例中,所描述功能可在硬件、软件、固件或其任何组合中实施。如果以软件实施,则所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输,并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于有形媒体,例如数据存储媒体,或包含任何促进将计算机程序从一处传送到另一处的媒体(例如,根据一种通信协议)的通信媒体。以此方式,计算机可读媒体总体上可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)通信媒体,例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包括计算机可读媒体。
举例来说且并非限制,此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且,任何连接被恰当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射指令,那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而,应理解,计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体,而是实际上针对非暂时性的有形存储媒体。如本文所使用,磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
指令可由一或多个处理器执行,所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA),或其它等效的集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文所述的功能性可在经配置用于编码及解码的专用硬件及/或软件模块内提供,或并入在组合式编解码器中。并且,所述技术可以完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施,包含无线手持机、集成电路(IC)或IC集合(例如,芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面,但未必需要通过不同硬件单元实现。而是,如上文所描述,各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中,或者由互操作硬件单元的集合来提供,所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些以及其它实例在所附权利要求书的范围内。

Claims (112)

1.一种对视频数据进行解码的方法,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,所述方法包括:
在经编码视频位流中接收界定二维向量的水平位移分量和垂直位移分量的一或多个语法元素以及当前视频数据块的残余块;
对所述一或多个语法元素进行解码;
基于界定所述二维向量的所述水平位移分量和所述垂直位移分量的所述经解码语法元素确定所述当前视频数据块的预测性视频数据块,其中所述预测性视频数据块是与所述当前视频数据块在同一图片内的经重构视频数据块;以及
基于所述预测性视频数据块和所述残余块重构所述当前视频数据块。
2.根据权利要求1所述的方法,其中所述二维向量的所述水平位移分量和所述垂直位移分量被约束为具有整数像素分辨率。
3.根据权利要求2所述的方法,其中所述当前视频数据块和所述预测性视频数据块包括所述视频数据的明度分量的块。
4.根据权利要求2所述的方法,其中所述当前视频数据块和所述预测性视频数据块包括所述视频数据的色度分量的块。
5.根据权利要求1所述的方法,其中所述预测性视频数据块在所述图片内的既定区内。
6.根据权利要求5所述的方法,其进一步包括存储在环路内滤波之前的所述既定区的全部样本,其中所述预测性视频数据块包括在环路内滤波之前的经重构样本。
7.根据权利要求5所述的方法,其中所述当前视频数据块位于最大译码单元内,且所述既定区的高度或宽度中的至少一者是基于所述最大译码单元的大小而界定。
8.根据权利要求7所述的方法,其中所述既定区的所述高度是基于所述最大译码单元的高度而界定。
9.根据权利要求5所述的方法,其中所述既定区的高度或宽度中的至少一者是基于整数样本数目而界定。
10.根据权利要求9所述的方法,其中所述既定区的所述宽度是基于所述整数样本数目而界定。
11.根据权利要求10所述的方法,其中所述整数样本数目是64。
12.根据权利要求5所述的方法,其中所述当前视频数据块位于当前最大译码单元内,且所述既定区的高度或宽度中的至少一者受约束以使得所述既定区在所述当前最大译码单元和所述当前最大译码单元的左边相邻最大译码单元中的至少一者内。
13.根据权利要求5所述的方法,其中对所述语法元素进行解码包括对以基于所述既定区的大小截断的值编码的语法元素进行解码。
14.根据权利要求1所述的方法,其中接收界定所述二维向量的所述水平位移分量和所述垂直位移分量的一或多个语法元素包括在所述经编码位流中接收界定残余二维向量的残余水平位移分量和残余垂直位移分量的一或多个语法元素,所述方法进一步包括:
确定包含预测性水平位移分量和预测性垂直位移分量的预测性二维向量;以及
基于所述残余二维向量和所述预测性二维向量的所述水平位移分量和所述垂直位移分量确定所述二维向量的所述水平位移分量和所述垂直位移分量。
15.根据权利要求14所述的方法,其中确定所述预测性二维向量包括根据解码次序确定用以确定根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式最近重构的视频数据块的预测性视频数据块的最后二维向量。
16.根据权利要求14所述的方法,其中所述当前视频块位于最大译码单元内,且其中确定所述预测性二维向量包括:
确定所述当前视频块是所述最大译码单元中待确定用以根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式确定与所述当前视频数据块在同一图片内的预测性视频数据块的二维向量的第一视频块;以及
响应于所述当前视频块是所述最大译码单元中待确定用以根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式确定与所述当前视频数据块在同一图片内的预测性视频数据块的二维向量的所述第一视频块的所述确定,确定所述预测性二维向量是默认预测性二维向量。
17.根据权利要求16所述的方法,其中所述默认预测性二维向量包括(-w,0),其中w包括包含所述当前视频块的当前译码单元的宽度。
18.根据权利要求14所述的方法,其中确定所述预测性二维向量包括选择所述当前视频块的一或多个相邻视频块的一或多个先前经确定二维向量中的一者。
19.根据权利要求18所述的方法,其中不用以根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式确定与所述当前视频数据块在同一图片内的预测性视频数据块的相邻块的先前经确定向量不可用作所述当前视频数据块的预测性二维向量。
20.根据权利要求18所述的方法,其中确定所述预测性二维向量包括:
确定所述当前视频块的所述一或多个相邻视频块的所述先前经确定二维向量中的一或多者不可用作所述当前块的预测性二维向量;以及
用默认预测性二维向量代替所述一或多个不可用的先前经确定二维向量。
21.根据权利要求1所述的方法,其中所述当前视频数据块包括译码单元的预测单元。
22.根据权利要求21所述的方法,其中所述译码单元的大小是2Nx2N,且所述预测单元的大小是NxN、2Nx2N、2NxN或Nx2N中的一者。
23.根据权利要求1所述的方法,其中所述当前视频数据块包括所述视频数据的明度分量的当前块且所述二维向量包括所述明度分量的二维向量,所述方法进一步包括基于所述明度分量的所述二维向量和所述视频数据的颜色取样格式导出对应于所述明度分量的所述当前块的所述视频数据的色度分量的块的二维向量。
24.根据权利要求1所述的方法,其进一步包括确定所述当前视频数据块的大小,其中接收所述一或多个语法元素、对所述一或多个语法元素进行解码、确定所述预测性块以及根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式重构所述当前视频数据块包括仅当所述当前块的所述大小满足大小准则时接收所述一或多个语法元素、对所述一或多个语法元素进行解码、确定所述预测性块以及根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式重构所述当前视频数据块。
25.根据权利要求24所述的方法,其中所述大小准则包括最小大小。
26.根据权利要求1所述的方法,其进一步包括对指示所述当前视频数据块是否是使用用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式预测的旗标进行解码,
其中接收所述一或多个语法元素、对所述一或多个语法元素进行解码、确定所述预测性块以及根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式重构所述当前视频数据块包括响应于所述旗标指示所述当前视频数据块是使用用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式预测而接收所述一或多个语法元素、对所述一或多个语法元素进行解码、确定所述预测性块以及根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式重构所述当前视频数据块,
其中对所述旗标进行解码包括以单个固定上下文对所述旗标进行算术解码。
27.根据权利要求1所述的方法,其进一步包括将帧内预测模式解块滤波器应用于所述当前视频数据块。
28.一种对视频数据进行编码的方法,包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,所述方法包括:
从与当前视频数据块在同一图片内的经先前编码视频数据块的集合选择所述当前视频数据块的预测性视频数据块;
确定二维向量,其中所述二维向量具有水平位移分量和垂直位移分量,其中所述水平位移分量表示所述预测性视频数据块与所述当前视频数据块之间的水平位移且所述垂直位移分量表示所述预测性视频数据块与所述当前视频数据块之间的垂直位移;
基于所述当前视频数据块和所述预测性视频数据块确定残余块;以及
在经编码视频位流中对界定所述二维向量的所述水平位移分量和所述垂直位移分量的一或多个语法元素以及所述残余块进行编码。
29.根据权利要求28所述的方法,其中选择所述预测性视频数据块包括将所述二维向量的所述水平位移分量和所述垂直位移分量约束为具有整数像素分辨率。
30.根据权利要求29所述的方法,其中所述当前视频数据块和所述预测性视频数据块包括所述视频数据的明度分量的块。
31.根据权利要求29所述的方法,其中所述当前视频数据块和所述预测性视频数据块包括所述视频数据的色度分量的块。
32.根据权利要求28所述的方法,其中选择所述预测性视频数据块包括:
界定所述图片内的既定区;以及
选择所述既定区内的预测性视频数据块。
33.根据权利要求32所述的方法,其进一步包括存储在环路内滤波之前的所述既定区的全部样本,其中所述预测性视频数据块包括在环路内滤波之前的经重构样本。
34.根据权利要求32所述的方法,其中所述当前视频数据块位于最大译码单元内,且界定所述既定区包括基于所述最大译码单元的大小界定所述既定区。
35.根据权利要求34所述的方法,其中基于所述最大译码单元的所述大小界定所述既定区包括基于所述最大译码单元的高度界定所述既定区的高度。
36.根据权利要求32所述的方法,其中界定所述既定区包括基于整数样本数目界定所述既定区的高度或宽度中的至少一者。
37.根据权利要求36所述的方法,其中将所述既定区的所述大小界定于整数样本数目包括基于整数样本数目界定所述既定区的宽度。
38.根据权利要求37所述的方法,其中所述整数样本数目是64。
39.根据权利要求32所述的方法,其中所述当前视频数据块位于当前最大译码单元内,其中界定所述既定区包括将所述既定区界定为在所述当前最大译码单元和所述当前最大译码单元的左边相邻最大译码单元中的至少一者内。
40.根据权利要求32所述的方法,其中对所述语法元素进行编码包括以基于所述既定区的大小截断的值对语法元素进行编码。
41.根据权利要求28所述的方法,其中所述当前视频数据块与所述预测性视频数据块之间的所述二维向量包括当前二维向量,所述方法进一步包括:
确定包含预测性水平位移分量和预测性垂直位移分量的预测性二维向量;以及
基于所述当前二维向量和所述预测性二维向量确定包含残余水平位移分量和残余垂直位移分量的残余二维向量,
其中对界定所述当前二维向量的所述水平位移分量和所述垂直位移分量的一或多个语法元素进行编码包括在所述经编码视频位流中对界定所述残余二维向量的一或多个语法元素进行编码。
42.根据权利要求41所述的方法,其中确定所述预测性二维向量包括根据解码次序确定用以确定根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式最近重构的视频数据块的预测性视频数据块的最后二维向量。
43.根据权利要求41所述的方法,其中所述当前视频块位于最大译码单元内,且其中确定所述预测性二维向量包括:
确定所述当前视频块是所述最大译码单元中待确定用以根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式确定与所述当前视频数据块在同一图片内的预测性视频数据块的二维向量的第一视频块;以及
响应于所述当前视频块是所述最大译码单元中待确定用以根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式确定与所述当前视频数据块在同一图片内的预测性视频数据块的二维向量的所述第一视频块的所述确定,确定所述预测性二维向量是默认预测性二维向量。
44.根据权利要求43所述的方法,其中所述默认预测性二维向量包括(-w,0),其中w包括包含所述当前视频块的当前译码单元的宽度。
45.根据权利要求41所述的方法,其中确定所述预测性二维向量包括选择所述当前视频块的一或多个相邻视频块的一或多个先前经确定二维向量中的一者。
46.根据权利要求45所述的方法,其中不用以根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式确定与所述当前视频数据块在同一图片内的预测性视频数据块的相邻块的先前经确定向量不可用作所述当前视频数据块的预测性二维向量。
47.根据权利要求45所述的方法,其中确定所述预测性二维向量包括:
确定所述当前视频块的所述一或多个相邻视频块的所述先前经确定二维向量中的一或多者不可用作所述当前块的预测性二维向量;以及
用默认预测性二维向量代替所述一或多个不可用的先前经确定二维向量。
48.根据权利要求28所述的方法,其中所述当前视频数据块包括译码单元的预测单元。
49.根据权利要求48所述的方法,其中所述译码单元的大小是2Nx2N,且所述预测单元的大小是NxN、2Nx2N、2NxN或Nx2N中的一者。
50.根据权利要求28所述的方法,其中所述当前视频数据块包括所述视频数据的明度分量的当前块且所述二维向量包括所述明度分量的二维向量,所述方法进一步包括基于所述明度分量的所述二维向量和所述视频数据的颜色取样格式导出对应于所述明度分量的所述当前块的所述视频数据的色度分量的块的二维向量。
51.根据权利要求28所述的方法,其进一步包括确定所述当前视频数据块的大小,其中选择所述预测性块、确定所述二维向量、确定所述残余块以及根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式对所述一或多个语法元素进行编码包括仅当所述当前块的所述大小满足大小准则时选择所述预测性块、确定所述二维向量、确定所述残余块以及根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式对所述一或多个语法元素进行编码。
52.根据权利要求51所述的方法,其中所述大小准则包括最小大小。
53.根据权利要求28所述的方法,其进一步包括对指示所述当前视频数据块是否是使用用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式预测的旗标进行编码,其中对所述旗标进行编码包括以单个固定上下文对所述旗标进行算术编码。
54.根据权利要求28所述的方法,其进一步包括将帧内预测模式解块滤波器应用于所述当前视频数据块。
55.一种包括视频解码器的装置,所述视频解码器经配置以使用用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式对视频数据进行解码,其中所述视频解码器包括:
存储器,其经配置以存储经编码视频位流,所述经编码视频位流包括界定二维向量的水平位移分量和垂直位移分量的一或多个语法元素以及当前视频数据块的残余块;以及
一或多个处理器,其经配置以:
对所述一或多个语法元素进行解码;
基于界定所述二维向量的所述水平位移分量和所述垂直位移分量的所述经解码语法元素确定所述当前视频数据块的预测性视频数据块,其中所述预测性视频数据块是与所述当前视频数据块在同一图片内的经重构视频数据块;以及
基于所述预测性视频数据块和所述残余块重构所述当前视频数据块。
56.根据权利要求55所述的装置,其中所述二维向量的所述水平位移分量和所述垂直位移分量被约束为具有整数像素分辨率。
57.根据权利要求56所述的装置,其中所述当前视频数据块和所述预测性视频数据块包括所述视频数据的明度分量的块。
58.根据权利要求56所述的装置,其中所述当前视频数据块和所述预测性视频数据块包括所述视频数据的色度分量的块。
59.根据权利要求55所述的装置,其中所述预测性视频数据块在所述图片内的既定区内。
60.根据权利要求59所述的装置,其中所述一或多个处理器经配置以在所述存储器内存储在环路内滤波之前的所述既定区的全部样本,其中所述预测性视频数据块包括在环路内滤波之前的经重构样本。
61.根据权利要求59所述的装置,其中所述当前视频数据块位于最大译码单元内,且所述既定区的高度或宽度中的至少一者是基于所述最大译码单元的大小而界定。
62.根据权利要求61所述的装置,其中所述既定区的所述高度是基于所述最大译码单元的高度而界定。
63.根据权利要求59所述的装置,其中所述既定区的高度或宽度中的至少一者是基于整数样本数目而界定。
64.根据权利要求63所述的装置,其中所述既定区的所述宽度是基于所述整数样本数目而界定。
65.根据权利要求64所述的装置,其中所述整数样本数目是64。
66.根据权利要求59所述的装置,其中所述当前视频数据块位于当前最大译码单元内,且所述既定区的高度或宽度中的至少一者受约束以使得所述既定区在所述当前最大译码单元和所述当前最大译码单元的左边相邻最大译码单元中的至少一者内。
67.根据权利要求59所述的装置,其中所述一或多个处理器经配置以当所述语法元素是以基于所述既定区的大小截断的值编码时对所述语法元素进行解码。
68.根据权利要求55所述的装置,其中界定所述二维向量的所述水平位移分量和所述垂直位移分量的所述一或多个语法元素包括界定残余二维向量的残余水平位移分量和残余垂直位移分量的一或多个语法元素,且所述一或多个处理器经配置以:
确定包含预测性水平位移分量和预测性垂直位移分量的预测性二维向量;以及
基于所述残余二维向量和所述预测性二维向量的所述水平位移分量和所述垂直位移分量确定所述二维向量的所述水平位移分量和所述垂直位移分量。
69.根据权利要求68所述的装置,其中所述一或多个处理器经配置以将根据解码次序用以确定根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式最近重构的视频数据块的预测性视频数据块的最后二维向量确定为所述预测性二维向量。
70.根据权利要求68所述的装置,其中所述当前视频块位于最大译码单元内,且其中所述一或多个处理器经配置以:
确定所述当前视频块是所述最大译码单元中待确定用以根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式确定与所述当前视频数据块在同一图片内的预测性视频数据块的二维向量的第一视频块;以及
响应于所述当前视频块是所述最大译码单元中待确定用以根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式确定与所述当前视频数据块在同一图片内的预测性视频数据块的二维向量的所述第一视频块的所述确定,确定所述预测性二维向量是默认预测性二维向量。
71.根据权利要求70所述的装置,其中所述默认预测性二维向量包括(-w,0),其中w包括包含所述当前视频块的当前译码单元的宽度。
72.根据权利要求68所述的装置,其中所述一或多个处理器经配置以选择所述当前视频块的一或多个相邻视频块的一或多个先前经确定二维向量中的一者作为所述预测性二维向量。
73.根据权利要求72所述的装置,其中不用以根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式确定与所述当前视频数据块在同一图片内的预测性视频数据块的相邻块的先前经确定向量不可用作所述当前视频数据块的预测性二维向量。
74.根据权利要求72所述的装置,其中所述一或多个处理器经配置以:
确定所述当前视频块的所述一或多个相邻视频块的所述先前经确定二维向量中的一或多者不可用作所述当前块的预测性二维向量;以及
用默认预测性二维向量代替所述一或多个不可用的先前经确定二维向量。
75.根据权利要求55所述的装置,其中所述当前视频数据块包括译码单元的预测单元。
76.根据权利要求75所述的装置,其中所述译码单元的大小是2Nx2N,且所述预测单元的大小是NxN、2Nx2N、2NxN或Nx2N中的一者。
77.根据权利要求55所述的装置,其中所述当前视频数据块包括所述视频数据的明度分量的当前块且所述二维向量包括所述明度分量的二维向量,且所述一或多个处理器经配置以基于所述明度分量的所述二维向量和所述视频数据的颜色取样格式导出对应于所述明度分量的所述当前块的所述视频数据的色度分量的块的二维向量。
78.根据权利要求55所述的装置,其中所述一或多个处理器经配置以:
确定所述当前视频数据块的大小;以及
仅当所述当前块的所述大小满足大小准则时对所述一或多个语法元素进行解码、确定所述预测性块以及根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式重构所述当前视频数据块。
79.根据权利要求78所述的装置,其中所述大小准则包括最小大小。
80.根据权利要求55所述的装置,其中所述经编码视频位流包含指示所述当前视频数据块是否是使用用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式预测的旗标,且其中所述一或多个处理器经配置以:
以单个固定上下文对所述旗标进行算术解码;以及
响应于所述旗标指示所述当前视频数据块是使用用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式预测而对所述一或多个语法元素进行解码、确定所述预测性块以及根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式重构所述当前视频数据块。
81.根据权利要求55所述的装置,其中所述一或多个处理器经配置以将帧内预测模式解块滤波器应用于所述当前视频数据块。
82.根据权利要求55所述的装置,其中所述装置包括以下各者中的一者:
微处理器;
集成电路IC;以及
无线通信装置,其包括所述视频解码器。
83.一种包括视频编码器的装置,所述视频编码器经配置以使用用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式对视频数据进行编码,其中所述视频编码器包括:
存储器,其经配置以存储经编码视频位流;以及
一或多个处理器,其经配置以:
从与当前视频数据块在同一图片内的经先前编码视频数据块的集合选择所述当前视频数据块的预测性视频数据块;
确定二维向量,其中所述二维向量具有水平位移分量和垂直位移分量,其中所述水平位移分量表示所述预测性视频数据块与所述当前视频数据块之间的水平位移且所述垂直位移分量表示所述预测性视频数据块与所述当前视频数据块之间的垂直位移;
基于所述当前视频数据块和所述预测性视频数据块确定残余块;以及
在所述经编码视频位流中对界定所述二维向量的所述水平位移分量和所述垂直位移分量的一或多个语法元素以及所述残余块进行编码。
84.根据权利要求83所述的装置,其中所述一或多个处理器经配置以将所述二维向量的所述水平位移分量和所述垂直位移分量约束为具有整数像素分辨率。
85.根据权利要求84所述的装置,其中所述当前视频数据块和所述预测性视频数据块包括所述视频数据的明度分量的块。
86.根据权利要求84所述的装置,其中所述当前视频数据块和所述预测性视频数据块包括所述视频数据的色度分量的块。
87.根据权利要求83所述的装置,其中所述一或多个处理器经配置以:
界定所述图片内的既定区;以及
选择所述既定区内的预测性视频数据块。
88.根据权利要求87所述的装置,其中所述一或多个处理器经配置以在所述存储器中存储在环路内滤波之前的所述既定区的全部样本,其中所述预测性视频数据块包括在环路内滤波之前的经重构样本。
89.根据权利要求87所述的装置,其中所述当前视频数据块位于最大译码单元内,且所述一或多个处理器经配置以基于所述最大译码单元的大小界定所述既定区。
90.根据权利要求89所述的装置,其中所述一或多个处理器经配置以基于所述最大译码单元的高度界定所述既定区的高度。
91.根据权利要求87所述的装置,其中所述一或多个处理器经配置以基于整数样本数目界定所述既定区的高度或宽度中的至少一者。
92.根据权利要求91所述的装置,其中所述一或多个处理器经配置以基于所述整数样本数目界定所述既定区的宽度。
93.根据权利要求92所述的装置,其中所述整数样本数目是64。
94.根据权利要求87所述的装置,其中所述当前视频数据块位于当前最大译码单元内,其中所述一或多个处理器经配置以将所述既定区界定为在所述当前最大译码单元和所述当前最大译码单元的左边相邻最大译码单元中的至少一者内。
95.根据权利要求87所述的装置,其中所述一或多个处理器经配置以用基于所述既定区的大小截断的值对所述语法元素进行编码。
96.根据权利要求83所述的装置,其中所述当前视频数据块与所述预测性视频数据块之间的所述二维向量包括当前二维向量,且所述一或多个处理器经配置以:
确定包含预测性水平位移分量和预测性垂直位移分量的预测性二维向量;
基于所述当前二维向量和所述预测性二维向量确定包含残余水平位移分量和残余垂直位移分量的残余二维向量;以及
在所述经编码视频位流中对界定所述残余二维向量的一或多个语法元素进行编码。
97.根据权利要求96所述的装置,其中所述一或多个处理器经配置以将根据解码次序用以确定根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式最近重构的视频数据块的预测性视频数据块的最后二维向量确定为所述预测性二维向量。
98.根据权利要求96所述的装置,其中所述当前视频块位于最大译码单元内,且其中所述一或多个处理器经配置以:
确定所述当前视频块是所述最大译码单元中待确定用以根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式确定与所述当前视频数据块在同一图片内的预测性视频数据块的二维向量的第一视频块;以及
响应于所述当前视频块是所述最大译码单元中待确定用以根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式确定与所述当前视频数据块在同一图片内的预测性视频数据块的二维向量的所述第一视频块的所述确定,确定所述预测性二维向量是默认预测性二维向量。
99.根据权利要求98所述的装置,其中所述默认预测性二维向量包括(-w,0),其中w包括包含所述当前视频块的当前译码单元的宽度。
100.根据权利要求96所述的装置,其中所述一或多个处理器经配置以选择所述当前视频块的一或多个相邻视频块的一或多个先前经确定二维向量中的一者作为所述预测性二维向量。
101.根据权利要求100所述的装置,其中不用以根据用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式确定与所述当前视频数据块在同一图片内的预测性视频数据块的相邻块的先前经确定向量不可用作所述当前视频数据块的预测性二维向量。
102.根据权利要求100所述的装置,其中所述一或多个处理器经配置以:
确定所述当前视频块的所述一或多个相邻视频块的所述先前经确定二维向量中的一或多者不可用作所述当前块的预测性二维向量;以及
用默认预测性二维向量代替所述一或多个不可用的先前经确定二维向量。
103.根据权利要求83所述的装置,其中所述当前视频数据块包括译码单元的预测单元。
104.根据权利要求103所述的装置,其中所述译码单元的大小是2Nx2N,且所述预测单元的大小是NxN、2Nx2N、2NxN或Nx2N中的一者。
105.根据权利要求83所述的装置,其中所述当前视频数据块包括所述视频数据的明度分量的当前块且所述二维向量包括所述明度分量的二维向量,且所述一或多个处理器经配置以基于所述明度分量的所述二维向量和所述视频数据的颜色取样格式导出对应于所述明度分量的所述当前块的所述视频数据的色度分量的块的二维向量。
106.根据权利要求83所述的装置,其中所述一或多个处理器经配置以:
确定所述当前视频数据块的大小;以及
仅当所述当前块的所述大小满足大小准则时选择所述预测性块、确定所述二维向量、确定所述残余块以及根据用于从同一图片的预测性视频数据块对视频数据块的帧内预测的所述模式对所述一或多个语法元素进行编码。
107.根据权利要求106所述的装置,其中所述大小准则包括最小大小。
108.根据权利要求83所述的装置,其中所述一或多个处理器经配置以用单个固定上下文对指示所述当前视频数据块是否是使用用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的所述模式预测的旗标进行算术编码。
109.根据权利要求83所述的装置,其中所述一或多个处理器经配置以将帧内预测模式解块滤波器应用于所述当前视频数据块。
110.根据权利要求83所述的装置,其中所述装置包括以下各者中的一者:
微处理器;
集成电路IC;以及
无线通信装置,其包括所述视频编码器。
111.一种包括视频译码器的装置,所述视频译码器经配置以使用用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式对视频数据进行译码,其中所述视频译码器包括:
用于对包含界定二维向量的水平位移分量和垂直位移分量的一或多个语法元素以及当前视频数据块的残余块的视频位流进行译码的装置;以及
用于确定所述当前视频数据块的预测性视频数据块的装置,
其中所述二维向量的所述水平位移分量表示所述预测性视频数据块与所述当前视频数据块之间的水平位移且所述二维向量的所述垂直位移分量表示所述预测性视频数据块与所述当前视频数据块之间的垂直位移,
其中所述预测性视频数据块是与所述当前视频数据块在同一图片内的经重构视频数据块,且
其中所述残余块是基于所述当前视频数据块和所述预测性视频数据块而确定。
112.一种非暂时性计算机可读存储媒体,具有存储于其上的用于对视频数据进行译码的指令,所述译码包含用于从同一图片内的预测性视频数据块对视频数据块的帧内预测的模式,所述指令当执行时致使一或多个处理器:
对包含界定二维向量的水平位移分量和垂直位移分量的一或多个语法元素以及当前视频数据块的残余块的视频位流进行译码;以及
确定所述当前视频数据块的预测性视频数据块,
其中所述二维向量的所述水平位移分量表示所述预测性视频数据块与所述当前视频数据块之间的水平位移且所述二维向量的所述垂直位移分量表示所述预测性视频数据块与所述当前视频数据块之间的垂直位移,
其中所述预测性视频数据块是与所述当前视频数据块在同一图片内的经重构视频数据块,且
其中所述残余块是基于所述当前视频数据块和所述预测性视频数据块而确定。
CN201480035591.4A 2013-06-21 2014-06-20 使用位移向量从预测性块的帧内预测 Active CN105393536B (zh)

Applications Claiming Priority (21)

Application Number Priority Date Filing Date Title
US201361838209P 2013-06-21 2013-06-21
US61/838,209 2013-06-21
US201361847549P 2013-07-17 2013-07-17
US61/847,549 2013-07-17
US201361866965P 2013-08-16 2013-08-16
US61/866,965 2013-08-16
US201361870050P 2013-08-26 2013-08-26
US61/870,050 2013-08-26
US201361883612P 2013-09-27 2013-09-27
US61/883,612 2013-09-27
US201361887115P 2013-10-04 2013-10-04
US61/887,115 2013-10-04
US201361893539P 2013-10-21 2013-10-21
US61/893,539 2013-10-21
US201361896013P 2013-10-25 2013-10-25
US61/896,013 2013-10-25
US201461923698P 2014-01-05 2014-01-05
US61/923,698 2014-01-05
US14/309,730 2014-06-19
US14/309,730 US10015515B2 (en) 2013-06-21 2014-06-19 Intra prediction from a predictive block
PCT/US2014/043397 WO2014205339A2 (en) 2013-06-21 2014-06-20 Intra prediction from a predictive block

Publications (2)

Publication Number Publication Date
CN105393536A true CN105393536A (zh) 2016-03-09
CN105393536B CN105393536B (zh) 2019-06-28

Family

ID=51210781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480035591.4A Active CN105393536B (zh) 2013-06-21 2014-06-20 使用位移向量从预测性块的帧内预测

Country Status (18)

Country Link
US (1) US10015515B2 (zh)
EP (1) EP3011743A2 (zh)
JP (1) JP6377734B2 (zh)
KR (1) KR102232099B1 (zh)
CN (1) CN105393536B (zh)
AU (1) AU2014281331B2 (zh)
BR (1) BR112015032150B8 (zh)
CA (1) CA2912447C (zh)
CL (1) CL2015003693A1 (zh)
HK (1) HK1216961A1 (zh)
IL (1) IL242529B (zh)
MX (1) MX362449B (zh)
MY (1) MY188617A (zh)
PH (1) PH12015502805B1 (zh)
RU (1) RU2679190C2 (zh)
SA (1) SA515370305B1 (zh)
SG (2) SG11201509469TA (zh)
WO (1) WO2014205339A2 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716772A (zh) * 2016-10-01 2019-05-03 高通股份有限公司 用于视频译码的变换选择
WO2019184934A1 (zh) * 2018-03-30 2019-10-03 杭州海康威视数字技术股份有限公司 色度的帧内预测方法及装置
CN110352598A (zh) * 2017-03-13 2019-10-18 高通股份有限公司 基于双向光流(bio)的帧间预测细化
CN111373756A (zh) * 2017-12-05 2020-07-03 高通股份有限公司 具有远相邻像素的帧内预测
WO2020156546A1 (en) * 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Prediction using extra-buffer samples for intra block copy in video coding
US20210021859A1 (en) * 2017-10-24 2021-01-21 Google Llc Same frame motion estimation and compensation
WO2021143698A1 (en) * 2020-01-13 2021-07-22 Beijing Bytedance Network Technology Co., Ltd. Subpicture boundary filtering in video coding
CN113273213A (zh) * 2018-12-31 2021-08-17 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
US11140400B2 (en) 2015-06-05 2021-10-05 Sony Corporation Image processing apparatus and image processing method for intra BC prediction
US11228775B2 (en) 2019-02-02 2022-01-18 Beijing Bytedance Network Technology Co., Ltd. Data storage in buffers for intra block copy in video coding
US11523107B2 (en) 2019-07-11 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Bitstream conformance constraints for intra block copy in video coding
US11523108B2 (en) 2019-08-10 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Position restriction for inter coding mode
US11528476B2 (en) 2019-07-10 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11539950B2 (en) 2019-10-02 2022-12-27 Beijing Bytedance Network Technology Co., Ltd. Slice level signaling in video bitstreams that include subpictures
US11546581B2 (en) 2019-03-04 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
US11575888B2 (en) 2019-07-06 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
US11882287B2 (en) 2019-03-01 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Direction-based prediction for intra block copy in video coding
US11956432B2 (en) 2019-10-18 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Interplay between subpictures and in-loop filtering
US12003745B2 (en) 2019-02-02 2024-06-04 Beijing Bytedance Network Technology Co., Ltd Buffer updating for intra block copy in video coding

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5914962B2 (ja) * 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
GB2502047B (en) * 2012-04-04 2019-06-05 Snell Advanced Media Ltd Video sequence processing
US20140056363A1 (en) * 2012-08-23 2014-02-27 Yedong He Method and system for deblock filtering coded macroblocks
US10313682B2 (en) 2013-08-26 2019-06-04 Qualcomm Incorporated Determining regions when performing intra block copying
GB2519514A (en) * 2013-10-11 2015-04-29 Canon Kk Method and apparatus for displacement vector component prediction in video coding and decoding
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
KR102318785B1 (ko) 2013-10-14 2021-10-27 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 영상 코딩 및 디코딩에 대한 기본 색상 인덱스 맵 모드의 특징
WO2015054811A1 (en) * 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
CA2928753C (en) * 2013-11-14 2019-09-17 Mediatek Singapore Pte. Ltd. Method of video coding using prediction based on intra picture block copy
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
BR112016015080A2 (pt) * 2014-01-03 2017-08-08 Microsoft Technology Licensing Llc Predição de vetor de bloco em codificação / decodificação de vídeo e imagem
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
WO2015124110A1 (en) * 2014-02-21 2015-08-27 Mediatek Singapore Pte. Ltd. Method of video coding using prediction based on intra picture block copy
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
AU2014385769B2 (en) 2014-03-04 2018-12-06 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US20150277752A1 (en) * 2014-03-31 2015-10-01 Nuance Communications, Inc. Providing for text entry by a user of a computing device
JP6341756B2 (ja) * 2014-05-26 2018-06-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
AU2014202921B2 (en) * 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
CN111432220B (zh) 2014-06-19 2022-05-06 Vid拓展公司 采用块向量导出的帧内块复制编码的方法和系统
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
CN111988606B (zh) * 2014-09-15 2022-09-20 寰发股份有限公司 去区块滤波方法、相应地编码装置和存储介质
CA3171803A1 (en) 2014-09-30 2016-04-07 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9832467B2 (en) 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
US9854237B2 (en) 2014-10-14 2017-12-26 Qualcomm Incorporated AMVP and merge candidate list derivation for intra BC and inter prediction unification
GB201421095D0 (en) * 2014-11-27 2015-01-14 British Broadcasting Corp HEVC Optimization techniques
US9591325B2 (en) * 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
SG11201706978TA (en) * 2015-03-02 2017-09-28 Hfi Innovation Inc Method and apparatus for intrabc mode with fractional-pel block vector resolution in video coding
WO2016148620A1 (en) * 2015-03-19 2016-09-22 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and decoding an displacement vector
CN113179406B (zh) * 2015-04-13 2023-07-18 寰发股份有限公司 用于视频数据的视频编解码方法和装置
US10511834B2 (en) 2015-04-29 2019-12-17 Hfi Innovation Inc. Method and apparatus for Intra Block Copy reference list construction
US10200713B2 (en) * 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
US20160345018A1 (en) * 2015-05-19 2016-11-24 Microsoft Technology Licensing, Llc Video encoding and decoding
US20160360234A1 (en) 2015-06-03 2016-12-08 Apple Inc. Techniques For Resource Conservation During Performance Of Intra Block Copy Prediction Searches
US10390028B2 (en) 2015-06-03 2019-08-20 Mediatek Inc. Methods for palette coding of image and video data
WO2016192677A1 (en) * 2015-06-03 2016-12-08 Mediatek Inc. Method and apparatus of error handling for video coding using intra block copy mode
WO2016200984A1 (en) 2015-06-08 2016-12-15 Vid Scale, Inc. Intra block copy mode for screen content coding
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
CN106254878B (zh) * 2015-06-14 2020-06-12 同济大学 一种图像编码及解码方法、图像处理设备
US10148977B2 (en) 2015-06-16 2018-12-04 Futurewei Technologies, Inc. Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions
US11463689B2 (en) * 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US11477484B2 (en) * 2015-06-22 2022-10-18 Qualcomm Incorporated Video intra prediction using hybrid recursive filters
CN106470341B (zh) 2015-08-17 2020-10-02 恩智浦美国有限公司 媒体显示系统
KR102164062B1 (ko) * 2015-09-08 2020-10-13 미디어텍 인크. 인트라 블록 복사 모드를 위한 디코딩된 픽처 버퍼의 방법 및 시스템
CN108141619B (zh) * 2015-10-19 2020-11-20 联发科技股份有限公司 管理已解码图像缓存器的方法及装置
JP6438376B2 (ja) * 2015-11-06 2018-12-12 日本電信電話株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
US11089323B2 (en) * 2016-05-28 2021-08-10 Mediatek Inc. Method and apparatus of current picture referencing for video coding
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
EP3349459A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing A method and a device for image encoding and decoding
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
WO2019125093A1 (ko) 2017-12-22 2019-06-27 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US10638137B2 (en) * 2018-03-07 2020-04-28 Tencent America LLC Method and apparatus for video coding
CN112335250A (zh) * 2018-06-28 2021-02-05 韩国电子通信研究院 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
US10904559B2 (en) * 2018-07-13 2021-01-26 Tencent America LLC Block vector prediction in intra block copy mode
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
BR112021001384A2 (pt) * 2018-08-06 2021-04-20 Electronics And Telecommunications Research Institute método e dispositivo para codificação/decodificação de imagens, e mídia de gravação que armazena fluxo de bits
US11159789B2 (en) 2018-10-24 2021-10-26 City University Of Hong Kong Generative adversarial network based intra prediction for video coding
US11153563B2 (en) * 2019-03-12 2021-10-19 Qualcomm Incorporated Combined in-loop filters for video coding
CN118018718A (zh) * 2019-03-14 2024-05-10 Sk电信有限公司 视频编码和解码设备以及传输比特流的设备
US11239988B2 (en) * 2019-04-22 2022-02-01 Texas Instruments Incorporated Methods and systems for synchronization of slave device with master device
CN117221544A (zh) 2019-05-19 2023-12-12 字节跳动有限公司 数字视频中的变换旁路编解码残差块
CN113950838A (zh) * 2019-06-06 2022-01-18 北京字节跳动网络技术有限公司 基于子块的帧内块复制
CN113994699B (zh) 2019-06-06 2024-01-12 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
EP3977738A4 (en) 2019-07-07 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. SIGNALING OF CHROMA RESIDUAL SCALE
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren
US11503336B2 (en) * 2020-12-07 2022-11-15 Tencent America LLC Method and apparatus for video coding
WO2023194104A1 (en) * 2022-04-07 2023-10-12 Interdigital Ce Patent Holdings, Sas Temporal intra mode prediction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101658043A (zh) * 2007-04-17 2010-02-24 高通股份有限公司 用于帧内译码的定向变换
US20100232505A1 (en) * 2006-02-17 2010-09-16 Thomson Licensing Process for Coding Images Using Intra Prediction Mode

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100255754B1 (ko) * 1997-08-30 2000-05-01 전주범 이진 형상 신호 부호화 방법
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
US5987180A (en) * 1997-09-26 1999-11-16 Sarnoff Corporation Multiple component compression encoder motion search method and apparatus
US6665344B1 (en) * 1998-06-29 2003-12-16 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
US7110459B2 (en) * 2002-04-10 2006-09-19 Microsoft Corporation Approximate bicubic filter
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100727969B1 (ko) 2005-08-27 2007-06-14 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
US20080031333A1 (en) * 2006-08-02 2008-02-07 Xinghai Billy Li Motion compensation module and methods for use therewith
US8300698B2 (en) * 2006-10-23 2012-10-30 Qualcomm Incorporated Signalling of maximum dynamic range of inverse discrete cosine transform
US8259804B2 (en) * 2007-01-03 2012-09-04 International Business Machines Corporation Method and system for signal prediction in predictive coding
JP2010525658A (ja) * 2007-04-19 2010-07-22 トムソン ライセンシング イントラ予測のための適応参照画像データ生成
KR101408698B1 (ko) * 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
JP5274317B2 (ja) 2009-03-17 2013-08-28 パナソニック株式会社 符号量推定装置、符号量推定方法、符号量推定プログラムおよび、符号量推定集積回路
KR101452859B1 (ko) * 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
KR101441905B1 (ko) * 2009-11-18 2014-09-24 에스케이텔레콤 주식회사 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
BR112012026391B1 (pt) * 2010-04-13 2020-12-15 Ge Video Compression, Llc Herança em amostra de arranjo em subdivisão multitree
JP5007761B2 (ja) 2010-07-12 2012-08-22 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US8548062B2 (en) * 2010-07-16 2013-10-01 Sharp Laboratories Of America, Inc. System for low resolution power reduction with deblocking flag
PL2413612T3 (pl) * 2010-07-30 2015-07-31 Deutsche Telekom Ag Sposoby i urządzenia do czasowej synchronizacji między strumieniem bitów wideo i wyjściową sekwencją wideo
US8923395B2 (en) * 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
KR101890203B1 (ko) * 2011-01-12 2018-08-21 지멘스 악티엔게젤샤프트 비디오 인코더 내에서 기준 이미지들의 압축 및 압축해제
CN103329534B (zh) * 2011-01-19 2017-03-08 瑞萨电子株式会社 图像编码装置及图像解码装置
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US20130101033A1 (en) 2011-10-14 2013-04-25 Qualcomm Incorporated Coding non-symmetric distributions of data
GB2495990A (en) 2011-10-28 2013-05-01 Canon Kk Motion compensated image coding with omission of coding mode cost calculation for a motion predictor in a set.
WO2013077659A1 (ko) 2011-11-24 2013-05-30 에스케이텔레콤 주식회사 모션 벡터의 예측 부호화/복호화 방법 및 장치
JP5488685B2 (ja) 2012-12-28 2014-05-14 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20150016533A1 (en) 2013-07-12 2015-01-15 Qualcomm Incorporated Intra motion compensation extensions
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US20150271515A1 (en) 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100232505A1 (en) * 2006-02-17 2010-09-16 Thomson Licensing Process for Coding Images Using Intra Prediction Mode
CN101658043A (zh) * 2007-04-17 2010-02-24 高通股份有限公司 用于帧内译码的定向变换

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GARY J. SULLIVAN等: "Overview of the High Efficiency Video Coding(HEVC) Standard", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
SIU-LEONG YU等: "New Intra Prediction using Intra-Macroblock Motion Compensation", 《JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6)》 *
YUNYANG DAI等: "Fast 2D INTRA PREDICTION (2DIP) MODE DECISION FOR IMAGE AND VIDEO CODING", 《2009 16TH IEEE INTERNATIONAL CONFERENCE》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11140400B2 (en) 2015-06-05 2021-10-05 Sony Corporation Image processing apparatus and image processing method for intra BC prediction
CN109716772A (zh) * 2016-10-01 2019-05-03 高通股份有限公司 用于视频译码的变换选择
CN110352598B (zh) * 2017-03-13 2021-10-26 高通股份有限公司 对视频数据进行解码的方法、装置和设备,以及媒体
CN110352598A (zh) * 2017-03-13 2019-10-18 高通股份有限公司 基于双向光流(bio)的帧间预测细化
US20210021859A1 (en) * 2017-10-24 2021-01-21 Google Llc Same frame motion estimation and compensation
CN111373756A (zh) * 2017-12-05 2020-07-03 高通股份有限公司 具有远相邻像素的帧内预测
CN111373756B (zh) * 2017-12-05 2023-11-03 高通股份有限公司 具有远相邻像素的帧内预测
WO2019184934A1 (zh) * 2018-03-30 2019-10-03 杭州海康威视数字技术股份有限公司 色度的帧内预测方法及装置
CN113273213A (zh) * 2018-12-31 2021-08-17 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
WO2020156546A1 (en) * 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Prediction using extra-buffer samples for intra block copy in video coding
US11228775B2 (en) 2019-02-02 2022-01-18 Beijing Bytedance Network Technology Co., Ltd. Data storage in buffers for intra block copy in video coding
US11375217B2 (en) 2019-02-02 2022-06-28 Beijing Bytedance Network Technology Co., Ltd. Buffer management for intra block copy in video coding
US11438613B2 (en) 2019-02-02 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Buffer initialization for intra block copy in video coding
US12003745B2 (en) 2019-02-02 2024-06-04 Beijing Bytedance Network Technology Co., Ltd Buffer updating for intra block copy in video coding
US11956438B2 (en) 2019-03-01 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Direction-based prediction for intra block copy in video coding
US11882287B2 (en) 2019-03-01 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Direction-based prediction for intra block copy in video coding
US11985308B2 (en) 2019-03-04 2024-05-14 Beijing Bytedance Network Technology Co., Ltd Implementation aspects in intra block copy in video coding
US11546581B2 (en) 2019-03-04 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
US11575888B2 (en) 2019-07-06 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
US11528476B2 (en) 2019-07-10 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11936852B2 (en) 2019-07-10 2024-03-19 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11523107B2 (en) 2019-07-11 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Bitstream conformance constraints for intra block copy in video coding
US11553177B2 (en) 2019-08-10 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Buffer management in subpicture decoding
US11533513B2 (en) 2019-08-10 2022-12-20 Beijing Bytedance Network Technology Co., Ltd. Subpicture size definition in video processing
US11523108B2 (en) 2019-08-10 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Position restriction for inter coding mode
US11546593B2 (en) 2019-10-02 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Syntax for subpicture signaling in a video bitstream
US11539950B2 (en) 2019-10-02 2022-12-27 Beijing Bytedance Network Technology Co., Ltd. Slice level signaling in video bitstreams that include subpictures
US11956432B2 (en) 2019-10-18 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Interplay between subpictures and in-loop filtering
US11962771B2 (en) 2019-10-18 2024-04-16 Beijing Bytedance Network Technology Co., Ltd Syntax constraints in parameter set signaling of subpictures
WO2021143698A1 (en) * 2020-01-13 2021-07-22 Beijing Bytedance Network Technology Co., Ltd. Subpicture boundary filtering in video coding

Also Published As

Publication number Publication date
WO2014205339A3 (en) 2015-02-26
RU2015154500A (ru) 2017-07-26
KR20160023729A (ko) 2016-03-03
CL2015003693A1 (es) 2017-04-17
CA2912447A1 (en) 2014-12-24
RU2015154500A3 (zh) 2018-05-30
BR112015032150A2 (pt) 2017-07-25
US10015515B2 (en) 2018-07-03
SG11201509469TA (en) 2016-01-28
AU2014281331A1 (en) 2016-02-11
SG10201710379SA (en) 2018-01-30
BR112015032150B8 (pt) 2023-12-19
CN105393536B (zh) 2019-06-28
US20140376634A1 (en) 2014-12-25
AU2014281331B2 (en) 2018-09-27
EP3011743A2 (en) 2016-04-27
IL242529B (en) 2020-08-31
MY188617A (en) 2021-12-22
NZ715952A (en) 2021-03-26
WO2014205339A2 (en) 2014-12-24
SA515370305B1 (ar) 2019-01-03
KR102232099B1 (ko) 2021-03-24
JP6377734B2 (ja) 2018-08-22
BR112015032150B1 (pt) 2023-04-11
HK1216961A1 (zh) 2016-12-09
JP2016525303A (ja) 2016-08-22
PH12015502805A1 (en) 2016-03-14
RU2679190C2 (ru) 2019-02-06
MX2015016778A (es) 2016-03-31
CA2912447C (en) 2023-01-24
PH12015502805B1 (en) 2016-03-14
MX362449B (es) 2019-01-18

Similar Documents

Publication Publication Date Title
CN105393536B (zh) 使用位移向量从预测性块的帧内预测
CN105874797B (zh) 视频数据的编解码方法、装置、设备和存储媒体
CN104025602B (zh) 三维视频译码中用信号通知视图合成预测支持
CN105009590B (zh) 用于视频信息的可缩放译码的装置和方法
CN104584550A (zh) 用于可缩放视频译码的帧内预测改善
CN105284113A (zh) 分量间滤波
CN104685875A (zh) 用于视频译码中的4:2:2样本格式的帧内译码
CN104396250A (zh) 用于3d视频译码的深度图的帧内译码
CN104412591A (zh) 用于差域帧内预测的帧内模式扩展
CN105191310A (zh) 用于视频译码的并行处理
CN104704833A (zh) 多视图或3维视频译码中的高级视图间残差预测
CN104471942A (zh) 重新使用参数集用于视频译码
CN104838657A (zh) 可缩放及多视角视频译码中的高级残差预测
CN105474645A (zh) 当执行帧内块复制时确定区
CN105144719A (zh) 使用一般化残差预测对视频信息进行可缩放及多视图/3d译码的装置及方法
CN105191315A (zh) 在shvc中有条件地调用再取样过程
CN104335586A (zh) 运动向量舍入
CN104704843A (zh) 视频性质的指示
CN106105197A (zh) 针对帧内块复制的基于散列的编码器搜索
CN105308956A (zh) 用于深度图帧内译码的预测子
CN104604224A (zh) 可缩放视频译码中的变换基底调整
CN104584557A (zh) 构造用于多视图或3dv视频译码的参考图片列表
CN105052153B (zh) 用于视频信息的可缩放译码的装置和方法
CN105191317A (zh) 视图内以及跨越视图的深度查找表的预测性译码
CN105075258A (zh) 针对具有不同纵横比的空间可缩放性的层间参考图片建构

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1216961

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant