CN108141605B - 帧内块复制合并模式及不可用帧内块复制参考区域的填充 - Google Patents

帧内块复制合并模式及不可用帧内块复制参考区域的填充 Download PDF

Info

Publication number
CN108141605B
CN108141605B CN201680057270.3A CN201680057270A CN108141605B CN 108141605 B CN108141605 B CN 108141605B CN 201680057270 A CN201680057270 A CN 201680057270A CN 108141605 B CN108141605 B CN 108141605B
Authority
CN
China
Prior art keywords
block
precision
motion vector
merge candidate
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680057270.3A
Other languages
English (en)
Other versions
CN108141605A (zh
Inventor
克里希纳坎斯·拉帕卡
瓦迪姆·谢廖金
瑞珍·雷克斯曼·乔许
马尔塔·卡切维奇
谢成郑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108141605A publication Critical patent/CN108141605A/zh
Application granted granted Critical
Publication of CN108141605B publication Critical patent/CN108141605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于对视频数据进行解码的装置将当前块的相邻块的运动信息添加到合并候选者列表，其中所述运动信息包括所述相邻块的运动向量，且其中所述运动向量参考所述当前图片；从所述合并候选者列表接收指示合并候选者的索引；及响应于指示所述合并候选者的所述索引对应于所述相邻块的所述运动信息，使用表示所述相邻块的所述运动向量的经舍入版本的较低精确度运动向量预测所述当前块。

Description

帧内块复制合并模式及不可用帧内块复制参考区域的填充
本申请案要求2015年10月2日申请的第62/236,763号美国临时专利申请案的权益，所述申请案的全部内容特此以引用的方式并入。
技术领域
本发明涉及视频编码及视频解码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主机、蜂窝式或卫星无线电电话(所谓的“智能型电话”)、视频电话会议装置、视频流装置及类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的那些视频压缩技术。视频装置通过实施这些视频压缩技术可更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块，其也可被称作树型块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)的切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量来编码，且残余数据指示经译码块与预测性块之间的差。根据帧内译码模式及残余数据来编码经帧内译码块。为进行进一步压缩，可将残余数据从像素域变化到变换域，从而产生可接着进行量化的残余变换系数。最初布置成二维阵列的经量化变换系数可经扫描以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
发明内容
大体来说，本发明描述用于将帧内块复制候选者包含于以合并模式进行译码的视频数据块的合并候选者列表中的技术。
在一项实例中，一种对视频数据进行解码的方法包含：对于当前图片的当前块，将所述当前块的相邻块的运动信息添加到合并候选者列表，其中所述运动信息包括所述相邻块的运动向量，且其中所述运动向量参考所述当前图片；从所述合并候选者列表接收指示合并候选者的索引；及响应于指示所述合并候选者的所述索引对应于所述相邻块的所述运动信息，使用表示所述相邻块的所述运动向量的经舍入版本的较低精确度运动向量来预测所述当前块。
在另一实例中，一种对视频数据进行编码的方法包含：对于当前图片的当前块，将所述当前块的相邻块的运动信息添加到合并候选者列表，其中所述运动信息包括所述相邻块的运动向量，且其中所述运动向量参考所述当前图片；从所述合并候选者列表选择合并候选者；响应于所述选定合并候选者对应于所述相邻块的所述运动信息，使用表示所述相邻块的所述运动向量的经舍入版本的较低精确度运动向量来定位所述当前块的预测性块；及使用所述预测性块对所述当前块进行编码。
在另一实例中，一种用于对视频数据进行解码的装置包含：存储器，其经配置以存储所述视频数据；及一或多个处理器，其经配置以：对于当前图片的当前块，将所述当前块的相邻块的运动信息添加到合并候选者列表，其中所述运动信息包括所述相邻块的运动向量，且其中所述运动向量参考所述当前图片；从所述合并候选者列表接收指示合并候选者的索引；及响应于指示所述合并候选者的所述索引对应于所述相邻块的所述运动信息，使用表示所述相邻块的所述运动向量的经舍入版本的较低精确度运动向量来预测所述当前块。
在另一实例中，一种用于对视频数据进行编码的装置包含：存储器，其经配置以存储所述视频数据；及一或多个处理器，其经配置以：对于当前图片的当前块，将所述当前块的相邻块的运动信息添加到合并候选者列表，其中所述运动信息包括所述相邻块的运动向量，且其中所述运动向量参考所述当前图片；从所述合并候选者列表选择合并候选者；响应于所述选定合并候选者对应于所述相邻块的所述运动信息，使用表示所述相邻块的所述运动向量的经舍入版本的较低精确度运动向量来定位所述当前块的预测性块；及使用所述预测性块对所述当前块进行编码。
在另一实例中，一种用于对视频数据进行解码的装置包含：用于将当前块的相邻块的运动信息添加到合并候选者列表的装置，其中所述运动信息包括所述相邻块的运动向量，且其中所述运动向量参考所述当前图片；用于从所述合并候选者列表接收指示合并候选者的索引的装置；及用于响应于指示所述合并候选者的所述索引对应于所述相邻块的所述运动信息，使用表示所述相邻块的所述运动向量的经舍入版本的较低精确度运动向量来预测所述当前块的装置。
在另一实例中，一种存储指令的计算机可读存储媒体，所述指令在由一或多个处理器执行时使得所述一或多个处理器执行以下操作：对于当前图片的当前块，将所述当前块的相邻块的运动信息添加到合并候选者列表，其中所述运动信息包括所述相邻块的运动向量，且其中所述运动向量参考所述当前图片；从所述合并候选者列表接收指示合并候选者的索引；及响应于指示所述合并候选者的所述索引对应于所述相邻块的所述运动信息，使用表示所述相邻块的所述运动向量的经舍入版本的较低精确度运动向量来预测所述当前块。
在附图及以下描述中阐明本发明的一或多个实例的细节。其它特征、目标及优势从描述、图式及权利要求书将是显而易见的。
附图说明
图1为说明可利用本发明中描述的技术的实例视频编码及解码系统的框图。
图2为说明实例块复制(BC)技术的概念图。
图3展示IBC参考区域的实例。
图4展示在当前CTB的解码的开始之前产生用于当前CTB的填充有IBC的参考区域的实例。
图5为说明可实施本发明中描述的技术的实例视频编码器的框图。
图6为说明译码单元(CU)及与所述CU相关联的实例源位置的概念图。
图7为说明实例候选者列表建构操作的流程图。
图8为说明可实施本发明中描述的技术的实例视频解码器的框图。
图9为根据本发明的一或多种技术的说明视频编码器的实例操作的流程图。
图10为根据本发明的一或多种技术的说明视频解码器的实例操作的流程图。
具体实施方式
各种视频译码标准(包含最近开发的高效视频译码(HEVC)标准)包含用于视频块的预测性译码模式，其中基于已经译码的视频数据块而预测当前经译码(即，经编码或经解码)的块。在帧内预测模式中，基于与当前块相同的图片中的一或多个先前经译码相邻块预测当前块，而在帧间预测模式中，基于不同图片中的已经译码块预测当前块。在帧间预测模式中，确定先前经译码帧的块以用作预测性块的过程有时被称作运动估计，所述运动估计通常由视频编码器执行，且识别并检索预测性块的过程有时被称作运动补偿，所述运动补偿由视频编码器及视频解码器两者执行。
视频编码器通常通过使用多个译码情境来译码视频且识别产生所要速率-失真折衷的译码情境而确定如何译码视频数据序列。当针对特定视频块测试帧内预测译码情境时，视频编码器通常测试邻近像素列(即，位于正经译码块正上方的像素列)，且测试邻近像素行(即，紧靠正经译码块的左侧的像素行)。对比来说，当测试帧间预测情境时，视频编码器通常识别更大搜索区域中的候选预测性块，其中所述搜索区域对应于视频数据的先前经译码帧中的视频块。
然而，已发现，对于某些类型的视频图像(例如包含文字、符号或重复图案的视频图像)，可通过使用帧内块复制(IBC)模式(有时也被称作帧内运动补偿(IMC)模式)来达成相对于帧内预测及帧间预测的译码增益。在各种译码标准的开发过程中，最初使用术语IMC模式，但之后被修改成IBC模式。在IBC模式中，视频编码器在与正经译码块相同的帧或图片中搜索预测性块(如同在帧内预测模式中)，但视频编码器搜索较宽搜索区域，而非仅仅搜索相邻的像素列及像素行。
在IBC模式中，视频编码器可确定偏移向量(有时也被称作运动向量或块向量)，所述偏移向量用于识别与正经预测块相同的帧或图片内的预测性块。偏移向量包含(例如)x分量及y分量，其中x分量识别正经预测视频块与预测性块之间的水平移位，且其中y分量识别正经预测视频块与预测性块之间的垂直移位。视频编码器在经编码位流中发信经确定偏移向量，使得视频解码器在解码经编码位流时可识别由视频编码器选择的同一预测性块。
本发明的方面涉及候选者推导的简化及新候选者的添加，以用于利用候选者列表的各种译码过程(例如用于合并模式及/或高级运动向量预测(AMVP))。候选者列表在本文中也被称作运动向量候选者列表，且在参考合并模式时也可被称作合并候选者列表或合并列表。如下文将更详细解释的，候选者列表可包含IBC及帧间预测候选者两者。如本发明中使用的术语运动信息可包含两种典型帧间预测运动信息，但还可包含IBC信息(例如块向量)。
当视频编码器执行帧间预测或IBC时，视频编码器可发信PU的运动信息。PU的运动信息可包含(例如)参考图片索引、运动向量及预测方向指示符。在IBC的一些实施中，发信IBC信息的方面可与帧间预测发信的各种方面统一。作为一项实例，合并模式发信及AMVP模式发信可经修改成包含IBC候选者。
为了减少表示PU的运动信息所需的位的数目，视频编码器可根据合并模式或AMVP过程产生用于PU中的每一者的候选者列表。用于PU的候选者列表中的每一候选者可指示运动信息。通过候选者列表中的一些候选者指示的运动信息可基于其它PU的运动信息。举例来说，对于HEVC合并模式，可存在五个空间候选者位置及一个时间候选者(即，时间相邻的候选者)位置。在一些实例中，视频编码器可通过组合来自已经确定的候选者的部分运动向量、修改候选者，或仅插入零运动向量作为候选者而产生额外候选者。这些额外候选者不被视为原始候选者，且在本发明中可被称作虚拟候选者。
本发明的技术大体上涉及用于在视频编码器处产生候选者列表的技术以及用于在视频解码器处产生相同候选者列表的技术。视频编码器及视频解码器可通过实施用于建构候选者列表的相同技术而产生相同候选者列表。举例来说，视频编码器及视频解码器两者可建构具有相同数目个候选者(例如，合并模式为五个或六个候选者，且AMVP模式为两个或三个候选者)的列表，且使用相同决策制定准则将候选者添加到列表。尽管用于候选者列表产生的某些技术可关于视频编码器或关于视频解码器在本发明中进行描述，但除非另外说明，否则所述技术应大体上理解为同等地适用于视频解码器的视频编码器中的另一者。
在产生CU的PU的候选者列表之后，视频编码器可从候选者列表选择候选者且在位流中输出候选者索引。选定候选者可为具有运动向量或块向量(在IBC的状况下)的候选者，其中所述运动向量或块向量指向最紧密地匹配正经译码的目标PU的预测性块。候选者索引可指示候选者列表中的选定候选者的位置。视频编码器也可基于由PU的运动信息指示的参考块产生PU的预测性视频块。PU的运动信息可为可基于由选定候选者指示的运动信息进行确定的。举例来说，在合并模式中，PU的运动信息可与由选定候选者指示的运动信息相同。在AMVP模式中，可基于PU与由选定候选者指示的运动信息的运动向量差(或，对于IBC，块向量差)确定PU的运动信息。视频编码器可基于CU的PU的预测性视频块及CU的原始视频块产生CU的一或多个残余视频块。视频编码器接着可在位流中编码且输出所述一或多个残余视频块。
位流可包含识别PU的候选者列表中的选定候选者的数据。视频解码器可基于通过PU的候选者列表中的选定候选者指示的运动信息确定PU的运动信息。视频解码器可基于PU的运动信息识别PU的一或多个参考块。在识别PU的一或多个参考块之后，视频解码器可基于PU的所述一或多个参考块产生PU的预测性视频块。视频解码器可基于CU的PU的预测性视频块及CU的一或多个残余视频块重建构CU的视频块。
为便于解释，本发明可将位置或视频块描述为与CU或PU具有各种空间关系。此描述可解译为意谓着位置或视频块具有相对于与CU或PU相关联的视频块的各种空间关系。此外，本发明可将视频译码器(即，视频编码器或视频解码器)当前正译码的PU称作当前PU。本发明可将视频译码器当前正译码的CU称作当前CU。本发明可将视频译码器当前正译码的图片称作当前图片。
附图对实例进行说明。由附图中的参考数字指示的元件对应于在以下描述中由相同参考数字指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”等等)开始的元件未必暗示所述元件具有特定次序。相反地，这些序数词仅用以指相同或类似类型的不同元件。
图1为说明可利用本发明中描述的技术的实例视频编码及解码系统10的框图，所述技术包含用于在IBC模式中对块进行译码的技术。如图1中所展示，系统10包含源装置12，其产生稍后时间将由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含台式计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手机(例如所谓的“智能型”电话)、所谓的“智能型”板、电视机、摄像机、显示装置、数字媒体播放器、视频游戏主机、视频流装置或类似者。在一些情况下，源装置12及目的地装置14可经装备以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一项实例中，链路16可包括使得源装置12能够即时地将经编码视频数据直接发射到目的地装置14的通信媒体。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将经编码视频数据发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个实体发射线。通信媒体可形成基于包的网络(例如，区域网、广域网或例如因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源装置12到目的地装置14的通信的装备。
替代性地，可将经编码数据从输出接口22输出到存储装置32。类似地，可通过输入接口从存储装置32存取经编码数据。存储装置32可包含多种分布式或本地存取式数据存储媒体中的任一者，例如，硬盘机、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中，存储装置32可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流或下载而从存储装置32存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将那个经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)装置或本地磁盘机。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或两者的组合。经编码视频数据从存储装置32的发射可为流发射、下载发射或两者的组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于支持各种多媒体应用中的任一者的视频译码，所述应用例如空中电视广播、有线电视发射、卫星电视发射、(例如)经由因特网的流视频发射、用于存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流、视频播放、视频广播及/或视频电话的应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调制器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频捕捉装置(例如，视频摄像机)、含有先前所捕捉视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口及/或用于产生作为源视频的计算机图形数据的计算机图形系统或这些源的组合的源。作为一项实例，如果视频源18为视频摄像机，则源装置12及目的地装置14可形成所谓的摄像机电话或视频电话。然而，本发明中所描述的技术可大体适用于视频译码，且可应用于无线及/或有线应用。
可由视频编码器20编码所捕捉视频、预捕捉的视频或计算机产生的视频。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。还可(或替代地)将经编码视频数据存储到存储装置32上以供稍后由目的地装置14或其它装置存取以用于解码及/或播放。
目的地装置14包含输入接口28、视频解码器30及显示装置34。在一些状况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置32上提供的经编码视频数据可包含由视频编码器20产生以由视频解码器(例如，视频解码器30)用于解码视频数据的多种语法元素。这些语法元素可与在通信媒体上发射、存储于存储媒体上或存储于文件服务器上的经编码视频数据包含在一起。
显示装置34可与目的地装置14集成或在目的地装置14的外部。在一些实例中，目的地装置14可包含集成式显示装置且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。大体来说，显示装置34向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据一或多个视频译码标准操作。视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-TH.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也称作ISO/IEC MPEG-4AVC)，包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。MVC的最新联合草案描述于2010年3月的“用于通用视听服务的高级视频译码(Advanced video coding for generic audiovisualservices)”(ITU-T推荐标准H.264)中。
另外，存在新开发的视频译码标准，即ITU-T视频译码专家群组(VCEG)及ISO/IEC运动图片专家群组(MPEG)的视频译码联合合作小组(JCT-VC)已开发的高效率视频译码(HEVC)。HEVC的最新草案可从phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得。HEVC标准还在推荐标准ITU-T H.265及国际标准ISO/IEC 23008-2中联合提出，两者都名为“高效率视频译码(High efficiency videocoding)”且两者都于2014年10月公开。
屏幕-内容材料(例如文字及具有运动的图形)的新译码工具当前也在开发过程中。这些新译码工具可实施于HEVC的扩展中，例如H.265/HEVC屏幕内容译码(SCC)扩展。SCC工作草案(SCC WD)JCTVC-U1005可从http://phenix.int-evry.fr/jct/doc_end_user/documents/21_Warsaw/wg11/JCTVC-U1005-v1.zip获得。这些新译码工具也可实施于HEVC的后续标准中。
本发明将大体上将最近定案的HEVC规范本文称为HEVC版本1或基础HEVC。范围扩展规范可变为HEVC的版本2。关于许多译码工具(例如，运动向量预测)，HEVC版本1及范围扩展规范在技术上类似。因此，不论何时本发明描述相对于HEVC版本1的变化，相同变化也可适用于范围扩展规范，其大体上包含基础HEVC规范，加上一些额外译码工具。此外，可大体上假定HEVC版本1模块也可并入到实施HEVC范围扩展的解码器中。
大体上预期，源装置12的视频编码器20可经配置以根据这些当前或未来标准中的任一者对视频数据进行编码。类似地，大体上也预期，目的地装置14的视频解码器30可经配置以根据这些当前或未来标准中的任一者对视频数据进行解码。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元，或其它硬件及软件以处置共同数据流或单独数据流中的音频及视频两者的编码。在一些实例中，如果适用，则MUX-DEMUX单元可符合ITU H.223多路复用器协议或其它协议(例如，用户数据报协议(UDP))。
视频编码器20及视频解码器30各自可实施为多种适合的编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可集成为各别装置中的组合式编码器/解码器(编码解码器)的部分。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称为“帧”。图片可包含三个样本阵列，指示为SL、SCb及SCr。SL为明度样本的二维阵列(即，块)。SCb为Cb色讯(chrominance)样本的二维阵列。SCr为Cr色讯样本的二维阵列。色讯样本也可在本文中被称作“色度”样本。在其它情况下，图片可为单色的，且可仅包含明度样本阵列。
为了产生图片的经编码表示，视频编码器20可产生译码树型单元(CTU)的集合。CTU中的每一者可包括明度样本的译码树型块、色度样本的两个对应译码树型块，及用以对所述译码树型块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单一译码树型块及用以对所述译码树型块的样本进行译码的语法结构。译码树型块可为样本的N×N块。CTU也可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含按光栅扫描次序连续地定序的整数数目个CTU。
为了产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四分树分割，以将译码树型块划分成译码块，因此命名为“译码树型单元”。译码块可为样本的N×N块。CU可包括具有明度样本阵列、Cb样本阵列及Cr样本阵列的图片的明度样本的译码块，及色度样本的两个对应译码块，及用于对所述译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单一译码块及用于对所述译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。预测块可为被应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括明度样本的预测块、色度样本的两个对应预测块及用以对预测块进行预测的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单一预测块及用于对所述预测块进行预测的语法结构。视频编码器20可针对CU的每一PU的明度预测块、Cb预测块及Cr预测块而产生预测性明度块、Cb块及Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测以产生PU的预测性块，则视频编码器20可基于与PU相关联的图片的经解码样本而产生PU的预测性块。如果视频编码器20使用帧间预测以产生PU的预测性块，则视频编码器20可基于除与PU相关联的图片外的一或多个图片的经解码样本产生PU的预测性块。
在视频编码器20产生CU的一或多个PU的预测性明度块、预测性Cb块及预测性Cr块之后，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外，视频编码器20可产生用于CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20也可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四分树分割以将CU的明度残余块、Cb残余块及Cr残余块分解为一或多个明度变换块、Cb变换块及Cr变换块。变换块为被应用相同变换的样本的矩形(即，正方形或非正方形)块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单一变换块及用于对所述变换块的样本进行变换的语法结构。
视频编码器20可将一或多个变换应用到TU的明度变换块，以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生用于TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化大体上指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化的变换系数的语法元素。举例来说，视频编码器20可对指示经量化的变换系数的语法元素执行上下文适应性二进位算术译码(CABAC)。
视频编码器20可输出包含形成经译码图片及相关联数据的表示的位序列的位流。位流可包括NAL单元序列。NAL单元为含有NAL单元中的数据的类型的指示及含有呈视需要穿插有模拟阻止位的RBSP形式的数据的位组的语法结构。NAL单元中的每一者包含NAL单元标头，且囊封RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为囊封于NAL单元内的含有整数数目个位组的语法结构。在一些情况下，RBSP包括零个位。
不同类型的NAL单元可囊封不同类型的RBSP。举例来说，第一类型的NAL单元可囊封PPS的RBSP，第二类型的NAL单元可囊封经译码切片的RBSP，第三类型的NAL单元可囊封SEI消息的RBSP，等等。囊封视频译码数据的RBSP(与参数集及SEI消息的RBSP相对)的NAL单元可被称作VCL NAL单元。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可剖析位流以从位流获得语法元素。视频解码器30可至少部分基于从位流获得的语法元素而重建构视频数据的图片。重建构视频数据的过程可大体上与由视频编码器20执行的过程互逆。另外，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重建构与当前CU的TU相关联的变换块。通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重建构当前CU的译码块。通过重建构图片的每一CU的译码块，视频解码器30可重建构图片。
图2展示IBC模式的概念说明。例如，视频编码器20及视频解码器30可经配置以使用IBC模式编码且解码视频数据块。例如远程桌面、远程游戏、无线显示器、汽车信息娱乐、云端计算等许多应用正日益出现在人们的日常生活中，且可通过使用IBC模式来改良在译码此内容时的译码效率。图1的系统10可表示经配置以执行这些应用中的任一者的装置。这些应用中的视频内容通常为自然内容、文字、人工图形等的组合。在视频帧的文字及人工图形区域中，常常存在重复图案(例如字元、图示、符号等)。如上文所介绍，IBC为实现移除此类冗余且潜在地改良帧内译码效率的专用技术，如JCT-VC M0350中所报告。如图2中所说明，对于使用IBC的CU，从相同帧中的已经重建构的区域获得预测信号。最后，对指示预测信号从当前CU进行移位的位置的偏移向量连同残余信号进行编码。
举例来说，图2说明根据本发明(例如，根据根据本发明的技术的IBC模式)用于根据从同一图片内的预测性视频数据块对视频数据块进行帧内预测的模式预测当前图片103内的当前视频数据块102的实例技术。图2说明当前图片103内的预测性视频数据块104。视频译码器(例如，视频编码器20及/或视频解码器30)可根据根据本发明的技术的IBC模式使用预测性视频块104预测当前视频块102。
视频编码器20从先前经重建构视频数据块的集合选择预测性视频块104用于预测当前视频块102。视频编码器20通过反量化及反变换还包含于经编码视频位流中的视频数据且将所得残余块与用以预测经重建构视频数据块的预测性块求和而重建构视频数据块。在图2的实例中，图片103内的预期区域108(其还可被称作“预期区”或“光栅区”)包含先前经重建构视频块的集合。视频编码器20可以多种方式界定图片103内的预期区域108，如下文更详细描述。视频编码器20可根据基于预期区域108内的各种视频块对预测及译码当前视频块102的相对效率及精确性的分析而从预期区域108中的视频块当中选择预测性视频块104以预测当前视频块102。
预期区域108在本发明中也可被称作IBC预测区域。本发明描述可修改将何块包含于预期区域108中的各种技术。因此，当实施本发明的技术时，预期区域108的大小及形状可不同于图2的实例中所展示的大小及形状。
视频编码器20确定表示预测性视频块104相对于当前视频块102的位置或移位的二维向量106。二维向量106(其为偏移向量的实例)包含水平移位分量112及垂直移位分量110，所述分量分别表示预测性视频块104相对于当前视频块102的水平移位及垂直移位。视频编码器20可在经编码视频位流中包含识别或定义二维向量106的一或多个语法元素，其(例如)定义水平移位分量112及垂直移位分量110。视频解码器30可对一或多个语法元素进行解码以确定二维向量106，且使用经确定向量来识别用于当前视频块102的预测性视频块104。
当前视频块102可为CU，或CU的PU。在一些实例中，视频译码器(例如，视频编码器20及/或视频解码器30)可将根据IBC进行预测的CU分成若干PU。在这些实例中，视频译码器可确定CU的PU中的每一者的相应(例如，不同)二维向量106。举例来说，视频译码器可将2N×2N CU分为两个2N×N PU、两个N×2N PU，或四个N×N PU。作为其它实例，视频译码器可将2N×2N CU分为((N/2)×N+(3N/2)×N)PU、((3N/2)×N+(N/2)×N)PU、(N×(N/2)+N×(3N/2))PU、(N×(3N/2)+N×(N/2))PU、四个(N/2)×2N PU或四个2N×(N/2)PU。在一些实例中，视频译码器可使用2N×2N PU预测2N×2N CU。
当前视频块102包含明度视频块(例如，明度分量)及对应于所述明度视频块的色度视频块(例如，色度分量)。在一些实例中，视频编码器20可仅将界定明度视频块的二维向量106的一或多个语法元素编码到经编码视频位流中。在这些实例中，视频解码器30可基于针对明度块发信的二维向量推导出对应于所述明度块的一或多个色度块中的每一者的二维向量106。在本发明中描述的技术中，在所述一或多个色度块的二维向量的推导中，视频解码器30可在明度块的二维向量指向色度样本内的子像素位置的情况下修改明度块的二维向量。
取决于色彩格式(例如色彩取样格式或色度取样格式)，视频译码器可相对于明度视频块降取样对应色度视频块。色彩格式4:4:4不包含降取样，此意谓着色度块在水平及垂直方向中包含与明度块相同数目的样本。颜色格式4:2:2在水平方向中降取样，意谓着在水平方向上存在为相对于明度块的一半的色度块的样本。色彩格式4:2:0在水平及垂直方向中降取样，意谓着在水平及垂直方向中存在为相对于明度块的一半的色度块的样本。
在其中视频译码器基于对应明度块的向量106确定色度视频块的向量106的实例中，视频译码器可需要修改明度向量。举例来说，如果明度向量106具有整数分辨率，其中水平移位分量112及/或垂直移位分量110为奇数数目个像素，且色彩格式为4:2:2或4:2:0，则经转换明度向量可不指向对应色度块中的整数像素位置。在这些实例中，视频译码器可按比例缩放明度向量以用作色度向量以预测对应色度块。
图2展示正在IBC模式中进行译码的当前CU。可从搜索区域获得当前CU的预测性块。搜索区域包含与当前CU来自相同帧的已经译码的块。假定(例如)帧以光栅扫描次序进行译码(即，左到右且顶部到底部)，帧的已经译码块对应于位于当前CU左侧及上方的块，如图2中所示。在一些实例中，搜索区域可包含帧中的所有已经译码块，而在其它实例中，搜索区域可包含少于所有已经译码块的块。图2中的偏移向量(有时被称作运动向量或预测向量)识别当前CU的左上像素与预测性块(在图2中标记为预测信号)的左上像素之间的差异。因此，通过在经编码视频位流中发信偏移向量，视频解码器可在以IBC模式译码当前CU时识别当前CU的预测性块。
IBC已包含于SCC的各种实施方案中，包含HEVC的SCC扩展。上文关于图2描述IBC的实例，其中从当前图片/切片的已经解码块预测当前CU/PU。在IBC中，预测性块(例如，图2中的块104)可为尚未经回路滤波(例如，尚未经解块滤波或经SAO滤波)的经重建构块。
在SCC的当前实施中，块向量预测符在每一CTB的开始处经设定成(-w,0)，其中w对应于CU的宽度。此块向量预测符被更新为最新经译码CU/PU中的一者(在用IBC模式进行译码的情况下)。如果CU/PU并非用IBC进行译码，则块向量预测符保持不变。在块向量预测之后，使用MV差异(MVD)译码方法编码块向量差异，例如在HEVC中。
IBC的当前实施方案使得能够在CU层级及PU层级两者下实现IBC译码。对于PU层级IBC，针对所有CU大小支持2N×N及N×2N PU分割区。另外，当CU为最小CU时，支持N×N PU分割区。
本发明描述关于IBC的各种方面的技术，包含关于处置帧内块复制合并候选者及在当前CTU内填充不可用IBC参考区域的技术。在下文中，本发明将论述当前SCC WD中的若干所观测到的可能问题，且引入可能的解决措施来解决这些问题。
可能问题的第一实例与IBC合并候选者有关。在当前SCC WD中，IBC明度块向量受限于整数精度。因此，无明度内插应用于IBC块的任一块向量。可自合并模式或AMVP模式推导块向量。在合并模式的状况下，合并候选者可来自具有分数像素精确性的经帧间预测的块。此候选者无法用于IBC块。当前SCC WD允许将这些候选者IBC块，其违反概念。
可能问题的第二实例与在当前CTU内填充不可用IBC参考区域有关。在当前SCC WD中，IBC预测区域跟随波前平行处理(WPP)区域，如图3中所示。
图3展示当前CTU的实例。CTU 120位于(例如)切片、图片块或图片中的一或多者内。CTU 120包含当前块122，其为当前正经译码的块。CTU也包含全局搜索区域124及局部搜索区域126，所述两者包含先前经解码块。全局搜索区域124及局部搜索区域126一起形成IBC参考区域。CTU 120也包含不可用于参考的区域。不可用于参考的区域可(例如)包含尚未经译码的块。
如图3中所见，当前CTU内的IBC参考区域限于已经解码区域，其减小了IBC参考区域。为解决此问题且增大参考区域的大小，过去已提议各种技术。举例来说，一项所提议的技术涉及使用恒定值(例如，1<<位深度)填充不可用区域等。然而，此技术可能不具效率。
本发明描述可解决上文所引入的问题的若干技术。可单独地或结合其它技术应用本文所描述的各种技术。
为了潜在地解决上文所论述的第一个问题，本发明描述用于在合并候选者对应于帧内块复制模式(即，参考图片与当前图片相同)时舍入合并向量的技术。在此上下文中的术语舍入意谓着将分数像素精确性块向量转换成整数像素精确性块向量。一项用以达成此目的的实例方法为将向量右移2且接着左移2。在一些实例中，可在右移之前添加偏移。
下文陈述对现存SCC WD本文的实例修改，其中斜体字表示对现存SCC WDD本文的所提议的添加。
8.5.3.2.2：用于合并模式的明度运动向量的推导过程。
进行以下指派，其中N为在合并候选者列表mergeCandList中的位置merge_idx[xOrigP][yOrigP]处的候选者(N＝mergeCandList[merge_idx[xOrigP][yOrigP]])，且由0或1替换X：
refIdxLX＝refIdxLXN (8-122)
predFlagLX＝predFlagLXN (8-123)
-当use_integer_mv_flag等于0且参考图片并非当前图片时。
mvLX[0]＝mvLXN[0] (8-124)
mvLX[1]＝mvLXN[1] (8-125)
-否则(use_integer_mv_flag等于1或参考图片为当前图片)
mvLX[0]＝(mvLXN[0]>>2)<<2 (8-126)
mvLX[1]＝(mvLXN[1]>>2)<<2 (8-127)
如上文在章节8.5.3.2.2中所示，当切片层级旗标use_integer_mv_flag设定成第一值(例如，在上文实例中为1)时，当前块的运动向量精确度必须为整数像素精确度。当use_integer_mv_flag设定成第二值(例如，在上文实例中为0)时，所述块的运动向量精确度可为整数像素精确度或分数像素精确度。然而，如果参考图片为当前图片，则即使use_integer_mv_flag的值设定成第二值，运动向量也经舍入成整数像素精确度。
图4展示当前CTB 132的实例，其为当前正经译码的CTB。CTB 132位于左侧CTB 134的右侧，所述CTB 134已经译码。为了可能解决如上文所述的第二个问题，本发明引入用来从左侧CTB(例如，左侧CTB 134)的经解码样本填充当前CTB(例如，CTB 132)的技术。图4展示在开始解码当前CTB 132之前产生用于当前CTB 132的填充有IBC的参考区域的实例。如图4中所示，在开始解码当前CTB 132之前，通过从左侧CTB 134复制经解码未经滤波样本来产生对应于当前CTB 132的参考样本。
为了允许从当前132内的经填充区域进行预测，在一项实例中，本发明提议移除以下限制：
-以下条件中的一者或两者应为真：
-(mvLX[0]>>2)+nPbW+xB1+offsetX的值小于或等于0。
-(mvLX[1]>>2)+nPbH+yB1+offsetY的值小于或等于0。
当以非4:4:4色度格式操作时，色度块向量的内插是可能的。仍通过遵循SCC WD中的约束条件来维持此约束条件：
-以下条件应为真：
(xPb+(mvLX[0]>>2)+nPbSw-1+offsetX)/CtbSizeY-xCurr/CtbSizeY<＝yCurr/CtbSizeY-(yPb+(mvLX[1]>>2)+nPbSh-1+offsetY)/CtbSizeY
图5为说明可实施本发明中描述的IBC译码技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内及帧间译码。帧内译码依赖于空间预测以减小或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减小或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。
在图5的实例中，视频编码器20包含视频数据存储器40、预测处理单元41、经解码图片缓冲器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。预测处理单元41包含分割单元35、运动估计单元42、运动补偿单元44、IBC单元48及帧内预测处理单元46。为了视频块重建构，视频编码器20也包含反量化单元58、反变换处理单元60及求和器62。回路内滤波器(未描绘)可定位于求和器62与经解码图片缓冲器64之间。
在各种实例中，可给视频编码器20的固定或可变成硬件单元指派任务以执行本发明的技术。而且，在一些实例中，本发明的技术可在图5中所示的视频编码器20的所说明的固定或可编程硬件单元中的一或多者中被划分，但其它装置也可执行本发明的技术。举例来说，根据图5的实例，视频编码器20的IBC单元48可单独地或结合视频编码器20的其它单元(例如运动估计单元42、运动补偿单元44、帧内预测处理单元46及熵编码单元56)执行本发明的技术。在一些实例中，视频编码器20可不包含IBC单元48，且IBC单元48的功能性可由预测处理单元41的其它组件执行，例如运动估计单元42及/或运动补偿单元44。
视频数据存储器40可存储待通过视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储于视频数据存储器40中的视频数据。经解码图片缓冲器(DPB)64为存储参考视频数据以供视频编码器20用于编码视频数据(例如，在帧内或帧间译码模式中，还被称作帧内或帧间预测译码模式)的缓冲器。视频数据存储器40及DPB 64可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器40及DPB 64可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器40可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
如图5中所示，视频编码器20接收视频数据，且分割单元35将数据分割成视频块。此分割也可包含分割成切片、图片块或其它较大单元以及(例如)根据LCU及CU的四分树结构的视频块分割。视频编码器20大体上说明编码待编码的视频切片内的视频块的组件。可将切片划分成多个视频块(且可能划分成被称作图片块的视频块集合)。预测处理单元41可基于误差结果(例如，译码速率及失真的等级)选择用于当前视频块的多个可能译码模式中的一者，例如，多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测处理单元41可经配置以实施上述用于在IBC模式中进行编码的本发明的技术。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据并提供到求和器62以重建构经编码块以用作参考图片。
预测处理单元41内的帧内预测处理单元46可执行当前视频块相对于与待译码的当前块相同的帧或切片中的一或多个相邻块的帧内预测性译码以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44执行当前视频块相对于一或多个参考图片中的一或多个预测性块的帧间预测性译码以提供时间压缩。
运动估计单元42可经配置以根据视频序列的预定图案来确定用于视频切片的帧间预测模式。预定图案可将序列中的视频切片指定为P切片或B切片。运动估计单元42及运动补偿单元44可高度集成，但出于概念的目的而单独说明。由运动估计单元42执行的运动估计为产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的移位。IBC单元48可以类似于运动估计单元42确定运动向量来进行帧间预测的方式确定用于IBC译码的向量(例如，块向量)，或可利用运动估计单元42确定所述块向量。
预测性块为就像素差来说被发现紧密地匹配待译码的视频块的PU的块，所述像素差可由绝对差和(SAD)、平方差和(SSD)或其它差度量确定。在一些实例中，视频编码器20可计算存储于经解码图片缓冲器64中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插所述参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于全像素位置及分数像素位置的运动搜索并输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一者识别存储于经解码图片缓冲器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56及运动补偿单元44。
在一些实例中，IBC单元48可以类似于上文关于运动估计单元42及运动补偿单元44所描述的方式产生向量并提取预测性块，但其中预测性块与当前块在同一图片或帧中，且相较于运动向量，所述向量被称作块向量。在其它实例中，IBC单元48可完全或部分地使用运动估计单元42及运动补偿单元44执行根据本文中所描述的技术的IBC预测的这些功能。在任一状况下，对于IBC，预测性块可为就像素差来说被发现紧密地匹配待译码的块的块，所述像素差可由绝对差和(SAD)、平方差和(SSD)或其它差度量确定，且所述块的识别可包含计算次整数像素位置的值。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计确定的运动向量提取或产生预测性块，可能执行内插到子像素精确度。在接收到当前视频块的PU的运动向量之后，运动补偿单元44可在参考图片列表中的一者中找到运动向量所指向的预测性块的位置。视频编码器20通过从正经译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值。像素差值形成用于块的残余数据，且可包含明度及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44也可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
如上文所引入，当在帧间预测模式中对块进行译码时，预测处理单元可使用合并模式发信运动信息。举例来说，对于当前图片的当前块，运动估计单元42及/或IBC单元48可产生合并候选者列表，其中合并候选者列表中的每一候选者具有相关联运动信息。运动信息可包含指向与当前块或先前经译码图片相同的图片的运动向量。运动估计单元42及/或IBC单元48可从合并候选者列表选择合并候选者，且使用选定候选者的运动信息对当前块进行编码。预测处理单元41可将识别选定合并候选者的语法元素输出到熵编码单元56。熵编码单元56可对语法元素进行熵编码，以供包含于经编码位流中。
不管预测性视频块是来自根据IBC预测的同一图片抑或根据帧间预测的不同图片，视频编码器20均可通过从正经译码的当前视频块的像素值减去预测性块的像素值而形成像素差值来形成残余视频块。像素差值形成块的残余数据，且可包含明度分量差及色度分量差两者。求和器50表示执行此减法运算的一或多个组件。IBC单元48及/或运动补偿单元44也可产生与视频块及视频切片相关联的语法元素以供由视频解码器(例如视频解码器30)用于解码视频切片的视频块。所述语法元素可包含(例如)定义用以识别预测性块的向量的语法元素、指示预测模式的任何旗标，或关于本发明的技术描述的任何其它语法。
作为由运动估计单元42及运动补偿单元44执行的帧间预测或由IBC单元48执行的IBC预测的替代方案，帧内预测处理单元46可对当前块进行帧内预测，如上文所描述。详言之，帧内预测处理单元46可确定帧内预测模式(包含IBC模式)以用于对当前块进行编码。在一些实例中，帧内预测处理单元46可(例如)在单独编码遍次期间使用各种帧内预测模式来对当前块进行编码，且帧内预测处理单元46(或在一些实例中为模式选择单元)可从所测试模式选择用以使用的适当帧内预测模式。
举例来说，帧内预测处理单元46可使用针对各种所测试帧内预测模式的速率-失真分析来计算速率-失真值，且在所测试模式间选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析大体上确定经编码块与原始未经编码块(其经编码以产生经编码块)之间的失真(或误差)量，以及用以产生经编码块的位率(即，位的数目)。帧内预测处理单元46可从各种经编码块的失真及速率计算比率以确定哪种帧内预测模式展现所述块的最佳速率-失真值。
在任何情况下，在选择用于块的帧内预测模式之后，帧内预测处理单元46可将指示用于块的所选择帧内预测模式的信息提供到熵编码单元56。熵编码单元56可根据本发明的技术对指示选定帧内预测模式的信息进行编码。视频编码器20可在所发射的位流中包含以下各者：配置数据，其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也称作码字映射表)；各种块的编码上下文的定义；及待用于所述上下文中的每一者的最有可能的帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
在预测处理单元41经由帧间预测抑或帧内预测产生当前视频块的预测性块之后，视频编码器20通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中且应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换的变换将残余视频数据变换为残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域(例如，频域)。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步缩减位率。所述量化过程可减少与所述系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。或者，熵编码单元56可执行扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文适应性可变长度译码(CAVLC)、上下文适应性二进位算术译码(CABAC)、基于语法的上下文适应性二进位算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56进行熵编码之后，可将经编码位流发射到视频解码器30，或加以存档以供稍后发射或由视频解码器30检索。熵编码单元56也可对正经译码的当前视频切片的运动向量及其它语法元素进行熵编码。
反量化单元58及反变换处理单元60分别应用反量化及反变换以重建构像素域中的残余块，以供稍后用作其它视频块的预测的参考块。运动补偿单元44及/或IBC单元48可通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元44及/或IBC单元48也可将一或多个内插滤波器应用到重建构的残余块，以计算次整数像素值以供用于运动估计中。
求和器62将经重建构的残余块添加到由运动补偿单元44产生的运动补偿预测块以产生参考块以用于存储于经解码图片缓冲器64中。参考块可由IBC单元48、运动估计单元42及运动补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。
图5的视频编码器20可经配置以(例如)根据下文关于图7论述的过程使用合并模式对视频块进行编码。图6为说明CU 250及与CU 250相关联的实例候选者位置252A-E的概念图，其中视频解码器30可使用所述CU及所述候选者位置建构合并候选者列表。本发明可将候选者位置252A-252E总称作候选者位置252。候选者位置252表示位于与CU 250相同的图片中的空间候选者。候选者位置252A位于CU 250左侧。候选者位置252B位于CU 250上方。候选者位置252C位于CU 250的右上侧。候选者位置252D位于CU 250的左下侧。候选者位置252E位于CU 250的左上侧。图6将用以提供预测处理单元41可如何产生候选者列表的实例。
图7为根据本发明的技术的说明用于建构候选者列表的实例方法的流程图。将参考包含五个候选者的列表描述图7的技术，但本文中所描述的技术也可与具有其它大小的列表一起使用。所述五个候选者可各自具有合并索引(例如，0到4)。将参考通用视频译码器描述图7的技术。通用视频译码器可(例如)为例如视频编码器20的视频编码器或例如视频解码器30的视频解码器。将参考上文图6中所描述的CU及候选者位置进一步描述图7的技术。
为了根据图7的实例建构候选者列表，视频译码器首先考虑四个空间候选者(702)。四个空间候选者可(例如)包含候选者位置252A、252B、252C及252D(如图6中所示)。所述四个空间候选者对应于与当前CU(例如，CU 250)相同的图片中的四个PU的运动信息。视频译码器可以特定次序考虑列表中的四个空间候选者。举例来说，可首先考虑候选者位置252A。如果候选者位置252A可用，则可将候选者位置252A(即，与候选者位置252A相关联的运动信息)指派到合并索引0。如果候选者位置252A不可用，则视频译码器可不在候选者列表中包含候选者位置252A的运动信息。候选者位置可出于各种原因而不可用。举例来说，如果候选者位置并非位于当前图片内，则候选者位置可能不可用。在另一实例中，如果候选者位置经帧内预测，则候选者位置可能不可用。在另一实例中，如果候选者位置位于与当前CU不同的切片中，则候选者位置可能不可用。
在考虑候选者位置252A之后，视频译码器可接下来考虑候选者位置252B。如果候选者位置252B既可用且也不同于候选者位置252A，则视频译码器可将候选者位置252B的运动信息添加到候选者列表。在此特定上下文中，术语“相同”及“不同”指与候选者位置相关联的运动信息。因此，两个候选者位置在两个候选者具有相同运动信息的情况下被视为相同的，且在两个候选者具有不同运动信息的情况下被视为不同的。如果候选者位置252A并非可用，则视频译码器可将候选者位置252B的运动信息指派到合并索引0。如果候选者位置252A为可用的，则视频译码器可将候选者位置252的运动信息指派到合并索引1。如果候选者位置252B不可用或与候选者位置252A相同，则视频译码器可跳过候选者位置252B，且可不将来自候选者位置252B的运动信息包含于候选者列表中。
视频译码器以类似方式考虑候选者位置252C以供包含于列表中。如果候选者位置252C既可用且也不与候选者位置252B及252A相同，则视频译码器将候选者位置252C的运动信息指派到下一可用的合并索引。如果候选者位置252C不可用，或并非与候选者位置252A及252B中的至少一者不同，则视频译码器不将候选者位置252C的运动信息包含于候选者列表中。接下来，视频译码器考虑候选者位置252D。如果候选者位置252D既可用且也不与候选者位置252A、252B及252C相同，则视频译码器将候选者位置252D的运动信息指派到下一可用合并索引。如果候选者位置252D不可用或并非与候选者位置252A、252B及252C中的至少一者不同，则视频译码器不将候选者位置252D的运动信息包含于候选者列表中。尽管上文实例大体上描述候选者位置252A-D被个别考虑以包含于候选者列表中，但在一些实施中，所有候选者位置252A-D都可首先被添加到候选者列表，其中稍后从候选者列表移除重复者。
在视频译码器考虑前四个空间候选者之后，候选者列表可包含四个空间候选者的运动信息，或列表可包含少于四个空间候选者的运动信息。如果所述列表包含四个空间候选者的运动信息(704，是)，则视频译码器考虑时间候选者(706)。时间候选者可对应于除当前图片之外的图片的经共置或大致共置的PU的运动信息。如果时间候选者既可用且也与前四个空间候选者不同，则视频译码器可将时间候选者的运动信息指派到合并索引4。如果时间候选者不可用或与前四个空间候选者中的一者相同，则视频译码器不将时间候选者的运动信息包含于候选者列表中。因此，在视频译码器考虑时间候选者(706)之后，候选者列表可包含五个候选者(在块902处考虑的前四个空间候选者及在块704处考虑的时间候选者)，或可包含四个候选者(在块702处考虑的前四个空间候选者)。如果候选者列表包含五个候选者(708，是)，则视频译码器完成建构列表。
如果候选者列表包含四个候选者(708，否)，则视频译码器可考虑第五个空间候选者(710)。第五个空间候选者可(例如)对应于候选者位置252E。如果位置252E处的候选者既可用且也不同于位置252A、252B、252C及252D处的候选者，则视频译码器可将第五个空间候选者的运动信息添加到经指派到合并索引4的候选者列表。如果位置252E处的候选者不可用或并非不同于候选者位置252A、252B、252C及252D处的候选者，则视频译码器可不将位置252处的候选者的运动信息包含于候选者列表中。因此，在考虑第五空间候选者(710)之后，所述列表可包含五个候选者的运动信息(在块702处考虑的前四个空间候选者及在块710处考虑的第五个空间候选者)，或可包含四个候选者(在块702处考虑的前四个空间候选者)。
如果候选者列表包含五个候选者(712，是)，则视频译码器完成产生候选者列表。如果候选者列表包含四个候选者(712，否)，则视频译码器添加人工产生的候选者(714)，直到所述列表包含五个候选者(716，是)为止。
如果在视频译码器考虑前四个空间候选者之后，所述列表包含少于四个空间候选者(704，否)，则视频译码器可考虑第五个空间候选者(718)。第五个空间候选者可(例如)对应于候选者位置252E。如果位置252E处的候选者既可用且也不同于已包含于候选者列表中的候选者，则视频译码器可将第五个空间候选者添加到经指派到下一可用合并索引的候选者列表。如果位置252E处的候选者不可用或并非不同于已包含于候选者列表中的候选者中的一者，则视频译码器可不将位置252E处的候选者包含于候选者列表中。视频译码器可接着考虑时间候选者(720)。如果时间候选者既可用且也不同于已包含于候选者列表中的候选者，则视频译码器可将时间候选者添加到经指派到下一可用合并索引的候选者列表。如果时间候选者不可用或并非不同于已包含于候选者列表中的候选者中的一者，则视频译码器可不将时间候选者包含于候选者列表中。
如果在考虑第五个空间候选者(块718)及时间候选者(块720)之后，候选者列表包含五个候选者(722，是)，则视频译码器完成产生候选者列表。如果候选者列表包含少于五个候选者(722，否)，则视频译码器可添加人工产生的候选者(714)，直到所述列表包含五个候选者(716，是)为止。人工产生的候选者可(例如)包含经组合的双向预测性合并候选者、按比例调整的双向预测性合并候选者，及/或零向量合并/AMVP候选者中的一或多者。空间候选者、时间候选者或人工产生的候选者中的任一者可为具有指向当前图片的参考索引的IBC候选者。
关于图7展示的技术仅表示可用于产生合并候选者列表的技术的一项实例。举例来说，用于产生候选者列表的其它技术可利用不同数目个候选者，包含呈不同次序的候选者，或包含不同类型的候选者。虽然图7的技术包含HEVC合并候选者列表过程的许多方面，但图7并非意欲表示通过HEVC实施的准确过程。
如上文关于图2到4以额外细节所解释，视频编码器20表示可经配置以基于相邻CTB的参考样本产生用于当前CTB的参考样本，且针对CTB的当前块，从当前CTB的参考样本定位当前块的预测性块的视频编码器的实例。相邻CTB可(例如)为左侧相邻CTB。当前块可(例如)在AMVP模式或合并模式中进行译码。视频编码器可经配置以针对当前块确定合并候选者，且所述合并候选者的块向量可指向CTB中的位置。为了基于相邻CTB的参考样本产生当前CTB的参考样本，视频编码器可针对当前CTB的对应位置复制相邻CTB的一些或所有像素值。
如上文关于图2到4以额外细节所解释，视频编码器20也表示视频编码器的实例，所述视频编码器可另外或替代地用来自与当前CTB相邻的相邻CTB的值填充当前CTB的值，且在当前块的运动向量参考当前CTB内的块时使用所述经填充的值对当前CTB的当前块进行解码。相邻CTB可(例如)为左侧相邻CTB。当前块可(例如)在AMVP模式或合并模式中进行译码。视频编码器可经配置以针对当前块确定合并候选者，且所述合并候选者的块向量可指向CTB中的位置。为了基于相邻CTB的参考样本产生当前CTB的参考样本，视频编码器可针对当前CTB的对应位置复制相邻CTB的一些或所有像素值。
图8为说明可实施本发明中描述的用于IBC模式的技术的实例视频解码器30的框图。在图8的实例中，视频解码器30包含视频数据存储器79、熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90及经解码图片缓冲器92。预测处理单元81包含IBC单元85、运动补偿单元82及帧内预测处理单元84。在一些实例中，视频解码器30可执行与关于来自图5的视频编码器20所描述的编码遍次大体上互逆的解码遍次。
在各种实例中，可给视频解码器30的单元指派任务以执行本发明的技术。而且，在一些实例中，本发明的技术可在视频解码器30的单元中的一或多者中进行划分。举例来说，IBC单元85可单独地或与视频解码器30的其它单元组合而执行本发明的技术，例如运动补偿单元82、帧内预测处理单元84及熵解码单元80。在一些实例中，视频解码器30可不包含IBC单元85，且IBC单元85的功能性可由预测处理单元81的其它组件执行，例如运动补偿单元82。
视频数据存储器79可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。可(例如)从存储装置32、从本地视频源(例如，摄像机)、经由视频数据的有线或无线网络通信或通过存取实体数据存储媒体而获得存储于视频数据存储器79中的视频数据。视频数据存储器79可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器92为存储参考视频数据以供由视频解码器30用于解码视频数据(例如，在帧内或帧间译码模式中，也被称作帧内或帧间预测译码模式)中的经解码图片缓冲器(DPB)的一项实例。视频数据存储器79及DPB 92可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器79及DPB 92可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器79可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发到预测处理单元81。视频解码器30可接收视频切片层级及/或视频块层级的语法元素。
当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于所发信帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。预测处理单元81可经配置以实施用于IBC译码模式的本发明的技术。当视频帧经译码为经帧间译码(即，B或P)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量及其它语法元素产生当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于经解码图片缓冲器92中的参考图片使用预设建构技术而建构参考帧列表(列表0及列表1)。
在其它实例中，当视频块根据本文中所描述的IBC模式进行译码时，预测处理单元81的IBC单元85基于从熵解码单元80接收的块向量及其它语法元素产生当前视频块的预测性块。预测性块可位于与由视频编码器20定义且从DPB 92检索的当前视频块相同的图片内的经重建构区域内。
运动补偿单元82及/或IBC单元85可通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，并使用所述预测信息产生用于正经解码的当前视频块的预测性块。举例来说，运动补偿单元82使用所接收语法元素中的一些来确定用以对视频切片的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片)，切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，及用以对当前视频切片中的视频块进行解码的其它信息。
类似地，IBC单元85可使用所接收语法元素中的一些(例如，旗标)来确定当前视频块使用IBC模式进行预测，指示图片中的哪些视频块位于经重建构区域内且应存储于DPB92中的建构信息、切片的每一经IBC预测视频块的块向量、切片的每一经IBC预测视频块的IBC预测状态，及用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元82也可执行基于内插滤波器的内插。运动补偿单元82可使用如由视频编码器20在视频块的编码期间使用的内插滤波器，以计算参考块的次整数像素的内插值。在此状况下，运动补偿单元82可从所接收语法元素确定由视频编码器20所使用的内插滤波器并使用所述内插滤波器以产生预测性块。
视频解码器30可经配置以对在合并模式及/或AMVP模式中进行译码的块进行解码，在此状况下，预测处理单元81可经配置以组装通过视频编码器20组装的相同候选者列表。举例来说，预测处理单元81也可执行上文关于图6及7所描述的技术。在合并模式的实例中，在组装合并候选者列表之后，预测处理单元81可从熵解码单元80接收识别合并候选者列表中的候选者的索引的语法元素。IBC单元85及/或帧内预测处理单元84可使用与选定合并候选者相关联的运动信息来定位预测性块。如果选定合并候选者参考与包含当前正经解码的块的图片相同的图片，则IBC单元85及/或帧内预测处理单元84可将选定合并候选者的运动向量舍入成较低精确度运动向量，以产生相邻块的运动向量的经舍入版本。
反量化单元86反量化(即，解量化)位流中所提供并由熵解码单元80解码的经量化变换系数。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数，以确定量化程度及同样地应被应用的反量化程度。反变换处理单元88将反变换(例如，逆DCT、逆整数变换或概念上类似的反变换过程)应用于变换系数，以便在像素域中产生残余块。
在运动补偿单元82或IBC单元85基于向量及其它语法元素而产生当前视频块的预测性块之后，视频解码器30通过将来自反变换处理单元88的残余块与由运动补偿单元82及IBC单元85所产生的对应预测性块求和，而形成经解码视频块。求和器90表示执行此求和运算以产生经重建构视频块的一或多个组件。
求和器90表示执行此求和运算的一或多个组件。回路内滤波器(未描绘)可定位于求和器90与经解码图片缓冲器92之间。随后将给定帧或图片中的经解码视频块存储于经解码图片缓冲器92中，所述经解码图片缓冲器存储用于后续运动补偿的参考图片。经解码图片缓冲器92也存储经解码视频，以用于稍后在显示装置(例如，图1的显示装置34)上呈现。
如上文以额外细节所解释，视频解码器30还表示视频解码器的实例，所述视频解码器经配置以确定当前图片的当前块使用合并模式进行译码，确定当前块的相邻块的运动向量，基于相邻块的运动向量产生合并候选者，及响应于合并候选者的参考索引参考包含当前块的图片，将运动向量舍入成较低精确度运动向量。视频解码器30可(例如)将当前块的相邻块的运动向量的未经舍入版本添加到合并候选者列表。如果视频解码器接收指示相邻块的运动向量将被用以对当前块进行解码的合并候选者索引，则视频解码器可使用相邻块的运动向量的经舍入版本对当前块进行解码。
相邻块的运动向量可包含表示运动向量的x分量的第一值(例如，整数值、浮点值或其类似者)及表示运动向量的y分量的第二值(其又可为整数值、浮点值或其类似者)。为获得运动向量的经舍入版本，视频解码器30可舍入表示运动向量的x分量的第一值以获得表示经舍入运动向量的x分量的第一舍入值，且舍入表示运动向量的y分量的第二值以获得表示经舍入运动向量的y分量的第二舍入值。
为舍入所述值，视频解码器30可(例如)将第一及第二值的一或多个最低有效位位置中的位的值设定为等于零，其可能包含将值添加到跟在所述最低有效位之后的最高有效位的一或多个位。另外，或替代地，视频解码器30可对第一及第二值执行按位左移操作，以舍入这些值。在一些实例中，舍入可包含减少或移除运动向量分量的分数元素。举例来说，原始运动向量可具有四分之一像素精确度，而经舍入运动向量可具有一半像素精确度、完全像素精确度(即，整数像素精确度)、双倍像素精确度，或其类似者。
如上文关于图2到4以额外细节所解释，视频解码器30还表示视频解码器的实例，所述视频解码器可经配置以基于相邻CTB的参考样本产生当前CTB的参考样本，且针对CTB的当前块，从当前CTB的参考样本定位当前块的预测性块。相邻CTB可(例如)为左侧相邻CTB。当前块可(例如)在AMVP模式或合并模式中进行译码。视频解码器可经配置以针对当前块确定合并候选者，且所述合并候选者的块向量可指向CTB中的位置。为基于相邻CTB的参考样本产生当前CTB的参考样本，视频解码器可针对当前CTB的对应位置复制相邻CTB的一些或所有像素值。
如上文关于图2到4以额外细节所解释，视频解码器30还表示视频解码器的实例，所述视频解码器可另外或替代地用来自与当前CTB相邻的相邻CTB的值填充当前CTB的值，且在当前块的运动向量参考当前CTB内的块时使用所述经填充的值对当前CTB的当前块进行解码。相邻CTB可(例如)为左侧相邻CTB。当前块可(例如)在AMVP模式或合并模式中进行译码。视频解码器可经配置以针对当前块确定合并候选者，且所述合并候选者的块向量可指向CTB中的位置。为基于相邻CTB的参考样本产生当前CTB的参考样本，视频解码器可针对当前CTB的对应位置复制相邻CTB的一些或所有像素值。
图9为根据本发明的技术的说明视频编码器的实例操作的流程图。图9的流程图经提供作为实例。在其它实例中，流程图可包含更多、更少或不同的步骤。描述于图9中的操作可通过上文所描述的例如视频编码器20的视频编码器执行，但图9的操作不限于任何特定类型的视频编码器。
在图9的实例中，视频编码器对视频数据进行编码。对于当前图片的当前视频数据块，视频编码器将当前块的相邻块的运动信息添加到合并候选者列表(902)。运动信息包含(例如)参考当前图片的相邻块的运动向量。视频编码器从合并候选者列表选择合并候选者(904)。视频编码器使用与选定合并候选者相关联的运动信息对当前块进行编码。响应于选定合并候选者对应于相邻块的运动信息，视频编码器使用表示相邻块的运动向量的经舍入版本的较低精确度运动向量来定位当前块的预测性块(906)。视频编码器使用预测性块对当前块进行编码(908)。
作为使用预测性块对当前块进行编码的部分，视频编码器可(例如)产生识别选定合并候选者的索引，以供在经编码视频数据的位流中输出。视频编码器可另外或替代地将预测性块与原始块进行比较，以确定残余数据且变换并量化所述残余数据。
视频编码器可(例如)进一步响应于确定运动信息的参考图片对应于当前图片，而使用较低精确度运动向量预测当前块。视频编码器也产生旗标，以供在经编码视频数据的位流中输出。旗标的第一值指示当前块的运动向量精确度为整数像素精确度，且旗标的第二值指示块的运动向量精确度可为整数像素精确度或分数像素精确度。为使用较低精确度运动向量预测当前块，视频编码器可定位当前图片中的预测性块，且将预测性块与视频数据的对应原始块进行比较，并基于所述比较产生残余数据并对残余数据进行编码(例如，通过变换且量化残余数据，接着对所得经量化变换系数进行熵编码)。
图10为说明根据本发明的技术的视频解码器的实例操作的流程图。图10的流程图经提供作为实例。在其它实例中，流程图可包含更多、更少或不同的步骤。描述于图10中的操作可通过例如上文所描述的视频解码器30的视频解码器执行，但图10的操作不限于任何特定类型的视频解码器。
在图10的实例中，视频解码器对视频数据进行解码。对于当前图片的当前块，视频解码器将当前块的相邻块的运动信息添加到合并候选者列表(1002)。运动信息可(例如)包含相邻块的参考当前图片的运动向量。视频解码器从合并候选者列表接收指示合并候选者的索引(1004)。响应于指示合并候选者的索引对应于相邻块的运动信息，视频解码器使用表示相邻块的运动向量的经舍入版本的较低精确度运动向量来预测当前块(1006)。
视频解码器进一步响应于确定运动信息的参考图片对应于当前图片，而使用较低精确度运动向量来预测当前块。视频解码器还可接收旗标，其中所述旗标的第一值指示当前块的运动向量精确度为整数像素精确度，且所述旗标的第二值指示所述块的运动向量精确度为整数像素精确度或分数像素精确度中的一者。视频解码器可进一步响应于具有第二值的旗标而使用较低精确度运动向量来预测当前块。
为使用较低精确度运动向量来预测当前块，视频解码器可在当前图片中定位预测性块。视频解码器也可接收残余数据，基于残余数据产生残余块，且将残余块添加到预测性块以形成经重建构块。相邻块可为空间相邻块或时间相邻块。在相邻块为空间相邻块的实例中，空间相邻块的运动信息可包含对应于当前图片的参考索引。空间相邻块可(例如)具有对应于当前图片的参考索引，此是由于空间相邻块使用IBC进行预测。时间相邻块可(例如)为当前块在不同图片(例如，先前经译码图片)中的共置块。在一些实例中，共置块可对应于包含在当前块的中心处的像素，或包含在当前块的右下位置处的像素的块。在相邻块为时间相邻块的实例中，时间相邻块的运动向量可与对应于当前图片的参考索引相关联，即使时间相邻块是从除当前图片之外的图片进行帧间预测亦然。换言之，当将时间相邻块的运动信息添加到候选者列表时，时间相邻块的参考索引可进行修改。
在图9及10两者的实例中，较低精确度运动向量可(例如)为整数像素精确度运动向量，且运动向量可为分数像素精确度运动向量。在其它实例中，较低精确度运动向量也可为比所述运动向量具有更低精确度的分数精确度运动向量。举例来说，如果运动向量具有十六分之一像素精确度，则较低精确度运动向量可具有八分之一、四分之一、二分之一或整数像素精确度中的任一者。类似地，如果运动向量具有八分之一像素精确度，则较低精确度运动向量可具有四分之一、二分之一或整数像素精确度中的任一者。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则所述功能可作为一或多个指令或程序代码而在计算机可读媒体上存储或发射且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体，或包含促进将计算机程序从一个地点传送到另一地点(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、程序代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器或可用以存储呈指令或数据结构形式的所要的程序代码且可由计算机存取的任何其它媒体。另外，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源发射指令，则同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为有关非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上各者的组合还应包含于计算机可读媒体的范畴内。
指令可由一或多个处理器执行，例如一或多个DSP、通用微处理器、ASIC、FPGA或其它等效集成式或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编码解码器中。再者，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在多种装置或设备中实施，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。相反地，如上所述，可将各种单元组合于编码解码器硬件单元中，或由互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适软件及/或固件来提供所述单元。已描述各种实例。这些及其它实例是在以下权利要求书的范畴内。

Claims (32)

1.一种对视频数据进行解码的方法，所述方法包括：
接收旗标，其中，所述旗标的值指示当前图片的第一块的运动向量精确度为第一精确度，其中，所述第一精确度是整数像素精确度或分数像素精确度中的一者；
通过在内插的参考图片空间内定位第一预测性块，来使用所述第一精确度的运动向量预测所述当前图片的所述第一块；
对于所述当前图片中与所述第一块空间相邻的第二块，生成包括多个合并候选者的合并候选者列表，其中，生成所述合并候选者列表包括：将用于解码所述第一块的所述运动向量添加到所述合并候选者列表中作为所述多个合并候选者中的合并候选者，并向所述合并候选者指派参考图片索引；
接收用于指示所述合并候选者列表中的所述合并候选者要被用于解码所述第二块的索引；
通过确定用于所述合并候选者的所述参考图片索引将包含所述第二块的所述当前图片标识为用于所述合并候选者的参考图片，来确定所述合并候选者是帧内块复制(IBC)候选；
响应于确定所述合并候选者是IBC候选，将用于解码所述当前图片的所述第一块的具有所述第一精确度的所述运动向量舍入到较低精确度，以确定较低精确度运动向量，其中，所述第一精确度高于所述较低精确度；
通过在所述当前图片中识别第二预测性块，使用所述较低精确度运动向量且不应用内插滤波来预测所述第二块。
2.根据权利要求1所述的方法，其中，所述较低精确度运动向量包括整数像素精确度运动向量。
3.根据权利要求1所述的方法，其中，所述第一精确度包括所述分数像素精确度。
4.根据权利要求1所述的方法，其中，使用所述较低精确度运动向量来预测所述第二块包括：
接收残余数据；
基于所述残余数据产生残余块；及
将所述残余块添加到所述第二预测性块以形成经重建构块。
5.根据权利要求1所述的方法，其进一步包括：
在无线通信装置的接收器处接收所述视频数据；
将所述视频数据存储于所述无线通信装置的存储器中；及
在所述无线通信装置的一或多个处理器上处理所述视频数据。
6.根据权利要求5所述的方法，其中，所述无线通信装置包括电话手机，且其中，在所述无线通信装置的所述接收器处接收所述视频数据包括根据无线通信标准解调制包括所述视频数据的信号。
7.一种对视频数据进行编码的方法，所述方法包括：
确定当前图片的第一块的运动向量精确度为第一精确度，其中，所述第一精确度是整数像素精确度或分数像素精确度中的一者；
通过在内插的参考图片空间内定位第一预测性块，来使用所述第一精确度的运动向量预测所述当前图片的所述第一块；
对于所述当前图片中与所述第一块空间相邻的第二块，生成包括多个合并候选者的合并候选者列表，其中，生成所述合并候选者列表包括：将用于编码所述第一块的所述运动向量添加到所述合并候选者列表中作为所述多个合并候选者中的合并候选者，并向所述合并候选者指派参考图片索引；
从所述合并候选者列表中选择用于编码所述第二块的所述合并候选者；
通过确定用于所述合并候选者的所述参考图片索引将包含所述第二块的所述当前图片标识为用于所述合并候选者的参考图片，来确定所述合并候选者是帧内块复制(IBC)候选；
响应于确定所述合并候选者是IBC候选，将用于编码所述当前图片的所述第一块的具有所述第一精确度的所述运动向量舍入到较低精确度，以确定较低精确度运动向量，其中，所述第一精确度高于所述较低精确度；
使用所述较低精确度运动向量且不应用内插滤波，在所述当前图片中定位用于所述第二块的第二预测性块；以及
使用所述第二预测性块对所述第二块进行编码。
8.根据权利要求7所述的方法，其进一步包括：
产生旗标，其中，所述旗标的第一值指示所述第一块的运动向量精确度为整数像素精确度，且其中，所述旗标的第二值指示所述第一块的所述运动向量精确度为所述整数像素精确度或分数像素精确度中的一者。
9.根据权利要求7所述的方法，其中，所述较低精确度运动向量包括整数像素精确度运动向量。
10.根据权利要求7所述的方法，其中，所述第一精确度包括分数像素精确度。
11.根据权利要求7所述的方法，其进一步包括：
将所述第二预测性块与所述视频数据的对应原始块进行比较；
基于所述比较，产生残余数据；及
对所述残余数据进行编码。
12.根据权利要求7所述的方法，其进一步包括：
将所述视频数据存储于无线通信装置的存储器中；
在所述无线通信装置的一或多个处理器上处理所述视频数据；及
从所述无线通信装置的发射器发射所述视频数据。
13.根据权利要求12所述的方法，其中，所述无线通信装置包括电话手机，且其中从所述无线通信装置的所述发射器发射所述视频数据包括根据无线通信标准调制包括所述视频数据的信号。
14.一种用于对视频数据进行解码的装置，所述装置包括：
存储器，其经配置以存储所述视频数据；
一或多个处理器，其经配置以执行以下操作：
接收旗标，其中，所述旗标的值指示当前图片的第一块的运动向量精确度为第一精确度，其中，所述第一精确度是整数像素精确度或分数像素精确度中的一者；
通过在内插的参考图片空间内定位第一预测性块，来使用所述第一精确度的运动向量预测所述当前图片的所述第一块；
对于所述当前图片中与所述第一块空间相邻的第二块，生成包括多个合并候选者的合并候选者列表，其中，生成所述合并候选者列表包括：将用于解码所述第一块的所述运动向量添加到所述合并候选者列表中作为所述多个合并候选者中的合并候选者，并向所述合并候选者指派参考图片索引；
接收用于指示所述合并候选者列表中的所述合并候选者要被用于解码所述第二块的索引；
通过确定用于所述合并候选者的所述参考图片索引将包含所述第二块的所述当前图片标识为用于所述合并候选者的参考图片，来确定所述合并候选者是帧内块复制(IBC)候选；
响应于确定所述合并候选者是IBC候选，将用于解码所述当前图片的所述第一块的具有所述第一精确度的所述运动向量舍入到较低精确度，以确定较低精确度运动向量，其中，所述第一精确度高于所述较低精确度；
通过在所述当前图片中识别第二预测性块，使用所述较低精确度运动向量且不应用内插滤波来预测所述第二块。
15.根据权利要求14所述的装置，其中，所述较低精确度运动向量包括整数像素精确度运动向量。
16.根据权利要求14所述的装置，其中，所述第一精确度包括分数像素精确度。
17.根据权利要求14所述的装置，其中，所述一或多个处理器经进一步配置以：
接收残余数据；
基于所述残余数据产生残余块；及
将所述残余块添加到所述第二预测性块以形成经重建构块。
18.根据权利要求14所述的装置，其中，所述装置包括无线通信装置，其进一步包括经配置以接收经编码视频数据的接收器。
19.根据权利要求18所述的装置，其中，所述无线通信装置包括电话手机，且其中所述接收器经配置以根据无线通信标准解调制包括所述经编码视频数据的信号。
20.一种用于对视频数据进行编码的装置，所述装置包括：
存储器，其经配置以存储所述视频数据；
一或多个处理器，其经配置以执行以下操作：
确定当前图片的第一块的运动向量精确度为第一精确度，其中，所述第一精确度是整数像素精确度或分数像素精确度中的一者；
通过在内插的参考图片空间内定位第一预测性块，来使用所述第一精确度的运动向量预测所述当前图片的所述第一块；
对于所述当前图片中与所述第一块空间相邻的第二块，生成包括多个合并候选者的合并候选者列表，其中，生成所述合并候选者列表包括：将用于编码所述第一块的所述运动向量添加到所述合并候选者列表中作为所述多个合并候选者中的合并候选者，并向所述合并候选者指派参考图片索引；
从所述合并候选者列表中选择用于编码所述第二块的所述合并候选者；
通过确定用于所述合并候选者的所述参考图片索引将包含所述第二块的所述当前图片标识为用于所述合并候选者的参考图片，来确定所述合并候选者是帧内块复制(IBC)候选；
响应于确定所述合并候选者是IBC候选，将用于编码所述当前图片的所述第一块的具有所述第一精确度的所述运动向量舍入到较低精确度，以确定较低精确度运动向量，其中，所述第一精确度高于所述较低精确度；
使用所述较低精确度运动向量且不应用内插滤波，在所述当前图片中定位用于所述第二块的第二预测性块；以及
使用所述第二预测性块对所述第二块进行编码。
21.根据权利要求20所述的装置，其中，所述一或多个处理器经进一步配置以：
产生旗标，其中，所述旗标的第一值指示所述第一块的运动向量精确度为整数像素精确度，且其中，所述旗标的第二值指示所述第一块的所述运动向量精确度为所述整数像素精确度或分数像素精确度中的一者。
22.根据权利要求20所述的装置，其中，所述较低精确度运动向量包括整数像素精确度运动向量。
23.根据权利要求20所述的装置，其中，所述第一精确度包括分数像素精确度。
24.根据权利要求20所述的装置，其中，所述一或多个处理器经进一步配置以：
将所述第二预测性块与所述视频数据的对应原始块进行比较；
基于所述比较，产生残余数据；及
对所述残余数据进行编码。
25.根据权利要求20所述的装置，其中，所述装置包括无线通信装置，其进一步包括经配置以发射经编码视频数据的发射器。
26.根据权利要求25所述的装置，其中，所述无线通信装置包括电话手机，且其中，所述发射器经配置以根据无线通信标准调制包括所述经编码视频数据的信号。
27.一种用于对视频数据进行解码的装置，所述装置包括：
用于接收旗标的单元，其中，所述旗标的值指示当前图片的第一块的运动向量精确度为第一精确度，其中，所述第一精确度是整数像素精确度或分数像素精确度中的一者；
用于通过在内插的参考图片空间内定位第一预测性块，来使用所述第一精确度的运动向量预测所述当前图片的所述第一块的单元；
用于对于所述当前图片中与所述第一块空间相邻的第二块，生成包括多个合并候选者的合并候选者列表的单元，其中，生成所述合并候选者列表包括：将用于解码所述第一块的所述运动向量添加到所述合并候选者列表中作为所述多个合并候选者中的合并候选者，并向所述合并候选者指派参考图片索引；
用于接收用于指示所述合并候选者列表中的所述合并候选者要被用于解码所述第二块的索引的单元；
用于通过确定用于所述合并候选者的所述参考图片索引将包含所述第二块的所述当前图片标识为用于所述合并候选者的参考图片，来确定所述合并候选者是帧内块复制(IBC)候选的单元；
用于响应于确定所述合并候选者是IBC候选，将用于解码所述当前图片的所述第一块的具有所述第一精确度的所述运动向量舍入到较低精确度，以确定较低精确度运动向量的单元，其中，所述第一精确度高于所述较低精确度；以及
用于通过在所述当前图片中识别第二预测性块，使用所述较低精确度运动向量且不应用内插滤波来预测所述第二块的单元。
28.根据权利要求27所述的装置，其中，所述较低精确度运动向量包括整数像素精确度运动向量。
29.根据权利要求27所述的装置，其中，所述第一精确度包括分数像素精确度。
30.一种存储指令的非暂时性计算机可读存储媒体，所述指令在由一或多个处理器执行时使得所述一或多个处理器执行以下操作：
接收旗标，其中，所述旗标的值指示当前图片的第一块的运动向量精确度为第一精确度，其中，所述第一精确度是整数像素精确度或分数像素精确度中的一者；
通过在内插的参考图片空间内定位第一预测性块，来使用所述第一精确度的运动向量预测所述当前图片的所述第一块；
对于所述当前图片中与所述第一块空间相邻的第二块，生成包括多个合并候选者的合并候选者列表，其中，生成所述合并候选者列表包括：将用于解码所述第一块的所述运动向量添加到所述合并候选者列表中作为所述多个合并候选者中的合并候选者，并向所述合并候选者指派参考图片索引；
接收用于指示所述合并候选者列表中的所述合并候选者要被用于解码所述第二块的索引；
通过确定用于所述合并候选者的所述参考图片索引将包含所述第二块的所述当前图片标识为用于所述合并候选者的参考图片，来确定所述合并候选者是帧内块复制(IBC)候选；
响应于确定所述合并候选者是IBC候选，将用于解码所述当前图片的所述第一块的具有所述第一精确度的所述运动向量舍入到较低精确度，以确定较低精确度运动向量，其中，所述第一精确度高于所述较低精确度；以及
通过在所述当前图片中识别第二预测性块，使用所述较低精确度运动向量且不应用内插滤波来预测所述第二块。
31.根据权利要求30所述的非暂时性计算机可读存储媒体，其中，所述较低精确度运动向量包括整数像素精确度运动向量。
32.根据权利要求30所述的非暂时性计算机可读存储媒体，其中，所述第一精确度包括分数像素精确度。
CN201680057270.3A 2015-10-02 2016-09-22 帧内块复制合并模式及不可用帧内块复制参考区域的填充 Active CN108141605B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562236763P 2015-10-02 2015-10-02
US62/236,763 2015-10-02
US15/271,922 US10812822B2 (en) 2015-10-02 2016-09-21 Intra block copy merge mode and padding of unavailable IBC reference region
US15/271,922 2016-09-21
PCT/US2016/053112 WO2017058633A1 (en) 2015-10-02 2016-09-22 Intra block copy merge mode and padding of unavailable ibc reference region

Publications (2)

Publication Number Publication Date
CN108141605A CN108141605A (zh) 2018-06-08
CN108141605B true CN108141605B (zh) 2022-01-04

Family

ID=57068230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680057270.3A Active CN108141605B (zh) 2015-10-02 2016-09-22 帧内块复制合并模式及不可用帧内块复制参考区域的填充

Country Status (9)

Country Link
US (1) US10812822B2 (zh)
EP (1) EP3357246A1 (zh)
JP (1) JP7211816B2 (zh)
KR (1) KR102295418B1 (zh)
CN (1) CN108141605B (zh)
AU (1) AU2016332326A1 (zh)
BR (1) BR112018006627A2 (zh)
TW (1) TWI719053B (zh)
WO (1) WO2017058633A1 (zh)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10812822B2 (en) * 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
KR20180043151A (ko) * 2016-10-19 2018-04-27 에스케이텔레콤 주식회사 영상 부호화 또는 복호화를 위한 장치 및 방법
US11272207B2 (en) * 2017-06-12 2022-03-08 Futurewei Technologies, Inc. Selection and signaling of motion vector (MV) precisions
US10798402B2 (en) * 2017-10-24 2020-10-06 Google Llc Same frame motion estimation and compensation
TWI795463B (zh) * 2017-11-14 2023-03-11 美商高通公司 統一合併候選列表運用
EP3777164A4 (en) * 2018-03-29 2021-03-17 Huawei Technologies Co., Ltd. IMAGE ENCODING AND DECODING, IMAGE ENCODER AND IMAGE DECODER
US10462483B1 (en) * 2018-04-26 2019-10-29 Tencent America LLC Method and apparatus for video coding
CN112385213B (zh) * 2018-05-10 2023-06-23 Lg电子株式会社 基于帧间预测模式处理图像的方法和用于该方法的设备
JP7183304B6 (ja) * 2018-05-25 2022-12-20 ライン プラス コーポレーション 複数のチャネルを利用して動的ビットレートのビデオを配信および再生する方法およびシステム
TWI746994B (zh) 2018-06-19 2021-11-21 大陸商北京字節跳動網絡技術有限公司 用於不同參考列表的不同精確度
WO2020001578A1 (en) * 2018-06-28 2020-01-02 Huawei Technologies Co., Ltd. Motion vector refinement search with integer pixel resolution
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
EP3791585A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Partial/full pruning when adding a hmvp candidate to merge/amvp
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
TWI719523B (zh) 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 哪個查找表需要更新或不更新
WO2020003284A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
SG11202012293RA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Update of look up table: fifo, constrained fifo
JP7328330B2 (ja) 2018-06-29 2023-08-16 北京字節跳動網絡技術有限公司 Ｌｕｔにおける動き候補のチェック順序
CN110677669B (zh) 2018-07-02 2021-12-07 北京字节跳动网络技术有限公司 具有lic的lut
US11057617B2 (en) * 2018-08-03 2021-07-06 Tencent America LLC Method and apparatus for video coding
CN110868601B (zh) * 2018-08-28 2024-03-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
PL3834415T3 (pl) 2018-09-07 2024-02-05 Huawei Technologies Co., Ltd. Sposób i urządzenie do filtrowania interpolacyjnego do intrapredykcji i interpredykcji w kodowaniu wideo
WO2020053800A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. How many hmvp candidates to be checked
TWI815967B (zh) 2018-09-19 2023-09-21 大陸商北京字節跳動網絡技術有限公司 仿射模式編解碼的模式相關自適應調整運動矢量分辨率
US10764601B2 (en) 2018-10-06 2020-09-01 Tencent America LLC Method and apparatus for video coding
KR20200040179A (ko) * 2018-10-08 2020-04-17 에스케이텔레콤 주식회사 현재 픽처 참조 모드를 이용한 예측 방법 및 영상 복호화 장치
WO2020076034A1 (ko) * 2018-10-08 2020-04-16 에스케이텔레콤 주식회사 현재 픽처 참조 모드를 이용한 예측 방법 및 영상 복호화 장치
CN114584788B (zh) * 2018-10-10 2022-09-23 华为技术有限公司 帧间预测方法及装置
WO2020094051A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Signaling of side information for inter prediction with geometric partitioning
EP3871416A4 (en) 2018-11-07 2022-08-24 HFI Innovation Inc. METHOD AND APPARATUS FOR CODING OR DECODING VIDEO BLOCKS BY CURRENT IMAGE REFERENCE CODING
BR112021008625A2 (pt) 2018-11-08 2021-08-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. método de decodificação e codificação de vídeo e aparelho de decodificação e codificação de vídeo
JP7391958B2 (ja) * 2018-11-08 2023-12-05 オッポ広東移動通信有限公司 ビデオ信号符号化／復号方法及び前記方法に用いられる機器
WO2020103936A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Pruning method for inter prediction with geometry partition
SG11202104942TA (en) * 2018-11-27 2021-06-29 Op Solutions Llc Adaptive block update of unavailable reference frames using explicit and implicit signaling
US10999594B2 (en) * 2018-12-20 2021-05-04 Qualcomm Incorporated Virtual search area for current picture referencing (CPR) and intra block copy (IBC)
EP3903495A4 (en) * 2018-12-28 2022-03-16 Telefonaktiebolaget Lm Ericsson (Publ) GENERATION OF A LIST OF MOTION VECTOR PREDICTORS
CN113261290B (zh) * 2018-12-28 2024-03-12 北京字节跳动网络技术有限公司 基于修改历史的运动预测
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
WO2020141932A1 (ko) * 2019-01-04 2020-07-09 엘지전자 주식회사 Cpr 기반 mmvd를 이용하는 인터 예측 방법 및 장치
US11240518B2 (en) * 2019-01-06 2022-02-01 Tencent America LLC Method and apparatus for video coding
KR102648159B1 (ko) 2019-01-10 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
US11683501B2 (en) 2019-01-17 2023-06-20 Tencent America LLC Method and apparatus for video coding
US10904557B2 (en) * 2019-01-22 2021-01-26 Tencent America LLC Method and apparatus for video coding
AU2020214083B2 (en) 2019-02-02 2023-06-01 Beijing Bytedance Network Technology Co., Ltd. Buffer management for intra block copy in video coding
KR20210123300A (ko) 2019-02-02 2021-10-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
US11595662B2 (en) 2019-02-06 2023-02-28 Tencent America LLC Method and apparatus for neighboring block availability in video coding
WO2020164627A1 (en) * 2019-02-17 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for intra block copy mode
US11122260B2 (en) 2019-02-22 2021-09-14 Mediatek Inc. Method and apparatus of Merge list generation for Intra Block Copy mode
KR102617439B1 (ko) 2019-02-26 2023-12-26 애플 인크. 영상 신호 부호화/복호화 방법 및 이를 위한 장치
CN117395439A (zh) 2019-03-01 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于方向的预测
WO2020180097A1 (ko) * 2019-03-04 2020-09-10 엘지전자 주식회사 인트라 블록 코딩 기반 비디오 또는 영상 코딩
CN117640927A (zh) 2019-03-04 2024-03-01 北京字节跳动网络技术有限公司 视频编解码中的帧内块复制中的实施方式方面
WO2020177505A1 (en) * 2019-03-04 2020-09-10 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods using ibc merge list
MX2021008406A (es) * 2019-03-04 2021-08-16 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes que utilizan optimizacion de intervalo de busqueda ibc para tama?o de ctu arbitrario.
US11012686B2 (en) 2019-03-08 2021-05-18 Tencent America LLC Unified block vector prediction for intra picture block compensation
CN111919441A (zh) * 2019-03-10 2020-11-10 北京字节跳动网络技术有限公司 组合的屏幕内容编码模式
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
CN113647102A (zh) * 2019-04-09 2021-11-12 北京达佳互联信息技术有限公司 用于在视频编解码中用信号发送合并模式的方法和装置
US11394990B2 (en) 2019-05-09 2022-07-19 Tencent America LLC Method and apparatus for signaling predictor candidate list size
WO2020227892A1 (en) * 2019-05-13 2020-11-19 Alibaba Group Holding Limited Non-local intra block copy and parallel coding for motion prediction
CN114097228B (zh) * 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
EP3963890A4 (en) * 2019-06-04 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION
US11070816B2 (en) 2019-06-18 2021-07-20 Tencent America LLC Conversion of decoded block vector for intra picture block compensation
CN114128279A (zh) * 2019-06-21 2022-03-01 Jvc建伍株式会社 动图像编码装置、动图像编码方法及动图像编码程序、动图像解码装置、动图像解码方法及动图像解码程序
WO2020259426A1 (en) * 2019-06-22 2020-12-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for intra block copy mode
US11146808B2 (en) 2019-06-27 2021-10-12 Tencent America LLC Method and apparatus for video coding
CN114175645B (zh) 2019-07-06 2024-04-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的虚拟预测缓冲
CA3146391A1 (en) * 2019-07-10 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
EP3981146A4 (en) 2019-07-11 2022-08-03 Beijing Bytedance Network Technology Co., Ltd. BITSTREAM CONFORMITY RESTRICTIONS FOR INTRA-BLOCK COPY IN VIDEO ENCODING
US11218727B2 (en) * 2019-07-11 2022-01-04 Tencent America LLC Method and apparatus for predictor candidate list size signaling for intra picture block compensation
EP3984215A4 (en) 2019-07-14 2022-08-24 Beijing Bytedance Network Technology Co., Ltd. TRANSFORM BLOCK SIZE RESTRICTION IN VIDEO CODING
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
US11240524B2 (en) * 2019-11-27 2022-02-01 Mediatek Inc. Selective switch for parallel processing
CN111586415B (zh) * 2020-05-29 2022-01-04 浙江大华技术股份有限公司 视频编码方法、装置、编码器及存储装置
CN112004099B (zh) * 2020-07-30 2021-08-03 浙江大华技术股份有限公司 一种帧内块复制预测方法、装置及计算机可读存储介质
US11849129B2 (en) * 2022-03-18 2023-12-19 Qualcomm Incorporated Intra-block copy decoding using dynamic re-mapping of on-chip memory

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102668562A (zh) * 2009-10-20 2012-09-12 汤姆森特许公司 运动矢量预测和细化
CN103444181A (zh) * 2011-04-12 2013-12-11 松下电器产业株式会社 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
CN103609123A (zh) * 2011-06-20 2014-02-26 高通股份有限公司 统一合并模式和自适应运动向量预测模式候选者选择
WO2015093565A1 (ja) * 2013-12-19 2015-06-25 シャープ株式会社 画像復号装置、画像符号化装置および残差予測装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189312A (ja) * 2001-12-20 2003-07-04 Oki Electric Ind Co Ltd 動画像符号化装置及び動画像復号化装置
US8755438B2 (en) * 2010-11-29 2014-06-17 Ecole De Technologie Superieure Method and system for selectively performing multiple video transcoding operations
JP2013098899A (ja) * 2011-11-04 2013-05-20 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
JP5821542B2 (ja) 2011-11-07 2015-11-24 富士通株式会社 動画像符号化装置、および動画像復号装置
BR122020008353B1 (pt) * 2011-12-28 2022-05-10 JVC Kenwood Corporation Dispositivo de codificação de foto em movimento e método de codificação de foto em movimento
WO2013111551A1 (ja) 2012-01-27 2013-08-01 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
US9544592B2 (en) 2012-02-10 2017-01-10 Texas Instruments Incorporated Methods and systems for encoding pictures associated with video data
US9479778B2 (en) * 2012-08-13 2016-10-25 Qualcomm Incorporated Device and method for coding video information using base layer motion vector candidate
CN104704837A (zh) 2012-10-03 2015-06-10 联发科技股份有限公司 三维视频编码中的元素间运动预测的方法及装置
US9894383B2 (en) * 2012-10-09 2018-02-13 Hfi Innovation Inc. Method and apparatus for motion information prediction and inheritance in video coding
WO2014103606A1 (ja) * 2012-12-26 2014-07-03 シャープ株式会社 画像復号装置
WO2014103529A1 (ja) * 2012-12-28 2014-07-03 シャープ株式会社 画像復号装置、およびデータ構造
CN105723713A (zh) * 2013-12-19 2016-06-29 夏普株式会社 合并候选导出装置、图像解码装置以及图像编码装置
US10924746B2 (en) * 2014-01-29 2021-02-16 Mediatek Inc. Method and apparatus for adaptive motion vector precision
CN111432220B (zh) * 2014-06-19 2022-05-06 Vid拓展公司 采用块向量导出的帧内块复制编码的方法和系统
JP2017532885A (ja) 2014-09-26 2017-11-02 ヴィド スケール インコーポレイテッド 時間ブロックベクトル予測を用いたイントラブロックコピー符号化
KR102115715B1 (ko) * 2014-09-30 2020-05-27 에이치에프아이 이노베이션 인크. 비디오 코딩을 위한 적응적 모션 벡터 레졸루션 방법
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
CA2965720C (en) * 2014-11-20 2020-04-14 Hfi Innovation Inc. Method of motion vector and block vector resolution control
US10171828B2 (en) * 2015-02-27 2019-01-01 Arris Enterprises Llc Modification of unification of intra block copy and inter signaling related syntax and semantics
US10812822B2 (en) * 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102668562A (zh) * 2009-10-20 2012-09-12 汤姆森特许公司 运动矢量预测和细化
CN103444181A (zh) * 2011-04-12 2013-12-11 松下电器产业株式会社 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
CN103609123A (zh) * 2011-06-20 2014-02-26 高通股份有限公司 统一合并模式和自适应运动向量预测模式候选者选择
WO2015093565A1 (ja) * 2013-12-19 2015-06-25 シャープ株式会社 画像復号装置、画像符号化装置および残差予測装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
On unification of adaptive motion vector resolution;Krishna Rapaka;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 21st Meeting: Warsaw, PL, 19–26 June 2015》;20150626;摘要，第1-2、4节 *

Also Published As

Publication number Publication date
US10812822B2 (en) 2020-10-20
KR20180063094A (ko) 2018-06-11
KR102295418B1 (ko) 2021-08-27
JP2018530249A (ja) 2018-10-11
US20170099495A1 (en) 2017-04-06
AU2016332326A1 (en) 2018-03-29
WO2017058633A1 (en) 2017-04-06
CN108141605A (zh) 2018-06-08
EP3357246A1 (en) 2018-08-08
TWI719053B (zh) 2021-02-21
BR112018006627A2 (pt) 2018-10-23
JP7211816B2 (ja) 2023-01-24
TW201714455A (zh) 2017-04-16

Similar Documents

Publication Publication Date Title
CN108141605B (zh) 帧内块复制合并模式及不可用帧内块复制参考区域的填充
US11431968B2 (en) Variable number of intra modes for video coding
CN107660341B (zh) 用于解码视频数据的方法、装置和设备及存储媒体
US9854237B2 (en) AMVP and merge candidate list derivation for intra BC and inter prediction unification
CN110089116B (zh) 通过光照补偿和整数运动向量限制进行编码优化
US9325991B2 (en) Motion vector rounding
US9426463B2 (en) Restriction of prediction units in B slices to uni-directional inter prediction
US9736489B2 (en) Motion vector determination for video coding
US9491458B2 (en) Scalable video coding prediction with non-causal information
US20170244966A1 (en) Weighted prediction for screen content coding and multi-layer coding
CN117692631A (zh) 译码用于视频译码的仿射预测运动信息
KR20170067766A (ko) 병렬 프로세싱을 위한 인트라 블록 복사 예측 제한들
KR20170068466A (ko) 인트라 bc 및 인터 단일화
EP2859722A2 (en) Adaptive upsampling filters for video compression
CN113748675A (zh) 使用改进的基于矩阵的帧内预测编解码模式的视频编解码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant