CN104904213B - 可缩放及多视角视频译码中的高级残差预测 - Google Patents

可缩放及多视角视频译码中的高级残差预测 Download PDF

Info

Publication number
CN104904213B
CN104904213B CN201380063770.4A CN201380063770A CN104904213B CN 104904213 B CN104904213 B CN 104904213B CN 201380063770 A CN201380063770 A CN 201380063770A CN 104904213 B CN104904213 B CN 104904213B
Authority
CN
China
Prior art keywords
reference picture
block
piece
visual angle
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380063770.4A
Other languages
English (en)
Other versions
CN104904213A (zh
Inventor
张莉
陈颖
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104904213A publication Critical patent/CN104904213A/zh
Application granted granted Critical
Publication of CN104904213B publication Critical patent/CN104904213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

在一实例中，一种译码多层视频数据的方法包含针对第一时间位点处的视频数据的第一块来确定用于译码所述第一块的一或多个参考图片列表在第二不同时间位点处是否含有至少一个参考图片。所述方法还包含相对于所述一或多个参考图片列表中的参考图片的视频数据的至少一个参考块来译码视频数据的所述第一块，其中译码包含当所述一或多个参考图片列表在所述第二时间位点处不包含至少一个参考图片时停用视角间残差预测过程。

Description

可缩放及多视角视频译码中的高级残差预测
本申请案主张2012年12月7日申请的第61/734,874号美国临时申请案的权益，所述临时申请案的全部内容以全文引用方式并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(personal digital assistant,PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主控台、蜂窝式或卫星无线电电话、所谓“智能电话(smart phone)”、视频电传会议装置、视频流式传输装置，及其类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分的高级视频译码(AdvancedVideo Coding,AVC)定义的标准、目前在开发中的高效率视频译码(High EfficiencyVideo Coding,HEVC)标准及此类标准的扩展中描述的视频压缩技术。视频装置可通过实施此类视频压缩技术而较有效率地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测以缩减或移除为视频序列所固有的冗余。对于以块为基础的视频译码，可将视频切片(即，图片或图片的部分)分割成视频块，视频块还可被称作树状结构块(treeblock)、译码单元(coding unit,CU)及/或译码节点(coding node)。图片的经帧内译码(I)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测予以编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测，或关于其它参考图片中的参考样本的时间预测。
空间预测或时间预测引起用于待译码块的预测性块。残差数据表示原始待译码块与预测性块之间的像素差。根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残差数据而编码经帧间译码块。根据帧内译码模式及残差数据而编码经帧内译码块。出于进一步压缩起见，可将残差数据从空间域变换到变换域，从而引起残差变换系数，残差变换系数接着可被量化。可扫描最初以二维阵列而布置的经量化变换系数以便产生一维变换系数向量，且可应用熵译码以实现甚至更多的压缩。
可通过编码视角(例如，来自多个检视方块)而产生多视角译码位流。已开发使用多视角译码方面的一些三维(3D)视频标准。举例来说，不同视角可发射左眼视角及右眼视角以支持3D视频。替代地，一些3D视频译码过程可应用所谓多视角加深度译码(multiviewplus depth coding)。在多视角加深度译码中，3D视频位流可不仅含有纹理视角分量，而且含有深度视角分量。举例来说，每一视角可包括一个纹理视角分量及一个深度视角分量。
发明内容
大体上，本发明涉及基于例如高效率视频译码(HEVC)等二维编码器-解码器(编码解码器)而进行的用于多层编码解码器及三维视频(3DV)编码解码器的视角间残差预测。在一些实例中，本发明的技术可用以改进高级帧间残差预测(advanced inter-residualprediction,ARP)过程。举例来说，本发明的方面可关于启用/停用ARP、ARP中的内插，及ARP中的加权因数。
在一个实例中，一种译码多层视频数据的方法包含：针对第一时间位点处的视频数据的第一块来确定用于译码所述第一块的一或多个参考图片列表在第二不同时间位点处是否含有至少一个参考图片；以及相对于所述一或多个参考图片列表中的参考图片的视频数据的至少一个参考块来译码视频数据的所述第一块，其中译码包含当所述一或多个参考图片列表在所述第二时间位点处不包含至少一个参考图片时停用视角间残差预测过程。
在另一实例中，一种用于译码多层视频数据的设备包含一或多个处理器，所述一或多个处理器经配置以：针对第一时间位点处的视频数据的第一块来确定用于译码所述第一块的一或多个参考图片列表在第二不同时间位点处是否含有至少一个参考图片；以及相对于所述一或多个参考图片列表中的参考图片的视频数据的至少一个参考块来译码视频数据的所述第一块，其中译码包含当所述一或多个参考图片列表在所述第二时间位点处不包含至少一个参考图片时停用视角间残差预测过程。
在另一实例中，一种用于译码多层视频数据的设备包含：用于针对第一时间位点处的视频数据的第一块来确定用于译码所述第一块的一或多个参考图片列表在第二不同时间位点处是否含有至少一个参考图片的装置；以及用于相对于所述一或多个参考图片列表中的参考图片的视频数据的至少一个参考块来译码视频数据的所述第一块的装置，其中译码包含当所述一或多个参考图片列表在所述第二时间位点处不包含至少一个参考图片时停用视角间残差预测过程。
在另一实例中，一种非暂时性计算机可读媒体具有存储于其上的指令，所述指令在执行时致使一或多个处理器：针对第一时间位点处的视频数据的第一块来确定用于译码所述第一块的一或多个参考图片列表在第二不同时间位点处是否含有至少一个参考图片；以及相对于所述一或多个参考图片列表中的参考图片的视频数据的至少一个参考块来译码视频数据的所述第一块，其中译码包含当所述一或多个参考图片列表在所述第二时间位点处不包含至少一个参考图片时停用视角间残差预测过程。
在另一实例中，一种译码视频数据的方法包含：确定由时间运动向量指示的时间参考块到视频数据的当前块的位点，其中所述当前块及所述时间参考块位于视频数据的第一层中；运用第一类型的内插来内插由所述当前块的视差向量指示的视差参考块的位点，其中所述视差参考块位于第二不同层中，且其中所述第一类型的内插包括双线性滤波器；确定由所述时间运动向量及所述视差向量的组合指示的所述视差参考块的时间视差参考块；以及基于所述时间参考块、所述视差参考块及所述时间视差参考块而译码所述当前块。
在另一实例中，一种用于译码视频数据的设备包含一或多个处理器，所述一或多个处理器经配置以：确定由时间运动向量指示的时间参考块到视频数据的当前块的位点，其中所述当前块及所述时间参考块位于视频数据的第一层中；运用第一类型的内插来内插由所述当前块的视差向量指示的视差参考块的位点，其中所述视差参考块位于第二不同层中，且其中所述第一类型的内插包括双线性滤波器；确定由所述时间运动向量及所述视差向量的组合指示的所述视差参考块的时间视差参考块；以及基于所述时间参考块、所述视差参考块及所述时间视差参考块而译码所述当前块。
在另一实例中，一种用于译码视频数据的设备包含：用于确定由时间运动向量指示的时间参考块到视频数据的当前块的位点的装置，其中所述当前块及所述时间参考块位于视频数据的第一层中；用于运用第一类型的内插来内插由所述当前块的视差向量指示的视差参考块的位点的装置，其中所述视差参考块位于第二不同层中，且其中所述第一类型的内插包括双线性滤波器；用于确定由所述时间运动向量及所述视差向量的组合指示的所述视差参考块的时间视差参考块的装置；以及用于基于所述时间参考块、所述视差参考块及所述时间视差参考块而译码所述当前块的装置。
在另一实例中，一种非暂时性计算机可读媒体使指令存储于其上，所述指令在执行时致使一或多个处理器：确定由时间运动向量指示的时间参考块到视频数据的当前块的位点，其中所述当前块及所述时间参考块位于视频数据的第一层中；运用第一类型的内插来内插由所述当前块的视差向量指示的视差参考块的位点，其中所述视差参考块位于第二不同层中，且其中所述第一类型的内插包括双线性滤波器；确定由所述时间运动向量及所述视差向量的组合指示的所述视差参考块的时间视差参考块；以及基于所述时间参考块、所述视差参考块及所述时间视差参考块而译码所述当前块。
在另一实例中，一种译码视频数据的方法包含：确定用于译码视频数据块的分割模式，其中所述分割模式指示用于预测性译码的所述视频数据块的划分；基于所述分割模式而确定是否针对视角间残差预测过程来译码加权因数，其中当不译码所述加权因数时，不应用所述视角间残差预测过程以预测用于所述当前块的残差；以及运用所述经确定分割模式来译码所述视频数据块。
在另一实例中，一种用于译码视频数据的设备包含一或多个处理器，所述一或多个处理器经配置以：确定用于译码视频数据块的分割模式，其中所述分割模式指示用于预测性译码的所述视频数据块的划分；基于所述分割模式而确定是否针对视角间残差预测过程来译码加权因数，其中当不译码所述加权因数时，不应用所述视角间残差预测过程以预测用于所述当前块的残差；以及运用所述经确定分割模式来译码所述视频数据块。
在另一实例中，一种用于译码视频数据的设备包含：用于确定用于译码视频数据块的分割模式的装置，其中所述分割模式指示用于预测性译码的所述视频数据块的划分；用于基于所述分割模式而确定是否针对视角间残差预测过程来译码加权因数的装置，其中当不译码所述加权因数时，不应用所述视角间残差预测过程以预测用于所述当前块的残差；以及用于运用所述经确定分割模式来译码所述视频数据块的装置。
在另一实例中，一种非暂时性计算机可读媒体具有存储于其上的指令，所述指令在执行时致使一或多个处理器：确定用于译码视频数据块的分割模式，其中所述分割模式指示用于预测性译码的所述视频数据块的划分；基于所述分割模式而确定是否针对视角间残差预测过程来译码加权因数，其中当不译码所述加权因数时，不应用所述视角间残差预测过程以预测用于所述当前块的残差；以及运用所述经确定分割模式来译码所述视频数据块。
在另一实例中，一种译码视频数据的方法包含：针对视频数据的第一层中的视频数据的第一块来确定用于预测所述第一块的时间运动向量及关联时间参考图片，其中所述时间参考图片具有图片次序计数值；在由与所述第一块相关联的视差向量指示的视差参考图片中确定视差参考块，其中所述视差参考图片包含于存取单元中，所述存取单元包含含有所述第一块及不同于所述第一块的第二视角的图片；确定经解码图片缓冲器是否含有在所述第二视角中且具有所述时间参考图片的所述图片次序计数值的时间视差参考图片，其中所述时间视差参考图片是基于所述时间运动向量及所述视差向量的组合而定位；当所述经解码图片缓冲器不含有在所述第二视角中且具有所述时间参考图片的所述图片次序计数值的时间视差参考图片时，修改视角间残差预测过程以用于预测所述第一块的残差数据；以及运用所述视角间残差预测过程及所述经修改视角间残差预测过程中的一者来译码用于视频数据的所述第一块的残差。
在另一实例中，一种用于译码视频数据的设备包含一或多个处理器，所述一或多个处理器经配置以：针对视频数据的第一层中的视频数据的第一块来确定用于预测所述第一块的时间运动向量及关联时间参考图片，其中所述时间参考图片具有图片次序计数值；在由与所述第一块相关联的视差向量指示的视差参考图片中确定视差参考块，其中所述视差参考图片包含于存取单元中，所述存取单元包含含有所述第一块及不同于所述第一块的第二视角的图片；确定经解码图片缓冲器是否含有在所述第二视角中且具有所述时间参考图片的所述图片次序计数值的时间视差参考图片，其中所述时间视差参考图片是基于所述时间运动向量及所述视差向量的组合而定位；当所述经解码图片缓冲器不含有在所述第二视角中且具有所述时间参考图片的所述图片次序计数值的时间视差参考图片时，修改视角间残差预测过程以用于预测所述第一块的残差数据；以及运用所述视角间残差预测过程及所述经修改视角间残差预测过程中的一者来译码用于视频数据的所述第一块的残差。
在另一实例中，一种用于译码视频数据的设备包含：用于针对视频数据的第一层中的视频数据的第一块来确定用于预测所述第一块的时间运动向量及关联时间参考图片的装置，其中所述时间参考图片具有图片次序计数值；用于在由与所述第一块相关联的视差向量指示的视差参考图片中确定视差参考块的装置，其中所述视差参考图片包含于存取单元中，所述存取单元包含含有所述第一块及不同于所述第一块的第二视角的图片；用于确定经解码图片缓冲器是否含有在所述第二视角中且具有所述时间参考图片的所述图片次序计数值的时间视差参考图片的装置，其中所述时间视差参考图片是基于所述时间运动向量及所述视差向量的组合而定位；当所述经解码图片缓冲器不含有在所述第二视角中且具有所述时间参考图片的所述图片次序计数值的时间视差参考图片时，用于修改一视角间残差预测过程以用于预测所述第一块的残差数据的装置；以及用于运用所述视角间残差预测过程及所述经修改视角间残差预测过程中的一者来译码用于视频数据的所述第一块的残差的装置。
在另一实例中，一种非暂时性计算机可读媒体具有存储于其上的指令，所述指令在执行时致使一或多个处理器：针对视频数据的第一层中的视频数据的第一块来确定用于预测所述第一块的时间运动向量及关联时间参考图片，其中所述时间参考图片具有图片次序计数值；在由与所述第一块相关联的视差向量指示的视差参考图片中确定视差参考块，其中所述视差参考图片包含于存取单元中，所述存取单元包含含有所述第一块及不同于所述第一块的第二视角的图片；确定经解码图片缓冲器是否含有在所述第二视角中且具有所述时间参考图片的所述图片次序计数值的时间视差参考图片，其中所述时间视差参考图片是基于所述时间运动向量及所述视差向量的组合而定位；当所述经解码图片缓冲器不含有在所述第二视角中且具有所述时间参考图片的所述图片次序计数值的时间视差参考图片时，修改视角间残差预测过程以用于预测所述第一块的残差数据；以及运用所述视角间残差预测过程及所述经修改视角间残差预测过程中的一者来译码用于视频数据的所述第一块的残差。
随附图式及以下描述中阐述本发明的一或多项实例的细节。其它特征、目标及优点将从所述描述、所述图式及权利要求书显而易见。
附图说明
图1为说明可利用本发明所描述的技术的实例视频编码及解码系统的框图。
图2为说明可实施本发明所描述的技术的实例视频编码器的框图。
图3为说明可实施本发明所描述的技术的实例视频解码器的框图。
图4为说明译码多视角序列的概念图。
图5为说明实例多视角预测模式的概念图。
图6为说明实例可缩放视频数据层的概念图。
图7为说明相对于当前预测单元(PU)的实例空间相邻PU的概念图。
图8为说明视角间残差预测的框图。
图9为说明多视角视频译码中的高级残差预测(ARP)的实例预测结构的概念图。
图10为说明ARP中在当前块、参考块与运动补偿式块之间的实例关系的概念图。
图11为说明用于四分之一样本亮度内插的整数样本及分数样本位置的概念图。
图12为说明用于译码视频数据块的分割模式的概念图。
图13为根据本发明的一或多种技术的说明视频编码器的实例操作的流程图。
图14为根据本发明的一或多种技术的说明视频解码器的实例操作的流程图。
图15为根据本发明的一或多种技术的说明视频编码器的实例操作的流程图。
图16为根据本发明的一或多种技术的说明视频解码器的实例操作的流程图。
图17为根据本发明的一或多种技术的说明视频编码器的实例操作的流程图。
图18为根据本发明的一或多种技术的说明视频解码器的实例操作的流程图。
图19为根据本发明的一或多种技术的说明视频编码器的实例操作的流程图。
图20为根据本发明的一或多种技术的说明视频解码器的实例操作的流程图。
具体实施方式
本发明的技术大体上涉及用以基于高级二维(2D)编码解码器而进一步改进用于多视角、3DV(例如，多视角加深度)或可缩放编码解码器的高级残差预测(ARP)的译码效率的各种技术。举例来说，高效率视频译码(HEVC)标准正由ITU-T视频译码专家团体(VideoCoding Experts Group,VCEG)及ISO/IEC动画专家团体(Motion Picture Experts Group,MPEG)的视频译码联合合作团队(Joint Collaboration Team on Video Coding,JCT-VC)开发。被称作“HEVC工作草案9”(在本文中也被称作WD9)的HEVC标准的草案在Bross等人的“High Efficiency Video Coding(HEVC)text specification draft 9”(2012年10月，中国上海，ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作团队(JCT-VC)第11次会议)中得以描述，且可得自http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v10.zip。
HEVC的一种使用状况可在高及超高清晰度(ultra-high definition,UHD)视频的领域中。许多高清晰度(high definition,HD)显示器已经能够转译立体视频，且UHD显示器的分辨率及显示大小的增加可使此类显示器较适合于立体视频。除此之外，HEVC的压缩能力的改进(例如，相比于H.264/AVC高设定档，在具有相同质量的情况下预期一半的位率)可使HEVC为用于译码立体视频的良好候选者。举例来说，在使用利用视角之间的冗余的机制的情况下，视频译码器(例如，视频编码器或视频解码器)可能够使用HEVC以相比于使用H.264/AVV标准而译码的具有相同质量及分辨率的单视角(单像(monoscopic))视频在甚至更低的速率下译码完全分辨率立体视频。
相似于以AVC为基础的专案，VCEG及MPEG的3D视频译码联合合作团队(JointCollaboration Team on 3D Video Coding,JCT-3V)正研究正使用HEVC译码技术的两种3DV解决方案。第一3DV解决方案为HEVC的多视角扩展(被称作MV-HEVC)，且另一3DV解决方案为以深度增强型HEVC为基础的完全3DV编码解码器(3D-HEVC)。标准化努力的部分包含基于HEVC而进行的多视角/3D视频译码的标准化。在https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-5.0/处可电子地得到最新软件3D-HTM版本5.0。下文所描述的技术可结合以上两种所提议3DV解决方案而实施。
在一些实例中，所述技术可又(或替代地)运用对HEVC的可缩放扩展而实施。在可缩放视频译码中，可译码多个视频数据层。在一些实例中，每一层可对应于一特定视角。此处，视角可缩放性及空间可缩放性的应用被认为在3D服务的演进中高度地有益，因为其允许用于较多视角的回溯兼容扩展，及/或以由旧版装置进行的解码是可能的方式来增强视角的分辨率。
在二维视频译码中，逐图片地译码而未必以显示次序来译码视频数据(即，图片序列)。视频译码装置将每一图片划分成若干块，且个别地译码每一块。以块为基础的预测模式包含空间预测(也被称作帧内预测)及时间预测(也被称作帧间预测)。
对于例如多视角或可缩放经译码数据等三维视频数据，块还可被视角间及/或层间预测。如本文所描述，视频“层”通常可指具有至少一个共同特性(例如，视角、帧率、分辨率或其类似者)的图片序列。举例来说，层可包含与特定多视角视频数据视角(例如，检视方块)相关联的视频数据。作为另一实例，层可包含与特定可缩放视频数据层相关联的视频数据。
因此，本发明可互换式地提及视频数据层及视频数据视角。即，视频数据视角可被称作视频数据层，且反之亦然。此外，术语视角间预测及层间预测可互换式地指多个视频数据层及/或视角之间的预测。另外，多层编码解码器(或多层视频译码器)可联合地指多视角编码解码器或可缩放编码解码器。
在多视角或可缩放视频译码中，可从另一视频数据视角或层的图片预测块。以此方式，可启用基于来自不同视角的经重构视角分量的视角间预测。本发明使用术语“视角分量”来指特定视角或层的经编码图片。即，视角分量可包括在特定时间用于特定视角的经编码图片(在显示次序或输出次序方面)。视角分量(或视角分量的切片)可具有图片次序计数(picture order count,POC)值，其通常指示视角分量的显示次序(或输出次序)。
通常，两个视角的相同或对应对象不为共置型。术语“视差向量”可用以指指示一视角的图片中的对象相对于不同视角中的对应对象的位移的向量。此类向量也可被称作“位移向量(displacement vector)”。视差向量还可适用于图片的视频数据像素或块。举例来说，可使第一视角的图片中的像素相对于第二视角的图片中的对应像素位移与供俘获第一视角及第二视角的不同摄影机位点相关的特定视差向量。在一些实例中，可使用视差向量以预测从一个视角到另一视角的运动信息(具有或没有参考图片索引的运动向量)。
因此，为了进一步改进译码效率，视频译码器还可应用视角间运动预测及/或视角间残差预测。关于视角间运动预测，视频译码器可相对于与第二不同视角的块相关联的运动向量来译码与一个视角的块相关联的运动向量。同样地，如下文更详细地所描述，在视角间残差预测中，视频译码器可相对于第二不同视角的残差来译码一个视角的残差数据。在一些实例中，特别是在3D-HEVC的上下文中，视角间残差预测可被称作高级残差预测(ARP)。
在ARP中，视频译码器确定用于预测当前块的预测性块。用于当前块的预测性块可基于与由当前块的运动向量指示的位点相关联的时间参考图片的样本。时间参考图片与相同于当前图片的视角相关联，但与不同于当前图片的时间实例(time instance)相关联。在一些实例中，当块的样本是基于特定图片的样本时，所述样本可基于特定图片的实际或内插式样本。
另外，在ARP中，视频译码器基于由当前块的视差向量指示的位点处的视差参考图片的样本而确定视差参考块。视差参考图片与不同于当前图片的视角(即，参考视角)相关联，但与相同于当前图片的时间实例相关联。
视频译码器还确定用于当前块的时间视差参考块。时间参考块是基于与由当前块的运动向量以及视差向量指示的位点相关联的时间视差参考图片的样本。举例来说，可通过将时间运动向量应用(例如，将时间运动向量再用)于视差参考块而定位时间视差参考块。因此，时间视差参考图片与相同于视差参考图片的视角相关联，且与相同于当前块的时间参考图片的存取单元相关联。
虽然本文出于说明的目的而将时间视差参考块描述为通过将时间运动向量应用于视差参考块予以定位，但在一些实例中，时间运动向量实际上可不直接地应用于视差参考图片。实情为，时间运动向量可与视差向量进行组合以(例如)相对于当前块来定位时间视差参考块。举例来说，出于说明的目的而假定到，视差向量被表示为DV[0]及DV[1]，且时间运动向量被表示为TMV[0]及TMV[1]。在此实例中，视频译码器(例如，视频编码器或视频解码器)可通过组合视差向量与时间运动向量(例如，DV[0]+TMV[0]、DV[1]+TMV[1])而确定时间视差参考图片中的时间视差块相对于当前块的位点。因此，本文中对“将时间运动向量应用于视差参考块”的参考未必要求时间运动向量直接地应用于视差参考块的位点。
视频译码器接着确定用于预测与当前块相关联的残差的残差预测值，例如，当前块与时间参考块之间的差。用于当前块的残差预测值的每一样本指示视差参考块的样本与时间视差参考块的对应样本之间的差。在一些实例中，视频译码器可将加权因数(例如，0、0.5、1或其类似者)应用于残差预测值以增加残差预测值的准确度。
在视频译码器为视频编码器的实例中，视频编码器可确定用于当前块的最终残差块。最终残差块包括指示当前块的样本、时间预测性块中的样本与残差预测值中的样本之间的差的样本。视频编码器可在位流中包含表示最终残差块的数据。在视频译码器为视频解码器的实例中，视频解码器可基于最终残差块、残差预测值及时间预测性块而重构当前块。
虽然ARP可改进视角间(或层间)残差预测的译码效率，但进一步改进是可能的。举例来说，本发明的某些技术涉及ARP加权因数。如上文所提及，视频译码器可将加权因数应用于残差预测值。一般来说，总是在位流中传信加权因数，而不管在用于译码当前块的参考图片列表中是否存在时间参考图片。然而，当不存在时间参考图片时传信加权因数可不必要地增加复杂性且减低效率，这是因为：如果不存在时间参考图片，则不存在用于应用ARP的时间预测及关联残差。
在参考图片列表中可不存在(例如，在列表0及列表1中可皆不存在)时间参考图片的一个实例是当译码随机存取图片时。如下文更详细地所描述，随机存取图片未被时间上预测。随机存取图片通常仅被帧内预测或视角间预测(仅视角间参考图片包含于参考图片列表中)。因此，如上文所提及，加权因数的传信不必要且无效率，这是因为不存在确定预测值所针对的残差。
根据本发明的方面，视频译码器(例如，视频编码器或视频解码器)可基于用于当前正被译码的块的参考图片列表中的参考图片而启用或停用ARP(包含相对于第二不同层的残差来译码一个层的残差)。在一实例中，视频译码器可基于用于当前正被译码的块的参考图片列表(例如，列表0或列表1)是否包含任何时间参考图片而启用或停用ARP。根据本发明的方面，如果用于经帧间预测切片的参考图片列表仅包含视角间参考图片，则视频译码器可在译码所述切片的块时停用ARP。在此类实例中，当视频译码器包括视频编码器时，视频编码器可不在位流中传信用于切片内的所有块(例如，在高效率视频译码(HEVC)的上下文中为译码单元或预测单元，如下文更详细地所描述)的加权因数(跳过加权因数的传信)。同样地，当视频译码器包括视频解码器时，视频解码器可同样地跳过加权因数的解码且自动地确定(即，推断)出加权因数等于零。
上文所描述的技术可应用于随机存取图片的上下文中。举例来说，根据本发明的方面，视频译码器可基于当前正被译码的视角分量是否为随机存取视角分量而启用或停用ARP。如上文所提及，随机存取视角分量不具有时间参考图片，这是因为随机存取图片被帧内预测或视角间预测。因此，视频译码器可针对随机存取视角分量的每一块来停用ARP。同样地，视频编码器可不在位流中传信加权因数(跳过加权因数的传信)。同样地，当视频译码器包括视频解码器时，视频解码器可同样地跳过加权因数的解码且推断出加权因数等于零。
在另一实例中，根据本发明的方面，如果至少一个参考图片来自相同于当前正被译码的块的视角，则视频译码器可启用ARP。另外或替代地，仅当两个参考图片(对应于RefPicList0中的参考图片及RefPicList1中的参考图片)(如果可得到)属于相同于当前正被译码的块的视角时，视频译码器才可启用ARP。另外或替代地，如果一块是运用视角间参考图片而被视角间译码，则视频译码器可针对所述块来停用ARP。如上文所提及，当停用ARP时，不传信加权因数。
本发明的技术还涉及ARP中的内插。举例来说，当执行ARP(例如，加权因数不为零)时，视频编码器及视频解码器两者可在残差预测值产生过程期间使用额外运动补偿过程。因此，如果运动向量指示分数像素位点，则视频译码器执行两种分数像素内插过程，例如，一种内插过程用以定位时间参考块，且另一内插过程用以定位视差时间参考块。另外，视频译码器可在确定视差参考块时应用又一分数像素内插过程。在HEVC中，针对亮度分量来指定8抽头滤波器(8-tap filter)，而针对色度分量来指定4抽头滤波器(4-tap filter)。此类内插过程可增加与ARP相关联的计算复杂性。
根据本发明的方面，可特别相对于参考块的子像素(sub-pixel，sub-pel)内插而简化ARP的运动补偿过程。举例来说，视频译码器可以相似于或相同于用以在运动补偿期间产生预测信号的过程(例如，用以确定时间参考块的过程)的方式来确定视差参考块。即，视频译码器可使用具有当前块的视差向量的经重构参考视角图片来确定视差参考块。
在一些实例中，根据本发明的方面，视频译码器可使用一或多种类型的内插以用于在ARP中确定参考块的位点。举例来说，视频译码器可使用例如双线性滤波器等低通滤波器以内插视差参考块的位点。另外或替代地，视频译码器可使用低通滤波器以内插时间视差参考块的位点。在又一实例中，视频译码器可使用低通滤波器以内插时间参考块的位点。因此，根据本发明的方面，视频译码器可使用双线性滤波器以在ARP中内插一或多个参考块的位点，其相比于应用由HEVC指定的较高抽头数滤波器在计算上更有效率。虽然本文中对双线性滤波器进行参考，但应理解，又或替代地可使用一或多个其它低通滤波器。根据本发明的方面，视频译码器可将上文所描述的低通滤波器应用于亮度分量、色度分量或亮度分量及色度分量两者的任何组合。
本发明的技术还涉及针对特定译码模式及/或分割模式来传信ARP加权因数。举例来说，一般来说，可针对包含PART_2N×2N、PART_2N×N、PART_N×2N或其类似者的所有分割模式(如(例如)关于图12所展示的实例更详细地所描述)及包含跳过、合并、高级运动向量预测(AMVP)的所有帧间译码模式来传信加权因数。针对所有分割模式及帧间模式来传信加权因数可不必要地增加复杂性且减低效率，这是因为在运用某些分割模式或帧间模式的情况下可能不会有效率地应用ARP。
根据本发明的方面，可基于当前正被译码的块的分割模式及/或译码模式而启用或停用ARP。举例来说，可仅针对仅某些分割模式及/或某些译码模式来传信加权因数。如果加权因数不包含于位流中，则视频解码器可跳过加权因数的解码且推断出加权因数为零值(借此停用ARP)。根据本发明的方面，在一些实例中，可不传信用于具有不等于PART_2N×2N的分割模式的任何经帧间译码块的加权因数。在另一实例中，可不传信用于具有除了PART_2N×2N、PART_2N×N及PART_N×2N以外的分割模式的经帧间译码块的加权因数。在又一实例中，另外或替代地，可不传信用于具有不等于跳过模式及/或合并模式的译码模式的任何经帧间译码块的加权因数。
本发明的技术还涉及改进在位流中传信加权因数的方式。举例来说，一般来说，视频译码器可从三个固定加权因数(例如，0、0.5及1)的固定集合选择加权因数。然而，在一些实例中，归因于当前视角与其参考视角之间的质量差，三个静态加权因数可不提供足以实现足够预测效率的灵活性。当前视角与参考视角之间的质量差可为动态的，关于可缩放视频译码是特定的。相反地，三个加权因数可超过一些切片或图片的需要。即，一些切片或图片可无需从三个加权因数进行选择以实现复杂性与译码效率改进之间的最佳平衡。
根据本发明的方面，可实施对加权因数的更灵活途径。举例来说，可在序列层级处(例如，在例如序列参数集(sequence parameter set,SPS)等参数集中)变更可用加权因数的数目。在出于说明的目的的实例中，可在SPS中传信指示符以停用一或多个加权因数，例如，0.5及/或1。在另一实例中，可在视频参数集(video parameter set,VPS)中传信此类指示符，且此类指示符可适用于所有非基础视角。在又一实例中，可针对每一非基础视角而在VPS扩展中传信此类指示符。在另一实例中，可在图片参数集(picture parameter set,PPS)、切片标头或视角参数集中提供此类指示符以停用一或多个加权因数。当已停用加权因数时，可使用较少位以表示那些剩余加权因数，借此提供位节省。
根据其它方面，可提供指示符以修改及/或替换一或多个加权因数。在一实例中，视频译码器可运用0.75加权因数来替换0.5加权因数。可在切片标头、SPS、图片参数集(PPS)或VPS中传信此指示符。
本发明的技术还涉及基于经解码图片缓冲器(其也可被互换式地称作参考图片存储器，如下文关于图2及3更详细地所描述)及/或参考图片列表的参考图片而确定启用抑或停用ARP过程。举例来说，如上文所提及，通常通过将时间运动向量应用于视差参考块而定位用于确定残差预测值的时间视差参考块。然而，在一些实例中，经解码图片缓冲器可不含有通过将时间运动向量应用于视差参考块而指示的图片。即，经解码图片缓冲器可不含有相同于视差参考块的视角中的图片，所述图片也具有相同于当前块的时间参考图片的图片次序计数(POC)值。
在一些实例中，即使图片包含于经解码图片缓冲器中，含有视差参考块的切片的所述或所述参考图片列表也可不含有通过将时间运动向量应用于视差参考块而指示的图片，例如，潜在时间视差参考图片。在此类实例中，定位时间视差参考块可将误差及/或延迟引入到译码过程中。
根据本发明的方面，视频译码器可基于经解码图片缓冲器及/或参考图片列表的图片而启用或停用ARP。举例来说，当用于译码当前块的经解码图片缓冲器不包含具有相同于当前块的时间参考图片的POC的在相同于视差参考图片的视角中的图片时，视频译码器可修改ARP过程。
在另一实例中，另外或替代地，当视差参考块的参考图片列表不包含具有相同于当前块的时间参考图片的POC的在相同于视差参考图片的视角中的图片时，视频译码器可修改ARP过程。即，在给出当前参考图片列表索引X(其中X为0或1)的情况下，在一个实例中，如果具有等于视差参考块的X的列表索引的参考图片列表不包含相同于视差参考图片的视角中且具有相同于当前块的时间参考图片的POC的参考图片，则视频译码器可修改ARP过程。在另一实例中，如果视差参考块的参考图片列表中任一者皆不(例如，列表0及列表1皆不)包含相同于视差参考图片的视角中且具有相同于当前块的时间参考图片的POC的参考图片，则视频译码器可修改ARP过程。
在一些实例中，视频译码器可通过停用ARP过程以使得不使用ARP来译码当前块而修改ARP过程。即，不产生残差预测值或总是将残差预测值设定到0。在其它实例中，视频译码器可通过缩放时间运动向量以识别另一时间视差参考图片而修改ARP过程。举例来说，视频译码器可缩放时间运动向量，使得当应用于视差参考图片时，经缩放运动向量识别包含于参考图片列表中且位于时间上最接近于视差参考图片的位点中的时间视差参考图片。上文所描述的技术可防止视频译码器试图在不包含于参考图片列表中的图片中定位视差参考块。
图1为说明可利用用于高级残差预测(ARP)的本发明的技术的实例视频编码及解码系统10的框图。如图1所展示，系统10包含源装置12，源装置12提供稍后待由目的地装置14解码的经编码视频数据。明确地说，源装置12经由计算机可读媒体16而将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、例如所谓“智能”电话等电话手持机、所谓“智能”键台、电视、摄影机、显示装置、数字媒体播放器、视频游戏主控台、视频流式传输装置，或其类似者。在一些状况下，源装置12及目的地装置14可经装备以供无线通信。
目的地装置14可经由计算机可读媒体16而接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括用以使源装置12能够将经编码视频数据直接地实时发射到目的地装置14的通信媒体。
可根据例如无线通信协议等通信标准而调制经编码视频数据，且将经编码视频数据发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(radiofrequency,RF)频谱或一或多个物理传输线。通信媒体可形成以包为基础的网络的部分，例如，局域网、广域网，或例如因特网等全球网络。通信媒体可包含路由器、交换器、基站，或可有用于促进从源装置12到目的地装置14的通信的任何其它设备。
在一些实例中，可将经编码数据从输出接口22输出到存储装置。相似地，可由输入接口从存储装置存取经编码数据。存储装置可包含多种分散式或本地存取式数据存储媒体中任一者，例如，硬盘、蓝光(Blu-ray)光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中，存储装置可对应于可存储由源装置12产生的经编码视频的文件服务器或另一中间存储装置。
目的地装置14可经由流式传输或下载而从存储装置存取经存储视频数据。文件服务器可为能够存储经编码视频数据且将那一经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，对于网站)、FTP服务器、网络附接存储(network attached storage,NAS)装置，或本机磁盘(local disk drive)。目的地装置14可经由包含因特网连接的任何标准数据连接而存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等等)，或此两者的组合。经编码视频数据从存储装置的发射可为流式传输、下载发射，或其组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于支持例如以下各者的多种多媒体应用中任一者的视频译码：空中电视广播、有线电视发射、卫星电视发射、例如HTTP动态自适应流式传输(dynamic adaptive streaming over HTTP,DASH)等因特网流式视频发射、编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于多视角译码中的运动向量预测的技术。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部摄影机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。
图1的所说明系统10仅为一个实例。用于高级残差预测的技术可由任何数字视频编码及/或解码装置执行。尽管本发明的技术通常是由视频编码装置执行，但所述技术还可由视频编码器/解码器(通常被称作“CODEC”)执行。此外，本发明的技术还可由视频预处理器执行。源装置12及目的地装置14仅仅为此类译码装置的实例，其中源装置12产生经译码视频数据以供发射到目的地装置14。在一些实例中，装置12、14可以实质上对称方式而操作，使得装置12、14中每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如，用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含例如视频摄影机等视频俘获装置、含有经先前俘获视频的视频封存档，及/或用以从视频内容提供者接收视频的视频馈送接口。作为另一替代例，视频源18可产生以计算机图形为基础的数据作为源视频，或产生实况视频、经封存视频及经计算机产生视频的组合。在一些状况下，如果视频源18为视频摄影机，则源装置12及目的地装置14可形成所谓摄影机电话或视频电话。然而，如上文所提及，本发明所描述的技术大体上可适用于视频译码，且可应用于无线及/或有线应用。在每一状况下，经俘获视频、经预俘获视频或经计算机产生视频可由视频编码器20编码。经编码视频信息接着可由输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含：暂时性媒体，例如，无线广播或有线网络发射；或存储媒体(即，非暂时性存储媒体)，例如，硬盘、随身碟、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且(例如)经由网络发射而将经编码视频数据提供到目的地装置14。相似地，媒体生产设施(例如，光盘压印设施)的计算装置可从源装置12接收经编码视频数据且产生含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可被理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息还由视频解码器30使用，其包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中任一者，例如，阴极射线管(cathode raytube,CRT)、液晶显示器(liquid crystal display,LCD)、等离子体显示器、有机发光二极管(organic light emitting diode,OLED)显示器，或另一类型的显示装置。
尽管图1中未图示，但在一些方面中，视频编码器20及视频解码器30各自可与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元或其它硬件及软件以处置共同数据流或分离数据流中的音频及视频两者的编码。在适用时，MUX-DEMUX单元可符合ITU H.223多工器协议，或例如用户数据报协议(user datagram protocol,UDP)等其它协议。
在适用时，视频编码器20及视频解码器30各自可被实施为多种合适编码器或解码器电路系统中任一者，例如，一或多个微处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)、离散逻辑电路系统、软件、硬件、固件或其任何组合。视频编码器20及视频解码器30中每一者可包含于一或多个编码器或解码器中，所述一或多个编码器或解码器中任一者可被集成为组合式视频编码器/解码器(CODEC)的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器，及/或无线通信装置，例如，蜂窝式电话。
本发明通常可涉及视频编码器20将某些信息“传信”到例如视频解码器30等另一装置。然而，应理解，视频编码器20可通过使某些语法元素与视频数据的各种经编码部分相关联而传信信息。即，视频编码器20可通过将某些语法元素存储到视频数据的各种经编码部分的标头而“传信”数据。在一些状况下，此类语法元素可在由视频解码器30接收及解码之前被编码及存储(例如，存储到存储装置24)。因此，术语“传信”通常可指用于解码经压缩视频数据的语法或其它数据的传达，而无论此类通信实时或近实时发生抑或遍及一时间范围而发生，例如，可能在编码时将语法元素存储到媒体时发生，语法元素接着可在存储到此媒体之后的任何时间由解码装置检索。
在一些实例中，视频编码器20及视频解码器30可根据例如ITU-T H.264标准(被替代地称作MPEG-4第10部分的高级视频译码(AVC)等专属或工业标准或此类标准的扩展而操作。ITU-T H.264/MPEG-4(AVC)标准是由ITU-T视频译码专家团体(VCEG)连同ISO/IEC动画专家团体(MPEG)一起制订为被称为联合视频团队(Joint Video Team,JVT)的集体合作伙伴的产品。
另外或替代地，视频编码器20及视频解码器30可根据例如高效率视频译码(HEVC)标准等另一视频译码标准而操作。被称作“HEVC工作草案9”的HEVC标准的草案在Bross等人的“High Efficiency Video Coding(HEVC)text specification draft 9”(2012年10月，中国上海，ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作团队(JCT-VC)第11次会议)中得以描述。
此外，如上文所提及，正在努力产生可缩放视频译码、多视角译码，及用于HEVC的3DV扩展。因此，在一些实例中，视频编码器20及视频解码器30可执行多视角视频译码。举例来说，视频编码器20及视频解码器30可实施HEVC的多视角扩展(被称作MV-HEVC)、以深度增强型HEVC为基础的完全3DV编码解码器(被称作3D-HEVC)，或HEVC的可缩放视频译码扩展(被称作SHEVC(可缩放HEVC)或HSVC(高效率可缩放视频译码))。
下文所描述的技术可结合上文所提及的HEVC扩展中的一或多者而实施。对于3D-HEVC，可包含及支持用于纹理视角及深度视角两者的新译码工具，包含译码单元/预测单元层级中的译码工具。从2013年11月21日起，可从以下连结下载用于3D-HEVC的软件(即，3D-HTM版本5.0)：https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-5.0/。
一般来说，HEVC的运动补偿环路相同于H.264/AVC中的运动补偿环路。举例来说，运动补偿环路中的当前帧的重构可等于经解量化系数r加时间预测P：
在以上公式中，P指示用于P帧的单向预测性帧间预测或用于B帧的双向预测性帧间预测。
然而，HEVC中的运动补偿的单位不同于先前视频译码标准中的运动补偿的单位。举例来说，先前视频译码标准中的宏块的概念不存在于HEVC中。实情为，宏块是由基于泛型四元树状结构方案(generic quadtree scheme)的灵活阶层式结构替换。在此方案内，定义三种类型的块，即，译码单元(CU)、预测单元(PU)及变换单元(TU)。CU为区分裂的基本单位。CU的概念类似于宏块的概念，但CU不限于最大大小，且CU允许递归式地分裂成四个相等大小的CU以改进内容自适应性。PU为帧间/帧内预测的基本单位。在一些实例中，PU可在单一PU中含有多个任意形状的分割区以有效地译码不规则图像模式。TU为变换的基本单位。可独立于CU的PU来定义CU的TU。然而，TU的大小限于TU所属的CU。块结构成为三种不同概念的此分离可允许每一概念根据其角色而最佳化，此情形可引起译码效率改进。
在HEVC及其它视频译码规格中，视频序列通常包含一系列图片。图片还可被称作“帧”。图片可包含被表示为SL、SCb及SCr的三个样本阵列。SL为二维亮度样本阵列(即，块)。SCb为二维Cb彩度样本阵列。SCr为二维Cr彩度样本阵列。彩度样本还可在本文中被称作“色度”样本。在其它实例中，图片可为单色，且可仅包含亮度样本阵列。
为了产生图片的经编码表示，视频编码器20可产生译码树状结构单元(codingtree unit,CTU)集合。所述CTU中每一者可包括亮度样本译码树状结构块、两个对应色度样本译码树状结构块，及用以译码所述译码树状结构块的样本的语法结构。在单色图片或具有三个分离色彩平面的图片中，CTU可包括单一译码树状结构块，及用以译码所述译码树状结构块的样本的语法结构。译码树状结构块可为N×N样本块。CTU也可被称作“树状结构块”或“最大译码单元”(largest coding unit,LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC等其它标准的宏块。然而，CTU未必限于特定大小且可包含一或多个CU。切片可包含以光栅扫描次序连续地排序的整数个CTU。
经译码切片可包括切片标头及切片数据。切片的切片标头可为包含提供关于切片的信息的语法元素的语法结构。切片数据可包含切片的经译码CTU。
本发明可使用术语“视频单元”或“视频块”或“块”以指一或多个样本块及用以译码所述一或多个样本块的样本的语法结构。实例类型的视频单元或块可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分割区等等。在一些上下文中，PU的论述可与宏块分割区的宏块的论述进行互换。
为了产生经译码CTU，视频编码器20可对CTU的译码树状结构块递归式地执行四元树状结构分割，以将所述译码树状结构块划分成若干译码块，因此，名称为“译码树状结构单元”。译码块为N×N样本块。CU可包括具有亮度样本阵列、Cb样本阵列及Cr样本阵列的图片的一亮度样本译码块及两个对应色度样本译码块，以及用以译码所述译码块的样本的语法结构。在单色图片或具有三个分离色彩平面的图片中，CTU可包括单一译码块，及用以译码所述译码树块的样本的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。预测块为相同预测被应用的矩形(即，正方形或非正方形)样本块。CU的PU可包括一亮度样本预测块、两个对应色度样本预测块，及用以预测所述预测块的语法结构。在单色图片或具有三个分离色彩平面的图片中，PU可包括单一预测块，及用以预测所述预测块的语法结构。视频编码器20可产生用于CU的每一PU的亮度预测块、Cb预测块及Cr预测块的预测性亮度块、Cb块及Cr块。因此，在本发明中，CU可据称为分割成一或多个PU。出于解释简易起见，本发明可将PU的预测块的大小简单地称作PU的大小。
视频编码器20可使用帧内预测或帧间预测以产生用于PU的预测性块。如果视频编码器20使用帧内预测以产生PU的预测性块，则视频编码器20可基于与PU相关联的图片的样本而产生PU的预测性块。在本发明中，片语“基于”可指示“至少部分地基于”。
如果视频编码器20使用帧间预测以产生PU的预测性块，则视频编码器20可基于除了与PU相关联的图片以外的一或多个图片的经解码样本而产生PU的预测性块。当使用帧间预测以产生块(例如，PU)的预测性块时，本发明可将所述块称作“经帧间译码”或“经帧间预测”。帧间预测可为单向预测性的(即，单向预测)或双向预测性的(即，双向预测)。为了执行单向预测或双向预测，视频编码器20可产生用于当前图片的第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。所述参考图片列表中每一者可包含一或多个参考图片。在建构参考图片列表(即，RefPicList0及RefPicList1(如果可得到))之后，可使用到参考图片列表的参考索引以识别包含于参考图片列表中的任何参考图片。
当使用单向预测时，视频编码器20可在RefPicList0及RefPicList1中任一者或两者中搜索参考图片以确定参考图片内的参考位点。此外，当使用单向预测时，视频编码器20可至少部分地基于对应于参考位点的样本而产生用于PU的预测性块。此外，当使用单向预测时，视频编码器20可产生指示PU的预测块与参考位点之间的空间位移的单一运动向量。所述运动向量可包含指定PU的预测块与参考位点之间的水平位移的水平分量，且可包含指定PU的预测块与参考位点之间的垂直位移的垂直分量。
当使用双向预测以编码PU时，视频编码器20可确定RefPicList0中的参考图片中的第一参考位点及RefPicList1中的参考图片中的第二参考位点。视频编码器20可至少部分地基于对应于第一参考位点及第二参考位点的样本而产生用于PU的预测性块。此外，当使用双向预测以编码PU时，视频编码器20可产生指示PU的预测块与第一参考位点之间的空间位移的第一运动向量，及指示PU的预测块与第二参考位点之间的空间位移的第二运动向量。
如果视频编码器20使用帧间预测以产生PU的预测性块，则视频编码器20可基于除了与PU相关联的图片以外的一或多个图片的样本而产生PU的预测性块。举例来说，视频编码器20可对PU执行单向预测性帧间预测(即，单向预测)或双向预测性帧间预测(即，双向预测)。
在视频编码器20对PU执行单向预测的实例中，视频编码器20可基于PU的运动向量而确定参考图片中的参考位点。视频编码器20接着可确定用于PU的预测性块。用于PU的预测性块中的每一样本可与参考位点相关联。在一些实例中，当用于PU的预测性块中的样本位于具有相同于PU的大小且左上隅角为参考位点的样本块内时，所述样本可与参考位点相关联。预测性块中的每一样本可为参考图片的实际或内插式样本。
在预测性块的亮度样本是基于参考图片的内插式亮度样本的实例中，视频编码器20可通过将8抽头内插滤波器应用于参考图片的实际亮度样本而产生内插式亮度样本。在预测性块的色度样本是基于参考图片的内插式色度样本的实例中，视频编码器20可通过将4抽头内插滤波器应用于参考图片的实际色度样本而产生内插式色度样本。一般来说，滤波器的抽头的数目指示数学地表示滤波器所需要的系数的数目。具有较高抽头数目的滤波器通常比具有较低抽头数目的滤波器更复杂。
在视频编码器20对PU执行双向预测的实例中，PU具有两个运动向量。视频编码器20可基于PU的运动向量而确定两个参考图片中的两个参考位点。视频编码器20接着可以上文所描述的方式来确定与两个参考位点相关联的参考块。视频编码器20接着可确定用于PU的预测块。预测块中的每一样本可为参考块中的对应样本的加权平均值。样本的加权可基于参考图片与含有PU的图片相隔的时间距离。
视频编码器20可根据各种分割模式而将CU分割成一或多个PU。举例来说，如果使用帧内预测以产生用于CU的PU的预测性块，则可根据PART_2N×2N模式或PART_N×N模式而分割CU。在PART_2N×2N模式中，CU仅具有一个PU。在PART_N×N模式中，CU具有四个相等大小的PU，其具有矩形预测块。如果使用帧间预测以产生用于CU的PU的预测性块，则可根据PART_2N×2N模式、PART_N×N模式、PART_2N×N模式、PART_N×2N模式、PART_2N×nU模式、PART_2N×uD模式、PART_nL×2N模式或PART_nR×2N模式而分割CU。在PART_2N×N模式及PART_N×2N模式中，将CU分割成具有矩形预测块的两个相等大小的PU。在PART_2N×nU模式、PART_2N×uD模式、PART_nL×2N模式及PART_nR×2N模式中每一者中，将CU分割成具有矩形预测块的两个不等大小的PU。
在视频编码器20产生用于CU的一或多个PU的预测性亮度块、Cb块及Cr块之后，视频编码器20可产生用于CU的亮度残差块。CU的亮度残差块中的每一样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差。另外，视频编码器20可产生用于CU的Cb残差块。CU的Cb残差块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器20还可产生用于CU的Cr残差块。CU的Cr残差块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。
此外，视频编码器20可使用四元树状结构分割以将CU的亮度残差块、Cb残差块及Cr残差块分解成一或多个亮度变换块、Cb变换块及Cr变换块。变换块为相同变换被应用的矩形(例如，正方形或非正方形)样本块。CU的TU可包括一亮度样本变换块、两个对应色度样本变换块，及用以变换所述变换块样本的语法结构。因此，CU的每一TU可与亮度变换块、Cb变换块及Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的Cr残差块的子块。在单色图片或具有三个分离色彩平面的图片中，TU可包括单一变换块，及用以变换所述变换块的样本的语法结构。
视频编码器20可将一或多个变换应用于TU的亮度变换块以产生用于TU的亮度系数块。系数块可为二维变换系数阵列。变换系数可为纯量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生用于TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生用于TU的Cr系数块。
在产生系数块(例如，亮度系数块、Cb系数块，或Cr系数块)之后，视频编码器20可量化系数块。量化通常是指如下过程：其中量化变换系数以可能地缩减用以表示变换系数的数据的量，从而提供进一步压缩。视频编码器20可基于与CU相关联的量化参数(QP)值而量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值而调整应用于与CU相关联的系数块的量化的程度。在一些实例中，与CU相关联的QP值可整体上与当前图片或切片相关联。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(Context-Adaptive Binary Arithmetic Coding,CABAC)。
视频编码器20可输出包含形成视频数据(即，经译码图片及关联数据)的表示的位序列的位流。所述位流可包括网络抽象层(network abstraction layer,NAL)单元序列。NAL单元为含有NAL单元中的数据类型的指示的语法结构，及含有那一数据的呈原始字节序列有效负载(raw byte sequence payload,RBSP)的形式的字节，其在必要时穿插有模拟防止位(emulation prevention bit)。所述NAL单元中每一者包含NAL单元标头且囊封RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有囊封于NAL单元内的整数个字节的语法结构。在一些实例中，RBSP包含零位。
不同类型的NAL单元可囊封不同类型的RBSP。举例来说，不同类型的NAL单元可囊封用于视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、经译码切片、SEI等等的不同RBSP。囊封用于视频译码数据的RBSP(相对于用于参数集及SEI消息的RBSP)的NAL单元可被称作视频译码层(video coding layer,VCL)NAL单元。
在HEVC中，SPS可含有应用于经译码视频序列(CVS)的所有切片的信息。在HEVC中，CVS可开始于瞬时解码刷新(instantaneous decoding refresh,IDR)图片，或断链存取(broken link access,BLA)图片，或为位流中的第一图片的清洁随机存取(clean randomaccess,CRA)图片，包含不为IDR或BLA图片的所有后续图片。即，在HEVC中，CVS可包括可按解码次序由如下各者组成的存取单元序列：为位流中的第一存取单元的CRA存取单元、IDR存取单元或BLA存取单元，继之以零或零个以上非IDR及非BLA存取单元，包含所有后续存取单元直到但不包含任何后续IDR或BLA存取单元。
VPS为包括应用于零或零个以上全部CVS的语法元素的语法结构。SPS可包含识别在SPS为作用中时为作用中的VPS的语法元素。因此，VPS的语法元素相比于SPS的语法元素通常可更适用。PPS为包括应用于零或零个以上经译码图片的语法元素的语法结构。PPS可包含识别在PPS为作用中时为作用中的SPS的语法元素。切片的切片标头可包含指示在切片正被译码时为作用中的PPS的语法元素。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可剖析位流以从位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素而重构视频数据的图片。用以重构视频数据的过程可与由视频编码器20执行的过程大体上互逆。举例来说，视频解码器30可使用PU的运动向量以确定用于当前CU的PU的预测性块。另外，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重构与当前CU的TU相关联的变换块。视频解码器30可通过将用于当前CU的PU的预测性块的样本加到当前CU的TU的变换块的对应样本而重构当前CU的译码块。通过重构用于图片的每一CU的译码块，视频解码器30可重构所述图片。
在一些实例中，视频编码器20可使用合并模式或高级运动向量预测(AMVP)模式来传信PU的运动信息。换句话说，在HEVC中，存在用于运动参数的预测的两种模式，一种模式为合并/跳过模式，且另一模式为AMVP。运动预测可包括基于一或多个其它视频单元(例如，PU)的运动信息而确定视频单元的运动信息。PU的运动信息(即，运动参数)可包含PU的运动向量、PU的参考索引，及一或多个预测方向指示符。
当视频编码器20使用合并模式来传信当前PU的运动信息时，视频编码器20产生合并候选者列表。换句话说，视频编码器20可执行运动向量预测值列表建构过程。合并候选者列表包含指示空间上或时间上相邻于当前PU的PU的运动信息的合并候选者集合。即，在合并模式中，建构运动参数(例如，参考索引、运动向量等等)的候选者列表，其中候选者可来自空间及时间相邻块。
此外，在合并模式中，视频编码器20可从合并候选者列表选择合并候选者，且可使用通过选定合并候选者指示的运动信息作为当前PU的运动信息。视频编码器20可传信选定合并候选者在合并候选者列表中的位置。举例来说，视频编码器20可通过发射指示选定合并候选者在候选者列表内的位置的索引(即，合并候选者索引)而传信选定运动向量参数。
视频解码器30可从位流获得到候选者列表中的索引(即，合并候选者索引)。另外，视频解码器30可产生相同合并候选者列表，且可基于合并候选者索引而确定选定合并候选者。视频解码器30接着可使用选定合并候选者的运动信息以产生用于当前PU的预测性块。即，视频解码器30可至少部分地基于候选者列表索引而确定候选者列表中的选定候选者，其中选定候选者指定用于当前PU的运动信息(例如，运动向量)。以此方式，在解码器侧处，一旦解码索引，索引所指向的对应块的所有运动参数就可由当前PU继承。
跳过模式相似于合并模式。在跳过模式中，视频编码器20及视频解码器30以视频编码器20及视频解码器30在合并模式中使用合并候选者列表的相同方式来产生及使用合并候选者列表。然而，当视频编码器20使用跳过模式来传信当前PU的运动信息时，视频编码器20不传信用于当前PU的任何残差数据。因此，视频解码器30可在不使用残差数据的情况下基于由合并候选者列表中的选定候选者的运动信息指示的参考块而确定用于PU的预测块。因为跳过模式具有相同于合并模式的运动向量导出过程，所以此文件所描述的技术可应用于合并模式及跳过模式两者。
AMVP模式相似于合并模式之处在于：视频编码器20可产生候选者列表，且可从候选者列表选择候选者。然而，当视频编码器20使用AMVP模式来传信当前PU的RefPicListX(其中X为0或1)运动信息时，视频编码器20除了传信用于当前PU的RefPicListX运动向量预测值(MVP)旗标以外还可传信用于当前PU的RefPicListX运动向量差(MVD)及用于当前PU的RefPicListX参考索引。用于当前PU的RefPicListX MVP旗标可指示AMVP候选者列表中的选定AMVP候选者的位置。用于当前PU的RefPicListX MVD可指示当前PU的RefPicListX运动向量与选定AMVP候选者的运动向量之间的差。以此方式，视频编码器20可通过传信RefPicListX MVP旗标、RefPicListX参考索引值及RefPicListX MVD而传信当前PU的RefPicListX运动信息。换句话说，位流中表示用于当前PU的运动向量的数据可包含表示参考索引、到候选者列表的索引及MVD的数据。因此，可通过发射到候选者列表中的索引而传信选定运动向量。另外，还可传信参考索引值及运动向量差。
此外，当使用AMVP模式来传信当前PU的运动信息时，视频解码器30可从位流获得用于当前PU的MVD以及MVP旗标。视频解码器30可产生相同AMVP候选者列表，且可基于MVP旗标而确定选定AMVP候选者。视频解码器30可通过将MVD加到由选定AMVP候选者指示的运动向量而恢复当前PU的运动向量。即，视频解码器30可基于由选定AMVP候选者指示的运动向量以及MVD而确定当前PU的运动向量。视频解码器30接着可使用当前PU的所述或所述经恢复运动向量以产生用于当前PU的预测性块。
当视频译码器产生用于当前PU的AMVP候选者列表时，视频译码器可基于涵盖空间上相邻于当前PU的位点的PU(即，空间相邻PU)的运动信息而导出一或多个AMVP候选者，且基于时间上相邻于当前PU的PU(即，时间相邻PU)的运动信息而导出一或多个AMVP候选者。在AMVP中，可基于经译码参考索引而导出用于每一运动假设的运动向量预测值的候选者列表。在本发明中，PU(或其它类型的视频单元)可在与所述PU相关联的预测块(或与所述视频单元相关联的其它类型的样本块)包含一位点时据称为在“涵盖”所述位点。候选者列表包含与相同参考索引相关联的相邻块的运动向量，以及基于时间参考图片中的共置型块的相邻块的运动参数(即，运动信息)而导出的时间运动向量预测值。
为了进一步改进译码效率，视频译码器还可应用视角间运动预测及/或视角间残差预测。关于视角间运动预测，视频译码器可(例如)使用上文所描述的合并模式/跳过模式或AMVP模式而相对于与第二不同视角的块相关联的运动向量来译码与一个视角的块相关联的运动向量。同样地，如在视角间残差预测中，视频译码器可相对于第二不同视角的残差来译码一个视角的残差数据。在一些实例中，可通过应用高级残差预测(ARP)过程而实现视角间残差预测，如下文更详细地所描述。
在视角间残差预测中，视频编码器20及/或视频解码器30可确定用于预测当前块的预测性块。用于当前块的预测性块可基于与由当前块的运动向量指示的位点相关联的时间参考图片的样本。时间参考图片与相同于当前图片的视角相关联，但与不同于当前图片的时间实例相关联。在一些实例中，当块的样本是基于特定图片的样本时，所述样本可基于特定图片的实际或内插式样本。
视频编码器20及/或视频解码器30还基于由当前块的视差向量指示的位点处的视差参考图片的样本而确定视差参考块。视差参考图片与不同于当前图片的视角(即，参考视角)相关联，但与相同于当前图片的时间实例相关联。
视频编码器20及/或视频解码器30还确定用于当前块的时间视差参考块。时间参考块是基于与由当前块的运动向量以及视差向量(例如，由运动向量与视差向量的组合)指示的位点相关联的时间视差参考图片的样本。即，视频编码器20及/或视频解码器30可组合运动向量与视差向量，且将组合式向量应用于当前块以在时间视差参考图片中定位时间视差参考块。因此，时间视差参考图片与相同于视差参考图片的视角相关联，且与相同于时间参考图片的存取单元相关联。
视频编码器20及/或视频解码器30接着确定用于预测与当前块相关联的残差的残差预测值，例如，当前块与时间参考块之间的差。用于当前块的残差预测值的每一样本指示视差参考块的样本与时间视差参考块的对应样本之间的差。在一些实例中，视频编码器20及/或视频解码器30可将加权因数(例如，0、0.5、1或其类似者)应用于残差预测值以增加残差预测值的准确度。
视频编码器20可确定用于当前块的最终残差块。最终残差块包括指示当前块的样本、时间预测性块中的样本与残差预测值中的样本之间的差的样本。视频编码器20可在位流中包含表示最终残差块的数据。视频解码器可基于最终残差块(如(例如)从经编码位流获得)、残差预测值及时间预测性块而重构当前块。
虽然ARP可改进视角间(或层间)残差预测的译码效率，但进一步改进是可能的。举例来说，本发明的某些技术涉及ARP加权因数。如上文所提及，视频译码器可将加权因数应用于残差预测值。一般来说，总是在位流中传信加权因数，而不管在用于译码当前块的参考图片列表中是否存在时间参考图片。然而，当不存在时间参考图片时传信加权因数可不必要地增加复杂性且减低效率，这是因为：如果不存在时间参考图片，则不存在用于应用ARP的时间预测及关联残差。
根据本发明的方面，视频编码器20及/或视频解码器30可针对第一时间位点处的视频数据的第一块来确定用于译码第一块的参考图片列表(例如，RefPicList0及RefPicList1)在第二不同时间位点处是否含有至少一个参考图片。视频编码器20及/或视频解码器30还可相对于参考图片列表中的参考图片的视频数据的至少一个参考块来译码视频数据的第一块。然而，当参考图片列表在第二时间位点处不包含至少一个参考图片时，视频编码器20及/或视频解码器30可停用视角间残差预测过程。
视频编码器20可不在位流中传信加权因数(跳过加权因数的传信)，借此指示不使用视角间残差预测。在此类实例中，视频编码器20可在不预测残差的情况下译码残差。同样地，当停用视角间预测时，视频解码器30可自动地确定(即，推断)出加权因数等于零，且跳过加权因数的解码。以此方式，视频编码器20及/或视频解码器30可基于用于当前正被译码的块的参考图片列表中的参考图片而启用或停用视角间残差预测(例如，ARP)。
上文所描述的技术可应用于随机存取图片的上下文中。举例来说，根据本发明的方面，视频编码器20及/或视频解码器30可基于当前正被译码的视角分量是否为随机存取视角分量而启用或停用视角间残差预测。即，举例来说，当对于不具有关联时间参考图片的随机存取图片的所有块时，视频编码器20及/或视频解码器30可停用视角间残差预测。
本发明的技术还涉及视角间残差预测中的内插。举例来说，当执行视角间残差预测时，视频编码器20及视频解码器30两者可在译码期间使用额外运动补偿过程。因此，如果运动向量指示分数像素位点，则视频译码器执行两种分数像素内插过程，例如，一种内插过程用以定位时间参考块，且另一内插过程用以定位视差时间参考块。另外，视频编码器20及/或视频解码器30可在确定视差参考块时应用又一分数像素内插过程。在HEVC中，作为一实例，针对亮度分量来指定8抽头滤波器，而针对色度分量来指定4抽头滤波器。此类内插过程可增加与视角间残差预测相关联的计算复杂性。
根据本发明的方面，可特别相对于参考块的子像素内插而简化视角间残差预测的运动补偿过程。举例来说，视频编码器20及/或视频解码器30可运用第一类型的内插来内插由时间运动向量指示的时间参考块到视频数据的当前块的位点，其中当前块及时间参考块位于视频数据的第一层中。另外，视频编码器20及/或视频解码器30可运用第二类型的内插来内插由当前块的视差向量指示的视差参考块的位点，其中视差参考块位于第二不同层中，且其中第二类型的内插包括双线性滤波器。视频编码器20及/或视频解码器30还可确定通过将时间运动向量应用于视差参考块而指示的视差参考块的时间视差参考块，且基于时间参考块、视差参考块及时间视差参考块而译码当前块(例如，使用视角间残差预测来译码当前块的残差)。
根据一些实例，第一类型的内插还可包括例如双线性滤波器等低通滤波器。在另一实例中，可使用双线性滤波器以内插时间视差参考块的位点。因此，根据本发明的方面，视频编码器20及/或视频解码器30可使用例如双线性滤波器等低通滤波器以在视角间残差预测中内插一或多个参考块的位点。同样地，虽然对双线性滤波器进行参考，但在其它实例中，视频编码器20及/或视频解码器30可应用相比于应用由HEVC指定的较高抽头数滤波器(明确地说，WD9中指定的滤波器)在计算上更有效率的数个其它低通滤波器。根据本发明的方面，视频编码器20及/或视频解码器30可将上文所描述的低通滤波器应用于亮度分量、色度分量或亮度分量与色度分量两者的任何组合。
本发明的技术还涉及针对特定译码模式及/或分割模式来传信ARP加权因数。例如，一般来说，可针对包含PART_2N×2N、PART_2N×N、PART_N×2N或其类似者的所有分割模式(如(例如)关于图12所展示的实例更详细地所描述)及包含跳过、合并、高级运动向量预测(AMVP)的所有帧间译码模式来传信加权因数。针对所有分割模式及帧间模式来传信加权因数可不必要地增加复杂性且减低效率，这是因为在运用某些分割模式或帧间模式的情况下可能不会有效率地应用ARP。
根据本发明的方面，可基于当前正被译码的块的分割模式及/或译码模式而启用或停用视角间残差预测。举例来说，视频编码器20及/或视频解码器30可确定用于译码视频数据块的分割模式，其中分割模式指示用于预测性译码的视频数据块的划分。另外，视频编码器20及/或视频解码器30可基于分割模式而确定针对视角间残差预测过程是否译码加权因数，其中当不译码加权因数时，不应用视角间残差预测过程以预测用于当前块的残差。视频编码器20及/或视频解码器30接着可使用经确定分割模式来译码视频数据块。
根据本发明的方面，在一些实例中，可不传信用于具有不等于PART_2N×2N的分割模式的任何经帧间译码块的加权因数。在另一实例中，另外或替代地，可不传信用于具有不等于跳过模式及/或合并模式的译码模式的任何经帧间译码块的加权因数。
本发明的技术还涉及改进在位流中传信加权因数的方式。举例来说，一般来说，视频编码器20及/或视频解码器30可从三个固定加权因数(例如，0、0.5及1)的固定集合选择加权因数。然而，在一些实例中，归因于当前视角与其参考视角之间的质量差，三个静态加权因数可不提供足以实现足够预测效率的灵活性。当前视角与参考视角之间的质量差可为动态的，关于可缩放视频译码是特定的。相反地，三个加权因数可超过一些切片或图片的需要。即，一些切片或图片可无需从三个加权因数进行选择以实现复杂性与译码效率改进之间的最佳平衡。
根据本发明的方面，可实施对加权因数的更灵活途径。举例来说，可在序列层级处(例如，在例如序列参数集(SPS)等参数集中)变更可用加权因数的数目。在出于说明的目的的实例中，可在SPS中传信指示符以停用一或多个加权因数，例如，0.5及/或1。在另一实例中，可在VPS中传信此类指示符，且此类指示符可适用于所有非基础视角。在又一实例中，可针对每一非基础视角而在视频参数集(VPS)扩展中传信此类指示符。在另一实例中，可在图片参数集(PPS)、切片标头或视角参数集中提供此类指示符以停用一或多个加权因数。当已停用加权因数时，可使用较少位以表示那些剩余加权因数，借此提供位节省。
根据其它方面，可提供指示符以修改及/或替换一或多个加权因数。在一实例中，视频译码器可运用0.75加权因数来替换0.5加权因数。可在切片标头、SPS、图片参数集(PPS)或VPS中传信此指示符。
如上文所提及，通常通过将时间运动向量应用于视差参考块而定位用于确定残差预测值的时间视差参考块。即，视频译码器可组合时间运动向量与视差向量，且基于所述组合而(例如)相对于当前块来定位时间视差参考块。然而，在一些实例中，用于译码当前块的经解码图片缓冲器及/或参考图片列表可不含有通过将时间运动向量应用于视差参考块而指示的图片。
根据本发明的方面，视频译码器可基于经解码图片缓冲器及/或参考图片列表的图片而启用或停用ARP。举例来说，视频编码器20及/或视频解码器30可针对视频数据的第一层中的视频数据的第一块来确定用于预测第一块的时间运动向量及关联时间参考图片，其中时间参考图片具有图片次序计数值。另外，视频编码器20及/或视频解码器30可在包含含有第一块的图片的存取单元的图片中确定视差参考块。视频编码器20及/或视频解码器30可确定经解码图片缓冲器是否含有具有时间参考图片的图片次序计数值的时间视差参考图片，其中时间视差参考图片是基于时间运动向量及视差向量的组合而定位，且当经解码图片缓冲器不含有具有时间参考图片的图片次序计数值的时间视差参考图片时，视频编码器20及/或视频解码器30可修改视角间残差预测过程以用于预测第一块的残差数据。
在一些实例中，视频编码器20及/或视频解码器30可通过停用视角间残差预测过程以使得不使用视角间残差预测来译码当前块而修改视角间残差预测过程。在其它实例中，视频编码器20及/或视频解码器30可通过缩放时间运动向量以识别另一时间视差参考图片而修改视角间残差预测过程。举例来说，视频编码器20及/或视频解码器30可缩放时间运动向量，使得当应用于视差参考图片(例如，或与视差向量进行组合)时，经缩放运动向量识别包含于参考图片列表中且位于时间上最接近于视差参考图片的位点中的时间视差参考图片。上文所描述的技术可防止视频编码器20及/或视频解码器30试图在不包含于参考图片列表中的图片中定位视差参考块。
图2为说明可实施用于高级残差预测的本发明所描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以缩减或移除给定图片内的视频的空间冗余。帧间译码依赖于时间预测以缩减或移除邻近图片或视频序列的图片内的视频的时间冗余。帧内模式(I模式)可指若干以空间为基础的压缩模式中任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指若干以时间为基础的压缩模式中任一者。
如上文所提及，视频编码器20可经调适以执行多视角视频译码。举例来说，视频编码器20可经配置以根据MVC、MV-HEC、3D-HEVC及/或HSVC视频译码标准而编码多个可缩放视频数据层。因此，视频编码器20可经配置以译码MV-HEVC，使得时间实例中的每一视角可由例如视频解码器30等解码器处理。对于HEVC-3D，除了编码用于每一视角的纹理图(texturemap)(即，亮度值及色度值)以外，视频编码器20还可进一步编码用于每一视角的深度图(depth map)。
在任何状况下，如图2所展示，视频编码器20接收待编码视频数据。在图2的实例中，视频编码器20包含模式选择单元40、求和器50、变换处理单元52、量化单元54、熵编码单元56，及参考图片存储器64。模式选择单元40又包含运动估计单元42、运动补偿单元44、帧内预测单元46，及分割单元48。出于视频块重构起见，视频编码器20还包含反量化单元58、反变换处理单元60，及求和器62。还可包含解块滤波器(图2中未图示)以滤波块边界，以从经重构视频移除方块效应假影(blockiness artifact)。视需要，解块滤波器通常将滤波求和器62的输出。除了解块滤波器以外，还可使用额外环路滤波器(环路内或环路后)。出于简洁起见而未展示此类滤波器，但视需要，此类滤波器可滤波求和器50的输出(作为环路内滤波器)。
在编码过程期间，视频编码器20接收待译码图片或切片。可将所述图片或切片划分成多个视频块。运动估计单元42及运动补偿单元44执行经接收视频块相对于一或多个参考图片中的一或多个块的帧间预测性译码以提供时间压缩。替代地，帧内预测单元46可执行经接收视频块相对于相同于待译码块的图片或切片中的一或多个相邻块的帧内预测性译码以提供空间压缩。视频编码器20可执行多个译码遍次，例如，以选择用于每一视频数据块的适当译码模式。
此外，分割单元48可基于先前译码遍次中的先前分割方案的评估而将视频数据块分割成子块。举例来说，分割单元48可最初基于速率-失真分析(例如，速率-失真最佳化)而将图片或切片分割成若干LCU，且将所述LCU中每一者分割成若干子CU。模式选择单元40可进一步产生指示LCU成为子CU的分割的四元树状结构数据结构。四元树状结构的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可(例如)基于误差结果而选择所述译码模式中的一者(帧内或帧间)，且将所得的经帧内或经帧间译码块提供到求和器50以产生残差块数据及提供到求和器62以重构经编码块以用作参考图片。模式选择单元40还将例如运动向量、帧内模式指示符、分割信息及其它此类语法信息等语法元素提供到熵编码单元56。
运动估计单元42、层间预测单元43及运动补偿单元44可高度地集成，但出于概念目的而被分离地说明。由运动估计单元42执行的运动估计为产生运动向量的过程，运动向量估计用于视频块的运动。举例来说，运动向量可指示当前图片内的视频块的PU相对于参考图片内的预测性块(或其它经译码单元)的位移，所述预测性块与当前图片内正被译码的当前块(或其它经译码单元)有关。
预测性块为被发现在像素差方面接近地匹配于待译码块的块，像素差可由绝对差总和(sum of absolute difference,SAD)、平方差总和(sum of square difference,SSD)或其它差度量确定。在一些实例中，视频编码器20可计算用于存储于参考图片存储器64中的参考图片的次整数像素位置(sub-integer pixel position)的值，参考图片存储器64还可被称作参考图片缓冲器。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于完全像素位置及分数像素位置的运动搜索，且以分数像素精确度输出运动向量。
运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置而计算用于所述PU的运动向量。因此，一般来说，用于运动向量的数据可包含参考图片列表、到参考图片列表中的索引(ref_idx)、水平分量，及垂直分量。参考图片可选自第一参考图片列表(列表0)、第二参考图片列表(列表1)或组合式参考图片列表(列表c)，所述列表中每一者识别存储于参考图片存储器64中的一或多个参考图片。
运动估计单元42可产生识别参考图片的预测性块的运动向量，且将所述运动向量发送到熵编码单元56及运动补偿单元44。即，运动估计单元42可产生及发送识别如下各者的运动向量数据以在经识别图片内定位预测性块：含有预测性块的参考图片列表、到识别预测性块的图片的参考图片列表中的索引，以及水平分量及垂直分量。
在一些实例中，层间预测单元43可预测运动向量以进一步缩减传达运动向量所需要的数据的量，而非发送用于当前PU的实际运动向量。在此状况下，层间预测单元43可产生相对于已知(或可知)运动向量的运动向量差(motion vector difference,MVD)，而非编码及传达运动向量自身。可与MVD一起使用以定义当前运动向量的已知运动向量可由所谓运动向量预测值(MVP)定义。一般来说，为了成为有效MVP，正用于预测的运动向量必须指向相同于当前正被译码的运动向量的参考图片。
层间预测单元43可在多视角译码中识别运动向量预测值，例如，用于产生MVD或合并。举例来说，层间预测单元43可从不同于当前块的视角分量中的块识别视差运动向量，以预测用于当前块的运动向量。在其它实例中，层间预测单元43可从不同于当前块的视角分量中的块识别时间运动向量，以预测用于当前块的运动向量。
根据本发明的方面，层间预测单元43可执行层间残差预测。举例来说，层间预测单元43可相对于第二不同层的残差数据来译码一个层的残差数据。在一些实例中，层间预测单元43可首先确定用于预测当前块的预测性块。用于当前块的预测性块可基于与由当前块的运动向量指示的位点相关联的时间参考图片的样本。时间参考图片与相同于当前图片的层相关联，但与不同于当前图片的时间实例相关联。
层间预测单元43还基于由当前块的视差向量指示的位点处的视差参考图片的样本而确定视差参考块。视差参考图片与不同于当前图片的层(即，参考层)相关联，但与相同于当前图片的时间实例相关联。层间预测单元43还确定用于当前块的时间视差参考块。时间参考块是基于与由当前块的运动向量以及视差向量(例如，由运动向量与视差向量的组合)指示的位点相关联的时间视差参考图片的样本。因此，时间视差参考图片与相同于视差参考图片的视角相关联，且与相同于时间参考图片的存取单元相关联。
层间预测单元43接着确定用于预测与当前块相关联的残差的残差预测值，例如，当前块与时间参考块之间的差。用于当前块的残差预测值的每一样本指示视差参考块的样本与时间视差参考块的对应样本之间的差。在一些实例中，层间预测单元43可将加权因数(例如，0、0.5、1或其类似者)应用于残差预测值以增加残差预测值的准确度。
层间预测单元43可确定用于当前块的最终残差块。最终残差块包括指示当前块的样本、时间预测性块中的样本与残差预测值中的样本之间的差的样本。视频编码器20可在位流中包含表示最终残差块的数据。
根据本发明的方面，层间预测单元43可基于用于当前正被译码的块的参考图片列表中的参考图片而启用或停用视角间残差预测(包含相对于第二不同层的残差来译码一个层的残差)。在一实例中，层间预测单元43可基于用于当前正被译码的块的参考图片列表(例如，RefPicList0及/或RefPicList1)是否包含任何时间参考图片而启用或停用视角间残差预测。根据本发明的方面，如果用于经帧间预测块的参考图片列表仅包含视角间参考图片，则层间预测单元43可停用层间预测单元43。在一些实例中，层间预测单元43可针对随机存取视角分量的每一块来停用层间预测单元43。
在另一实例中，当视差参考块的参考图片列表不包含具有相同于时间参考图片的POC的在相同于视差参考图片的视角中的参考图片时，层间预测单元43可修改视角间残差预测。是否修改视角间残差预测的确定可基于参考图片列表(例如，RefPicList0及/或RefPicList1)中的一者或两者。即，在给出当前参考图片列表索引X(其中X为0或1)的情况下，在一个实例中，如果具有等于视差参考块的X的列表索引的参考图片列表不包含相同于视差参考图片的视角中且具有相同于当前块的时间参考图片的POC的参考图片，则层间预测单元43可修改ARP过程。在另一实例中，如果视差参考块的参考图片列表中任一者皆不(例如，列表0及列表1皆不)包含相同于视差参考图片的视角中且具有相同于当前块的时间参考图片的POC的参考图片，则层间预测单元43可修改ARP过程。
在一些实例中，层间预测单元43可通过停用视角间残差预测而修改视角间残差预测。在其它实例中，层间预测单元43可通过缩放时间运动向量以识别另一时间视差参考图片而修改视角间残差预测过程。举例来说，层间预测单元43可缩放时间运动向量，使得当应用于视差参考图片时，运动向量与视差向量的经缩放组合识别包含于参考图片列表中且位于时间上最接近于视差参考图片的位点中的时间视差参考图片。
虽然关于参考图片列表进行描述，但另外或替代地，如果参考图片存储器64(即，经解码图片缓冲器)不含有具有相同于时间参考图片的POC的在相同于视差参考图片的视角中的图片，则层间预测单元43可修改及/或停用视角间残差预测。
在又一实例中，根据本发明的方面，层间预测单元43可简化参考块被定位的方式，特别是当内插子像素位置时。举例来说，层间预测单元43可使用例如双线性滤波器等低通滤波器以内插视差参考块的位点。另外或替代地，层间预测单元43可使用例如双线性滤波器等低通滤波器以内插时间视差参考块的位点。在又一实例中，根据本发明的方面，运动估计单元42及/或运动补偿单元44可使用例如双线性滤波器等低通滤波器以内插时间参考块的位点。
在又一实例中，根据本发明的方面，对于特定译码模式及/或分割模式，层间预测单元43可仅应用视角间残差预测，且因此可仅传信加权因数。举例来说，层间预测单元43可仅针对具有不等于PART_2N×2N的分割模式的任何经帧间译码块来传信加权因数。在另一实例中，另外或替代地，层间预测单元43可不针对具有不等于跳过模式及/或合并模式的译码模式的任何经帧间译码块来传信加权因数。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量及/或来自层间预测单元43的信息而提取或产生预测性块。在一些实例中，运动补偿单元44可应用视角间预测。同样地，在一些实例中，运动估计单元42、层间预测单元43及运动补偿单元44可功能上集成。在接收用于当前视频块的PU的运动向量后，运动补偿单元44即可在所述参考图片列表中的一者中定位所述运动向量所指向的预测性块。
求和器50通过从正被译码的当前视频块的像素值减去预测性块的像素值而形成像素差值来形成残差视频块，如下文所论述。一般来说，运动估计单元42执行相对于亮度分量的运动估计，且运动补偿单元44针对色度分量及亮度分量两者来使用基于亮度分量而计算的运动向量。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30用来解码视频切片的视频块。
作为对由运动估计单元42及运动补偿单元44执行的帧间预测(如上文所描述)的替代例，帧内预测单元46可帧内预测当前块。明确地说，帧内预测单元46可确定帧内预测模式以进行使用以编码当前块。在一些实例中，帧内预测单元46可(例如)在分离编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中，模式选择单元40)可从测试模式选择适当帧内预测模式以进行使用。
举例来说，帧内预测单元46可使用用于各种测试帧内预测模式的速率-失真分析而计算速率-失真值，且在所述测试模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析通常确定经编码块与经编码以产生经编码块的原始未经编码块之间的失真(或误差)的量，以及用以产生经编码块的位率(即，位的数目)。帧内预测单元46可从用于各种经编码块的失真及速率计算比率以确定哪一帧内预测模式展现用于所述块的最佳速率-失真值。
在选择用于块的帧内预测模式之后，帧内预测单元46可将指示用于块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20可在可包含多个帧内预测模式索引表及多个经修改帧内预测模式索引表(也被称作码字映射表)的经发射位流配置数据中包含编码用于各种块的上下文的定义，及将用于所述上下文中每一者的最可能帧内预测模式、帧内预测模式索引表及经修改帧内预测模式索引表的指示。
视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据而形成残差视频块。求和器50表示执行此减去运算的组件。变换处理单元52将例如离散余弦变换(discrete cosine transform,DCT)或概念上相似的变换等变换应用于残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可执行概念上相似于DCT的其它变换。还可使用小波变换、整数变换、次频带变换，或其它类型的变换。在任何状况下，变换处理单元52将所述变换应用于残差块，从而产生残差变换系数块。所述变换可将残差信息从像素值域转换到例如频域等变换域。
变换处理单元52可将所得的变换系数发送到量化单元54。量化单元54量化变换系数以进一步缩减位率。量化过程可缩减与所述系数中的一些或全部相关联的位深度。可通过调整量化参数而修改量化的程度。在一些实例中，量化单元54接着可执行包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、以语法为基础的上下文自适应二进制算术译码(SBAC)、机率区间分割熵(PIPE)译码，或另一熵译码技术。
反量化单元58及反变换处理单元60分别应用反量化及反变换，以在像素域中重构残差块，例如，以供稍后用作参考块。运动补偿单元44可通过将残差块加到参考图片存储器64的图片中的一者的预测性块而计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残差块以计算次整数像素值以供运动估计中使用。
求和器62将经重构残差块加到由运动补偿单元44产生的运动补偿式预测块，以产生经重构视频块以供存储于参考图片存储器64中。经重构视频块可由运动估计单元42及运动补偿单元44用作参考块以帧间译码后续图片中的块。
图3为说明可实施用于在多视角译码中预测运动向量的本发明所描述的技术的实例视频解码器30的框图。在图3的实例中，视频解码器30包含熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90，及参考图片存储器92。预测处理单元81包含运动补偿单元82、层间预测单元83，及帧内预测单元84。
如上文所提及，视频解码器30可经调适以执行多视角视频译码。在一些实例中，视频解码器30可经配置以解码多视角HEVC。对于HEVC-3D，除了解码用于每一视角的纹理图(即，亮度值及色度值)以外，视频解码器30还可进一步解码用于每一视角的深度图。
在任何状况下，在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及关联语法元素的经编码视频位流。视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转递到预测处理单元81。视频解码器30可在视频切片层级及/或视频块层级处接收语法元素。
举例来说，作为背景，视频解码器30可接收已出于经由网络进行发射起见而压缩成所谓“网络抽象层单元”或NAL单元的经压缩视频数据。每一NAL单元可包含识别存储到所述NAL单元的数据类型的标头。存在通常存储到NAL单元的两种类型的数据。存储到NAL单元的第一类型的数据为视频译码层(VCL)数据，其包含经压缩视频数据。存储到NAL单元的第二类型的数据被称作非VCL数据，其包含例如定义为大量NAL单元所共有的标头数据的参数集及补充增强信息(supplemental enhancement information,SEI)等额外信息。
举例来说，参数集可含有序列层级标头信息(例如，在序列参数集(SPS)中)及不频繁改变图片层级标头信息(例如，在图片参数集(PPS)中)。无需针对每一序列或图片来重复参数集中含有的不频繁改变信息，借此改进译码效率。另外，参数集的使用实现标头信息的带外发射，借此避免针对用于误差恢复(error resilience)的冗余发射的需要。
当视频切片被译码为经帧内译码(I)切片时，预测处理单元81的帧内预测单元84可基于传信帧内预测模式及来自当前图片的经先前解码块的数据而产生用于当前视频切片的视频块的预测数据。当图片被译码为经帧间译码(即，B、P或GPB)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量及其它语法元素而产生用于当前视频切片的视频块的预测性块。可从所述参考图片列表中的一者内的所述参考图片中的一者产生预测性块。视频解码器30可基于存储于参考图片存储器92中的参考图片而使用默认建构技术来建构参考图片列表：列表0及列表1。
运动补偿单元82通过剖析运动向量及其它语法元素而确定用于当前视频切片的视频块的预测信息，且使用所述预测信息以产生用于正被解码的当前视频块的预测性块。举例来说，运动补偿单元82使用所述经接收语法元素中的一些以确定用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于所述切片的参考图片列表中的一或多者的建构信息、用于所述切片的每一经帧间编码视频块的运动向量、用于所述切片的每一经帧间译码视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。在一些实例中，运动补偿单元82可从层间预测单元83接收某些运动信息。
层间预测单元83可接收指示在何处检索用于当前块的运动信息的预测数据。举例来说，层间预测单元83可接收例如MVP索引(mvp_flag)、MVD、合并旗标(merge_flag)及/或合并索引(merge_idx)等运动向量预测信息，且使用此类信息以识别用以预测当前块的运动信息。即，如上文关于视频编码器20所提及，根据本发明的方面，层间预测单元83可接收MVP索引(mvp_flag)及MVD，且使用此类信息以确定用以预测当前块的运动向量。层间预测单元83可产生MVP或合并候选者列表。MVP及/或合并候选者可包含位于不同于当前正被解码的视频块的视角中的一或多个视频块。
根据本发明的方面，层间预测单元83可执行层间残差预测。举例来说，层间预测单元83可相对于第二不同层的残差数据来译码一个层的残差数据。在一些实例中，层间预测单元83可首先确定用于预测当前块的预测性块。用于当前块的预测性块可基于与由当前块的运动向量指示的位点相关联的时间参考图片的样本。时间参考图片与相同于当前图片的层相关联，但与不同于当前图片的时间实例相关联。
层间预测单元83还基于由当前块的视差向量指示的位点处的视差参考图片的样本而确定视差参考块。视差参考图片与不同于当前图片的层(即，参考层)相关联，但与相同于当前图片的时间实例相关联。层间预测单元83还确定用于当前块的时间视差参考块。时间参考块是基于与由当前块的运动向量以及视差向量(例如，由运动向量与视差向量的组合)指示的位点相关联的时间视差参考图片的样本。因此，时间视差参考图片与相同于视差参考图片的视角相关联，且与相同于时间参考图片的存取单元相关联。
层间预测单元83接着确定用于预测与当前块相关联的残差的残差预测值，例如，当前块与时间参考块之间的差。用于当前块的残差预测值的每一样本指示视差参考块的样本与时间视差参考块的对应样本之间的差。在一些实例中，层间预测单元83可将加权因数(例如，0、0.5、1或其类似者)应用于残差预测值以增加残差预测值的准确度。
层间预测单元83可从经编码位流获得指示用于当前块的最终残差块的数据。层间预测单元83可通过组合最终残差块、时间预测性块及残差预测值中的样本而重构当前块。
根据本发明的方面，层间预测单元83可基于用于当前正被译码的块的参考图片列表中的参考图片而启用或停用视角间残差预测(包含相对于第二不同层的残差来译码一个层的残差)。在一实例中，层间预测单元83可基于用于当前正被译码的块的参考图片列表是否包含任何时间参考图片而启用或停用视角间残差预测。根据本发明的方面，如果用于经帧间预测块的参考图片列表仅包含视角间参考图片，则层间预测单元83可停用层间预测单元83。在一些实例中，层间预测单元83可针对随机存取视角分量的每一块来停用层间预测单元83。
在另一实例中，当视差参考块的参考图片列表不包含具有相同于时间参考图片的POC的在相同于视差参考图片的视角中的参考图片时，层间预测单元83可修改视角间残差预测。是否修改视角间残差预测的确定可基于参考图片列表(例如，RefPicList0及/或RefPicList1)中的一者或两者。即，在给出当前参考图片列表索引X(其中X为0或1)的情况下，在一个实例中，如果具有等于视差参考块的X的列表索引的参考图片列表不包含相同于视差参考图片的视角中且具有相同于当前块的时间参考图片的POC的参考图片，则层间预测单元83可修改ARP过程。在另一实例中，如果视差参考块的参考图片列表中任一者皆不(例如，列表0及列表1皆不)包含相同于视差参考图片的视角中且具有相同于当前块的时间参考图片的POC的参考图片，则层间预测单元83可修改ARP过程。
在一些实例中，层间预测单元83可通过停用视角间残差预测而修改视角间残差预测。在其它实例中，层间预测单元83可通过缩放时间运动向量以识别另一时间视差参考图片而修改视角间残差预测过程。举例来说，层间预测单元83可缩放时间运动向量，使得当应用于视差参考图片时，运动向量与视差向量的经缩放组合识别包含于参考图片列表中且位于时间上最接近于视差参考图片的位点中的时间视差参考图片。
在又一实例中，根据本发明的方面，层间预测单元83可简化参考块被定位的方式，特别是当内插子像素位置时。举例来说，层间预测单元83可使用例如双线性滤波器等低通滤波器以内插视差参考块的位点。另外或替代地，层间预测单元83可使用例如双线性滤波器等低通滤波器以内插时间视差参考块的位点。在又一实例中，根据本发明的方面，运动补偿单元82可使用例如双线性滤波器等低通滤波器以内插时间参考块的位点。
在又一实例中，根据本发明的方面，对于特定译码模式及/或分割模式，层间预测单元83可仅应用视角间残差预测，且因此可仅传信加权因数。举例来说，层间预测单元83可仅针对具有不等于PART_2N×2N的分割模式的任何经帧间译码块来传信加权因数。在另一实例中，另外或替代地，层间预测单元83可不针对具有不等于跳过模式及/或合并模式的译码模式的任何经帧间译码块来传信加权因数。
反量化单元86反量化(即，解量化)位流中提供且由熵解码单元80解码的经量化变换系数。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块而计算的量化参数，以确定量化的程度且同样地确定应被应用的反量化的程度。
反变换处理单元88将反转换(例如，反DCT、反整数变换或概念上相似反变换过程)应用于变换系数，以便在像素域中产生残差块。根据本发明的方面，反变换处理单元88可确定将变换应用于残差数据的方式。即，举例来说，反变换处理单元88可确定表示将变换(例如，DCT、整数变换、小波变换或一或多个其它变换)应用于与经接收视频数据块相关联的残差亮度样本及残差色度样本的方式的RQT。
在运动补偿单元82基于运动向量及其它语法元素而产生用于当前视频块的预测性块之后，视频解码器30通过求和来自反变换处理单元88的残差块与由运动补偿单元82产生的对应预测性块而形成经解码视频块。求和器90表示执行此求和运算的组件。视需要，还可应用解块滤波器以滤波经解码块，以便移除方块效应假影。还可使用其它环路滤波器(在译码环路中抑或在译码环路之后)以使像素转变平滑，或以其它方式改进视频质量。接着，将给定图片中的经解码视频块存储于参考图片存储器92中，参考图片存储器92存储用于后续运动补偿的参考图片。参考图片存储器92还存储经解码视频以供稍后呈现于显示装置(例如，图1的显示装置32)上。
图4为说明实例多视角解码次序的概念图。多视角解码次序可为位流次序。在图4的实例中，每一正方形对应于一视角分量。正方形的列对应于存取单元。每一存取单元可被定义为含有时间实例的所有视角的经译码图片。正方形的行对应于视角。在图4的实例中，存取单元被标注为T0……T11，且视角被标注为S0……S7。因为一存取单元的每一视角分量是在下一存取单元的任何视角分量之前被解码，所以图4的解码次序可被称作时间优先译码(time-first coding)。存取单元的解码次序可不相同于输出或显示次序。
多视角译码可支持视角间预测。视角间预测相似于用于H.264/AVC、HEVC或其它视频译码规格中的帧间预测，且可使用相同语法元素。然而，当视频译码器对当前视频单元(例如，宏块或PU)执行视角间预测时，视频译码器可使用位于相同于当前视频单元的存取单元中但位于不同视角中的图片作为参考图片。与此对比，常规帧间预测仅使用不同存取单元中的图片作为参考图片。
图5为说明可与MVC、多视角HEVC及3D-HEVC(多视角加深度)一起使用的实例MVC预测模式的概念图。下文对MVC的参考大体上应用于MVC，且不限于H.264/MVC。
在图5的实例中，说明八个视角(S0到S7)，且针对每一视角来说明十二个时间位点(T0到T11)。一般来说，图5中的每一行对应于一视角，而每一列指示一时间位点。可使用视角识别符(“view_id”)来识别所述视角中每一者，视角识别符可用以指示相对于其它视角的相对摄影机位点。在图5所展示的实例中，视角ID被指示为“S0”到“S7”，但还可使用数值视角ID。另外，可使用图片次序计数(POC)值来识别所述时间位点中每一者，POC值指示图片的显示次序。在图5所展示的实例中，POC值被指示为“T0”到“T11”。
尽管多视角经译码位流可具有可由特定解码器解码的所谓基础视角，且可支持立体视角对，但一些多视角位流可支持两个以上视角作为3D视频输入。因此，具有特定解码器的客户端的转译器可预期具有多个视角的3D视频内容。
使用包含字母的阴影块来指示图5中的图片，所述字母指明对应图片被帧内译码(即，I帧)，抑或在一个方向上被帧间译码(即，作为P帧)或在多个方向上被帧间译码(即，作为B帧)。一般来说，由箭头指示预测，其中被指向图片(pointed-to picture)使用指出对象(point-from object)以用于预测参考。举例来说，从视角S0在时间位点T0处的I帧预测视角S2在时间位点T0处的P帧。
如同单视角视频编码，可关于不同时间位点处的图片而预测性地编码多视角视频序列的图片。举例来说，视角S0在时间位点T1处的b帧具有从视角S0在时间位点T0处的I帧指向所述b帧的箭头，从而指示出从所述I帧预测所述b帧。然而，另外，在多视角视频编码的上下文中，图片可被视角间预测。即，视角分量可使用其它视角中的视角分量以用于参考。举例来说，可实现视角间预测，就好像另一视角中的视角分量为帧间预测参考一样。可在序列参数集(SPS)MVC扩展中传信潜在视角间参考，且可通过参考图片列表建构过程来修改潜在视角间参考，此情形实现帧间预测或视角间预测参考的灵活排序。
图5提供视角间预测的各种实例。在图5的实例中，视角S1的图片被说明为从视角S1在不同时间位点处的图片被预测，以及从视角S0及S2在相同时间位点处的图片被视角间预测。举例来说，从视角S1在时间位点T0及T2处的B帧中每一者以及视角S0及S2在时间位点T1处的b帧预测视角S1在时间位点T1处的b帧。
在图5的实例中，大写字母“B”及小写字母“b”意欲指示图片之间的不同阶层式关系，而非不同编码方法。一般来说，大写字母“B”帧相比于小写字母“b”帧在预测阶层中相对较高。图5还使用不同电平的阴影来说明预测阶层的变化，其中较大量的阴影(即，相对较深色)图片相比于具有较少阴影(即，相对较浅色)的图片在预测阶层中较高。举例来说，以完全阴影来说明图5中的所有I帧，而P帧具有稍微较浅色的阴影，且B帧(及小写字母b帧)相对于彼此具有各种电平的阴影，但相比于P帧及I帧的阴影总是为较浅色。
一般来说，预测阶层与视角次序索引相关，此在于：应在解码在预测阶层中相对较低的图片之前解码在所述阶层中相对较高的图片，使得在所述阶层中相对较高的那些图片可在所述阶层中相对较低的图片的解码期间用作参考图片。视角次序索引为指示存取单元中的视角分量的解码次序的索引。可在例如SPS等参数集中隐含视角次序索引。
以此方式，用作参考图片的图片可在参考所述参考图片而编码的图片的解码之前被解码。视角次序索引为指示存取单元中的视角分量的解码次序的索引。对于每一视角次序索引i，传信对应view_id。视角分量的解码遵循视角次序索引的升序。如果呈现所有视角，则视角次序索引集合包括从0到比视角的总数小1的连续排序集合。
可抽取整个位流的子集以形成合格子位流。存在特定应用基于(例如)如下各者而可需要的许多可能子位流：由服务器提供的服务；一或多个客户端的解码器的容量、支持及能力；及/或一或多个客户端的偏好。举例来说，客户端可能需要仅三个视角，且可能存在两种情境。在一个实例中，一个客户端可需要平滑检视体验且可能偏好具有view_id值S0、S1及S2的视角，而另一客户端可需要视角可缩放性且偏好具有view_id值S0、S2及S4的视角。应注意，这些子位流两者可被解码为独立位流，且可被同时地支持。
关于视角间预测，在同一存取单元(即，具有相同时间实例)中的图片当中允许视角间预测。当译码所述非基础视角中的一者中的图片时，如果一图片位于不同视角中但具有相同时间实例，则可将所述图片添加到参考图片列表中。可将视角间预测参考图片放于参考图片列表的任何位置中，正如任何帧间预测参考图片一样。
因此，在多视角视频译码的上下文中，存在两种运动向量。一种运动向量为指向时间参考图片的法向运动向量。对应于法向时间运动向量的帧间预测类型可被称作运动补偿式预测(motion-compensated prediction,MCP)。当视角间预测参考图片用于运动补偿时，对应运动向量被称作“视差运动向量”。换句话说，视差运动向量指向不同视角中的图片(即，视差参考图片或视角间参考图片)。对应于视差运动向量的帧间预测类型可被称作“视差补偿式预测(disparity-compensated prediction)”或“DCP”。
如上文所提及，HEVC的多视角扩展(即，MV-HEVC)及HEVC的3DV扩展(即，3D-HEVC)正在开发中。MV-HEVC及3D-HEVC可使用视角间运动预测及视角间残差预测来改进译码效率。在视角间运动预测中，视频译码器可基于不同于当前PU的视角中的PU的运动信息而确定(即，预测)当前PU的运动信息。在视角间残差预测中，视频译码器可使用图5所展示的预测结构基于不同于当前CU的视角中的残差数据而确定当前CU的残差块。
为了实现视角间运动预测及视角间残差预测，视频译码器可确定用于块(例如，PU、CU等等)的视差向量。一般来说，视差向量用作两个视角之间的位移的估计量。例如视频编码器20或视频解码器30等视频译码器可使用用于块的视差向量以在另一视角中定位参考块(其可在本文中被称作视差参考块)以用于视角间运动或残差预测，或视频译码器可将视差向量转换到视差运动向量以用于视角间运动预测。
图6为说明可缩放视频译码的概念图。虽然关于H.264/AVC及SVC而描述图6，但应理解，可使用其它多层视频译码方案(包含HSVC)来译码相似层。在另一实例中，可使用多标准编码解码器来译码相似层。举例来说，可使用H.264/AVC来译码基础层，而可使用对HEVC的可缩放仅HLS扩展来译码增强层。因此，下文对SVC的参考可大体上应用于可缩放视频译码，且不限于H.264/SVC。
在SVC中，可在包含(例如)空间、时间及质量(被表示为位率或信杂比(SNR))的三个维度中实现可缩放性。一般来说，通常可通过加到在任何维度中的表示而实现优选表示。举例来说，在图6的实例中，以具有7.5Hz的帧率及64千字节/秒(KBPS)的位率的四分之一共同中间格式(Quarter Common Intermediate Format,QCIF)来译码层0。另外，以具有15Hz的帧率及64KBPS的位率的QCIF来译码层1，以具有15Hz的帧率及256KBPS的位率的CIF来译码层2，以具有7.5Hz的帧率及512KBPS的位率的QCIF来译码层3，且以具有30Hz的帧率及百万字节/秒(MBPS)的位率的4CIF来译码层4。应理解，图5所展示的层的特定数目、内容及布置仅出于实例的目的而提供。
在任何状况下，一旦视频编码器(例如，视频编码器20)已以此类可缩放方式来编码内容，视频解码器(例如，视频解码器30)就可使用抽取器工具以根据应用要求而调适实际经递送内容，应用要求可取决于(例如)客户端或发射信道。
在SVC中，具有最低空间及质量层的图片通常与H.264/AVC兼容。在图6的实例中，具有最低空间及质量层的图片(层0及层1中的图片，具有QCIF分辨率)可与H.264/AVC兼容。在所述图片当中，最低时间层级的那些图片形成时间基础层(层0)。可运用较高时间层级(层1)的图片来增强此时间基础层(层0)。
除了H.264/AVC兼容层以外，还可添加若干空间及/或质量增强层以提供空间及/或质量可缩放性。每一空间或质量增强层自身可时间上可缩放，其具有相同于H.264/AVC兼容层的时间可缩放性结构。
虽然可关于视频数据“视角”而描述视角间残差预测，但应理解，相似技术可应用于多个数据层，例如，图6所展示的可缩放结构的层。举例来说，视频译码器(例如，视频编码器20及/或视频解码器30)可使用另一层来预测一个层的残差。在一些实例中，可运用HEVC的可缩放扩展(例如，HSVC)来实施所述技术。
明确地说，如下文更详细地所描述，视频编码器20可仅针对某些译码分割模式及/或针对某些译码模式来传信用于CU的加权因数。当不传信加权因数时，视频解码器30可跳过加权因数的解码且自动地确定(即，推断)出加权因数为零。
在一个实例中，可不传信用于具有不等于PART_2N×2N的分割模式的经帧间译码CU的加权因数。在一替代实例中，可不传信用于具有不等于PART_2N×2N、PART_2N×N及PART_N×2N的分割模式的经帧间译码CU的加权因数。在又一实例中，另外或替代地，可不传信用于具有不等于跳过及/或合并的译码模式的任何经帧间译码CU的加权因数。
根据其它方面，视频译码器可修改加权因数。举例来说，可在序列层级中传信指示符以停用一或多个加权因数(例如，0.5及/或1)。在一些实例中，可针对每一非基础视角而在VPS扩展中传信指示符。在其它实例中，可在VPS中传信指示符，且指示符可适用于所有非基础视角。在又其它实例中，可在图片参数集(PPS)、切片标头或视角参数集中传信指示符。
在另一实例中，可传信指示符以修改所述加权因数中的一或多者。举例来说，指示符可使视频解码器30运用新加权因数(例如，0.75)来替换初始加权因数(例如，0.5)。可在PPS、切片标头或VPS中传信此修改指示符。
根据又其它方面，视频译码器可基于用于译码图6所展示的可缩放结构中的图片的经解码图片缓冲器及/或参考图片列表的图片而启用或停用ARP。举例来说，当用于译码当前PU的经解码图片缓冲器不包含具有相同于时间参考图片的POC的在相同于视差参考图片的视角中的图片时，视频译码器可针对所述PU来修改ARP过程。
在另一实例中，另外/替代地，当视差参考块的参考图片列表中的一者或两者不包含具有相同于时间参考图片的POC的在相同于视差参考图片的视角中的参考图片时，视频译码器可针对PU来修改ARP过程。
在一些实例中，视频译码器可通过停用ARP过程以使得不使用ARP来译码当前PU而修改ARP过程。在其它实例中，视频译码器可通过缩放时间运动向量以识别另一可用时间视差参考图片而修改ARP过程。
图7为说明相对于当前PU 100的实例空间相邻PU的概念图，其可用以确定用于当前PU 100的视差向量。在图7的实例中，空间相邻PU可为涵盖被指示为A0、A1、B0、B1及B2的位点的PU。
如上文所提及，视频译码器(例如，视频编码器20或视频解码器30)可执行视角间运动预测及/或视角间残差预测。为了启用此两个译码工具，第一步骤是导出视差向量。
在一些实例中，视频译码器可使用以相邻块为基础的视差向量(NeighboringBlocks Based Disparity Vector,NBDV)方法以导出用于块的视差向量。举例来说，为了导出用于PU的视差向量，可在用于3D-HEVC的测试模型(即，3D-HTM)中使用被称为NBDV的过程。NBDV过程使用来自空间及时间相邻块(例如，相邻PU A0、A1、B0、B1及B2)的视差运动向量以导出用于当前块的视差向量。因为相邻块(例如，空间上或时间上相邻于当前块的块)很可能在视频译码中共享几乎相同运动及视差信息，所以当前块可使用相邻块中的运动向量信息作为当前块的视差向量的预测值。
当视频译码器执行NBDV过程时，视频译码器可按固定检查次序来检查空间相邻块及时间相邻块的运动向量。当视频译码器检查空间相邻块或时间相邻块的运动向量时，视频译码器可确定空间相邻块或时间相邻块的运动向量是否为视差运动向量。图片的块的视差运动向量为指向图片的视差参考图片内的位点的运动向量。
给定图片的视差参考图片可为与相同于给定图片的存取单元相关联但与不同于给定图片的视角相关联的图片。当视频译码器识别视差运动向量时，视频译码器可终止检查过程。视频译码器可将经传回视差运动向量转换到视差向量，且可使用视差向量以用于视角间运动预测及视角间残差预测。举例来说，视频译码器可将用于当前块的视差向量的水平分量设定为等于视差运动向量的水平分量，且可将视差向量的垂直分量设定到0。
如果视频译码器不能够通过执行NBDV过程而导出用于当前块的视差向量(即，如果未找到视差向量)，则视频译码器可使用零视差向量作为用于当前块的视差向量。零视差向量为具有等于0的水平分量及垂直分量两者的视差向量。因此，即使当NBDV过程传回不可用结果时，需要视差向量的视频译码器的其它译码过程还可针对当前块来使用零视差向量。
在一些实例中，如果视频译码器不能够通过执行NBDV过程而导出用于当前块的视差向量，则视频译码器可针对当前块来停用视角间残差预测。然而，不管视频译码器是否能够通过执行NBDV过程而导出用于当前块的视差向量，视频译码器皆可针对当前PU来使用视角间运动预测。即，如果在检查所有预定义相邻块之后未找到视差向量，则可使用零视差向量以用于视角间运动预测，而可针对对应CU来停用视角间残差预测。
如上文所提及，可使用五个空间相邻块以用于视差向量导出，所述块包含(例如)由A0、A1、B0、B1或B2表示的PU。另外，可使用一或多个时间相邻块以用于视差向量导出。在此状况下，来自当前视角的所有参考图片被视为候选图片。候选图片的数目可进一步约束到(例如)四个参考图片。首先检查共置型参考图片，且按参考索引(refIdx)的升序来检查其余候选图片。当可得到RefPicList0[refIdx]及RefPicList1[refIdx]两者时，RefPicListX[refIdx]在另一图片之前，其中X等于collocated_from_l0_flag。
对于每一候选图片，确定三个候选区以用于导出时间相邻块。当一区涵盖一个以上16×16块时，按光栅扫描次序来检查此类区中的所有16×16块。三个候选区被定义如下：CPU(当前PU或当前CU的共置型区)、CLCU(涵盖当前PU的共置型区的最大译码单元(LCU))，及BR(CPU的右下4×4块)。
视频译码器可按特定次序来检查空间及/或时间相邻块以寻找视差向量。在一些实例中，视频译码器可首先检查空间相邻块(A0、A1、B0、B1及B2)，继之以时间相邻块。如果所述空间相邻块中的一者具有视差运动向量，则视频译码器可终止检查过程，且视频译码器可使用视差运动向量作为用于当前PU的最终视差向量。
视频译码器可检查候选图片的候选区中每一者。在一个实例中，如果候选图片位于第一非基础视角中，则视频译码器可按CPU、CLCU及BR的次序来检查候选区。在此实例中，如果候选图片位于第二非基础视角中，则视频译码器可按BR、CPU、CLCU的次序来检查候选区。
在此实例中，与第一非基础视角相关联的图片的解码可取决于与基础视角相关联的图片的解码，但不取决于与其它视角相关联的图片的解码。此外，在此实例中，与第二非基础视角相关联的图片的解码还可仅取决于与基础视角相关联的图片的解码。在其它实例中，与第二非基础视角相关联的图片的解码可进一步取决于第一非基础视角，但不取决于与其它视角相关联的图片(如果存在)。
当候选区涵盖一个以上16×16块时，视频译码器可根据光栅扫描次序而检查候选区中的所有16×16块。当视频译码器检查候选区(或候选区内的16×16块)时，视频译码器可确定涵盖候选区的PU是否指定视差运动向量。如果涵盖候选区的PU指定视差运动向量，则视频译码器可基于所述PU的视差运动向量而确定当前视频单元的视差向量。
视角间运动预测可应用于AMVP模式及合并模式两者。举例来说，如上文所提及，AMVP模式已以将视角间运动向量预测值添加到候选者列表的方式而扩展。基于从NBDV导出的视差向量，视频译码器通过使视差向量与当前块的中间样本的位置相加而确定参考视角中的参考块。如果用于当前块的参考索引是指视角间参考图片，则视频译码器可将视角间运动向量预测值设定为等于对应视差向量。如果当前参考索引是指时间参考图片且参考块使用涉及相同于当前参考索引的存取单元的运动假设，则视频译码器可使用与此运动假设相关联的运动向量作为视角间运动向量预测值。在其它状况下，视频译码器可将视角间运动向量预测值标记为无效，且视频译码器可不在运动向量预测值候选者列表中包含运动向量。
关于合并/跳过模式，运动参数的候选者列表是由使用视角间运动预测而获得的运动参数集扩展。举例来说，视频译码器可以相同于上文所提及的AMVP模式的方式来导出参考视角中的参考块的运动向量候选者。如果所导出的运动向量有效且其参考图片具有等于当前PU/CU的参考图片列表中的一个条目的图片次序计数(POC)值的POC值，则可在基于所述POC而转换参考索引之后将运动信息(预测方向、参考图片，及运动向量)添加到合并候选者列表。此类候选者可被称作经视角间预测运动向量。否则，在相同于经视角间预测运动向量(在可得到时)的位点中，将视差向量转换到视角间视差运动向量，视频译码器可将视角间视差运动向量添加到合并候选者列表中。
以相似于用于视角间运动预测的方式的方式，视角间残差预测是基于用于每一CU的视差向量，如下文关于图8及9更详细地所描述。
图8为说明多视角视频译码的实例预测结构的概念图。作为一实例，视频译码器(例如，视频编码器20或视频解码器30)可通过使用在时间T0时的视角V1中的块Pe来预测在时间T8时的视角V1中的块而译码所述块。视频译码器可从Pe减去当前块的原始像素值，借此获得当前块的残差样本。
另外，视频译码器可通过视差向量104来定位参考视角(视角V0)处的参考块。参考块Ib的原始样本值与其经预测样本Pb的差被称为参考块的残差样本，如由以下方程式中的rb所表示。在一些实例中，视频译码器可从当前残差减去rb且仅变换译码所得的差信号。因此，当使用视角间残差预测时，可通过以下方程式来表达运动补偿环路：
其中当前块的重构等于经解量化系数re加预测Pe及量化正规化残差系数rb。视频译码器可将rb视为残差预测值。因此，相似于运动补偿，可从当前残差减去rb，且仅变换译码所得的差信号。
视频译码器可基于CU而有条件地传信用以指示视角间残差预测的使用状况的旗标。举例来说，视频译码器可横穿由残差参考区涵盖或部分地涵盖的所有变换单元(TU)。如果这些TU中任一者被帧间译码且含有非零经译码块旗标(CBF)值(亮度CBF或色度CBF)，则视频译码器可将相关残差参考标记为可用，且视频译码器可应用残差预测。在此状况下，视频译码器可传信指示视角间残差预测的使用状况的旗标作为CU语法的部分。如果此旗标等于1，则使用潜在内插式参考残差信号来预测当前残差信号，且使用变换译码来仅发射差。否则，通常使用HEVC变换译码来译码当前块的残差。
2012年7月10申请的美国临时申请案第61/670,075号及2012年9月27日申请的美国临时申请案第61/706,692号提议用于可缩放视频译码的广义残差预测(generalizedresidual prediction,GRP)。尽管这些临时专利申请案集中于可缩放视频译码，但这些临时专利申请案中描述的GRP技术可适用于多视角视频译码(例如，MV-HEVC及3D-HEVC)。
在单向预测的上下文中，可将GRP的一般构思公式化为：
Ic＝rc+Pc+w*rr，
在以上公式中，Ic表示当前层(或视角)中的当前帧的重构，Pc表示从同一层(或视角)的时间预测，rc指示经传信残差，rr指示从参考层的残差预测，且w为加权因数。在一些实例中，可需要在位流中译码加权因数，或基于经先前译码信息而导出加权因数。可在单环路解码及多环路解码两者的状况下应用用于GRP的此构架。多环路解码涉及使用未经建构且经升取样的较低分辨率信号而进行的块的预测的未受限版本。为了解码增强层中的一个块，需要存取先前层中的多个块。
举例来说，当视频解码器30使用多环路解码时，可将GRP进一步公式化为：
Ic＝rc+Pc+w*(Ir-Pr)，
在以上公式中，Pr指示用于参考层中的当前图片的时间预测，Pc表示从同一层(或视角)的时间预测，rc指示经传信残差，w为加权因数，且Ir表示参考层中的当前图片的完全重构。
以上公式包含可在位流中传信或基于经先前译码信息而导出的加权因数。在一些实例中，视频编码器20可逐CU地在位流中传信用于GRP中的加权索引。每一加权索引可对应于大于或等于0的一个加权因数。当用于当前CU的加权因数等于0时，使用常规HEVC变换译码来译码当前CU的残差块。否则，当用于当前CU的加权因数大于0时，可使用参考残差信号乘以加权因数来预测当前残差信号(即，用于当前CU的残差块)，且使用变换译码来仅发射差。在一些实例中，内插参考残差信号。
L.Zhang等人的“3D-CE5.h related:Advanced residual prediction formultiview coding”(2012年10月13日到19日，中国上海，ITU-T SG 16WP 3及ISO/IECJTC1/SC29/WG11的3D视频译码扩展开发联合合作团队第2次会议，文件JCT3V-B0051(在下文中为“JCT3V-B0051”))提议一种用以进一步改进视角间残差预测的译码效率的高级残差预测(ARP)方法。在一些实例中，可在PU层级处而非在CU层级处执行ARP。为了区分上文所描述的残差预测方案与ARP，可将上文所描述的残差预测方案称作“以CU为基础的视角间残差预测(CU-based inter-view residual prediction)”。
图9为说明多视角视频译码中的ARP的实例预测结构的概念图。图9包含四个图片：当前图片110、时间参考图片112、视差参考图片114，及时间视差参考图片116。当前图片110与视角V1相关联且与时间实例Tj相关联。时间参考图片112与视角V1相关联且与时间实例Ti相关联。视差参考图片114与视角V0相关联且与时间实例Tj相关联。时间视差参考图片116与视角V0相关联且与时间实例Ti相关联。
当前图片110包含被表示为“Dc”的当前PU。换句话说，Dc表示当前视角(视角1)中的当前块。Dc具有指示时间参考图片112中的位点的时间运动向量VD。视频编码器20可基于图片112中与由时间运动向量VD指示的位点相关联的样本而确定时间参考块Dr。因此，Dr表示在时间Ti时的来自同一视角(视角1)的Dc的时间预测块，且VD表示从Dc到Dr的运动。
此外，视频编码器20可基于视差参考图片114中与由Dc的视差向量指示的位点相关联的样本而确定视差参考块Bc。因此，Bc表示参考块(即，在时间Tj时的参考视角(视角0)中Dc的表示)。可通过将所导出的视差向量加到Dc的左上位置而运用所导出的视差向量来计算Bc的左上位置。因为Dc及Bc可为同一对象在两个不同视角中的投影，所以Dc及Bc应共享相同运动信息。因此，可通过应用VD的运动信息而从Bc定位在时间Ti时的视角0中的Bc的时间预测块Br。
视频编码器20可确定时间视差图片116中的时间视差参考块Br(Bc的预测性块)。如上文所指示，时间视差图片116与相同于Br的视角(即，视角V0)相关联，且与相同于Dr的时间实例(即，时间实例Ti)相关联。视频编码器20可基于由Dc的运动向量VD指示的位点处的样本而确定Br。因此，可通过将运动向量VD加到Bc的左上位置而运用所再用的运动向量VD来计算Br的左上位置。Bc的左上位置可等于Dc的左上位置与视差向量的总和。因此，Br的左上位置可等于Dc的左上位置的坐标、视差向量与运动向量VD的总和。以此方式，如图9中由箭头118所展示，视频编码器20可再用运动向量VD以用于确定Br。
此外，在ARP中，第一残差块中的每一样本可指示Dc中的样本与Dr的对应样本之间的差。第一残差块可被称作用于Dc的原始残差块。第二残差块中的每一样本可指示Bc中的样本与Br中的对应样本之间的差。第二残差块可被称作“残差预测值”。因为视频编码器20使用运动向量VD以确定Br，所以残差预测值可不同于Bc的实际残差数据。
在视频编码器20确定残差预测值之后，视频编码器20可将残差预测值乘以加权因数。换句话说，将具有VD的运动信息的Bc的残差乘以加权因数，且使用Bc的残差作为用于当前残差的残差预测值。加权因数可等于0、0.5或1。因此，三个加权因数可用于ARP中(即，0、0.5及1)。
在视频编码器20将残差预测值乘以加权因数之后，残差预测值可被称作加权残差预测值。视频编码器20可选择针对当前CU(即，含有当前PU的CU)导致最小速率-失真成本的加权因数作为最终加权因数。在CU层级处，视频编码器20可在位流中包含指示加权索引的数据。加权索引可指示用于当前CU的最终加权因数(即，用以产生加权残差预测值的加权因数)。在一些实例中，加权索引0、1及2分别对应于加权因数0、1及0.5。针对当前CU来选择加权因数0等效于针对当前CU的PU中任一者不使用ARP。
视频编码器20接着可确定用于当前PU的最终残差块。用于当前PU的最终残差块中的每一样本可指示原始残差块中的样本与加权残差预测值中的对应样本之间的差。当前CU(即，含有当前PU的CU)的残差块可包含用于当前PU的最终残差块，连同用于当前CU的其它PU的残差块(如果存在)。如本发明在别处所描述，视频编码器20可在一或多个变换块当中分割当前CU的残差块。所述变换块中每一者可与当前CU的TU相关联。对于每一变换块，视频编码器20可将一或多个变换应用于所述变换块以产生一变换系数块。视频编码器20可在位流中包含表示变换系数块的经量化变换系数的数据。
因此，在ARP中，为了确保两个视角的残差之间的高相关性，视频译码器20可将当前PU的运动应用于参考视角图片中的对应块以在基础视角中产生残差以用于视角间残差预测。以此方式，针对当前PU及参考视角中的对应参考块来使运动对准。此外，将自适应性加权因数应用于残差信号，使得进一步缩减预测误差。
如果当前PU被双向预测，则当前PU具有RefPicList0运动向量、RefPicList1运动向量、RefPicList0参考索引，及RefPicList1参考索引。本发明可将由当前PU的RefPicList0参考索引指示的参考图片称作当前PU的RefPicList0目标参考图片。当前PU的RefPicList1运动向量可指示当前PU的RefPicList1目标参考图片中的参考位点。本发明可将由当前PU的RefPicList1参考索引指示的参考图片称作当前PU的RefPicList1目标参考图片。当前PU的RefPicList1运动向量可指示当前PU的RefPicList1目标参考图片中的参考位点。
因此，当视频编码器20对经双向预测PU执行ARP时，视频编码器20可基于当前PU的RefPicList0运动向量而确定当前PU的RefPicList0目标参考图片中的参考位点。本发明可将此参考位点称作当前PU的RefPicList0参考位点。视频编码器20接着可确定包含当前PU的RefPicList0目标参考图片的实际或内插式样本的参考块，所述样本与当前PU的RefPicList0参考位点相关联。本发明可将此参考块称作当前PU的RefPicList0参考块。
另外，视频编码器20可基于当前PU的RefPicList1运动向量而确定当前PU的RefPicList1目标参考图片中的一参考位点。本发明可将此参考位点称作当前PU的RefPicList1参考位点。视频编码器20接着可确定包含当前PU的RefPicList1目标参考图片的实际或内插式样本的参考块，所述样本与当前PU的RefPicList1参考位点相关联。本发明可将此参考块称作当前PU的RefPicList1参考块。
视频编码器20可基于当前PU的RefPicList0参考块及当前PU的RefPicList1参考块而确定用于当前PU的时间预测性块。举例来说，当前PU的时间预测性块中的每一样本可指示当前PU的RefPicList0参考块及当前PU的RefPicList1参考块中的对应样本的加权平均值。
此外，当视频编码器20对经双向预测PU执行ARP时，视频编码器20可基于当前PU的RefPicList0运动向量及视差参考块的视差参考帧内的位点而确定时间视差参考图片中的时间视差参考位点。本发明可将此时间视差参考位点及此时间视差参考图片分别称作RefPicList0时间视差参考位点及RefPicList0时间视差参考图片。RefPicList0时间视差参考图片可具有相同于当前PU的RefPicList0目标参考图片的POC值。视频编码器20接着可确定包含RefPicList0时间视差参考图片的实际或内插式样本的样本块，所述样本与RefPicList0时间视差参考位点相关联。本发明可将此样本块称作RefPicList0时间视差参考块。
另外，视频编码器20可基于当前PU的RefPicList1运动向量及视差参考块的视差参考帧内的位点而确定时间视差参考图片中的时间视差参考位点。本发明可将此时间视差参考位点及此时间视差参考图片分别称作RefPicList1时间视差参考位点及RefPicList1时间视差参考图片。RefPicList1时间视差参考图片可具有相同于当前PU的RefPicList1目标参考图片的POC值。因为当前PU的RefPicList0目标参考图片及当前PU的RefPicList1目标参考图片可不同，所以RefPicList1时间视差参考图片可不同于RefPicList0时间视差参考图片。视频编码器20接着可确定包含RefPicList1时间视差参考图片的实际或内插式样本的样本块，所述样本与RefPicList1时间视差参考位点相关联。本发明可将此样本块称作RefPicList1时间视差参考块。
接下来，视频编码器20可基于RefPicList0时间视差参考块及RefPicList1时间视差参考块而确定视差预测性块。在一些实例中，视差预测性块中的每一样本为RefPicList0时间视差参考块及RefPicList1时间视差参考块中的对应样本的加权平均值。视频编码器20接着可确定残差预测值。残差预测值可为样本块。残差预测值中的每一样本可指示视差参考块中的样本与视差预测性块中的对应样本之间的差。视频编码器20接着可通过将加权因数应用于残差预测值而产生加权残差预测值。视频编码器20接着可确定用于当前PU的最终残差块。当前PU的最终残差块中的每一样本可指示用于当前PU的原始预测块中的样本与当前PU的时间预测性块中的对应样本之间的差以及加权残差预测值。视频编码器20可在位流中传信当前PU的最终残差块。
视频解码器30可在对PU及经双向预测PU执行ARP时执行相似过程。举例来说，视频解码器30可以上文所描述的样本方式来确定当前PU的时间预测性块及加权残差预测值。视频解码器30可基于位流中传信的数据而确定当前PU的最终残差块。视频解码器30接着可通过使当前PU的最终残差块、当前PU的时间预测性块与加权残差预测值相加而重构当前PU的预测块。
图10说明上文所描述的当前块、对应块及运动补偿式块之间的关系。换句话说，图10为说明在ARP中在当前块、参考块与运动补偿式块之间的实例关系的概念图。在图10的实例中，视频译码器当前正译码当前图片131中的当前PU 130。当前图片131与视角V1及时间实例T1相关联。
此外，在图10的实例中，视频译码器可确定包括参考图片133的实际或内插式样本的参考块132(即，对应块)，所述样本与由当前PU 130的视差向量指示的位点相关联。举例来说，参考块132的左上隅角可为由当前PU 130的视差向量指示的位点。时间视差参考块145可具有相同于当前PU 130的预测块的大小。
在图10的实例中，当前PU 130具有第一运动向量134及第二运动向量136。运动向量134指示时间参考图片138中的位点。时间参考图片138与视角V1(即，相同于当前图片131的视角)及时间实例T0相关联。运动向量136指示时间参考图片140中的位点。时间参考图片140与视角V1及时间实例T3相关联。
根据上文所描述的ARP方案，视频译码器可确定与相同于参考图片133的视角相关联且与相同于时间参考图片138的时间实例相关联的参考图片(即，参考图片142)。另外，视频译码器可将运动向量134加到参考块132的左上隅角的坐标以导出时间视差参考位点。视频译码器可确定时间视差参考块143(即，运动补偿式块)。时间视差参考块143中的样本可为参考图片142的实际或内插式样本，所述样本与从运动向量134导出的时间视差参考位点相关联。时间视差参考块143可具有相同于当前PU 130的预测块的大小。
相似地，视频译码器可确定与相同于参考图片134的视角相关联且与相同于时间参考图片140的时间实例相关联的参考图片(即，参考图片144)。另外，视频译码器可将运动向量136加到参考块132的左上隅角的坐标以导出时间视差参考位点。视频译码器接着可确定时间视差参考块145(即，运动补偿式块)。时间视差参考块145中的样本可为参考图片144的实际或内插式样本，所述样本与从运动向量136导出的时间视差参考位点相关联。时间视差参考块145可具有相同于当前PU 130的预测块的大小。
此外，在图10的实例中，视频译码器可基于时间视差参考块143及时间视差参考块145而确定视差预测性块。视频译码器接着可确定残差预测值。残差预测值中的每一样本可指示参考块132中的样本与视差预测性块中的对应样本之间的差。
根据本发明的方面，视频译码器(例如，视频编码器或视频解码器)可基于用于当前正被译码的块的参考图片列表中的参考图片而启用或停用ARP(包含相对于第二不同层的残差来译码一个层的残差)。在一实例中，视频译码器可基于用于当前正被译码的块的参考图片列表是否包含任何时间参考图片而启用或停用ARP。根据本发明的方面，如果用于经帧间预测块的参考图片列表仅包含视角间参考图片，则视频译码器可停用ARP。在此类实例中，当视频译码器包括视频编码器时，视频编码器可不在位流中传信加权因数(跳过加权因数的传信)。同样地，当视频译码器包括视频解码器时，视频解码器可同样地跳过加权因数的解码且推断出加权因数等于零。
上文所描述的技术可应用于随机存取图片的上下文中。举例来说，根据本发明的方面，视频译码器可基于当前正被译码的视角分量是否为随机存取视角分量而启用或停用ARP。
关于随机存取视角分量，在HEVC中，一般来说，存在可由NAL单元类型识别的四种图片类型。四种图片类型包含瞬时解码刷新(IDR)图片、CRA图片、时间层存取(TLA)图片，及不为IDR、CRA或TLA图片的经译码图片。IDR图片及经译码图片为从H.264/AVC规格继承的图片类型。CRA图片类型及TLA图片类型为用于HEVC标准的新增添者。CRA图片为促进从视频序列中间的任何随机存取点开始进行解码的图片类型，且相比于插入IDR图片可更有效率。TLA图片为可用以指示有效时间层切换点的图片类型。
在例如广播及流式传输等视频应用中，可在视频数据的不同信道之间发生切换，且可对视频数据的特定部分发生跳跃。在此类实例中，可有益的是在切换及/或跳跃期间实现最小延迟。通过在视频位流中以规则间隔具有随机存取图片而实现此特征。H.264/AVC及HEVC两者中指定的IDR图片可用于随机存取。然而，IDR图片开始经译码视频序列且从经解码图片缓冲器(DPB)(其还可被称作参考图片存储器，如上文关于图2及3所描述)移除图片。因此，按解码次序在IDR图片之后的图片不能使用在IDR图片之前解码的图片作为参考。因此，依赖于IDR图片以供随机存取的位流可具有较低译码效率。为了改进译码效率，HEVC中的CRA图片允许按解码次序在CRA图片之后但按输出次序在CRA图片之前的图片使用在CRA图片之前解码的图片作为参考。
在HEVC中，以CRA图片开始的位流被认为是合格位流。当位流以CRA图片开始时，CRA图片的前置图片可指不可用参考图片，且因此可不被正确地解码。然而，HEVC指定出不输出开始CRA图片的前置图片，因此，名称为“清洁随机存取”。为了建立位流合格要求，HEVC指定解码过程以产生用于解码非输出前置图片的不可用参考图片。然而，合格解码器实施方案不必遵循那一解码过程，只要这些合格解码器相比于在从位流的开始执行解码过程时可产生相同输出即可。在HEVC中，合格位流可根本不含有IDR图片，且因此可含有经译码视频序列的子集或不完整的经译码视频序列。
除了IDR图片及CRA图片以外，还存在其它类型的随机存取点图片，例如，断链存取(BLA)图片。对于主要类型的随机存取点图片中每一者，可存在子类型，此取决于随机存取点图片可如何由系统潜在地处理。每一子类型的随机存取点图片具有不同NAL单元类型。
一般来说，关于HEVC的扩展(例如，MV-HEVC、3D-HEVC，或SHVC)，视角分量是否为随机存取点可取决于视角分量的NAL单元类型。如果所述类型属于HEVC基础规格中针对随机存取点图片所定义的类型，则当前视角分量为随机存取点视角分量(或出于简单起见，为当前视角的随机存取点图片)。
在一些实例中，随机存取功能性仅以在时间维度中(因此在视角内部)的某些预测与在HEVC基础规格中相似地被停用抑或受到约束的方式应用于时间预测。然而，用于随机存取点视角分量的视角间预测仍是可能的，且通常被执行以改进译码效率，此相似于H.264/MVC中的锚定图片。因此，如果使用视角间预测，则随机存取点(RAP)视角分量可为P或B图片。
根据本发明的方面，视频译码器(例如，视频编码器20或视频解码器30)可针对随机存取视角分量的每一块来停用视角间残差预测。在此类实例中，视频编码器20可不在位流中传信加权因数(跳过加权因数的传信)。视频解码器30可同样地跳过加权因数的解码且自动地确定出加权因数等于零。
在另一实例中，根据本发明的方面，如果至少一个参考图片来自相同于当前正被译码的块的视角，则视频译码器可启用ARP。另外或替代地，仅当两个参考图片(对应于RefPicList0中的参考图片及RefPicList1中的参考图片)(如果可得到)属于相同于当前正被译码的块的视角时，视频译码器才可启用ARP。另外或替代地，如果一块是运用视角间参考图片而被视角间译码，则视频译码器可针对所述块来停用ARP。如上文所提及，当停用ARP时，不传信加权因数。
在一些实例中，当用于译码当前块的经解码图片缓冲器不包含具有相同于时间参考图片的POC的在相同于视差参考图片的视角中的图片时，视频译码器可修改ARP过程。
在另一实例中，另外或替代地，当视差参考块的参考图片列表中的一者或两者不包含具有相同于时间参考图片的POC的在相同于视差参考图片的视角中的参考图片时，视频译码器可修改ARP过程。举例来说，在给出用于含有视差参考块的切片的当前参考图片列表索引X(其中X为0或1)的情况下，在一个实例中，如果具有等于视差参考块的X的列表索引的参考图片列表不包含相同于视差参考图片的视角中且具有相同于当前块的时间参考图片的POC的参考图片，则视频译码器可修改ARP过程。在另一实例中，如果视差参考块的参考图片列表中任一者皆不(例如，列表0及列表1皆不)包含相同于视差参考图片的视角中且具有相同于当前块的时间参考图片的POC的参考图片，则视频译码器可修改ARP过程。
在一些实例中，视频译码器可通过停用ARP过程以使得不使用ARP来译码当前块而修改ARP过程。在其它实例中，视频译码器可通过缩放时间运动向量以识别另一时间视差参考图片而修改ARP过程。举例来说，视频译码器可缩放时间运动向量，使得当与视差向量进行组合时，经缩放组合为包含于参考图片列表中且位于时间上最接近于视差参考图片的位点中的时间视差参考图片。上文所描述的技术可防止视频译码器试图在不包含于经解码图片缓冲器或参考图片列表中的一者或两者中的图片中定位视差参考块。
根据本发明的其它方面，可基于当前正被译码的块的分割模式及/或译码模式而启用或停用ARP。举例来说，可仅针对某些分割模式及/或某些译码模式来仅传信加权因数。如果加权因数不包含于位流中，则视频解码器可跳过加权因数的解码且推断出加权因数为零值(借此停用ARP)。根据本发明的方面，在一些实例中，可不传信用于具有不等于PART_2N×2N的分割模式的任何经帧间译码块的加权因数。在另一实例中，可不传信用于具有除了PART_2N×2N、PART_2N×N及PART_N×2N以外的分割模式的经帧间译码块的加权因数。在又一实例中，另外或替代地，可不传信用于具有不等于跳过模式及/或合并模式的译码模式的任何经帧间译码块的加权因数。
根据本发明的又其它方面，可实施对加权因数的更灵活途径。举例来说，可在序列层级中(例如，在例如序列参数集(SPS)等参数集中)变更可用加权因数的数目。在出于说明的目的的实例中，可在SPS中传信指示符以停用一或多个加权因数，例如，0.5及/或1。在另一实例中，可在VPS中传信此类指示符，且此类指示符可适用于所有非基础视角。在又一实例中，可针对每一非基础视角而在视频参数集(VPS)扩展中传信此类指示符。在另一实例中，可在图片参数集(PPS)、切片标头或视角参数集中提供此类指示符以停用一或多个加权因数。当已停用加权因数时，可使用较少位以表示那些剩余加权因数，借此提供位节省。
根据其它方面，可提供指示符以修改及/或替换一或多个加权因数。在一实例中，视频译码器可运用0.75加权因数来替换0.5加权因数。可在切片标头、SPS、图片参数集(PPS)或VPS中传信此指示符。
根据本发明的方面，在一个实例实施方案中，视频译码器可使用经修改视角间残差预测过程作为3D-HTM版本5.0(上文所提及)中描述的视角间残差预测过程。举例来说，根据本发明的方面，可使用一或多个语法元素以指示出应用视角间残差预测。
在一实例中，可传信指示加权因数的索引的一或多个语法元素(例如，weighting_factor_index语法元素)作为CU的部分。在此实例中，可修改CU语法(例如，相对于3D-HTM版本5.0)，且仅当满足以下条件时才可传信加权因数语法元素：当前视角为相依纹理视角，当前CU未被帧内译码，且当前CU具有等于PART_2N×2N的分割模式。当位流中不存在此语法元素时，加权因数被推断为等于0。下文展示一种实例CU语法表：
下文展示另一实例CU语法表：
在以上实例中，当从来自同一视角的至少一个参考图片预测当前CU时，可将TempMVAvai设定为等于1。否则，将其设定为等于0。另外，如果可找到视差向量，则可将DispVectAvai设定为等于1。否则，将其设定为等于0。
在另一实例中，仅当满足以下条件时才可传信加权因数语法元素：当前视角为相依纹理视角，当前CU未被帧内译码，且当前CU具有等于PART_2N×2N的分割模式，所导出的视差向量可用，且至少一个分割区具有时间运动向量，例如，参考图片来自同一视角。当位流中不存在此语法元素时，加权因数被推断为等于0。
在又一实例中，仅当满足以下条件时才可传信加权因数语法元素：当前视角为相依纹理视角，当前CU未被帧内译码，且当前CU具有等于PART_2N×2N的分割模式，所导出的视差向量可用，且当前CU的所有PU中的至少一个分割区具有时间运动向量，例如，参考图片来自同一视角。当位流中不存在此语法元素时，加权因数被推断为等于0。
在又一实例中，仅当满足以下条件时才可传信加权因数语法元素：当前视角为相依纹理视角，且所导出的视差向量可用。
根据本发明的方面，可以多种方式来传信加权因数。举例来说，如上文所提及，语法元素weighting_factor_index可指示到用于高级残差预测的加权因数的索引。当不存在时，可针对当前CU来停用高级残差预测。举例来说，如果加权因数等于0，则通常使用HEVC变换译码来译码当前块的残差，且调用(例如)HEVC规格(例如，如上文所识别的WD9)的子条项8.5.2.2中的规格以取得预测样本。如果存在加权因数索引，则使用潜在内插式参考残差信号乘以加权因数来预测当前残差信号，且仅发射差，且可针对时间参考图片被利用的每一预测列表来调用下文关于HEVC规格(WD9)的经修改子条项8.5.2.2.1及8.5.2.2.2所描述的过程。
在一些实例中，可将加权因数索引映射到加权因数。以此方式，视频译码器可在视角间残差预测中实施对加权因数的更灵活途径。举例来说，出于说明的目的而假定到存在待传信的N个不同加权因数，其中N等于2、3、4或其类似者。可最初将这些加权因数中每一者映射到唯一加权索引，如以下表1的实例所展示，其中W0、W1、W2、……、WN-1为按值的升序的加权因数。
表1—加权因数索引与加权因数之间的映射
weighting_factor_index的值 加权因数的值
0 W0
1 W1
2 W2
3 …
4 …
5 …
… …
N-1 WN-1
在另一实例中，W0、W1、W2、……、WN-1可表示按正被使用的加权因数的机率的降序的加权因数，其可在译码期间被计算。
以下表2中展示另一实例映射，其中等于0、1、0.5的加权因数分别由0、1、2加索引。可基于值的升序或机率的降序而对所有剩余加权因数加索引。
表2—加权因数索引与加权因数之间的映射
weighting_factor_index的值 加权因数的值
0 0
1 1
2 0.5
3 …
4 …
5 …
… …
N-1 …
视频解码器30可从经编码位流剖析加权因数索引以确定所述索引的值。在一个实例中，每一加权因数可由加权因数索引识别，且可使用截断一元二进制化来传信加权因数索引，如HEVC规格(例如，WD9)的章节9.3.2.2所描述。在另一实例中，可首先基于加权因数的机率的降序而将加权因数映射到唯一加权索引，且接着运用截断一元二进制化来译码加权因数。
在又一实例中，可根据以下表3而定义二进制化过程：
表3—加权因数的二进制化(N大于4)
此处，对应于值3到N-1的加权因数索引的二进制字串与首码“11”及尾码一致，所述尾码是通过从weighting_factor_index的值减去3而加索引，其中使用截断一元二进制化。
当存在总共四个加权因数时，可由以下表定义二进制化过程：
表4—加权因数的二进制化(N＝4)
当存在总共三个加权因数(例如，0、0.5及1)时，可由以下表定义二进制化过程：
表5—加权因数的二进制化(N＝3)
关于上下文初始化，可使用一个上下文集合以用于译码加权因数索引。高级视角间残差预测模式可应用于P切片及B切片两者。用于P切片的加权索引的上下文的初始机率可不同于用于B切片的加权索引的上下文的初始机率。替代地，针对不同二进制值(例如，0及1)而以相等机率来初始化所有上下文模型。
关于上下文选择，出于说明的目的而假定到亮度位点(xC,yC)指定相对于当前图片的左上样本的当前亮度译码块的左上亮度样本。进一步假定到通过调用如HEVC规格的子条项6.4.1所指定的用于按z扫描次序的块的可用性导出过程而导出指定直接地定位到当前译码块的左侧的译码块的可用性的变量availableL，其中在将输入及输出指派到availableL时，位点(xCurr,yCurr)被设定为等于(xC,yC)且相邻位点(xN,yN)被设定为等于(xC-1,yC)。
在以上实例中，可通过调用如HEVC规格(例如，WD9)的子条项6.4.1所指定的用于按z扫描次序的块的可用性导出过程而导出指定直接地定位于当前译码块上方的译码块的可用性的变量availableA，其中在将输入及输出指派到availableA时，位点(xCurr,yCurr)被设定为等于(xC,yC)且相邻位点(xN,yN)被设定为等于(xC,yC-1)。
根据本发明的方面，可如下导出condTermFlagN(N可为L或A)：
-如果mbPAddrN可用且用于块mbPAddrN的加权因数不等于0，则将condTermFlagN设定为等于1
-否则(mbPAddrN不可用或用于块mbPAddrN的加权因数等于0)，将condTermFlagN设定为等于0。
另外，假定到ctxIdx为待用以译码加权因数索引的上下文索引。在此实例中，用于每一待译码二进制的ctxIdx增量(ctxIdxInc)是由ctxIdxInc＝M*condTermFlagL+N*condTermFlagA导出。其中M或N可为1或2。替代地，ctxIdxInc可由ctxIdxInc＝condTermFlagA导出。替代地，ctxIdxInc可由ctxIdxInc＝condTermFlagL导出。替代地，ctxIdxInc可固定为0。
如上文所提及，在一些实例中，可修改加权因数。举例来说，可在序列层级处(例如，在例如序列参数集(SPS)等参数集中)变更可用加权因数的数目。在出于说明的目的的实例中，可在SPS中传信指示符以停用一或多个加权因数，例如，0.5及/或1。在另一实例中，可在VPS中传信此类指示符，且此类指示符可适用于所有非基础视角。在又一实例中，可针对每一非基础视角而在视频参数集(VPS)扩展中传信此类指示符。在另一实例中，可在图片参数集(PPS)、切片标头或视角参数集中提供此类指示符以停用一或多个加权因数。
根据其它方面，可提供指示符以修改及/或替换一或多个加权因数。在一实例中，视频译码器可运用0.75加权因数来替换0.5加权因数。可在切片标头、SPS、图片参数集(PPS)或VPS中传信此指示符。
在一个实例中，可如下修改视频参数集(例如，相对于3D-HTM版本5.0)：
视频参数集扩展
在以上实例中，等于1的advanced_residual_pred_flag[i]可指定出高级残差预测(ARP)可用于具有等于i的layer_id的当前纹理视角。等于0的advanced_residual_pred_flag[i]指定出ARP不用于具有等于i的layer_id的当前纹理视角。当不存在时，advanced_residual_pred_flag[i]可被推断为等于0。
在另一实例中，可在VPS扩展中传信旗标(即，advanced_residual_pred_flag)一次，且所述旗标可适用于所有非基础纹理视角。在此实例中，等于1的weight_factor_change_flag[i]可指定出针对当前层改变对应于等于2的加权因数索引的加权因数。另外，等于0的weight_factor_change_flag[i]可指定出针对当前层不改变对应于等于2的加权因数索引的加权因数。另外，diff_weight[i]可指定用于等于2的加权因数索引的新加权因数与原始加权因数之间的差(具有可能缩放)。diff_weight[i]的范围可为从-2到4(-2及4包含在内)。
在以上实例中，视频译码器可如下导出新加权因数：
W2＝(W2*4+diff_weight[i])÷4。
在以上实例中，当加权因数W2等于W0或W1时，适用视角中的任何CU的加权因数索引总是小于2。
在又一实例中，可在序列参数集或序列参数集扩展中传信上文所描述的语法元素作为advanced_residual_pred_flag、weight_factor_change_flag及diff_weight以针对参考序列参数集的非基础纹理视角来实现相同功能性。
图11说明视频数据中的样本位点。一般来说，样本位点可在视频译码中由运动向量或视差向量识别。视频译码器(例如，视频编码器20及/或视频解码器30)可出于预测性译码的目的而使用与经识别位点相关联的样本。在图11的实例中，整数样本是运用大写字母进行指示，而分数样本位点是运用小写字母进行指示。虽然图11的实例通常说明四分之一样本亮度内插，但相似内插可应用于色度分量。
当视频译码器(例如，视频编码器20或视频解码器30)针对PU来执行ARP时，视频译码器可需要存取三个块(即，图9中的Br、Bc及Dr)。如上文所提及，如果运动向量指示分数像素位点，则视频译码器执行两种分数像素内插过程，例如，一种内插过程用以定位时间参考块，且另一内插过程用以定位视差时间参考块。另外，视频译码器可在确定视差参考块时应用又一分数像素内插过程。HEVC可在确定运动补偿式块时使用8/4抽头亮度/色度内插滤波器以用于分数样本内插过程。
根据本发明的方面，可特别相对于参考块的子像素内插而简化ARP的运动补偿过程。在一些实例中，根据本发明的方面，视频译码器可使用一或多种类型的内插以用于在ARP中确定参考块的位点。举例来说，视频译码器可使用例如双线性滤波器等低通滤波器以内插参考块的位点。一般来说，双线性滤波器(即，双线性内插)为用于在规则二维栅格上内插两个变量(例如，x及y)的函数的线性内插扩展。因此，双线性滤波器可为2抽头滤波器。
在一些实例中，视频译码器可在产生视差参考块及时间视差参考块时使用双线性滤波器。因此，可在产生残差预测值(即，产生图9所展示Br及Bc)时通过双线性滤波器来替换在HEVC中用于分数样本内插过程的8/4抽头亮度/色度内插滤波器。
另外，在一些实例中，视频译码器可在产生当前PU的运动补偿式块时使用双线性滤波器。即，可在产生当前PU的运动补偿式块(即，产生图9所展示的Dr)时通过双线性滤波器来替换在HEVC中用于分数样本内插过程的8/4抽头亮度/色度内插滤波器。因此，当确定用于当前PU的预测性块时，视频译码器可将双线性滤波器应用于时间参考图片的亮度分量及/或色度分量。
在一个替代实例中，视频译码器可将上文所描述的双线性滤波器仅应用于亮度分量或仅应用于色度分量。在另一实例中，视频译码器可将双线性滤波器应用于亮度分量及色度分量两者。
在图11所展示的实例中，到亮度样本内插过程的输入可包含完全样本单元(xIntL,yIntL)中的亮度位点、分数样本单元(xFracL,yFracL)中的亮度位点，及亮度参考样本阵列refPicLXL。另外，内插过程的输出为经预测亮度样本值predSampleLXL[xL,yL]。
在阴影块内运用大写字母Ai,j标注的位置表示在给定二维亮度样本阵列refPicLXL内部处于完全样本位点的亮度样本。这些样本可用于产生经预测亮度样本值predSampleLXL[xL,yL]。可如下导出用于给定亮度样本阵列refPicLXL内部的对应亮度样本Ai,j中每一者的位点(xAi,j,yAi,j)：
xAi,j＝Clip3(0,pic_width_in_luma_samples-1,xIntL+i) (6-1)
yAi,j＝Clip3(0,pic_height_in_luma_samples-1,yIntL+j) (6-2)
在无阴影块内运用小写字母标注的位置表示四分之一像素样本分数位点处的亮度样本。分数样本单元(xFracL,yFracL)中的亮度位点位移指定完全样本位点及分数样本位点处所产生的亮度样本中哪一者被指派到经预测亮度样本值predSampleLXL[xL,yL]。此指派是可根据下文所展示的表6-1中指定的指派而执行。predSampleLXL[xL,yL]的值为输出。
可以相同于HEVC子条项8.5.2.2.2.2的方式来导出变量shift1、shift2及shift3。在给出完全样本位点(xAi,j,yAi,j)处的亮度样本Ai,j的情况下，可由以下方程式导出分数样本位置处的亮度样本“a0,0”到“r0,0”。
-可通过将2抽头滤波器应用于最近整数位置样本而导出被标注为a0,0、b0,0、c0,0、d0,0、h0,0及n0,0的样本：
a0,0＝(48*A0,0+16*A1,0)>>shift1 (6-3)
b0,0＝(32*A0,0+32*A1,0)>>shift1 (6-4)
c0,0＝(16*A0,0+48*A1,0)>>shift1 (6-5)
d0,0＝(48*A0,0+16*A0,1)>>shift1 (6-6)
h0,0＝(32*A0,0+32*A0,1)>>shift1 (6-7)
n0,0＝(16*A0,0+48*A0,1)>>shift1 (6-8)
-可通过将8抽头滤波器应用于样本a0,i、b0,i及c0,i而导出被标注为e0,0、i0,0、p0,0、f0,0、j0,0、q0,0、g0,0、k0,0及r0,0的样本，其中在垂直方向上i＝-3..4：
e0,0＝(48*a0,0+16*a0,1)>>shift2 (6-9)
i0,0＝(32*a0,0+32*a0,1)>>shift2 (6-10)
p0,0＝(16*a0,0+48*a0,1)>>shift2 (6-11)
f0,0＝(48*b0,0+16*b0,1)>>shift2 (6-12)
j0,0＝(32*b0,0+32*b0,1)>>shift2 (6-13)
q0,0＝(16*b0,0+48*b0,1)>>shift2 (6-14)
g0,0＝(48*c0,0+16*c0,1)>>shift2 (6-15)
k0,0＝(32*c0,0+32*c0,1)>>shift2 (6-16)
r0,0＝(16*c0,0+48*c0,1)>>shift2 (6-17)
表6-1—亮度预测样本predSampleLXL[xL,yL]的指派
xFracL 0 0 0 0 1 1 1 1 2 2 2 2 3 3 3 3
yFracL 0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3
predSampleLXL[xL,yL] A<<shift3 d h n a e i p b f j q c g k r
如上文所提及，虽然关于亮度分量进行描述，但视频译码器可以相似方式来定位色度块中的样本。
在一些实例中，可在已应用如HEVC规格的子条项8.5.2.2.1及8.5.2.2.2中指定的运动补偿之后确定视差参考块及时间视差参考块的位点。举例来说，对于当前块，可将经预测亮度样本阵列识别为predSampleLXL，且可将色度样本阵列识别为predSampleLXcb及predSampleLXcr。在此实例中，如果加权因数不等于0，则视频译码器可在过程结束时执行以下操作：
-对于每一参考图片列表X(X为0或1)，如果参考图片不为视角间参考图片，则以下各者应用于进一步修改经预测样本值：
1.调用视差向量导出过程以获得视差向量，其指向目标参考视角。
2.在同一存取单元内的图片目标参考视角中通过视差向量来定位参考块。如果视差向量指向分数位置(即，参考块(图9中的Bc)的左上位置为分数位置)，则应用双线性滤波器以内插参考块。
3.再用当前块的运动信息以导出用于参考块的运动信息。基于参考块的所导出的运动向量及用于参考块的参考视角中的所导出的参考图片而将运动补偿应用于参考块，以导出残差块。图9中展示当前块、参考块及运动补偿式块之间的关系。
·将当前块的参考索引表示为ref_idx_lx。
·在经解码图片缓冲器中选择具有相同于refPicListX[ref_idx_lx]的POC且位于目标参考视角内的参考图片。
·将参考块的运动向量导出为相同于当前块的运动向量。
如果运动向量指向分数位置，即，参考块的左上位置加运动向量为分数位置(图9中的Br的左上位置)，则应用双线性内插。
4.将加权因数应用于残差块以获得加权残差块，其被表示为predARPSampleLXL、predARPSampleLXcb及predARPSampleLXcr，
5.将加权残差块的值加到经预测样本：
·predSampleLXL＝predSampleLXL+predARPSampleLXL
·predSampleLXcb＝predSampleLXcb+predARPSampleLXcb
·predSampleLXcr＝predSampleLXcr+predARPSampleLXcr
应注意，以上运算为矩阵/向量相加运算。
不管是否应用高级视角间残差预测，例如HEVC规格(例如，WD9)等子条项8.5.2.2.3中指定的加权样本预测过程皆应用于经双向预测PU。
如上文所提及，根据本发明的一些方面，当视差参考块的参考图片列表不包含具有相同于时间参考图片的POC的在相同于视差参考图片的视角中的参考图片时，视频译码器可修改ARP过程。
在一些实例中，视频译码器可通过停用ARP过程以使得不使用ARP来译码当前块而修改ARP过程。在其它实例中，视频译码器可通过缩放时间运动向量以识别另一时间视差参考图片而修改ARP过程。举例来说，视频译码器可缩放时间运动向量，使得当应用于视差参考图片时，经缩放运动向量识别包含于参考图片列表中且位于时间上最接近于视差参考图片的位点中的时间视差参考图片。
图12大体上说明可与预测单元相关联的分割模式(其可定义PU大小)。举例来说，在假定到特定CU的大小为2N×2N的情况下，可使用分割模式2N×2N(160)、N×N(162)、hN×2N(164)、2N×hN(166)、N×2N(168)、2N×N(170)、nL×2N(172)、nR×2N(174)、2N×nU(176)及2N×nD(178)来预测所述CU。仅出于说明的目的而呈现图12的实例所展示的分割模式，且可使用其它分割模式以指示视频数据被预测的方式。
在一些实例中，视频译码器(例如，视频编码器20及/或视频解码器30)可使用分割模式160及162来执行帧内预测或帧间预测。举例来说，视频译码器可整体上使用2N×2N PU(分割模式160)来预测CU。在另一实例中，视频译码器可使用四个N×N大小的PU(分割模式162)来预测CU，其中四个区段中每一者使用潜在不同的预测技术。
另外，关于帧内译码，视频译码器可执行被称作短距离帧内预测(short distanceintra-prediction,SDIP)的技术。如果SDIP可用，则可使用平行PU(分割模式164及166)来预测CU。即，SDIP通常允许将CU划分成平行PU。通过将译码单元(CU)分裂成非正方形预测单元(PU)，可缩短经预测像素与参考像素之间的距离。
关于帧间译码，除了对称分割模式160及162以外，视频译码器还可实施PU的并列布置(分割模式168及170)，或多种AMP(不对称运动分割)模式。关于AMP模式，视频译码器可使用分割模式nL×2N(172)、nR×2N(174)、2N×nU(176)及2N×nD(178)来不对称地分割CU。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。对应于25％分割区的CU的部分是由“n”继之以“向上”、“向下”、“左侧”或“右侧”的指示进行指示。
根据本发明的其它方面，可基于当前正被译码的块的分割模式及/或译码模式而启用或停用ARP。举例来说，可仅针对某些分割模式及/或某些译码模式来仅传信加权因数。如果加权因数不包含于位流中，则视频解码器可跳过加权因数的解码且推断出加权因数为零值(借此停用ARP)。
在一实例中，如上文关于实例译码单元语法表所提及，根据本发明的一些方面，可不传信用于具有不等于PART_2N×2N(分割模式160)的分割模式的任何经帧间译码块的加权因数。在另一实例中，可不传信用于具有除了PART_2N×2N(分割模式160)、PART_2N×N(分割模式170)及PART_N×2N(分割模式168)以外的分割模式的经帧间译码块的加权因数。在又一实例中，另外或替代地，可不传信用于具有不等于跳过模式及/或合并模式的译码模式的任何经帧间译码块的加权因数。
图13为根据本发明的技术的说明用于编码当前块的实例方法的流程图。当前块可包括当前CU或当前CU的部分，例如，当前PU。尽管关于视频编码器20(图1及2)进行描述，但应理解，可配置其它装置以执行相似于图13的方法的方法。
在此实例中，视频编码器20最初使用运动向量来预测当前块(190)。举例来说，视频编码器20可计算用于当前块的一或多个预测单元(PU)。在此实例中，假定到视频编码器20帧间预测当前块。举例来说，运动估计单元42可通过执行经先前译码图片(例如，视角间图片及时间图片)的运动搜索而计算用于当前块的运动向量。因此，运动估计单元42可产生时间运动向量或视差运动向量以编码当前块。
视频编码器20接着可确定用于译码当前块的参考图片列表(例如，在当前块被双向预测时为RefPicList0及RefPicList1)在除了当前块的时间位点以外的时间位点处是否包含一或多个参考图片(191)。在一些实例中，视频编码器20可通过确定当前块是否包含于随机存取图片中而进行此类确定，如本发明在别处所描述。
如果参考图片列表在不同于当前块的时间位点的时间位点中确实包含参考图片(步骤191的“是”分支)，则视频编码器20可启用视角间残差预测过程，例如，上文所描述的ARP过程。在此实例中，视频编码器20可执行帧间残差预测以预测当前块的残差数据(192)。举例来说，如上文所提及，视频编码器20可确定由第一块的视差向量指示的视差参考块、通过组合时间运动向量与视差运动向量而确定时间视差参考块，且基于时间视差参考块与视差参考块之间的差而确定残差预测值。视频编码器20可将加权因数应用于残差预测值。视频编码器20接着可计算用于当前块的残差块(194)。
如果参考图片列表在不同于当前块的时间位点的时间位点中不包含参考图片(步骤191的“否”分支)，则视频编码器20可停用视角间残差预测过程，例如，上文所描述的ARP过程，且可跳到计算用于当前块的残差块(194)。在此实例中，视频编码器20可不针对视角间残差预测过程来传信加权因数。即，在出于说明的目的的实例中，视频编码器20可不在位流中传信weighting_factor_index语法元素。
在任一状况下，视频编码器20计算用于当前块的残差块，例如，以产生变换单元(TU)(194)。为了在不使用视角间残差预测时计算残差块，视频编码器20可计算用于当前块的原始未经译码块与经预测块之间的差以产生残差。为了在使用视角间残差预测时计算残差块，视频编码器20可计算用于当前块的原始未经译码块与经预测块之间的差以产生第一残差。视频编码器20接着可基于第一残差与残差预测值之间的差而计算最终残差。
视频编码器20接着可变换及量化残差块的系数(196)。接下来，视频编码器20可扫描残差块的经量化变换系数(198)。在扫描期间，或在扫描之后，视频编码器20可对包含(例如)在启用及应用视角间残差预测的实例中的视角间残差预测加权值的变换系数进行熵编码(200)。视频编码器20接着可输出用于块的系数的经熵译码数据，及在启用及应用视角间残差预测的实例中的加权值(202)。
图14为根据本发明的技术的说明用于解码视频数据的当前块的实例方法的流程图。当前块可包括当前CU或当前CU的部分(例如，PU)。尽管关于视频解码器30(图1及3)进行描述，但应理解，可配置其它装置以执行相似于图14的方法的方法。
最初，视频解码器30接收用于当前块的变换系数及运动向量的数据(210)。同样地，此实例假定到当前块被帧间预测。熵解码单元80对用于块的系数及运动向量的数据进行熵解码(212)。
视频解码器30接着可确定用于译码当前块的参考图片列表(例如，在当前块被双向预测时为RefPicList0及RefPicList1)在除了当前块的时间位点以外的时间位点处是否包含一或多个参考图片(214)。在一些实例中，视频解码器30可通过确定当前块是否包含于随机存取图片中而进行此类确定，如本发明在别处所描述。
如果参考图片列表在不同于当前块的时间位点的时间位点中确实包含参考图片(步骤214的“是”分支)，则视频解码器30可启用视角间残差预测过程，例如，上文所描述的ARP过程。在此实例中，视频解码器30可执行帧间残差预测以预测当前块的残差数据(216)。举例来说，如上文所提及，视频解码器30可确定由第一块的视差向量指示的视差参考块、通过组合时间运动向量与视差运动向量而确定时间视差参考块，且基于时间视差参考块与视差参考块之间的差而确定残差预测值。视频解码器30还可将如位流中传信的加权因数应用于残差预测值。
如果参考图片列表在不同于当前块的时间位点的时间位点中不包含参考图片(步骤214的“否”分支)，或在运用视角间残差预测来预测残差数据(216)之后，则视频解码器30可停用视角间残差预测过程，例如，上文所描述的ARP过程，且可跳到使用运动向量来预测当前块(218)。
在任一状况下，视频解码器30接着可使用经解码运动向量来预测当前块(218)。视频解码器30接着可反扫描所再生的系数(220)，以产生经量化变换系数块。视频解码器30接着可反量化及反变换系数以产生残差块(222)。视频解码器30可最终通过组合经预测块与残差块而解码当前块(224)。举例来说，在不应用视角间残差预测的实例中，视频解码器30可简单地组合经预测块与经解码残差。在应用视角间残差预测的实例中，视频解码器30可组合经预测块、经解码残差(表示最终残差)与残差预测值。
图15为根据本发明的技术的说明用于编码当前块的实例方法的流程图。当前块可包括当前CU或当前CU的部分，例如，当前PU。尽管关于视频编码器20(图1及2)进行描述，但应理解，可配置其它装置以执行相似于图15的方法的方法。
在此实例中，视频编码器20确定由用于当前块的时间运动向量指示的时间参考块的位点(240)。举例来说，视频编码器20可计算用于当前块的一或多个预测单元(PU)。在此实例中，假定到视频编码器20帧间预测当前块。举例来说，运动估计单元42可通过执行经先前译码图片(例如，视角间图片及时间图片)的运动搜索而计算用于当前块的运动向量。因此，运动估计单元42可产生时间运动向量或视差运动向量以编码当前块。
视频编码器20还可内插视差参考块的位点(242)。举例来说，视频编码器20可确定视差向量以定位具有相同于当前块的POC值但位于第二不同视角中的视差参考块。在一些实例中，根据本发明的方面，如果视差向量识别不为整数位点的用于视差参考块的位点，则视频编码器20可应用双线性滤波器以内插视差参考块的位点。
另外，视频编码器20可确定时间视差参考块的位点(244)。举例来说，视频编码器20可组合时间运动向量与视差运动向量以确定时间视差参考块的位点。同样地，在一些实例中，根据本发明的方面，如果组合识别不为整数位点的用于时间视差参考块的位点，则视频编码器20可应用双线性滤波器以内插时间视差参考块的位点。
视频编码器20接着可确定用于当前块的残差预测值(246)。视频编码器20可基于视差参考块与时间视差参考块之间的差而确定残差预测值。视频编码器20可将加权因数应用于所得的残差预测值。
视频编码器20接着可确定用于块的最终残差(248)。举例来说，视频编码器20可基于当前块与时间参考块的样本之间的差而确定第一残差。视频编码器20接着可基于第一残差与残差预测值之间的差而确定最终残差。
视频编码器20接着可变换及量化残差块的系数(250)。接下来，视频编码器20可扫描残差块的经量化变换系数(252)。在扫描期间，或在扫描之后，视频编码器20可对包含(例如)视角间残差预测加权值的变换系数进行熵编码(254)。视频编码器20接着可输出用于块的系数的经熵译码数据及加权值(256)。
图16为根据本发明的技术的说明用于解码视频数据的当前块的实例方法的流程图。当前块可包括当前CU或当前CU的部分(例如，PU)。尽管关于视频解码器30(图1及3)进行描述，但应理解，可配置其它装置以执行相似于图14的方法的方法。
最初，视频解码器30接收用于当前块的变换系数及运动向量的数据(260)。同样地，此实例假定到当前块被帧间预测。熵解码单元80对用于块的系数及运动向量的数据进行熵解码(262)。
视频解码器30接着可使用经解码运动向量来预测当前块(264)。视频解码器30还可反扫描所再生的系数(266)，以产生经量化变换系数块。视频解码器30还可反量化及反变换系数以产生残差块(268)。
视频解码器30还可内插视差参考块的位点(270)。举例来说，视频解码器30可确定视差向量以定位具有相同于当前块的POC值但位于第二不同视角中的视差参考块。在一些实例中，根据本发明的方面，如果视差向量识别不为整数位点的用于视差参考块的位点，则视频解码器30可应用双线性滤波器以内插视差参考块的位点。
另外，视频解码器30可确定时间视差参考块的位点(272)。举例来说，视频解码器30可组合时间运动向量与视差运动向量以确定时间视差参考块的位点。同样地，在一些实例中，根据本发明的方面，如果组合识别不为整数位点的用于时间视差参考块的位点，则视频解码器30可应用双线性滤波器以内插时间视差参考块的位点。
视频解码器30接着可确定用于当前块的残差预测值(274)。视频解码器30可基于视差参考块与时间视差参考块之间的差而确定残差预测值。视频解码器30可将加权因数应用于所得的残差预测值。
视频解码器30可最终通过组合经预测块与残差而解码当前块(276)。举例来说，视频解码器30可组合经预测块、经解码残差(表示最终残差)与残差预测值。
图17为根据本发明的技术的说明用于编码当前块的实例方法的流程图。当前块可包括当前CU或当前CU的部分，例如，当前PU。尽管关于视频编码器20(图1及2)进行描述，但应理解，可配置其它装置以执行相似于图17的方法的方法。
在此实例中，视频编码器20最初确定用于预测当前块的分割模式(280)。举例来说，视频编码器20可确定是计算用于当前块的一个PU(例如，2N×2N分割模式)抑或计算用于当前块的一个以上PU。在此实例中，假定到视频编码器20帧间预测当前块。举例来说，运动估计单元42可通过执行经先前译码图片(例如，视角间图片及时间图片)的运动搜索而计算用于当前块的运动向量。因此，运动估计单元42可产生时间运动向量或视差运动向量以编码当前块。
视频编码器20接着可基于经确定分割模式而确定是否编码指示加权因数的数据(且确定是否执行视角间残差预测)(282)。在一些实例中，如果分割模式为除了2N×2N分割模式以外的模式，则视频编码器20可停用视角间残差预测且跳过加权因数的编码。
如果视频编码器20确实编码加权因数，则视频编码器20可执行视角间残差预测以预测当前块的残差数据(284)。举例来说，如上文所提及，视频编码器20可确定由第一块的视差向量指示的视差参考块、通过组合时间运动向量与视差运动向量而确定时间视差参考块，且基于时间视差参考块与视差参考块之间的差而确定残差预测值。视频编码器20可将加权因数应用于残差预测值。视频编码器20接着可计算用于当前块的残差块(286)。
如果视频编码器20不编码加权因数(步骤282的“否”分支)，则视频编码器20可停用视角间残差预测且可跳到计算用于当前块的残差块(286)。在此实例中，视频编码器20可不针对视角间残差预测过程来传信加权因数。即，在出于说明的目的的实例中，视频编码器20可不在位流中传信weighting_factor_index语法元素。
在任一状况下，视频编码器20计算用于当前块的残差块，例如，以产生变换单元(TU)(286)。为了在不使用视角间残差预测时计算残差块，视频编码器20可计算用于当前块的原始未经译码块与经预测块之间的差以产生残差。为了在使用视角间残差预测时计算残差块，视频编码器20可计算用于当前块的原始未经译码块与经预测块之间的差以产生第一残差。视频编码器20接着可基于第一残差与残差预测值之间的差而计算最终残差。
视频编码器20接着可变换及量化残差块的系数(288)。接下来，视频编码器20可扫描残差块的经量化变换系数(290)。在扫描期间，或在扫描之后，视频编码器20可对包含(例如)在启用及应用视角间残差预测的实例中的视角间残差预测加权值的变换系数进行熵编码(292)。视频编码器20接着可输出用于块的系数的经熵译码数据，及在启用及应用视角间残差预测的实例中的加权值(294)。
图18为根据本发明的技术的说明用于解码视频数据的当前块的实例方法的流程图。当前块可包括当前CU或当前CU的一部分(例如，PU)。尽管关于视频解码器30进行描述(图1及3)，但应理解，可配置其它装置以执行相似于图14的方法的方法。
在此实例中，视频解码器30最初确定用于预测当前块的分割模式(300)。举例来说，视频解码器30可确定是确定用于当前块的一个PU(例如，2N×2N分割模式)抑或确定用于当前块的一个以上的PU。可在经编码位流中传信用于所述块的那一分割结构。视频解码器30还对用于当前块的变换系数及运动向量的数据进行熵解码(302)。同样地，此实例假定当前块经帧间预测。
视频解码器30接着可基于经确定分割模式而确定是否解码(例如，从经编码位流剖析)加权因数(且执行视角间残差预测)(304)。在一些实例中，如果分割模式为不同于2N×2N分割模式的模式，则视频解码器30可停用视角间残差预测且跳过加权因数的解码。即，举例来说，当分割模式为不同于2N×2N分割模式的模式时，视频解码器30可自动地确定(即，推断)加权因数为零。
如果视频解码器30确实解码加权因数，则视频解码器30可执行视角间残差预测以预测当前块的残差数据(306)。举例来说，如上文所提及，视频解码器30可确定由第一块的视差向量指示的视差参考块、通过将当前块的运动向量应用于视差参考块而确定时间视差参考块，且基于时间视差参考块与视差参考块之间的差而确定残差预测值。视频解码器30还可将如位流中传信的加权因数应用于残差预测值。
如果视频解码器30不解码加权因数(步骤304的“否”分支)，则视频解码器30可停用视角间残差预测过程。视频解码器30可跳到使用运动向量来预测当前块。
在任一状况下，视频解码器30接着可使用经解码运动向量来预测当前块(308)。视频解码器30接着可反扫描所再生的系数(310)，以产生经量化变换系数的块。视频解码器30接着可反量化及反变换系数以产生残差块(312)。视频解码器30可最终通过组合经预测块与残差块而解码当前块(314)。举例来说，在不应用视角间残差预测的实例中，视频解码器30可简单地组合经预测块与经解码残差。在应用视角间残差预测的实例中，视频解码器30可组合经预测块、经解码残差(表示最终残差)与残差预测值。
图19为根据本发明的技术的说明用于编码当前块的实例方法的流程图。当前块可包括当前CU或当前CU的部分，例如，当前PU。尽管关于视频编码器20(图1及2)进行描述，但应理解，可配置其它装置以执行相似于图19的方法的方法。
在此实例中，视频编码器20确定用于当前块的时间运动向量及参考图片(320)。举例来说，视频编码器20可计算用于当前块的一或多个预测单元(PU)。在此实例中，假定到视频编码器20帧间预测当前块。举例来说，运动估计单元42可通过执行经先前译码图片(例如，视角间图片及时间图片)的运动搜索而计算用于当前块的运动向量。因此，运动估计单元42可产生时间运动向量或视差运动向量以编码当前块。
视频编码器20接着可确定相同于当前块的存取单元中的视差参考块(322)。举例来说，视频编码器20可确定视差向量以定位具有相同于当前块的POC值但位于第二不同视角中的视差参考块。
视频编码器20可确定经解码图片缓冲器(在本文中也被称作参考图片存储器)是否含有具有等于时间参考图片的POC值的POC值的图片(324)。举例来说，视频编码器20可确定由时间运动向量与视差运动向量的组合指示的图片是否包含于经解码图片缓冲器中。在一些实例中，即使潜在时间视差参考图片包含于经解码图片缓冲器中，视频编码器20还可进一步确定所述图片是否包含于用于视差参考块的一或两个参考图片列表中。
如果潜在时间视差参考图片包含于经解码图片缓冲器(及/或视差参考块的一或两个参考图片列表)中(324)，则视频编码器20可执行视角间残差预测过程以预测当前块的残差数据(326)。举例来说，如上文所提及，视频编码器20可确定由第一块的视差向量指示的视差参考块、通过将当前块的运动向量应用于视差参考块而确定时间视差参考块，且基于时间视差参考块与视差参考块之间的差而确定残差预测值。视频编码器20可将加权因数应用于残差预测值。视频编码器20接着可计算用于当前块的残差块(330)。
如果潜在时间视差参考图片不包含于经解码图片缓冲器中(或不包含于视差参考块的一或两个参考图片列表中)(步骤324的“否”分支)，则视频编码器20可修改视角间残差预测过程(328)。在一些实例中，视频编码器20可通过停用所述过程而修改所述过程。在其它实例中，视频编码器20可选择可用参考图片(包含于经解码图片缓冲器及/或参考图片列表中的参考图片)且相应地缩放时间运动向量。
在任一状况下，视频编码器20计算用于当前块的残差块，例如，以产生变换单元(TU)(330)。为了在不使用视角间残差预测时计算残差块，视频编码器20可计算用于当前块的原始未经译码块与经预测块之间的差以产生残差。为了在使用视角间残差预测时计算残差块，视频编码器20可计算用于当前块的原始未经译码块与经预测块之间的差以产生第一残差。视频编码器20接着可基于第一残差与残差预测值之间的差而计算最终残差。
视频编码器20接着可变换及量化残差块的系数(332)。接下来，视频编码器20可扫描残差块的经量化变换系数(334)。在扫描期间，或在扫描之后，视频编码器20可对包含(例如)在启用及应用视角间残差预测的实例中的视角间残差预测加权值的变换系数进行熵编码(336)。视频编码器20接着可输出用于块的系数的经熵译码数据，及在启用及应用视角间残差预测的实例中的加权值(338)。
图20为根据本发明的技术的说明用于解码视频数据的当前块的实例方法的流程图。当前块可包括当前CU或当前CU的部分(例如，PU)。尽管关于视频解码器30(图1及3)进行描述，但应理解，可配置其它装置以执行相似于图14的方法的方法。
最初，视频解码器30接收用于当前块的变换系数及运动向量的数据(350)。同样地，此实例假定到当前块被帧间预测。视频解码器30可使用经接收运动向量来定位时间参考图片。
视频解码器30接着可确定相同于当前块的存取单元中的视差参考块(352)。举例来说，视频解码器30可确定视差向量以定位具有相同于当前块的POC值但位于第二不同视角中的视差参考块。在一些实例中，视频解码器30可基于包含于位流中的数据而确定视差向量。在其它实例中，视频解码器30可应用相同于视频编码器20的过程以确定视差向量。
视频解码器30可确定经解码图片缓冲器(在本文中也被称作参考图片存储器)是否含有具有等于时间参考图片的POC值的POC值的图片(354)。举例来说，视频解码器30可确定由时间运动向量与视差运动向量的组合指示的图片是否包含于经解码图片缓冲器中。在一些实例中，即使潜在时间视差参考图片包含于经解码图片缓冲器中，视频解码器30还可进一步确定所述图片是否包含于用于视差参考块的一或多个参考图片列表中。
如果潜在时间视差参考图片包含于经解码图片缓冲器(及/或视差参考块的参考图片列表)中，则视频解码器30可执行视角间残差预测过程以预测当前块的残差数据(356)。举例来说，如上文所提及，视频解码器30可确定由第一块的视差向量指示的视差参考块、通过将当前块的运动向量应用于视差参考块而确定时间视差参考块，且基于时间视差参考块与视差参考块之间的差而确定残差预测值。视频解码器30还可将如位流中传信的加权因数应用于残差预测值。
如果潜在时间视差参考图片不包含于经解码图片缓冲器(及/或视差参考块的参考图片列表)中(步骤354的“否”分支)，则视频解码器30可修改视角间残差预测过程(358)。在一些实例中，视频解码器30可通过停用所述过程而修改所述过程。在其它实例中，视频解码器30可选择可用参考图片(包含于经解码图片缓冲器及/或参考图片列表中的参考图片)且相应地缩放时间运动向量。
在任一状况下，视频解码器30接着可使用经解码运动向量来预测当前块(360)。视频解码器30接着可反扫描所再生的系数(362)，以产生经量化变换系数块。视频解码器30接着可反量化及反变换系数以产生残差块(364)。视频解码器30可最终通过组合经预测块与残差块而解码当前块(366)。举例来说，在不应用视角间残差预测的实例中，视频解码器30可简单地组合经预测块与经解码残差。在应用视角间残差预测的实例中，视频解码器30可组合经预测块、经解码残差(表示最终残差)与残差预测值。
应认识到，取决于实例，可以不同序列来执行本文所描述的技术中任一者的某些动作或事件，可添加、合并或全部省去所述动作或事件(例如，并非所有所描述动作或事件对于所述技术的实践是必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时地而非循序地执行动作或事件。
已出于说明的目的而关于开发中HEVC标准来描述本发明的某些方面。然而，本发明所描述的技术可有用于其它视频译码过程，包含尚未开发的其它标准或专属视频译码过程。
上文所描述的技术可由视频编码器20(图1及2)及/或视频解码器30(图1及3)执行，视频编码器20及视频解码器30两者通常可被称作视频译码器。同样地，在适用时，视频译码可指视频编码或视频解码。
应理解，取决于实例，可以不同序列来执行本文所描述的方法中任一者的某些动作或事件，可添加、合并或全部省去所述动作或事件(例如，并非所有所描述动作或事件对于所述方法的实践是必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时地而非循序地执行动作或事件。另外，虽然出于清楚的目的而将本发明的某些方面描述为由单一模块或单元执行，但应理解，本发明的技术可由与视频译码器相关联的单元或模块的组合执行。
虽然上文描述所述技术的各种方面的特定组合，但提供这些组合以仅仅说明本发明所描述的技术的实例。因此，本发明的技术应不限于这些实例组合，且可涵盖本发明所描述的技术的各种方面的任何可设想组合。
在一或多项实例中，所描述功能可以硬件、软件、固件或其任何组合予以实施。如果以软件予以实施，则所述功能可作为一或多个指令或程序代码而存储于计算机可读媒体上或经由计算机可读媒体进行发射，且由以硬件为基础的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)，或通信媒体，通信媒体包含(例如)根据通信协议而促进计算机程序从一处传送到另一处的任何媒体。
以此方式，计算机可读媒体通常可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、程序代码及/或数据结构以用于实施本发明所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接被适当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术而从网站、服务器或其它远程源发射指令，则同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。
然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是有关于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合也应包含于计算机可读媒体的范围内。
指令可由例如以下各者的一或多个处理器执行：一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成式或离散逻辑电路系统。因此，本文所使用的术语“处理器”可指上述结构或适合于实施本文所描述的技术的任何其它结构中任一者。另外，在一些方面中，本文所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编码解码器中。而且，所述技术可完全地实施于一或多个电路或逻辑元件中。
本发明的技术可实施于各种各样的装置或设备中，所述装置或设备包含无线手持机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但其未必需要通过不同硬件单元进行实现。实情为，如上文所描述，各种单元可组合于编码解码器硬件单元中，或由交互操作的硬件单元集合(包含如上文所描述的一或多个处理器)结合合适软件及/或固件而提供。
已描述本发明的各种方面。这些及其它方面在所附权利要求书的范围内。

Claims (22)

1.一种译码多层视频数据的方法，所述方法包括：
针对第一时间位点处在第一视角中的视频数据的第一块来确定用于译码所述第一块的一或多个参考图片列表在第二不同时间位点处是否含有至少一个参考图片；
基于确定用于译码所述第一块的所述一或多个参考图片列表在所述第二不同时间位点处不含至少一个参考图片，停用视角间残差预测过程，其中所述视角间残差预测过程包含相对于与不同于所述第一视角的第二视角相关联的第二残差数据来译码用于所述第一块的与所述第一视角相关联的第一残差数据；以及
相对于所述一或多个参考图片列表中的参考图片的视频数据的至少一个参考块来译码视频数据的所述第一块，
其中停用所述视角间残差预测过程包括针对用于所述视频数据块的所述视角间残差预测过程来跳过加权因数的译码。
2.根据权利要求1所述的方法，其中所述视频数据块包括视频数据的译码单元，且其中跳过所述加权因数的译码包括针对所述译码单元及含有所述译码单元的图片的每一其它译码单元来跳过所述加权因数的译码。
3.根据权利要求1所述的方法，其中译码所述第一块包括解码所述第一块，且所述方法进一步包括在跳过所述加权因数的译码时自动地确定出所述加权因数为零。
4.根据权利要求1所述的方法，其中确定所述一或多个参考图片列表是否包含所述第二不同时间位点的至少一个参考图片包括确定含有所述第一块的图片是否为随机存取图片，且其中当含有所述第一块的所述图片为随机存取图片时，所述一或多个参考图片列表不包含所述第二不同时间位点的至少一个参考图片。
5.根据权利要求1所述的方法，其进一步包括：
基于确定用于译码所述第一块的所述一或多个参考图片列表在所述第二不同时间位点含有至少一个参考图片，不停用所述视角间残差预测过程；且
其中相对于所述至少一个参考块来译码所述第一块包括运用所述视角间残差预测过程来译码所述第一块，其中运用所述视角间残差预测过程来译码用于所述第一块的所述残差数据包括：
确定由所述第一块的时间运动向量指示的时间参考块；
确定由所述第一块的视差向量指示的视差参考块；
确定由所述时间运动向量及所述视差向量的组合指示的时间视差参考块；以及
使用所述时间参考块、所述视差参考块及所述时间视差参考块来译码用于所述第一块的所述残差数据。
6.根据权利要求1所述的方法，其中所述一或多个参考图片列表包括第一参考图片列表及第二参考图片列表，其中确定所述一或多个参考图片列表在所述第二不同时间位点处是否含有所述至少一个参考图片包括确定所述第一参考图片列表及所述第二参考图片列表中的任一者在所述第二不同时间位点处是否含有所述至少一个参考图片。
7.一种用于译码多层视频数据的设备，所述设备包括：
存储器，其存储视频数据；以及
一或多个处理器，其经配置以：
针对第一时间位点处的所述视频数据的第一块来确定用于译码所述第一块的一或多个参考图片列表在第二不同时间位点处是否含有至少一个参考图片；
基于确定用于译码所述第一块的所述一或多个参考图片列表在所述第二不同时间位点处不含至少一个参考图片，停用视角间残差预测过程，其中所述视角间残差预测过程包含相对于与不同于第一视角的第二视角相关联的第二残差数据来译码用于所述第一块的与所述第一视角相关联的第一残差数据；以及
相对于所述一或多个参考图片列表中的参考图片的视频数据的至少一个参考块来译码所述视频数据的所述第一块，
其中为了停用所述视角间残差预测过程，所述一或多个处理器经配置以针对用于所述视频数据的所述块的所述视角间残差预测过程来跳过加权因数的译码。
8.根据权利要求7所述的设备，其中所述视频数据块包括视频数据的译码单元，且其中为了跳过所述加权因数的译码，所述一或多个处理器经配置以针对所述译码单元及含有所述译码单元的图片的每一其它译码单元来跳过所述加权因数的译码。
9.根据权利要求7所述的设备，其中为了译码所述第一块，所述一或多个处理器经配置以解码所述第一块，且其中所述一或多个处理器经进一步配置以在跳过所述加权因数的译码时自动地确定出所述加权因数为零。
10.根据权利要求7所述的设备，其中为了确定所述一或多个参考图片列表是否包含所述第二不同时间位点的至少一个参考图片，所述一或多个处理器经配置以确定含有所述第一块的图片是否为随机存取图片，且其中当含有所述第一块的所述图片为随机存取图片时，所述一或多个参考图片列表不包含所述第二不同时间位点的至少一个参考图片。
11.根据权利要求7所述的设备，其中所述一或多个参考图片列表包括第一参考图片列表及第二参考图片列表，且其中为了确定所述一或多个参考图片列表在所述第二不同时间位点处是否含有所述至少一个参考图片，所述一或多个处理器经配置以确定所述第一参考图片列表及所述第二参考图片列表中的任一者在所述第二不同时间位点处是否含有所述至少一个参考图片。
12.根据权利要求7所述的设备，其中所述一或多个处理器经配置以：
基于确定用于译码所述第一块的所述一或多个参考图片列表在所述第二不同时间位点含有至少一个参考图片，不停用所述视角间残差预测过程；且
其中为了相对于所述至少一个参考块来译码所述第一块，所述一或多个处理器经配置以运用所述视角间残差预测过程来译码所述第一块，其中为了运用所述视角间残差预测过程来译码用于所述第一块的所述残差数据，所述一或多个处理器经配置以：
确定由所述第一块的时间运动向量指示的时间参考块；
确定由所述第一块的视差向量指示的视差参考块；
确定由所述时间运动向量及所述视差向量的组合指示的时间视差参考块；以及
使用所述时间参考块、所述视差参考块及所述时间视差参考块来译码用于所述第一块的所述残差数据。
13.根据权利要求12所述的设备，其中为了译码用于所述第一块的所述残差数据，所述一或多个处理器经配置以解码用于所述第一块的所述残差数据，且其中为了解码用于所述第一块的所述残差数据，所述一或多个处理器经配置以：
从经编码位流获得指示用于所述第一块的最终残差的数据；
基于所述视差参考块与所述时间视差参考块之间的差而确定残差预测值；
基于所述最终残差、所述残差预测值及所述时间参考块的组合而重构所述第一块。
14.根据权利要求12所述的设备，其中为了译码用于所述第一块的所述残差数据，所述一或多个处理器经配置以编码用于所述第一块的所述残差数据，且其中为了编码用于所述第一块的所述残差数据，所述一或多个处理器经配置以：
确定包括所述第一块与时间参考块之间的差的第一残差；
确定包括所述视差参考块与所述时间视差参考块之间的差的残差预测值；
基于所述第一残差与所述残差预测值之间的差而确定最终残差；
在位流中编码指示所述最终残差的数据。
15.一种用于译码多层视频数据的设备，所述设备包括：
用于针对第一时间位点处的视频数据的第一块来确定用于译码所述第一块的一或多个参考图片列表在第二不同时间位点处是否含有至少一个参考图片的装置；
用于基于确定用于译码所述第一块的所述一或多个参考图片列表在所述第二不同时间位点处不含至少一个参考图片而停用视角间残差预测过程的装置，其中所述视角间残差预测过程包含相对于与不同于第一视角的第二视角相关联的第二残差数据译码用于所述第一块的与所述第一视角相关联的第一残差数据；以及
用于相对于所述一或多个参考图片列表中的参考图片的视频数据的至少一个参考块来译码视频数据的所述第一块的装置，
其中用于停用所述视角间残差预测过程的所述装置包括用于针对用于所述视频数据块的所述视角间残差预测过程来跳过加权因数的译码的装置。
16.根据权利要求15所述的设备，其中用于确定所述一或多个参考图片列表是否包含所述第二不同时间位点的至少一个参考图片的所述装置包括用于确定含有所述第一块的图片是否为随机存取图片的装置，且其中当含有所述第一块的所述图片为随机存取图片时，所述一或多个参考图片列表不包含所述第二不同时间位点的至少一个参考图片。
17.根据权利要求15所述的设备，其中所述一或多个参考图片列表包括第一参考图片列表及第二参考图片列表，且其中用于确定所述一或多个参考图片列表在所述第二不同时间位点处是否含有所述至少一个参考图片的所述装置包括用于确定所述第一参考图片列表及所述第二参考图片列表中的任一者在所述第二不同时间位点处是否含有所述至少一个参考图片的装置。
18.根据权利要求15所述的设备，其进一步包括：
用于基于确定用于译码所述第一块的所述一或多个参考图片列表在所述第二不同时间位点含有至少一个参考图片而不停用所述视角间残差预测过程的装置；且
其中用于相对于所述至少一个参考块来译码所述第一块的所述装置包括用于运用所述视角间残差预测过程来译码用于所述第一块的所述残差数据的装置，其包括：
用于确定由所述第一块的时间运动向量指示的时间参考块的装置；
用于确定由所述第一块的视差向量指示的视差参考块的装置；
用于确定由所述时间运动向量及所述视差向量的组合指示的时间视差参考块的装置；以及
用于使用所述时间参考块、所述视差参考块及所述时间视差参考块来译码用于所述第一块的所述残差数据的装置。
19.一种非暂时性计算机可读媒体，其具有存储于其上的指令，所述指令在执行时致使一或多个处理器：
针对第一时间位点处的视频数据的第一块来确定用于译码所述第一块的一或多个参考图片列表在第二不同时间位点处是否含有至少一个参考图片；以及
基于确定用于译码所述第一块的所述一或多个参考图片列表在所述第二不同时间位点处不含至少一个参考图片，停用视角间残差预测过程，其中所述视角间残差预测过程包含相对于与不同于第一视角的第二视角相关联的第二残差数据译码用于所述第一块的与所述第一视角相关联的第一残差数据；以及
相对于所述一或多个参考图片列表中的参考图片的视频数据的至少一个参考块来译码视频数据的所述第一块，
其中为了停用所述视角间残差预测过程，所述指令致使所述一或多个处理器针对用于所述视频数据块的所述视角间残差预测过程来跳过加权因数的译码。
20.根据权利要求19所述的非暂时性计算机可读媒体，其中为了确定所述一或多个参考图片列表是否包含所述第二不同时间位点的至少一个参考图片，所述指令致使所述一或多个处理器确定含有所述第一块的图片是否为随机存取图片，且其中当含有所述第一块的所述图片为随机存取图片时，所述一或多个参考图片列表不包含所述第二不同时间位点的至少一个参考图片。
21.根据权利要求19所述的非暂时性计算机可读媒体，其中所述一或多个参考图片列表包括第一参考图片列表及第二参考图片列表，其中为了确定所述一或多个参考图片列表在所述第二不同时间位点处是否含有所述至少一个参考图片，所述指令致使所述一或多个处理器确定所述第一参考图片列表及所述第二参考图片列表中的任一者在所述第二不同时间位点处是否含有所述至少一个参考图片。
22.根据权利要求19所述的非暂时性计算机可读媒体，其中所述指令致使所述一或多个处理器：
基于确定用于译码所述第一块的所述一或多个参考图片列表在所述第二不同时间位点含有至少一个参考图片，不停用所述视角间残差预测过程；且
其中为了相对于所述至少一个参考块来译码所述第一块，所述指令致使所述一或多个处理器运用所述视角间残差预测过程来译码所述第一块，其中为了运用所述视角间残差预测过程来译码用于所述第一块的所述残差数据，所述指令致使所述一或多个处理器：
确定由所述第一块的时间运动向量指示的时间参考块；
确定由所述第一块的视差向量指示的视差参考块；
确定由所述时间运动向量及所述视差向量的组合指示的时间视差参考块；以及
使用所述时间参考块、所述视差参考块及所述时间视差参考块来译码用于所述第一块的所述残差数据。
CN201380063770.4A 2012-12-07 2013-12-06 可缩放及多视角视频译码中的高级残差预测 Active CN104904213B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261734874P 2012-12-07 2012-12-07
US61/734,874 2012-12-07
US14/098,333 2013-12-05
US14/098,333 US9357212B2 (en) 2012-12-07 2013-12-05 Advanced residual prediction in scalable and multi-view video coding
PCT/US2013/073638 WO2014089469A1 (en) 2012-12-07 2013-12-06 Advanced residual prediction in scalable and multi-view video coding

Publications (2)

Publication Number Publication Date
CN104904213A CN104904213A (zh) 2015-09-09
CN104904213B true CN104904213B (zh) 2018-06-01

Family

ID=50880948

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201380063486.7A Active CN104838651B (zh) 2012-12-07 2013-12-06 可缩放及多视角视频译码中的高级残差预测
CN201380063770.4A Active CN104904213B (zh) 2012-12-07 2013-12-06 可缩放及多视角视频译码中的高级残差预测
CN201380063893.8A Active CN104838657B (zh) 2012-12-07 2013-12-06 可缩放及多视角视频译码中的高级残差预测的方法及设备
CN201380063899.5A Active CN104969551B (zh) 2012-12-07 2013-12-06 可缩放及多视角视频译码中的高级残差预测

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380063486.7A Active CN104838651B (zh) 2012-12-07 2013-12-06 可缩放及多视角视频译码中的高级残差预测

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201380063893.8A Active CN104838657B (zh) 2012-12-07 2013-12-06 可缩放及多视角视频译码中的高级残差预测的方法及设备
CN201380063899.5A Active CN104969551B (zh) 2012-12-07 2013-12-06 可缩放及多视角视频译码中的高级残差预测

Country Status (9)

Country Link
US (4) US10136143B2 (zh)
EP (4) EP2929687B1 (zh)
JP (6) JP6367219B2 (zh)
KR (4) KR102195668B1 (zh)
CN (4) CN104838651B (zh)
ES (2) ES2974538T3 (zh)
HU (1) HUE056984T2 (zh)
TW (4) TWI538484B (zh)
WO (4) WO2014089445A1 (zh)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2658263B1 (en) * 2010-12-22 2022-12-14 LG Electronics Inc. Intra prediction method and apparatus using the method
CN108391135B (zh) 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US9729884B2 (en) * 2012-01-18 2017-08-08 Lg Electronics Inc. Method and device for entropy coding/decoding
US10085024B2 (en) * 2012-04-13 2018-09-25 Qualcomm Incorporated Lookup table for rate distortion optimized quantization
WO2014038153A1 (ja) 2012-09-10 2014-03-13 パナソニック株式会社 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置、および、画像符号化復号化装置
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
US10136143B2 (en) 2012-12-07 2018-11-20 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
JP5952733B2 (ja) * 2012-12-28 2016-07-13 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
US20140192881A1 (en) * 2013-01-07 2014-07-10 Sony Corporation Video processing system with temporal prediction mechanism and method of operation thereof
KR20140121315A (ko) 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
US8958477B2 (en) * 2013-04-05 2015-02-17 Vidyo, Inc. Multiple reference layer prediction signaling techniques
CN105103563B (zh) * 2013-04-08 2019-05-21 寰发股份有限公司 关于缩放列表数据信令的方法和装置
JP5894338B2 (ja) * 2013-04-12 2016-03-30 日本電信電話株式会社 映像符号化装置及び方法、映像復号装置及び方法、及びそれらのプログラム
WO2014198222A1 (en) * 2013-06-11 2014-12-18 Mediatek Inc. Method of inter-view residual prediction with reduced complexity in three-dimensional video coding
WO2015005746A1 (ko) * 2013-07-12 2015-01-15 삼성전자 주식회사 잔차 예측을 이용한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR102290091B1 (ko) * 2013-10-14 2021-08-18 한국전자통신연구원 다계층 기반의 영상 부호화/복호화 방법 및 장치
US10972751B2 (en) * 2013-10-17 2021-04-06 Nippon Telegraph And Telephone Corporation Video encoding apparatus and method, and video decoding apparatus and method
WO2015057032A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티 뷰를 포함하는 비디오 부호화/복호화 방법 및 장치
KR20160072105A (ko) * 2013-10-18 2016-06-22 엘지전자 주식회사 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 장치 및 방법
JP6542206B2 (ja) * 2013-10-18 2019-07-10 エルジー エレクトロニクス インコーポレイティド マルチビュービデオをデコードするビデオデコード方法及び装置
JP6469588B2 (ja) * 2013-12-19 2019-02-13 シャープ株式会社 残差予測装置、画像復号装置、画像符号化装置、残差予測方法、画像復号方法、および画像符号化方法
US10110925B2 (en) * 2014-01-03 2018-10-23 Hfi Innovation Inc. Method of reference picture selection and signaling in 3D and multi-view video coding
CN106105190B (zh) * 2014-03-13 2018-11-13 高通股份有限公司 用于3d-hevc的简化高级残余预测
CN105393535B (zh) * 2014-06-24 2018-10-12 寰发股份有限公司 3d视频编码中的视图间先进残差预测方法
WO2015196364A1 (en) 2014-06-24 2015-12-30 Mediatek Singapore Pte. Ltd. Methods for inter-view advanced residual prediction
US9924191B2 (en) * 2014-06-26 2018-03-20 Qualcomm Incorporated Filters for advanced residual prediction in video coding
US10820007B2 (en) * 2015-01-21 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video
EP3254465A1 (en) * 2015-02-05 2017-12-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view video codec supporting residual prediction
CN105872539B (zh) 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
US10506244B2 (en) 2015-03-06 2019-12-10 Qualcomm Incorporated Method and apparatus for video coding using adaptive tile sizes
US10200711B2 (en) 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
US10250904B2 (en) * 2015-05-05 2019-04-02 Avago Technologies International Sales Pte. Limited Apparatus and method for overlapped motion compensation for video coding
KR101780444B1 (ko) * 2015-10-29 2017-09-21 삼성에스디에스 주식회사 영상 신호의 노이즈 제거 방법
US9883137B2 (en) 2015-11-03 2018-01-30 Qualcomm Incorporated Updating regions for display based on video decoding mode
EP3453178A1 (en) * 2016-05-06 2019-03-13 VID SCALE, Inc. Systems and methods for motion compensated residual prediction
CN116708782A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
CN116567212A (zh) * 2016-08-11 2023-08-08 Lx 半导体科技有限公司 编码/解码设备以及发送图像数据的设备
WO2018034373A1 (ko) * 2016-08-19 2018-02-22 엘지전자(주) 영상 처리 방법 및 이를 위한 장치
US10390015B2 (en) * 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
JP6970100B2 (ja) * 2016-09-16 2021-11-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 三次元データ作成方法及び三次元データ作成装置
CN117176948A (zh) 2016-10-04 2023-12-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
EP3349451A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and apparatus for selecting a coding mode used for encoding/decoding a residual block
US12058309B2 (en) * 2018-07-08 2024-08-06 Mellanox Technologies, Ltd. Application accelerator
US20200014945A1 (en) * 2018-07-08 2020-01-09 Mellanox Technologies, Ltd. Application acceleration
US11252464B2 (en) 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
US10432944B2 (en) 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
WO2019068745A1 (en) * 2017-10-02 2019-04-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. EFFECTIVE IMMERSIVE CONTINUOUS DIFFUSION
US10785494B2 (en) * 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
US10931963B2 (en) * 2017-12-07 2021-02-23 Tencent America LLC Method and apparatus for video coding
TWI820195B (zh) 2018-08-28 2023-11-01 大陸商北京字節跳動網絡技術有限公司 分割方法的冗餘移除
EP3850840A1 (en) 2018-09-13 2021-07-21 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Affine linear weighted intra predictions
US10904528B2 (en) * 2018-09-28 2021-01-26 Tencent America LLC Techniques for QP selection for 360 image and video coding
WO2020084462A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on block size
WO2020084552A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidate derivation based on spatial neighboring block in sub-block motion vector prediction
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
EP3888368A4 (en) * 2018-11-27 2022-03-02 OP Solutions, LLC ADAPTIVE TIME REFERENCE IMAGE CROSS-REFERENCE FILTER NOT AVAILABLE TO RELATED APPLICATIONS
CN113228638B (zh) * 2018-12-18 2023-12-26 寰发股份有限公司 在区块分割中条件式编码或解码视频区块的方法和装置
JP7293361B2 (ja) * 2018-12-21 2023-06-19 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 予測コーディングのための補間フィルタ処理の方法および装置
WO2020139169A1 (en) * 2018-12-28 2020-07-02 Huawei Technologies Co., Ltd. Method and apparatus of sharpening interpolation filtering for predictive coding
KR20240005108A (ko) * 2019-01-08 2024-01-11 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 예측 방법, 장치 및 시스템, 디바이스 및 저장 매체
EP3900331A4 (en) 2019-01-12 2022-03-16 Huawei Technologies Co., Ltd. VIDEO ENCODER, VIDEO DECODER AND RELATED MMVD DISTANCE PROCESSING METHODS
CN113366855A (zh) 2019-02-03 2021-09-07 北京字节跳动网络技术有限公司 基于条件的非对称四叉树分割
EP3912341A4 (en) * 2019-05-21 2022-10-19 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR INTER-COMPONENT PREDICTION
WO2020244571A1 (en) 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction using neighboring block information
KR20220016075A (ko) 2019-06-04 2022-02-08 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 모션 후보 리스트 구성 프로세스의 조건부 구현
CN114128295B (zh) 2019-07-14 2024-04-12 北京字节跳动网络技术有限公司 视频编解码中几何分割模式候选列表的构建
CA3148299C (en) 2019-07-26 2024-06-04 Beijing Bytedance Network Technology Co., Ltd. Determination of picture partition mode based on block size
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
US11451802B2 (en) * 2020-04-17 2022-09-20 Tencent America LLC Method and apparatus for point cloud coding
US11438628B2 (en) * 2020-06-03 2022-09-06 Tencent America LLC Hash-based accessing of geometry occupancy information for point cloud coding
US20210409706A1 (en) * 2020-06-30 2021-12-30 Tencent America LLC Low latency cross component intra prediction mode
US11941856B2 (en) * 2020-08-18 2024-03-26 Tencent America LLC Predictive tree-based geometry coding for a point cloud
CN112950570B (zh) * 2021-02-25 2022-05-17 昆明理工大学 一种结合深度学习与密集连续中心点的裂纹检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166282A (zh) * 2006-10-16 2008-04-23 华为技术有限公司 摄像机参数编码传输的方法
WO2009005626A3 (en) * 2007-06-28 2009-05-22 Thomson Licensing Single loop decoding of multi-vieuw coded video
CN101529913A (zh) * 2006-10-24 2009-09-09 汤姆逊许可证公司 用于多视角视频编码的图像标识
CN102006480A (zh) * 2010-11-29 2011-04-06 清华大学 基于视间预测的双目立体视频的编码及解码方法
WO2012007038A1 (en) * 2010-07-15 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid video coding supporting intermediate view synthesis
CN102640496A (zh) * 2009-11-26 2012-08-15 Jvc建伍株式会社 图像编码装置、图像解码装置、图像编码方法及图像解码方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004064255A2 (en) 2003-01-07 2004-07-29 Thomson Licensing S.A. Mixed inter/intra video coding of macroblock partitions
US7822281B2 (en) 2003-10-31 2010-10-26 Canon Kabushiki Kaisha Digital video compression
US7778474B2 (en) 2004-10-06 2010-08-17 Nippon Telegraph And Telephone Corporation Scalable encoding method and apparatus, scalable decoding method and apparatus, programs therefor, and storage media for storing the programs
TW200704202A (en) * 2005-04-12 2007-01-16 Nokia Corp Method and system for motion compensated fine granularity scalable video coding with drift control
KR100728009B1 (ko) 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
JP4528255B2 (ja) 2005-12-06 2010-08-18 日本放送協会 映像復号装置および映像復号プログラム
KR100934674B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US20100091845A1 (en) 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
JP2007336275A (ja) 2006-06-15 2007-12-27 Toshiba Corp 動画像再生装置
CN101473655B (zh) 2006-06-19 2011-06-08 Lg电子株式会社 用于处理多视点视频信号的方法和装置
US20100027615A1 (en) * 2006-10-24 2010-02-04 Purvin Bibhas Pandit Picture identification for multi-view video coding
US8355438B2 (en) * 2006-10-30 2013-01-15 Nippon Telegraph And Telephone Corporation Predicted reference information generating method, video encoding and decoding methods, apparatuses therefor, programs therefor, and storage media which store the programs
CN101415115B (zh) 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
CN102055967B (zh) 2009-10-28 2012-07-04 中国移动通信集团公司 多视点视频的视角切换以及编码方法和装置
US9451197B1 (en) 2010-04-12 2016-09-20 UV Networks, Inc. Cloud-based system using video compression for interactive applications
JP5606625B2 (ja) 2010-07-21 2014-10-15 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ符号化のための高度な動きモデルを使った参照処理
US20130194386A1 (en) 2010-10-12 2013-08-01 Dolby Laboratories Licensing Corporation Joint Layer Optimization for a Frame-Compatible Video Delivery
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
US20140050270A1 (en) 2011-04-26 2014-02-20 Lg Electronics Inc. Method for managing a reference picture list, and apparatus using same
CA2846425A1 (en) 2011-08-30 2013-03-07 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
KR102492490B1 (ko) * 2011-11-11 2023-01-30 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US20130258052A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Inter-view residual prediction in 3d video coding
US9380289B2 (en) * 2012-07-20 2016-06-28 Qualcomm Incorporated Parameter sets in video coding
KR101664758B1 (ko) 2012-09-21 2016-10-10 노키아 테크놀로지스 오와이 비디오 코딩 방법 및 장치
US20140098883A1 (en) 2012-10-09 2014-04-10 Nokia Corporation Method and apparatus for video coding
WO2014075236A1 (en) 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding
US9998760B2 (en) 2012-11-16 2018-06-12 Hfi Innovation Inc. Method and apparatus of constrained disparity vector derivation in 3D video coding
US10136143B2 (en) 2012-12-07 2018-11-20 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166282A (zh) * 2006-10-16 2008-04-23 华为技术有限公司 摄像机参数编码传输的方法
CN101529913A (zh) * 2006-10-24 2009-09-09 汤姆逊许可证公司 用于多视角视频编码的图像标识
WO2009005626A3 (en) * 2007-06-28 2009-05-22 Thomson Licensing Single loop decoding of multi-vieuw coded video
CN102640496A (zh) * 2009-11-26 2012-08-15 Jvc建伍株式会社 图像编码装置、图像解码装置、图像编码方法及图像解码方法
WO2012007038A1 (en) * 2010-07-15 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid video coding supporting intermediate view synthesis
CN102006480A (zh) * 2010-11-29 2011-04-06 清华大学 基于视间预测的双目立体视频的编码及解码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3D-HEVC Test Model 1;Gerhard Tech;《Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20120720;全文 *

Also Published As

Publication number Publication date
US10334259B2 (en) 2019-06-25
JP2018067940A (ja) 2018-04-26
EP2929687A1 (en) 2015-10-14
US20140161175A1 (en) 2014-06-12
EP2929686A1 (en) 2015-10-14
US20140161187A1 (en) 2014-06-12
EP2929689A1 (en) 2015-10-14
CN104969551A (zh) 2015-10-07
JP2016503971A (ja) 2016-02-08
JP6552964B2 (ja) 2019-07-31
CN104838651B (zh) 2018-11-09
TW201440496A (zh) 2014-10-16
EP2929687B1 (en) 2021-12-01
US9948939B2 (en) 2018-04-17
WO2014089453A1 (en) 2014-06-12
EP2929686C0 (en) 2024-03-06
JP6605565B2 (ja) 2019-11-13
US20140161189A1 (en) 2014-06-12
EP2929689B1 (en) 2021-03-24
US10136143B2 (en) 2018-11-20
TW201440492A (zh) 2014-10-16
JP6367219B2 (ja) 2018-08-01
WO2014089461A1 (en) 2014-06-12
CN104838657B (zh) 2018-06-05
JP2016504846A (ja) 2016-02-12
US9357212B2 (en) 2016-05-31
CN104838657A (zh) 2015-08-12
JP2016504845A (ja) 2016-02-12
JP2016503972A (ja) 2016-02-08
KR102210174B1 (ko) 2021-01-29
HUE056984T2 (hu) 2022-04-28
EP2929685B1 (en) 2021-03-31
ES2901937T3 (es) 2022-03-24
EP2929685A1 (en) 2015-10-14
CN104904213A (zh) 2015-09-09
TWI538482B (zh) 2016-06-11
TWI538481B (zh) 2016-06-11
KR20150093722A (ko) 2015-08-18
JP6545852B2 (ja) 2019-07-17
US20140161188A1 (en) 2014-06-12
KR20150093723A (ko) 2015-08-18
KR20150092222A (ko) 2015-08-12
TW201440497A (zh) 2014-10-16
EP2929686B1 (en) 2024-03-06
TWI519137B (zh) 2016-01-21
ES2974538T3 (es) 2024-06-27
CN104969551B (zh) 2018-11-23
KR102126600B1 (ko) 2020-06-24
JP6275736B2 (ja) 2018-02-07
JP6333839B2 (ja) 2018-05-30
TW201440494A (zh) 2014-10-16
JP2018129838A (ja) 2018-08-16
KR102195668B1 (ko) 2020-12-28
TWI538484B (zh) 2016-06-11
CN104838651A (zh) 2015-08-12
KR102085395B1 (ko) 2020-03-05
WO2014089469A1 (en) 2014-06-12
WO2014089445A1 (en) 2014-06-12
KR20150092223A (ko) 2015-08-12

Similar Documents

Publication Publication Date Title
CN104904213B (zh) 可缩放及多视角视频译码中的高级残差预测
CN104170380B (zh) 视频译码中的视差矢量预测
CN105556969B (zh) 视频译码中使用视差向量的块识别
CN104769949B (zh) 用于视差向量导出的图片的选择的方法和装置
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN104904218B (zh) 视差矢量推导
CN106797479B (zh) 对于并行处理的帧内块复制预测限制
JP6356236B2 (ja) 深度指向性のビュー間動きベクトル予測
CN105379288B (zh) 处理对视频译码的照明补偿
CN106471806B (zh) 3d-hevc中的简化移位合并候选者及合并列表导出
CN104335589B (zh) 用于视频译码的视图间预测的视差向量产生
CN105637870B (zh) 使用不对称运动分割的视频译码技术
CN104170381B (zh) 在高效率视频译码及其扩展中的运动矢量译码及双向预测
CN104303502B (zh) 对多视图视频数据进行编码、解码和译码的方法、装置及计算机可读存储介质
CN105027571B (zh) 三维视频译码中导出的视差向量
CN104584558B (zh) 用于3d视频的视图间预测的运动向量
CN110100436A (zh) 使用导出色度模式译码视频数据
CN105009592B (zh) 用于3d-avc中的基于相邻块的视差向量导出的方法和装置
CN110383839A (zh) 仿射运动信息导出
CN107534766A (zh) 于视频译码中针对子块推导运动信息
CN105580374B (zh) 一种对多层视频数据进行编解码的方法、视频解码设备及存储媒体
CN106105190B (zh) 用于3d-hevc的简化高级残余预测
CN105393539A (zh) 用于纹理及深度译码的子pu运动预测

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant