CN105122805B - 针对多层视频编码的层间参考图片增强的设备 - Google Patents

针对多层视频编码的层间参考图片增强的设备 Download PDF

Info

Publication number
CN105122805B
CN105122805B CN201480020203.5A CN201480020203A CN105122805B CN 105122805 B CN105122805 B CN 105122805B CN 201480020203 A CN201480020203 A CN 201480020203A CN 105122805 B CN105122805 B CN 105122805B
Authority
CN
China
Prior art keywords
block
picture
ilr
base
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480020203.5A
Other languages
English (en)
Other versions
CN105122805A (zh
Inventor
贺玉文
叶琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Priority to CN201910879998.XA priority Critical patent/CN110855994B/zh
Publication of CN105122805A publication Critical patent/CN105122805A/zh
Application granted granted Critical
Publication of CN105122805B publication Critical patent/CN105122805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频设备可以生成增强型层间参考(E‑ILR)图片以协助预测可伸缩比特流的增强层图片。E‑ILR图片可以包括一个或多个E‑ILR块。E‑ILR块可以使用差分方法、剩余方法、双向预测方法和/或单向预测方法来生成。视频设备可以确定第一时间实例。所述视频设备可以从由所述第一时间实例表征的增强层图片的块中减去由所述第一时间实例表征的第一基层图片的块以生成由所述第一时间实例表征的差分块。所述视频设备可以执行对差分块的运动补偿并且将运动补偿后的差分块图片添加到由所述第二时间实例表征的第二基层图片的块上以生成E‑ILR块。

Description

针对多层视频编码的层间参考图片增强的设备
相关申请的交叉引用
本申请要求2013年4月5日提交的美国临时专利申请No.61/809,115， 2013年4月16日提交的美国临时专利申请No.61/812,687以及2013年7月 11日提交的美国临时专利申请No.61/845,318的权益，所述申请的内容通过引用结合于此。
背景技术
在过去的二十多年，数字视频压缩技术已经被开发并且标准化以使得能够进行有效数字视频通信、分发和消费。大多数商业上广泛部署的标准由ISO/IEC和ITU-T开发，诸如MPEG-2和H.264(MPEG-4部分10)。由于视频压缩技术的出现和成熟，开发了高效视频编码(HEVC)。
随着智能电话和平板电脑两者在分辨率和计算能力上的增长，附加的视频应用，诸如视频聊天、移动视频记录和共享以及视频流传送需要在多样环境中进行视频传输。考虑各种消费者设备(例如PC、智能电话、平板电脑、 TV等)的场景，诸如3屏和N屏，可以允许在计算能力、内存/存储大小、显示分辨率、显示帧速率等方面上由广泛不同能力的设备上的视频消费。网络和传输信道在分组丢失率、可用信道带宽、突发差错率等方面上具有广泛不同的特性。视频数据可以在有线网络和无线网络的组合上传送，这进一步使得潜在的传输信道特性复杂化。
可伸缩(scalable)视频编码提供了改善在多样网络上在具有不同能力的设备上运行的视频应用体验质量的方案。可伸缩视频编码可以以最高表述 (representation)(例如时间分辨率、空间分辨率、质量等)编码信号一次，并且使得能够根据在客户端设备上运行的应用所需要的特定速率和表述从视频流的子集中解码。可伸缩视频编码相比于非可伸缩方案节省带宽和存储。视频标准，诸如但不限于MPEG-2视频、H.263、MPEG4视觉和H.264，具有支持可伸缩的一些模式的工具和/或简档。
发明内容
提供了用于实现视频编码方法的系统、方法和设施。视频设备(例如其可以包括编码器和/或解码器)可以生成包括一个或多个层间参考(E-ILR) 块的E-ILR图片，从而例如协助预测可伸缩比特流的增强层(EL)图片(例如和/或EL块)。视频设备可以接收E-ILR使能标记，该E-ILR使能标记例如可以指示解码器来执行E-ILR处理。例如视频设备可以使用差分增强方法生成E-ILR块。视频设备可以包括被配置成执行以下中的一者或多者的处理器。所述处理器可以基于与由第二时间实例表征的第二基层图片相关联的基层运动信息确定第一时间实例。所述基层运动信息包括下采样基层块和/或上采样基层块的运动信息类别和/或运动向量。
所述处理器可以从由所述第一时间实例表征的增强层图片的块中减去由所述第一时间实例表征的第一基层图片的块以生成由所述第一时间实例表征的差分块。所述第一基层图片的块可以是第一基层图片的上采样块或下采样块。所述处理器可以在所述差分块上执行运动补偿。所述运动补偿可以例如根据基层和增强层之间的空间速率使用与第二基层图片的块相关联的基层运动信息(例如伸缩的基层运动信息)在差分块上执行。
所述处理器可以将运动补偿后的差分块乘以权重。所述权重大于或等于零且小于或等于1。所述处理器给运动补偿后的差分块添加偏移。所述处理器可以将运动补偿后的差分块添加到由所述第二时间实例表征的第二基层图片的块上以生成由所述第二时间实例表征的E-ILR块。所述第二基层图片的块可以是第二基层图片的上采样块或下采样块。所述处理器可以生成包括 E-ILR块的由第二时间实例表征的E-ILR图片。所述处理器可以使用由第二时间实例表征的E-ILR图片和/或上采样基层图片来预测由所述第二时间实例表征的增强层图片。
视频设备可以使用剩余增强方法来生成E-ILR块。视频设备可以包括被配置成执行以下中的一者或多者的处理器。所述处理器可以基于与由第二时间实例表征的第二基层图片相关联的基层运动信息确定第一时间实例。
所述处理器可以从所述第二基层图片的块中减去由所述第一时间实例表征的第一基层图片的块以生成剩余。所述处理器可以在剩余上执行运动补偿。所述运动补偿可以使用与第二基层图片相关联的基层运动信息而在剩余上执行。所述处理器可以将所述剩余乘以权重。所述处理器给所述剩余添加偏移。
所述处理器将所述剩余添加到由所述第一时间实例表征的增强层图片的块上以生成由所述第二时间实例表征的增强型层间参考(E-ILR)块。所述处理器可以生成包括所述E-ILR块的由所述第二时间实例表征的E-ILR图片。所述处理器可以使用由第二时间实例表征的E-ILR图片和/或上采样基层图片来预测由所述第二时间实例表征的增强层图片。第一基层图片的块可以是第一基层图片的上采样块或下采样块。第二基层图片的块可以是第二基层图片的上采样块或下采样块。
视频设备可以使用双向预测生成层间参考块(例如E-ILR块)。视频设备可以包括被配置成执行以下中的一者或多者的处理器。所述处理器可以基于与由第三时间实例表征的第三基层图片相关联的第一基层运动信息确定第一时间实例。所述处理器可以基于与由第三时间实例表征的第三基层图片相关联的第二基层运动信息确定第二时间实例。所述处理器可以使用由所述第一时间实例表征的第一基层图片的块和由所述第二时间实例表征的第二基层图片的块来生成由所述第三时间实例表征的增强型层间参考(E-ILR) 块。所述第一基层图片的块可以是第一基层图片的上采样块或下采样块。所述第二基层图片的块可以是第二基层图片的上采样块或下采样块。
所述处理器可以被配置成将所述第一基层图片的块添加到所述第二基层图片的块以创建组合基层块来生成E-ILR块。所述处理器可以将组合基层块除以二以生成平均基层块。所述处理器可以将由所述第一时间实例表征的第一增强层图片的块添加到由第二时间实例表征的第二增强层图片的块以创建组合增强层块。所述处理器将所述组合增强层块除以二以生成平均增强层块。所述处理器将平均基层块从平均增强层块中减去以生成差分块。所述处理器可以在差分块上执行运动补偿。所述处理器将运动补偿后的差分块乘以权重。所述处理器将运动补偿后的差分块添加到由第三时间实例表征的基层图片的块以生成E-ILR块。所述第三基层图片的块可以是第三基层图片的上采样块或下采样块。
附图说明
图1是具有N层的示例可伸缩视频编码系统的图示。
图2是针对使用多层视频编码的立体(例如2视图)视频编码的时间和层间预测的示例的图示。
图3是示例单层编码器的图示。
图4是示例单层解码器的图示。
图5是示例两层可伸缩编码器的图示。
图6是示例两层可伸缩解码器的图示。
图7是层间图片(ILP)处理和管理单元的示例的图示。
图8是层间参考图片的示例布置的图示。
图9是使用单向预测编码块生成E-ILR块的示例的图示。
图10是使用差分图片和单向预测编码快生成E-ILR块的示例的图示。
图11是使用双向预测编码块生成E-ILR块的示例的图示。
图12是建立针对单向预测模式将参考索引映射到权重列表中的索引的查找表的示例的流程图。
图13是建立针对双向预测模式将参考索引映射到权重列表中的索引的查找表的示例的流程图。
图14是计算针对单向预测模式的权重估计的示例的流程图。
图15是计算针对双向预测模式的权重估计的示例的流程图。
图16是用于ILR增强的基于区域的权重的示例的图示。
图17是在参考图片列表中的增强ILR图片的示例布置的图示。
图18是用于块模式编码的扫描模式的示例图示。
图19是利用水平扫描编码的2D地图的示例图示。
图20A是可以在其中实现一个或多个所公开的实施方式的示例通信系统的系统图。
图20B是示例无线发射/接收单元(WTRU)的系统图，其中所述WTRU 可以在如图20A所示的通信系统中使用。
图20C是示例无线电接入网络和示例核心网络的系统图，其中所述示例核心网络可以在如图20A所示的通信系统中使用。
图20D是另一示例无线电接入网络和另一示例核心网络的系统图，其中所述示例核心网络可以在如图20A所示的通信系统中使用。
图20E是另一示例无线电接入网络和另一示例核心网络的系统图，其中所述示例核心网络可以在如图20A所示的通信系统中使用。
具体实施方式
现在参照各种附图对示例实施方式进行具体地描述。然而本描述提供了可能实施方式的具体示例，应当理解的是这些细节意在示例性并且绝不限制本申请的范围。此外，附图描述了意在示例性的流程图。其它实施方式被使用。所述消息的次序可以在合适时变化。如果不需要所述消息时，则可以删除该消息，并且可以增加附加流。
视频标准，诸如但不限于MPEG-2视频、H.263、MPEG4视觉和H.264，可以具有支持可伸缩的一些模式的工具和/或简档。高效视频编码(HEVC) 可伸缩扩展可以支持空间伸缩(例如可伸缩比特流包括多于一种空间分辨率的信号)和/或质量伸缩(例如可伸缩比特流包括多于一种质量级别的信号)。 MPEG可以支持视图伸缩(例如可伸缩比特流包括2D和3D视频信号)。
图1是具有N层的示例可伸缩视频编码系统100的图示。由层1(例如基层)表示的空间和/或时间信号分辨率可以在下采样器101处由输入视频信号120的下采样来生成。在编码器121的编码阶段，量化器(例如Q1)的适当设置可以导致编码后的基层比特流122的特定质量级别。为了编码一个或多个较高层，例如基层重构(例如Y1)，可以在对较高层的编码和/或解码中使用较高层分辨率级别的近似。编码后的基层可以由解码器123解码以创建基层重构信号。上采样单元110可以执行基层重构信号到层2的分辨率的上采样。上采样后的基层重构信号可以随后从输入视频信号120的下采样版本中减去。例如，输入视频信号120可以在下采样器102处被下采样并且随后上采样后的基层重构信号可以在124从下采样后的输入视频信号中减去以生成差分信号。差分信号可以在层2编码器125处被编码以创建层2比特流 126。下采样和上采样可以通过每个层(例如层1,2，…N)来执行。下采样和上采样率可以根据两个给定层之间的伸缩维度而有所不同。
如图1所示，对于较高层n(例如2≤n≤N)，差分信号可以通过将上采样后的较低层信号(例如层n-1信号)从当前层n信号中减去来生成，并且差分信号可以被编码。如果由两个层(例如n1和n2)表示的视频信号具有相同空间分辨率，则对应的下采样和上采样操作可以被绕过。层n(例如1≤ n≤N)或者多个层可以在不使用来自较高层的解码信息的情况下被解码。依据对除了基层之外的每个层的剩余信号(例如两个层之间的差分信号)的编码，如由在图1中的系统中所使用的，会引发视觉伪像。视觉伪像可以由量化和/或归一化剩余信号以限制其动态范围的过程、在对剩余进行编码期间执行的附加量化和/或因为在剩余信号中的运动估计与常规运动估计不同而引发。
可伸缩视频编码(SVC)是H.264的扩展，其使得能够进行部分比特流的编码、传输和/或解码以提供具有较低时间分辨率、较低空间分辨率、降低的保真度和/或类似的，而例如同时给定该部分比特流的速率，保留相对高的重构质量。SVC的设计特征可以被称作单循环解码。在单循环解码中，SVC 解码器可以在正被解码的层建立运动补偿循环，并且在其他较低层不必建立运动补偿循环。例如，如果比特流包括两层，层1(例如基层)和层2(例如增强层)，并且解码器重构层2视频，则解码后的图片缓冲和/或运动补偿后的预测可以针对层2建立(例如不针对层1，层2依赖的基层)。SVC可以不必具有来自较低层的将被完全重构的参考图片。这种建立可以降低解码器处的计算复杂性和/或存储复杂性。单循环解码可以通过受限的层间纹理预测来实现，其中例如对于给定层中的当前块，如果相应较低层块在受约束的内部模式中编码，在来自较低层的空间纹理预测可以被允许。当较低层块在内部模式中编码时，其可以被重构，无需运动补偿操作和/或解码后的图片缓冲。
SVC可以使用附加层间预测，诸如来自较低层的运动向量预测、剩余预测、模式预测等，从而例如提高增强层的率失真效率。层间预测可以指图片级ILP、块级ILP和/或类似的。尽管单循环解码可以降低解码器处的计算复杂性和/或存储复杂性，但是单循环解码通过严重依赖块级层间预测方法来达到满意的性能增加了实现复杂性。为了补偿由强加单循环解码限制引起的性能代价，编码器设计和计算复杂性会被增加由此达到期望的性能。
多视图视频编码(MVC)是H.264的扩展。MVC可以提供视图伸缩。在视图伸缩中，基层比特流被解码以重构常规2D视频。附加增强层可以被解码以重构相同视频信号的其他视图表示。当每个视图被组合到一起并且由合适的3D显示来显示时，用户可以例如以适当的深度感知体验3D视频。
图2是针对使用MVC来编码具有左视图(例如层1)201和右视图(例如层2)202的立体视频的示例预测结构200的图示。图2中左视图视频201 可以利用IBBP预测结构被编码。右视图视频202可以利用IBBP预测结构被编码。在右视图202中，与左视图201中的第一I图片204共存的第一图片203可以被编码为P图片。右视图202中的其他图片可以被编码为B图片，例如第一预测来自右视图202的时间参考，并且第二预测来自左视图201的层间参考。立体3D TV(例如使用3D眼镜)可以显示3D内容(例如电影、体育直播等)。不像SVC，MVC可以不支持单循环解码特征。对右视图(例如层2)视频202解码可以使用可用的左视图(例如层1)视频201中的图片，例如如图2中所示。由此，运动补偿循环可以在两个视图/层中执行。 MVC可以包括高级别语义改变和/或不包含对H.264/AVC的任何块级改变。 MVC可以通过扩展图2中的示例来支持对多于两个视图的编码从而执行多个视图间的层间预测。
3D视频(例如立体3D视频)可以包括两个视图，例如左视图和右视图。立体3D视频内容传递可以通过将两个视图封包和/或复用到一个帧(例如其可以被称作帧兼容)中并且利用标准(例如H.264/AVC)压缩和传送被封包的视频来实现。在接收机侧，在解码后，帧可以被解包和显示为两个视图。视图的复用可以在时间域和/或空间域中执行。当在空间域中执行时，两个视图可以由因子2空间下采样并且通过各种布置来封包以例如维持相同的图片大小。例如，并排布置可以将下采样后的左视图放在图片的左半边并且将下采样后的右视图放在图片的右半边。其他布置可以包括顶和底、逐行、棋牌等等。特定布置可以被用于实现帧兼容3D视频并且通过帧封包布置SEI消息来传达。尽管这种布置可以利用带宽需求上最小的增量(例如，可能会有一些增加，因为被封包的帧可能难以压缩)实现3D传递，空间下采样可能会造成视图上的混淆，并可能会降低3D视频的视觉质量和用户体验。可伸缩扩展可以被提供给帧兼容(例如两个视图被封包到相同帧中)基层视频，以及一个或多个增强层被提供从而为改善的3D体验恢复全分辨率视图。使得能够进行全分辨率MFC的潜在技术可以被关联到空间伸缩技术。
3D可伸缩视频编码，其称作3DV，可以被提供。自动立体显示和应用可以允许没有眼镜情况下的3D体验。为了实现没有眼镜情况下的3D体验，需要多于两个视图。编码多个视图(例如9个视图或10个视图)可能很昂贵。对具有相对大的差距的更少视图(例如2或3个视图)与提供视图的深度信息的深度地图一起编码的混合方法可以被提供。在显示侧，被编码的视图和深度地图可以被解码，剩余视图可以使用解码后的视图和使用视图综合技术的其深度地图来生成。3DV可以使用各种方法，例如使用H.264/AVC、 MVC和或HEVC标准的组合来编码视图和深度地图。基层可以利用一种标准(例如H.264/AVC)被编码并且一个或多个增强层可以利用另一标准(例如HEVC)编码。
表1描述了此处讨论的伸缩的类型，以及支持这些伸缩的相应标准。如表1中描述，比特-深度伸缩和色度格式伸缩可以被绑定到视频格式(例如高于8比特视频和高于YUV4:2:0的色度采样格式)。
表1
伸缩 示例
视图伸缩 2D→3D(例如2个或更多个视图)
空间伸缩 720p→1080p
质量(SNR)伸缩 35dB→38dB
时间伸缩 30fps→60fps
标准伸缩 H.264/AVC→HEVC
比特-深度伸缩 8比特视频→10比特视频
色度格式伸缩 YUV4:2:0→YUV4:2:2,UV4:4:4
纵横比伸缩 4:3→16:9
提供了各种设计用于HEVC可伸缩扩展。例如，HEVC可伸缩扩展可以是基于层间参考(ILR)图片(例如其可以被称作RefIdx)和/或基于ILR块 (例如，其可以被称作IntraBL)。RefIdx可以添加层间预测(ILP)过程以生成层间参考图片。RefIdx可能不使用低级别改变用于增强层(EL)编码和 /或解码过程。EL编解码器设计可以再次使用单层HEVC编解码器，例如进行一些高级别改变(例如参考列表构造)。IntraBL可以在编码块级别添加编码模式以利用来自基层的包括重构的图片和运动的信息。
在基于层间预测的过程(例如其可以是RefIdx的过程)中，一个或多个层间参考(ILR)图片可以从一个或多个基层(BL)重构图片中生成。ILR 图片可以被标记为用于EL编码和解码的长期参考图片。ILP过程可以包括将BL重构图片上采样到EL的分辨率。ILP过程可以包括将BL运动信息 (例如时间上共存的BL图片的)映射到ILR图片的那些上。各种技术，诸如但并不限于交叉平面滤波、边缘引导的处理等等，可以被用于改善上采样后的ILR图片质量。运动映射技术可以被用于改善被用于EL的运动预测的 ILR图片的运动信息。ILR图片可以被用于预测例如共存(例如时间共存) EL图片之类的EL图片的预测。
ILR图片的高频信号由于在BL处丢失并由此不被包括在上采样后的BL 参考图片中的高频信息，可能不会通过使用上采样后的BL重构图片(例如仅BL重构图片)来恢复。丢失的高频信息可能由于当生成BL源图片(例如在编码器侧)时，例如在两个层具有不同的空间分辨率时，对输入视频流从高分辨率信号到基层的分辨率的降采样。丢失的高频信息可能由于当编码来自输入视频流的BL时执行的量化。在EL处的时间重构图片可以具有高频信息(例如高频信息的一部分)。由此，高频信息可以使用EL时间重构图片来恢复。
RefIdx框架中的差分编码可以被使用。差分图片可以通过从重构的EL 图片(例如共存重构EL图片)中减去上采样后的BL图片来生成。差分图片可以被插入到EL参考图片列表中。差分编码可以使用例如如此处描述的加权预测。差分图片可以不同于通过将基层图片上采样到EL的分辨率而生成的参考图片。差分图片可以被用于差分编码模式(例如仅用于差分编码模式)。由于参考列表的大小限制，编码器可以被限于其能够应用的差分图片的数目。组合层间预测和EL间预测的预测方法可以被使用。组合层间预测和EL间预测的预测方法可以基于IntraBL方案和/或可能需要针对EL编码的块级改变。
方法、系统和设施提供了通过组合例如上采样后的BL图片和具有运动补偿的时间重构的EL图片来增强层间参考图片。当增强的层间参考图片例如通过将其标记为长期参考而被视作正常参考图片时，RefIdx框架可以被使用。
图3为示例基于块的单层视频编码器300的框图。单层编码器300可以利用空间预测(例如内部预测)和/或时间预测(例如中间预测和/或运动补偿的预测)来预测输入视频信号以实现有效的压缩。编码器300可以诸如逐块地接收输入视频流302。例如，编码器可以将输入视频流301的一个或多个图片分割成块并且诸如逐一地编码一个或多个块。编码器300可以发送输入视频302的视频块至模式决定和其它编码器控制逻辑单元340、空间预测单元330和/或运动预测单元332。模式决定逻辑单元340可以被用来诸如根据特定标准例如速率和/或失真考虑确定最合适的预测形式。
编码器300可以使用输入视频流302和预测信号338(例如，预测块) 的视频块在加法器316处生成预测剩余318。预测信号318可以诸如基于针对当前块的确定预测形式由模式决策逻辑单元340来确定。预测剩余318可以为输入信号302和预测信号338之间的差异信号。
编码器300可以分别在变换单元304和量化单元306转换并量化预测剩余318。通过变换量化预测剩余318，编码器300可以生成剩余系数块324。剩余系数块324可以被称作量化的剩余。剩余系数块324可以与模式信息(例如，内部或中间预测)、运动信息和/或预测信息(例如，运动向量、参考图片索引、内部预测模式等)328一起合并并且在熵编码器308处压缩。运动信息可以包括块的运动信息类别(例如，与运动信息关联的参考图片索引) 以及块的运动向量(例如，运动量)。熵编码器308可以使用剩余系数块324 和编码模式、运动信息和/或预测信息328。输出视频比特流320可以包括多个图片的编码的信息。图片可以包括一个或多个块或一个或多个大小。所述块可以为任意大小，诸如64x64、32x32、16x16、8x8、4x4、矩形等。
编码器300可以通过应用310处的反向量化和312处的反向变换到量化后的剩余324来获取重构后的剩余以及将加法器322处的重构后剩余加到预测信息326(例如，预测块)的方式生成重构后的视频信息342(例如，重构后的视频块)。重构后的视频信号342可以被称作未过滤的重构的信号。重构后的视频信号342可以被提供给空间预测单元330。重构后的视频信号 342可以在环路滤波器单元336处经过环路滤波器过程(例如，去块滤波器、采样自适应偏移、自适应环路滤波器和/或等等)。过滤后的重构的视频信号 344可以被存储在诸如参考图片库334以被用来预测未来视频信号。参考图片库334可以参考解码的图片缓存(DPB)。参考图片库334可以提供过滤的重构视频信号344给运动预测单元332诸如以为了预测输入视频302的随后块。
图4为示例基于块的单层解码器400的图示。解码器400可以接收诸如已经由图3的编码器300所产生视频比特流402(例如，可以为比特流320)。视频比特流402可以包括多个图片的编码的信息。图片可以包括一个或多个块或一个或多个大小。所述块可以为任意大小，诸如64x64、32x32、16x16、 8x8、4x4、矩形等。解码器400可以重构将被显示的视频信号。在视频解码器400处，比特流402可以被熵解码器404解析成生成剩余系数406和/或与编码模式、预测模式和运动信息408有关的信息。剩余系数406可以在410 处反向量化并且在412处反向变换以获得重构后的剩余426。
编码模式、预测模式和运动信息408可以经由空间预测单元424使用空间预测和/或经由比特流402的视频块(例如，相同或不同视频块)的时间预测单元422使用时间预测来获得预测信号430。预测信号430和重构后的剩余426可以在加法器414处被相加以生成重构后的视频信号428。重构后的视频信号428可以被提供给空间预测单元424。重构后的视频可以被循环滤波单元416滤波以生成滤波后的重构视频信号418。滤波后的重构视频信号 418可以被存储在参考图片库420中。滤波后的重构视频信号418可以被显示和/或被用来解码视频信号块(例如，比特流402)。
图5为示例两层可伸缩视频编码器500的图示。两层可伸缩视频编码器 500可以包括层间预测。层间预测指图片级ILP、块级ILP和/或等等。在图 5中，增强层视频输入502可以被接收。增强层视频输入502可以在下行采样单元504处下采样以生成基层视频输入506。基层编码器508(例如，HEVC 编码器)可以对基层视频输入506(例如，逐个块、逐个图片等)进行编码并且生成基层比特流510。视频编码器300可以为基层编码器508的示例。基层编码器508可以发送基层信息512(例如，编码模式信息、预测模式信息和/或运动信息)至层间预测处理以及管理单元514。基层编码器508可以在基层解码的图片缓存522中存储基层重构后的图片(例如，比特流的一个或多个图片)。基层编码器508可以使用从解码后的图片缓存522和/或基层信息512中提取的图片以编码基层输入506并且生成基层比特流510。
增强层编码器516可以接收增强层视频输入502。增强层视频输入502 可以为比基层视频输入506更高的空间分辨率和/或更高的其它视频参数值。增强层编码器516可以使用增强层视频输入502生成增强层比特流518。增强层编码器516可以诸如通过使用空间预测和/或时间预测以与基层视频编码器508大致类似的方式生成EL比特流518以实现压缩。增强层编码器516 可以发送增强层信息520(例如，编码模式信息、预测模式信息和/或运动信息)至层间预测处理和管理单元514。增强层编码器516可以在增强层解码后的图片缓存524中存储增强层重构后的图片(例如，比特流的一个或多个图片)和/或增强层信息520。增强层编码器516可以使用从解码后的图片缓存524和/或增强层信息520中提取的图片来编码增强层输入502并且生成增强层比特流518。
增强层编码器516可以执行层间预测(ILP)以改进其编码性能。增强层编码器516可以通过来自层间预测处理和管理单元514的协助执行ILP。例如，层间预测处理和管理单元514可以提供使用基层视频输入506生成的一个或多个参考图片以提供参考图片至解码后的图片缓存524。并不像基于当前增强层中的编码的视频信号提取预测信号的空间和时间预测，层间预测可以基于编码的视频信号从基层输入506中提取预测信号(例如，和/或当在可伸缩系统中多于两个层时的其它较低层)。图片级ILP和/或块级ILP可以被编码器500使用。比特流复用器528可以合并基层比特流510和增强层比特流518以生成可伸缩比特流530。可伸缩比特流530可以包括多个图片。图片可以包括一个或多个块或一个或多个大小。这些块可以为任意大小，诸如，64x64、32x32、16x16、8x8、4x4、矩形等。
图6为示例两层可伸缩视频解码器600的图示。解码器600可以对应于可伸缩编码器500。解码器600可以接收可伸缩比特流602。可伸缩比特流 602可以包括多个图片。图片可以包括一个或多个图片或一个或多个大小。这些块可以为任意大小，诸如，64x64、32x32、16x16、8x8、4x4、矩形等。解码器600可以提供可伸缩比特流602给解复用器604。解复用器604可以将可伸缩比特流602分割成基层比特流606和增强层比特流610。解复用器 604还可以发送层间预测信息614至层间预测处理和管理单元616。
基层解码器608可以接收基层比特流606。解码器400可以为基层解码器608的示例。基层解码器608可以解码基层比特流606并生成重构的基层视频622。基层解码的图片缓存618可以存储诸如基层视频622的一个或多个图片以协助基层解码器608解码基层比特流606。基层解码的图片缓存618 可以提供与基层视频622(例如，上采样的基层图片)有关的信息给层间预测处理和管理单元616。
增强层解码器612可以接收增强层比特流610。增强层解码器612可以使用来自当前层和/或一个或多个其独立层(例如，基层)诸如经由ILP的信息解码增强层比特流610。增强层解码器可以解码增强层比特流610以生成重构后的增强层视频624。增强层解码后的图片缓存620可以存储增强层视频624的一个或多个图片和/或来自诸如层间预测处理和管理单元616的一个或多个层间图片以协助增强层解码器612解码增强层比特流610。
图7是示例层间预测(ILP)处理和管理单元700的图示。ILP处理和管理单元514和616是ILP处理和管理单元700的示例。ILP处理和管理单元 700可以接收增强层视频输入702。增强层视频输入702可以被用作ILP处理单元704的优化目标。ILP处理和管理单元700可以提供增强层视频702 给ILP处理单元704和/或ILP管理单元706。ILP处理单元704可以接收来自基层DPB 708的基层图片和/或增强层图片710。
ILP处理单元704可以生成一个或多个(例如两个)层间参考(ILR) 图片712。ILR图片可以由编码器和/或解码器使用以编码和/或解码当前EL 图片。ILR图片可以是通过上采样共存的BL重构图片716生成的ILR图片。通过上采样共存BL重构图片生成的ILR图片可以被称作正常ILR图片。ILR 图片可以是增强型层间参考(E-ILR)图片。E-ILR图片可以通过组合时间 EL重构图片和正常ILR图片来生成。ILR(例如E-ILR)图片可以被插入到 EL DPB714。插入位置可以由ILP管理单元706管理。EL DPB 714可以提供一个或多个ILR图片给EL编码器和/或EL解码器720。
图8是参考图片列表中的ILR图片和/或E-ILR图片的布置的示例的图示800。ILR图片802和/或E-ILR图片804可由编码器和/或解码器标识。如图8所示，E-ILR图片804可以放置在不同位置(例如列表L0和/或L1的)。例如，E-ILR图片804可以放置在B片的列表L0中或B片的列表L1中。 E-ILR图片804可以被放置在P片的列表L0的ILR图片802之后或者在P 片的列表L0的ILR图片802之前。E-ILR图片可以通过用信号发送重排序信息而被重排序。标记可以指示解码器执行EILR处理。表2描述了此处使用的符号的列表。
表2
符号 定义
B(x) 图片x的块
Ups(x) 对x上采样
MC<sub>ILP</sub>(P,MV) 用于层间预测的具有参考P和运动向量MV的运动补偿
Enh(x) 信号x的增强
MFM(x) 将BL的运动向量x映射到层间
Clip(x) 将值x剪辑(clip)到正常动态范围，例如，诸如[0,255]用于8比特内容
BL<sub>T</sub> 在时间T的基层重构图片
IL<sub>T</sub> 在时间T的层间图片
EL<sub>T</sub> 在时间T的增强层重构图片
ILD<sub>T</sub> 在时间T的层间差分图片
MV<sub>R</sub> 与参考图片R相关联的运动向量
ω(R<sub>x</sub>) 利用单向预测和参考图片为R<sub>X</sub>的块的权重
ω(R<sub>0</sub>,R<sub>1</sub>) 利用双向预测和参考图片为R<sub>0</sub>、R<sub>1</sub>的块的权重
Enh(B(IL<sub>T</sub>)) 在时间T的增强型层间参考(E-ILR)块
中间层(IL)可以是提供用于EL编码的参考图片的虚拟图片层。在共存BL运动被映射到使用运动字段映射到IL之后，BL图片的中间编码块的运动信息可以指示用于IL块的时间对应。层间运动向量可以被提供。例如，层间运动向量可以由等式(1)提供：
MVILx＝MFM(MVBLx) (1)
正常层间参考图片可以被提供。例如，正常ILR图片可以根据等式(2) 生成：
B(ILT)＝Ups(B(BLT)) (2)
图9是使用单向预测编码块生成E-ILR块的示例的图示。图9可以被用于解释生成E-ILR块的剩余方法和/或差分方法。图示900显示了时间T处的基层(BL)图片BLT 908、时间T处的层间(IL)参考图片ILT 910和时间T处的增强层(EL)图片ELT 912的示例。块B(BLT)926可以是位于BL 图片BLT 908中的块。块B(ILT)928可以是位于IL图片ILT 910中的块。块 B(ELT)930可以是位于EL图片ELT 912中的块。运动向量MVBLX 932是与块B(BLT)926相关联的运动向量。运动向量MVILX 934是与块B(ILT)928相关联的运动向量。运动向量MVELX 936是与块B(ELT)930相关联的运动向量。
图示900示出了时间X处的BL图片BLX 902、时间X处的IL参考图片ILX 904和时间X处的EL图片ELX 906的示例。块B(BLX)920是位于 BL图片BLX 902中的块。运动补偿后的块MC(ILX,MVILX)922是位于IL 图片ILX 904中的块。运动补偿后的块MC(ELX,MVELX)924是位于EL图片ELX 906中的块。BL参考图片914、IL参考图片916和EL参考图片918 可以是各个图片902、904和906的示例图像。时间X处的图片(例如，或块)可以在时间T处的图片(例如，或块)之前被编码。由此，由时间X 表征的图片902、904、906可以被用作针对时间T处的EL图片912的参考图片。图片902、904、906、908、910和/或912为像素域中的图片。
IL参考图片ILT 910可以通过上采样BL图片BLT 908来生成。块B(ILT) 928可以通过上采样块B(BLT)926来生成。IL参考图片ILX 904可以通过上采样BL图片BLX 902来生成。运动补偿后的块MC(ILX,MVILX)922可以通过上采样块B(BLX)920来生成。由此，IL参考图片ILT 910和/或块B(ILT)928 可以分别被称作上采样后的BL图片910和/或上采样后的BL块928。IL参考图片ILX 904和/或运动补偿后的块MC(ILX,MVILX)922可以分别被称作上采样后的BL图片904和/或上采样后的BL块922。
块B(BLT)926可以是IL块B(ILT)928的共存块。如果B(BLT)926被编码为中间模式块，则E-ILR块Enh(B(ILT))可以使用IL块B(ILT)928来生成 (例如，IL块B(ILT)928可以被增强)。例如，E-ILR块Enh(B(ILT))可以根据等式(3)来生成(例如针对单向预测模式)：
Enh(B(ILT))＝Clip(B(ILT)+ω(ILx)*(MCILP(ELX,MVILx)-MCILP(ILX,MVILx))) (3)
如果B(BLT)926被编码为中间模式块，则E-ILR块Enh(B(ILT))可以使用IL块B(ILT)928来生成(例如，IL块B(ILT)928可以被增强)。例如，E-ILR 块Enh(B(ILT))可以根据等式(4)来生成(例如针对双向预测模式)：
Enh(B(ILT))＝Clip(B(ILT)+ω(IL0,IL1)*((MCILP(EL0,MVIL0)+MCILP(EL1, MVIL1))/2–(MCILP(IL0,MVIL0)+MCILP(IL1,MVIL1))/2)) (4)
包括高频信号的E-ILR块可以使用对图片ELx 906和/或ILx 904运动补偿来生成，例如使用等式(3)和/或等式(4)。
权重ω可以在生成E-ILR块时使用。权重ω可以大于或等于零并且小于或等于1。权重ω(ILx)(例如0≤ω≤1)可以针对一个或多个(例如每个) 参考图片被改变(例如自适应改变)。例如，权重可以使用最小均方方法来估计。最优目标可以是EL块B(ELT)930和上采样后的BL块B(ILT)928之间的差。观测值可以是在时间实例X处EL MC(ELX,MVELx)924的重构块和块MC(ILX,MVILX)922之间的差。权重可以是通过最小化目标和加权的观测值之间的差异估计的目标和观测值之间的比率(例如最优比率)。
权重ω可以基于不同分类方法来估计。例如，权重可以与诸如list0(列表0)和list1(列表1)之类的列表相关联。权重可以与来自两个列表的独特参考图片组合相关联。权重可以与运动向量的精度(诸如整数运动向量、半像素运动向量、四分之一像素运动向量等等)相关联。权重可以与预测模式(例如诸如单向预测、双向预测等)相关联。更精细的分类可以在权重的信令开销的消耗下得到更精确的权重和/或更好的增强质量。编码器可以通过信令确定何时应用估计的权重。所述确定可以基于RD优化、TD复杂度优化和/或类似的，例如基于应用来作出。在RD复杂度优化中。编码器可以决定在RD性能未被改善到足够用于增加的计算复杂度的情况下不施加权重。在ILR图片中的运动补偿中使用的插值滤波器可以与BL和/或EL解码中的那些不同。例如，滤波器可以比用于BL编码和/或EL编码的正常插值滤波器(例如双线性插值滤波器)短以例如降低复杂性。
EL的剩余可以使用层间差异来预测。E-ILR块Enh(B(ILT))可以使用IL 块B(ILT)928来生成(例如IL块B(ILT)928可以被增强)。例如E-ILR块 Enh(B(ILT))可以根据等式(5)和/或等式(6)来生成。
Enh(B(ILT))＝Clip(MCILP(ELX,MVILx)+ω(ILx)*(B(ILT)-MCILP(ILX,MVILx))) (5)
Enh(B(ILT))＝Clip((MCILP(EL0,MVIL0)+MCILP(EL1,MVIL1))/2+ω(IL0,IL1)* (B(ILT)–(MCILP(IL0,MVIL0)+MCILP(IL1,MVIL1))/2)) (6)
等式(3)和(4)可以通过将运动补偿与差分图片组合来简化。差分图片的示例由等式(7)定义。ILX可以是时间X处的IL差分图片。Ioffset可以是偏移值，其可以为2BitDepth-1。例如，Ioffset是128用于8比特视频内容。
ILDX＝Clip(ELX-ILX+Ioffset) (7)
一个或多个参考图片可以被生成以例如协助EL图片ELT 912的预测。例如，正常IL参考图片可以通过上采样共存BL图片BLT 908以生成上采样后的BL图片(或IL参考图片)ILT910而被生成。用于EL图片ELT 912的增强的层间参考(E-ILR)图片可以被生成。例如，E-ILR图片可以包括一个或多个块。块可以为各种大小。例如块可以是64x64、32x32、16x16、8x8、4x4、矩形等。E-ILR图片的块可以包括一个或多个E-ILR块和/或一个或多个正常ILR块(例如通过上采样共存BL块生成的块)。E-ILR块可以使用此处描述的一种或多种技术(例如剩余、差分、单向预测、双向预测等等)来生成。
E-ILR图片的E-ILR块可以例如根据等式(5)和/或(6)使用剩余块来生成。E-ILR图片的E-ILR块可以根据以下中的一者或多者来生成。E-ILR 块可以被用于预测EL图片ELT912的块B(ELT)930。可以确定共存块B(BLT) 926是中间编码还是内部编码。如果确定块B(BLT)926是中间编码，则用于块的运动信息可以被确定。运动信息可以包括运动信息类别(例如运动信息所关联的参考图片的索引)和/或块的运动向量(例如运动的大小)。用于生成剩余的时间实例可以使用与块B(BLT)926相关的运动信息来生成。例如块 B(BLT)926的运动信息(例如运动向量MVBLX 932)可以被用于确定时间实例X(例如参考块B(BLX)920和/或BL图片BLX 902)。
在时间X的BL块可以被从时间T处的BL块中减去以生成剩余。例如，运动补偿后的块MC(ILX,MVILX)922可以被从上采样后的BL块B(ILT)928 中减去以生成剩余。所述剩余可以由时间T表征。可以确定使用MC块 MC(ILX,MVILX)922来基于与上采样后的BL块B(ILT)928相关联的运动信息(例如MVILX 934)生成剩余。
所述剩余可以乘以权重ω。所述权重ω大于或等于零且小于或等于1。偏移可以被添加到剩余以例如补偿不同时间实例之间的剩余信号的DC变化。例如，偏移可以针对单向预测模式根据等式(10)和/或针对双向预测模式根据(11)添加到剩余。偏移可以与权重相关联和/或可以使用权重来估计。如果使用权重和偏移，则权重和偏移可以作为一个参数集用信号发送。所述剩余可以被添加到EL块MC(ELX,MVELX)924以生成由时间T表征的E-ILR 块(例如Enh(B(ILT)))。可以确定使用EL块MC(ELX,MVELX)924来基于与EL块B(ELT)930相关联的运动信息(例如MVELX 936)生成E-ILR块。时间T处的E-ILR块可以被用于预测EL块B(ELT)930。例如，E-ILR块可以被用于创建被用于预测EL图片ELT 912的由时间T表征的E-ILR图片。
E-ILR图片的E-ILR块可以使用差分块来生成，例如如参考等式(3) 和/或(4)所描述。用于EL图片ELT 912的E-ILR图片可以根据以下中的一者或多者来生成。E-ILR块可以被用于预测EL图片ELT 912的块B(ELT) 930。可以确定共存块B(BLT)926是中间编码还是内部编码。如果确定块 B(BLT)926是中间编码，则用于块的运动信息可以被确定。运动信息可以包括运动信息类别(例如运动来源)和/或块的运动向量(例如运动的大小)。用于生成差分的时间实例可以使用与块B(BLT)926相关的运动信息来生成。例如块B(BLT)926的运动信息(例如运动向量MVBLX 932)可以被用于确定时间实例X(例如参考块B(BLX)920和/或BL图片BLX 902)。
时间X处的BL块可以由时间X处的EL块减去以生成差分块。例如，运动补偿后的块MC(ILX,MVILX)922可以使用与上采样后的BL块B(ILT) 928相关的运动信息MVILX 934来确定。运动信息MVILX 934可以通过例如根据增强层和基层之间的空间比率来伸缩运动信息MVBLX932而被确定。运动补偿后的增强层块MC(ELX,MVELX)924可以使用与上采样后的BL块 B(ELT)930相关的运动信息MVELX 936来确定。运动补偿后的块MC(ILX, MVILX)922可以从运动补偿后的增强层块MC(ELX,MVELX)924中减去以生成差分块。所述差分块可以由时间X表征。
差分块可以乘以权重ω。所述权重ω大于或等于零且小于或等于一。偏移可以被添加到差分块。例如，偏移可以根据等式(10)和/或(11)被添加到差分块。偏移可以与权重相关联和/或利用权重估计。如果权重和偏移被使用，则权重和偏移可以作为一个参数集用信号发送。
差分块可以被添加到BL图片的上采样后的块以生成由时间T表征的 E-ILR块。例如差分块可以被添加到上采样后的BL块B(ILT)928以生成由时间T表征的E-ILR块(例如Enh(B(ILT))。时间T处的E-ILR块可以被用于预测EL块B(ELT)930。例如，E-ILR块可以被用于创建可以被用于预测 EL图片ELT 912的由时间T表征的E-ILR图片。
尽管参考由空间伸缩表征的BL和EL描述，E-ILR块可以在BL和EL 之间存在其他类型的伸缩(例如SNR伸缩、标准伸缩等)时生成。如果BL 和EL之间不存在空间伸缩，则类似于参考图9描述的剩余方法可以被执行以生成E-ILR块。例如，如果BL和EL之间不存在空间伸缩，则时间X处的MC BL块(例如，与时间X处的MC块相对)可以从时间T处的BL块 (例如与时间T处的上采样后的BL块相对)中减去(例如直接减去)以生成剩余块，例如无需重采样过程。如果BL和EL之间不存在空间伸缩，则类似于参考图9描述的差分方法可以被执行以生成E-ILR块。例如，如果 BL和EL之间不存在空间伸缩，则时间X处的MC BL块(例如与时间X处的MC块相对)可以从时间X处的MC EL块中减去(例如直接减去)以生成差分块，和/或所述差分块可以在时间T处被添加到BL块(例如与时间T 处的上采样后的BL块相对)以生成E-ILR块。
等式(3),(4)可以例如使用差分图片被转换到等式(8)和(9)。运动补偿操作的数目可以被减半(例如从两个运动补偿操作到一个运动补偿操作)。 E-ILR块Enh(B(ILT))可以使用等式(8)和/或等式(9)来生成：
Enh(B(ILT))＝Clip(B(ILT)+ω(ILx)*(MCILP(ILDX,MVILx)–Ioffset)) (8)
Enh(B(ILT))＝Clip(B(ILT)+ω(IL0,IL1)*((MCILP(ILD0,MVIL0)+MCILP(ILD1,MVIL1))/2–Ioffset)) (9)
图10是使用差分块和单向预测编码块生成E-ILR块的示例的图示。例如，关于图10描述的差分方法可以使用等式(7)、(8)(例如用于单向预测) 和/或(9)(例如用于双向预测)以使用差分块生成E-ILR块。图示1000显示了时间T处的BL图片BLT 1008、时间T处的IL参考图片ILT 1010和时间T处的EL图片ELT 1012的示例。块B(BLT)1026可以是位于BL图片BLT 1008中的块。块B(ILT)1028可以是位于IL图片ILT 1010中的块。块B(ELT) 1030可以是位于EL图片ELT 1012中的块。运动向量MVBLX 1032是与块 B(BLT)1026相关联的运动向量。运动向量MVILX 1034是与块B(ILT)1028 相关联的运动向量。
图示1000示出了示例的时间X处的BL图片BLX 1002、时间X处的IL 差分图片ILX1004和时间X处的EL图片ELX 1006的示例。块B(BLX)1020 是位于BL图片BLX 1002中的块。运动补偿后的差分块MC(ILDX,MVILDX) 1022是位于IL差分图片ILDX 1004中的块。EL块B(ELX)1024可以是位于 EL图片ELX 1006中的块。BL参考图片1014和EL参考图片1018可以是各个图片1002和1006的示例图像。IL差分图片1016可以是时间X处的IL 差分图片IDLX 1004的示例。IL差分图片ILDX 1004可以通过从增强层图片 ELX 1006中减去BL图片BLX 1002的上采样后的版本来生成(例如如果空间分辨率对于BL和EL不同)。IL差分图片ILDX 1004可以通过从增强层图片ELX 1006中减去BL图片BLX 1002来生成，例如，如果空间分辨率对于两个层相同。时间X处的图片(例如或块)可以在时间T处的图片(例如或块)之前被编码。由此，由时间X表征的图片1002、1004、1006可以被用作针对时间T处的EL图片1012的参考图片。在块级实现中，例如E-ILR 块可以被生成，并且图片1004可以被用作参考图片。在图片级实现中，例如，图片1004可以被用于生成E-ILR图片。
IL参考图片ILT 1010可以通过上采样BL图片BLT 1008来生成。块B(ILT) 1028可以通过上采样块B(BLT)1026来生成。由此，IL参考图片ILT 1010 和/或块B(ILT)1028可以分别被称作上采样后的BL图片1010和/或上采样后的BL块1028。
IL差分图片1016是差分图片的示例。利用差分图片，E-ILR块和/或图片的生成可以使用等式(8)和/或(9)来执行。执行运动补偿的次数可以使用与参考图9描述的差分方法相对的参考图10描述的差分方法来减少(例如运动补偿根据参考图9描述的差分方法执行两次并且根据参考图10描述的差分方法执行一次)。例如由于差分图片包括包含噪声的高频信号，则滤波过程可以被应用。例如，去除噪声滤波可以在其被用于生成E-ILR块和/ 或图片之前被应用到差分块(例如MC(ILDX,MVILDX)1022)和/或图片。
一个或多个参考图片可以被生成以例如协助预测EL图片ELT 1012。例如，正常IL参考图片可以通过上采样共存BL图片BLT 1008生成上采样后的BL图片(或IL参考图片)ILT1010而被生成。用于EL图片ELT 1012的 E-ILR图片可以被生成。例如，E-ILR图片可以包括一个或多个块。所述块可以为各种大小。例如块可以为64x64、32x32、16x16、8x8、4x4、矩形等。 E-ILR图片的块可以包括一个或多个E-ILR块和/或一个或多个正常ILR块 (例如通过上采样共存BL块生成的块)。E-ILR块可以使用此处描述的一种或多种技术(例如剩余、差分、单向预测、双向预测等等)来生成。
E-ILR图片的E-ILR块可以使用差分块来生成，例如如参考等式7-9所描述。用于EL图片ELT 1012的E-ILR图片可以根据以下中的一者或多者来生成。E-ILR块可以被用于预测EL图片ELT 1012的块B(ELT)1030。可以确定共存块B(BLT)1026是中间编码还是内部编码。如果确定块B(BLT)1026 是中间编码，则用于块的运动信息可以被确定。运动信息可以包括运动信息类别(例如运动信息所关联的参考图片的索引)和/或块的运动向量(例如运动的大小)。用于生成差分图片/块的时间实例可以使用与块B(BLT)1026相关的运动信息来确定。例如块B(BLT)1026的运动信息(例如运动向量MVBLX 1032)可以被用于确定时间实例X(例如参考块B(BLX)1020和/或BL图片 BLX 1002)。
时间X处的BL块可以从时间X处的EL块减去以生成差分块。例如， BL块B(BLX)1020的上采样后版本可以从EL块B(ELX)1024中减去以生成差分块。差分块可以由时间X表征。可以确定使用BL块B(BLX)1020的上采样后的版本以基于与IL块B(ILT)1028相关联的运动信息(例如MVILX 1034)和/或与BL块B(BLT)1026相关联的运动信息(例如MVBLX 1032)生成差分块。
运动补偿可以在差分块上执行以生成运动补偿后的差分块MC(ILDX, MVILDX)1022。例如，运动补偿可以使用基层运动信息在差分块上执行。基层运动信息可以是伸缩的基层运动信息。例如，基层运动信息可以基于基层和增强层之间的空间比率而被伸缩。基层运动信息可以是运动信息MVILX 1034，其通过根据增强层和基层之间的空间比率伸缩运动信息MVBLX 1032 来生成。由此，运动补偿可以在差分块上执行以使用伸缩的运动信息MVILX 1034来生成运动补偿后的差分块MC(ILDX,MVILDX)1022。
运动补偿后的差分块MC(ILDX,MVILDX)1022可以乘以权重ω。所述权重ω可以大于或等于零且小于或等于1。偏移可以被添加到运动补偿后的差分块MC(ILDX,MVILDX)1022。例如，偏移可以根据等式(7)、(10)和/或(11) 被添加到运动补偿后的差分块MC(ILDX,MVILDX)1022。偏移Ioffset可以被添加以将差分块/图片的动态范围移位到使用运动补偿(例如根据等式(7))的动态范围。在对差分块进行运动补偿之后，Ioffset可以被减去以恢复差分信号(例如在等式(10)和/或(11)中所示)。例如，偏移O(ILx)和/或O(IL0,IL1) 可以在加权之后添加(例如如等式(10)和/或(11)中所示)。偏移O(x)可以与权重相关联以形成模型参数(W,O)。
运动补偿后的差分块MC(ILDX,MVILDX)1022可以被添加到时间T处的 BL块以生成由时间T表征的E-ILR块。例如，运动补偿后的差分块MC(ILDX, MVILDX)1022可以被添加到上采样后的BL块B(ILT)1028以生成由时间T 表征的E-ILR块(例如Enh(B(ILT))。时间T处的E-ILR块可以被用于预测 EL块B(ELT)1030。例如，E-ILR块可以被用于创建用于预测EL图片ELT1012的由时间T表征的E-ILR图片。
尽管参考由空间伸缩表征的BL和EL描述，E-ILR块可以在BL和EL 之间存在其他类型的伸缩(例如SNR伸缩、标准伸缩等)时生成。如果BL 和EL之间不存在空间伸缩，则类似于参考图10描述的差分方法可以被执行以生成E-ILR块。例如，如果BL和EL之间不存在空间伸缩，则时间X处的BL块(例如与时间X处的上采样后的BL块相对)可以从时间X处的 EL块中减去(例如直接减去)以生成时间X处的差分块，和/或运动补偿后的差分块可以被添加到时间T处的BL块(例如与时间T处的上采样后的 BL块相对)以生成E-ILR快。进一步，运动补偿可以使用与时间T处的BL 块(例如与时间T处的上采样后的BL块相对)相关联的运动信息在差分块上执行以生成运动补偿后的差分。
ILR块(例如正常ILR块和/或E-ILR块)可以使用双向预测来生成。 E-ILR块可以例如根据等式(4)、(6)和/或(9)使用双向预测来生成。例如，E-ILR块可以使用来自两个或多个其他时间实例的块生成针对一个时间实例的块。一个示例参考图11提供，但是使用双向预测生成E-ILR块可以以其他方式(例如剩余方法、使用单个运动补偿的差分方法(例如参考图10 所描述)、使用两个运动补偿操作的差分方法(例如参考图9所描述)等) 执行。
图11是使用差分和双向预测编码块生成E-ILR块的示例的图示。图示 1100提供了时间R0处的BL图片BL01102、时间R0处的IL参考图片IL01104 和时间R0处的EL图片EL01106的示例。图示1100提供了时间PT处的BL 图片BLT 1108、时间PT处的IL图片ILT 1110和时间PT处的EL图片ELT 1112 的示例。图示1100提供了时间R1处的BL图片BL11114、时间R1处的IL 参考图片IL11116和时间R1处的EL图片EL11118的示例。
块B(BL0)1128可以是位于BL图片BL01102中的块。运动补偿后的块 MC(IL0,MVIL0)1130可以是位于IL图片IL01104中的块。运动补偿后的块 MC(EL0,MVEL0)1142可以是位于EL图片EL01106中的。块B(BLT)1132 可以是位于BL图片BLT 1108中的块。块B(ILT)1134可以是位于IL图片ILT 1110中的块。块B(ELT)1136可以是位于EL图片ELT 1112中的块。块B(BL1)1138可以是位于BL图片BL11114中的。运动补偿后的块MC(IL1,MVIL1) 1140可以是位于IL图片IL01116中的块。运动补偿后的块MC(EL1,MVEL1) 1144可以是位于EL图片EL01118中的块。时间R0处的图片(例如或块) 和/或时间R1处的图片(例如或块)可以在时间PT处的图片(例如或块)之前被编码。由此，由时间R0表征的图片1102、1104、1106和/或由时间R1表征的图片1114、1116、1118可以作为针对时间PT处的EL图片ELT 1112。
IL参考图片ILT 1110可以通过上采样BL图片BLT 1108来生成。块B(ILT) 1134可以通过上采样块B(BLT)1132来生成。IL参考图片IL01104可以通过上采样BL图片BL01102来生成。运动补偿后的块MC(IL0,MVIL0)1130可以通过上采样块B(BL0)1128来生成。IL参考图片IL11116可以通过上采样 BL图片BL11114来生成。运动补偿后的块MC(IL1,MVIL1)1140可以通过上采样块B(BL1)1138来生成。由此，IL参考图片ILT 1110和/或块B(ILT)1134 可以分别被称作上采样后的BL图片1110和/或上采样后的BL块1134。IL 参考图片IL01104和/或运动补偿后的块MC(IL0,MVIL0)1130可以分别被称作上采样后的BL图片1104和/或上采样后的BL块1130。IL参考图片IL11116 和/或运动补偿后的块MC(IL1,MVIL1)1140可以分别被称作上采样后的BL 图片1116和/或上采样后的BL块1140。
一个或多个参考图片可以被生成以例如协助预测EL图片ELT 1112。例如，正常IL参考图片可以通过上采样共存BL图片BLT 1108生成采样后的 BL图片(或IL参考图片)ILT1110而被生成。用于EL图片ELT 1112的E-ILR 图片可以被生成。例如，E-ILR图片可以包括一个或多个块。所述块可以为各种大小。例如块可以为64x64、32x32、16x16、8x8、4x4、矩形等。E-ILR 图片的块可以包括一个或多个E-ILR块和/或一个或多个正常ILR块(例如通过上采样共存BL块生成的块)。E-ILR块可以使用此处描述的一种或多种技术(例如剩余、差分、单向预测、双向预测等等)来生成。
E-ILR图片的E-ILR块可以使用差分和双向预测模式来生成。用于EL 图片ELT1112的E-ILR图片可以根据以下中的一者或多者来生成。E-ILR块可以被用于预测EL图片ELT 1112的块B(ELT)1136。可以确定共存块B(BLT) 1132是中间编码还是内部编码。如果确定块B(BLT)1132是中间编码，则用于块的运动信息可以被确定。例如，如果块B(BLT)1132被双向预测，则块 B(BLT)1132可以包括两组运动信息。运动信息可以包括运动信息类别(例如运动信息来自哪里)和/或块的运动向量(例如运动的大小)。用于生成差分的两个时间实例可以使用与块B(BLT)1132相关的运动信息来确定。例如块B(BLT)1132的第一运动信息(例如运动向量MVBL01120)可以被用于确定时间实例R0(例如参考块B(BL0)1128和/或BL图片BL01102)以及块 B(BLT)1132的第二运动信息(例如运动向量MVBL11122)可以被用于确定时间实例R1(例如参考块B(BL1)1138和/或BL图片BL01114)。
时间R0处的BL块可以被添加到时间R1处的BL块以生成组合BL块。例如，组合BL块被除以二以生成平均BL块。例如，运动补偿后的块MC(IL0, MVIL0)1130可以被添加到运动补偿后的块MC(IL1,MVIL1)1140以生成组合 BL块。组合BL块被除以二以生成平均BL块。运动补偿后的块MC(IL0,MVIL0) 1130可以使用与上采样后的BL块B(ILT)1134相关联的运动信息MVIL01124 来确定。运动补偿后的块MC(IL1,MVIL1)1140可以使用与上采样后的BL块 B(ILT)1134相关联的运动信息MVIL11126来确定。
平均BL块可以使用加权平均来生成。例如，平均BL块可以根据P＝ (p0*w0+p1*w1)/(w0+w1)使用加权平均来生成。例如，运动补偿后的块 MC(IL0,MVIL0)1130可以被乘以第一权重，并且运动补偿后的块MC(IL1, MVIL1)1140可以在将运动补偿后的块MC(IL0,MVIL0)1130添加到运动补偿后的块MC(IL1,MVIL1)1140以生成组合BL块之前乘以第二权重。第一权重和第二权重可以不同。组合块可以被除以组合的第一权重和第二权重以生成平均BL块。
时间R0处的EL块可以被添加到时间R1处的EL块以生成组合EL块。组合EL块可以被除以二以生成平均EL块。例如，运动补偿后的EL块MC (EL0,MVEL0)1142可以被添加到运动补偿后的EL块MC(EL1,MVEL1)1144 以生成组合EL块。组合EL块可以被除以二以生成平均EL块。运动补偿后的EL块MC(EL0,MVEL0)1142可以使用与EL块B(ELT)1136相关联的运动信息MVEL01146来确定。运动补偿后的EL块MC(EL1,MVEL1)1144可以使用与EL块B(ELT)1136相关联的运动信息MVEL01148来确定。运动MVEL0 1146和MVEL11148可以分别从MVIL0and MVIL1中确定，例如因为IL和EL 具有相同的空间分辨率。
平均EL块可以使用加权平均来生成。例如，平均EL块可以根据P＝ (p0*w0+p1*w1)/(w0+w1)使用加权平均来生成。例如，运动补偿后的EL块MC(EL0,MVEL0)1142可以被乘以第一权重，并且运动补偿后的EL块MC (EL1,MVEL1)1144可以在将运动补偿后的EL块MC(EL0,MVEL0)1142添加到运动补偿后的EL块MC(EL1,MVEL1)1144以生成组合EL块之前乘以第二权重。第一权重和第二权重可以不同。组合块可以被除以组合的第一权重和第二权重以生成平均EL块。
平均BL块可以从平均EL块中减去以生成差分块。差分块可以乘以权重ω。所述权重ω可以大于或等于零且小于或等于1。偏移可以被添加到差分块。例如，偏移可以根据等式(7)、(10)和/或(11)被添加到差分块。差分块可以被添加到由时间PT表征的BL图片的块。例如差分块可以被添加到上采样后的BL块B(ILT)1134以生成由时间T表征的E-ILR块(例如Enh(B(ILT)))。时间PT处的E-ILR块可以被用于预测EL块B(ELT)1136。例如，块E-ILR可以被用于创建用于预测EL图片ELT 1112的由时间PT表征的E-ILR图片。
尽管参考由空间伸缩表征的BL和EL描述，E-ILR块可以在BL和EL 之间存在其他类型的伸缩(例如SNR伸缩、标准伸缩等)时生成。例如，如果BL和EL之间不存在空间伸缩，则时间R0处的BL块(例如与时间R0处的上采样后的BL块相对)和时间R1处的BL块(例如与时间R1处的上采样后的BL块相对)可以被用于生成差分块，和/或时间PT处的BL块(例如与时间PT处的上采样后的BL块相对)可以被添加到差分块以生成E-ILR 块。
在生成用于E-ILR图片的块时，替代或除了使用权重参数之外，可以使用偏移。偏移O(x)可以被用于补偿DC误差。权重和/或偏移可以包括一对参数。权重和/或偏移可以预测线性模型。在没有偏移O(x)的情况下，权重参数不能描述线性模型。在参数估计中，权重和/或偏移可以使用优化过程(例如最小均方方法)被联合估计。例如除了权重外ω可以使用偏移。等式(8) 和(9)可以使用偏移被转换到等式(10)和(11)：
Enh(B(ILT))＝Clip(B(ILT)+W(ILx)*(MCILP(ILDX,MVILx)–Ioffset)+O(ILx)) (10)
Enh(B(ILT))＝Clip(B(ILT)+W(IL0,IL1)*((MCILP(ILD0,MVIL0)+MCILP(ILD1,MVIL1))/2–Ioffset)+O(IL0,IL1)) (11)
O(ILx)和O(IL0,IL1)可以为被用于补偿原始图片和增强的ILR图片之间的误差的偏移。O(ILx)和O(IL0,IL1)可以与针对单向预测运动的参考图片和/ 或针对双向预测运动的参考图片对相关联。
在生成E-ILR块时应用的权重(例如根据等式(8)和/或(9))可以与一个或多个参考图片相关联。在HEVC可伸缩扩展中，例如，参考图片在两个列表中都出现。查找表可以被用于将参考图片索引映射到权重列表中的索引。存在多个(例如两个)查找表，包括例如lut_weight_uni用于单向预测模式，其将单向预测的参考列表和参考索引映射到单向预测的权重列表的索引weight_uni_list。另一个表可以用于双向预测模式，并且将双向预测的list0 的参考索引和/或list1的参考索引映射到双向预测的权重列表的索引 weight_bi_list。
weight_uni_list_idx＝lut_weight_uni[list_x][ref_idx]
weight_bi_list_idx＝lut_weight_uni[ref_idx0][ref_idx1]
图12是建立针对单向预测模式将参考索引映射到权重列表中的索引的查找表的示例的流程图。图13是建立针对双向预测模式将参考索引映射到权重列表中的索引的查找表的示例的流程图。对于针对单向预测和/或针对双向预测的权重列表中的项(例如每个项)，最小均方方法可以被用于基于在权重列表中具有相同索引的一个或多个(例如，每个)块来估计权重。原始 EL图片的块可以被用作等式(8)和(9)的最优目标，其意味着(8)、(9)中的Enh(B(ILT))可以等于参数估计中的原始EL图片的共存块。
权重参数信令可以与参考图片相关联。可以存在用于权重映射的一个或多个查找表。表可以用于单向预测模式使用，例如诸如等式(3)、(5)、(8) 和/或(10)。表可以用于双向预测模式使用，例如诸如等式(4)、(6)、(9) 和/或(11)。对于单向预测模式，权重可以与由图片序列号(POC)标识的参考图片相关联。对于双向模式，权重可以与参考图片对相关联。在参考对中，一个参考图片可以来自list0，其他参考图片来自list1。例如，如果r0 和r1都在两个列表中，参考图片对(r0(POC0),r1(POC1))(例如其中第一项来自list0，第二项来自list1)可以被视为与(r1(POC1),r0(POC0))相同。可以存在出现在两个或更多个列表(例如list0和list1)中的相同参考图片。由此， POC的列表可以被用于存储已经被处理的那些参考图片的POC以移除重复的参考图片。权重可以使用查找表与参考图片相关联。
图12可以被用于建立单向映射。程序1200可以包括以下中的一者或多者。程序1200在1202开始，其中lut_weight_uni的大小被重置， size_lut_weight_uni可以等于零，poc_list可以重设，和/或poc_list被设置成空。在1204，可以确定list_0和list_1是否被处理。如果是，则程序1200 在1206结束。如果否，则在1208列表list_x(例如list_0或list_1)可以被选择以ref_idx等于0处理。例如程序第一次进入1208，可以选择list_0，程序第二次进入1208可以选择list_1。在1210，可以确定list_x中的参考图片是否已经被处理。如果是，则程序返回1204。例如，如果list_0中的所有参考图片已经被处理，则程序1200可以返回到1204，以例如检查list_1中的所有参考图片是否已经被处理。如果否，则程序1200可以继续到1210。在 1210，具有ref_idx的参考图片R可以从list_x中选择。在1212，可以确定参考图片R是否在poc_list中。如果是，则在1218，ref_idx可以被增加，例如增加1，并且程序1200可以返回1210。如果否，则在1216查找表和poc_list 由此被更新。例如，lut_weight_uni[list_x][ref_idx]可以被设置成等于 size_lut_weight_uni，poc_list[size_lut_weight_uni]可以被设置成等于poc(R)，和/或size_lut_weight_uni可以被增加，例如增加1。在1216之后，程序1200 可以继续到1218并且ref_idx可以被增加，例如增加1。在1218之后，程序 1200可以返回1210。程序1200可以继续循环1210-1218直到list_x中的所有参考图片被处理。
图13被用于建立双向映射。程序1300可以包括以下中的一者或多者。程序1300在1302开始，其中lut_weight_uni的大小可以被重置， size_lut_weight_uni可以等于零，poc_list可以被重置，poc_list可以被设置成空，和/或ref-idx0可以等于零。在1304，可以确定list_0是否被处理。如果是，则程序1300可以在1306结束。如果否，则在1308具有ref_idx0的参考图片R0从list_0中被选择和/或ref_idx1等于1。在1310，可以确定list_1 中的参考图片是否被处理。如果是，则在1312，ref_idx0可以被增加，例如增加1，并且程序可以返回1304。如果否，则在1314具有ref_idx1的参考图片R1可以从list_1中被选择。在1316可以确定(R0,R1)或(R1,R0)是否在 poc_list中，如果是，则在1320，则ref_idx1可以被增加，例如增加1，并且程序1300可以返回1310。如果否，则在1318查找表和poc_list由此被更新。例如lut_weight_bi[ref_idx0][ref_idx1]可以被设置成等于 size_lut_weight_bi，poc_list[(size_lut_weight_bi)*2]可以被设置成等于 poc(R0)，poc_list[(size_lut_weight_bi)*2+1]可以被设置成等于poc(R1)，和/ 或size_lut_weight_bi可以被增加，例如增加1。在1318之后，程序1300可以继续到1320并且ref_idx1可以被增加，例如增加1。在1320之后，程序 1300可以返回1310。程序1300可以继续循环1310-1320直到list_1中的所有参考图片被处理。
给定目标信号T和观测信号O，用于最优权重的利用最小均方的解可以等于Cor(T,O)/Cor(O)，其中Cor(T,O)是T和O之间的相关，Cor(O)是O的自相关。图14是利用最小均方方法计算针对单向预测模式的权重估计的示例的流程图。在图14中，具有相同权重的单向预测模式编码的块可以被遍历以收集针对权重估计的互相关和自相关。图15是利用最小均方计算针对双向预测模式的权重估计的示例的流程图。在图15中，具有相同权重的双向预测模式编码的块可以被遍历以收集针对权重估计的互相关和自相关。
程序1400可以包括以下中的一者或多者。程序1400在1402开始，其中单向预测权重列表可以从两个参考图片列表中建立。在1404，可以确定单向预测权重列表中的图片是否完整。如果是，则程序1400可以在1420结束。如果否，则在1406，图片P从权重列表中被选择用于权重估计，AO可以被设置成零，和/或AS可以被设置成零。在1408，可以确定当前图片中的块是否被处理。如果是，则在1410，用于图片P的权重例如根据W(P)＝AO/AS被计算，并且程序1400可以返回1404。如果否，则在1412，可以确定当前块是否使用单向预测以及参考图片是否为P。如果否，则程序1400可以在 1418进行到下一块并且随后返回1406。如果是，则在1414，差分块D和运动补偿后的块S可以例如根据D＝B(ELT)-B(ILT)和/或S＝MC(ILDX,MVIL) 来计算。在1416，D和S之间的像素相关(D(i)*S(i))，以及块内的S的自相关(S(i)*S(i))可以例如根据AO+＝sum(D(i)*S(i))和/或AS+＝sum(S(i)*S(i)) 被累积到Ao和As。在1418，程序1400可以进行到下一块并随后返回1406。
程序1500可以包括以下中的一者或多者。程序1500在1502开始，其中双向预测权重列表可以从两个参考图片列表中建立。在1504，可以确定双向预测权重列表中的图片是否完整。如果是，则程序1500可以在1520结束。如果否，则在1506，项(P0,P1)可以从权重列表中被选择用于权重估计，AO 可以被设置成零，和/或AS可以被设置成零。在1508，可以确定当前图片中的块是否被处理。如果是，则在1510，用于(P0,P1)的权重可以例如根据 W(P0,P1)＝AO/AS被计算，并且程序1500可以返回1504。如果否，则在1512，可以确定当前块是否使用双向预测以及参考图片是否为(P0,P1)或(P1,P0)。如果否，则程序1500可以在1518进行到下一块并且随后返回1506。如果是，则在1414，差分块D和运动补偿后的块S可以例如根据D＝B(ELT)-B(ILT) 和/或S＝(MC(ILDX0,MV0 IL)+MC(ILDX1,MV1 IL))/2来计算。在1516，AO+＝sum(D(i)*S(i))和/或AS+＝sum(S(i)*S(i))。在1518，程序1500进行到下一块并且随后返回1506。
编码器可以用信号发送图片(例如每个图片)的权重和/或偏移信息到解码器以例如用于ILP增强处理。用于亮度组分和色度组分的权重和/或偏移可以不同。用于亮度组分和色度组分的权重和/或偏移可以例如分别用信号发送。用于色度的权重可以被设置成1和/或用于色度的偏移可以被设置成0，以例如减少解码器侧的复杂性。权重和/或偏移可以在固定点中编码。表3 提供了用于权重和偏移参数的信令的示例。
表3
Figure BDA0000817216600000351
图16是用于ILR增强的基于区域的权重的示例的图示。如图16所示，权重和/或偏移可以基于区域(例如块)。图示1600描述了权重如何被分派到图片的多于一个区域。图片以多种方式被划分成多个区域。例如，图片可以被均匀划分，被对象划分，被运动划分等。图16显示了均匀划分的示例。区域(例如每个区域)具有其自身权重和/或偏移。例如，E-ILR图片的块(例如每个块)可以具有其自身权重和/或偏移。单向预测和/或双向预测块可以共享相同区域中的权重和/或偏移，例如从而减少权重和偏移编码开销。预测编码可以被应用以对基于区域的的权重和/或偏移进行编码。权重和/或偏移信息可以在片的NAL、HEVC中的自适应参数集(APS)的NAL等等中传递。
在层间参考图片增强中使用的运动信息可以来自层间运动，该层间运动可以来自运动字段映射过程和/或可以从BL压缩和/或未压缩运动信息中导出(例如直接导出)。例如，如果ILR增强从BL中导出运动，在ILR增强过程中的运动补偿的块大小可以不对齐为16x16块大小。未压缩的运动相比于压缩的运动可以提供运动信息(例如更精确的运动信息)。多阶运动压缩方法可以被提供以改善EL编码。这一方法可以被应用于ILR增强。未压缩运动的块大小例如可以为4x4。压缩的运动的块大小可以例如为16x16。BL 可以针对ILR增强提供8x8大小运动。相比于4x4大小的未压缩的运动，8x8 大小的运动可以提供内存节省，和/或相比于16x16大小的压缩的运动更精确。8x8大小的运动可以被压缩以获得16x16运动，以例如用于编码BL的未来图片。
DPB中的BL运动可以被压缩以例如节省内存大小。这一压缩后的BL 运动以粗粒度作出层间运动。如果两个层的分辨率不同，则对BL运动的伸缩可能损失精确度。例如BL运动可以针对2x空间伸缩被上伸缩2x。如果原始BL运动是1/4-pel(像素)精度，则运动精度为1/2-pel精度。改善在等式(8)和(9)中使用的层间运动精度可以改善ILP。
运动精炼可以应用被映射的运动作为精炼的中心并且搜索其邻居(例如最近邻居)中的一个或多个。运动可以使用等式(12)被精炼以接收变化的运动(delta motion)：
Figure BDA0000817216600000371
MVILx可以是从BL运动中导出的运动。失真可以使用均方误差和(SSE)、绝对转换差异和(SATD)等等来评估。如果共存块在BL被内部编码，则 MVILx可以不可用。运动可以从一个或多个相邻块的运动中导出。最小失真可以例如使用等式(13)来确定。增强层时间运动可以根据时间距离使用伸缩来确定。
从BL导出的运动对于层间参考图片增强可以是有效的。BL处的运动可以使用考虑速率开销的速率失真损失由BL编码器确定。BL编码器可以考虑ILR增强过程中的速率。运动信息可以从BL中导出。针对双向预测模式，BL编码器可以提供两组运动信息，例如list0和list1。ILR增强可以确定来使用list0、list1或两者。所述确定可以基于失真。针对list0和/或list1 的运动的失真可以例如使用等式(14)(15)分别确定。等式(16)可以被用于使用list0和list1的双向预测。编码器和/或解码器可以确定以使用由用于ILR增强的最小失真表征的列表。
Distlist0＝Dist(B(ILT),MCILP(ILref_idx(list0),MVlist0)) (14)
Distlist1＝Dist(B(ILT),MCILP(ILref_idx(list1),MVlist1)) (15)
Distlist0,list1＝Dist(B(ILT),(MCILP(ILref_list(list0),MVlist0)+MCILP(ILref_list(list1),MVlist1))/2) (16)
运动精炼和/或选择过程可以是显式或隐式。显式运动精炼和/或选择可以在编码器处执行，并且编码器可以用信号通知精炼和/或选择信息给解码器。通过用信号发送精炼和/或选择信息，解码复杂性可以通过增加开销来降低。在隐式模式中，编码器和解码器可以执行精炼和/或选择。对于编码器来说，可能没有必要用信号发送运动信息到解码器。通过这样做，可以例如通过增加解码复杂性节省开销比特。
E-ILR图片可以使用基于差分的方法(例如参考等式3、4、7、8、9和 10描述的)，基于剩余的方法(例如参考等式5、6描述的)，正常ILR块生成方法(例如上采样共存BL块)，基于单向预测的方法，基于双向预测的方法，另一E-ILR块生成方法和/或组合来生成。例如如果使用了多个增强方法，则增强方法可以显式或隐式地针对区域(例如每个区域)被标记。所述模式可以根据一个或多个本地特性，诸如运动(例如大运动、小运动、零运动)、纹理(例如连续色调、不连续色调、颜色数目)、边缘强度(例如强、中、弱)等等。E-ILR图片的块例如基于所使用的生成方法具有不同特性。 E-ILR块可以由增强的和/或增加的高频信息、来自基层压缩的压缩后的低频能量损失和/或基层编码中的减弱的压缩伪像(例如振铃、块)表征。E-ILR 块生成方法(例如基于差分、基于剩余、基于单向预测、基于双向预测等) 可以被组合以生成E-ILR图片。如果E-ILR块生成方法被组合到一起，则压缩效率可以被改善。由编码器使用的用于编码当前图片的E-ILR块生成方法可以被用信号发送(例如显式地用信号发送)以例如降低解码复杂度。解码器可以施加由编码器用信号发送的E-ILR块生成方法，例如替代尝试每一种 E-ILR块生成方法。例如，如果生成方法被隐式地用信号通知，则解码器可以根据每个块的本地特性在线推导E-ILR块生成方法。
两种或多种E-ILR块生成方法可以被组合以例如通过增加参考图片列表的大小和在参考图片列表中插入E-ILR图片来生成E-ILR图片的块。E-ILR 图片可以被插入在list0、list1或两者中。图17是在参考图片列表中的增强 ILR图片的示例布置的图示。在图示1700中，一个或多个ILR图片1702可以被放置在B片的list0中，并且一个或多个E-ILR图片可以被放置在B片的list1中。在P片中，一个或多个E-ILR图片1704可以被放置在list0中的一个或多个ILR图片1702之后。
E-ILR块生成方法可以被组合以例如使用基于块的组合(例如显式组合) 来生成E-ILR图片。E-ILR图片的块(例如每个块)可以使用不同的E-ILR 块生成方法来生成。编码器和解码器可以生成E-ILR图片和/或将E-ILR图片插入参考图片列表中。编码器可以确定被用于E-ILR图片的块(例如每个块)的E-ILR块生成方法。例如，E-ILR块生成方法可以基于速率失真优化标准来选择。编码器可以用信号发送块的生成方法到解码器。所述信息可以被嵌入到被用于传递层间处理参数集，例如诸如自适应参数集(APS)的 NAL单元中。基于可变块大小的编码(例如基于四叉树的编码)可以被用于编码E-ILR块生成方法信息。块(例如每个块)的E-ILR块生成方法信息可以利用行程长度编码来进行编码。
图18是用于行程长度编码的不同扫描模式的示例图示。例如，用于行程长度编码的扫描模式可以包括水平1802，垂直1804，水平曲线(zigzag) 1806，垂直曲线1808，水平栅格1810，垂直栅格1812等等。2D数据地图可以被转换到1D地图，以例如用于利用不同扫描模式进行编码。行程可以被用于指数据复制的次数。用于2D地图的行程长度编码的一种或多种(例如两种)行程类型可以被提供以例如更有效压缩信息。行程可以通过将编码数据与已转换的1D顺序的即时邻居相比较来导出。行程可以在常规行程长度编码中使用。行程可以通过将数据与空间邻居比较来导出。
图19是利用水平扫描编码的2D地图1900的示例图示。在扫描之后被编码的符号可以被表示为一个或多个参数(例如包括诸如行程、类型和/或值的三个参数)。例如，行程可以指在不改变值的情况下行进的距离。类型可以指行程的类型。值可以指紧跟复制的值之后的数据。方向可以指行进方向。如图19中所描述，H可以指示行程以水平扫描顺序导出。T可以是从其顶部邻居导出的行程。对于二进制地图，值不被编码，因为其从先前的数据中导出。压缩比率可以随不同的扫描模式而不同，因为不同的数据分布。编码器可以决定用于地图(例如每个地图)的扫描模式和/或可以用信号发送扫描模式到解码器。
基于块的组合(例如隐式组合)可以被提供。编码器和/或解码器可以生成E-ILR图片并且将E-ILR图片插入参考图片列表中。编码器和/或解码器可以应用导出过程(例如相同导出过程)以基于一个或多个特性确定块的生成方法，例如替代交换块的生成方法信息(例如显式地)。例如，块可以基于一个或多个本地图像统计特征可以被分类成一种或多种类型，所述统计特征例如可以包括纹理(例如如果块是平整或者如果块是边缘块)。E-ILR块生成方法可以基于块类型被应用。
图20A为可以在其中实施一个或者多个所公开实施方式的示例通信系统2000的图示。通信系统2000可以是将诸如语音、数据、视频、消息、广播等之类的内容提供给多个无线用户的多接入系统。通信系统2000可以通过系统资源(包括无线带宽)的共享使得多个无线用户能够访问这些内容。例如，通信系统2000可以使用一个或多个信道接入方法，例如码分多址 (CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)等等。
如图20A所示，通信系统2000可以包括无线发射/接收单元(WTRU) 2002a、2002b、2002c和/或2002d(通常或统称为WTRU 2002)、无线电接入网络(RAN)2003/2004/2005、核心网络2006/2007/2009、公共交换电话网(PSTN)2008、因特网2010和其他网络2012，但可以理解的是所公开的实施方式涵盖任意数量的WTRU、基站、网络和/或网络元件。WTRU 2002a、2002b、2002c、2002d中的每一个可以是被配置成在无线通信中操作和/或通信的任何类型的装置。作为示例，WTRU 2002a、2002b、2002c、2002d可以被配置成发送和/或接收无线信号，并且可以包括无线发射/接收单元 (WTRU)、移动站、固定或移动用户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、便携式电脑、上网本、个人计算机、无线传感器、消费电子产品等等。
通信系统2000还可以包括基站2014a和基站2014b。基站2014a、2014b 中的每一个可以是被配置成与WTRU 2002a、2002b、2002c、2002d中的至少一者无线交互，以便于接入一个或多个通信网络(例如核心网络 2006/2007/2009、因特网2010和/或网络2012)的任何类型的装置。例如，基站2014a、2014b可以是基站收发信站(BTS)、节点B、e节点B、家用节点B、家用e节点B、站点控制器、接入点(AP)、无线路由器以及类似装置。尽管基站2014a、2014b每个均被描述为单个元件，但是可以理解的是基站2014a、2014b可以包括任何数量的互联基站和/或网络元件。
基站2014a可以是RAN 2003/2004/2005的一部分，该RAN 104还可以包括诸如站点控制器(BSC)、无线电网络控制器(RNC)、中继节点之类的其他基站和/或网络元件(未示出)。基站2014a和/或基站2014b可以被配置成发送和/或接收特定地理区域内的无线信号，该特定地理区域可以被称作小区(未示出)。小区还可以被划分成小区扇区。例如与基站2014a相关联的小区可以被划分成三个扇区。因此，在一种实施方式中，基站2014a可以包括三个收发信机，即针对所述小区的每个扇区都有一个收发信机。在一种实施方式中，基站2014a可以使用多输入多输出(MIMO)技术，并且由此可以使用针对小区的每个扇区的多个收发信机。
基站2014a、2014b可以通过空中接口2015/2016/2017与WTRU 2002a、 2002b、2002c、2002d中的一者或多者通信，该空中接口2015/2016/2017可以是任何合适的无线通信链路(例如射频(RF)、微波、红外(IR)、紫外(UV)、可见光等)。空中接口2015/2016/2017可以使用任何合适的无线电接入技术 (RAT)来建立。
更为具体地，如前所述，通信系统2000可以是多接入系统，并且可以使用一个或多个信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、 SC-FDMA以及类似的方案。例如，在RAN2003/2004/2005中的基站2014a 和WTRU 2002a、2002b、2002c可以实施诸如通用移动电信系统(UMTS) 陆地无线电接入(UTRA)之类的无线电技术，其可以使用宽带CDMA (WCDMA)来建立空中接口2015/2016/2017。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
在另一实施方式中，基站2014a和WTRU 2002a、2002b、2002c可以实施诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口 2015/2016/2017。
在一种实施方式中，基站2014a和WTRU 2002a、2002b、2002c可以实施诸如IEEE802.16(例如全球微波接入互操作性(WiMAX))、CDMA2000、 CDMA20001x、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准 95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、增强型数据速率GSM演进(EDGE)、GSM EDGE(GERAN)之类的无线电技术。
举例来讲，图20A中的基站2014b可以是无线路由器、家用节点B、家用e节点B或者接入点，并且可以使用任何合适的RAT，以用于促进在诸如公司、家庭、车辆、校园之类的局部区域的通信连接。在一种实施方式中，基站2014b和WTRU 2002c、2002d可以实施诸如IEEE802.11之类的无线电技术以建立无线局域网络(WLAN)。在一种实施方式中，基站2014b和WTRU 2002c、2002d可以实施诸如IEEE 802.15之类的无线电技术以建立无线个人局域网络(WPAN)。在又一种实施方式中，基站2014b和WTRU 2002c、2002d可以使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、 LTE、LTE-A等)以建立超微型(picocell)小区或毫微微小区(femtocell)。如图20A所示，基站2014b可以具有至因特网2010的直接连接。因此，基站2014b不必经由核心网络2006/2007/2009来接入因特网2010。
RAN 2003/2004/2005可以与核心网络2006/2007/2009通信，该核心网络可以是被配置成将语音、数据、应用程序和/或网际协议上的语音(VoIP)服务提供到WTRU 2002a、2002b、2002c、2002d中的一者或多者的任何类型的网络。例如，核心网络2006/2007/2009可以提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、网际互联、视频分配等，和/或执行高级安全性功能，例如用户验证。尽管图20A中未示出，应该理解的是RAN 2003/2004/2005和/或核心网络2006/2007/2009可以直接或间接地与其他 RAN进行通信，这些其他RAT可以使用与RAN 2003/2004/2005相同的RAT 或者不同的RAT。例如，除了连接到可以采用E-UTRA无线电技术的RAN 2003/2004/2005，核心网络2006/2007/2009也可以与使用GSM无线电技术的其他RAN(未显示)通信。
核心网络2006/2007/2009也可以用作WTRU 2002a、2002b、2002c、2002d 接入PSTN2008、因特网2010和/或其他网络2012的网关。PSTN 2008可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网2010可以包括互联计算机网络的全球系统以及使用公共通信协议的装置，所述公共通信协议例如传输控制协议(TCP)/网际协议(IP)因特网协议套件的中的 TCP、用户数据报协议(UDP)和IP。网络2012可以包括由其他服务提供方拥有和/或操作的无线或有线通信网络。例如，网络2012可以包括连接到一个或多个RAN的另一核心网络，这些RAN可以使用与RAN 2003/2004/2005相同的RAT或者不同的RAT。
通信系统2000中的WTRU 2002a、2002b、2002c、2002d中的一些或者全部可以包括多模式能力，即WTRU 2002a、2002b、2002c、2002d可以包括用于通过多个通信链路与不同的无线网络进行通信的多个收发信机。例如，图20A中显示的WTRU 2002c可以被配置成与使用基于蜂窝的无线电技术的基站2014a进行通信，并且与使用IEEE 802无线电技术的基站2014b 进行通信。
图20B为示例WTRU 2002的系统框图。如图20B所示，WTRU 2002 可以包括处理器2018、收发信机2020、发射/接收元件2022、扬声器/麦克风2024、键盘2026、显示器/触摸板2028、不可移除存储器2030、可移除存储器2032、电源2034、全球定位系统芯片组2036和其他外围设备2038。应该理解的是，在保持与实施方式一致的同时，WTRU 2002可以包括上述元件的任何子集。此外，实施方式涵盖基站2014a和2014b和/或基站2014a 和2014b可以表示的节点，诸如但不限于收发机站(BTS)、节点B、站点控制器、接入点(AP)、家用节点B、演进型家用节点B(e节点B)、家用演进型节点B(HeNB)、家用演进型节点B网关和代理节点等其它可以包括图 20B及此处描述的元件的一些或每一个。
处理器2018可以是通用目的处理器、专用目的处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列 (FPGA)电路、其他任何类型的集成电路(IC)、状态机等。处理器2018 可以执行信号编码、数据处理、功率控制、输入/输出处理和/或使得WTRU2002能够操作在无线环境中的其他任何功能。处理器2018可以耦合到收发信机2020，该收发信机2020可以耦合到发射/接收元件2022。尽管图20B 中将处理器2018和收发信机2020描述为独立的组件，应该理解的是处理器 2018和收发信机2020可以被一起集成到电子封装或者芯片中。
发射/接收元件2022可以被配置成通过空中接口2015/2016/2017将信号发送到基站(例如基站2014a)，或者从基站(例如基站2014a)接收信号。例如，在一种实施方式中，发射/接收元件2022可以是被配置成发送和/或接收RF信号的天线。在一种实施方式中，发射/接收元件2022可以是被配置成发送和/或接收例如IR、UV或者可见光信号的发射器/检测器。在又一实施方式中，发射/接收元件2022可以被配置成发送和接收RF信号和光信号两者。应该理解的是发射/接收元件2022可以被配置成发送和/或接收无线信号的任意组合。
此外，尽管发射/接收元件2022在图20B中被描述为单个元件，但是 WTRU 2002可以包括任何数量的发射/接收元件2022。更特别地，WTRU 2002可以使用MIMO技术。因此，在一种实施方式中，WTRU 2002可以包括两个或更多个发射/接收元件2022(例如多个天线)以用于通过空中接口 2015/2016/2017发射和接收无线信号。
收发信机2020可以被配置成对将由发射/接收元件2022发送的信号进行调制，并且被配置成对由发射/接收元件2022接收的信号进行解调。如以上所述，WTRU 2002可以具有多模式能力。因此，收发信机2020可以包括多个收发信机以用于使得WTRU 2002能够经由多RAT进行通信，例如 UTRA和IEEE 802.11。
WTRU 2002的处理器2018可以被耦合到扬声器/麦克风2024、键盘2026 和/或显示器/触摸板2028(例如，液晶显示(LCD)单元或者有机发光二极管(OLED)显示单元)，并且可以从上述装置接收用户输入数据。处理器 2018还可以向扬声器/麦克风2024、键盘2026和/或显示器/触摸板2028输出数据。此外，处理器2018可以访问来自任何类型的合适的存储器中的信息，以及向任何类型的合适的存储器中存储数据，所述存储器例如可以是不可移除存储器2030和/或可移除存储器2032。不可移除存储器2030可以包括随机接入存储器(RAM)、可读存储器(ROM)、硬盘或者任何其他类型的存储器存储装置。可移除存储器2032可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等类似装置。在一种实施方式中，处理器 2018可以访问来自物理上未位于WTRU 2002上而位于服务器或者家用计算机(未示出)上的存储器的数据，以及向上述存储器中存储数据。
处理器2018可以从电源2034接收功率，并且可以被配置成将功率分配给WTRU2002中的其他组件和/或对至WTRU 2002中的其他组件的功率进行控制。电源2034可以是任何适用于给WTRU 2002加电的装置。例如，电源2034可以包括一个或多个干电池(镍镉(NiCd)、镍锌(NiZn)、镍氢 (NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器2018还可以耦合到GPS芯片组2036，该GPS芯片组2036可以被配置成提供关于WTRU 2002的当前位置的位置信息(例如经度和纬度)。作为来自GPS芯片组2036的信息的补充或者替代，WTRU 2002可以通过空中接口2015/2016/2017从基站(例如基站2014a、2014b)接收位置信息，和 /或基于从两个或更多个相邻基站接收到的信号的定时来确定其位置。应该理解的是，在保持与实施方式一致的同时，WTRU 2002可以通过任何合适的位置确定方法来获取位置信息。
处理器2018还可以耦合到其他外围设备2038，该外围设备2038可以包括提供附加特征、功能性和/或无线或有线连接的一个或多个软件和/或硬件模块。例如，外围设备2038可以包括加速度计、电子指南针(e-compass)、卫星收发信机、数码相机(用于照片或者视频)、通用串行总线(USB)端口、震动装置、电视收发信机、免持耳机、蓝牙
Figure BDA0000817216600000461
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、因特网浏览器等等。
图20C为根据实施方式的RAN 2003和核心网络2006的系统图。如以上所述，RAN2003可以利用UTRA无线电技术通过空中接口2015与WTRU 2002a、2002b、2002c通信。RAN2003还可以与核心网络2006通信。如图 20C所示，RAN 2003可以包含节点B 2040a、2040b、2040c，其中节点B 2040a、 2040b、2040c每个可以包含一个或多个收发信机，该收发信机通过空中接口 2015来与WTRU 2002a、2002b、2002c通信。节点B 2040a、2040b、2040c 中的每个可以与RAN 2003范围内的特定单元(未示出)相关联。RAN 2003 还可以包括RNC 2042a、2042b。应该理解的是RAN 2003可以包含任意数量的节点B和RNC而仍然与实施方式保持一致。
如图20C所示，节点B 2040a、2040b可以与RNC 2042a进行通信。此外，节点B 2040c可以与RNC 2042b进行通信。节点B 2040a、2040b、2040c 可以通过Iub接口与对应的RNC2042a、2042b进行通信。RNC 2042a、2042b 可以通过Iur接口相互进行通信。RNC 2042a、2042b可以分别被配置成控制与其连接的对应的节点B 2040a、2040b、2040c。此外，RNC2042a、2042b 可以分别被配置成实施或者支持其它功能，诸如外环功率控制、负载控制、准许控制、分组调度、切换控制、宏分集、安全性功能、数据加密等等。
图20C中所示的核心网络2006可以包括媒体网关(MGW)2044、移动交换中心(MSC)2046、服务GPRS支持节点(SGSN)2048，和/或网关 GPRS支持节点(GGSN)2050。尽管上述元素中的每个被描述为核心网络 2006的一部分，但是应该理解的是这些元素中的任何一个可以被除了核心网络运营商以外的实体拥有和/或运营。
RAN 2003中的RNC 2042a可以通过IuCS接口被连接至核心网络2006 中的MSC2046。MSC 2046可以被连接至MGW 2044。MSC 2046和MGW 2044可以向WTRU 2002a、2002b、2002c提供至电路交换网络(例如PSTN 2008)的接入，从而便于WTRU 2002a、2002b、2002c与传统陆线通信设备之间的通信。
RAN 2003中的RNC 2042a还可以通过IuPS接口被连接至核心网络 2006中的SGSN2048。SGSN 2048可以被连接至GGSN 2050。SGSN 2048 和GGSN 2050可以向WTRU 2002a、2002b、2002c提供至分组交换网络(例如因特网2010)的接入，从而便于WTRU 2002a、2002b、2002c与IP使能设备之间的通信。
如以上所述，核心网络2006还可以连接至其它网络2012，其中所述其它网络2012可以包含被其他服务提供商拥有和/或运营的其他有线或无线网络。
图20D为根据实施方式的RAN 2004和核心网络2007的系统框图。如上所述，RAN2004可以使用E-UTRA无线电技术通过空中接口2016与 WTRU 2002a、2002b和2002c进行通信。RAN 2004还可以与核心网络2007 进行通信。
RAN 2004可以包括e节点B 2060a、2060b、2060c，尽管应该理解的是 RAN 2004可以包含任意数量的e节点B而仍然与实施方式保持一致。e节点B 2060a、2060b、2060c每个可以包含一个或多个收发信机，该收发信机通过空中接口2016来与WTRU 2002a、2002b，2002c通信。在一种实施方式中，e节点B 2060a、2060b、2060c可以使用MIMO技术。由此，例如e 节点B 2060a可以使用多个天线来传送无线信号至WTRU 2002a并且从 WTRU 2002a中接收无线信息。
e节点B 2060a、2060b、2060c中的每个可以与特定单元(未示出)相关联并且可以被配置成在上行链路和/或下行链路中处理无线电资源管理决定、移交决定、用户调度。如图8D中所示，e节点B 2060a、2060b、2060c 可以通过X2接口彼此进行通信。
图8D中所示的核心网络2007可以包括移动性管理网关(MME)2062、服务网关2064和分组数据网络(PDN)网关2066。尽管上述元素中的每个被描述为核心网络2007的一部分，但是应该理解的是这些元素中的任何一个可以被除了核心网络运营商以外的实体拥有和/或运营。
MME 2062可以通过S1接口被连接到RAN 2004中的e节点B 2060a、 2060b、2060c中的每个并且可以作为控制节点。例如，MME 2062可以负责认证WTRU 2002a、2002b、2002c的用户、承载激活/去激活、在WTRU 2002a、 2002b、2002c的初始连接期间选择特定服务网关，等等。MME 2062也可以为RAN 2004与使用其他无线电技术(例如GSM或WCDMA)的RAN(未示出)之间的交换提供控制平面功能。
服务网关2064可以通过S1接口被连接到RAN 2004中的e节点B 2060a、2060b、2060c的每个。服务网关2064通常可以路由和转发用户数据分组至WTRU 2002a、2002b、2002c，或者路由和转发来自WTRU 2002a、 2002b、2002c的用户数据分组。服务网关2064也可以执行其他功能，例如在e节点B间切换期间锚定用户平面、当下行链路数据可用于WTRU2002a、 2002b、2002c时触发寻呼、为WTRU 2002a、2002b、2002c管理和存储上下文等等。
服务网关2064也可以被连接到PDN网关2066，该网关2066可以向 WTRU 2002a、2002b、2002c提供至分组交换网络(例如因特网2010)的接入，从而便于WTRU 2002a、2002b、2002c与IP使能设备之间的通信。
核心网络2007可以促进与其他网络之间的通信。例如，核心网络2007 可以向WTRU2002a、2002b、2002c提供至电路交换网络(例如PSTN 2008) 的接入，从而便于WTRU 2002a、2002b、2002c与传统陆线通信设备之间的通信。例如，核心网络2007可以包括，或可以与下述通信：作为核心网络 2007和PSTN 2008之间接口的IP网关(例如，IP多媒体子系统(IMS)服务)。另外，核心网络2007可以向提供WTRU 2002a、2002b、2002c至网络 2012的接入，该网络2012可以包含被其他服务提供商拥有和/或运营的其他有线或无线网络。
图20E为根据实施方式的RAN 2005和核心网络2009的系统图。RAN 2005可以为使用IEEE802.16无线电技术通过空中接口2017与WTRU 2002a、2002b、2002c进行通信的接入服务网络(ASN)。如此处所描述， WTRU 2002a、2002b、2002c、RAN 2005和核心网络2009之间的不同功能实体之间的通信线路可以被定义为参考点。
如图20E所示，RAN 2005可以包括基站2080a、2080b、2080c和ASN 网关2082，尽管应该理解的是RAN 2005可以包含任意数量的基站和ASN 网关而仍然与实施方式保持一致。基站2080a、2080b、2080c分别与RAN 2005中的特定单元(未示出)相关联，并且可以分别包括一个或多个收发信机，该收发信机通过空中接口2017来与WTRU 2002a、2002b、2002c通信。在一种实施方式中，基站2080a、2080b、2080c可以使用MIMO技术。由此，例如基站2080a可以使用多个天线来传送无线信号至WTRU 2002a并且从 WTRU 2002a中接收无线信息。基站2080a、2080b、2080c还可以提供移动性管理功能，例如切换触发、隧道建立、无线电资源管理、业务分类、服务质量(QoS)策略执行，等等。ASN网关2082可以作为业务汇聚点且可以负责用户配置文件的寻呼、缓存、路由到核心网络2009，等等。
WTRU 2002a、2002b、2002c与RAN 2005之间的空中接口2017可以被定义为执行IEEE 802.16规范的R1参考点。另外，WTRU 2002a、2002b、 2002c中的每个可以建立与核心网络2009的逻辑接口(未示出)。WTRU 2002a、2002b、2002c与核心网络2009间的逻辑接口可以被定义为R2参考点，可以被用来认证、授权、IP主机配置管理、和/或移动管理。
基站2080a、2080b、2080c中的每个之间的通信链路可以被定义为包括用于便于WTRU切换和基站之间的数据传输的协议的R8参考点。基站 2080a、2080b、2080c和ASN网关2082之间的通信链路可以被定义为R6 参考点。R6参考点可以包括用于便于基于与每个WTRU 2002a、2002b、2002c 相关的移动事件的移动管理的协议。
如图20E所示，RAN 2005可以被连接到核心网络2009。RAN 2005和核心网络2009之间的通信链路可以被定义为例如包括用于便于数据传输和移动管理能力的协议的R3参考点。核心网络2009可以包括移动IP本地代理(MIP-HA)2084，验证、授权、计费(AAA)服务2086和网关2088。尽管每个上述元素被描述为核心网络2009的一部分，但是应该理解的是这些元素中的任意一个可以被除了核心网络运营商以外的实体拥有和/或运营。
MIP-HA可以负责IP地址管理，且可以使得WTRU 2002a、2002b、2002c 在不同的ASN和/或不同的核心网络之间漫游。MIP-HA 2084可以向WTRU 2002a、2002b、2002c提供至分组交换网络(例如因特网2010)的接入，从而便于WTRU 2002a、2002b、2002c和IP使能设备之间的通信。AAA服务器2086可以负责用户认证和支持用户服务。网关2088可以促进与其他网络之间的交互工作。例如，网关2088可以向WTRU 2002a、2002b、2002c提供至电路交换网络(例如PSTN 2008)的接入，从而便于WTRU 2002a、2002b、 2002c与传统陆线通信设备之间的通信。另外，网关2088可以向WTRU 2002a、2002b、2002c提供至网络2012的接入，该网络2012可以包含被其他服务提供商拥有和/或运营的其他有线或无线网络。
虽然在图20E中未示出，但应该理解的是RAN 2005可以被连接到其他 ASN且核心网络2009可以被连接到其他核心网络。RAN 2005和其他ASN 之间的通信链路可以被定义为R4参考点，该R4参考点可以包括用于协调 RAN 2005和其他ASN之间的WTRU 2002a、2002b、2002c移动性的协议。核心网络2009和其他核心网络之间的通信链路可以被定义为R5参考点，该 R5参考点可以包括用于便于本地核心网络和受访核心网络之间的交互工作的协议。
以上描述的流程可以在由计算机或处理器执行的计算机程序、软件或固件中实施，其中所述计算机程序、软件或固件被包含在计算机可读存储介质中。计算机可读介质的实例包括电子信号(通过有线或者无线连接而传送) 和计算机可读存储介质。关于计算机可读存储介质的实例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、磁介质(例如，内部硬盘或可移动磁盘)、磁光介质以及CD-ROM光盘和数字多功能光盘(DVD)之类的光介质。与软件有关的处理器可以被用于实施在WTRU、UE、终端、基站、RNC或者任何主计算机中使用的无线电频率收发信机。

Claims (15)

1.一种视频设备，该设备包括：
存储器，用于存储程序；以及
处理器，被配置成执行所述存储器内存储的所述程序，以实现以下操作：
基于与由第二时间实例表征的第二基层图片的块相关联的基层运动信息确定第一时间实例；
从由所述第一时间实例表征的增强层图片的块中减去由所述第一时间实例表征的第一基层图片的块，以生成由所述第一时间实例表征的差分块；
使用与所述第二基层图片的所述块相关联的所述基层运动信息在所述差分块上执行运动补偿；
将运动补偿后的差分块添加到由所述第二时间实例表征的所述第二基层图片的所述块上，以生成由所述第二时间实例表征的增强型层间参考(E-ILR)块；
生成包括所述E-ILR块的由所述第二时间实例表征的E-ILR图片；以及
将所述E-ILR图片添加至由所述第二时间实例表征的增强层图片的参考图片列表。
2.根据权利要求1所述的设备，其中所述第一基层图片的所述块是所述第一基层图片的上采样块，以及其中所述第二基层图片的所述块是所述第二基层图片的上采样块。
3.根据权利要求1所述的设备，其中所述处理器被配置成，在将所述运动补偿后的差分块添加到所述第二基层图片的所述块上以生成所述E-ILR块之前，将所述运动补偿后的差分块乘以权重。
4.根据权利要求3所述的设备，其中所述权重大于或等于零且小于或等于1。
5.根据权利要求1所述的设备，其中所述处理器被配置成，在将所述运动补偿后的差分块添加到所述第二基层图片的所述块上以生成所述E-ILR块之前，给所述运动补偿后的差分块添加偏移。
6.根据权利要求1所述的设备，其中与所述第二基层图片的所述块相关联的所述基层运动信息是与所述第二基层图片的所述块相关联的伸缩的运动信息。
7.根据权利要求1所述的设备，其中与所述第二基层图片的所述块相关联的所述基层运动信息包括：运动信息类别和运动向量中的一者或多者。
8.根据权利要求1所述的设备，其中所述处理器被配置成，使用所述E-ILR图片来预测由所述第二时间实例表征的增强层图片。
9.一种视频设备，该设备包括：
存储器，用于存储程序；以及
处理器，被配置成用于执行所述存储器内存储的所述程序，以实现以下操作：
基于与由第二时间实例表征的第二基层图片的块相关联的基层运动信息确定第一时间实例；
从由所述第一时间实例表征的增强层图片的块中减去由所述第一时间实例表征的第一基层图片的块，以生成由所述第一时间实例表征的差分块；
使用与所述第二基层图片的所述块相关联的所述基层运动信息在所述差分块上执行运动补偿；
将运动补偿后的差分块添加到由所述第二时间实例表征的所述第二基层图片的所述块上，以生成由所述第二时间实例表征的增强型层间参考(E-ILR)块。
10.根据权利要求9所述的设备，其中所述第一基层图片的所述块是所述第一基层图片的上采样块，以及其中所述第二基层图片的所述块是所述第二基层图片的上采样块。
11.根据权利要求9所述的设备，其中所述处理器被配置成，在将所述运动补偿后的差分块添加到所述第二基层图片的所述块以生成所述E-ILR块之前，将所述运动补偿后的差分块乘以权重，所述权重大于或等于零且小于或等于1。
12.根据权利要求9所述的设备，其中所述处理器被配置成，在将所述运动补偿后的差分块添加到所述第二基层图片的所述块上以生成所述E-ILR块之前，给所述运动补偿后的差分块添加偏移。
13.根据权利要求9所述的设备，其中与所述第二基层图片的所述块相关联的所述基层运动信息是与所述第二基层图片的所述块相关联的伸缩的运动信息。
14.根据权利要求9所述的设备，其中与所述第二基层图片的所述块相关联的所述基层运动信息包括：运动信息类别和运动向量中的一者或多者。
15.根据权利要求9所述的设备，其中所述处理器被配置成，使用所述E-ILR块来预测由所述第二时间实例表征的增强层图片。
CN201480020203.5A 2013-04-05 2014-04-04 针对多层视频编码的层间参考图片增强的设备 Active CN105122805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910879998.XA CN110855994B (zh) 2013-04-05 2014-04-04 针对多层视频编码的层间参考图片增强的设备

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361809115P 2013-04-05 2013-04-05
US61/809,115 2013-04-05
US201361812687P 2013-04-16 2013-04-16
US61/812,687 2013-04-16
US201361845318P 2013-07-11 2013-07-11
US61/845,318 2013-07-11
PCT/US2014/032904 WO2014165721A1 (en) 2013-04-05 2014-04-04 Inter-layer reference picture enhancement for multiple layer video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910879998.XA Division CN110855994B (zh) 2013-04-05 2014-04-04 针对多层视频编码的层间参考图片增强的设备

Publications (2)

Publication Number Publication Date
CN105122805A CN105122805A (zh) 2015-12-02
CN105122805B true CN105122805B (zh) 2019-10-15

Family

ID=50733377

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910879998.XA Active CN110855994B (zh) 2013-04-05 2014-04-04 针对多层视频编码的层间参考图片增强的设备
CN201480020203.5A Active CN105122805B (zh) 2013-04-05 2014-04-04 针对多层视频编码的层间参考图片增强的设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910879998.XA Active CN110855994B (zh) 2013-04-05 2014-04-04 针对多层视频编码的层间参考图片增强的设备

Country Status (7)

Country Link
US (1) US10708605B2 (zh)
EP (2) EP3410715A1 (zh)
JP (2) JP6360154B2 (zh)
KR (2) KR102118524B1 (zh)
CN (2) CN110855994B (zh)
TW (1) TW201511526A (zh)
WO (1) WO2014165721A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014186542A1 (en) 2013-05-15 2014-11-20 Vid Scale, Inc. Single loop decoding based inter layer prediction
FR3008840A1 (fr) * 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
US9826232B2 (en) 2014-01-08 2017-11-21 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US9712871B2 (en) 2014-05-01 2017-07-18 Qualcomm Incorporated Determination bitstream decoding capability in video coding
US20160064039A1 (en) * 2014-08-26 2016-03-03 Microsoft Corporation Thumbnail Generation
US10742736B2 (en) 2017-12-19 2020-08-11 Western Digital Technologies, Inc. Integrated erasure coding for data storage and transmission
US20190191191A1 (en) * 2017-12-19 2019-06-20 Western Digital Technologies, Inc. Hybrid techniques for content distribution with edge devices
US10720124B2 (en) * 2018-01-15 2020-07-21 Microsoft Technology Licensing, Llc Variable pixel rate display interfaces
CA3089103A1 (en) 2018-01-23 2019-08-01 Imax Corporation Enhancing image data with appearance controls
EP3759693A4 (en) * 2018-02-27 2021-11-24 Magic Leap, Inc. MESH PAIRING FOR VIRTUAL AVATARS
KR102030630B1 (ko) * 2018-04-30 2019-11-08 서울과학기술대학교 산학협력단 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템
GB2616980B (en) * 2018-10-09 2023-12-13 V Nova Int Ltd Signal element coding format compatibility within a hierarchical coding scheme using multiple resolutions
WO2020084502A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Video processing using local illumination compensation
WO2020084506A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and intra block copy coding
US12022059B2 (en) * 2018-12-07 2024-06-25 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
WO2020177702A1 (en) * 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Two-level signaling of filtering information in video processing
CN111726632B (zh) * 2019-03-18 2022-08-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN114402591B (zh) 2019-09-13 2024-08-02 北京字节跳动网络技术有限公司 并置运动矢量的推导
WO2021112652A1 (ko) * 2019-12-05 2021-06-10 한국전자통신연구원 영역 차등적 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
US11677934B2 (en) * 2021-09-24 2023-06-13 Apple Inc. Encoding and decoding video content

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931813A (zh) * 2004-10-15 2010-12-29 弗劳恩霍夫应用研究促进协会 用中间层残留值预测产生并解码视频序列的设备和方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
JP2002315004A (ja) 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
US7903742B2 (en) 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
WO2006006793A1 (en) * 2004-07-15 2006-01-19 Samsung Electronics Co., Ltd. Video encoding and decoding methods and video encoder and decoder
KR100746006B1 (ko) * 2005-07-19 2007-08-06 삼성전자주식회사 계층적 구조에 적합하게 시간적 다이렉트 모드로인코딩하며, 디코딩하는 방법 및 장치
KR20080066784A (ko) 2005-10-11 2008-07-16 노키아 코포레이션 규모가변적 비디오 코딩을 위한 효율적 디코딩 화상 버퍼관리
MY159176A (en) * 2005-10-19 2016-12-30 Thomson Licensing Multi-view video coding using scalable video coding
WO2007080480A2 (en) * 2006-01-09 2007-07-19 Nokia Corporation Error resilient mode decision in scalable video coding
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
JP5044518B2 (ja) * 2008-09-17 2012-10-10 株式会社東芝 画像処理装置及びコンピュータ端末
WO2010044757A1 (en) * 2008-10-17 2010-04-22 Agency For Science, Technology And Research Method for encoding a digital picture, encoder, and computer program element
EP2394432A4 (en) 2009-02-03 2016-12-14 Thomson Licensing METHODS AND APPARATUS FOR MOTION COMPENSATION WITH SMOOTH REFERENCE IMAGE IN BIT DEPTH EXTENSIBILITY
JP5557265B1 (ja) * 2011-04-15 2014-07-23 エスケー プラネット カンパニー、リミテッド マルチトラックビデオを用いた高速スケーラブル・ビデオ・コーディング装置及び方法
GB2492396A (en) * 2011-06-30 2013-01-02 Canon Kk Decoding a Scalable Video Bit-Stream
JP5830993B2 (ja) * 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
JP2013042225A (ja) * 2011-08-11 2013-02-28 Jvc Kenwood Corp 動画像復号装置、動画像復号方法及び動画像復号プログラム
CN110035286B (zh) 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
US9357211B2 (en) * 2012-12-28 2016-05-31 Qualcomm Incorporated Device and method for scalable and multiview/3D coding of video information
US20140254681A1 (en) * 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931813A (zh) * 2004-10-15 2010-12-29 弗劳恩霍夫应用研究促进协会 用中间层残留值预测产生并解码视频序列的设备和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Choi H M ET AL."Scalable structures and inter-layer predictions for HEVC scalable extension".《JCT-VC Meeting;97.MPEG Meeting》.2011,(第JCTVC-F096期),全文. *
LI X ET AL."TE3: Results of Test 4.6.2.1 on Generalized Residual Prediction".《JCT-VC Meeting;103.MPEG Meeting》.2013,(第JCTVC-L0078期),第1页第8行-第3页第18行. *
LI X ET AL."Non-TE3:Extension of Test 4.6.2.1 on Generalized Residual Prediction".《JCT-VC Meeting;103.MPEG Meeting》.2013,(第JCTVC-L0190期),第1页第7行-第2页第13行，图1. *

Also Published As

Publication number Publication date
US20160065976A1 (en) 2016-03-03
CN110855994B (zh) 2023-09-19
KR101915156B1 (ko) 2018-11-06
EP2982117B1 (en) 2018-07-25
CN105122805A (zh) 2015-12-02
TW201511526A (zh) 2015-03-16
JP6592145B2 (ja) 2019-10-16
US10708605B2 (en) 2020-07-07
KR20180120788A (ko) 2018-11-06
EP2982117A1 (en) 2016-02-10
KR20150140744A (ko) 2015-12-16
JP2016535465A (ja) 2016-11-10
JP2018174566A (ja) 2018-11-08
KR102118524B1 (ko) 2020-06-09
EP3410715A1 (en) 2018-12-05
WO2014165721A1 (en) 2014-10-09
CN110855994A (zh) 2020-02-28
JP6360154B2 (ja) 2018-07-18

Similar Documents

Publication Publication Date Title
CN105122805B (zh) 针对多层视频编码的层间参考图片增强的设备
CN106664410B (zh) 用于基于三维色彩映射模型参数优化的系统和方法
CN104429071B (zh) 用于多层视频编码的编解码器架构
CN105765979B (zh) 用于可缩放视频编码的层间预测
CN105830440B (zh) 使用插值进行亮度和色度的相位对准的色域可伸缩视频编码设备及方法
US11109044B2 (en) Color space conversion
CN104685877B (zh) 用于多层视频编码的自适应上采样
CN103797792B (zh) 用于空间预测的系统和方法
CN109983771A (zh) 编码装置、解码装置、编码方法及解码方法
CN109997359A (zh) 编码装置、解码装置、编码方法及解码方法
CN106464921A (zh) 用于块内复制搜索增强的方法和系统
CN108322744A (zh) 用于可缩放的高效视频编码（hevc）的参考图片集（rps）信令
CN110495177A (zh) 编码装置、解码装置、编码方法及解码方法
TWI777907B (zh) 編碼裝置、編碼方法、解碼裝置、解碼方法及電腦可讀取之非暫時性媒體
TWI761552B (zh) 編碼裝置、編碼方法、解碼裝置及解碼方法
TWI838995B (zh) 圖像解碼裝置及解碼方法
US20220201297A1 (en) Encoder, decoder, encoding method, and decoding method
TW202415063A (zh) 非暫時性電腦可讀取媒體

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201215

Address after: Fa Guobali

Patentee after: Interactive Digital Madison Patent Holdings

Address before: Delaware, USA

Patentee before: VID SCALE, Inc.

TR01 Transfer of patent right