CN101283599A - 感兴趣区域h.264可分级视频编码 - Google Patents

感兴趣区域h.264可分级视频编码 Download PDF

Info

Publication number
CN101283599A
CN101283599A CNA2006800375434A CN200680037543A CN101283599A CN 101283599 A CN101283599 A CN 101283599A CN A2006800375434 A CNA2006800375434 A CN A2006800375434A CN 200680037543 A CN200680037543 A CN 200680037543A CN 101283599 A CN101283599 A CN 101283599A
Authority
CN
China
Prior art keywords
enhancement layer
bar group
stream
group
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800375434A
Other languages
English (en)
Other versions
CN101283599B (zh
Inventor
尹鹏
吉尔·麦克唐纳·布瓦斯
普尔温·比贝哈斯·潘迪特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101283599A publication Critical patent/CN101283599A/zh
Application granted granted Critical
Publication of CN101283599B publication Critical patent/CN101283599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于可分级视频编码和解码的编码器、解码器、相应的编码和解码方法、视频信号结构以及存储介质。一种可分级视频编码器，包括：编码器(100)，用于通过如下方式来对图像进行编码以形成基层比特流和增强层比特流：把图像分为多个图像块；把多个图像块分组为基层比特流中的一个或更多个像条组以及增强层比特流中的两个或更多个像条组；对基层比特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像条组的不到全部进行编码，使得来自两个或更多个像条组的至少一个像条组在增强层比特流中有意地未被编码；对报头中的语法元素进行编码，以指示增强层中至少一个有意未编码的像条组。

Description

感兴趣区域H.264可分级视频编码
相关申请的引用
本申请要求2005年10月12日申请的名为“METHOD ANDAPPARATUS FOR SCALABLE VIDEO ENCODING ANDDECODING”的美国临时申请序号No.60/725,700的权益，其全部内容在此合并以作参考。
技术领域
本发明总体上涉及视频编码和解码，更具体地涉及一种针对可分级视频编码和解码的方法及设备。
背景技术
感兴趣区域(ROI)分级(scalability)是某些可分级视频编码应用的基本特征。用户可能希望获得ROI之内和之外的不同的空间/时间/质量分级。
已讨论采用灵活宏块排序(FMO)来实现ROI的特征。国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)的第10部分的Advanced Video Coding(AVC)标准/国际电信联盟电信部(ITU-H)H.264标准(下文中称为“MPEG4/H.264标准”或简称为“H.264标准”)要求图像中的每一个宏块被包括在像条(slice)组中，而且所有像条组在原始编码图像中编码(尽管无需针对冗余图像)。H.264标准不允许任何缺失的像条组，这意味着即使对于包括非ROI的像条组，仍需要对这些像条组进行编码，并将其发送到网络中。可能有争论的是，编码器可以有选择地控制ROI之外的宏块的比特。例如，在一种现有技术的实现中，编码器可以将非ROI的所有宏块编码为BL_SKIP或INTRA_BL模式。即使发信号表明BL_SKIP或INTRA_BL模式所需的比特可能很少，但这仍使得编码器花费额外的工作对其进行编码。更重要地，对非ROI进行编码需要额外的NAL单元，因而需要额外的比特率开销。例如，在针对四分之一公共中间格式(QCIF)基层和公共中间格式(CIF)增强层(30fps)的ROI与非ROI的关系((1/4与3/4)和(1/2与1/2))的情况下，通过实时协议(RTP)来传输针对增强层中非ROI区域的INTRA_BL模式的比特率开销大约计算为分别是12kbps和9kbps。同时，其增加了路由器对所有这些NAL单元进行解析的负担。另外，解码器仍需要对针对非ROI的这些比特流进行解析。应当注意，在联合可分级视频模型(JSVM)版本3.0中，支持增强层中所有宏块的INTRA_BL模式而无需考虑基层宏块类型需要多循环解码，这对于某些简档(profile)来说可能是不允许的。这个约束限制了在编码器仅支持单循环解码情况下的INTRA_BL模式的使用。因此，当前，无论是单循环还是多循环解码，JSVM版本3.0都不允许针对非ROI中所有MB使用INTRA_BL模式。
发明内容
本发明解决了现有技术中的这些和其它缺点和不足，本发明涉及一种用于可分级视频编码和解码的方法和装置。
根据本发明的方面，提供了一种可分级视频编码器。所述可分级视频编码器包括编码器，用于对图像进行编码以形成基层比特流和增强层比特流。通过如下方式来形成基层比特流和增强层比特流：把图像分为多个图像块；把多个图像块分组为基层比特流中的一个或更多个像条组以及增强层比特流中的两个或更多个像条组；对基层比特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像条组的不到全部进行编码，使得来自两个或更多个像条组的至少一个像条组在增强层比特流中有意地未被编码；对报头中的语法元素进行编码，以指示增强层中至少一个有意未编码的像条组。
根据本发明的另一方面，提供了一种可分级视频编码方法。所述方法包括对图像进行编码以形成基层比特流和增强层比特流。所述编码步骤包括把图像分为多个图像块。所述编码步骤还包括把多个图像块分组为基层比特流中的一个或更多个像条组以及增强层比特流中的两个或更多个像条组。所述编码步骤还包括对基层比特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像条组的不到全部进行编码，使得来自两个或更多个像条组的至少一个像条组在增强层比特流中有意地未被编码。所述编码步骤额外包括对报头中的语法元素进行编码，以指示增强层中至少一个有意未编码的像条组。
根据本发明的另一方面，提供了一种可分级视频解码器。所述可分级视频解码器包括：解码器，对基层比特流和增强层比特流进行解码。用于通过如下方式来对基层比特流和增强层比特流进行解码：读取语法元素，所述语法元素指示增强层中有意未编码的多个像条组中至少一个像条组；仅使用针对由所述语法元素所指示的多个像条组中至少一个像条组的基层信息来对增强层比特流进行解码；以及使用增强层信息来对增强层中多个像条组中任何余下的像条组进行解码。
根据本发明的另一方面，提供了一种可分级视频解码方法。所述方法包括通过如下方式来对基层比特流和增强层比特流进行解码：读取语法元素，所述语法元素指示增强层中有意未编码的多个像条组中至少一个像条组；仅使用针对由所述语法元素所指示的多个像条组中至少一个像条组的基层信息来对增强层比特流进行解码；以及使用增强层信息来对增强层中多个像条组中任何余下的像条组进行解码。
根据本发明的另一方面，提供了一种用于可分级视频编码的视频信号结构。所述视频信号结构包括：图像，被编码以形成基层比特流和增强层比特流。通过如下方式来形成基层比特流和增强层比特流：把图像分为多个图像块；把多个图像块分组为基层比特流中的一个或更多个像条组以及增强层比特流中的两个或更多个像条组；对基层比特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像条组的不到全部进行编码，使得来自两个或更多个像条组的至少一个像条组在增强层比特流中有意地未被编码；对报头中的语法元素进行编码，以指示增强层中至少一个有意未编码的像条组。
根据本发明的另一方面，提供了一种存储介质，其上编码有可分级视频信号数据。所述存储介质包括：图像，被编码以形成基层比特流和增强层比特流。通过如下方式来形成基层比特流和增强层比特流：把图像分为多个图像块；把多个图像块分组为基层比特流中的一个或更多个像条组以及增强层比特流中的两个或更多个像条组；对基层比特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像条组的不到全部进行编码，使得来自两个或更多个像条组的至少一个像条组在增强层比特流中有意地未被编码；对报头中的语法元素进行编码，以指示增强层中至少一个有意未编码的像条组。
从将要结合附图进行理解的示例性实施例的详细描述中，本发明的这些和其它方面、特征以及优点将变得显而易见。
附图说明
根据以下示例性附图，可以更好地理解本发明，在附图中：
图1示出了本发明原理可应用于其中的示例性联合可分级视频模型(JSVM)3.0编码器的方框图；
图2示出了本发明原理可应用于其中的示例性解码器的方框图；
图3是根据本发明实施例利用感兴趣区域的联合可分级视频编码的示例性方法的流程图；以及
图4是根据本发明实施例利用感兴趣区域的联合可分级视频解码的示例性方法的流程图。
具体实施方式
本发明涉及针对可分级视频编码和解码的方法及设备。
本描述示出了本发明的原理。因此，将被理解的是，尽管这里没有明确描述或示出，然而本领域的技术人员将能够设计出体现本发明的原理并被包括在本发明的精神和范围内的多种布置。
这里所列举的所有示例和条件语言旨在针对教导目的，以帮助读者理解本发明的原理以及发明者所贡献的概念，以便促进本领域，并且这里所列举的所有示例和条件语言都应解释为不对具体列举的示例和条件做出限制。
此外，这里列举本发明的原理、方面和实施例及其特定示例的所有声明都旨在包括结构和功能等价物。此外，该等价物旨在包括当前已知的等价物以及将来所开发的等价物，即所开发的执行相同功能的任意元件(与结构无关)。
因此，例如，本领域的技术人员将理解，这里所呈现的方框图表示体现了本发明原理的示例性电路的概念视图。类似地，将被理解的是，任何流程图、流程框图、状态转移图、伪码等表示实质上可以以计算机可读介质来表示并因而由计算机或处理器来执行的各个过程，无论是否明确地示出了该计算机或处理器。
可以通过使用专用硬件以及能够与适当软件相结合来执行软件的硬件来提供附图中所示的各个元件的功能。当由处理器提供时，这些功能可以由单个专用处理器、单个共享处理器、或多个单独的处理器(其中的一些可以共享)来提供。此外，术语“处理器”或“控制器”的显式使用不应被解释为专指能够执行软件的硬件，而且可以隐式地包括(没有限制)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储器。
还可以包括其它传统和/或定制的硬件。类似地，附图中所示的所有开关仅是概念上的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或甚至手动地来实现，可供实施者选择的特定技术可从上下文中得到更加具体的理解。
在本发明的权利要求中，表示成用于执行特定功能的装置的任意元件都旨在包括执行该功能的任意方式，例如包括a)执行该功能的电路元件的组合，或b)任意形式的软件，包括固件、微代码等，以及执行该软件从而执行该功能的适当电路。由该权利要求所限定的本发明在于以下事实：以权利要求所要求的方式来结合并集合由各个所列举的装置所提供的功能。因此，要注意的是，能够提供那些功能的任意装置等同于这里所示的那些装置。
转向图1，由附图标记100总体指示本发明可应用于其中的示例性联合可分级视频模型版本3.0(下文中为“JSVM3.0”)编码器。JSVM3.0编码器100使用三个空间层和运动补偿时间滤波。JSVM编码器100包括二维(2D)抽取器104、2D抽取器106、以及运动补偿时间滤波(MCTF)模块108，其中的每个都具有用于接收视频信号数据102的输入端。
2D抽取器106的输出以信号通信的形式与MCTF模块110的输入相连。MCTF模块110的第一输出以信号通信的形式与运动编码器112的输入相连，以及MCTF模块110的第二输出以信号通信的形式与预测模块116的输入相连。运动编码器112的第一输出以信号通信的形式与多路复用器114的第一输入相连。运动编码器112的第二输出以信号通信的形式与运动编码器124的第一输入相连。预测模块116的第一输出以信号通信的形式与空间变换器118的输入相连。空间变换器118的输出以信号通信的形式与多路复用器114的第二输入相连。预测模块116的第二输出以信号通信的形式与内插器120的输入相连。内插器的输出以信号通信的形式与预测模块122的第一输入相连。预测模块122的第一输出以信号通信的形式与空间变换器126的输入相连。空间变换器126的输出以信号通信的形式与多路复用器114的第二输入相连。预测模块122的第二输出以信号通信的形式与内插器130的输入相连。内插器130的输出以信号通信的形式与预测模块134的第一输入相连。预测模块134的输出以信号通信的形式与空间变换器136相连。空间变换器的输出以信号通信的形式与多路复用器114的第二输入相连。
2D抽取器104的输出以信号通信的形式与MCTF模块128的输入相连。MCTF模块128的第一输出以信号通信的形式与运动编码器124的第二输入相连。运动编码器124的第一输出以信号通信的形式与多路复用器114的第一输入相连。运动编码器124的第二输出以信号通信的形式与运动编码器132的第一输入相连。MCTF模块128的第二输出以信号通信的形式与预测模块122的第二输入相连。
MCTF模块108的第一输出以信号通信的形式与运动编码器132的第二输入相连。运动编码器132的输出以信号通信的形式与多路复用器114的第一输入相连。MCTF模块108的第二输出以信号通信的形式与预测模块134的第二输入相连。多路复用器114的输出提供了输出比特流138。
对于每个空间层，执行运动补偿时间分解。此分解提供了时间分级。可以将来自较低空间层的运动信息用于较高层的运动预测。对于纹理编码，可以将连续空间层之间的空间预测应用于消除冗余。对由层内预测或运动补偿层间预测所产生的残余信号进行转换编码。质量底层残余在每个空间层都提供了最小重构质量。如果不应用层间预测，则可以将该质量底层编码到遵从H.264标准的流中。为了质量分级，另外对质量增强层进行编码。可以选择这些增强层用于提供粗粒或细粒质量(SNR)分级。
转向图2，由附图标记200总体指示本发明可应用于其中的示例性可分级视频解码器。多路分离器202的输入端可用作到可分级视频解码器200的输入端，用于接收可分级比特流。多路分离器202的第一输出以信号通信的形式与空间逆变换SNR可分级熵解码器204的输入相连。空间逆变换SNR可分级熵解码器204的第一输出以信号通信的形式与预测模块206的第一输入相连。预测模块206的输出以信号通信的形式与逆MCTF模块208的第一输入相连。
空间逆变换SNR可分级熵解码器204的第二输出以信号通信的形式与运动向量(MV)解码器210的第一输入相连。MV解码器210的输出以信号通信的形式与逆MCTF模块208的第二输入相连。
多路分离器202的第二输出以信号通信的形式与空间逆变换SNR可分级熵解码器212的输入相连。空间逆变换SNR可分级熵解码器212的第一输出以信号通信的形式与预测模块214的第一输入相连。预测模块214的第一输出以信号通信的形式与内插模块216的输入相连。内插模块216的输出以信号通信的形式与预测模块206的第二输入相连。预测模块214的第二输出以信号通信的形式与逆MCTF模块218的第一输入相连。
空间逆变换SNR可分级熵解码器212的第二输出以信号通信的形式与MV解码器220的第一输入相连。MV解码器220的第一输出以信号通信的形式与MV解码器210的第二输入相连。MV解码器220的第二输出以信号通信的形式与逆MCTF模块218的第二输入相连。
多路分离器202的第三输出以信号通信的形式与空间逆变换SNR可分级熵解码器222的输入相连。空间逆变换SNR可分级熵解码器222的第一输出以信号通信的形式与预测模块224的输入相连。预测模块224的第一输出以信号通信的形式与内插模块226的输入相连。内插模块226的输出以信号通信的形式与预测模块214的第二输入相连。
预测模块224的第二输出以信号通信的形式与逆MCTF模块228的第一输入相连。空间逆变换SNR可分级熵解码器222的第二输出以信号通信的形式与MV解码器230的输入相连。MV解码器230的第一输出以信号通信的形式与MV解码器220的第二输入相连。MV解码器230的第二输出以信号通信的形式与逆MCTF模块228的第二输入相连。
逆MCTF模块228的输出端可用作解码器220的输出端，用于输出第0层信号。逆MCTF模块218的输出端可用作解码器200的输出端，用于输出第1层信号。逆MCTF模块208的输出端可用作解码器200的输出端，用于输出第2层信号。
已讨论采用FMO(灵活宏块排序)来实现ROI(感兴趣区域)分级的特征。H.264/AVC规范不允许任何缺失的像条组，这意味着即使对于包括非ROI的像条组，仍需要对这些像条组进行编码，并将其发送到网络中。根据本发明的实施例，这个要求得到放松，而且允许增强层中出现缺失的像条组，并限定了有意缺失的像条的规范行为。基层保持与H.264标准兼容。
因此，根据本发明的实施例，提出放松H.264标准要求，以允许针对ROI应用时增强层中出现缺失的像条组。该方法至少提供了以下优点：(a)节省了比特率；(b)减小了路由器的负担；(c)简化了解码器的解析；以及(d)节省了编码器针对非ROI区域的编码。
如果允许增强层中出现缺失的像条组，紧接下来的问题是解码器如何确定缺失的像条组是有意地不由编码器来编码还是由于网络出错而丢失。如果像条组是被有意地省略，那么根据本发明，解码器提供规范行为，从而解码器仍能够对整个图像(ROI+非ROI)进行解码，解码过程的输出在不同解码器之间的表现是一致的，而且可以维持编码器/解码器的比特精确性。然而，如果像条组是由于网络出错而丢失，则会应用取决于应用的非规范错误隐藏。
为了清楚说明像条组是有意还是无意地缺失，提出在sequence_parameter_set()中添加一个标志，即missing_slice_grouops_allowed_flag，如表1中所示。具体地，表1示出了序列参数集RBSP的语法。为了支持所有的slice_group_map_type，需要指出针对slice_group_map_type等于0、1和6，哪些像条组缺失。对于其他情况，可以总是假定仅有最后的像条组缺失，所以不需要附加的语法。对于矩形ROI分级的最常预料到的情况，将选择slice_group_map_type＝＝2，因而把很少的语法添加到picture_parameter_set()中。表2中示出了完整的语法。
表1
Seq_parameter_set_rbsp( ){   C   描述符
  profile_idc   0   u(8)
  ...
  num_ref_frames   0   ue(v)
  gaps_in_frame_num_value_allowed_flag   0   u(1)
  if(profile_idc＝＝83)
    missing_slice_groups_allowed_flag   0   u(1)
  ...   0   u(1)
}
表2
pic_parameter_set_rbsp( ){   C   描述符
  pic_parameter_set_id   1   ue(v)
  seq_parameter_set_id   1   ue(v)
  entropy_coding_mode_flag   1   u(1)
  pic_order_present_flag   1   u(1)
  num_slice_groups_minus1   1   ue(v)
  if(num_slice_groups_minus1＞0){
    slice_group_map_type   1   ue(v)
    if(slice_group_map_type＝＝0)
      for(iGroup＝0；iGroup＜＝num_slice_groups_minus1；iGroup++)
        run_length_minus1[iGroup]   1   ue(v)
    else_if(slice_group_map_type＝＝2)
      for(iGroup＝0；iGroup＜num_slice_groups_minus1；iGroup++){
        top_left[iGroup]   1   ue(v)
        bottom_right[iGroup]   1   ue(v)
      }
    else if(slice_group_map_type＝＝3||slice_group_map_type＝＝4||slice_group_map_type＝＝5){
      slice_group_change_direction_flag   1   u(1)
      slice_group_change_rate_minus1   1   ue(v)
    }else if(slice_group_map_type＝＝6){
      pic_size_in_map_units_minus1   1   ue(v)
      for(i＝0；i＜＝pic_size_in_map_units_minus1；i++)
        slice_group_id[i]   1   u(v)
    }
  }
  if((profile_idc＝＝83)&&(missing_slice_groups_allowed_flag)&&(num_slice_group_minus1＞0)){
      num_missing_slice_group   1   ue(v)
       if(num_missing_slice_group＞0){
          if(slice_group_map_type＝＝0 ||slice_group_map_type＝＝1 ||slice_group_map_type＝＝6){
                for(i＝0；i＜num_missing_slice_group；i++){
                       missing_slice_group_id[i]   1   u(v)
                }
        }
      }
  }
...
}
missing_slice_groups_allowed_flag规定允许比特流中的缺失像条组。当missing_slice_groups_allowed_flag不存在时，应当推断其等于0。当missing_slice_groups_allowed_flag等于1时，基层和增强层之间必须存在“相同像条组映射”。“相同像条组映射”的含义是相同的num_slice_groups_minus_1和相同的same slice_group_map_type。
num_missing_slice_groups规定图像的缺失像条组的个数。
missing_slice_group_id[i]表示按照光栅扫描顺序的第i个缺失像条组映射单元的缺失像条组。
利用所提供的新的语法，解码器可以决定增强层中的像条组是有意缺失还是由于网络出错而丢失。在决定有意缺失组的解码处理的规范行为时，可以考虑如下因素：(1)由于缺失像条组应用于增强层中的非ROI，因此质量不一定很高，但是质量应当是可接受的；以及(2)复杂度应当保持较低，而且解码器应当重新使用当前SVC设计中的可用的功能。
提出可使用当前的SVC设计的两种可能的方案：(1)使用不带有残余的INTRA_BL模式，即复制或上采样base_layer图像；以及(2)使用不带有残余的BL_SKIP模式。因此，可以使用上述任一方法来选择对有意缺失的像条组进行解码的规范行为。
转到图3，附图标记300大体示出了利用感兴趣区域的联合可分级视频编码的示例性方法。该方法包括开始块305，其从对感兴趣区域(ROI)信息的编码开始，并将控制传递给功能块310。功能块310取决于ROI信息而创建像条组，并将控制传递给决策块315。决策块315确定待编码的当前块是否为基层。如果是，则控制传递到功能块320。否则，控制传递到功能块325。
功能块320对(基层中的)所有像条组进行编码，并将控制传递到结束块370。
功能块325把基层像条组映射到增强层像条组，并将控制传递给功能块330。功能块330把missing_slice_groups_allowed_flag设置为等于1，并将控制传递给决策块335。决策块335确定当前像条组是否属于感兴趣区域。如果是，则将控制传递到功能块340。否则，将控制传递到功能块355。
根据块340使用层间预测对当前像条组进行编码，并将控制传递到决策块345。
功能块355不对当前像条组进行编码，并把控制传递到功能块360。功能块360递增num_missing_slice_groups，并将控制传递到决策块345。
决策块345确定num_missing_slice_group是否大于1。如果是，则将控制传递到功能块350。否则，将控制传递到结束块370。
功能块350针对每一个缺失像条组i，指出missing_slice_groups_id[i]，并将控制传递到结束块370。
转到图4，附图标记400大体示出了利用感兴趣区域的联合可分级视频解码的示例性方法。该方法包括开始块405，其从对增强层进行解码而开始，并将控制传递到功能块410。功能块410获取missing_slice_groups_allowed_flag，并将控制传递到功能块415。功能块415针对每一个缺失像条组i，指出missing_slice_group_id[i]，并将控制传递到功能块420。功能块420获取num_missing_slice_groups，并将控制传递到决策块425。决策块425确定num_missing_slice_groups是否大于1。如果是，则将控制传递到功能块430。否则，将控制传递到决策块435。
功能块430针对每一个像条组i，读取missing_slice_group_id[i]，并将控制传递到决策块435。
决策块435确定是否仅对ROI区域进行解码。如果是，则将控制传递到决策块440。否则，将控制传递到决策块450。
决策块440确定像条组(包括ROI区域)是否为有意缺失。如果是，则将控制传递到功能块445。否则，将控制传递到功能块460。
功能块445对下一个ROI像条组进行解码，并将控制传递到结束块480。
功能块460隐藏丢失的ROI像条组，并将控制传递到结束块480。
决策块450确定该像条组是否属于ROI。如果是，则将控制传递到功能块455。否则，将控制传递到决策块465。
功能块455对ROI像条组进行解码，并将控制传递到结束块480。
决策块465确定该像条组是否为有意缺失。如果是，则将控制传递到功能块470。否则，将控制传递到功能块460。
功能块470在基层中对这个像条组进行解码，并将控制传递到功能块475。功能块475使用不带有残余的INTRA_BL模式或BL_SKIP模式在增强层中对这个像条组进行解码，并将控制传递到结束块480。
现在，将给出对本发明的多个附带优点/特征中的一些的描述，本发明的多个附带优点/特征中的一些已经在上述提到。例如，一个优点/特征是可分级视频编码器。该可分级视频编码器包括用于对图像进行编码以形成基层比特流和增强层比特流的编码器。通过如下方式来形成基层比特流和增强层比特流：把图像分为多个图像块；把多个图像块分组为基层比特流中的一个或更多个像条组以及增强层比特流中的两个或更多个像条组；对基层比特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像条组的不到全部进行编码，使得来自两个或更多个像条组的至少一个像条组在增强层比特流中有意地未被编码；对报头中的语法元素进行编码，以指示增强层中至少一个有意未编码的像条组。
另一个优点/特征是上述可分级视频编码器，其中，形成增强层比特流以支持至少一个感兴趣区域应用，使得增强层中两个或更多个像条组中包括感兴趣区域的任意像条组在增强层比特流中进行编码，同时增强层中两个或更多个像条组中不包括感兴趣区域的任意像条组有意地未被编码。
另一个优点/特征是上述可分级视频编码器，其中，该编码器通过在与增强层比特流相对应的序列参数集中添加missing_slice_groups_allowed_flag字段来添加语法元素。
此外，另一个优点/特征是上述添加语法元素的可分级视频编码器，其中，增强层比特流和基层比特流之间存在相同像条组映射，当missing_slice_groups_allowed_flag字段等于1时，与num_slice_groups_minus_1字段和slice_group_map_type字段有关的相同像条组映射分别具有针对基层比特流和增强层比特流的相同值。
此外，另一个优点/特征是上述可分级视频编码器，其中，该编码器在与增强层比特流相对应的图像参数集中添加num_missing_slice_groups字段，以规定针对该图像有意未编码的像条组的数量。
此外，另一个优点/特征是上述添加了num_missing_slice_groups字段的可分级视频编码器，其中，该编码器在与增强层比特流相对应的图像参数集中添加missing_slice_group_id[i]字段，以在其中至少识别针对slice_group_map字段等于0、1或6的情况下按照光栅扫描顺序的第i个有意省略的像条组映射单元的有意未编码的像条组。
此外，另一个优点/特征是上述添加num_missing_slice_groups字段的可分级视频编码器，其中，该编码器把slice_group_map字段设置为等于2、3、4或5，以指示增强层比特流中最后的像条组是至少一个有意未编码的像条组。
本发明的这些和其它特征及优点可以由相关领域的技术人员基于这里的教导很容易地确定。应理解，本发明的教导可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现。
最优选地，将本发明的教导实现为硬件和软件的组合。此外，优选地将软件实现为有形地体现在程序存储单元上的应用程序。该应用程序可以上载到包括任意适当体系结构的机器并由该机器执行。优选地，在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、以及输入/输出(“I/O”)接口之类的硬件的计算机平台上实现该机器。该计算机平台还可以包括操作系统和微指令码。这里所描述的各个过程和功能可以是微指令码的一部分或应用程序的一部分，或者两者的任意组合，其可以由CPU来执行。此外，可以将各种其它外围单元与该计算机平台相连，例如附加的数据存储单元和打印单元。
还应理解，因为附图中所描述的组成系统组件和方法中的一些优选地以软件来实现，所以系统组件或过程功能框之间的实际连接可能取决于本发明的编程方式而不同。在给定这里的教导的情况下，相关领域的技术人员将能够设想本发明的这些和类似的实现或配置。
尽管这里已经参考附图描述了示例性实施例，应理解，本发明不局限于那些精确的实施例，并且在不背离本发明的范围或精神的前提下，可以由相关领域的技术人员实现各种变化和修改。所有这些变化和修改都旨在被包括在所附权利要求中提出的本发明的范围内。

Claims (36)

1、一种装置，包括：
编码器(100)，用于通过如下方式来对图像进行编码以形成基层比特流和增强层比特流：把图像分为多个图像块；把多个图像块分组为基层比特流中的一个或更多个像条组以及增强层比特流中的两个或更多个像条组；对基层比特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像条组的不到全部进行编码，使得在增强层比特流中，所述两个或更多个像条组中的至少一个像条组有意地未被编码；对报头中的语法元素进行编码，以指示增强层中至少一个有意未编码的像条组。
2、根据权利要求1所述的装置，其中，形成增强层比特流以支持至少一个感兴趣区域应用，使得增强层中两个或更多个像条组中包括感兴趣区域的任意像条组在增强层比特流中进行编码，同时增强层中两个或更多个像条组中不包括感兴趣区域的任意像条组有意地未被编码。
3、根据权利要求1所述的装置，其中，所述编码器(100)通过在与增强层比特流相对应的序列参数集中添加missing_slice_groups_allowed_flag字段来添加语法元素。
4、根据权利要求3所述的装置，其中，增强层比特流和基层比特流之间存在相同像条组映射，当missing_slice_groups_allowed_flag字段等于1时，针对基层比特流和增强层比特流，与num_slice_groups_minus_1字段和slice_group_map_type字段有关的相同像条组映射分别具有相同值。
5、根据权利要求1所述的装置，其中，所述编码器(100)在与增强层比特流相对应的图像参数集中添加num_missing_slice_groups字段，以规定针对该图像有意未编码的像条组的数量。
6、根据权利要求5所述的装置，其中，所述编码器(100)在与增强层比特流相对应的图像参数集中添加missing_slice_group_id[i]字段，以在其中至少识别针对slice_group_map字段等于0、1或6的情况下按照光栅扫描顺序的第i个有意省略的像条组映射单元的有意未编码的像条组。
7、根据权利要求5所述的装置，其中，所述编码器(100)把slice_group_map字段设置为等于2、3、4或5，以指示增强层比特流中最后的像条组是至少一个有意未编码的像条组。
8、一种可分级视频编码方法，包括：
对图像进行编码(355)以形成基层比特流和增强层比特流，
其中，所述编码步骤包括：
把图像分为多个图像块；
把多个图像块分组(310)为基层比特流中的一个或更多个像条组以及增强层比特流中的两个或更多个像条组；
对基层比特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像条组的不到全部进行编码(320、340、355)，使得在增强层比特流中，所述两个或更多个像条组中的至少一个像条组有意地未被编码；
对报头中的语法元素进行编码(330)，以指示增强层中至少一个有意未编码的像条组。
9、根据权利要求8所述的方法，其中，形成增强层比特流以支持至少一个感兴趣区域应用，使得增强层中两个或更多个像条组中包括感兴趣区域的任意像条组在增强层比特流中进行编码，同时增强层中两个或更多个像条组中不包括感兴趣区域的任意像条组有意地未被编码(310)。
10、根据权利要求8所述的方法，其中，所述编码步骤包括：通过在与增强层比特流相对应的序列参数集中添加missing_slice_groups_allowed_flag字段来添加(330)语法元素。
11、根据权利要求10所述的方法，其中，增强层比特流和基层比特流之间存在相同像条组映射，当missing_slice_groups_allowed_flag字段等于1时，针对基层比特流和增强层比特流，与num_slice_groups_minus_1字段和slice_group_map_type字段有关的相同像条组映射分别具有相同值(325)。
12、根据权利要求8所述的方法，其中，所述编码步骤包括：在与增强层比特流相对应的图像参数集中添加(360)num_missing_slice_groups字段，以规定针对该图像有意未编码的像条组的数量。
13、根据权利要求12所述的方法，其中，所述编码步骤包括：在与增强层比特流相对应的图像参数集中添加(350)missing_slice_group_id[i]字段，以在其中至少识别针对slice_group_map字段等于0、1或6的情况下按照光栅扫描顺序的第i个有意省略的像条组映射单元的有意未编码的像条组。
14、根据权利要求12所述的方法，其中，所述编码步骤包括：把slice_group_map字段设置为等于2、3、4或5，以指示增强层比特流中最后的像条组是至少一个有意未编码的像条组。
15、一种装置，包括：
解码器(200)，用于通过如下方式来对基层比特流和增强层比特流进行解码：读取语法元素，所述语法元素指示增强层中有意未编码的多个像条组中至少一个像条组；仅使用针对由所述语法元素所指示的多个像条组中至少一个像条组的基层信息来对增强层比特流进行解码；以及使用增强层信息来对增强层中多个像条组中任何余下的像条组进行解码。
16、根据权利要求15所述的装置，其中，增强层比特流支持感兴趣区域应用，使得多个像条组中包括感兴趣区域的任意像条组被包括在增强层比特流中，而多个像条组中不包括感兴趣区域的任意像条组被有意地从中省略。
17、根据权利要求15所述的装置，其中，所述解码器(200)通过如下方式读取语法元素：读取与增强层比特流相对应的序列参数集中的missing_slice_groups_allowed_flag字段。
18、根据权利要求17所述的装置，其中，增强层比特流和基层比特流之间存在相同像条组映射，当missing_slice_groups_allowed_flag字段等于1时，针对基层比特流和增强层比特流，与num_slice_groups_minus_1字段和slice_group_map_type字段有关的相同像条组映射分别具有相同值。
19、根据权利要求15所述的装置，其中，所述解码器(200)读取与增强层比特流相对应的图像参数集中的num_missing_slice_groups字段，以规定针对图像参数集中的图像而有意未编码的多个像条组的数量。
20、根据权利要求19所述的装置，其中，所述解码器(200)读取与增强层比特流相对应的图像参数集中的missing_slice_group_id[i]字段，以在其中识别针对slice_group_map字段等于0、1或6的情况下按照光栅扫描顺序的第i个有意省略的像条组映射单元的至少一个有意未编码的像条组。
21、根据权利要求19所述的装置，其中，当slice_group_map字段被设为等于2、3、4或5时，所述解码器(200)把增强层比特流中最后的像条组识别为至少一个有意未编码的像条组。
22、根据权利要求15所述的装置，其中，所述解码器(200)使用INTRA_BL模式对至少一个有意未编码的像条组进行解码，而不考虑针对增强层比特流所指示的具体简档中是否允许多循环解码。
23、根据权利要求15所述的装置，其中，所述解码器(200)使用BL_SKIP模式对至少一个有意未编码的像条组进行解码。
24、根据权利要求15所述的装置，其中，当至少一个有意未编码的像条组被检测为缺失但未在与增强层相对应的序列参数集和图像参数集中规定时，所述解码器(200)执行错误隐藏方法以隐藏至少一个有意未编码的像条组。
25、一种可分级视频解码方法，包括：
通过如下方式来对基层比特流和增强层比特流进行解码：读取(410)语法元素，所述语法元素指示增强层中有意未编码的多个像条组中至少一个像条组；仅使用针对由所述语法元素所指示的多个像条组中至少一个像条组的基层信息来对增强层比特流进行解码(475)；以及使用增强层信息来对增强层中多个像条组中任何余下的像条组进行解码(455)。
26、根据权利要求25所述的方法，其中，增强层比特流支持感兴趣区域应用，使得多个像条组中包括感兴趣区域的任意像条组被包括在增强层比特流中，而多个像条组中不包括感兴趣区域的任意像条组有意地从中省略。
27、根据权利要求25所述的方法，其中，所述解码步骤包括：通过读取与增强层比特流相对应的序列参数集中的missing_slice_groups_allowed_flag字段，以读取(410)语法元素。
28、根据权利要求27所述的方法，其中，增强层比特流和基层比特流之间存在相同像条组映射，当missing_slice_groups_allowed_flag字段等于1时，针对基层比特流和增强层比特流，与num_slice_groups_minus_1字段和slice_group_map_type字段有关的相同像条组映射分别具有相同值。
29、根据权利要求25所述的方法，其中，所述解码步骤包括：读取(420)与增强层比特流相对应的图像参数集中的num_missing_slice_groups字段，以规定针对图像参数集中的图像而有意未编码的多个像条组的数量。
30、根据权利要求29所述的方法，其中，所述解码步骤包括：读取(430)与增强层比特流相对应的图像参数集中的missing_slice_group_id[i]字段，以在其中识别针对slice_group_map字段等于0、1或6的情况下按照光栅扫描顺序的第i个有意省略的像条组映射单元的至少一个有意缺失的像条组。
31、根据权利要求29所述的方法，其中，所述解码步骤包括：当slice_group_map字段被设为等于2、3、4或5时，把增强层比特流中最后的像条组识别(465)为至少一个有意未编码的像条组。
32、根据权利要求25所述的方法，其中，所述解码步骤使用INTRA_BL模式对至少一个有意未编码的像条组进行解码，而不考虑针对增强层比特流所指示的具体简档中是否允许多循环解码(475)。
33、根据权利要求25所述的方法，其中，所述解码步骤使用BL_SKIP模式对至少一个有意未编码的像条组进行解码(475)。
34、根据权利要求25所述的方法，其中，所述解码步骤包括：当至少一个有意未编码的像条组被检测为缺失但未在与增强层相对应的序列参数集和图像参数集中规定时，执行(460)错误隐藏方法以隐藏至少一个有意未编码的像条组。
35、一种用于可分级视频编码的视频信号结构，包括：
图像，被编码以形成基层比特流和增强层比特流，其中，通过如下方式来形成基层比特流和增强层比特流：把图像分为多个图像块；把多个图像块分组为基层比特流中的一个或更多个像条组以及增强层比特流中的两个或更多个像条组；对基层比特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像条组的不到全部进行编码，使得来自两个或更多个像条组的至少一个像条组在增强层比特流中有意地未被编码；对报头中的语法元素进行编码，以指示增强层中至少一个有意未编码的像条组。
36、一种存储介质，其上具有编码的可分级视频信号数据，所述存储介质包括：
图像，被编码以形成基层比特流和增强层比特流，其中，通过如下方式来形成基层比特流和增强层比特流：把图像分为多个图像块；把多个图像块分组为基层比特流中的一个或更多个像条组以及增强层比特流中的两个或更多个像条组；对基层比特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像条组的不到全部进行编码，使得来自两个或更多个像条组的至少一个像条组在增强层比特流中有意地未被编码；对报头中的语法元素进行编码，以指示增强层中至少一个有意未编码的像条组。
CN2006800375434A 2005-10-12 2006-10-03 感兴趣区域h.264可分级视频编码 Active CN101283599B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US72570005P 2005-10-12 2005-10-12
US60/725,700 2005-10-12
PCT/US2006/038380 WO2007047077A2 (en) 2005-10-12 2006-10-03 Region of interest h .264 scalable video coding

Publications (2)

Publication Number Publication Date
CN101283599A true CN101283599A (zh) 2008-10-08
CN101283599B CN101283599B (zh) 2011-01-26

Family

ID=37890473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800375434A Active CN101283599B (zh) 2005-10-12 2006-10-03 感兴趣区域h.264可分级视频编码

Country Status (13)

Country Link
US (1) US8270496B2 (zh)
EP (1) EP1952638B1 (zh)
JP (1) JP5020960B2 (zh)
KR (1) KR101329167B1 (zh)
CN (1) CN101283599B (zh)
AU (1) AU2006303886B2 (zh)
BR (1) BRPI0616407B1 (zh)
CA (1) CA2624339C (zh)
MX (1) MX2008004760A (zh)
MY (1) MY152568A (zh)
RU (1) RU2417546C2 (zh)
WO (1) WO2007047077A2 (zh)
ZA (1) ZA200803018B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102595135A (zh) * 2012-02-24 2012-07-18 中国科学技术大学 一种可伸缩视频编码的方法及装置
CN104205819A (zh) * 2012-02-01 2014-12-10 诺基亚公司 用于视频编码的方法和装置
CN104604223A (zh) * 2012-07-02 2015-05-06 诺基亚公司 用于视频编码和解码的装置、方法和计算机程序
CN105075271A (zh) * 2013-04-08 2015-11-18 索尼公司 利用shvc的关注区域可伸缩性
CN105519118A (zh) * 2013-07-11 2016-04-20 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
US10154274B2 (en) 2013-07-23 2018-12-11 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2644753A1 (en) * 2006-03-03 2007-09-13 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US20070230567A1 (en) * 2006-03-28 2007-10-04 Nokia Corporation Slice groups and data partitioning in scalable video coding
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
JP5143829B2 (ja) * 2006-09-07 2013-02-13 エルジー エレクトロニクス インコーポレイティド スケーラブルビデオコーディングされたビットストリームのデコーディング方法及び装置
US7742524B2 (en) * 2006-11-17 2010-06-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal using inter-layer prediction
US8411734B2 (en) 2007-02-06 2013-04-02 Microsoft Corporation Scalable multi-thread video decoding
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US20090010341A1 (en) * 2007-07-02 2009-01-08 Feng Pan Peak signal to noise ratio weighting module, video encoding system and method for use therewith
CN101389021B (zh) * 2007-09-14 2010-12-22 华为技术有限公司 视频编解码方法及装置
US8355450B1 (en) * 2007-10-09 2013-01-15 Arris Solutions, Inc. Buffer delay reduction
KR100951465B1 (ko) * 2008-05-08 2010-04-07 엘지전자 주식회사 영상 부호화 방법, 복호화 방법, 및 그 기록 매체
FR2930702A1 (fr) * 2008-04-23 2009-10-30 Thomson Licensing Sas Procede d'insertion, de suppression, support d'enregistrement et codeur
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
CA2840427C (en) 2011-06-30 2018-03-06 Microsoft Corporation Reducing latency in video encoding and decoding
US8731067B2 (en) 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
GB2504068B (en) * 2012-07-11 2015-03-11 Canon Kk Methods and devices for controlling spatial access granularity in compressed video streams
US10045032B2 (en) 2013-01-24 2018-08-07 Intel Corporation Efficient region of interest detection
JP6331103B2 (ja) * 2013-03-21 2018-05-30 ソニー株式会社 画像復号装置および方法
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
KR20200045013A (ko) * 2013-07-15 2020-04-29 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
US9386275B2 (en) * 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
US9794558B2 (en) * 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing
JPWO2016098280A1 (ja) * 2014-12-16 2017-11-16 日本電気株式会社 映像符号化装置、映像復号装置および映像配信システム
CN105979216A (zh) * 2016-06-12 2016-09-28 浙江宇视科技有限公司 一种感兴趣区域的视频传输方法及装置
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
FR3064145A1 (fr) * 2017-03-16 2018-09-21 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
KR20180137917A (ko) * 2017-06-20 2018-12-28 가천대학교 산학협력단 모바일 vr을 위한 타일 기반 비디오 스트리밍
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870550A (en) 1996-02-26 1999-02-09 Network Engineering Software Web server employing multi-homed, moldular framework
US6011872A (en) 1996-11-08 2000-01-04 Sharp Laboratories Of America, Inc. Method of generalized content-scalable shape representation and coding
KR100261253B1 (ko) 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
DE19735607A1 (de) 1997-08-15 1999-02-18 Bosch Gmbh Robert Verfahren zur Aufbereitung eines Datenstromes für die objektbasierte Codierung von Bewegtfortbildern
HU228608B1 (en) 1997-12-23 2013-04-29 Thomson Licensing Sa Method for processing video signals, method for processing interlaced scan video signal or telecined film format signal and method for processing non-telecined progressive scan video signal
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6385248B1 (en) * 1998-05-12 2002-05-07 Hitachi America Ltd. Methods and apparatus for processing luminance and chrominance image data
JP2003501902A (ja) * 1999-05-27 2003-01-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号の符号化
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
JP2001268569A (ja) 2000-03-17 2001-09-28 Matsushita Electric Ind Co Ltd 任意形状オブジェクトの残余係数を符号化するための方法および装置
KR100353851B1 (ko) * 2000-07-07 2002-09-28 한국전자통신연구원 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
CN1258922C (zh) 2000-09-22 2006-06-07 皇家菲利浦电子有限公司 细粒可分级性的最佳传输/流式顺序
WO2002032147A1 (en) 2000-10-11 2002-04-18 Koninklijke Philips Electronics N.V. Scalable coding of multi-media objects
JP2003209789A (ja) 2002-01-10 2003-07-25 Sony Corp データ再生装置
US7317759B1 (en) * 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
US20040006575A1 (en) 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20040024598A1 (en) * 2002-07-03 2004-02-05 Amit Srivastava Thematic segmentation of speech
KR100556838B1 (ko) * 2002-09-17 2006-03-10 엘지전자 주식회사 미세단위 신축형 부호화 및 복호화 장치와 방법
JP2004248124A (ja) 2003-02-17 2004-09-02 Nippon Telegr & Teleph Corp <Ntt> 階層的画像符号化装置および階層的画像復号装置
KR20060027779A (ko) * 2004-09-23 2006-03-28 엘지전자 주식회사 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
US20060256863A1 (en) * 2005-04-13 2006-11-16 Nokia Corporation Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104205819A (zh) * 2012-02-01 2014-12-10 诺基亚公司 用于视频编码的方法和装置
US9479775B2 (en) 2012-02-01 2016-10-25 Nokia Technologies Oy Method and apparatus for video coding
CN104205819B (zh) * 2012-02-01 2017-06-30 诺基亚技术有限公司 用于视频编码的方法和装置
US10397610B2 (en) 2012-02-01 2019-08-27 Nokia Technologies Oy Method and apparatus for video coding
CN102595135A (zh) * 2012-02-24 2012-07-18 中国科学技术大学 一种可伸缩视频编码的方法及装置
CN102595135B (zh) * 2012-02-24 2013-03-27 中国科学技术大学 一种可伸缩视频编码的方法及装置
CN104604223A (zh) * 2012-07-02 2015-05-06 诺基亚公司 用于视频编码和解码的装置、方法和计算机程序
CN105075271A (zh) * 2013-04-08 2015-11-18 索尼公司 利用shvc的关注区域可伸缩性
US10390024B2 (en) 2013-04-08 2019-08-20 Sony Corporation Region of interest scalability with SHVC
CN105519118A (zh) * 2013-07-11 2016-04-20 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
US10136150B2 (en) 2013-07-11 2018-11-20 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10154274B2 (en) 2013-07-23 2018-12-11 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding

Also Published As

Publication number Publication date
RU2417546C2 (ru) 2011-04-27
BRPI0616407B1 (pt) 2020-08-11
US8270496B2 (en) 2012-09-18
CA2624339C (en) 2014-12-02
WO2007047077A9 (en) 2007-07-05
EP1952638A2 (en) 2008-08-06
KR20080055859A (ko) 2008-06-19
US20100158135A1 (en) 2010-06-24
AU2006303886B2 (en) 2011-11-17
WO2007047077A3 (en) 2007-06-14
MX2008004760A (es) 2008-11-13
MY152568A (en) 2014-10-31
BRPI0616407A2 (pt) 2011-06-21
JP2009512342A (ja) 2009-03-19
AU2006303886A1 (en) 2007-04-26
RU2008118370A (ru) 2009-11-20
WO2007047077A2 (en) 2007-04-26
CN101283599B (zh) 2011-01-26
EP1952638B1 (en) 2020-05-13
JP5020960B2 (ja) 2012-09-05
CA2624339A1 (en) 2007-04-26
KR101329167B1 (ko) 2013-11-14
ZA200803018B (en) 2009-07-29

Similar Documents

Publication Publication Date Title
CN101283599B (zh) 感兴趣区域h.264可分级视频编码
US20200245001A1 (en) Methods, devices and systems for parallel video encoding and decoding
CN101288311B (zh) 用于可分级视频编码和解码中的加权预测的方法和装置
US8374239B2 (en) Method and apparatus for macroblock adaptive inter-layer intra texture prediction
CN101228795B (zh) 针对加权预测的可分级视频解码方法及设备
TWI407798B (zh) 運動預測方法與視訊編解碼器
US20120230399A1 (en) Video decoder parallelization including a bitstream signal
KR20160104090A (ko) 비디오 디코딩 방법
JP6588507B2 (ja) 復号方法、復号装置、符号化方法及び符号化装置。
TWI739042B (zh) 視訊編碼方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Bilang Kurt

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190529

Address after: American Delaware

Patentee after: Interactive Digital VC Holdings

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING