CN102067599A - 用于对视频进行编码和解码的方法和装置 - Google Patents

用于对视频进行编码和解码的方法和装置 Download PDF

Info

Publication number
CN102067599A
CN102067599A CN2009801144394A CN200980114439A CN102067599A CN 102067599 A CN102067599 A CN 102067599A CN 2009801144394 A CN2009801144394 A CN 2009801144394A CN 200980114439 A CN200980114439 A CN 200980114439A CN 102067599 A CN102067599 A CN 102067599A
Authority
CN
China
Prior art keywords
pixel
resolution
low
subband
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801144394A
Other languages
English (en)
Other versions
CN102067599B (zh
Inventor
塔梅尔·沙纳布勒
向时达
费萨尔·伊什蒂亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Google Technology Holdings LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of CN102067599A publication Critical patent/CN102067599A/zh
Application granted granted Critical
Publication of CN102067599B publication Critical patent/CN102067599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于对视频进行编码和解码的方法和装置执行高分辨率视频帧的至少一部分成为低分辨率图像和多个增强数据集的变换，以比特流格式将低分辨率图像编码为基本编码图片，并且以比特流格式将多个增强数据集中的每一个编码为不同冗余编码图片。对于解码，生成解码的低分辨率图像和多个解码的增强数据集，执行反变换来构建解码的高分辨率图像。可以根据ITU-T H.264高级编码规范来对基本编码图片和冗余编码图片进行格式化。变换可以是多相变换或子带变换。

Description

用于对视频进行编码和解码的方法和装置
相关申请
本发明涉及由摩托罗拉公司与本申请共同拥有的以下美国申请：2007年10月3日提交的序列号No.11/866,771的标题为“METHOD AND APPARATUS FOR INTRA FRAME SPATIAL SCALABLE VIDEO CODING(用于帧内空间可缩放视频编码的方法和装置)”(代理人案号CML04718EV)。
技术领域
本发明总体上涉及视频通信，并且更具体地涉及提供可缩放图像分辨率和改进容错性(error resilience)的视频通信技术。
背景技术
在登载日为2005年3月的H.264/AVC视频编码标准中，每个访问单元(3.1节第4段“访问单元”的定义)包括编码基本图片(coded primary picture)，用于提供表示编码移动图片的所需要的信息。访问单元可以进一步包含一个或多个冗余编码图片，其不具有对解码过程的规范化效应。这些标准的7.4.3节(“条带头语义：redundant_pic_cnt”)叙述了：“对于冗余编码图片的编码条带或编码条带数据隔离带不需要解码过程”。当编码条带的条带头中的redundant_pic_cnt大于0时，解码器可以丢弃该编码条带。注6：当由于序列传输中的错误或丢失而导致解码基本图片中的一些样本不能被正确解码而编码冗余条带可以被正确解码时，解码器将用解码冗余条带的对应样本代替解码基本图片的样本。当多于一个的冗余条带覆盖基本图片的相关区域时，应当使用具有redundant_pic_cnt的最低值的冗余条带。”因此，在编码比特流中一个或多个冗余编码图片的存在是可选的，并且冗余编码图片的指定用途(而不是必要用途)是对基本编码图片中传输错误进行校正。维基百科如下给出H.264的冗余编码图片特征(2008年3月15日)：“冗余条带(RS)，错误/丢失鲁棒特征允许编码器发送图片区域的额外表示(通常以较低保真度)，如果基本表示被损坏或丢失，则可以使用该额外表示。”
预先发布的新版本的MPEG-4AVC/H.264标准进一步提供了可缩放视频编码工具，并且允许解码器恢复基本编码图片或者较高分辨率形式的基本编码图片。然而，涉及增加实现复杂性的这些新的标准编码工具并没有被工业很快地采用。
附图说明
在附图中，相同的附图标记在不同的视图中表示相同或功能上类似的元素，附图与以下详细说明一起被并入说明书并且形成本说明书的一部分，并且用于进一步说明包括要求保护的发明的概念的实施例，并且解释这些实施例的各种原理和优点。
图1是示出根据特定实施例的彩色视频帧的一部分的原理图。
图2和图3分别是根据特定实施例的用于对视频帧的至少一部分进行编码的装置的功能框图和方法的一些步骤的流程图。
图4是示出根据特定实施例的用于执行变换的方法的步骤的流程图。
图5是根据特定实施例的变换函数的框图。
图6是图示根据特定实施例的用于视频帧的一部分的采样网格的原理图。
图7是示出根据特定实施例的用于执行变换的方法的一些步骤的流程图。
图8和图9分别是根据特定实施例示出的解码器的框图和用于解码的方法的步骤。
图10是参考图6描述的平均函数的反变换函数的框图。
本领域的技术人员将理解，为了简单明确而图示附图中的元素，并且没有必要按比例绘制。例如，为了有助于促进对本发明实施例的理解，附图中一些元素的尺寸可能相对其他元素被夸大。
在附图中，用常规符号在适当时表示装置和方法组件，仅示出那些与理解本发明实施例相关的具体细节，以便于不会混淆那些对受益于本文描述的益处的本领域内的普通技术人员所显而易见的细节。
具体实施方式
根据本实施例的特定方面，描述的技术是提供将原始高分辨率视频帧变换为低分辨率的图像和多个增强数据集，然后将它们编码并且可以作为编码比特流来传送。低分辨率图像可以被解码并且用于生成恢复的高分辨率视频帧的低分辨率版本。可以对低分辨率图像和多个增强数据集进行解码和反变换，以构建解码的高分辨率视频帧。在一些实施例中，对视频进行编码和解码的方式与国际电信联盟发布的规范兼容，该规范被标识为登载日为2005年3月的ITU-T H.264规范，标题为“SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving video/Advanced video coding for generic audiovisual services(系列H：视听业务的视听和多媒体系统基础架构——移动视频的编码/用于通用视听服务的高级视频编码)”，以下将该规范称为“ITU-T H.264高级编码”，并且与移动图像专家组发布的等效规范兼容，该规范通常称为MPEG-4第10部分AVC规范。另外，对视频进行编码和解码的方式可以与尚未发布的规范兼容。具体地，本文描述的技术探索了结合子带编码和多描述编码(MDC)的对解码过程没有规范化效应的冗余图片工具的新的用途。这些技术还可以与除ITU-T H.264高级编码中规定内容之外的视频编码技术兼容。
子带/小波变换将输入图像分解为多分辨率信号表示。在文献中，这被表示为用于图像压缩的最有效的方法之一，并且在工业中，在用于图像和视频(格式为运动JPEG 2000)编码应用的国际标准JPEG 2000中使用。由于子带/小波变换的高能量简缩，子带/小波编码器可以在没有传统的与块变换相关联的块现象(blocky artifact)的情况下，实现优秀的压缩性能。更重要地，由于小波子带变换本质上是分辨率可缩放的，因此它们在压缩效率几乎没有损失的情况下，可以轻易地适应期望的空间可缩放编码功能。
在多描述的编码中，已经使用了特定形式的多相下采样。多描述(MD)视频编码是一种用于在易出现误差的网络上联播或多播视频传输的方法。多描述视频编码在概念上不同于在诸如MPEG-2、MPEG-4和H.26x规范族的混合编解码中可用的传统多层可缩放视频编码。在MD视频编码中，许多同等重要的视频描述符被生成，并且可能通过不同的传输信道或路径来递送。每个视频描述符是独立可解码的，并且尽管可能以较低的质量，但是能够重现原始视频分辨率。因此，只要成功接收到了至少一个描述，远程客户端就可以恢复和消费编码视频。层级视频层的概念不适用，因此不论接收到的描述符的顺序如何，可用于接收机使用的视频描述符越多，解码视频就越高。换言之，多描述视频编码去除了层间的相关性，并且因此不再需要传统多层编码所引入的视频层优先级化。
图1是示出根据特定实施例的用于视频帧的一部分100的采样网格的示图。类似于ITU-T H.264高级编码的图6-1，其标题为“在帧中，4:2:0的亮度和色度采样的标称垂直和水平位置”。在图1中，视频帧的亮度采样105被示出为X，并且色度采样110的两个关联集中的一个示出为O。在其他色度集中的色度采样将出现在示出用于色度采样110的相同位置上。亮度采样105的数量与帧中的视频图像的分辨率和大小相关。色度采样的数量与亮度采样的数量相关。图1图示了4:2:0格式的特定视频帧，其中，色度采样的数量是亮度采样数量的1/4。ITU-T H.264高级编码标准支持其他比率，诸如1比1和1/2比1。当然，单色图像没有色度采样。当例如根据ITU-T H.264高级编码标准，对视频帧、或视频帧的一部分，诸如分割、宏块或兴趣区域进行编码时，在亮度采样上执行的操作也在色度采样上执行，缩放为色度采样的量。本文定义的独特操作也是如此。为了简化对操作的描述，用像素来描述，其中，可以将一个像素取作亮度样本或色度样本。为了进一步简化本文使用的术语，当使用术语“部分”时，意味着“至少一部分”，其可以包括一部分、多个部分或全部。当视频帧是彩色帧时，描述的操作在用于该部分视频帧的样本的亮度和色度集上执行，缩放为样本集的大小。
图2和图3分别是根据特定实施例的用于对视频帧的至少一部分进行编码的装置的功能框图200和方法的一些步骤的流程图300。参考图2，将视频帧序列205中的信息耦合到变换函数215的输入210。通常，基于一个视频帧或者视频帧的至少一部分(诸如条带)来操作一次信息。在该示例中，视频帧序列205的视频帧206由变换函数215来操作。视频帧206是高分辨率的视频帧。变换函数215将视频帧206的至少一部分(图2)变换(305，图3)为低分辨率图像220和多个增强数据集225、230、235。在图2中示出的示例中，存在三个增强数据集225、230、235。在一些实施例中，多个增强数据集的数量可以不是三个。如以下更详细描述的，变换函数215使用的变换具有若干实施例。在特定实施例中，变换函数215使用的变换类型使得执行低分辨率图像和多个增强数据集的反变换来重建高分辨率视频帧(或其一部分)。
将低分辨率图像220耦合到基本图片编码器(PP编码器240，其使用用于基本图片编码的编码技术来对低分辨率图像进行编码，产生基本编码图片250。将多个增强数据集中的每一个耦合到冗余图片编码器(RP编码器)245，其使用用于冗余图片编码的编码技术来对相应的增强数据集进行编码，生成冗余编码图片255、260、265。根据特定实施例，基本图片编码器240以ITU-T H.264高级编码规定的格式来将低分辨率图像编码为基本图像(310，图3)，而每个冗余图片编码器245以ITU-TH.264高级编码规定的格式来将增强数据集中的一个编码为不同的冗余编码图片(315，图3)。当使用除了ITU-T H.264高级编码规定的以外的编码技术时，以上描述为基本图片编码的编码可以由与对低分辨率图像进行编码兼容的技术的任何编码方法来执行，该低分辨率图像通常由用于该技术的解码器来进行解码，而以上描述为冗余图片编码的编码可以由与对增强或补充数据集进行编码兼容的技术的任何编码方法来执行——即，用于该技术的解码器将增强或补充数据集识别为与高分辨率视频帧相关联，并且对于该高分辨率视频帧，解码是可选的。可以用“基本编码图片”和“冗余编码图片”以外的名称来标识针对其他技术所使用的图像和编码格式。当完成在增强数据集编码中的低分辨率图像时，将基本编码图片250和多个冗余编码图片255、260、265耦合到将其形成为比特流275的比特流形成函数270，然后可以传送该基本编码图片和多个冗余编码图片(320，图3)。
参考图4，流程图示出了根据特定实施例的用于执行变换的方法的步骤。在这些实施例中，变换函数215执行405高分辨率视频帧的一部分的子带变换，以生成通常称为视频帧(或其一部分)的LL子带、HL子带、LH子带和HH子带的低分辨率表示和增强数据集。
参考图5，示出了根据特定实施例的子带变换函数215的框图。变换函数215包括作为常规子带滤波器组的子带分析滤波器组505、515，并且在一些实施例中，包括本领域中公知的小波滤波器组。首先，分别由低通滤波器506和高通滤波器507来对输入视频帧(或其一部分)206进行处理，接着是沿图像的垂直方向的下采样操作，生成中间信号510。然后，由具有相同传递函数的低通滤波器和高通滤波器来分别对中间信号510进行处理，接着是沿水平方向的下采样操作，生成四个子带LL 220、HL 225、LH 230和HH 235，由图2中的PP编码器240和PR编码器245分别对它们进行编码。该过程通常称为子带分解。在解码器800的反变换函数875(图8)中使用的对应子带合成滤波器组可以从四个解码子带构建由子带分析滤波器组505、515(图5)分解的原始高分辨率视频帧206的解码版本。在子带分析/合成滤波器组505、515中使用的滤波器可以属于本领域中公知的小波滤波器族或QMF滤波器族，而且如本领域公知的，子带滤波器组的结构可以不同于示出的结构。
参考图6，示图图示了根据特定实施例的视频帧600的一部分。图6中示出的该视频帧的一部分的像素已经被下采样为视频帧的一部分的相位(phase)。在该示例中，在每个空间维度中，已经以因子2执行了下采样。因此，已经形成了独特不同的像素集的4个相位，每一个包括视频帧的一部分中的像素数目的大约四分之一。四分之一的数量由于边缘效应而被叙述为近似。四个不同相位的像素被描绘为三角形、x、方块和圆形。可以定义对视频帧中的任何像素均有效的像素邻域。在该示例中，像素邻域被定义为包括所选像素，诸如像素615，以及包括在邻域边界610内的其他像素。通常，像素邻域可以具有任何形状和大小。可以针对视频帧中的任何像素来定义像素相位组。像素相位组包括来自位于各个下采样图像网格中的相同位置处的每个相位的一个像素。在图6的示例中，像素615已经被选择，并且标识边界605内的像素相位组。像素相位组的大小由下采样因子来确定。对于本文的目的，将所选像素615指定为像素(0，0)。将由像素相位组内x标识的像素指定为像素(1，0)。将由像素相位组内的方块标识的像素指定为像素(0，1)。将由像素相位组内圆形标识的像素指定为像素(1，1)。尽管对于特定的实施例，像素相位组应当具有与特定相位的所选像素一致的拓扑关系，但是在其他实施例中，该拓扑关系可能是不同的。例如，图6中所示的像素相位组使用的像素是所选像素的最近邻居，并且在所选像素的右边或下边，而四个独特最近邻居的其他集也可以用于相位组。
参考图7，流程图700示出了根据特定实施例的用于执行变换的方法700的一些步骤。在步骤705，变换函数215形成高分辨率视频帧206的一部分的多个相位。在图6中所示的示例中，多个等于四。在步骤710，变换函数215将低分辨率图像形成为包括低分辨率像素，其中，使用处于多个相位中的第一相位内的每个像素的像素邻域内的像素值的平均函数来确定每个低分辨率像素的值。在步骤715，变换函数215将多个增强数据集中的每个增强数据集确定为包括除了第一相位以外相位的所有像素的独特集。例如，用于图6中所示的视频帧600的变换部分的增强数据集将包括由方块指定的视频帧600的一部分中的所有像素的集合，由x指定的视频帧600的一部分中的所有像素的集合以及由圆形指定的视频帧600的一部分中的所有像素的集合。应当注意，第一相位是有助于本方法的多个相位中的任何一个特定相位。
根据特定实施例，平均函数是脉冲函数，该函数将每个低分辨率像素的值确定为等于第一相位的对应像素的值。换言之，平均是对一个数值的平均。在图6中所示的示例中，低分辨率图像仅包括由三角形指定的所有像素。
根据特定实施例，平均函数将每个低分辨率像素的值确定为等于第一相位的像素的像素邻域内的像素值的平均值。在图6中所示的示例中，通过对边界610内的9个像素的值进行平均来确定与特定相位的像素615相关的低分辨率图像的像素值。根据特定实施例，平均函数将每个低分辨率像素的值确定为等于第一相位的像素的像素相位组内的像素值的平均值。在图6所示的示例中，可以通过对边界605内的4个像素的值进行平均来确定与第一相位的像素615相关的低分辨率图像的像素值。
根据特定实施例，相位的数目为四。在每个像素相位组中由三角形、x、方块和圆形参考图6标识的4个像素替代地被分别标识为像素(0，0)、(0，1)、(1，0)和(1，1)。像素(0，0)、和(1，1)对角地放置。平均函数将每个低分辨率像素的值确定为等于第一相位的像素(图6中的像素615)的值和预测值y的平均值。从在与第一相位的像素相同的像素相位组中的像素确定预测值y，如下：
y＝max((0，1)，(1，0))当(1，1)为＞＝max((0，1)，(1，0))时(1)
y＝min((0，1)，(1，0))当(1，1)为＜＝min((0，1)，(1，0))时(2)
y＝(0，1)+(1，0)-(1，1)其他。(3)
参考图8和图9，分别示出了根据特定实施例的用于解码的解码器800的框图和方法900的步骤。将根据参考图1-7描述的实施例而编码的比特流805(图8)耦合到比特流分离器810(图8)。在比特流中接收(905，图9)基本编码图片815和多个冗余编码图片820、825、830，并且由比特流分离器810来进行分离。基本图片解码器835(图2)通过对基本编码图片815进行解码来生成(910，图9)低分辨率图像855。在步骤915(图9)，当在步骤930(图9)处选择使用低分辨率图像时，反变换函数875(图8)可以仅缩放低分辨率图像中的信息，并且在输出880处生成解码的低分辨率图像885，并且可以不再执行方法900的其他步骤。在步骤915(图9)，当选择使用高分辨率图像时，多个冗余图片解码器840(图8)通过对相应的多个冗余编码图片820、825、830进行解码来生成(920，图9)多个增强数据集860、865、870。反变换函数875(图8)执行低分辨率图像855(图2)和多个增强数据集860、865、870(图2)中的每一个的(925，图9)反变换，在输出880处构建从其生成了基本编码图片和多个增强数据集的高分辨率视频帧885的一部分的解码版本作为视频帧序列890的一部分。可以将步骤925略微不同地描述为至少基本上重建高分辨率视频帧206的一部分。
当重建高分辨率视频帧885的一部分时，反变换函数875使用对高分辨率视频帧206进行编码的反变换。如图4中所描述的，对于已经使用子带变换生成的高分辨率视频帧的编码版本，反变换函数875是使用本领域普通技术人员所公知的双合成滤波器组来对解码的高分辨率视频帧进行合成的子带合成操作。如图7中所描述的，对于使用多相变换生成的编码高分辨率视频帧，反变换函数875包括反平均函数。参考图10，示出了根据特定实施例用于以上参考图6描述的平均函数的反变换函数1000的框图。反变换函数1000包括存储器1005、反平均函数1010和重建函数1035。将多个增强数据集860、865、870耦合到存储器1005，该存储器1005将增强数据集存储为高分辨率图像的相位2、3和4。将低分辨率图像855耦合到反平均函数1010。当在方法900(图9)中选择低分辨率图像时，反平均函数1010在输出880处生成低分辨率图像855。低分辨率图像855由重建函数1035来接收，并且被传递到输出880。反变换函数1010或重建函数1035或二者可以对低分辨率图像855的值应用缩放。当在方法900(图9)中选择了高分辨率图像时，反平均函数1010使用本领域普通技术人员公知的方法确定来自低分辨率图像855高分辨率视频帧的一部分的第一相位以及高分辨率视频帧的一部分的其他相位1020、1025、1030。高分辨率视频帧的一部分的第一相位与高分辨率视频帧的一部分的其他三个相位1020、1025、1030一起从输出1015耦合到重建函数1035，其中，它们被组合以在输出880处重建高分辨率视频帧885的一部分。
应当认识到，本文描述的方法的特定步骤可能无需按描述的顺序来执行。例如，图9中的方法900的步骤920可以在步骤915之前执行；然后当选取低分辨率图像时，可能不使用步骤920的结果。
本文描述的实施例在不需要对现有非可缩放编码器和解码器作出重大改变的情况下，提供了用于可缩放图像/视频编码和多描述编码的新的方法。具体地，该技术可以进一步利用冗余图片工具，并且可以容易地被施加到仅被指定为与非可缩放ITU-T H.264配置文件兼容的传统视频编码系统。
应当理解，一些实施例可以包括一个或多个通用或专用处理器(或“处理设备”)，诸如微处理器、数字信号处理器、定制处理器和现场可编程门阵列(FPGA)以及独特存储的程序指令(包括软件和固件)，程序指令控制一个或多个处理器结合特定非处理器电路来实现本文描述的方法和/或装置的一些、大部分或所有功能。替代地，可以由不具有存储程序指令的状态机或在一个或多个专用集成电路(ASIC)中实施一些、大部分或所有这些功能，其中，每种功能或特定功能的一些组合被实现为定制逻辑。当然，可以使用两种方法的组合。
另外，可以将实施例实施为其上存储了计算机可读取代码的计算机可读取存储介质，用于对计算机(例如，包括处理器)进行编程以执行本文所述和要求保护的方法。这样的计算机可读取存储介质的示例包括但不限于，硬盘、CD-ROM、光存储设备、磁存储设备、ROM(只读存储器)、PROM(可编程只读存储器)，EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)和闪速存储器。另外，尽管可能由于例如可用时间、现有技术和经济上的考虑促使其进行重大努力和众多设计选择，但是预期，本领域普通技术人员在由本文公开的概念和原理指引时，将能够以最少的试验轻易地生成这样的软件指令和程序及IC。
在以上说明中，已经描述了特定实施例。然而，本领域的普通技术人员应当理解，在不偏离如所附权利要求阐述的本发明范围的前提下，可以做出各种修改和改变。因此，说明和附图被认为是说明性的而不是限制性意义的，并且意图将所有这样的修改都包括在本教导的范围内。益处、优点、问题的解决方案以及可以使任何益处、优点或解决方案发生或变得更明显的任何元素都不被解释为任何或所有权利要求的关键的、必须的或主要的特征或元素。本发明仅由所附权利要求(包括在本申请待决期间所做的任何修改以及发布的那些权利要求的等效内容)来限定。
另外，在本文中，关系术语，例如第一和第二、顶部和底部等，可能仅用于将一个实体或动作与另一实体和动作区别开来，而不必要求或意指这些实体或动作之间的任何实际这样的关系或顺序。术语包括“包括”、“具有”、“包含”、“含有”或其任何其他变形，意在涵盖非排它性包含，因此包括、具有、包含、含有元素列表的过程、方法、物体、装置不仅包括这些元素，还可以包括未明确列出的或者这类过程、方法、物体、或装置所固有的其他元素。之前为“包括...一”、“具有...一”、“包含...一”、“含有...一”的元素，在没有更多限制的情况下，并不排除在包括该元素的过程、方法、产品、或装置中存在其他相同的元素。”除非本文明确说明，否则术语“一”被定义为一个或一个以上。术语“基本上”、“本质上”、“大约”、“近似”或任何其他形式被定义为接近本领域普通技术人员所理解的，并且在一个非限制性实施例中，该术语被定义为在10％以内，在另一实施例中，在5％以内，在又一实施例中，在1％以内，在其他一个实施例中，在0.5％以内。按本文的用法，将术语“耦合”定义为连接，尽管不必是直接地连接，且不必是机械性连接。以特定方式“配置”的设备或结构至少可以用该种方式配置，但是也可以用没有列出的方式来配置。
提供公开的摘要以使得读者可以快速地确定技术公开的属性。在理解摘要不会用于解释或限制权利要求的范围或意义的情况下提交摘要。另外，为了本公开的精简，在上述具体实施方式中，可以看出将不同的特征组合在不同的实施例中。不将本公开方法解释为反映要求保护的实施例需要比每个权利要求中明确表示更多特征的意图。而是，如所附权利要求反映的，发明主题在于少于单个公开的实施例之中的所有特征。因此，所附权利要求并入具体实施方式，其中每个权利要求自身作为独立的要求保护的主题。

Claims (20)

1.一种视频编码方法，包括：
将高分辨率视频帧的至少一部分变换为低分辨率图像和多个增强数据集；
将所述低分辨率图像编码为基本编码图片；以及
将所述多个增强数据集中的每一个编码为不同的冗余编码图片。
2.如权利要求1所述的视频编码方法，其中，以与ITU-T H.264高级编码兼容的方式来执行所述编码。
3.如权利要求1所述的视频编码方法，其中，所述变换具有反变换，并且执行所述低分辨率图像和所述多个增强数据集的所述反变换至少基本上重建所述高分辨率视频帧。
4.如权利要求1所述的视频编码方法，其中，所述变换使用子带变换，所述子带变换将所述高分辨率视频帧的一部分分解为LL子带、HL子带、LH子带和HH子带，并且其中，所述LL子带是所述低分辨率图像，而所述HL子带、LH子带和HH子带是所述多个增强数据集。
5.如权利要求1所述的视频编码方法，其中，所述变换包括：
执行多相变换，以将所述高分辨率视频帧分解为多个不同相位的子帧；
形成所述低分辨率图像以包括低分辨率像素，其中，每个低分辨率像素的值是使用处于所述多个相位的特定相位中的每个像素的像素邻域内的定义像素的值的平均函数来确定的；以及
将所述多个增强数据集中的每个增强数据集确定为包括除了第一相位以外的相位的所有像素的独特集。
6.如权利要求5所述的方法，其中，所述平均函数是脉冲函数，所述脉冲函数将所述每个低分辨率像素的值确定为等于所述特定相位的相应像素的值。
7.如权利要求5所述的方法，其中，所述平均函数将所述每个低分辨率像素的值确定为等于所述特定相位的像素的像素邻域内的像素的值的平均值。
8.如权利要求5所述的方法，其中，所述像素的邻域是一个像素相位组。
9.如权利要求5所述的方法，其中，所述相位的数目是四，其中，在每个像素相位组中的四个像素被标识为像素(0，0)、(0，1)、(1，0)和(1，1)，其中，所述像素(0，0)、(1，1)被对角放置，并且其中，所述平均函数将所述每个低分辨率像素的值确定为等于所述(0，0)相位(所述特定相位)的像素的值和预测值y的平均值，其中，所述预测值y是从与所述特定相位的像素相同的像素相位组中的像素来确定的，如下：
y＝max((0，1)，(1，0))当(1，1)为＞＝max((0，1)，(1，0))时
y＝min((0，1)，(1，0))当(1，1)为＜＝min((0，1)，(1，0))时，
y＝(0，1)+(1，0)-(1，1)其他。
10.一种空间可缩放视频编码方法，包括：
将高分辨率视频帧的至少一部分变换为低分辨率图像和多个增强数据集，所述变换包括
形成所述高分辨率视频帧的一部分的多个相位，其中，每个相位是所述部分的不同的下采样图像，
将所述低分辨率图像形成为包括低分辨率像素的图像，其中，每个低分辨率像素的值是使用处于所述多个相位的特定相位中的每个像素的像素邻域内的定义像素的值的平均函数来确定的，
将所述多个增强数据集中的每个增强数据集确定为包括除了所述特定相位以外的相位的所有像素的独特集；
使用第一编码过程来对所述低分辨率图像进行编码；以及
使用第二编码过程来对所述多个增强数据集中的每一个进行编码。
11.如权利要求10所述的方法，其中，所述平均函数将所述每个低分辨率像素的值确定为等于所述特定相位的像素的像素邻域内的像素的值的平均值。
12.如权利要求10所述的方法，其中，所述相位的数目是四，其中，在每个像素相位组中的四个像素被标识为(0，0)、(0，1)、(1，0)和(1，1)，其中，所述像素(0，0)、(1，1)被对角放置，并且其中，所述平均函数将所述每个低分辨率像素的值确定为等于所述特定相位的像素的值和预测值y的平均值，其中，所述预测值y是从与所述特定相位的像素相同的像素相位组中的像素来确定的，如下：
y＝max((0，1)，(1，0))当(1，1)为＞＝max((0，1)，(1，0))时
y＝min((0，1)，(1，0))当(1，1)为＜＝min((0，1)，(1，0))时，
y＝(0，1)+(1，0)-(1，1)其他。
13.一种视频解码方法，包括：
通过对基本编码图片进行解码来生成解码的低分辨率图像；
通过对相应的多个冗余编码图片进行解码来生成多个解码的增强数据集；以及
执行所述解码的低分辨率图像和所述多个解码的增强数据集的反变换，以构建从其生成了所述基本编码图片和所述多个冗余编码图片的高分辨率视频帧的一部分的解码版本。
14.如权利要求13所述的视频解码方法，其中以与ITU-T H.264高级编码兼容的方式来执行所述解码。
15.如权利要求13所述的视频解码方法，其中，所述低分辨率图像是子带分解的高分辨率视频帧的一部分的LL子带，并且所述多个增强数据集是所述分解的高分辨率视频帧的HL子带、LH子带和HH子带，并且其中，所述反变换是子带合成操作，所述子带合成操作从所述LL子带、所述HL子带、所述LH子带和所述HH子带合成所述高分辨率视频帧的解码版本。
16.如权利要求13所述的视频解码方法，其中，所述低分辨率图像包括低分辨率像素，其中，每个低分辨率像素的值是使用处于所述高分辨率视频帧的一部分的多个相位中的特定相位中的每个像素的像素邻域内的定义像素的值的平均函数来确定的，并且所述多个增强数据集中的每一个是包括除了所述特定相位以外的所述高分辨率视频帧的一部分的相位的所有像素的独特集，其中，所述反变换包括：
将除了所述特定相位以外的所述高分辨率视频帧的每一个相位设置为所述多个增强数据集中的相应的一个增强数据集；
从所述低分辨率图像以及所述高分辨率视频帧的一部分的其他相位来确定所述高分辨率视频帧的一部分的特定相位；以及
组合所述特定相位和所述其他相位来构建所述高分辨率视频帧的解码版本。
17.一种解码装置，包括：
解码器，所述解码器从比特流中的基本编码图片恢复低分辨率图像，并且从所述比特流中的相应的多个冗余编码图片恢复多个增强数据集；以及
后处理器，所述后处理器对所述低分辨率图像和所述多个增强数据集执行反变换，构建从其生成了所述基本编码图片和所述多个冗余编码图片的高分辨率视频帧的一部分的解码版本。
18.如权利要求17所述的解码装置，其中以与ITU-T H.264高级编码兼容的方式来执行所述恢复。
19.如权利要求17所述的解码装置，其中，所述低分辨率图像是所述高分辨率视频帧的一部分的LL子带，并且所述多个增强数据集是所述高分辨率视频帧的一部分的HL子带、LH子带和HH子带，并且其中，所述反变换是子带合成操作，所述子带合成操作从所述解码的LL子带、HL子带、LH子带和HH子带合成所述高分辨率视频帧的解码版本的一部分。
20.如权利要求17所述的解码装置，其中，所述低分辨率图像包括低分辨率像素，其中，每个低分辨率像素的值是使用处于所述高分辨率视频帧的一部分的多个相位中的特定相位中的每个像素的像素邻域内的定义像素的值的平均函数来确定的，并且所述多个增强数据集中的每一个是包括除了所述特定相位以外的所述高分辨率视频帧的一部分的相位的所有像素的独特集，其中，所述反变换函数包括：
存储器，所述存储器用于将除了所述特定相位以外的所述高分辨率视频帧的每个相位设置为所述多个增强数据集中的相应的一个增强数据集；
反平均函数，所述反平均函数从所述低分辨率图像以及所述高分辨率视频帧的一部分的其他相位来确定所述高分辨率视频帧的一部分的特定相位；以及
重建器，所述重建器将所述特定相位和所述其他相位组合为所述高分辨率视频帧的解码版本。
CN200980114439.4A 2008-04-24 2009-04-07 用于对视频进行编码和解码的方法和装置 Active CN102067599B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/108,680 2008-04-24
US12/108,680 US8249142B2 (en) 2008-04-24 2008-04-24 Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques
PCT/US2009/039739 WO2009131830A1 (en) 2008-04-24 2009-04-07 Method and apparatus for encoding and decoding video

Publications (2)

Publication Number Publication Date
CN102067599A true CN102067599A (zh) 2011-05-18
CN102067599B CN102067599B (zh) 2014-06-11

Family

ID=41077660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980114439.4A Active CN102067599B (zh) 2008-04-24 2009-04-07 用于对视频进行编码和解码的方法和装置

Country Status (8)

Country Link
US (1) US8249142B2 (zh)
EP (1) EP2279619B1 (zh)
KR (1) KR101249652B1 (zh)
CN (1) CN102067599B (zh)
BR (1) BRPI0910340B1 (zh)
MX (1) MX2010011541A (zh)
RU (2) RU2010147830A (zh)
WO (1) WO2009131830A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103583027A (zh) * 2011-06-07 2014-02-12 高通股份有限公司 利用多个组合分集的多描述编码
CN103916649A (zh) * 2012-12-31 2014-07-09 展讯通信（上海）有限公司 一种图像处理方法和装置、系统
CN104704839A (zh) * 2012-10-07 2015-06-10 努梅利有限公司 视频压缩方法
CN107251557A (zh) * 2015-01-16 2017-10-13 微软技术许可有限责任公司 高色度分辨率细节的编码/解码

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090279601A1 (en) * 2008-05-08 2009-11-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and Apparatus of Displaying Video
US8599932B2 (en) 2009-12-18 2013-12-03 General Instrument Corporation Carriage systems encoding or decoding JPEG 2000 video
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
CA2810897C (en) * 2010-10-05 2015-11-24 General Instrument Corporation Method and apparatus for feature based video coding
JP2012235383A (ja) * 2011-05-06 2012-11-29 Sony Corp エンコーダ、デコーダ、エンコーダシステム、デコーダシステム、伝送アダプタ、エンコード方法、デコード方法、および撮像装置
CN102523448A (zh) * 2011-12-27 2012-06-27 北京交通大学 一种基于旋转的多描述视频编解码方法、装置及系统
US11089343B2 (en) * 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
KR20230080500A (ko) 2013-01-04 2023-06-07 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
CN117956141A (zh) 2013-04-08 2024-04-30 Ge视频压缩有限责任公司 多视图解码器
CN103501441B (zh) * 2013-09-11 2016-08-17 北京交通大学长三角研究院 一种基于人类视觉系统的多描述视频编码方法
CN104333762B (zh) * 2014-11-24 2017-10-10 成都瑞博慧窗信息技术有限公司 一种视频解码方法
CN106162316A (zh) * 2015-04-15 2016-11-23 腾讯科技（深圳）有限公司 一种视频流的数据处理方法、装置和系统
JP7378035B2 (ja) * 2018-09-12 2023-11-13 パナソニックＩｐマネジメント株式会社 変換装置、復号装置、変換方法および復号方法
CN116634177B (zh) * 2023-06-16 2024-02-20 北京行者无疆科技有限公司 一种基于hdmi通信设备的视频通信解码处理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3417790A1 (de) * 1984-05-14 1985-11-14 Basf Ag, 6700 Ludwigshafen Verfahren zur herstellung von ameisensaeure
US6233283B1 (en) * 1998-06-23 2001-05-15 Lucent Technologies Inc. Layered video coding using perceptual coding criteria for error resilience in packet networks
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
KR100783396B1 (ko) 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
EP1619664B1 (en) * 2003-04-30 2012-01-25 Panasonic Corporation Speech coding apparatus, speech decoding apparatus and methods thereof
US7586924B2 (en) * 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
EP1578134A1 (en) 2004-03-18 2005-09-21 STMicroelectronics S.r.l. Methods and systems for encoding/decoding signals, and computer program product therefor
EP1615441A1 (en) 2004-07-06 2006-01-11 STMicroelectronics S.r.l. Multiple description coding combined with channel encoding
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US7848566B2 (en) * 2004-10-22 2010-12-07 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US9113147B2 (en) * 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
EP1775958A1 (en) 2005-10-14 2007-04-18 Thomson Licensing Method and apparatus for reconstructing the texture of a spatial enhancement-layer video picture
EP2008468B1 (en) * 2006-04-20 2012-06-13 Thomson Licensing Method and apparatus for redundant video coding
EP1885134A1 (en) 2006-07-31 2008-02-06 Fondazione Torino Wireless A communication system for video data and a method for distributing video data over a network
BRPI0622050A2 (pt) * 2006-09-28 2014-04-22 Thomson Licensing Codificação de redundância flexível
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
US8630355B2 (en) * 2006-12-22 2014-01-14 Qualcomm Incorporated Multimedia data reorganization between base layer and enhancement layer
EP2137972A2 (en) * 2007-04-24 2009-12-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103583027A (zh) * 2011-06-07 2014-02-12 高通股份有限公司 利用多个组合分集的多描述编码
CN103583027B (zh) * 2011-06-07 2016-08-31 高通股份有限公司 利用多个组合分集的多描述编码
CN104704839A (zh) * 2012-10-07 2015-06-10 努梅利有限公司 视频压缩方法
CN103916649A (zh) * 2012-12-31 2014-07-09 展讯通信（上海）有限公司 一种图像处理方法和装置、系统
CN103916649B (zh) * 2012-12-31 2017-03-15 展讯通信（上海）有限公司 一种图像处理方法和装置、系统
CN107251557A (zh) * 2015-01-16 2017-10-13 微软技术许可有限责任公司 高色度分辨率细节的编码/解码
CN107251557B (zh) * 2015-01-16 2020-05-19 微软技术许可有限责任公司 高色度分辨率细节的编码/解码

Also Published As

Publication number Publication date
RU2010147830A (ru) 2012-05-27
BRPI0910340A2 (pt) 2016-04-19
BRPI0910340B1 (pt) 2020-10-20
US8249142B2 (en) 2012-08-21
RU2013128143A (ru) 2014-12-27
EP2279619B1 (en) 2017-11-01
RU2534751C1 (ru) 2014-12-10
MX2010011541A (es) 2011-06-21
KR20100137010A (ko) 2010-12-29
US20090268805A1 (en) 2009-10-29
KR101249652B1 (ko) 2013-04-01
CN102067599B (zh) 2014-06-11
EP2279619A1 (en) 2011-02-02
WO2009131830A1 (en) 2009-10-29

Similar Documents

Publication Publication Date Title
CN102067599B (zh) 用于对视频进行编码和解码的方法和装置
CN111226442B (zh) 配置用于视频压缩的变换的方法及计算机可读存储介质
CN103313057B (zh) 用于比特深度可分级的视频编解码器的色调映射
CN1738435B (zh) 空间域运动补偿时间滤波编码的视频的3d子带解码中的空间可伸缩性
CN101617540B (zh) 用色度位置信息编码和解码数字图像数据的方法
RU2689191C2 (ru) Упаковка кадров для кодирования видео
CN101911699B (zh) 用于高度可分级的帧内视频编码的方法和设备
CN101682759B (zh) 增强数字图像的图像质量的方法和设备
CN101938656B (zh) 基于关键帧超分辨率重建的视频编解码系统
US20050207498A1 (en) Methods and systems for encoding/decoding signals, and computer program product therefor
US20140177706A1 (en) Method and system for providing super-resolution of quantized images and video
US20090003435A1 (en) Method, medium, and apparatus for encoding and/or decoding video data
CN104780384A (zh) 解码视频帧的序列的方法、编码多视图帧的序列的方法
CN105432083A (zh) 混合向后兼容的信号编码和解码
CN105721877A (zh) 对交织的图像数据进行解码的方法和包括编解码器的装置
RU2555226C2 (ru) Кодирование сигнала в масштабируемый поток битов и декодирование такого потока битов
CN101557522A (zh) 用于位深度可伸缩视频编解码器的自适应滤波
CN102742282A (zh) 基于块的交错
CN108769683B (zh) 图像解码方法和使用其的装置
CN103828358B (zh) 具有对称图片分辨率和质量的帧兼容全分辨率立体3d视频递送
CN103489170A (zh) 一种jpeg图片合成、叠加osd信息方法及装置
KR20180116835A (ko) 비디오 비트 스트림 혼합 방법 및 이를 수행하는 장치
Onno et al. JPEG2000: present and future of the new standard
Eigner et al. Scalable video coding at very low bit rates employing resolution pyramids

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Illinois State

Patentee after: MOTOROLA MOBILITY LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY, Inc.

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20170327

Address after: California, USA

Patentee after: Google Technology Holdings LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY LLC

TR01 Transfer of patent right