CN101491100A - 用于从低分辨率画面的运动数据导出对于高分辨率画面的运动数据的方法以及实现该方法的编码和解码设备 - Google Patents

用于从低分辨率画面的运动数据导出对于高分辨率画面的运动数据的方法以及实现该方法的编码和解码设备 Download PDF

Info

Publication number
CN101491100A
CN101491100A CNA2007800264281A CN200780026428A CN101491100A CN 101491100 A CN101491100 A CN 101491100A CN A2007800264281 A CNA2007800264281 A CN A2007800264281A CN 200780026428 A CN200780026428 A CN 200780026428A CN 101491100 A CN101491100 A CN 101491100A
Authority
CN
China
Prior art keywords
macro block
base
picture
block
low resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800264281A
Other languages
English (en)
Other versions
CN101491100B (zh
Inventor
埃杜阿德·弗朗索瓦
文森特·伯特里厄
杰罗姆·维伦
克里斯托弗·谢万斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101491100A publication Critical patent/CN101491100A/zh
Application granted granted Critical
Publication of CN101491100B publication Critical patent/CN101491100B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及用于从被称为基层宏块的低分辨率画面的宏块的运动数据导出对于被称为高层宏块的高分辨率画面的宏块的运动数据的方法。该方法包括下列步骤：将高层宏块分为(2100)基本块；基于高层宏块以及高和低分辨率画面的编码模式，从基本块位置为每个基本块计算(2200)低分辨率内的中间位置；识别(2300)被称为base_MB的基层宏块，其包括位于中间位置的像素；基于base_MB和高层宏块以及高和低分辨率画面的编码模式，从虚拟基层位置计算(2400)在低分辨率画面内的最终位置；识别(2500)被称为real_base_MB的基层宏块，其包括位于最终位置的像素；以及从识别的real_base_MB的运动数据，对于高层宏块导出(2600)运动数据。

Description

用于从低分辨率画面的运动数据导出对于高分辨率画面的运动数据的方法以及实现该方法的编码和解码设备
技术领域
本发明涉及用于从与至少一个被称为基层宏块的低分辨率画面的宏块关联的运动数据导出对于至少一个被称为高层宏块的高分辨率画面的宏块的运动数据的方法。本发明还涉及实现所述方法的编码和解码设备。
背景技术
可伸缩分层编码方法的技术发展允许对信息的分层编码，从而可以以不同的分辨率和/或质量水平解码。由可伸缩编码设备生成的数据流由此被分为若干层，基层以及一个或更多个增强层。这些设备允许使唯一的数据流适应于可变的传输条件(带宽、错误率等)，且还适应于接收设备的容量(CPU、复制设备的特征等)。空间可伸缩编码(或解码)方法编码(或解码)被称为基层的第一部分数据，该基层涉及也被称为基层画面(BL画面)的低分辨率画面，且根据该基层，编码(或解码)被称为增强层的至少另一部分数据，该增强层涉及也被称为高层画面(HL画面)或增强层画面的高分辨率画面。通过被称为层间预测方法或层间继承方法的方法，涉及增强层的运动数据可能从涉及基层的运动数据继承(即，导出)。因此，根据经典的空间或时间预测模式(例如，帧内预测、双向预测模式、直接预测模式、正向/反向预测等)或根据层间预测模式，高分辨率画面的每个宏块被预测。在此前的情况下，与高分辨率宏块关联的运动数据必须从与低分辨率画面的宏块关联的运动数据(也被称为运动信息)导出或继承，无论低或高分辨率画面的格式是什么，即，逐行或隔行(扫描)。在本上下文中，表述“运动数据”不仅包括运动矢量，也包括更一般的编码信息，例如与用于将所述宏块/块划分为若干子块的高分辨率画面的像素宏块/块关联的划分模式、与所述块关联的编码模式、以及与允许引用用来预测所述块的画面的一些块关联的画面引用索引。
发明内容
本发明具有的目标是缓解这些不足中的至少一个。特别地，本发明涉及一种用于从与被称为基层宏块的低分辨率画面的宏块关联的运动数据导出对于被称为高层宏块的高分辨率画面的至少一个宏块的运动数据的方法，帧模式和场模式中的宏块编码模式与每个宏块关联，且画面编码模式与所述高分辨率画面及与低分辨率画面关联。该方法包含下列步骤：
-将所述高层宏块分为非重叠的基本块。
-基于所述高层宏块的编码模式以及基于所述高和低分辨率画面的画面编码模式，从高分辨率画面内的所述基本块位置为每个基本块计算被称为虚拟基层位置(vbl_pos)的低分辨率画面内的中间位置；
-为每个基本块识别被称为base_MB的基层宏块，该基层宏块包括位于虚拟基层位置的像素；
-基于base_MB和高层宏块的编码模式以及基于高和低分辨率画面的画面编码模式，从虚拟基层位置为每个基本块计算被称为真实基层位置的低分辨率画面内的最终位置；
-为每个基本块识别被称为real_base_MB的基层宏块，该基层宏块包括位于真实基层位置的像素；以及
-从识别的基层宏块real_base_MB的运动数据为每个基本块导出对于高层宏块的运动数据。
根据优选的实施例，基层宏块被划分，且运动数据与每个划分关联。所述方法还包括在为每个基本块识别被称为real_base_MB、包含位于所述真实基层位置的像素的基本宏块的步骤之后，为每个基本块识别包含位于所述真实基层位置的像素的所述real_base_MB的划分(mbPartIdxBase)的步骤。
优选地，用于为高层宏块导出运动数据的步骤包括下列步骤：
-基于识别的基层宏块real_base_MB以及基于对于每个基本块的基层宏块real_base_MB的被识别的划分来划分高层宏块；以及
-从对于每个基本块的被识别的基层宏块real_base_MB的运动数据导出对于高层宏块的每个划分的运动矢量。
根据优选的实施例，高层宏块是16乘16像素的块，并且其中每个基本块是4乘4像素的块。
有利地，该方法是用于编码视频信号的处理的一部分，并且是用于解码视频信号的处理的一部分。
本发明还涉及一种用于编码高分辨率画面序列及低分辨率画面序列的设备，每个画面被分为非重叠宏块，帧模式和场模式中的宏块编码模式与每个宏块关联，且画面编码模式与高分辨率画面以及与低分辨率画面关联。该编码设备包括：
-第一编码部件，用于编码低分辨率画面，该第一编码部件为低分辨率画面的宏块产生运动数据及基层数据流；
-继承部件，用于从被称为低分辨率宏块的低分辨率画面的宏块的运动数据导出对于被称为高分辨率宏块的高分辨率画面的至少一个宏块的运动数据；以及
-第二编码部件，用于使用导出的运动数据来编码所述高分辨率画面，该第二编码部件生成增强层数据流；
本发明还涉及一种用于解码高分辨率画面的至少一个序列的设备，被编码的画面以数据流的形式出现，每个画面被分为非重叠宏块，帧模式和场模式中的宏块编码模式与每个宏块关联，且画面编码模式与所述高分辨率画面以及与所述低分辨率画面相关。该解码设备包括：
-第一解码部件，用于解码数据流的至少第一部分，以生成低分辨率画面和对于所述低分辨率画面的宏块的运动数据；
-继承部件，用于从低分辨率画面的宏块的运动数据导出对于高分辨率画面的至少一个宏块的运动数据；以及
-第二解码部件，用于使用导出的运动数据来解码数据流的至少第二部分，以生成高分辨率画面；
根据本发明的重要特性，编码和解码设备的继承部件包括：
-用于将高层宏块分为非重叠基本块的部件；
-基于高层宏块的编码模式以及基于高和低分辨率画面的画面编码模式，用于从高分辨率画面内的基本块位置为每个基本块计算被称为虚拟基层位置(vbl_pos)的低分辨率画面内的中间位置的部件；
-为每个基本块识别被称为base_MB的基层宏块的部件，该基层宏块包括位于虚拟基层位置的像素；
-基于base_MB和高层宏块的编码模式以及基于高和低分辨率画面的画面编码模式，用于从虚拟基层位置为每个基本块计算被称为真实基层位置的低分辨率画面内的最终位置的部件；
-为每个基本块识别被称为real_base_MB的基层宏块的部件，该基层宏块包括位于真实基层位置的像素；以及
-从对于每个基本快被识别的基层宏块real_base_MB的运动数据，对于高层宏块导出运动数据的部件。
优选地，第一编码部件是MPEG-4AVC视频编码器。
有利地，编码设备还包括用于将基层数据流和增强层数据流组合成单个数据流的部件。
优选地，第一解码部件是MPEG-4AVC视频解码器。
附图说明
本发明的其它特性和优势将以一些实施例的下列描述出现，该描述通过结合附图给出，在附图中：
-图1描绘了垂直定位、并以帧模式(图中的左边部分)或场模式(图中的右边部分)编码的一对宏块；
-图2描绘了根据本发明的方法的流程图；
-图3描绘了对于给定的高层宏块的运动数据导出的例子；
-图4描绘了根据本发明用于编码视频信号的编码设备；以及
-图5描绘了根据本发明用于解码视频信号的解码设备。
具体实施方式
在来自ISO/IEC MPEG及ITU-T VCEG的题为《Scalable VideoCoding-Joint Draft 5》(《可伸缩视频编码一联合草案5》)且后来被称为JSVM5的文件JVT-R202中，在当前由JVT(MPEG&ITU)定义的SVC标准中，空间可伸缩性仅被考虑用于逐行(progressive)材料。两个(或更多个)连续空间层(基层和增强层)之间运动层间预测仅在逐行视频序列的情况下提供。本发明提出扩展这些层间预测方法以支持隔行/逐行可伸缩性的任意组合。根据许多视频编码标准，包括具有在不同时刻捕获的与底部场交织的顶部场的隔行图像，可以作为两个场画面(场画面模式)来编码，即画面的两个场被分别编码，或作为帧画面来编码(帧画面模式)，即画面作为单帧来编码。在题为《Text of 14496-2 Third Edition》(《14496-2文本第三版》)的文件ISO/IEC JTC 1/SC 29/WG 11 N5546中描述的MPEG-4 AVC允许对整个画面独立地、或对每两个垂直宏块对独立地做出决定。当在画面级别做出决定时，其被称为PAFF编码(对于画面自适应帧/场的PAFF标准)，而在宏块对级别做出决定时，其被称为MBAFF(对于宏块适应帧/场的标准)。更准确地说，根据MPEG-4 AVC，当隔行画面被作为帧画面编码且MBAFF被允许时，则每对垂直宏块(MB)可以作为隔行来编码，即一对MB在场模式中被编码(图1的右侧部分)，或作为逐行来编码，即一对MB在帧模式中(被编码)(图1的左侧部分)。在图1上，灰色线表示与奇数线，即画面的白色线交织的画面的偶数线。逐行画面总是作为帧画面来编码。画面的编码模式指定了所述画面是被帧还是场编码的，且更进一步地如果MBAFF被允许，是否被帧编码。
根据本发明的方法允许从与低分辨率画面的宏块(也被称为基层宏块且表示为BL MB)关联的运动数据导出用于高分辨率画面的至少一个宏块(也被称为高层宏块且表示为HL MB)的运动数据，无论高和低分辨率序列的格式是什么(隔行或逐行)。
下面参考图2，针对当前的HL MB，描述了用于从BL MB导出用于至少一个HL MB的运动数据的方法。在图2中，表示框完全是功能实体，其不是必须要对应于物理分离的实体。即，它们可以以软件的形式研发，或在一个或若干个集成电路中实现。图3描绘了对于当前HL MB的这样的导出的例子。有利地，根据本发明，直接从BL MB的运动数据导出对于HL MB的运动数据，即对于例如虚拟基层宏块(也被熟知为VBL MB)的中间宏块，没有运动数据明确地被导出。这明显地简化整个过程。的确，在导出当前HL MB自己的运动数据之前，不再需要导出对于与其关联的中间MB的运动数据。有利地，该方法避免了为与不同的相邻HL MB关联的同一VBL MB导出若干次运动数据。
根据本发明，如图3所描绘的，当前的HL MB首先被分为(步骤2100)高层基本块elem_blk(例如4×4的块)。
然后，该方法在于在(像素单元中的)位置(blk_x，blk_y)上为每个块elem_blk计算(步骤2200)虚拟基层位置vbl_pos＝(vbl_x，vbl_y)，如下所示：
vbl_x＝blk_x*wbase/wenh；以及
vbl_y＝offset+factor*(y1*hb/he)
其中offset、factor和hb是如下定义的参数：
-如果下列两个条件中的一个为真：
○当前HLMB是场宏块，且基层画面在宏块适应帧场(MBAFF)模式下被编码，或
○当前HLMB是场宏块，且基层画面是逐行的且henh<2*hbase则如果高层宏块是TOP宏块，factor＝2，hb＝hbase/2且offset＝0；或如果高层宏块是BOTTOM宏块，offset＝16；
否则，factor＝1，hb＝hbase且offset＝0。
并且其中y1和he是如下定义的参数：
-如果当前HLMB是场宏块，并且如果高层画面在宏块适应帧场(MBAFF)模式下被编码，则y1＝blk_y/2且he＝henh/2。
-否则，y1＝blk_y且he＝henh。
步骤2300在于为每个elem_blk识别基层宏块base_MB，该基层宏块包含基层画面中位置vbl_pos的像素，即，如图3所描绘的坐标(vbl_x，vbl_y)的像素。
然后，在步骤2400，基于base_MB的帧/场编码模式，从虚拟基层位置vbl_pos为每个elem_blk计算低分辨率画面内的基层位置real_bl_pos＝(bl_x，bl_y)。bl_x被设为等于vbl_x，且bl_y被如下导出：
Figure A200780026428D00111
如果下列条件为真：
●基层画面在宏块适应帧场(MBAFF)模式下被编码；
●基层宏块base_MB是场宏块；且
●高层画面是逐行(即在帧模式下被编码)，或高层宏块是帧宏块。
则虚拟基层位置vbl_pos从场到帧的转换被应用。在w列的画面中位置(ax，ay)的给定宏块的地址被定义为(ay*w+ax)。令mbAddrBaseTOP和mbAddrBaseBOT被如下定义：
如果base_MB是TOP宏块，则mbAddrBaseTOP是base_MB的地址，且mbAddrBaseBOT是位于base_MB下面的基层宏块的地址，
否则，mbAddrBaseBOT是base_MB的地址，且mbAddrBaseTOP是位于base_MB上面的基层宏块的地址。
因此，如果在位置mbAddrBaseTOP和mbAddrBaseBOT的宏块两者都被内编码，则bl_y＝vbl_y，
否则，令y2是被设为等于(vbl_y％16)/4的变量，且mbAddrBase被如下定义：
■如果y2小于2，则mbAddrBase＝mbAddrBaseTOP
■否则，mbAddrBase＝mbAddrBaseBOT
如果base_MB是TOP宏块，则bl_y＝(mbAddrBase/wbase)+4*(blk_y/2)，否则，bl_y＝(mbAddrBase/wbase)+4*(blk_y/2+2)。
Figure A200780026428D00121
否则，如果下列条件中的一个为真：
●基层画面是逐行的(即，在帧模式下被编码)，且当前HLMB是场宏块且henh<2*hbase；
●基层画面在宏块适应帧场(MBAFF)模式下被编码，且基层宏块base_MB是帧宏块而高层宏块是场宏块。
则虚拟基层位置vbl_pos从帧到场的转换被应用。令mbAddrBaseTOP和mbAddrBaseBOT被如下定义：
如果base_MB是TOP宏块，则mbAddrBaseTOP是base_MB的地址，且mbAddrBaseBOT是位于base_MB下面的基层宏块的地址，
否则，mbAddrBaseBOT是base_MB的地址，且mbAddrBaseTOP是位于base_MB上面的基层宏块的地址。
因此，如果在位置mbAddrBaseTOP和mbAddrBaseBOT的宏块两者都被内编码，则bl_y＝vbl_y，
否则，如果在位置mbAddrBaseTOP的宏块被内编码，则mbAddrBaseTOP被设为mbAddrBaseBOT，否则如果在位置mbAddrBaseBOT的宏块被内编码，则mbAddrBaseBOT被设为mbAddrBaseTOP。令y2是被设为等于(vbl_y％16)/4的变量，且mbAddrBase被如下定义：
■如果y2小于2，则mbAddrBase＝mbAddrBaseTOP
■否则，mbAddrBase＝mbAddrBaseBOT
如果base_MB是TOP宏块，则bl_y＝(mbAddrBase/wbase)+4*(2*(blk_y％2))，
否则，bl_y＝(mbAddrBase/wbase)+4*(2*(blk_y％2)+1)。
Figure A200780026428D00122
否则，bl_y＝vbl_y。
步骤2500在于为每个elem_blk识别基层宏块real_base_MB，该基层宏块包括位置real_bl_pos＝(bl_x，bl_y)的基层画面中的像素，基层划分的索引mbPartIdxBase包括基层宏块real_base_MB内位置real_bl_pos的像素，且基层子划分的索引subMbPartIdxBase如果存在，其包括索引mbPartIdxBase的基层划分内位置real_bl_pos的像素。所述real_base_MB、所述mbPartIdxBase索引及subMbPartIdxBase索引如果存在，其与所述elem_blk关联。
下一步骤2600在于导出与当前HLMB关联的运动数据。优选地，运动数据导出步骤包括两个子步骤。确实，在导出运动矢量和参考索引之前，首先导出宏块类型mb_type和子宏块类型。更准确地说，子步骤2610在于使用题为“Joint Scalable Video Model JSVM-6：Joint Draft 6 with proposedchanges”(“联合可伸缩视频模型JSVM-6：具有建议改变的联合草案6”)的ISO/IECMPEG&ITU-T VCEG JVT-S202的文件JVT的F.6.4节‘Derivationprocess for macroblock type and sub-macroblock type in inter-layerprediction’(‘在层间预测中用于宏块类型和子宏块类型的导出过程’)中定义的过程，导出当前HLMB的宏块类型mb_type，即分份模式(portioningpattern)，以及可能的子宏块类型sub_mb_type(sub_mb_type指定了给定的划分如何被分隔，例如，sub_mb_type为8×4的8×8划分被分为2个8×4子划分)，该步骤在下列行开始：
-元素partInfo[x，y]如下被导出。
-如果mbAddrBase被标记为不可用，则partInfo[x，y]被标记为不可用。
-否则，以下被应用。
-如果宏块mbAddrBase被内编码，
则partInfo[x，y]＝-1                      (F-43)
-否则
partInfo[x，y]＝16 * mbAddrBase+4 * mbPartIdxBase+
subMbPartIdxBase         (F-44)
最后，在子步骤2620，如ISO/IEC MPEG & ITU-T VCEG JVT-S202的文件JVT的F.8.6节‘Resampling process for motion data’(‘用于运动数据的重抽样过程’)所描述的，基于HL MB的帧或场模式以及基于基层宏块real_base MB的帧或场模式，从与所述当前HLMB的每个elem_blk关联的real_base MB的基层划分或如果存在的子划分的运动矢量和参考索引，为当前HLMB的每个划分和可能的子划分导出运动矢量和参考索引。
根据本发明的方法可以被用于编码视频信号的处理及被用于解码视频信号的处理。当被用于编码视频的处理使用时，编码处理选择使用层间预测模式或经典预测模式来编码当前HL MB。
本发明还涉及图4所示的编码设备8。编码设备8包括用于编码低分辨率画面的第一编码模块80。模块80生成用于所述低分辨率画面的基层数据流和运动数据。优选地，模块80适应于生成符合MPEG4 AC标准的基层数据流。编码设备8包括继承部件82，其被用来从由第一编码模块80生成的低分辨率画面的运动数据导出用于高分辨率画面的运动数据。继承部件82适应于实现根据本发明的方法的步骤2100到2600。编码设备8包括用于编码高分辨率画面的第二编码模块81。第二编码模块81使用由继承部件82导出的运动数据以便于编码高分辨率画面。第二编码模块81于是生成增强层数据流。优选地，编码设备8还包括模块83(例如多路复用器)，其组合由第一编码模块80和第二编码模块81分别提供的基层数据流和增强层数据流以生成单个数据流。因此，如果HL MB被第二编码部件81使用层间预测模式来编码，则因为与所述HL MB相关的运动数据从与由模块80提供的BL MB关联的运动数据导出，它们没有在数据流中被编码(或仅被部分编码，因为四像素运动细化可能被编码)。这允许节省一些比特。另一方面，如果HL MB使用经典模式(例如，双向模式)来编码，则与所述HLMB相关的运动数据在数据流中被编码。
本发明还涉及如图5所示的解码设备9，用于从用编码设备8生成的数据流解码高分辨率画面。解码设备9包括第一解码部件91，用于解码被称为基层数据流的第一部分数据流，以便于导出对于所述低分辨率画面的低分辨率画面和运动数据。优选地，模块91适用于解码符合MPEG AVC标准的数据流。解码部件9包括继承部件82，其被用来从由第一解码部件91生成的低分辨率画面的运动数据导出用于高分辨率画面的运动数据。继承部件82适用于实现根据本发明的方法的步骤2100到2600。解码设备9包括第二解码模块92，用于解码被称为增强层数据流的第二部分数据流。第二解码模块92使用由继承部件82导出的运动数据以便于解码数据流的第二部分。第二解码模块92从而生成高分辨率画面。有利地，设备9还包括提取模块90(及去多路复用器)，用于从接收到的数据流中提取基层数据流和增强层数据流。
根据另一个实施例，解码设备接收两个数据流：基层数据流和增强层数据流。在此情况下，设备9不包括提取模块90。
本发明不限于描述的实施例。特别地，针对两个序列的画面，即两个空间层所描述的本发明可以被用来编码多于两个序列的画面。

Claims (11)

1.一种用于从与被称为基层宏块的低分辨率画面的宏块关联的运动数据，对于被称为高层宏块的高分辨率画面中被的至少一个宏块导出运动数据的方法，帧模式和场模式中的宏块编码模式与每个宏块关联，且画面编码模式与所述高分辨率画面及与低分辨率画面关联，其特征在于它包含下列步骤：
-将所述高层宏块分为(2100)非重叠的基本块。
-基于所述高层宏块的编码模式以及基于所述高和低分辨率画面的画面编码模式，从所述高分辨率画面内的所述基本块位置为每个基本块计算(2200)被称为虚拟基层位置(vbl_pos)的所述低分辨率画面内的中间位置；
-为每个基本块识别(2300)被称为base_MB的基层宏块，该基层宏块包括位于所述虚拟基层位置的像素；
-基于所述base_MB和高层宏块的编码模式以及基于所述高和低分辨率画面的画面编码模式，从所述虚拟基层位置为每个基本块计算(2400)被称为真实基层位置的所述低分辨率画面内的最终位置；
-为每个基本块识别(2500)被称为real_base_MB的基层宏块，该基层宏块包括位于所述真实基层位置的像素；以及
-对于所述高层宏块，从所述识别的基层宏块real_base_MB的运动数据为每个基本块导出(2600)运动数据。
2.如权利要求1所述的方法，其中基层宏块被划分，且运动数据与每个划分关联，并且其中所述方法还包括在为每个基本块识别(2500)被称为real_base_MB、包含位于所述真实基层位置的像素的基层宏块的步骤之后，为每个基本块识别包含位于所述真实基层位置的像素的所述real_base_MB的划分(mbPartIdxBase)的步骤。
3.如权利要求2所述的方法，其中用于为所述高层宏块导出运动数据的步骤(2600)包括下列步骤：
-基于所述识别的基层宏块real_base_MB以及基于对于每个基本块的所述基层宏块real_base_MB的所述被识别的划分来划分所述高层宏块；以及
-从对于每个基本块的所述被识别的基层宏块real_base_MB的运动数据，对于所述高层宏块的每个划分导出运动矢量。
4.如权利要求1到3中任一个所述的方法，其中，所述高层宏块是16乘16像素的块，并且其中每个基本块是4乘4像素的块。
5.如权利要求1到4中任一个所述的方法，其中所述方法是用于编码视频信号的处理的一部分。
6.如权利要求1到4中任一个所述的方法，其中所述方法是用于解码视频信号的处理的一部分。
7.一种用于编码高分辨率画面序列及低分辨率画面序列的设备(8)，每个画面被分为非重叠宏块，帧模式和场模式中的宏块编码模式与每个宏块关联，且画面编码模式与所述高分辨率画面以及与所述低分辨率画面关联，所述设备包括：
-用于编码所述低分辨率画面的第一编码部件(80)，所述第一编码部件为所述低分辨率画面的宏块产生运动数据及基层数据流；
-用于从被称为低分辨率宏块的低分辨率画面的宏块的运动数据导出对于被称为高分辨率宏块的高分辨率画面的至少一个宏块的运动数据的继承部件(82)；以及
-用于使用所述导出的运动数据来编码所述高分辨率画面的第二编码部件(81)，所述第二编码部件生成增强层数据流；
其特征在于继承部件(82)包括：
-用于将所述高层宏块分为非重叠基本块的部件；
-基于所述高层宏块的编码模式以及基于所述高和低分辨率画面的画面编码模式，用于从所述高分辨率画面内的所述基本块位置为每个基本块计算被称为虚拟基层位置(vbl_pos)的所述低分辨率画面内的中间位置的部件；
-为每个基本块识别被称为base_MB的基层宏块的部件，该基层宏块包括位于所述虚拟基层位置的像素；
-基于所述base_MB和高层宏块的编码模式以及基于所述高和低分辨率画面的画面编码模式，用于从所述虚拟基层位置为每个基本块计算被称为真实基层位置的所述低分辨率画面内的最终位置的部件；
-为每个基本块识别被称为real_base_MB的基层宏块的部件，该基层宏块包括位于所述真实基层位置的像素；以及
-从对于每个基本块的所述识别的基层宏块real_base_MB的运动数据，对于所述高层宏块导出运动数据的部件。
8.如权利要求6所述的设备，其中所述第一编码部件是MPGE-4AVC视频编码器。
9.如权利要求6或7所述的设备，其中所述设备还包括用于将基层数据流和增强层数据流组合为单个数据流的部件(83)。
10.一种用于解码用根据权利要求6到9中的任一个的编码设备(8)编码的高分辨率画面的至少一个序列的设备(9)，所述编码的画面以数据流的形式出现，每个画面被分为非重叠宏块，帧模式和场模式中的宏块编码模式与每个宏块关联，且画面编码模式与所述高分辨率画面以及与所述低分辨率画面相关，所述设备包括：
-第一解码部件(91)，用于解码所述数据流的至少第一部分，以便于生成低分辨率画面和对于所述低分辨率画面的宏块的运动数据；
-继承部件(82)，用于从低分辨率画面的宏块的运动数据，对于高分辨率画面的至少一个宏块导出运动数据；以及
-第二解码部件(92)，用于使用所述导出的运动数据来解码所述数据流的至少第二部分，以便于生成高分辨率画面；其特征在于继承部件(82)包括：
-用于将所述高层宏块分为非重叠基本块的部件；
-基于所述高层宏块的编码模式以及基于所述高和低分辨率画面的画面编码模式，用于从所述高分辨率画面内的所述基本块位置为每个基本块计算被称为虚拟基层位置(vbl_pos)的所述低分辨率画面内的中间位置的部件；
-为每个基本块识别被称为base_MB的基层宏块的部件，该基层宏块包括位于所述虚拟基层位置的像素；
-基于所述base_MB和高层宏块的编码模式以及基于所述高和低分辨率画面的画面编码模式，用于从所述虚拟基层位置为每个基本块计算被称为真实基层位置的所述低分辨率画面内的最终位置的部件；
-为每个基本块识别被称为real_base_MB的基层宏块的部件，该基层宏块包括位于所述真实基层位置的像素；以及
-从对于每个基本块的所述识别的基层宏块real_base_MB的运动数据，对于所述高层宏块导出运动数据的部件。
11.如权利要求10所述的设备，其中所述第一解码部件是MPEG-4AVC视频解码器。
CN2007800264281A 2006-07-12 2007-07-02 从低分辨率画面的运动数据导出高分辨率画面的运动数据的方法和设备 Expired - Fee Related CN101491100B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06300798A EP1879399A1 (en) 2006-07-12 2006-07-12 Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
EP06300798.3 2006-07-12
PCT/EP2007/056640 WO2008006728A2 (en) 2006-07-12 2007-07-02 Method for deriving motion data for high resolution pictures from motion data of low resoluton pictures and coding and decoding devices implementing said method

Publications (2)

Publication Number Publication Date
CN101491100A true CN101491100A (zh) 2009-07-22
CN101491100B CN101491100B (zh) 2011-03-02

Family

ID=37465069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800264281A Expired - Fee Related CN101491100B (zh) 2006-07-12 2007-07-02 从低分辨率画面的运动数据导出高分辨率画面的运动数据的方法和设备

Country Status (12)

Country Link
US (1) US9167266B2 (zh)
EP (2) EP1879399A1 (zh)
JP (1) JP5211048B2 (zh)
KR (1) KR101368943B1 (zh)
CN (1) CN101491100B (zh)
AT (1) ATE544294T1 (zh)
BR (1) BRPI0714061A2 (zh)
ES (1) ES2379399T3 (zh)
PL (1) PL2047684T3 (zh)
RU (1) RU2437246C2 (zh)
TW (1) TWI456994B (zh)
WO (1) WO2008006728A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1977607A4 (en) 2006-01-09 2014-12-17 Lg Electronics Inc INTER-LAYER PREDICTION PROCEDURE FOR A VIDEO SIGNAL
US8665946B2 (en) * 2007-10-12 2014-03-04 Mediatek Inc. Macroblock pair coding for systems that support progressive and interlaced data
US9491458B2 (en) * 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
KR20140087971A (ko) * 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270813A (en) 1992-07-02 1993-12-14 At&T Bell Laboratories Spatially scalable video coding facilitating the derivation of variable-resolution images
JP3189258B2 (ja) 1993-01-11 2001-07-16 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
JP3788823B2 (ja) 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
US5831678A (en) 1996-08-09 1998-11-03 U.S. Robotics Access Corp. Video encoder/decoder system
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US5978509A (en) 1996-10-23 1999-11-02 Texas Instruments Incorporated Low power video decoder system with block-based motion compensation
US6690724B1 (en) 1997-01-10 2004-02-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing device, and data recording medium
US6728775B1 (en) 1997-03-17 2004-04-27 Microsoft Corporation Multiple multicasting of multimedia streams
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6741748B1 (en) 1997-06-19 2004-05-25 Samsung Electronics Co. Scan interleaving method based on context values of neighboring pixels, improved encoding/decoding method of binary shape data and encoding/decoding apparatus suitable for the same
US6351563B1 (en) 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
KR100591211B1 (ko) 1997-12-23 2006-06-19 톰슨 라이센싱 저잡음 엔코딩 및 디코딩 방법
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
JP2000013790A (ja) 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
US6233283B1 (en) 1998-06-23 2001-05-15 Lucent Technologies Inc. Layered video coding using perceptual coding criteria for error resilience in packet networks
US6603883B1 (en) 1998-09-08 2003-08-05 Canon Kabushiki Kaisha Image processing apparatus including an image data encoder having at least two scalability modes and method therefor
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6931060B1 (en) 1999-12-07 2005-08-16 Intel Corporation Video processing of a quantized base layer and one or more enhancement layers
JP2001223665A (ja) 2000-02-08 2001-08-17 Matsushita Electric Ind Co Ltd 信号符号化伝送装置、信号復号化受信装置、およびプログラム記録媒体
US6510177B1 (en) 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
CA2406459C (en) 2000-04-07 2006-06-06 Demografx Enhanced temporal and resolution layering in advanced television
JP2002010251A (ja) 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
US6907070B2 (en) 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US7929610B2 (en) 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US6898313B2 (en) 2002-03-06 2005-05-24 Sharp Laboratories Of America, Inc. Scalable layered coding in a multi-layer, compound-image data transmission system
WO2003079692A1 (en) 2002-03-19 2003-09-25 Fujitsu Limited Hierarchical encoder and decoder
US7397858B2 (en) 2002-05-29 2008-07-08 Innovation Management Sciences, Llc Maintaining a plurality of codebooks related to a video signal
JP2005535219A (ja) 2002-07-31 2005-11-17 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ハイブリッド予測コードを使用してマルチプル・ディスクリプション動き補償を実行する方法及び装置
JP2004219759A (ja) * 2003-01-15 2004-08-05 Chi Mei Electronics Corp 画像表示処理方法、画像表示処理装置、画像表示装置および画像表示処理システム
US8005148B2 (en) 2003-01-30 2011-08-23 Koninklijke Philips Electronics N.V. Video coding
EP1597919A1 (en) 2003-02-17 2005-11-23 Koninklijke Philips Electronics N.V. Video coding
EP1455534A1 (en) 2003-03-03 2004-09-08 Thomson Licensing S.A. Scalable encoding and decoding of interlaced digital video data
KR20060105408A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7142601B2 (en) 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
US7015920B2 (en) * 2003-04-30 2006-03-21 International Business Machines Corporation Method and system for providing useable images on a high resolution display when a 2D graphics window is utilized with a 3D graphics window
JP2005033336A (ja) 2003-07-08 2005-02-03 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US7362809B2 (en) 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
JP2005260912A (ja) 2004-02-10 2005-09-22 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
US8503542B2 (en) 2004-03-18 2013-08-06 Sony Corporation Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video
US20060012719A1 (en) 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
KR100703740B1 (ko) 2004-10-21 2007-04-05 삼성전자주식회사 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
US7817723B2 (en) 2004-12-14 2010-10-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Apparatus and method of optimizing motion estimation parameters for encoding a video signal
US8363730B2 (en) 2004-12-16 2013-01-29 Intel Corporation Local macroblock information buffer
US20060176955A1 (en) 2005-02-07 2006-08-10 Lu Paul Y Method and system for video compression and decompression (codec) in a microprocessor
US20060262860A1 (en) * 2005-02-23 2006-11-23 Chou Jim C Macroblock adaptive frame/field coding architecture for scalable coding
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
KR100763179B1 (ko) * 2005-04-01 2007-10-04 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
KR100896279B1 (ko) 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US7777812B2 (en) 2005-11-18 2010-08-17 Sharp Laboratories Of America, Inc. Methods and systems for picture resampling

Also Published As

Publication number Publication date
ATE544294T1 (de) 2012-02-15
RU2009104704A (ru) 2010-08-20
PL2047684T3 (pl) 2012-05-31
KR101368943B1 (ko) 2014-02-28
EP2047684B1 (en) 2012-02-01
WO2008006728A3 (en) 2008-04-03
JP5211048B2 (ja) 2013-06-12
WO2008006728A2 (en) 2008-01-17
EP2047684A2 (en) 2009-04-15
US9167266B2 (en) 2015-10-20
EP1879399A1 (en) 2008-01-16
US20090323811A1 (en) 2009-12-31
RU2437246C2 (ru) 2011-12-20
BRPI0714061A2 (pt) 2012-12-11
TWI456994B (zh) 2014-10-11
ES2379399T3 (es) 2012-04-25
JP2009543486A (ja) 2009-12-03
KR20090037886A (ko) 2009-04-16
TW200812396A (en) 2008-03-01
CN101491100B (zh) 2011-03-02

Similar Documents

Publication Publication Date Title
CN101356820B (zh) 层间运动预测方法
JP6618439B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置および動画像復号方法
KR100896279B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100891662B1 (ko) 비디오 신호 디코딩 및 인코딩 방법
CN104205838B (zh) 可伸缩视频编码的方法以及装置
CN101073265B (zh) 可缩放视频编码方法
CN101682766B (zh) 用于以分级流形式编码视频内容的装置和方法
CN104247423B (zh) 可伸缩视频编码系统的帧内模式编码方法和装置
KR100891663B1 (ko) 비디오 신호 디코딩 및 인코딩 방법
CN104396249A (zh) 可伸缩视频编码的双向预测的方法和设备
CN101467461A (zh) 基于多层的视频编码方法及其装置
KR20090015048A (ko) 스케일러블 비디오 코딩을 위한 간략화된 레이어간 모션 예측
WO2021077914A1 (zh) 视频编码方法、装置、计算机设备和存储介质
CN101491100B (zh) 从低分辨率画面的运动数据导出高分辨率画面的运动数据的方法和设备
JP5037517B2 (ja) 動き及びテクスチャデータを予測する方法
JP5031763B2 (ja) 動き及びテクスチャデータを予測する方法
KR20010073608A (ko) 압축영상의 공간 도메인에서의 효율적인 엣지 예측 방법
EP1848218A1 (en) Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
KR20070075257A (ko) 영상신호의 엔코딩/디코딩시의 레이어간 모션 예측 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110302

Termination date: 20170702