CN101540911A - 产生图像数据流的方法和设备及重建图像的方法和设备 - Google Patents
产生图像数据流的方法和设备及重建图像的方法和设备 Download PDFInfo
- Publication number
- CN101540911A CN101540911A CN200910126936A CN200910126936A CN101540911A CN 101540911 A CN101540911 A CN 101540911A CN 200910126936 A CN200910126936 A CN 200910126936A CN 200910126936 A CN200910126936 A CN 200910126936A CN 101540911 A CN101540911 A CN 101540911A
- Authority
- CN
- China
- Prior art keywords
- macro block
- srm
- source macro
- search
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 239000013598 vector Substances 0.000 claims description 47
- 239000012634 fragment Substances 0.000 claims description 29
- 101150080085 SEG1 gene Proteins 0.000 claims description 15
- 101100202858 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SEG2 gene Proteins 0.000 claims description 15
- 101100421134 Schizosaccharomyces pombe (strain 972 / ATCC 24843) sle1 gene Proteins 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 3
- XYDVHKCVOMGRSY-UHFFFAOYSA-N 4-(4-benzylphenyl)-1,3-thiazol-2-amine Chemical compound S1C(N)=NC(C=2C=CC(CC=3C=CC=CC=3)=CC=2)=C1 XYDVHKCVOMGRSY-UHFFFAOYSA-N 0.000 claims description 2
- 101001050286 Homo sapiens Jupiter microtubule associated homolog 1 Proteins 0.000 claims description 2
- 101000928034 Homo sapiens Proteasomal ubiquitin receptor ADRM1 Proteins 0.000 claims description 2
- 102100023133 Jupiter microtubule associated homolog 1 Human genes 0.000 claims description 2
- 102100036915 Proteasomal ubiquitin receptor ADRM1 Human genes 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 15
- 230000008707 rearrangement Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 230000008520 organization Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种产生图像数据流的方法，以及从图像数据流中重建图像。用于产生图像数据流的方法包括以下步骤：(a)将参考图像中的搜索区域(SRM#0、SRM#1、...、SRM#8)分派给当前图像的源宏块(SMB#0、SMB#1、...、SMB#n)；(b)在搜索区域(SRM#0、SRM#1、...、SRM#8)中确定最佳匹配和相应的残差，以及(c)将已确定的残差编码进数据流。该方法的另一特征还涉及的事实是，步骤(b)和(c)中至少一项中的处理顺序依赖于参考图像中所分派的搜索区域的位置。处理顺序中的变型允许在编码器端处更高效地确定最佳匹配，和/或在解码器端处降低地处理要求。
Description
技术领域
本发明涉及产生图像数据流和根据图像数据流重建图像。更具体地，本发明涉及借助于参考图像对当前图像进行编码，以及对已编码的当前图像进行解码。
背景技术
本领域中已知的编码技术利用包括在先前已编码的参考图像中的信息。这可以通过以下方式来实现的：针对当前图像的每一源宏块在参考图像中搜索最佳匹配参考宏块，从而使参考宏块和源宏块之间的残差最小化。然后，借助于残差和运动矢量来对源宏块进行编码，所述运动矢量指示源宏块与最佳匹配参考宏块之间的空间关系。搜索最佳匹配参考宏块的过程也称作运动估计。
由于最佳匹配参考宏块可能位于参考图像中的任何地方，因此找到最佳匹配参考宏块是一项计算量大的工作。
减少计算工作量(computational effort)的方式是分级(hierarchical)运动估计。
分级运动估计基于以下思想：
在第一步骤中，通过像素合并或二次采样(subsample)来按比例缩减(downscale)源图像和参考图像。
在下一步骤中，针对按比例缩减的图像执行完(full)全运动估计。由于按比例缩减的图像仅包括少许宏块，因此，不用很大计算量就可以计算出按比例缩减的源图像的每一源块与按比例缩减的参考图像的所有参考宏块的匹配，以及确定这些匹配中的最佳匹配和相应的初步运动矢量。
使用按比例缩减的源图像的所有源块的初步运动矢量来预测全分辨率(full resolution)图像中的运动矢量。然后，仅在借助于初步运动矢量而确定的小搜索区域中，搜索全分辨率参考图像的最佳匹配参考宏块。因此，可以显著地减少计算全分辨率图像的运动矢量的计算工作量。
通过根据空间上或时间上相邻的宏块的运动矢量来确定若干初步运动矢量，进一步改进该方法。
可以重复该方法。即，可以将按比例缩减的图像进一步按比例缩减，可以借助于在所述进一步按比例缩减的图像中的完全搜索来确定第一级初步运动矢量，在按比例缩减的图像中搜索第二级初步运动矢量可以限于：对借助于第一级初步运动矢量而确定的范围进行搜索。然后，使用第二级初步运动矢量来预测全分辨率图像中的运动矢量。
尽管速度快，然而分级运动估计需要大的带宽。如果承载参考图像的基础存储介质具有宏块对齐的存储结构(macro block alignedstorage organization)，则带宽必须更大。
宏块对齐的存储结构的优点是：可以直接从而快速地存取规则位置(regular position)处的参考宏块。这伴随的缺点是：不可直接存取规则位置以外其他位置处的宏块。重建非规则定位的宏块需要：获取与该非规则定位的宏块有交集的四个规则定位宏块，以及根据这些规则定位的宏块的部分合成该非规则定位的宏块。
因此，期望提出一种快速并需要较小带宽的图像流产生方法。
发明内容
因此，本发明提出了一种产生图像数据流的方法和设备，所述方法包括权利要求1的特征，所述设备包括权利要求7的特征。本发明还提出了一种根据图像数据流重建当前图像的方法和设备，所述重建方法包括权利要求9的特征，所述重建设备包括权利要求10的特征。本发明还提出了一种包括权利要求8的特征的图像数据流，以及根据权利要求11的存储器介质，所述存储器介质承载所述提出的图像数据流。
产生图像数据流的方法包括步骤：(a)将参考图像中的搜索区域分派给当前图像的源宏块；(b)在搜索区域中确定最佳匹配和相应的残差；以及(c)将已确定的残差编码进数据流。该方法的另一特征涉及以下事实：在步骤(b)和(c)中的至少一个步骤中的宏块处理顺序依赖于参考图像中所述搜索区域的位置。
最佳匹配确定中处理顺序的变型允许在连续分派给两个不同源宏块的搜索区域中执行最佳匹配搜索，从而仅需要将分派给两个搜索宏块的搜索区域加载一次。
编码期间的处理顺序的变型使得解码器可以仅获取一次参考宏块的相交部分，而无需重新排序。因此，编码的顺序使得可以更高效地确定最佳匹配和/或降低了编码器侧的处理要求。
在实施例中，该方法还包括步骤：通过对参考图像进行下采样(down-sample)或通过合并参考图像的像素来产生的低分辨率图像；其中步骤(a)包括：借助于对所述的分辨率图像中的源宏块进行初步匹配来确定初步运动矢量，以及借助于初步运动矢量来确定搜索区域。
这是搜索区域确定的高效方式。
在另一实施例中，步骤(b)中的处理顺序依赖于搜索区域的交集。
在又一实施例中，将参考图像分割成第一片段和至少第二片段，其中，在处理包括在所述至少第二片段中的、具有搜索区域和/或最佳匹配的源宏块之前，在步骤(b)和/或(c)中处理包括在所述第一片段中的、具有搜索区域和/或最佳匹配的源宏块。
在又一实施例中，第一源宏块的搜索区域与第二源宏块的搜索区域具有最大交集，如果第三源宏块的搜索区域包括在所述最大交集内，则在确定第一源宏块的最佳匹配与确定第二源宏块的最佳匹配之间，确定所述第三源宏块的最佳匹配。
对彼此相交的搜索区域的后续处理避免将获取交集获取两次，从而加速了处理。
在又一实施例中，参考图像存储在逐宏块可存取的存储设备中，重建任意搜索区域需要从存储设备中获取宏块组，重建第四源宏块的搜索区域所需的第一宏块组与重建第五源宏块的搜索区域所需的第二宏块组共同具有最大数目的宏块，如果根据所述共有宏块可重建第六源宏块的最佳匹配，则在确定第四源宏块的最佳匹配与确定第五源宏块的最佳匹配之间，确定所述第六源宏块的最佳匹配。
在另一实施例中，第七源宏块的最佳匹配与第八源宏块的最佳匹配具有最大交集，如果第九源宏块的最佳匹配包括在所述最大交集中，则在对第七源宏块的残差进行编码与对第八源宏块的残差进行编码之间，对所述第九源宏块的残差进行编码。
在又一实施例中，参考图像存储在逐宏块可存取的存储设备中，重建任意宏块需要从存储设备获取由四个宏块组成的另外组，重建第十源宏块的最佳匹配所需的第一另外组与重建第十一源宏块的最佳匹配所需的第二另外组共同具有最多的宏块，如果根据所述共有宏块可重建第十二源宏块的最佳匹配，则在对第十源宏块的残差进行编码与对第十一源宏块的残差进行编码之间，对所述第十二源宏块的残差进行编码。
在又一实施例中，将源宏块的位置信息和/或最佳匹配的位置信息与残差一起编码。
附图说明
在附图中示出了本发明的示例性实施例，并且在以下描述中更详细地解释了本发明的示例性实施例。
在附图中：
图1示出了按比例缩减的图像的示例性金字塔；
图2示例性示出了相对于从具有宏块对齐的存储结构的存储器中可直接获取的参考宏块的、所选参考宏块的位置；
图3示例性示出了源宏块组和一些参考宏块，以及示例性的单个预测尝试命令(predictor try command)列表；
图4示例性示出了源宏块组和一些参考宏块，以及另一示例性的预测尝试命令列表组；
图5示例性示出了交叠片段的构思；以及
图6示出了记录预测尝试命令的示例性实施例的流程图。
具体实施方式
首先将借助于图1对分级运动估计进行解释。
在第一步骤中，如图1示例性所示构造按比例缩减的源图像和参考图像的金字塔。例如，应用缩放因子(scaling factor)2，并产生从全分辨率等级0至最低分辨率等级n的图像等级金字塔。在示出的示例中，等级0具有720×576像素的分辨率，n等于4：
等级LvL0(全分辨率)：720×576像素
等级LvL1：360×288像素
等级LvL2：180×144像素
等级LvL3：90×72像素
等级LvL4：45×36像素
在下一步骤中，针对源金字塔的最高等级LvL4执行运动估计。由于该等级LvL4仅包括少许宏块，因此，不用很大计算量就可以计算出每一源块与所有参考块的匹配，以及确定这些匹配中的最佳匹配和相应的运动矢量。即，作为搜索区域，使用参考金字塔的整个最高等级。
从最高等级n得到的运动矢量用于预测等级n-1的运动矢量。然后，搜索等级n-1的运动矢量限于：对来自最高等级n的运动矢量所指示的位置周围的区域进行搜索。还可能的是，当预测等级n-1的运动矢量时，进一步考虑来自空间上相邻的宏块的最高等级运动矢量。此外或可选地，可以考虑针对前一(immediately preceding)图像的宏块而确定的运动矢量。在根据最高等级和/或先前图像而预测的运动矢量中，选择具有最低失真的一个运动矢量。或者，形成包括由运动矢量预测所指示的一些或所有位置在内的更大搜索区域。
重复该方法若干次，直到达到全分辨率等级LvL0(全分辨率)为止。
如果使用多于一个运动矢量预测，则针对每一等级内的每一源宏块至少需要两个处理步骤，以便找到最佳匹配运动矢量：
在第一步骤中，计算预测尝试命令组，每一预测尝试命令与一个运动矢量预测相对应。当执行预测尝试命令时，仅针对参考图像的一个搜索宏块来计算源宏块的失真函数，其中，所述搜索宏块是通过相应的运动矢量预测来确定的。然后，执行该预测尝试命令组，确定产生最小失真的最佳匹配运动矢量预测。
在第二步骤中，围绕最佳匹配运动矢量预测，计算全搜索命令组，每一全搜索命令与围绕最佳匹配运动矢量预测的小搜索区域内的一个搜索宏块位置相对应。
然后，执行该全搜索命令组，确定针对当前等级产生最小失真的最佳匹配运动矢量。
对于存储有参考金字塔的参考存储器，该算法需要巨大带宽。假设对于等级0的每一个源宏块(原始分辨率)需要8个预测尝试命令的平均值。对于25Hz帧频的1920×1080像素的HD格式，这会对于参考数据的加载导致1980×1080×8×25Byte＝428MByte/s的最小带宽。应当注意的是，这是一种理想的情况，在该理想情况下，可以精确地存取参考搜索宏块，而与其在参考图像中的位置和在存储器中的位置无关。为参考数据给出宏块对齐的存储结构，获取任意定位的参考宏块将导致更大的所需带宽。宏块对齐的存储结构意味着允许快速存取整个对齐的参考宏块(即，采用递增地址的、突发的(a burst of)连续存储器存取)，然而很难存取非对齐的参考搜索宏块，该非对齐的参考搜索宏块位于图像中任意位置并且不适合宏块对齐的结构。
针对参考数据假设这种宏块对齐的结构，图2示出：为了获取所选的宏块SRM，很可能必须从存储器加载4个邻近(neighboured)且对齐的参考宏块ARM1、ARM2、ARM3、ARM4，以便构造非对齐的参考搜索宏块SRM。这导致对于单个参考帧需要1.7GBytes/s的峰存储器带宽。如果搜索中将包括若干参考帧，则带宽要求相应地增长。这意味着，即，对于3个参考帧，仅执行分级运动估计的预测尝试命令组就需要5.1GBytes/s。
利用外部存储器实现这样的带宽很困难。因此，利用提供所需带宽的大的单片存储器(on-chip memory)来构造分级运动估计器。然而，由于必须存储完整的参考帧，这些单片存储器的管芯(die)尺寸很大。
在现有技术中，按照预测尝试命令所属的源宏块的顺序来执行预测尝试命令。即，首先计算源宏块SMB#0的所有预测尝试PTC()，然后，计算源宏块SMB#1的所有预测尝试PTC()，等等。这是在图3中描述的。
本发明提出了根据预测尝试命令所指向的参考搜索宏块对预测尝试命令序列进行重新排序。
为此，将参考画面划分成k个片段，如图4示例性所示，k＝4。然后，将预测尝试命令PTC()重新排序成k个列表L1、L2、L3、L4，从而将指向位于特定片段SEG1、SEG2、SEG3、SEG4中的参考搜索宏块SRM的预测尝试命令PTC()归类成一个列表。为了避免预测尝试PTC(SMB#m，SRM#l)指向位于片段SEG1、SEG2、SEG3、SEG4中的两个片段的参考搜索宏块SRM，如图5示例性所示需要片段的交叠。在没有垂直交叠片段的情况下，位于片段SEG1的边界处的参考搜索宏块也可以部分地位于垂直相邻的片段SEG2中。借助于参考搜索宏块垂直尺寸的示例性垂直片段交叠，每一参考搜索宏块完全位于至少一个片段SEG1’、SEG2’中。
图6示例性地示出了预测尝试命令的分类算法的示例性实施例的流程图。图中示出了，命令的分类是非常简单且快速的过程。
在步骤START中，对由k个列表L1、L2、L3、L4构成的组进行初始化，其中，k是图像被划分成的交叠片段SEG1’、SEG2’的数目。在下一步骤LG中，产生用于将第m个源宏块SMB#m与第l个所选参考宏块SRM#l相比较的预测尝试命令PTC(SMB#m，SRM#l)，或者加载已产生的预测尝试命令PTC(SMB#m，SRM#l)。然后，在步骤INIT中，将计数器变量N设置为零，将位置变量P初始化为所选参考宏块SRM#l的位置。随后，在循环中P减小(diminish)宽度S，其中，如果由于减小使P下降到零以下，则退出循环。否则，N增加1，P再次减小S。在退出循环之后，将预测尝试命令PTC(SMB#m，SRM#l)添加至列表N。然后，在步骤LAST中，检查是否存在可以对其载入或产生预测尝试命令PTC(SMB#m，SRM#l)的其他比较。如果存在，则方法返回步骤LG。如果不存在，则分类结束。
在分类过程的末尾，产生了k个预测尝试命令PTC(SMB#m，SRM#l)列表。对于每一列表的处理，仅需将参考帧的一个片段SEG1’、SEG2’存储到本地存储器中，这是因为：先前分类步骤确保了该列表内的所有预测尝试PTC()需要要处理相同的参考图像片段SEG1’、SEG2’。这使单片存储器要求降低了因子k。
应当注意的是，可以在处理参考数据片段k期间将参考数据片段k+1加载到本地存储器。因此，在已完成列表k的计算之后，可以立即开始列表k+1的计算。这需要使单片存储器尺寸加倍，而这是可以通过增加片段的数目来很好地补偿的。
使加载参考数据所需的存储器带宽减小的思想恰好可以用于分级运动估计的第二步骤，其是围绕最佳匹配预测尝试的小的全搜索。相对于全搜索命令所指向的参考图像片段对这些全搜索命令的序列进行分类，使得单片存储器降低的量类似于分类预测尝试命令。对于该方法，必须将全搜索命令的序列分类成k个命令列表，其中，每一列表包含指向相同参考数据片段SEG1、SEG2、SEG3、SEG4的全搜索命令。然后，可以以因子k的级别(in the order of factor k)降低单片存储器要求。此外，如果将片段大小选择为与对于预测尝试命令的片段大小相同，则可以使用相同的本地存储器。
最后，应当注意的是，上述方法使能分级运动估计的高效并行处理。可以将预测尝试PTC(SMB#m，SRM#l)或全搜索命令的若干列表L1、L2、L3、L4与相应的参考数据片段SEG1、SEG2、SEG3、SEG4一起分发给若干处理元件，如，Cell BE多处理器(multiprocessor)的协同(synergistic)处理元件。然后，可以进行分级运动估计算法的独立并行处理，其中最大限度利用处理元件。
通常，将源宏块的残差与已确定的运动矢量一起，根据它们在源图像中的位置编码进图像数据流。如已知的，在图像数据流中相邻的两个残差是指当前图像中的两个相邻源宏块。由于运动矢量可以以不可预测的方式指向参考图像中的任何位置，存储器存取参考宏块以运动补偿导致与上述运动估计相同的带宽问题。
因此，解码器可以首先接收与当前图像相关所有残差和运动矢量，并且将残差和运动矢量分类成列表，使得每一列表中的残差和运动矢量全部与参考图像的相同片段SEG1、SEG2、SEG3、SEG4相关。那么在重建与列表之一中的残差和运动矢量相关的宏块期间，仅参考图像的片段SEG1、SEG2、SEG3、SEG4(而非全部参考图像)必须存在于从而可以更小的本地存储器或高速缓存中。
由于解码器中的重新排序等同于编码器中的重新排序，所以通过传输重新排序后的残差和运动矢量，可以使解码器中的重新排序变得多余。即，即使没有在编码器侧应用针对运动估计的重新排序，然而编码器的、针对传输的重新排序是有益的，其可以在解码器侧进行重新排序。
因此，本发明提出将与相同的片段SEG1、SEG2、SEG3、SEG4相关的残差和相应运动矢量编码进图像数据流的单独连续部分(separated contiguous section)中。然后，在对每一子部分的解码期间，仅参考图像的片段SEG1、SEG2、SEG3、SEG4(而非全部参考图像)存在于从而可以更小的本地存储器或高速缓存中。对于编码器也是如此，通过对处理顺序进行重新排序，显著地降低了单片存储器要求和外部存储器的带宽要求。
由于不再从图像数据流中残差的位置除去该残差所属的源宏块的位置，所以与源图像中源宏块的位置相关的信息包括在图像数据流中。利用当前涉及的参考宏块相对于先前涉及的参考宏块的相对位置，来形成该信息。然后，借助于运动矢量，可以去除当前源宏块的位置。这使传输位置信息所需的附加带宽最小化。
然后，主要地，编码器必须以所提出的方式对用于运动估计的宏块处理重新排序。这确保了后续处理的宏块的运动矢量指向相同的参考区域。如果现在精确地以所述顺序来传输残差，则在解码器处不需要重新排序步骤。该题案将编码器和解码器处的低单片存储器要求和低带宽要求的优点与解码器处针对运动补偿的快速处理时间相结合。
Claims (11)
1、一种产生图像数据流的方法，所述方法包括：
a)将参考图像中的搜索区域(SRM#0、SRM#1、...、SRM#8)分派给当前图像的源宏块(SMB#0、SMB#1、...、SMB#n)；
b)在搜索区域(SRM#0、SRM#1、...、SRM#8)中确定最佳匹配和相应的残差，以及
c)将已确定的残差编码进数据流，其中
在步骤b)和c)中的至少一个步骤中，宏块的处理顺序依赖于所述搜索区域在所述参考图像中的位置。
2、根据权利要求1所述的方法，还包括步骤：
通过对参考图像进行下采样或通过合并参考图像的像素来产生低分辨率图像；其中
步骤a)包括：借助于对所述低分辨率图像中的源宏块进行初步匹配，确定初步运动矢量，以及
借助于初步运动矢量来确定搜索区域(SRM#0、SRM#1、...、SRM#8)。
3、根据权利要求1或2所述的方法，其中，步骤b)中的处理顺序依赖于搜索区域(SRM#0、SRM#1、...、SRM#8)的交集。
4、根据权利要求1或2所述的方法，还包括：
将参考图像分割成第一片段(SEG1、SEG2、SEG3、SEG4)和至少第二片段(SEG1、SEG2、SEG3、SEG4)，其中
在处理包括在至少第二片段中的、具有搜索区域和/或最佳匹配的源宏块之前，在步骤(b)和/或(c)中处理包括在第一片段中的、具有搜索区域和/或最佳匹配的源宏块。
5、根据权利要求3或4所述的方法，其中，
将参考图像存储在逐宏块可存取的存储设备中，获取任意最佳匹配需要从存储设备中获取宏块组(ARM1、ARM2、ARM3、ARM4)，
获取第一源宏块的最佳匹配所需的第一宏块组与获取第二源宏块的最佳匹配所需的第二宏块组共同具有最大数目的宏块，以及
如果从所述共有宏块可获取第三源宏块的最佳匹配，则在第一源宏块的最佳匹配的残差与第二源宏块的残差之间，将所述第三源宏块的残差编码进图像数据流中。
6、根据前述权利要求中任一项所述的方法，其中，源宏块的位置的信息和/或最佳匹配的位置的信息包括在图像数据流中。
7、一种用于产生图像数据流的设备，所述设备包括：
用于将参考图像的搜索区域分派给当前图像的源宏块的装置；
用于在搜索区域中确定最佳匹配和相应的残差的装置；以及
用于将已确定的残差编码进数据流的装置；其中
所述设备包括用于控制确定装置和/或编码装置的装置，使得在确定最佳匹配期间和/或编码残差期间的处理顺序不同于分派搜索区域期间的处理顺序。
8、一种图像数据流，包括与当前图像的源宏块相关的数据，所述源宏块是借助于参考图像被编码的，所述与源宏块相关的数据包括对当前图像中源宏块的位置的参考。
9、一种根据图像数据流重建当前图像的方法，所述方法包括：
a)对来自图像数据流的位置信息和残差进行解码，所述位置信息和所述残差与源宏块相关；
b)借助于位置信息来获取参考图像的参考宏块；以及
c)借助于残差和参考宏块来重建源宏块；其中
在步骤b)和c)中的至少一个步骤中的处理顺序不同于步骤a)中的处理顺序，或者
所述位置信息还指示用于显示源宏块的显示位置。
10、一种用于根据图像数据流重建当前图像的设备，所述设备包括：
用于对来自图像数据流的位置信息和残差进行解码的装置，所述位置信息和所述残差与源宏块相关；
用于借助于位置信息来获取参考图像的参考宏块的装置；
用于借助于残差和参考宏块来重建源宏块的装置；以及
用于控制获取装置和/或重建装置的装置，从而在获取期间和/或重建期间的处理顺序不同于解码期间的处理顺序；或者
用于借助于包括在位置信息中的显示位置信息来对源宏块的重建加以控制的装置。
11、一种承载根据权利要求8所述的图像数据流的存储器介质。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP08102732.8 | 2008-03-18 | ||
| EP08102732A EP2104356A1 (en) | 2008-03-18 | 2008-03-18 | Method and device for generating an image data stream, method and device for reconstructing a current image from an image data stream, image data stream and storage medium carrying an image data stream |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101540911A true CN101540911A (zh) | 2009-09-23 |
| CN101540911B CN101540911B (zh) | 2014-09-17 |
Family
ID=39934653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910126936.8A Expired - Fee Related CN101540911B (zh) | 2008-03-18 | 2009-03-05 | 产生图像数据流的方法和设备及重建图像的方法和设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8619862B2 (zh) |
| EP (2) | EP2104356A1 (zh) |
| JP (1) | JP5266096B2 (zh) |
| KR (1) | KR101579472B1 (zh) |
| CN (1) | CN101540911B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106331725A (zh) * | 2011-01-21 | 2017-01-11 | Sk电信有限公司 | 运动信息重构设备和运动信息产生设备 |
| CN106650778A (zh) * | 2016-10-14 | 2017-05-10 | 北京邮电大学 | 一种词袋模型优化和图像识别的方法及装置 |
| CN108271030A (zh) * | 2011-06-28 | 2018-07-10 | Lg电子株式会社 | 设置运动矢量列表的方法及使用其的装置 |
| WO2022110131A1 (zh) * | 2020-11-30 | 2022-06-02 | 深圳市大疆创新科技有限公司 | 帧间预测方法、装置、编码器、解码器和存储介质 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120014451A1 (en) * | 2009-01-15 | 2012-01-19 | Wei Siong Lee | Image Encoding Methods, Image Decoding Methods, Image Encoding Apparatuses, and Image Decoding Apparatuses |
| US9877033B2 (en) * | 2009-12-21 | 2018-01-23 | Qualcomm Incorporated | Temporal and spatial video block reordering in a decoder to improve cache hits |
| CN102223543B (zh) * | 2011-06-13 | 2013-09-04 | 四川虹微技术有限公司 | 参考像素读取存储系统 |
| US8897355B2 (en) * | 2011-11-30 | 2014-11-25 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Cache prefetch during motion estimation |
| CN104142939B (zh) * | 2013-05-07 | 2019-07-02 | 杭州智棱科技有限公司 | 一种基于运动特征信息匹配特征码的方法与设备 |
| CN104144520A (zh) | 2013-05-07 | 2014-11-12 | 李东舸 | 一种设备间建立连接的方法、装置与系统 |
| GB2539241B (en) * | 2015-06-11 | 2019-10-23 | Advanced Risc Mach Ltd | Video processing system |
| DE102021101749A1 (de) | 2021-01-27 | 2022-07-28 | Carl Zeiss Industrielle Messtechnik Gmbh | Schnittstellenanordnung zur kopplung von systemkomponenten einer messvorrichtung |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999016252A1 (en) * | 1997-09-19 | 1999-04-01 | Sony Electronics Inc. | Motion compensated digital video decoding with buffered picture storage memory map |
| AU9482698A (en) | 1997-09-29 | 1999-04-23 | Medsim Advanced Radiology Medical Simulation Ltd. | Interventional radiology guidance system |
| US6163576A (en) * | 1998-04-13 | 2000-12-19 | Lsi Logic Corporation | Video encoder having reduced memory bandwidth requirements |
| US6195389B1 (en) * | 1998-04-16 | 2001-02-27 | Scientific-Atlanta, Inc. | Motion estimation system and methods |
| EP1061747A1 (en) * | 1999-05-25 | 2000-12-20 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for block motion estimation |
| EP1056293A1 (en) * | 1999-05-25 | 2000-11-29 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for block motion estimation |
| EP1152621A1 (en) * | 2000-05-05 | 2001-11-07 | STMicroelectronics S.r.l. | Motion estimation process and system. |
| EP1378124B1 (en) * | 2001-02-13 | 2005-06-01 | Koninklijke Philips Electronics N.V. | Motion information coding and decoding method |
| US6687301B2 (en) * | 2001-03-19 | 2004-02-03 | Fulvio Moschetti | Method for block matching motion estimation in digital video sequences |
| US7242717B2 (en) * | 2001-06-08 | 2007-07-10 | Sharp Laboratories Of America, Inc. | Wavelet domain motion compensation system |
| US20050207663A1 (en) * | 2001-07-31 | 2005-09-22 | Weimin Zeng | Searching method and system for best matching motion vector |
| JP2004165803A (ja) * | 2002-11-11 | 2004-06-10 | Matsushita Electric Ind Co Ltd | 動き検出方法、装置、プログラムおよび記録媒体 |
| US7453940B2 (en) * | 2003-07-15 | 2008-11-18 | Lsi Corporation | High quality, low memory bandwidth motion estimation processor |
| DE102004017145B4 (de) * | 2004-04-07 | 2006-02-16 | Micronas Gmbh | Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind |
| TWI243600B (en) * | 2004-09-17 | 2005-11-11 | Primax Electronics Ltd | Selected area comparison method with high-operational efficient |
| KR100694058B1 (ko) * | 2004-09-30 | 2007-03-12 | 삼성전자주식회사 | 멀티 타임 스캔 방식에 기초한 인트라 모드 인코딩 및디코딩 방법 및 장치 |
| US8009174B2 (en) * | 2005-03-21 | 2011-08-30 | Koninklijke Philips Electronics N.V. | Processing a data array with a meandering scanning order using a circular buffer memory |
| KR100763182B1 (ko) * | 2005-05-02 | 2007-10-05 | 삼성전자주식회사 | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 |
| US8009923B2 (en) * | 2006-03-14 | 2011-08-30 | Celestial Semiconductor, Inc. | Method and system for motion estimation with multiple vector candidates |
| KR100786426B1 (ko) * | 2006-03-17 | 2007-12-17 | 주식회사 팬택앤큐리텔 | 다 해상도 탐색 방법을 이용한 움직임 벡터 추출 방법 및장치 |
| JP2008053875A (ja) * | 2006-08-23 | 2008-03-06 | Sony Corp | 画像処理装置および方法、プログラム、並びにプログラム格納媒体 |
| US9307122B2 (en) * | 2006-09-27 | 2016-04-05 | Core Wireless Licensing S.A.R.L. | Method, apparatus, and computer program product for providing motion estimation for video encoding |
| US20080137741A1 (en) * | 2006-12-05 | 2008-06-12 | Hari Kalva | Video transcoding |
| JP5082548B2 (ja) * | 2007-03-30 | 2012-11-28 | 富士通株式会社 | 画像処理方法、符号化器および復号化器 |
-
2008
- 2008-03-18 EP EP08102732A patent/EP2104356A1/en not_active Withdrawn
-
2009
- 2009-02-27 JP JP2009046583A patent/JP5266096B2/ja not_active Expired - Fee Related
- 2009-03-03 US US12/380,699 patent/US8619862B2/en not_active Expired - Fee Related
- 2009-03-04 EP EP09154337A patent/EP2104357A3/en not_active Withdrawn
- 2009-03-05 CN CN200910126936.8A patent/CN101540911B/zh not_active Expired - Fee Related
- 2009-03-17 KR KR1020090022650A patent/KR101579472B1/ko active IP Right Grant
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106331725A (zh) * | 2011-01-21 | 2017-01-11 | Sk电信有限公司 | 运动信息重构设备和运动信息产生设备 |
| CN106331725B (zh) * | 2011-01-21 | 2019-05-03 | Sk电信有限公司 | 运动信息重构设备和运动信息产生设备 |
| CN108271030A (zh) * | 2011-06-28 | 2018-07-10 | Lg电子株式会社 | 设置运动矢量列表的方法及使用其的装置 |
| US11128886B2 (en) | 2011-06-28 | 2021-09-21 | Lg Electronics Inc. | Method for setting motion vector list and apparatus using same |
| CN108271030B (zh) * | 2011-06-28 | 2022-02-08 | Lg电子株式会社 | 设置运动矢量列表的方法及使用其的装置 |
| US11743488B2 (en) | 2011-06-28 | 2023-08-29 | Lg Electronics Inc. | Method for setting motion vector list and apparatus using same |
| CN106650778A (zh) * | 2016-10-14 | 2017-05-10 | 北京邮电大学 | 一种词袋模型优化和图像识别的方法及装置 |
| CN106650778B (zh) * | 2016-10-14 | 2019-08-06 | 北京邮电大学 | 一种词袋模型优化和图像识别的方法及装置 |
| WO2022110131A1 (zh) * | 2020-11-30 | 2022-06-02 | 深圳市大疆创新科技有限公司 | 帧间预测方法、装置、编码器、解码器和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101579472B1 (ko) | 2015-12-23 |
| EP2104357A2 (en) | 2009-09-23 |
| EP2104356A1 (en) | 2009-09-23 |
| US20090238282A1 (en) | 2009-09-24 |
| KR20090100279A (ko) | 2009-09-23 |
| CN101540911B (zh) | 2014-09-17 |
| US8619862B2 (en) | 2013-12-31 |
| JP2009225442A (ja) | 2009-10-01 |
| EP2104357A3 (en) | 2009-11-11 |
| JP5266096B2 (ja) | 2013-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101540911B (zh) | 产生图像数据流的方法和设备及重建图像的方法和设备 | |
| CN101389025B (zh) | 用于根据多个子像素分辨率进行视频编码的运动细化引擎及其使用方法 | |
| CN102497558B (zh) | 编码和解码图像 | |
| KR101684209B1 (ko) | 동화상 복호 장치, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 부호화 방법 | |
| US20070076795A1 (en) | Method and apparatus for determining inter-mode in video encoding | |
| CN105282558A (zh) | 帧内像素预测方法、编码方法、解码方法及其装置 | |
| CN102970543A (zh) | 解码端运动向量导出方法 | |
| CN102217314A (zh) | 用于视频图像删减的方法和装置 | |
| CN102547296A (zh) | 移动估计加速电路、移动估计方法及环路滤波加速电路 | |
| CN102036067A (zh) | 运动图像编码设备及其控制方法 | |
| CN101325710A (zh) | 视频编码中具有多种成本计算方法的运动细化引擎及方法 | |
| JP2008061156A (ja) | 動画像処理装置 | |
| US20120155540A1 (en) | Pixel retrieval for frame reconstruction | |
| JP7431752B2 (ja) | ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラム | |
| CN101291436A (zh) | 视频编/解码方法和视频编/解码装置 | |
| CN101325709A (zh) | 用于视频编码的具有可选择分割的运动细化引擎及其方法 | |
| CN101822058A (zh) | 使用像素抽取的视频编码 | |
| US20210235107A1 (en) | Efficient video motion estimation by reusing a reference search region | |
| TWI814540B (zh) | 視訊編解碼方法及裝置 | |
| EP3742734A1 (en) | Method and device for selecting prediction direction in image encoding, and storage medium | |
| CN103780914A (zh) | 环路滤波加速电路及环路滤波方法 | |
| CN110662074B (zh) | 一种运动矢量确定方法和设备 | |
| US20180109791A1 (en) | A method and a module for self-adaptive motion estimation | |
| CN101299816A (zh) | 一种处理视频图像中多个宏块单元的方法及装置 | |
| US10743009B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: I Si Eli Murli Nor, France Patentee after: THOMSON LICENSING Address before: French Boulogne - Bilang Kurt Patentee before: THOMSON LICENSING |
|
| CP02 | Change in the address of a patent holder | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190131 Address after: Paris France Patentee after: International Digital Madison Patent Holding Co. Address before: I Si Eli Murli Nor, France Patentee before: THOMSON LICENSING Effective date of registration: 20190131 Address after: I Si Eli Murli Nor, France Patentee after: THOMSON LICENSING Address before: I Si Eli Murli Nor, France Patentee before: THOMSON LICENSING |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140917 Termination date: 20200305 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |