CN100450182C - 提供基于块的运动补偿的装置及其方法 - Google Patents
提供基于块的运动补偿的装置及其方法 Download PDFInfo
- Publication number
- CN100450182C CN100450182C CNB200410044769XA CN200410044769A CN100450182C CN 100450182 C CN100450182 C CN 100450182C CN B200410044769X A CNB200410044769X A CN B200410044769XA CN 200410044769 A CN200410044769 A CN 200410044769A CN 100450182 C CN100450182 C CN 100450182C
- Authority
- CN
- China
- Prior art keywords
- pixel
- interpolation
- interpolating
- motion
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D23/00—General constructional features
- F25D23/10—Arrangements for mounting in particular locations, e.g. for built-in type, for corner type
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D23/00—General constructional features
- F25D23/02—Doors; Covers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/583—Motion compensation with overlapping blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
一种提供基于块的运动补偿的运动补偿装置及其方法。第一运动补偿插值器通过分别从当前和前一帧或场读取与被估计当前块的运动向量相对应的第一和第二像素,而计算第一插值像素。第二运动补偿插值器通过分别从所输入的当前和前一帧或场读取与相邻于当前块的周边块的运动向量相对应的第三和第四像素,而计算第二插值像素。候选插值像素计算器通过在当前块中向第一和第二插值像素分配预定权重,而计算候选插值像素。运动分析器分析当前块和周边块的运动向量,并且判定块间的不连续。最终插值像素选择器根据在运动分析器判定的不连续,而选择第一插值像素和候选插值像素中的任一个作为最终插值像素。因此,通过根据当前和周边块之间的不连续来施加重叠块运动补偿,可以提供其中消除或减少了块伪像的图像。
Description
技术领域
本发明涉及一种运动补偿装置及其方法,特别涉及一种能够通过区别性地仅对具有块伪像(block artifact)的块施加重叠块运动补偿(OBMC)技术来输出没有伪像的图像信号的基于块的运动补偿装置及其方法。
背景技术
压缩技术允许减小数据的大小,同时保持数据的内容。提供运动图像压缩的典型方法之一是运动图像专家组(MPEG)方法。
MPEG被提出用来通过消除每帧或场之间的时间和空间冗余性来提高数据压缩率。时间冗余性通过查找前一帧或场与当前帧或场之间的最类似块的运动估计来消除。空间冗余性通过离散余弦变换(DCT)来消除。
运动估计一般通过块匹配算法(BMA)来执行。BMA基于被比较块中的像素以平移(translation)的方式移动这一假设通过比较两个连续帧,即前一帧或场与当前帧或场来为每块估计一个运动向量。
在发送器估计的运动向量与在当前帧或场与前一帧或场之间出现的运动预测误差如绝对差之和(SAD)一起发送到接收器。然后,通过所接收的运动向量,使用当前和/或前一帧或场在接收器中执行运动补偿,并且根据所接收的运动预测误差来适应性地恢复帧或场。
然而,当通过传统运动补偿方法来恢复压缩数据时,在恢复图像中可能出现块伪像。块伪像的出现是这样一种现象,即在恢复帧或场中相邻块之间的边界看上去不连续,从而导致视觉上较劣的图像和图像质量的恶化。块伪像通常发生于基于块的运动估计和运动补偿的过程中。
同时,传统运动补偿方法基于全部块使用重叠块运动补偿(OBMC)来防止块伪像。然而,OBMC具有另一个问题是导致整个图像的模糊。
发明内容
因此,为了克服上述和/或其他问题,本发明的一个方面是提供一种能够通过区别性地仅对具有块伪像的块施加OBMC技术来执行准确运动补偿的基于块的运动补偿装置及其方法。
本发明的其他方面和优点将在下文中部分得到描述,部分根据该描述而更清楚,或者可以通过本发明的实施而得知。
本发明的前述和/或其他方面通过提供一种基于块的运动补偿装置来实现,其中该运动补偿装置包括:第一运动补偿插值器,通过分别从所输入的当前和前一帧或场读取与被估计当前块的运动向量相对应的第一和第二像素,而计算第一插值像素;至少一个第二运动补偿插值器,通过分别从所输入的当前和前一帧或场读取与关于相邻于所要插值的当前块的至少一个周边块所估计的运动向量相对应的第三和第四像素,而计算第二插值像素;候选插值像素计算器,通过根据所要插值的当前块中第一和第二插值像素被插值的相对位置向第一和第二插值像素分配预定权重,而计算候选插值像素;运动分析器,分析当前块和周边块的估计运动向量,并且判定当前块与周边块之间的不连续;以及最终插值像素选择器,根据在运动分析器判定的不连续,从第一插值像素和候选插值像素中选择一个作为最终插值像素,并且输出所选最终插值像素。
更具体地说,该运动分析器将当前和周边运动向量的偏差与预设阈值进行比较,然后,当该偏差大于预设阈值时,将表示选择从候选插值像素计算器算出的候选插值像素作为最终插值像素的信号输出到最终插值像素选择器,并且当该偏差小于预设阈值时,输出表示选择从第一运动补偿插值器算出的第一插值像素作为最终插值像素的信号。
第一和第二运动补偿插值器各自包括:第一像素读取器,从所输入的当前帧或场读取与当前块的运动向量相对应的第一像素;第二像素读取器,从所输入的前一帧或场读取与当前块的运动向量相对应的第二像素;第一和第二乘法器,用于将当前和前一帧或场之间的相对位置相关系数乘以所读取的第一和第二像素,并且输出结果作为第一和第二相乘数据;以及第一加法器,用于通过相加从第一和第二乘法器输出的第一和第二相乘数据来计算第一插值像素。分别提供给第一和第二像素的相对位置相关系数之和为1。
相对位置相关系数通过下面方程来计算:
其中,r是与第二像素相乘的相对位置相关系数,a是所要插值的帧或场与前一帧或场之间的最小距离,而b是所要插值的帧或场与当前帧或场之间的最小距离。
在本实施例的一个方面,该候选插值像素计算器包括:权重存储部件,向其分配了关于当前块中用于插值的像素的相对位置的权重,权重存储部件从所分配的权重中读取和提供与算出的第一和第二插值像素被插值的位置相对应的权重;第三和第四乘法器,从权重存储部件向其提供与第一和第二插值像素的插值位置相对应的权重,以将这些权重乘以第一和第二插值像素,并且输出结果作为第三和第四相乘数据;以及第二加法器,用于通过相加从第三和第四乘法器输出的第三和第四相乘数据来计算候选插值像素。在第一和第二插值像素被插值的位置上分配给第一和第二插值像素的权重之和为1。
从中央位置到边界位置,对于第一和第二插值像素的插值,分配给第一插值像素的权重减小,并且分配给第二插值像素的权重增大。
该运动补偿装置还包括延迟器,用于延迟所输入的当前帧或场预定时间,并且将该延迟帧或场提供给第一和第二运动补偿插值器和运动补偿部件。
提供该第二运动补偿插值器为与周边块相同的数目。
本发明的前述和/或其他方面还通过提供一种基于块的运动补偿方法来实现,其中该运动补偿方法包括:通过分别从当前和前一帧或场读取与被估计当前块的运动向量相对应的第一和第二像素,而计算第一插值像素;通过分别从所输入的当前和前一帧或场读取与关于相邻于所要插值的当前块的至少一个周边块所估计的运动向量相对应的第三和第四像素,而计算第二插值像素;通过根据所要插值的当前块中第一和第二插值像素被插值的相对位置向第一和第二插值像素分配预定权重,而计算候选插值像素;分析当前块和周边块的估计运动向量,判定当前块与周边块之间的不连续;以及根据在判定操作中判定的不连续,从第一插值像素和候选插值像素中选择一个作为最终插值像素,然后输出所选最终插值像素。
更具体地说,运动分析操作将当前和周边运动向量的偏差与预设阈值进行比较,然后,当该偏差大于预设阈值时,将表示选择从候选插值像素计算器算出的候选插值像素作为最终插值像素的信号输出到最终插值像素选择器,并且当该偏差小于预设阈值时,输出表示选择从第一运动补偿插值器算出的第一插值像素作为最终插值像素的信号。
所述第一和第二插值像素计算操作各自包括:从所输入的当前帧或场读取与当前块的运动向量相对应的第一像素;从所输入的前一帧或场读取与当前块的运动向量相对应的第二像素;将当前和前一帧或场之间的相对位置相关系数乘以所读取的第一和第二像素,并且输出结果作为第一和第二相乘数据;以及通过相加从第一和第二乘法器输出的第一和第二相乘数据来计算第一插值像素。分别提供给第一和第二像素的相对位置相关系数之和为1。
该候选插值像素计算操作包括:从所分配的权重中读取和提供与算出的第一和第二插值像素被插值的位置相对应的权重;将该权重乘以第一和第二插值像素,并且输出结果作为第三和第四相乘数据;以及通过相加所输出的第三和第四相乘数据来计算候选插值像素。在第一和第二插值像素被插值的位置上分配给第一和第二插值像素的权重之和为1。
另外,该方法还包括:延迟所输入的当前帧或场预定时间,并然后将延迟帧或场提供给第一和第二插值像素计算操作。
根据本发明的一个方面,提供了一种基于块的运动补偿装置,包括:第一运动补偿插值器,分别从所输入的当前和前一帧或场读取与被估计当前块的运动向量相对应的第一和第二像素,并且计算第一插值像素;至少一个第二运动补偿插值器,分别从所输入的当前和前一帧或场读取与关于相邻于所要插值的当前块的至少一个周边块的每一个所估计的运动向量相对应的第三和第四像素,并且计算第二插值像素;候选插值像素计算器,通过根据所要插值的当前块中第一和第二插值像素被插值的相对位置向第一和第二插值像素分配预定权重,而计算候选插值像素;运动分析器,比较当前和周边块的运动向量,并且当运动向量的偏差等于或大于预设阈值时,判定在当前和周边块之间存在不连续区域,当该偏差小于预设阈值时,判定不存在不连续区域;以及最终插值像素选择器,根据在该运动分析器判定的结果,从第一插值像素和候选插值像素中选择一个为最终插值像素,并且输出所选最终插值像素。
根据本发明的另一方面,提供了一种基于块的运动补偿方法,包括:分别从当前和前一帧或场读取与被估计当前块的运动向量相对应的第一和第二像素,并且计算第一插值像素;分别从所输入的当前和前一帧或场读取与关于相邻于所要插值的当前块的至少一个周边块的每一个所估计的运动向量相对应的第三和第四像素,并且计算第二插值像素;通过根据所要插值的当前块中第一和第二插值像素被插值的相对位置向第一和第二插值像素分配预定权重,而计算候选插值像素;比较当前和周边块的运动向量,并且当运动向量的偏差等于或大于预设阈值时,判定在当前和周边块之间存在不连续区域,当该偏差小于预设阈值时,判定不存在不连续区域;以及根据在判定操作中判定的结果,从第一插值像素和候选插值像素中选择一个为最终插值像素,并然后输出所选最终插值像素。
附图简述
通过下面结合附图对多个实施例的描述,本发明的上述和其他方面和优点将会变得更加清楚且更加容易理解,其中:
图1是示意性地示出根据本发明一个实施例的基于块的运动补偿装置的方框图;
图2分别示出关于当前块和周边块所估计的运动向量;
图3示出应用于图1的运动补偿装置的相对位置相关系数的计算方法;
图4示出用来消除块伪像的OBMC;
图5是示意性地示出图1的基于块的运动补偿方法的流程图;以及
图6是示意性地示出根据本发明另一个实施例的基于块的运动补偿装置的方框图。
具体实施方式
现在将详细地参考本发明的多个实施例,其例子在附图中示出,其中相同的标号在全文内表示相同的单元。下面将参照附图来描述这些实施例以便解释本发明。
图1是示意性地示出根据本发明一个实施例的基于块的运动补偿装置的方框图。
参照图1,该基于块的运动补偿装置100包括延迟器110、第一运动补偿插值器120、第二运动补偿插值器130、候选插值像素计算器140、运动分析器150以及最终插值像素选择器160。
该运动补偿装置100通过使用所要插值的当前块及其周边块的BMA估计运动向量以及运动误差来执行运动补偿。
该运动补偿装置100接收关于当前块所估计的运动向量v0以及关于当前块周围的周边块所估计的运动向量v1到v8的输入。另外,该运动补偿装置100接收当前帧或场Fn作为输入信号。
所输入的当前帧或场Fn分别提供给第一和第三像素读取器122和132,并且提供给运动分析器150,它们将在后面进行描述。
延迟器110将所输入的当前帧或场Fn延迟预定时间,并且输出延迟帧或场Fn-1。从延迟器110输出的帧或场Fn-1分别提供给第二和第四像素读取器124和134,并且提供给运动分析器150,它们将在后面进行描述。
第一运动补偿插值器120分别包括第一和第二像素读取器122和124、第一和第二乘法器126和128以及第一加法器129。
第一运动补偿插值器120分别从当前和前一帧或场Fn和Fn-1读取与当前块的估计运动向量v0相对应的第一和第二像素f1和f2,并且计算第一插值像素。
更详细地,第一像素读取器122从当前帧或场Fn读取与当前块的运动向量v0相对应的第一像素f1。
第二像素读取器124从前一帧或场Fn-1读取与当前块的运动向量v0相对应的第二像素f2。
第一乘法器126分别将由当前和前一帧或场Fn和Fn-1要插值的帧或场Fi之间的相对位置的相关系数与所读取的第一像素f1相乘,并且输出结果作为第一相乘数据。相关系数与帧速率转换相关,并且通过下面方程1来计算。
[方程1]
参照图3和方程1,(1-r)表示相关系数,a是所要插值的帧或场Fi与前一帧或场Fn-1之间的最小距离,而b是所要插值的帧或场Fi与当前帧或场Fn之间的最小距离。
第二乘法器128将从方程1获得的相关系数r与第二像素f2相乘,并且输出结果作为第二相乘数据。从而,施加于第一和第二像素f1和f2的相关系数之和变为‘1’。
第一加法器129相加来自第一和第二乘法器126和128的第一和第二相乘数据,并且输出结果作为第一插值像素f0。
第二运动补偿插值器130分别包括第三和第四像素读取器132和134、第三和第四加法器136和138以及第二加法器139。
第二运动补偿插值器130分别从当前和前一帧或场Fn和Fn-1读取与关于多个周边块中的预定周边块所估计的估计运动向量vc相对应的第三和第四像素f3和f4,并且计算第二插值像素fc。
具体而言,第三像素读取器132读取与从所输入的当前帧或场Fn开始的预定周边块的运动向量vc相对应的第三像素f3。第四像素读取器134读取与从前一帧或场Fn-1开始的预定周边块的运动向量vc相对应的第四像素f4。
第三乘法器136将从方程1获得的相关系数1-r与第三像素f3相乘,并且输出结果作为第三相乘数据。此外,第四乘法器138将相关系数r与第四像素f4相乘,并且输出结果作为第四相乘数据。分别与第三和第四像素f3和f4相乘的相关系数分别与施加于第一和第二像素f1和f2的相关系数相同。
第二加法器139相加分别从第三和第四乘法器136和138输出的第三和第四相乘数据,并且输出结果作为第二插值像素fc。
分别从第一和第二运动补偿插值器120和130输出的第一和第二插值像素f0和fc通过下面方程2和方程3来计算。
[方程2]
[方程3]
在此,x是预定块中,即当前块或周边块中,的位置的坐标数据,n是当前帧或场Fn的时间位置,(n-1)是前一帧或场Fn-1的时间位置,并且r(0≤r≤1)是施加于第二和第四像素的相关系数。另外,在方程2和方程3中,候选插值像素计算器140分别包括权重存储单元142、第五和第六乘法器144和146以及第三加法器148。
该候选插值像素计算器140可以通过对所要插值的块中具有块伪像的块施加OBMC来消除或减少块伪像。
为此,候选插值像素计算器140根据第一和第二插值像素f0和fc被插值的相对位置向所要插值的当前块中的第一和第二插值像素f0和fc分配预定权重,然后计算候选插值像素f’。
OBMC基于当前块的运动向量v0与周边块的运动向量vc之间存在高相关性这一事实。从而,OBMC通过如图4的箭头所示在宽度/长度方向上扩展预定大小的预定周边块B1来将其与当前块B0部分重叠,并且以重叠区域即采用阴影线在图4中表示的子块作为运动补偿单元区域来执行运动补偿。也就是,OBMC用来计算候选插值像素f’,根据当前和周边块B0和B1的运动向量v0和v1影响重叠子块中的运动补偿这一假设,它将用于通过向当前插值的各个区域分配权重进行插值。
更详细地说,向权重存储单元142分配所要插值的当前块中像素的相对位置的权重。也就是,当在当前块中存在多个与当前运动向量v0相对应的第一像素f1时,分配权重k以施加于每当读取多个第一像素f1时算出的第一插值像素f0。向每个插值位置分配第一插值像素f0。此外,施加于第二插值像素fc的权重为(1-k)。
随着位置从当前块B0的中央向当前块的边界靠近,存储在权重存储单元142中的与像素的相对位置相对应的权重变大。也就是,由于权重k反映当前块B0的运动向量v0,因此越靠向具有该子块的当前块B0的边界,该第一插值像素f0的权重k越小。另一方面,由于权重(1-k)反映周边块B1的运动向量v1,因此越靠向具有该子块的当前块B0的边界,第二插值像素fc的权重(1-k)越大。
因此,当算出第一和第二插值像素f0和fc时,权重存储单元142分别读取与第一和第二插值像素f0和fc被插值的位置相对应的权重k和(1-k)。例如,如果算出的第一和第二插值像素的插值位置为当前块中的(3,3),则权重存储单元142读取与位置(3,3)相对应的预定权重k,并且分别将权重k提供给第五乘法器144以及将权重(1-k)提供给第六乘法器146。提供给第五和第六乘法器144和146的权重之和为‘1’。
第五乘法器144通过将第一插值像素f0乘以关于第一插值像素f0的插值位置的权重k来输出第五相乘数据。第六乘法器146通过将第二插值像素fc乘以关于第二插值像素fc的插值位置的权重(1-k)来输出第六相乘数据。
第三加法器148通过相加分别从第五和第六乘法器144和146输出的第五和第六相乘数据来计算候选插值像素f’。
从而,从候选插值像素计算器140输出的候选插值像素f’可以通过下面方程4来获得:
[方程4]
f′=k·f0+(1-k)·fc
其中,k是施加于第一插值像素f0的权重,而(1-k)是施加于第二插值像素fc的权重,并且0≤r≤1。
该运动分析器150分析当前块和周边块的运动向量v0和vc,并且判定当前和周边块之间的不连续。更具体地说,当判定当前块和周边块在运动向量场(未示出)中不连续时,运动分析器150判定发生了块伪像,并且输出运动标志m以在OBMC模式中执行运动补偿。
另一方面,当判定当前和周边块在运动向量场(未示出)中连续时,运动分析器150输出运动标志m以执行一般运动补偿。
在当前块的运动向量v0与周边块的运动向量如v1相互大不相同的情况下,很有可能发生各个块之间的不连续。因此,为了检测不连续,可以应周如下实施例。也就是,运动分析器150比较当前和周边块的运动向量v0和vc的偏差,从而判定当前块与周边块之间的不连续。
更详细地,运动分析器150计算当前块的运动向量v0与周边块的运动向量v1的偏差。当偏差大于预设阈值时,运动分析器150将选择信号m=1输出到最终插值像素选择器160。也就是,选择信号m=1是通过其选择从候选插值像素计算器140算出的候选插值像素f’作为最终插值像素f的运动标志。
另一方面,当偏差小于预设阈值时,运动分析器150将选择信号m=0输出到最终插值像素选择器160,即输出选择从第一运动补偿插值器120算出的第一插值像素f0作为最终插值像素f的运动标志。
根据本发明的本实施例,最终插值像素选择器160使用多路复用器,根据在运动分析器150中判定的不连续,选择第一插值像素f0和候选插值像素f’之一。
[方程5]
参照方程5进行说明,当从运动分析器150输入运动标志m=1时,该最终插值像素选择器160选择通过OBMC算出的候选插值像素f’作为最终插值像素f。同时,当从运动分析器150输入运动标志m=0时,该最终插值像素选择器160选择从第一运动补偿插值器120算出的第一插值像素作为最终插值像素f。
图5是示意性地示出图1的基于块的运动补偿方法的流程图。
参照图1到5,首先,在操作S410中,第一和第二像素读取器122和124分别从当前和前一帧或场Fn和Fn-1读取与当前运动向量v0相对应的第一和第二像素f1和f2。然后,在操作S420中,第三和第四像素读取器132和134分别从当前和前一帧或场Fn和Fn-1读取与周边运动向量vc相对应的第三和第四像素f3和f4。
当完成操作S420时,在操作S430中,第一到第四乘法器126、128、136和138相应地分别将利用方程1算出的预定相关系数(1-r)和r与第一到第四像素f1到f4相乘,并且算出第一到第四相乘数据。
下一步,在操作S440中,第一加法器129通过相加第一和第二相乘数据来计算第一插值像素f0,并且第二加法器139通过相加第三和第四相乘数据来计算第二插值像素fc。
当完成操作S440时,该候选插值像素计算器140使用OBMC以子块单元执行运动补偿。具体而言,在操作S450中,候选插值像素计算器140根据当前块中的第一和第二插值像素f0和fc被插值的相对位置向第一和第二插值像素f0和fc分配预定权重,并且计算候选插值像素f’。此时,当向第一插值像素f0分配权重k时,向第二插值像素fc分配权重(1-k)。
另外,在操作S460中,运动分析器150分析当前块的运动向量v0和周边块的运动向量vc来判定当前块与周边块之间的不连续,并且根据判定结果来输出运动标志。
例如,如果当前和周边块的运动向量v0和vc之间的偏差大于预设阈值时,运动分析器150判定由于当前和周边块之间的不连续而发生了块伪像,并且输出运动标志m=1。如果当前和周边块的运动向量v0和v1之间的偏差小于预设阈值时,运动分析器150判定当前和周边块之间没有不连续,并且输出运动标志m=0。
当从操作S460输入运动标志m=1时,最终插值像素选择器160选择性地输出从候选插值像素计算器140算出的候选插值像素f’作为最终插值像素f(S470)。
同时,当从操作S460输入运动标志m=0时,最终插值像素选择器160选择性地输出从第一运动补偿插值器120算出的第一插值像素f0作为最终插值像素f(S480)。
上述基于块的运动补偿装置100及其方法通过考虑当前块与相邻于当前块的多个周边块之间的相关性而应用OBMC。也就是,通过根据图1的实施例的运动补偿装置,仅对发生块伪像的块施加OBMC,从而可以提供其中消除或减少了块伪像的运动补偿图像。
图6是示意性地示出根据本发明另一个实施例的基于块的运动补偿装置的方框图。
参照图6,基于块的运动补偿装置600包括延迟器610、运动补偿插值器620、候选插值像素计算器630、运动分析器640以及最终插值像素选择器650。首先,图6的基于块的运动补偿装置600通过考虑相邻于当前块的多个周边块来施加OBMC。
图6的基于块的运动补偿装置600的延迟器610、运动补偿插值器620、候选插值像素计算器630、运动分析器640和最终插值像素选择器650具有类似于图1的延迟器110、第一运动补偿插值器120、第二运动补偿插值器130、候选插值像素计算器140、运动分析器150和最终插值像素选择器160的功能,因此为简洁起见将省略关于各个块的详细描述。
运动补偿插值器620具有第一到第N运动补偿插值器620_1到620_N,其中,N表示在运动补偿期间所考虑的当前块和周边块的数目。
第一运动补偿插值器620_1通过读取与当前运动向量的运动向量相对应的像素来计算第一插值像素f1。第二到第N运动补偿插值器620_2到620_N分别通过读取与周边运动向量的运动向量v1到vN-1相对应的像素来计算第二到第N插值像素f2到fn。
候选插值像素计算器630包括权重存储部件(未示出)、第一到第N乘法器6321到632N以及加法器634。
候选插值像素计算器630使用重叠块运动补偿(OBMC)对所要插值的块中发生了块伪像的块执行运动补偿。
为此,相应的第一到第N乘法器632_1到632_N分别根据所要插值的当前块中第一到第N插值像素f2到fn被插值的相对位置,将预定权重k1到kn与第一到第N插值像素f2到fn相乘。此时,最好提供给第一到第N乘法器632_1到632_N的权重k1到kn之和为1。加法器634相加乘以权重k1到kn之后的各个数据,从而计算候选插值像素f’。
运动分析器640通过分析当前块的运动向量v0和周边块的运动向量v1到vN-1,判定当前块与周边块之间的不连续。
最终插值像素选择器650根据来自运动分析器640的结果,选择性地输出第一插值像素f0和候选插值像素f,之一。
所述基于块的运动补偿装置100和600及其方法可以广泛地应用于诸如运动图像压缩系统和高清晰度电视的帧速率转换的产业。
如上所述,根据基于块的运动补偿装置及其方法,有可能选择块间不连续区域,也就是,选择发生块伪像的区域,并且仅对所选区域施加OBMC。从而,当OBMC选择性地施加于整个块时,可以减轻诸如模糊的图像质量恶化,并且还在运动补偿期间防止或减少块伪像。
尽管示出和描述了本发明的一些实施例,但本领域的技术人员应该理解,在不脱离所附权利要求及其等同所限定的本发明的原理和精神的情况下,可以对这些实施例进行修改。
Claims (14)
1.一种基于块的运动补偿装置,包括:
第一运动补偿插值器,分别从所输入的当前和前一帧或场读取与被估计当前块的运动向量相对应的第一和第二像素,并且计算第一插值像素;
至少一个第二运动补偿插值器,分别从所输入的当前和前一帧或场读取与关于相邻于所要插值的当前块的至少一个周边块的每一个所估计的运动向量相对应的第三和第四像素,并且计算第二插值像素;
候选插值像素计算器,通过根据所要插值的当前块中第一和第二插值像素被插值的相对位置向第一和第二插值像素分配预定权重,而计算候选插值像素;
运动分析器,比较当前和周边块的运动向量,并且当运动向量的偏差等于或大于预设阈值时,判定在当前和周边块之间存在不连续区域,当该偏差小于预设阈值时,判定不存在不连续区域;以及
最终插值像素选择器,根据在该运动分析器判定的结果,如果存在不连续区域,则选择由候选插值像素计算器所计算的候选插值像素作为最终插值像素;如果不存在不连续区域,则选择由第一运动补偿插值器所计算的第一插值像素作为最终插值像素。
2.如权利要求1所述的运动补偿装置,其中所述第一和第二运动补偿插值器分别包括:
第一像素读取器,从所输入的当前帧或场中读取与当前块的运动向量相对应的第一像素;
第二像素读取器,从所输入的前一帧或场读取与当前块的运动向量相对应的第二像素;
第一和第二乘法器,用于将当前和前一帧或场与所要插值的帧或场之间的相对位置相关系数乘以所读取的第一和第二像素,并且输出结果作为第一和第二相乘数据;以及
第一加法器,用于通过相加从第一和第二乘法器输出的第一和第二相乘数据来计算第一插值像素,
其中分别提供给第一和第二像素的相对位置相关系数之和为1。
3.如权利要求2所述的运动补偿装置,其中该相对位置相关系数通过下面方程来计算:
其中,r是与第二像素相乘的相对位置相关系数,a是所要插值的帧或场与前一帧或场之间的最小距离,而b是所要插值的帧或场与当前帧或场之间的最小距离。
4.如权利要求1所述的运动补偿装置,其中该候选插值像素计算器包括:
权重存储部件,用于存储向其分配的关于当前块中用于插值的像素的相对位置的权重,该权重存储部件从所分配的权重中读取和提供与算出的第一和第二插值像素被插值的位置相对应的权重;
第三和第四乘法器,从该权重存储部件向其提供与第一和第二插值像素的插值位置相对应的权重,以将这些权重乘以第一和第二插值像素,并且作为第三和第四相乘数据输出;以及
第二加法器,用于通过相加从第三和第四乘法器输出的第三和第四相乘数据来计算候选插值像素,
其中在第一和第二插值像素被插值的位置上分配给第一和第二插值像素的权重之和为1。
5.如权利要求4所述的运动补偿装置,其中随着第一和第二插值像素的位置从被插值块的中央移向其边界,分配给第一插值像素的权重减小,并且分配给第二插值像素的权重增大。
6.如权利要求1所述的运动补偿装置,还包括延迟器,用于延迟所输入的当前帧或场预定时间,并且将该延迟帧或场提供给第一和第二运动补偿插值器和运动补偿部件。
7.如权利要求1所述的运动补偿装置,其中所提供的第二运动补偿插值器的数目与周边块的数目相同。
8.一种基于块的运动补偿方法,包括:
分别从当前和前一帧或场读取与被估计当前块的运动向量相对应的第一和第二像素,并且计算第一插值像素;
分别从所输入的当前和前一帧或场读取与关于相邻于所要插值的当前块的至少一个周边块的每一个所估计的运动向量相对应的第三和第四像素,并且计算第二插值像素;
通过根据所要插值的当前块中第一和第二插值像素被插值的相对位置向第一和第二插值像素分配预定权重,而计算候选插值像素;
比较当前和周边块的运动向量,并且当运动向量的偏差等于或大于预设阈值时,判定在当前和周边块之间存在不连续区域,当该偏差小于预设阈值时,判定不存在不连续区域;以及
根据在判定操作中判定的结果,如果存在不连续区域,则选择所计算的候选插值像素作为最终插值像素;如果不存在不连续区域,则选择所计算的第一插值像素作为最终插值像素;并然后输出所选最终插值像素。
9.如权利要求8所述的方法,其中所述第一和第二插值像素计算操作分别包括:
从所输入的当前帧或场读取与当前块的运动向量相对应的第一像素;
从所输入的前一帧或场读取与当前块的运动向量相对应的第二像素;
将当前和前一帧或场与所要插值的帧或场之间的相对位置相关系数乘以所读取的第一和第二像素,并且输出结果作为第一和第二相乘数据;以及
通过相加从第一和第二乘法器输出的第一和第二相乘数据来计算该第一插值像素,
其中分别提供给第一和第二像素的相对位置相关系数之和为1。
10.如权利要求9所述的方法,其中该相对位置相关系数通过下面方程来计算:
其中,r是与第二像素相乘的相对位置相关系数,a是所要插值的帧或场与前一帧或场之间的最小距离,而b是所要插值的帧或场与当前帧或场之间的最小距离。
11.如权利要求8所述的方法,其中该候选插值像素计算操作包括:
从根据当前块中所要插值的像素的相对位置所分配的权重中,读取和提供与算出的第一和第二插值像素被插值的位置相对应的相应权重;
将所述权重乘以第一和第二插值像素,并且输出结果作为第三和第四相乘数据;以及
通过相加所输出的第三和第四相乘数据来计算候选插值像素,
其中在第一和第二插值像素被插值的位置上分配给第一和第二插值像素的权重之和为1。
12.如权利要求11所述的方法,其中随着第一和第二插值像素的位置从被插值块的中央移向其边界,分配给第一插值像素的权重减小,并且分配给第二插值像素的权重增大。
13.如权利要求8所述的方法,还包括:延迟所输入的当前帧或场预定时间,并然后将该延迟帧或场提供给第一和第二插值像素计算操作。
14.如权利要求8所述的方法,其中在该第二插值像素计算操作中,所提供的第二插值像素的数目与相邻于所要插值的当前块的周边块的数目相同。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20030038797A KR100605746B1 (ko) | 2003-06-16 | 2003-06-16 | 블럭 기반의 움직임 보상 장치 및 방법 |
KR38797/03 | 2003-06-16 | ||
KR38797/2003 | 2003-06-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1574963A CN1574963A (zh) | 2005-02-02 |
CN100450182C true CN100450182C (zh) | 2009-01-07 |
Family
ID=33411754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB200410044769XA Expired - Fee Related CN100450182C (zh) | 2003-06-16 | 2004-05-18 | 提供基于块的运动补偿的装置及其方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8041134B2 (zh) |
EP (1) | EP1489849A1 (zh) |
JP (1) | JP4145837B2 (zh) |
KR (1) | KR100605746B1 (zh) |
CN (1) | CN100450182C (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8472524B2 (en) * | 2006-04-03 | 2013-06-25 | Intel Corporation | Motion compensated frame rate conversion with protection against compensation artifacts |
KR100767503B1 (ko) * | 2006-06-13 | 2007-10-17 | 주식회사 팬택앤큐리텔 | 3차원 피팅을 이용한 움직임 벡터 보상 시스템 및 방법 |
KR101319916B1 (ko) * | 2006-06-21 | 2013-10-21 | 박상래 | 움직임 추정방법 및 장치, 및 이를 이용한 영상 부호화방법및 장치 |
US8345763B2 (en) * | 2007-11-27 | 2013-01-01 | Mediatek Inc. | Motion compensation method and integrated circuit utilizing the same |
KR101427115B1 (ko) * | 2007-11-28 | 2014-08-08 | 삼성전자 주식회사 | 영상처리장치 및 영상처리방법 |
JP4374048B2 (ja) * | 2007-12-26 | 2009-12-02 | 株式会社東芝 | 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置 |
KR101527150B1 (ko) * | 2008-07-24 | 2015-06-10 | 에스케이 텔레콤주식회사 | 동영상 부호화/복호화 장치 및 그를 위한 화소 기반 적응중첩 블록 움직임 보상 장치 및 방법 |
WO2010017166A2 (en) | 2008-08-04 | 2010-02-11 | Dolby Laboratories Licensing Corporation | Overlapped block disparity estimation and compensation architecture |
WO2010093430A1 (en) * | 2009-02-11 | 2010-08-19 | Packetvideo Corp. | System and method for frame interpolation for a compressed video bitstream |
CN102316316B (zh) * | 2010-07-07 | 2013-11-20 | 中国科学院微电子研究所 | 一种嵌入式视频解码的运动补偿参考块数据读取装置及方法 |
US9883203B2 (en) | 2011-11-18 | 2018-01-30 | Qualcomm Incorporated | Adaptive overlapped block motion compensation |
KR101589727B1 (ko) * | 2014-07-30 | 2016-01-28 | 엘아이지넥스원 주식회사 | 이동물체 취득 영상에서의 프레임율 향상 장치 |
US10230980B2 (en) * | 2015-01-26 | 2019-03-12 | Qualcomm Incorporated | Overlapped motion compensation for video coding |
KR101714385B1 (ko) | 2015-06-26 | 2017-03-09 | 홍익대학교 산학협력단 | 압축된 메모리 데이터를 이용한 모션 추정방법 |
KR101685384B1 (ko) | 2015-06-29 | 2016-12-12 | 홍익대학교 산학협력단 | 상위 비트만을 이용한 압축된 메모리 데이터를 이용한 모션 추정방법 |
US10419777B2 (en) * | 2016-12-22 | 2019-09-17 | Google Llc | Non-causal overlapped block prediction in variable block size video coding |
EP3724997A1 (en) * | 2017-12-15 | 2020-10-21 | Intel IP Corporation | Apparatus and method for interpolating between a first signal and a second signal |
WO2019157718A1 (zh) * | 2018-02-14 | 2019-08-22 | 北京大学 | 运动补偿的方法、装置和计算机系统 |
KR102575126B1 (ko) * | 2018-12-26 | 2023-09-05 | 주식회사 엘엑스세미콘 | 영상 처리 장치 및 그 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1134084A (zh) * | 1995-03-20 | 1996-10-23 | 大宇电子株式会社 | 用在图象编码系统中的改进的运动补偿装置 |
JPH10126367A (ja) * | 1996-09-30 | 1998-05-15 | Siemens Ag | タイムスロット法でのアクション制御方法および装置 |
JP2000050284A (ja) * | 1998-07-13 | 2000-02-18 | Motorola Inc | 運動ベクトルの格納および回収を用いることによりビデオ信号を符号化および解読するための方法および装置 |
US6175593B1 (en) * | 1997-07-30 | 2001-01-16 | Lg Electronics Inc. | Method for estimating motion vector in moving picture |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0144295B1 (ko) | 1994-12-14 | 1998-07-15 | 배순훈 | 오버랩된 움직임 보상장치 및 그 방법 |
GB2301971B (en) | 1995-06-06 | 1999-10-06 | Sony Uk Ltd | Video compression |
AU2337099A (en) | 1998-01-26 | 1999-08-09 | Tiernan Communications, Inc. | Method and apparatus for advanced television signal encoding and decoding |
JP2000299864A (ja) | 1999-04-12 | 2000-10-24 | Canon Inc | 動画像処理方法 |
KR100302130B1 (ko) | 1999-11-05 | 2001-11-02 | 전주범 | 중첩 블럭정합알고리즘을 이용한 움직임 추정방법 |
-
2003
- 2003-06-16 KR KR20030038797A patent/KR100605746B1/ko not_active IP Right Cessation
-
2004
- 2004-04-14 US US10/823,674 patent/US8041134B2/en not_active Expired - Fee Related
- 2004-05-18 CN CNB200410044769XA patent/CN100450182C/zh not_active Expired - Fee Related
- 2004-05-20 EP EP20040252962 patent/EP1489849A1/en not_active Withdrawn
- 2004-06-15 JP JP2004177431A patent/JP4145837B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1134084A (zh) * | 1995-03-20 | 1996-10-23 | 大宇电子株式会社 | 用在图象编码系统中的改进的运动补偿装置 |
JPH10126367A (ja) * | 1996-09-30 | 1998-05-15 | Siemens Ag | タイムスロット法でのアクション制御方法および装置 |
US6175593B1 (en) * | 1997-07-30 | 2001-01-16 | Lg Electronics Inc. | Method for estimating motion vector in moving picture |
JP2000050284A (ja) * | 1998-07-13 | 2000-02-18 | Motorola Inc | 運動ベクトルの格納および回収を用いることによりビデオ信号を符号化および解読するための方法および装置 |
Non-Patent Citations (6)
Title |
---|
NEW FRAME RATE UP-CONVERSION USINGBI-DIRECTIONAL MOTION ESTIMATION. Choi et al.IEEE Transactions on Consumer Electronics,Vol.46 No.3. 2000 |
NEW FRAME RATE UP-CONVERSION USINGBI-DIRECTIONAL MOTION ESTIMATION. Choi et al.IEEE Transactions on Consumer Electronics,Vol.46 No.3. 2000 * |
On Spatial Adaptation of Motion-Field Smoothness in VideoCoding. Prakash Ishwar and Pierre Moulin.IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,Vol.10 No.6. 2000 |
On Spatial Adaptation of Motion-Field Smoothness in VideoCoding. Prakash Ishwar and Pierre Moulin.IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,Vol.10 No.6. 2000 * |
Wavelet-based very low bit-rate video coding usingimagewarping and overlapped block motion compensation. HEISING G ET AL.IEE PROCEEDINGS:VISION,IMAGE AND SIGNAL PROCESSING,INSTITUTION OF ELECTRICAL ENGINEERS,GB148,Vol.148 No.2. 2001 |
Wavelet-based very low bit-rate video coding usingimagewarping and overlapped block motion compensation. HEISING G ET AL.IEE PROCEEDINGS:VISION,IMAGE AND SIGNAL PROCESSING,INSTITUTION OF ELECTRICAL ENGINEERS,GB148,Vol.148 No.2. 2001 * |
Also Published As
Publication number | Publication date |
---|---|
CN1574963A (zh) | 2005-02-02 |
US20040252896A1 (en) | 2004-12-16 |
US8041134B2 (en) | 2011-10-18 |
KR100605746B1 (ko) | 2006-07-31 |
JP4145837B2 (ja) | 2008-09-03 |
KR20040108056A (ko) | 2004-12-23 |
JP2005012799A (ja) | 2005-01-13 |
EP1489849A1 (en) | 2004-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100450182C (zh) | 提供基于块的运动补偿的装置及其方法 | |
CN100452832C (zh) | 使用行和列向量的运动向量估计 | |
KR100541953B1 (ko) | 움직임 보상을 위한 화소값 선택 장치 및 방법 | |
KR100251548B1 (ko) | 디지털영상을위한움직임추정장치및방법 | |
US8798153B2 (en) | Video decoding method | |
US6590934B1 (en) | Error concealment method | |
EP1638339B1 (en) | Motion estimation | |
US8331710B2 (en) | Image processing apparatus and method, learning apparatus and method, and program | |
KR100657261B1 (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
US20050249288A1 (en) | Adaptive-weighted motion estimation method and frame rate converting apparatus employing the method | |
US5721588A (en) | Video coding device | |
WO2007089068A1 (en) | Method and apparatus for block-based motion estimation | |
KR100692600B1 (ko) | 움직임 추정 장치 및 방법 | |
US6930728B2 (en) | Scan conversion apparatus | |
JPH08275179A (ja) | 映像信号符号化装置 | |
US5485224A (en) | Motion compensated video signal processing by interpolation of correlation surfaces and apparatus for doing the same | |
JP3121519B2 (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路 | |
JP2608909B2 (ja) | 動画像の予測符号化方式 | |
US20050036542A1 (en) | Computation of compressed video information | |
JP2941693B2 (ja) | 動きベクトル探索装置 | |
Rehan et al. | A new motion-estimation technique for efficient video compression | |
GB2309135A (en) | Estimating image motion by comparing adjacent image frame signals | |
JP2001285882A (ja) | ノイズ低減装置および方法 | |
JPH0281589A (ja) | 動きベクトル検出方式 | |
Taşdizen | Motion estimation based frame rate conversion hardware designs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090107 Termination date: 20160518 |
|
CF01 | Termination of patent right due to non-payment of annual fee |