CN101482967B - 产生目标图像数据块的图像处理方法及其相关装置 - Google Patents

Abstract

本发明提供一种用来在两帧之间产生一插补帧中一目前待插补位置所需要的目标图像数据块的图像处理方法。该图像处理方法包含有参考该两帧的多个图像数据块来执行一运动估测运算以决定出一运动向量并依据该运动向量来决定出一第一图像数据块、依据该两帧中分别对应于该待插补位置的两图像数据块来决定出一第二图像数据块以及依据该第一图像数据块及该第二图像数据块来决定该目标图像数据块。

Description

产生目标图像数据块的图像处理方法及其相关装置

技术领域

本发明涉及一种图像处理机制，特别涉及一种用来插补出一目标图像数据块并可有效地避免该目标图像数据块中产生人为假影(artifact)的图像处理方法及其相关装置。

背景技术

一般而言，在进行图像插补运算时，为了在两帧之间产生一插补帧中一待插补位置所需要的图像数据块，会决定出一运动向量并使用该运动向量将一图像数据块插补至该待插补位置。然而，在某些特殊情况下，若直接使用该运动向量将相对应的图像数据块插补于该待插补位置，则画面上可能产生人眼可见的人为假影。请参阅图1，图1是现有图像处理机制产生待插补位置所需要的图像数据块的示意图。帧F_n-1及F_n为两前后相邻的帧，而现有图像处理机制则是对帧F_n-1及F_n进行图像插补运算以便于帧F_n-1及F_n之间产生一插补帧F’(如图中虚线所示)；为方便说明，图1中仅绘示出帧F_n-1及F_n内某一水平位置上不同图像数据块的像素值。实际上，帧F_n-1及F_n中的图像数据块A₁及A₁’是对应到水平运动的同一图像对象，而其它部分的图像数据块(例如A₂与A₂’)则代表帧F_n-1及F_n在此水平位置上的相同背景。如图1所示，图像数据块A₁所对应到的图像对象实际上在插补帧F’的画面中运动至位置P₁，而依据现有图像处理机制的运动估测运算结果，藉由帧F_n-1及F_n中图像数据块A₁及A₁’的位置可判断出该图像对象在插补帧F’的画面中应运动至位置P₁，故会在位置P₁上准确地插补出图像数据块A₁”。同样地，亦可藉由帧F_n-1及F_n中图像数据块A₂及A₂’(亦即背景部分)的位置来判断出对应于图像数据块A₂及A₂’的图像对象在插补帧F’的画面中应仍在位置P₂上，因此会在位置P₂上插补出图像数据块A₂”。

然而，当现有图像处理机制欲插补出位置P₃上的图像时，极可能产生人为假影而造成较严重的画面失真。因为图像数据块A₁所对应的一图像对象在插补帧F’中已运动至位置P₁，所以位置P₃上的画面应显示的是原本该图像对象所遮盖的背景部分；然而，实际上现有图像处理机制在计算最小像素差来进行运动估测时，在帧F_n-1中通常无法找到与帧F_n的位置P₃上较为相像的图像数据块(因为对应此一图像数据块的背景部分在帧F_n-1中已被对应于图像数据块A₁的图像对象所遮盖)，即便仍可求出对应于某一最小绝对像素差总和的一运动向量，然使用该运动向量在位置P₃上来产生图像将可能造成较严重的画面失真或人为假影的现象，例如在插补帧F’的位置P₃上即产生不想要的图像数据块A”。

发明内容

因此为了解决上述的问题，本发明的目的之一在于提供一种在两帧之间插补出一目标图像数据块并可有效地避免造成画面失真与人为假影(artifact)的图像处理方法及其相关装置。

依据本发明的实施例，其是揭露一种用来在两帧之间产生一插补帧中一目前待插补位置所需要的一目标图像数据块的图像处理方法。该图像处理方法包含有：参考该两帧的多个图像数据块来执行一运动估测运算以决定出一运动向量，并依据该运动向量来决定出一第一图像数据块；依据该两帧中分别对应于该待插补位置的两图像数据块决定出一第二图像数据块；以及依据该第一图像数据块及该第二图像数据块来决定该目标图像数据块。

依据本发明的实施例，其另揭露一种用来在两帧之间产生一插补帧中一目前待插补位置所需要的一目标图像数据块的图像处理装置。该图像处理装置包含有一运动补偿电路、一图像产生电路与一决定电路。运动补偿电路是用来参考两帧的多个图像数据块来执行一运动估测运算以决定出一运动向量并依据运动向量来决定出一第一图像数据块，而图像产生电路是用来依据两帧中分别对应于待插补位置的两图像数据块决定出一第二图像数据块，决定电路则耦接于运动补偿电路与图像产生电路，并用来依据第一图像数据块及第二图像数据块来决定目标图像数据块。

附图说明

图1为现有图像处理机制产生待插补位置所需要的图像数据块的示意图。

图2为本发明一实施例的图像处理装置的示意图。

图3为图2所示的图像处理装置产生一待插补位置所需要的图像数据块的运作示意图。

附图符号说明

200	图像处理装置
		205	运动补偿电路
210	图像产生电路
		215	决定电路
220	低通滤波器

具体实施方式

请搭配参阅图2与图3，图2是本发明一实施例的图像处理装置200的示意图，图3是图2所示的图像处理装置200产生一待插补位置(例如位置P₁、P₂或P₃)所需要的图像数据块的运作示意图。如图2所示，图像处理装置200会接收输入数据(其是由多个帧所组成)，并在输入数据的两帧之间产生一插补帧中一目前待插补位置所需要的目标图像数据块，例如，该两帧是图3中所示的帧F_n-1及F_n，插补帧是指F’(如虚线所示)，待插补位置可以是帧F’中的位置P₁、P₂或P₃，为方便说明，在此图3中仅绘示出帧F_n-1及F_n内某一水平位置上不同图像数据块的像素值。图像处理装置200包含有运动补偿电路205、图像产生电路210、决定电路215与低通滤波器220。运动补偿电路205会分别参考帧F_n-1与F_n中的多个图像数据块内的像素值来执行一运动估测运算以决定出一运动向量mv，并依据运动向量mv决定出一图像数据块B₁，其中，图像数据块B₁即是经由对该待插补位置(P₁、P₂与P₃其中之一)进行运动补偿后所产生；而图像产生电路210是依据帧F_n-1与F_n中分别对应于该待插补位置的两图像数据块内的像素值来决定出一图像数据块B₂，在本实施例中对应于某一待插补位置的两图像数据块在空间关系上是与该待插补位置处于相同位置，换言之，图像数据块B₂是图像产生电路210对该两图像数据块直接进行内插而产生，其中的一较佳实施例为图像产生电路210直接平均该两图像数据块内的像素值而产生图像数据块B₂。接着，决定电路215会依据图像数据块B₁及B₂来决定出上述的目标图像数据块，而所决定出的目标图像数据块即是本实施例中最后产生于该待插补位置的图像数据块；在此图像数据块B₂是一未经过运动补偿的图像数据块(non-motion-compensatedimage block)。

依据图像数据块B₁及B₂来决定该目标图像数据块的方式则说明于下。首先图像处理装置200会依据运动向量mv所对应的数据块比对差异(blockmatching difference)的大小来决定出一目标权重参数α，而决定电路215是一图像混合电路(image blending circuit)，其会依据目标权重参数α来加权混合图像数据块B₁及B₂内的像素值以产生该目标图像数据块。目标权重参数α的值则是落在0到1之间，并与所算出的数据块比对差异的大小有实质上的正向关系，而目标图像数据块的像素值P_tar在本实施例中设计成与图像数据块B₁与B₂的像素值P₁、P₂具有下列关系：P_tar＝(1-α)×P₁+α×P₂。若运动向量mv所对应到的数据块比对差异愈大，则代表运动补偿电路205所决定的图像数据块B₁愈不可信而无法直接被插补在上述的待插补位置中以避免造成人为假影，所以此时会将目标权重参数α的值设计成愈靠近于正整数1以使得目标图像数据块的像素值P_tar大部分是由图像产生电路210所产生的图像数据块B₂的像素值P₂所决定，如此可有效地避免造成人为假影。反之，若运动向量mv所对应到的数据块比对差异愈小，则代表此时较相信运动补偿电路205所决定的图像数据块B₁，而应直接将图像数据块B₁插补在上述的待插补位置中以提高画面品质，所以此时将目标权重参数α的值设计成愈靠近于零以使得目标图像数据块的像素值P_tar大部分是由运动补偿电路205所产生的图像数据块B₁的像素值P₁所决定，如此将不会影响到运动补偿电路205的运算结果。

举例来说，请再次参阅图3。对于决定待插补位置P₁所需的目标图像数据块而言，运动补偿电路205可计算出帧F_n-1中的图像数据块A₁与帧F_n中的图像数据块A₁’的差是一最小数据块比对差异，所以，将会估测出图像数据块A₁所对应的图像对象在插补帧F’中应位于待插补位置P₁上，由于实际上帧F_n-1中图像数据块A₁与帧F_n中图像数据块A₁’是对应到相同的图像对象，所以该最小数据块比对差异的值将会相当小，此时依据此一最小数据块比对差异所决定的一目标权重参数几乎为零，因此，最后产生在待插补位置P₁上的一目标图像数据块A₁”内的像素值几乎是由帧F_n-1/F_n中对应于图像数据块A₁/A₁’内的像素值所决定，换句话说，在此种情形中，可视为图像处理装置200是将帧F_n-1/F_n中的图像数据块A₁/A₁’的图像对象插补在插补帧F’中的待插补位置P₁上。同样地，对于决定插补帧F’中待插补位置P₂所需要的一目标图像数据块而言，所决定的一目标权重参数亦几乎为零，而最后产生在待插补位置P₂上的一目标图像数据块A₂”内的像素值几乎是由帧F_n-1/F_n中对应于图像数据块A₂/A₂’内的像素值所决定，因此，可视为图像处理装置200是将帧F_n-1/F_n中的图像数据块A₂/A₂’的图像对象插补在插补帧F’中的待插补位置P₂。

另一方面，对于决定待插补位置P₃所需的一目标图像数据块来说，运动补偿电路205亦会算出帧F_n-1中某一图像数据块与帧F_n中另一图像数据块的差为一最小数据块比对差异，并将此两图像数据块的内插结果作为图像数据块B₁将其输出至决定电路215。然而，实际上待插补位置P₃上的图像应是帧F_n-1中对应于图像数据块A₁的图像对象所遮盖的背景部分，而运动补偿电路205所选择的两图像数据块极可能对应到不同的图像对象，因此，上述的该最小数据块比对差异的值会相当大，此时依据该最小数据块比对差异所决定的一目标权重参数可能较近似于整数1，故最后产生在待插补位置P₃上目标图像数据块A₃”内的像素值相当大的比例是由图像产生电路210对帧F_n-1、F_n中与待插补位置P₃相同位置的两图像数据块A₁、A₃’内的像素值进行平均所得到的结果来决定，如此可避免产生人眼可见的人为假影。

此外，由于目标权重参数α会左右像素值P_tar的大小而影响最后图像画面的品质，所以本实施是进一步利用低通滤波器220来调整目标权重参数α以使某一区域(例如包含3×3或5×5图像数据块的区域)内多个待插补位置所分别对应到的目标权重参数有较为一致的特性，故可避免造成某一待插补位置上所产生的图像与周围邻近待插补位置所产生的图像有过大的差异。详细来说，运动补偿电路205会依据运动向量mv所对应的数据块比对差异大小先决定出对应目前待插补位置的初始权重参数α_initial，接着图像处理装置200再依据插补帧F’中邻近的待插补位置在产生相对应目标图像数据块时所使用的相对应目标权重参数以及初始权重参数α_initial来产生目前待插补位置所对应的目标权重参数α；低通滤波器220会对该相对应目标权重参数与初始权重参数α_initial计算一平均值来作为目标权重参数α。当然，本实施例并未限定目标权重参数α的产生方式，亦即，任何决定目标权重参数α的数值的方式皆符合本发明的精神。例如，在另一实施例中，可将该相对应目标权重参数与初始权重参数α_initial进行加权平均来产生目标权重参数α。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (10)

1.一种图像处理方法，用来在两帧之间产生一插补帧中一目前待插补位置所需要的一目标图像数据块，该图像处理方法包含有：

参考该两帧的多个图像数据块来执行一运动估测运算以决定出一运动向量，并依据该运动向量来决定出一第一图像数据块；

依据该两帧中分别对应于该目前待插补位置的两图像数据块决定出一第二图像数据块；

依据该运动向量所对应的一数据块比对差异的大小来决定一目标权重参数；以及

依据该目标权重参数来加权混合该第一、第二图像数据块来产生该目标图像数据块。

2.如权利要求1所述的图像处理方法，其中，该第一图像数据块是一补偿后的图像数据块，以及该第二图像数据块是一未经运动补偿的图像数据块。

3.如权利要求1所述的图像处理方法，其中，该目标权重参数的值α是落在0到1之间，并与该数据块比对差异的大小有实质上的正向关系，以及该目标图像数据块的像素值P_tar与该第一、第二图像数据块的像素值P₁、P₂具有下列关系：P_tar＝(1-α)×P₁+α×P₂。

4.如权利要求1所述的图像处理方法，其中，依据该运动向量所对应的该数据块比对差异的大小来决定该目标权重参数包含有：

依据该运动向量所对应的该数据块比对差异的大小来决定对应该目前待插补位置的一初始权重参数；以及

依据该插补帧中邻近的待插补位置在产生相对应目标图像数据块时所使用的相对应目标权重参数与该初始权重参数来产生该目前待插补位置所对应的该目标权重参数。

5.如权利要求4所述的图像处理方法，其中，产生该目前待插补位置所对应的该目标权重参数的步骤是依据邻近待插补位置在产生相对应目标图像数据块时所使用的相对应目标权重参数与该初始权重参数来计算一平均值以作为该目标权重参数。

6.一种图像处理装置，用来在两帧之间产生一插补帧中一目前待插补位置所需要的一目标图像数据块，该图像处理装置包含有： 

一运动补偿电路，用来参考该两帧的多个图像数据块来执行一运动估测运算以决定出一运动向量并依据该运动向量来决定出一第一图像数据块；

一图像产生电路，用来依据该两帧中分别对应于该目前待插补位置的两图像数据块决定出一第二图像数据块；以及

一决定电路，耦接于该运动补偿电路与该图像产生电路，用来依据该第一图像数据块及该第二图像数据块来决定该目标图像数据块，

其依据该运动向量所对应的一数据块比对差异的大小来决定一目标权重参数，以及该决定电路是一图像混合电路，该图像混合电路依据该目标权重参数来加权混合该第一、第二图像数据块以产生该目标图像数据块。

7.如权利要求6所述的图像处理装置，其中，该第一图像数据块是一补偿后的图像数据块，以及该第二图像数据块是一未经运动补偿的图像数据块。

8.如权利要求6所述的图像处理装置，其中，该目标权重参数的值α是落在0到1之间，并与该数据块比对差异的大小有实质上的正向关系，以及该目标图像数据块的像素值P_tar与该第一、第二图像数据块的像素值P₁、P₂具有下列关系：P_tar＝(1-α)×P₁+α×P₂。

9.如权利要求6所述的图像处理装置，其中，该运动补偿电路是依据该运动向量所对应的该数据块比对差异的大小来决定对应该目前待插补位置的一初始权重参数，以及该图像处理装置是依据该插补帧中邻近待插补位置在产生相对应目标图像数据块时所使用的相对应目标权重参数与该初始权重参数来产生该目前待插补位置所对应的该目标权重参数。

10.如权利要求9所述的图像处理装置，其另包含有：

一低通滤波器，耦接于该运动补偿电路与该图像混合电路，用来依据邻近的待插补位置在产生相对应目标图像数据块时所使用的相对应目标权重参数与该初始权重参数来计算一平均值以作为该目标权重参数。 

Images