CN102088613B

CN102088613B - 图像修复方法

Info

Publication number: CN102088613B
Application number: CN 200910247189
Authority: CN
Inventors: 郑帆捷; 黄士嘉; 郭斯彦
Original assignee: Acer Inc
Current assignee: Acer Inc
Priority date: 2009-12-02
Filing date: 2009-12-02
Publication date: 2013-03-20
Anticipated expiration: 2029-12-02
Also published as: CN102088613A

Abstract

本发明揭露一种图像修复方法。当修复图像时，本方法首先应用一统计方法根据多个参考数据产生一数值预测区间。然后再产生数值介于该数值预测区间的修补数据用来修复图像。藉此，可滤除低相关性的参考数据，以提高修复后的图像质量。

Description

图像修复方法

技术领域

本发明是关于一种图像处理方法，尤其是关于一种错误图像的修复方法。

背景技术

图像或是由多张图像所组成的视频，在网络传输时若发生封包遗失或位错误，则会导致其内容的错误。常见的图像修复方法，又称错误隐藏方法，基本上可分为三种，其包含：空间错误隐藏方法、时间错误隐藏方法、以及混合式错误隐藏方法。

空间错误隐藏方法，是取样同一幅图像中错误区块邻近的正确区块的信息，以修复该错误区块。在一幅图像中，一错误像素和其邻近的像素之间在图像内容上可能具有高相关性，例如同为天空的一部分、草地的一部分、或人脸的一部分。因此，可以用错误区块上方、下方、左方以及右方区块中的像素数值进行内插计算，以求得一替代像素的数值来作为错误像素的数值。然而，有时候部分相邻像素的相关性太低，则使得内插计算所得的数值误差太大，因而降低了修复图像的质量。

时间错误隐藏方法，是参考前一张图像找出适合的移动向量，来替代遗失或错误的移动向量以修复错误区块。常见的时间错误隐藏方法有零移动向量法或是边界配对法。零移动向量法，是从前一张图像中找出位置对应于错误区块的一参考区块，并以该参考区块替代当前图像中的错误区块。边界配对法，则是利用错误区块四周边界上的正确像素，用以搜寻最适合的移动向量。然而，零移动向量法具有准确性不佳的缺点，而边界配对法则有计算复杂度太高的缺点。混合式错误隐藏方法，则是指同时使用时间与空间错误隐藏方法以修复错误区块。

以上所述的时间、空间或混合式错误隐藏方法，皆是由多个参考数据中产生一替代数据以置换错误数据。然而，当部分的参考数据与错误数据间相关性太低时，则可能降低修复后的图像质量。有鉴于此，若能提出一种过滤参考数据的方法，则可以达到提高图像质量的效果。

发明内容

本发明的一目的在于提出一种图像修复方法。在修复图像时，本方法可以应用一统计方法过滤参考数据，以提高修复后的图像质量。

于本发明一实施例中提出一种图像修复方法，用以产生一替代数据以置换一图像中的错误数据，该图像修复方法包含：

(a)取样与该错误数据相邻的多个参考数据；

(b)根据该多个参考数据以统计方法产生一数值预测区间；

(c)根据数值预测区间产生多个修补数据，该多个修补数据的数值是介于该数值预测区间；以及

(d)根据多个修补数据产生替代数据。

附图说明

图1显示本发明的图像修复方法流程图。

图2显示应用本发明的空间错误隐藏方法流程图。

图3显示应用本发明的空间错误隐藏方法示意图。

图4显示应用本发明的时间错误隐藏方法流程图。

图5显示应用本发明的时间错误隐藏方法示意图。

[主要元件标号说明]

错误区块EB1、EB2

区块RB

像素L1～L8、p1～p4

像素距离d1～d4

错误像素e1

当前图像CI

前一张图像PI

移动向量数值MV1～MV8

具体实施方式

图1显示本发明的图像修复方法流程图。首先，在步骤110中是取样与错误数据相关的多个参考数据。其中，错误数据可以是欲修复的错误区块中的其中一像素数值，或是该错误区块遗失的移动向量。多个参考数据则是与错误数据具有相关性的数据，例如：空间上相邻于该错误数据的像素的数值，或是时间上相邻于该错误数据的移动向量数值。

步骤120，根据该多个参考数据以统计方法产生一数值预测区间。该数值预测区间是用以过滤该多个参考数据，以避免低相关性的参考数据被应用于修复错误数据。然后在步骤130，根据数值预测区间产生多个修补数据，该多个修补数据的数值是介于该数值预测区间。最后，在步骤140中根据该多个修补数据产生替代数据用以置换该错误数据。下文中，将说明本发明的方法如何应用于空间、时间错误隐藏方法。

请同时参见图2与图3，图2显示应用本发明的空间错误隐藏方法流程图，图3显示应用本发明的空间错误隐藏方法示意图。当以上所述的图像修复方法应用于空间错误隐藏方法时，则步骤210所取样的多个参考数据，是在同一幅图像中相邻于错误区块EB1的像素的数值，例如取样该错误区块EB1上方、下方、左方以及右方各两排相邻的像素L1～L8的数值作为多个参考数据，其中，像素L1～L8共包含64个像素。实际上，像素L1～L8直接相邻于错误区块EB1，图3中为了方便标记符号所以使像素L1～L8稍微远离错误区块EB1。

接着，在步骤220中可以根据像素L1～L8的数值应用例如t分配或常态分配等等的统计方法，产生一像素数值的数值预测区间(V_low，V_high)。其中，V_low是数值预测区间的下限值，而V_high是数值预测区间的上限值。根据统计理论，该数值预测区间(V_low，V_high)可涵盖所有可能出现的像素数值中特定比例的范围，例如涵盖95％可能出现的像素数值的范围。由于根据特定数目的样本应用一统计方法求取数值预测区间为已知技术，且并非本发明的技术特征，所以在此不多作赘述。

步骤230是对应于图1中的步骤130，步骤230包含步骤231、232。其中，步骤231先从多个参考数据中选取部分的参考数据，目的是为了选取与错误像素e1相关性最高的像素。例如，从像素L1～L8中，选取位于欲修复的错误像素e1的左方、上方、右方以及下方最相近的像素p1～p4的数值。步骤232保留该部分的参考数据(即像素p1～p4)中数值介于该数值预测区间(V_low，V_high)者，作为修补数据。假设在一实施例中，像素p1的数值是小于下限值V_low，则移除像素p1的数值并保留剩余的三个像素p2～p4的数值作为修补数据。

最后在步骤240中，空间错误隐藏方法可以采用该多个修补数据(即保留的像素的数值)以已知的内插方法或其它方法产生出一替代数据，用以置换错误像素的数值。例如，在前述实施例中像素p1被移除，所以仅利用剩余的三个像素p2～p4以内插方法产生出用以置换错误像素e1的像素数值。以下列举几种已知的内插方式：

(1)当4个像素数值介于该数值预测区间(V_low，V_high)，例如像素p1～p4在此区间：

其中，d1～d4分别是像素p1～p4距离错误像素e1之间的像素距离。

(2)当3个像素数值介于该数值预测区间(V_low，V_high)，例如像素p2～p4在此区间：

(3)当2个像素数值介于该数值预测区间(V_low，V_high)，例如像素p2、p4在此区间：

修补数据＝(p2+p4)/2

(4)当1个像素数值介于该数值预测区间(V_low，V_high)，例如像素p2在此区间：

修补数据＝p2

此外，若4个像素p1～p4数值皆未介于该数值预测区间(V_low，V_high)内，则本发明一实施例中可以数值预测区间的上限值V_high与下限值V_low的平均值作为修补数据：

修补数据＝(V_low+V_high)/2

通过以上的方式，则本发明所提出的图像修复方法应用于空间错误隐藏方法时，可以滤除相关性较低的参考数据以提高修复的图像质量。

请同时参见图4与图5，图4显示应用本发明的时间错误隐藏方法流程图，图5显示应用本发明的时间错误隐藏方法示意图。图4中的步骤410是对应于图1中的步骤110，当本发明应用于时间错误隐藏方法时，则步骤410包含步骤411、412。步骤411，是于前一张图像PI中找出位置对应于该错误数据的一定位数据。在时间错误隐藏方法中，错误数据是指当前图像CI中一错误区块EB2遗失的移动向量数值。而定位数据，是表示前一张图像PI中的一区块RB，且该区块RB的位置是对应于当前图像CI中错误区块EB2的位置。步骤412，将前一张图像中位置是环绕该定位数据的移动向量数值，定义为多个参考数据。该多个参考数据是位于该定位数据(即区块RB)的左上方、上方、右上方、右方、右下方、下方、左下方以及左方的区块的移动向量数值MV1～MV8。

步骤420，根据该多个移动向量数值MV1～MV8应用例如t分配或常态分配等等的统计方法产生一数值预测区间。由于一移动向量包含有x分量与y分量，因此可根据该多个移动向量数值MV1～MV8分别求得x分量数值预测区间(XV_low，XV_high)与y分量数值预测区间(YV_low，YV_high)。由于根据特定数目的样本应用一统计方法求取预测区间为已知技术，且并非本发明的技术特征，所以在此不多作赘述。

在步骤430是对应于图1中的步骤130，步骤430包含步骤431、432。以产生x分量为例，在步骤431中，先求出x分量数值预测区间的上限值XV_high与下限值XV_low之间的一差值XD。然后，在步骤432中根据该下限值XV_low与该差值XD产生多个x分量修补数据。在本发明一实施例中该些x分量修补数据是定义为XV_low+0.5*kx，0≤kx≤2*XD，且kx为整数。由以上公式可知，kx的数值变化范围介于0到2*XD之间，而多个x分量修补数据是以下限值XV_low加上0.5*kx为单位的数值变化。例如，假设在一实施例中：

x分量数值预测区间(XV_low＝1，XV_high＝4)；

差值XD＝4-1＝3；

0≤kx≤2*XD，亦即0≤kx≤6，且kx为整数；

x分量修补数据＝XV_low+0.5*kx，kx＝0、1、2、3、4、5、6；

x分量修补数据＝1+0.5*0；1+0.5*1；1+0.5*2；1+0.5*3；1+0.5*4；1+0.5*5；1+0.5*6；

最后求出

x分量修补数据＝1、1.5、2、2.5、3、3.5、4

同理，步骤430也可应用y分量数值预测区间(YV_low，YV_high)来产生出多个y分量修补数据。

最后，在步骤440中将所有的X分量修补数据与y分量修补数据应用一比对方法选出其中一组x分量与y分量作为替代数据，用以置换错误区块EB2遗失的移动向量数值。在本发明的实施例中，可以采用已知的边界配对算法或其它的比对方法。举例来说，前述的多个x分量修补数据与y分量修补数据可组合出多个候选的移动向量。边界配对算法根据该些移动向量分别找出前一张图像PI中相对应的边界像素数值，再计算每一边界像素数值与错误区块EB2相邻的边界像素数值之间的平方差值总合。最后，边界配对算法选择具有最小平方差值总合值的移动向量置换错误区块EB2遗失的移动向量。由于边界配对算法或其它的比对方法并非本发明的技术特征，所以在此不多作赘述。

由上述内容可知，本发明所提出的图像修复方法通过取样多个具有相关性的参考数据以统计方法求得一数值预测区间。再保留数值介于该数值预测区间的参考数据作为修补数据，可达到提高修复图像质量的功效。

以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的权利要求范围；凡其它未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含在上述的权利要求范围内。

Claims

1.一种图像修复方法，用以产生一替代数据以置换一图像中的错误数据，该图像修复方法包含：

(a)取样与该错误数据相邻的多个参考数据；

(b)根据该多个参考数据以统计方法产生一数值预测区间；

(c)根据该数值预测区间产生多个修补数据，该多个修补数据的数值是介于该数值预测区间；以及

(d)根据该多个修补数据产生该替代数据。

2.根据权利要求1所述的图像修复方法，其中与该错误数据相邻的该多个参考数据，是在空间上相邻于该错误数据。

3.根据权利要求2所述的图像修复方法，其中该步骤(c)包含：

(c1)从该多个参考数据中选取部分的参考数据；以及

(c2)保留该部分的参考数据中数值介于该数值预测区间者，作为该多个修补数据。

4.根据权利要求2所述的图像修复方法，其中该多个参考数据是空间上环绕该错误数据。

5.根据权利要求4所述的图像修复方法，其中该多个参考数据是位于该错误数据的上方、下方、左方以及右方。

6.根据权利要求4所述的图像修复方法，其中该多个参考数据为像素数值。

7.根据权利要求1所述的图像修复方法，其中该步骤(b)是应用t分配或常态分配的统计方法产生该数值预测区间。

8.根据权利要求1所述的图像修复方法，其中该步骤(d)是采用该多个修补数据以内插方法产生该替代数据。

9.根据权利要求1所述的图像修复方法，其中与该错误数据相邻的该多个参考数据，是在时间上相邻于该错误数据。

10.根据权利要求9所述的图像修复方法，其中该步骤(a)包含：

(a1)在前一张图像中找出位置对应于该错误数据的一定位数据；以及

(a2)将前一张图像中位置系环绕该定位数据的移动向量数值，定义为该多个参考数据。

11.根据权利要求10所述的图像修复方法，其中该多个参考数据是位于该定位数据的左上方、上方、右上方、右方、右下方、下方、左下方以及左方。

12.根据权利要求9所述的图像修复方法，其中该步骤(b)是应用t分配或常态分配的统计方法产生该数值预测区间。

13.根据权利要求9所述的图像修复方法，其中该步骤(c)包含：

(c3)产生该数值预测区间的上限值与下限值之间的一差值；以及

(c4)根据该数值预测区间的下限值与该差值产生该多个修补数据。

14.根据权利要求9所述的图像修复方法，其中该步骤(d)是采用一比对方法选出该多个修补数据其中之一作为该替代数据。

15.根据权利要求14所述的图像修复方法，其中该比对方法是边界配对算法。