CN1305007C - 动态影像象素的检测和重建方法 - Google Patents

Abstract

本发明公开了一种动态影像象素的检测和重建方法，提出将一种静态计数图作为交错扫描到循序扫描转换的影像中遗漏象素的重建计算方法。首先判断该遗漏象素是位于静态区域还是非静态区域，并分别以前后场内插法与周边场内插法达到最佳重建遗漏象素的目的。其重建步骤包括有：输入该时间场与多个参考场；扫描出影像中该时间场中的该遗漏象素；计算环绕该遗漏象素四周象素的一个差异值；比较该差异值与一个临界值的大小；修正一个静态计数器的值，根据该差异值与该临界值的比较结果来修正；重建该遗漏象素，根据该静态计数器的值以前后场内插法或周边场内插法来重建该遗漏象素；输出重建的解交错象素；和计算是否扫描与重建步骤完成。

Description

动态影像象素的检测和重建方法

技术领域

本发明涉及一种动态影像象素的检测和重建方法，提出一种将静态计数图(Static counter map)作为交错扫描(interlaced-scan)影像中遗漏象素(missing pixels)的重建判断方法，判断该象素是位于静态区域(staticregion)还是非静态区域(non-static region)，再以内插法达到重建遗漏象素的目的。

背景技术

一种现有技术中的动态调整算法(motion-adaptive algorithm)以邻近周边象素之间的差异作为判断交错扫描影像中遗漏象素位于静态区域还是非静态区域。如果判断该遗漏象素位于静态区域，便以利用邻近场(neighboring fields)象素信息的前后场内插法(inter-field interpolation)来重建该遗漏象素；如果判断遗漏象素位于非静态区域，则通过扫描场(scanfield)的邻近原扫描线(neighboring original scan lines)信息的周边场内插法(intra-field interpolation)来重建该遗漏象素。

参照图1A现有技术的前后场内插法示意图。其中遗漏象素10发生于循序扫描(progressive-scan)到交错扫描转换中所丢弃的象素中，如图所示的X，而表示为○的、该遗漏象素10的前时间象素11与后时间象素13分别为时间场F(n-1)与F(n+1)中原本存在的象素，其每一个时间上该象素的坐标为(x，y)，前时间象素11、遗漏象素10与后时间象素13分别在三个不同的显示时间，若要重建该遗漏象素10，此前后场内插法即为将前时间象素11与后时间象素13的影像信息求平均值得到遗漏象素10的重建值，即：

$X=\frac{[F(x,y,n-1)+F(x,y,n+1)]}{2}---\left(1\right)$

其中，F(x，y，n-1)为前象素11的象素函数，F(x，y，n+1)为后时间象素13的象素函数。

参照图1B中现有技术的周边场内插法示意图。其中遗漏象素10位于图中所示的X，而所示为○的、第一位置象素14与第二位置象素16为原本存在的象素，第一位置象素14、遗漏象素10与第二位置象素16的坐标分别为(x，y-1)、(x，y)与(x，y+1)，为同一时间场F(n)三个上下象素的显示，若要重建遗漏象素10，以周边内插法将第一位置象素14与第二位置象素16的影像信息求平均值得到遗漏象素10的重建值，即：

$X=\frac{[F(x,y-1,n)+F(x,y+1,n)]}{2}---\left(2\right)$

其中，F(x，y-1，n)为第一位置象素14的象素函数，F(x，y+1，n)为第二位置象素16的象素函数。

欲决定遗漏象素10处于静态还是非静态区域，可以利用该遗漏象素10四周邻近象素的信息差异来判断，若差异值小于一个临界值(threshold)，表示该遗漏象素10四周象素为静态，则判断该遗漏象素10为静态；若差异值大于或等于该临界值，则四周象素为非静态，即判断该遗漏象素10位于动态区域。

参照图2现有技术中的计算差异值方法示意图。本图所示为上述差异值的计算方法，利用图中所示为X的遗漏象素20的前时间场21与后时间场23中所示为○的周边原本存在的象素计算差值的绝对值总和(sum ofabsolute difference，SAD)，即将上述图1A前后时间场的前后内插法与图1B上下位置的周边内插法联合运算，其演算式如下：

$\mathrm{Diff}(x,y,n)=\underset{(i,j)\∈\mathrm{\Γ}}{\mathrm{\Σ}}|f(i,j,n-1)-f(i,j,n+1)|---\left(3\right)$

Γ＝{(x，y-2)，(x，y)，(x，y+2)，(x-1，y)，(x+1，y)}    (4)

其中Diff(x，y，n)为差异值函数式，∑|f(i，j，n-1)-f(i，j，n+1)|为遗漏象素20前后时间场的周边象素计算差值的绝对值总和，函数f(i，j，n-1)表示在图2所示的前时间场21，函数为F(n-1)内的各象素函数，包含各象素的信息，f(i，j，n+1)则表示在后时间场23，函数为F(n+1)内的各象素函数，而(i，j)则表示前后时间场象素的位置，位置包括有(x，y-2)、(x，y)、(x，y+2)、(x-1，y)与(x+1，y)。

图3为现有技术的动态象素调整演算流程图。如图所示，F(n)为一时间场函数，动态象素调整演算开始时，此时间场函数F(n)被解交错(deinterlaced)计算301，一个解交错处理器(deinterlacing processor)输入时间场F(n)、前时间场F(n-1)与一个函数为F(n+1)的后时间场303。之后，扫描出影像中时间场F(n)中的遗漏象素，并在一个光栅循序中执行内插305，也就是由影像的左上至右下循序扫描，之后以图2所述的演算式计算环绕遗漏象素四周象素的差异值307，并通过此与一个临界值比较来判断遗漏象素是位于静态或非静态区域309，如果差异值Diff小于此临界值，便以图1A所述的前后场内插法重建311，若差异值Diff大于或等于临界值，则以图1B所述的周边场内插法重建313，再输出重建的解交错象素315，之后判断是否结束此场函数F(n)的解交错演算317，若否，则继续扫描遗漏象素，并在一个光栅循序中执行内插305，直到时间场F(n)内遗漏象素完全重建；若是，则表示结束此场函数F(n)的解交错演算319。

以上所述为现有技术中动态象素调整演算流程，此方法简单又易实施，但因为仅以一个场的差异值来判断遗漏象素位于静态或非静态区域，虽然可以用于区域动态象素的判断，但却会对快速动作或含糊不清的动作作出为静态区域的错误判断，这是因为在邻近场之间的差异会因快速动作或含糊不清而判断为小于临界值，并使用前后场内插法而造成错误的遗漏象素重建。如果只有一两个遗漏象素因错误判断重建还不会有太大的影响，若有很多需要重建的象素便会造成相当程度的影像失真。

为解决上述因错误判断造成影像遗漏象素的错误重建，本发明提出一种动态影像象素的检测和重建方法来达到正确的静态与非静态区域判断。

发明内容

本发明关于一种动态影像象素的检测和重建方法，提出将一种静态计数图作为影像中遗漏象素的重建计算方法，以静态计数器累加邻近遗漏象素的周边信息，正确判断该象素是位于静态区域还是非静态区域，并分别以周边场内插法与前后场内插法达到最佳重建遗漏象素的目的。

为达成上述目的，本发明动态影像象素的检测和重建方法利用解交错计算一个包括遗漏象素的时间场，在一个解交错处理器中输入时间场，另外输入前一个时间场与后一个时间场，并将该遗漏象素扫描出，再计算环绕该遗漏象素四周象素的一个差异值，比较该差异值与一个临界值的大小，并以静态计数器的值来决定是以前后场内插法还是以周边场内插法来重建遗漏象素，之后再输出重建的解交错象素，最后判断是否结束该时间场的解交错演算，直到全部遗漏象素重建。

附图说明

图1A为现有技术的前后场内插法示意图；

图1B为现有技术的周边场内插法示意图；

图2为现有技术的计算差异值方法示意图；

图3为现有技术的动态象素调整演算流程图；

图4为本发明实施例使用静态计数图的动态象素调整演算流程图；

图5A为本发明实施例的静态计数图上层场示意图；

图5B为本发明实施例的静态计数图下层场示意图；

图5C为本发明实施例的静态计数图示意图；

图6为本发明实施例的差异值计算示意图；

图7为本发明实施例的边界导向周边影格内插法示意图；

图8为本发明实施例的动态影像象素调整演算流程图。

附图标记说明

10遗漏象素              11前时间象素

13后时间象素            14第一位置象素

16第二位置象素          20遗漏象素

21前时间场                23后时间场

51原扫描线                53原扫描象素

55扫描线                  57扫描象素

501第一遗漏象素           503第二遗漏象素

61第一时间场              63第二时间场

65第三时间场              67第四时间场

70遗漏象素                71第一邻近象素

72第二邻近象素            73第三邻近象素

74第四邻近象素            75第五邻近象素

76第六邻近象素            D1第一差异值

D2第二差异值              Th1第一个临界值

Th2第二临界值

具体实施方式

参照图4本发明实施例使用静态计数图的动态象素调整演算流程，提出将静态计数图作为判断静态与非静态区域的根据。如图所示，F(n)为一时间场函数，此动态象素调整演算流程开始时，此时间场函数F(n)被解交错计算(步骤401)，解交错处理器输入一时间场F(n)，与多个参考场，如前时间场F(n-1)与一函数为F(n+1)的后时间场(步骤403)，之后，以光栅循序扫描出影像中时间场F(n)中的遗漏象素，并执行内插(步骤405)，该遗漏象素发生于循序扫描到交错扫描转换中所丢弃的象素中。以图2所述的差异值演算式，即公式(3)，计算环绕遗漏象素四周象素的差异值(步骤407)，并通过此与一个临界值比较来判断遗漏象素是位于静态或非静态区域(步骤409)，并根据该差异值与临界值的比较结果修正静态计数器的值，如果差异值小于此临界值，则判断该遗漏象素位于静态区域，便增加值1到静态计数器的值(步骤411)，并以前述判断累积此静态计数值(步骤413)，当此静态计数值小于所定的计数临界值，仍以现有技术重建非静态遗漏象素的周边场内插法重建该遗漏象素(步骤419)；当此静态计数值累积到大于或等于计数临界值时，便以前后场内插法重建遗漏象素(步骤415)。当计算环绕遗漏象素四周象素的差异值大于或等于临界值(步骤409)，则判断该遗漏象素位于动态区域，清除静态计数器的值(步骤417)，使之为0，并继续以图1B所述的周边场内插法重建遗漏象素(步骤419)。再输出重建的解交错象素(步骤421)，之后，计算是否扫描与重建步骤完成，以判断是否结束此场函数F(n)的解交错演算(步骤423)，若否，则继续扫描遗漏象素并在光栅循序中执行内插(步骤405)，直到时间场F(n)内遗漏象素完全重建；若是，则表示结束此场函数F(n)的解交错演算(步骤425)。

在图5A至图5C中所示为本发明实施例的静态计数图运作示意图，其中将影像画面分别分为上层场(top-field)与下层场(bottom-field)。如图5A本发明实施例的静态计数图上层场示意图与图5B本发明实施例的静态计数图下层场示意图所示，黑色部分形成的条状矩形为原扫描线51(original scan lines)，而黑方块为原扫描象素53(original pixels)，白色部分则分别为扫描线55(missing scan lines)与扫描象素57(missing pixels)。符号X所示为被重建的第一遗漏象素501与第二遗漏象素503，图5C为本发明实施例的静态计数图示意图，其中符号X所示为累加的遗漏象素，图中静态计数图累加图5A上层场的第一遗漏象素501与图5B所示下层场的第二遗漏象素503。

为改善判断遗漏象素位于静态或非静态区域的准确度，本发明同时计算上层场与下层场影像的差异值。图6为本发明实施例的差异值计算示意图。本发明在影像画面中使用四个场来计算差异值，分别是第一时间场61，函数为F(n-2)，第二时间场63，函数为F(n-1)，该遗漏象素所在的第三时间场65，函数为F(n)，第四时间场67，函数为F(n+1)。其中需要被解交错的场为有遗漏象素的第三时间场65，其余为计算差异值所需的参考场，以第三时间场65为基准，也就是遗漏象素所在的基准场，如图6所示，第一时间场61为再前状态的时间场，与该第三时间场65有相同扫描状态的时间场，第二时间场63为之前状态的时间场，第四时间场67为之后状态的时间场，而此第二时间场63与第四时间场67为与该第三时间场65不同的扫描状态的时间场。并通过第一时间场61与第三时间场65的各象素位置计算出第一差异值D1；通过第二时间场63与第四时间场67各象素位置计算出第二差异值D2，其演算式分别如下：

$D1(x,y,n)=\underset{(i,j)\∈\mathrm{\Γ}1}{\mathrm{\Σ}}|f(i,j,n)-f(i,j,n-2)|---\left(5\right)$

$D2(x,y,n)=\underset{(i,j)\∈\mathrm{\Γ}2}{\mathrm{\Σ}}|f(i,j,n-1)-f(i,j,n+1)|---\left(6\right)$

其中Γ1与Γ2为象素的位置，分别如下：

Γ1＝[(x-1，y-1)，(x，y-1)，(x+1，y-1)，(x-1，y+1)，(x，y+1)，(x+1，y+1)]    (7)

Γ2＝[(x，y-2)，(x，y)，(x，y+2)，(x-1，y)，(x+1，y)]           (8)

上述的公式(7)的象素位置代表图6中的第一时间场61与第三时间场65的象素位置，而公式(8)的象素位置代表图6中的第二时间场63与第四时间场67的象素位置，再通过公式(5)与公式(6)来计算该遗漏象素周边场的差异性。

图7为本发明实施例的边界导向周边影格内插法示意图。此边界导向周边内插法选择该遗漏象素的周边对角位置象素的函数差异最小者，则该对角位置象素的平均值即为该遗漏象素的重建值。如图所示，符号X表示一个遗漏象素70，其邻近的象素有第一邻近象素71、第二邻近象素72、第三邻近象素73、第四邻近象素74、第五邻近象素75与第六邻近象素76，利用相对应的邻近象素之间差异性来判断该遗漏象素70为静态或非静态。

其中，第一差值U1表示为对角位置第一邻近象素71与第六邻近象素76的差异；第二差值U2表示为对角位置第二邻近象素72与第五邻近象素75的差异；第三差值U3表示第三邻近象素73与第四邻近象素74的差异，并找出其中最小的差值当作静态象素与非静态象素的判断标准。若最小值为U1，如图所示，则遗漏象素70为第一邻近象素71与第六邻近象素76的平均值；若最小值为U2，则遗漏象素70为第二邻近象素72与第五邻近象素75的平均值；若最小值为U3，则遗漏象素70为第三邻近象素73与第四邻近象素74的平均值。之后再进一步以中间值过滤法得到遗漏象素70的重建值，此中间值过滤法为限制该遗漏象素重建值误差，并找出该遗漏象素与上下相对象素的中间值作为该遗漏象素重建值的方法，本实施例为找出与第二邻近象素72、第五邻近象素75的中间值，以此中间值作为遗漏象素70新的重建值。以上所述为边界导向周边影格内插法(edge-oriented intra-frame interpolation)与中间值过滤法(median filtering)的实施内容。

参照图8本发明实施例的动态影像象素调整演算流程图，以图6所示各场间的差异性计算出的第一差异值D1与第二差异值D2，并设定两个相对应的临界值来判断遗漏象素为静态还是非静态。如图所示，F(n)为一时间场函数，此动态象素调整演算流程开始时，此时间场函数F(n)被解交错计算(步骤801)，解交错处理器输入各时间场函数(步骤803)，分别为第一时间场61，函数为F(n-2)、第二时间场63，函数为F(n-1)、该遗漏象素所在的第三时间场65，函数为F(n)与函数为F(n-1)的第四时间场67，之后，扫描出影像中时间场F(n)中的遗漏象素并在光栅循序中执行内插(步骤805)，以图2所述的差异值演算式，并通过图6所示各场间差异计算差异值(步骤807)，分别是如公式(5)的第一时间场61与第三时间场65计算出第一差异值D1，和如公式(6)的第二时间场63与第四时间场67计算第二差异值D2，再设定相对应的第一临界值Th1与第二临界值Th2，并通过此两个临界值与两个差异值比较来判断遗漏象素是位于静态或非静态区域(步骤809)。

之后，如果第一差异值D1小于此第一临界值Th1与第二差异值D2小于第二临界值Th2，则判断该遗漏象素位于静态区域，增加值1于静态计数器的值(步骤811)，并以此判断累积此静态计数值(步骤813)，当此静态计数值小于所定的计数临界值，以图7所示的边界导向周边影格内插法重建该遗漏象素(步骤819)，当此静态计数值累积到大于或等于计数临界值时，则以现有技术的前后场内插法重建遗漏象素(步骤815)。

在判断环绕遗漏象素四周象素差异值与临界值的差异(步骤809)时，当第一差异值D1大于等于第一个临界值Th1或者第二差异值D2大于等于第二临界值Th2，则判断遗漏象素位于动态区域，便清除静态计数器的值(步骤817)，使之为0，并继续以图7所示的边界导向周边影格内插法重建该遗漏象素(步骤819)，接着以中间值过滤法得到遗漏象素的重建(步骤821)。再输出重建的解交错象素(步骤823)，之后判断是否结束此场函数F(n)的解交错演算(步骤825)，若否，则回到之前步骤继续扫描遗漏象素并在光栅循序中执行内插(步骤805)，直到时间场F(n)内遗漏象素完全重建；若是，则表示结束此场函数F(n)的解交错演算(步骤827)。

以上为本发明动态影像象素的检测和重建方法实施例的详细说明，本发明通过静态计数图改善对遗漏象素静态与非静态的判断，用以正确重建遗漏象素，另外使用边界导向周边影格内插法与中间值过滤法进行更严格的重建。

Claims (19)

1、一种动态影像象素的检测和重建方法，使用于重建遗漏象素，该遗漏象素位于一时间场内，通过解交错演算重建位于一时间场内的遗漏象素，其重建步骤包括有：

1)输入该时间场与多个参考场；

2)扫描出影像中该时间场中的该遗漏象素；

3)计算环绕该遗漏象素四周象素的一个差异值；

4)比较该差异值与一个临界值的大小；

5)修正一个静态计数器的值，根据该差异值与该临界值的比较结果来修正；

6)重建该遗漏象素，根据该静态计数器的值以前后场内插法或周边场内插法来重建该遗漏象素，以获得一解交错象素；

输出该解交错象素；和

判断是否结束解交错演算，若否，则继续扫描遗漏象素，重复上述步骤2)～6)，若是，则结束解交错演算。

2、如权利要求1所述的动态影像象素的检测和重建方法，其中该遗漏象素为在循序扫描到交错扫描转换中所丢弃的象素。

3、如权利要求1所述的动态影像象素的检测和重建方法，其中该参考场为该时间场的前时间场与后时间场。

4、如权利要求1所述的动态影像象素的检测和重建方法，其中该差异值为该遗漏象素的该前时间场与该后时间场的多个周边象素间差值的绝对值总和

5、如权利要求1所述的动态影像象素的检测和重建方法，其中若该差异值小于该临界值，则该静态计数器的值加1，若该差异值大于或等于该临界值，则清除该静态计数器的值为0。

6、如权利要求1所述的动态影像象素的检测和重建方法，其中若该静态计数器的值大于或等于一个计数临界值，则通过前后场内插法重建该遗漏象素，若该差异值小于该计数临界值，则通过周边场内插法重建该遗漏象素。

7、如权利要求1所述的动态影像象素的检测和重建方法，其中该前后场内插法是将该遗漏象素的前时间象素与后时间象素的影像信息求平均值得到该遗漏象素重建值的方法。

8、如权利要求1所述的动态影像象素的检测和重建方法，其中该周边场内插法是将第一位置象素与第二位置象素的影像信息求平均值得到该遗漏象素重建值的方法。

9、一种动态影像象素的检测和重建方法，用于重建遗漏象素，通过解交错演算重建位于一时间场内的遗漏象素，其重建步骤包括有：

1)输入该时间场与多个参考场；

2)扫描出影像中该时间场中的该遗漏象素；

3)计算环绕遗漏象素四周象素的第一差异值，该第一差异值为与该遗漏象素的时间场有相同扫描状态的周边时间场所计算；

4)计算环绕遗漏象素四周象素的第二差异值，该第二差异值为与该遗漏象素的时间场有不同扫描状态的周边时间场所计算；

5)比较该第一差异值、该第二差异值与第一临界值、第二临界值大小；

6)修正静态计数器的值，其是根据上述步骤5)的比较结果来修正；

7)重建该遗漏象素，根据该静态计数器的值以前后场内插法或边界导向周边场内插法来重建该遗漏象素，以获得一解交错象素；

8)输出该解交错象素；和

9)判断是否结束解交错演算，若否，则继续扫描遗漏象素，重复上述步骤2)～8)，若是，则结束解交错演算。

10、如权利要求9所述的动态影像象素的检测和重建方法，其中该遗漏象素为在循序扫描到交错扫描转换中所丢弃的象素。

11、如权利要求9所述的动态影像象素的检测和重建方法，其中该多个参考场为上层场中该遗漏象素所在的时间场的前后多个时间场。

12、如权利要求9所述的动态影像象素的检测和重建方法，其中该多个参考场为下层场中该遗漏象素所在的时间场的前后多个时间场。

13、如权利要求11或12所述的动态影像象素的检测和重建方法，其中该第一差异值或第二差异值为该遗漏象素的该前时间场与该后时间场的多个周边象素间差值的绝对值总和。

14、如权利要求9所述的动态影像象素的检测和重建方法，其中若该第一差异值小于该第一临界值并该第二差异值小于该第二临界值，则该静态计数器的值加1，若该第一差异值大于等于该第一临界值或者该第二差异值大于等于该第二临界值，则清除静态计数器的值为0。

15、如权利要求9所述的动态影像象素的检测和重建方法，其中若该静态计数器的值大于等于一个计数临界值，则以该前后场内插法重建该遗漏象素，若该静态计数器的值小于该计数临界值，则以该边界导向周边场内插法重建该遗漏象素。

16、如权利要求9所述的动态影像象素的检测和重建方法，其中该前后场内插法为将该遗漏象素的前时间象素与后时间象素的影像信息求平均值得到该遗漏象素重建值的方法。

17、如权利要求15所述的动态影像象素的检测和重建方法，其中该边界导向周边场内插法若选择该遗漏象素的周边对角位置象素的函数差异最小者，则该对角位置象素的平均值即为该遗漏象素的重建值。

18、如权利要求17所述的动态影像象素的检测和重建方法，其中在该边界导向周边场内插法重建该遗漏象素之后，再进一步以中间值过滤法限制该遗漏象素重建值误差。

19、如权利要求18所述的动态影像象素的检测和重建方法，其中该中间值过滤法为找出该边界导向周边场内插法与上下相对象素的中间值作为该遗漏象素重建值的方法。

Images