CN101472054A - 加强数字视频的方法以及使用该方法的装置 - Google Patents

Abstract

本发明是关于一种加强数字视频的方法以及使用该方法的装置。此方法包括：取出一像素数据区块；以所述的像素数据区块为中心，决定一搜寻范围以及一参考区块；将所述的搜寻范围分为多个大小相等于所述的参考区块的比较区块；将所述的这些比较区块逐一与所述的参考区块比较，依照比较结果分别给予对应的权重值；将所述的这些比较区块中的计算区块，乘以所述的这些区块对应的权重值，得到多个权重区块；累加所述的这些权重区块以得到一总和像素数据区块；将所述的这些权重值累加以得到一总和权重值；将所述的总和像素数据利用所述的总和权重值来正规化，得到一影像加强的像素数据区块。

Description

加强数字视频的方法以及使用该方法的装置

技术领域

本发明是有关于一种数字视频相关的技术，且特别是有关于一种加强数字视频的方法以及使用该方法的装置。

背景技术

近年来，由于科技的进步，多媒体的形式愈加多样化。对于数字视频来说，例如数字相片、数字显示器、数字影片或是数字视频广播技术，影像加强的更被重视，其中噪声的滤除是相当重要的。在过去，有许多有关于数字视频中消除噪声的研究，例如高斯过滤(Gaussian filtering)、双边过滤(Bilateralfiltering)、甚至是小波演算法(Wavelet)等等。

上述几种演算法，有些效果很好，但是复杂度过高，不易于硬件实现。因此上述几种消除噪声的方法，大部分是用软件配合高运算能力的处理器来实现。又由于上述噪声消除方式的运算量极大，因此，对于需要及时输出的数字影像，例如数字电视或是数字摄影器材，则无法使用上述的实施方式。例如美国专利公告第20070053477号文件公开了一种使用小波转换(WaveletTransfer)技术来实施消除噪声，但是由于小波转换的运算太过复杂，因此只能使用在静态影像例如所述的专利说明书所提的计算机断层(ComputedTomography)影像。

另一篇美国专利公告第20070177817号文件公开了一种消除噪声的方法与数字相机。然而，上述文件所公开的技术，由于使用了复杂的演算法，势必须要使用电脑的演算，才可以达成，否则，只能使用于数字相机这种处理静态画面的情况。

因此，需要有一种运算较快速的消除噪声的方法与装置，能够应用于动态画面消除噪声。

发明内容

有鉴于此，本发明的一目的就是在提供一种加强数字视频方法，用以容易实施于硬件上，并且使噪声滤除效果更好。

本发明的一目的就是在提供一种加强数字视频的装置，用以简少硬件需求，增加噪声滤除效果，及去除影像上的区块效应(block effect)。

为达上述或其他目的，本发明提出一种加强数字视频的方法。此方法包括下列步骤：取出一像素数据区块；以上述像素数据区块为中心，决定一搜寻范围以及一参考区块；将上述搜寻范围分为多个大小相等于参考区块的比较区块；将上述比较区块逐一与参考区块比较，依照比较结果分别给予对应的权重值；将上述比较区块中的计算区块，乘以上述比较区块对应的权重值，得到多个权重区块，其中上述计算区块在比较区块中的位置相同于像素数据区块在参考区块中的位置；累加上述权重区块以得到一总和像素数据区块；将上述权重值累加以得到一总和权重值；将总和像素数据利用所述的总和权重值来正规化，得到一影像加强的像素数据区块。

依照本发明的较佳实施例所述的加强数字视频的方法，其中像素数据区块是由一存储器中取出，且上述步骤包括：将影像加强的像素数据区块存入存储器以取代原始的像素数据区块。

本发明提出一种加强数字视频的装置，此装置包括存储器、权重计算模块、累加模块以及平均模块。存储器用以储存一图形数据。权重计算模块用以由存储器中取出一参考区块，其中此参考区块包括一像素数据区块，并由参考区块在图形数据所在的位置为中心的一固定范围内，依序由存储器中取出多个比较区块，并且一一与参考区块作比较，并且相对应的给予上述多个比较区块多个权重值。累加模块将所取出的比较区块中的权重区块乘以对应的权重值后累加，得到一总和像素数据区块，其中上述权重区块在比较区块的位置相同于像素数据区块在参考区块中的位置。平均模块用以累加上述权重值，以得到总和权重值，并将总和像素数据区块利用所述的总和权重值来正规化，得到一影像加强的像素数据区块。

本发明的精神是在于以区块为单位，来做影像加强的演算法。而相较于现有的技术，现有技术是用像素为单位来输出。因此本发明可以在单位时间内，数据产出(throughput)的速度为现有技术的许多倍。另外，相较于现有技术，除了噪声抑制能力，还可以去除影像上的区块效应(block effect)。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明如下。

附图说明

图1是根据本发明实施例所绘示的加强数字视频装置的电路方块图。

图2是根据本发明实施例所绘示的区块定义示意图。

图3是用以说明权重值判定标准的示意图。

图4A～图4C分别是用以说明在固定范围22中如何分割比较区块CBK的示意图。

图5是根据本发明实施例所绘示的加强数字视频装置的较详细电路图。

图6A是根据本发明实施例所绘示的加强数字视频的方法的流程图。

图6B是根据本发明实施例步骤75～77所绘示的加强数字视频的方法的流程图。

附图标号

11：存储器

12：权重计算模块

13：累加模块

14：平均模块

501：参考区块取出模块

502：比较区块取出模块

503：权重计算单元

504：区块分离模块

505：累加单元

506：输入模块

507：输出模块

508：主控模块

具体实施方式

图1是根据本发明实施例所绘示的加强数字视频装置的电路方块图。请参考图1，此装置包括存储器11、权重计算模块12、累加模块13以及平均模块14。此电路的耦接关系如图所绘示。一开始，存储器11会先储存一笔图形数据。此笔图形数据可以是一张完整的图形或是一部分的图形。图2是根据本发明实施例所绘示的区块定义示意图。为了方便说明，在此通过图2的区块定义示意图辅助说明本实施例。请参考图1以及图2。假设存储器11储存了上述的图片数据，并且假设影像加强的操作开始处理像素数据区块201。权重计算模块12会由存储器11中取出一参考区块20。在此实施例中，此参考区块20的大小为5 x 5的区块，且在其中的像素数据区块201的大小为3×3的区块。接下来，权重计算模块12会在固定范围22之中，从存储器11中依序取出大小与参考区块20相同的比较区块CBK，并且一一与参考区块20作比较，并依照比较区块CBK与参考区块20的相似度给予每一个比较区块CBK一个对应的权重值。一般来说，当比较区块CBK与参考区块20越相似时，其对应的权重值会越大。

图3是用以说明权重值判定标准的示意图。请参考图3，假设参考区块为区块REF。由图3可以看出，比较区块CBK₀₁与参考区块REF较为近似，因此比较区块CBK₀₁的权重值较大。比较区块CBK₀₂相对于参考区块REF几乎完全不同，因此比较区块CBK₀₂的权重值较小。

图4A～图4C分别是用以说明在固定范围22中如何分割比较区块CBK的示意图。请参考图4A～图4C。图4A中以每个像素为中心取出比较区块CBK；图4B中以梅花阵的点为中心取出比较区块CBK；图4C中以互相间隔2个像素为中心取出比较区块CBK。图4C是根据本发明实施例，取得比较区块CBK互相间隔2个像素。由此实施例中可以看出，比较区块CBK可以有许多种不同的分割法。本领域具有通常知识者可以根据硬件设计的不同，弹性的改变比较区块CBK之间的间隔或是比较区块CBK的撷取与分割方式。

在同时，累加模块13会将所取出的比较区块CBK中的权重区块WB的每一个像素乘以所取出的比较区块CBK所对应的权重值之后累加起来，其中权重区块WB在比较区块的位置是相同于像素数据区块201在参考区块20中的位置。当所有的比较区块CBK都与参考区块20比较过后，得到一总和像素数据区块。若以数学表示，则可以如下表示：

$\left[\begin{array}{ccc}{\mathrm{WB}}_0^1& {\mathrm{WB}}_1^1& {\mathrm{WB}}_2^1\\ {\mathrm{WB}}_3^1& {\mathrm{WB}}_4^1& {\mathrm{WB}}_5^1\\ {\mathrm{WB}}_6^1& {\mathrm{WB}}_7^1& {\mathrm{WB}}_8^1\end{array}\right]W^1+\left[\begin{array}{ccc}{\mathrm{WB}}_0^2& {\mathrm{WB}}_1^2& {\mathrm{WB}}_2^2\\ {\mathrm{WB}}_3^2& {\mathrm{WB}}_4^2& {\mathrm{WB}}_5^2\\ {\mathrm{WB}}_6^2& {\mathrm{WB}}_7^2& {\mathrm{WB}}_8^2\end{array}\right]W^2+....+\left[\begin{array}{ccc}{\mathrm{WB}}_0^n& {\mathrm{WB}}_1^n& {\mathrm{WB}}_2^n\\ {\mathrm{WB}}_3^n& {\mathrm{WB}}_4^n& {\mathrm{WB}}_5^n\\ {\mathrm{WB}}_6^n& {\mathrm{WB}}_7^n& {\mathrm{WB}}_8^n\end{array}\right]W^n$

$=\left[\begin{array}{ccc}{\stackrel{\‾}{\mathrm{WB}}}_0& {\stackrel{\‾}{\mathrm{WB}}}_1& {\stackrel{\‾}{\mathrm{WB}}}_2\\ {\stackrel{\‾}{\mathrm{WB}}}_3& {\stackrel{\‾}{\mathrm{WB}}}_4& {\stackrel{\‾}{\mathrm{WB}}}_5\\ {\stackrel{\‾}{\mathrm{WB}}}_6& {\stackrel{\‾}{\mathrm{WB}}}_7& {\stackrel{\‾}{\mathrm{WB}}}_8\end{array}\right]$

(方程式1)

其中， $\left[\begin{array}{ccc}{\stackrel{\‾}{\mathrm{WB}}}_0& {\stackrel{\‾}{\mathrm{WB}}}_1& {\stackrel{\‾}{\mathrm{WB}}}_2\\ {\stackrel{\‾}{\mathrm{WB}}}_3& {\stackrel{\‾}{\mathrm{WB}}}_4& {\stackrel{\‾}{\mathrm{WB}}}_5\\ {\stackrel{\‾}{\mathrm{WB}}}_6& {\stackrel{\‾}{\mathrm{WB}}}_7& {\stackrel{\‾}{\mathrm{WB}}}_8\end{array}\right]$ 表示总和像素数据区块， ${\mathrm{WB}}_0^k~{\mathrm{WB}}_8^k$ 表示第k个比较区块的权重区块WB内的像素，W¹～Wⁿ分别表示第1个～第n个所取出的比较区块CBK所对应的权重值。因此 ${\stackrel{\‾}{\mathrm{WB}}}_i={\mathrm{WB}}_i^1*W^1+{\mathrm{WB}}_i^2*W^2+...+{\mathrm{WB}}_i^n*W^n,$ i＝0～8。

在上面运作的同时，平均模块14会累加上述权重值W¹～Wⁿ以得到总和权重值。当上述的权重计算模块12把固定范围22的权重都计算完成，并且累加模块13也累加完成后，平均模块14会将总和像素数据区块利用所述的总和权重值来正规化，得到影像加强的像素数据区块。在此同时，权重计算模块12以及累加模块13便会开始处理下一个参考区块21以及下一个像素数据区块211。一般来说，正规化是可以用除法的方式实施。

图5是根据本发明实施例所绘示的加强数字视频装置的较详细电路图。请参考图5，在此实施例中，权重计算模块12包括参考区块取出模块501、比较区块取出模块502以及权重计算单元503。累加模块13包括区块分离模块504以及累加单元505。另外，此加强数字视频装置还包括输入模块506、输出模块507以及主控模块508。此电路的耦接关系请参考图5。输入模块506主要是用以从输入的视频信号取出影像数据，并将所取出的影像数据存入存储器11。一般来说，当此装置是用来处理动态影像时，存储器11可以是线缓冲器。假设输入的图框影像原本是YCbCr-422，输入模块506可以例如将每一个图框的影像，缩减转换为YCbCr-420格式，并且储存至线缓冲器11中。

输出模块507是用以取出存储器11中所储存的影像加强后的数据，并将YCbCr-420转成YCbCr-422的信号格式。参考区块取出模块501用以取出参考区块，并放置在其内部暂存器中。比较区块取出模块502用以在固定范围内，依序取出比较区块CBK，并放置在其内部暂存器中。权重计算单元503用以比较参考区块与比较区块，依据上述参考区块与比较区块的近似度得到权重值。要比较两区块是否近似，一般的方法就是直接将两区块内，对应的像素相减，之后取绝对值。并且把相减之后的区块的所有的像素差值相加以作为判定值。若此判定值越低，则表示两区块越相似。权重计算单元503则可以设计成一个查找表，用以依照判定值的大小输出权重值。

区块分离模块504由比较区块取出模块502的内部暂存器中取出权重区块WB。累加单元505从区块分离模块504取出权重区块WB，并且由权重计算单元503得到的权重值，用以将权重区块WB乘以权重值，并且累加之后得到一总和像素数据区块。最后，平均模块14会将此总和像素数据区块利用所述的总和权重值来正规化，得到影像加强的像素数据区块，之后将其回存回存储器11，并且取代原始的像素数据区块。

主控模块508则是用以控制上述参考区块取出模块501、比较区块取出模块502、权重计算单元503、区块分离模块504、累加单元505以及平均模块14的操作时序。也就是说，通过主控模块508，可以使上述模块502、503、504、505以及14以管线的方式(pipelining)操作。例如累加单元505在运作的同时，比较区块取出模块502可以更新下一个要比较的比较区块，而权重计算单元503也可以开始计算下一个权重值。

由上述实施例，可以看出，此实施例是以区块输出的方式来达到影像加强的演算法。而上述的实施例，为了节省存储器的大小，将所产生的影像加强的像素数据区块取代旧有的像素数据区块。但取代方式是以像素为单位输出，在噪声较大的状况下，消除噪声的效果就会大受影响，效果就会比本发明实施例来的差很多。

上述实施例，可以被整理成一个方法流程图。图6A是根据本发明实施例所绘示的加强数字视频的方法的流程图。请参考图6A。

步骤71：开始。

步骤72：取出一像素数据区块。

步骤73：以此像素数据区块，决定一搜寻范围以及一参考区块。例如以此像素数据区块为中心来决定搜寻范围以及参考区块。然而本领域具有通常知识者应当知道，搜寻范围以及参考区块并非一定要以上述像素数据区块为中心，只需要包括上述像素数据区块即可。故在此不予赘述。

步骤74：将搜寻范围分为多个大小相等于参考区块的比较区块。例如第4图。搜寻范围包括像素(1，1)～像素(M，N)，所述的参考区块包括X个像素×Y个像素，将所述的搜寻范围分为所述的这些比较区块，其中第(i，j)个比较区块的范围为(i，j)、(i+X，j)、(i，j+Y)以及(i+X，j+Y)所围成的区块，其中i、j、X、Y、M、N为自然数，且i+X<＝M、j+Y<＝N。i＝kr+a，a、k与r为大于等于0的整数，a为位移常数，k<＝M-X，r为水平略过常数，r<M-X。j＝ps+b，b、p与s为大于等于0的整数，b为位移常数，p<＝N-Y，s为垂直略过常数，s<N-Y。

步骤75：将上述比较区块逐一与参考区块比较，并依照比较结果分别给予对应的权重值。

步骤76：将上述比较区块中的计算区块，乘以上述区块所对应的权重值，得到多个权重区块，并且累加上述权重区块以得到一总和像素数据区块。此步骤便如同上述的方程式1及其说明，在此不予赘述。

步骤77：将上述权重值累加以得到一总和权重值。

其中，步骤75～77可以分解成以下几个子步骤，请参考图6B：

步骤751：提供一权重值查找表。

步骤752：由上述比较区块中，取出一特定比较区块。

步骤753：将此特定比较区块与参考区块相减取绝对值，得到一比较结果区块。

步骤754：将比较结果区块的每一个像素相加，得到一比较值。

步骤755：利用此比较值，查找权重值查找表，得到一对应权重值。

步骤756：取出上述特定比较区块内的计算区块，并乘以上述的对应权重值，累加入一累加暂存器。

步骤757：将此对应权重值累加并存入一总和权重暂存器。

步骤758：判断是否已经取出所有的比较区块。若是，则进行步骤78。若否，则回到步骤752，直到所有比较区块皆找出所述的对应权重值。

步骤78：将总和像素数据利用所述的总和权重值来正规化，得到影像加强的像素数据区块。例如，将总和像素数据除以总和权重值，得到一影像加强的像素数据区块。得到的影像加强的像素数据区块的大小可以小于或等于参考区块。

步骤79：将此影像加强的像素数据区块存回存储器中，以取代上述像素数据区块。并回到步骤71直到完成图像的去噪声。

综上所述，本发明的精神是在于以区块为单位，来达到影像加强的演算法。因此本发明至少有以下好处：

1.相较于现有的技术，现有技术是用像素为单位来输出。因此本发明可以在单位时间内，数据产出(throughput)的速度为现有技术的许多倍。

2.相较于现有技术，在噪声抑制能力，几乎相同于原本以像素为单位的演算法。

另外，在本发明的实施例中，由于利用取代原本的影像加强的像素数据区块取代上述像素数据区块，因此比起现有技术还多了以下好处：

1.节省存储器的大小以及硬件成本。

2.相较于现有的用像素为单位的运算方式，可以做到更好的去噪声效果。

在较佳实施例的详细说明中所提出的具体实施例仅用以方便说明本发明的技术内容，而非将本发明狭义地限制于上述实施例，在不超出本发明的精神及权利要求范围的情况，所做的种种变化实施，皆属于本发明的范围。因此本发明的保护范围当以权利要求书所界定的为准。

Claims (20)

1.一种加强数字视频的方法，其特征在于，所述的加强数字视频的方法包括：

取出一像素数据区块；

以所述的像素数据区块，决定一搜寻范围以及一参考区块；

将所述的搜寻范围分为多个大小相等于所述的参考区块的比较区块；

将所述的这些比较区块逐一与所述的参考区块比较，依照比较结果分别给予对应的权重值；

将所述的这些比较区块中的计算区块，乘以所述的这些区块对应的权重值，得到多个权重区块，其中，上述计算区块在比较区块中的位置相同于所述的像素数据区块在所述的参考区块中的位置；

累加所述的这些权重区块以得到一总和像素数据区块；

将所述的这些权重值累加以得到一总和权重值；以及

将所述的总和像素数据利用所述的总和权重值来正规化，得到一影像加强的像素数据区块。

2.如权利要求1所记载的加强数字视频的方法，其特征在于，所述的得到一影像加强的像素数据区块，像素数据区块的大小可以小于或等于参考区块。

3.如权利要求1所记载的加强数字视频的方法，其特征在于，所述的像素数据区块是由一存储器中取出，且上述步骤包括：

将所述的影像加强的像素数据区块存入所述的存储器以取代所述的像素数据区块。

4.如权利要求3所记载的加强数字视频的方法，其特征在于，所述的存储器为线缓冲存储器。

5.如权利要求3所记载的加强数字视频的方法，其特征在于，所述的搜寻范围包括像素(1，1)～像素(M，N)，所述的参考区块包括X个像素×Y个像素，且此方法包括：

将所述的搜寻范围分为所述的这些比较区块，其中第(i，j)个比较区块的范围为(i，j)、(i+X，j)、(i，j+Y)以及(i+X，j+Y)所围成的区块，其中i、j、X、Y、M、N为自然数，且i+X<＝M、j+Y<＝N。

6.如权利要求5所记载的加强数字视频的方法，其特征在于，i＝kr+a，a、k与r为大于等于0的整数，a为位移常数，k<＝M-X，r为水平略过常数，r<M-X。

7.如权利要求5所记载的加强数字视频的方法，其特征在于，j＝ps+b，b、p与s为大于等于0的整数，b为位移常数，p<＝N-Y，s为垂直略过常数，s<N-Y。

8.如权利要求1所记载的加强数字视频的方法，其特征在于，将所述的这些比较区块逐一与所述的参考区块比较，依照比较结果分别给予对应的权重值包括：

提供一权重值查找表；

a.由所述的这些比较区块中，取出一特定比较区块；

b.将所述的特定比较区块与所述的参考区块相减取绝对值，得到一比较结果区块；

c.将所述的比较结果区块的每一个像素相加，得到一比较值；

d.利用所述的比较值，查找所述的权重值查找表，得到一对应权重值；以及

e.由所述的这些比较区块中，剔除所述的特定比较区块，回到步骤a，直到所有比较区块皆找出所述的对应权重值。

9.如权利要求1所记载的加强数字视频的方法，其特征在于，所述的搜寻范围可位于前a个图框，其中a为自然数。

10.如权利要求1所记载的加强数字视频的方法，其特征在于，所述的搜寻范围可位于后a个图框，其中a为自然数。

11.如权利要求1所记载的加强数字视频的方法，其特征在于，将所述的总和像素数据利用所述的总和权重值来正规化，得到一影像加强的像素数据区块包括：

将所述的总和像素数据除以所述的总和权重值，得到一影像加强的像素数据区块。

12.一种加强数字视频的装置，其特征在于，所述的加强数字视频的装置包括：

一存储器，用以储存一图形数据；

一权重计算模块，耦接所述的存储器，用以由所述的存储器中取出一参考区块，其中所述的参考区块包括一像素数据区块，并由所述的参考区块在所述的图形数据所在的位置为中心的一固定范围内，依序由所述的存储器中取出多个比较区块，并且一一与所述的参考区块作比较，并且相对应的给予所述的这些比较区块多个权重值；

一累加模块，耦接所述的权重计算模块，将所取出的比较区块中的权重区块乘以对应的权重值后累加，得到一总和像素数据区块，其中所述的权重区块在比较区块的位置相同于所述的像素数据区块在所述的参考区块中的位置；以及

一平均模块，耦接所述的累加模块以及所述的权重计算模块，用以累加所述的这些权重值，以得到总和权重值，并利用所述的总和权重值将所述的总和像素数据区块正规化，得到一影像加强的像素数据区块。

13.如权利要求12所记载的加强数字视频的装置，其特征在于，所述的权重计算模块包括：

一参考区块取出模块，耦接所述的存储器，用以取出所述的参考区块；

一比较区块取出模块，耦接所述的存储器，用以在所述的固定范围内，依序取出所述的这些比较区块；以及

一权重计算模块，耦接所述的参考区块取出模块以及所述的比较区块取出模块，用以比较所述的参考区块与所述的这些比较区块，得到所述的这些权重值。

14.如权利要求12所记载的加强数字视频的装置，其特征在于，所述的累加模块包括：

一区块分离模块，耦接所述的权重计算模块，用以从被取出的比较区块中，分离出所述的这些权重区块；以及

一累加单元，耦接所述的区块分离模块，用以将所述的这些权重区块分别乘以对应的权重值，并且累加之后得到所述的总和像素数据区块。

15.如权利要求12所记载的加强数字视频的装置，其特征在于，所述的平均模块更耦接所述的存储器，用以将所得到的所述的影像加强的像素数据区块储存至所述的存储器，并取代所述的像素数据区块。

16.如权利要求12所记载的加强数字视频的装置，其特征在于，所述的加强数字视频的装置更包括：

一输入模块，耦接所述的存储器，用以从输入的视频信号取出所述的影像数据后，将所述的影像数据输出至所述的存储器。

17.如权利要求12所记载的加强数字视频的装置，其特征在于，所述的加强数字视频的装置更包括：

一输出模块，耦接所述的存储器，用以取出所述的存储器中所储存的影像加强后的数据，并将其转换成指定输出信号格式。

18.如权利要求12所记载的加强数字视频的装置，其特征在于，所述的加强数字视频的装置更包括：

一主控模块，用以控制所述的权重计算模块、所述的累加模块以及所述的平均模块的操作时序。

19.如权利要求12所记载的加强数字视频的装置，其特征在于，所述的存储器为线缓冲器。

20.如权利要求12所记载的加强数字视频的装置，其特征在于，所述的平均模块，用以将所述的总和像素数据区块除以所述的总和权重值，得到一影像加强的像素数据区块。

Images