CN101835052B - 影像处理装置及影像处理方法 - Google Patents

Abstract

一种影像处理方法包括下列步骤：将第一影像经由噪声滤除并转换而得到亮度信号；将第一影像暂存并输出；将第一影像依据亮度信号进行色彩空间转换处理，而得到第二影像；将第二影像进行线性运算，而得到第三影像；依据第三影像及亮度信号进行色彩空间转换处理，而得到并输出第四影像；以及将第一影像及第四影像进行一误差运算，并输出第四影像。本发明针对单一影像进行线性运算处理以及误差运算处理来滤除影像中的噪声，而可降低系统负荷。

Description

影像处理装置及影像处理方法

技术领域

本发明是关于一种影像处理装置及影像处理方法，特别关于一种能够滤除影像噪声的影像处理装置及影像处理方法。

背景技术

随着具有多媒体显示界面的显示系统蓬勃发展，影像传输技术及影像播放技术也随之有长足的进步。在影像传输技术方面，实时影像为当今流行的一种显示模式，其一般是利用网络摄影机(web camera)将所撷取的影像实时于显示系统上播放出来。

然而，当网络摄影机或显示系统(例如液晶显示器)使用于户外、或背光不足、或光源不足的状况下，影像常会被噪声所严重影响，使得显示系统所显示的影像严重失真，而造成视讯品质不佳。

一般而言，为了改善视讯品质，业者需要投入大量时间及金钱来开发硬件元件(例如集成电路)，并将额外开发的集成电路设置于网络摄影机或显示系统中设置以对撷取或要显示的影像进行运算。此集成电路需要一针对噪声滤除的目的而进行运算处理的特殊用途集成电路(Application Specific Integrated Circuit，ASIC)、内存单元(Memory Unit)以及内存控制电路(Memory Control Circuit)以暂存运算处理中的图形。

特殊用途集成电路的研发设计以及生产过程相当耗时并且耗费成本，特别是此影像处理用途的集成电路更包括内存单元以及内存控制电路，其生产成本远高于单一的特殊用途集成电路。另外，集成电路亦具有相当高的耗电性。

通常对于影像噪声滤除的运算，是利用欲显示的影像与其前一影像而进行非线性运算，以分析出影像中的噪声，再将噪声滤除。然而利用多个影像进行运算处理，除了提高运算复杂度之外，对于硬件也造成相当沉重的负荷，而可能降低系统的效能。

发明内容

鉴于此，本发明提供一种能够取代复杂的硬件运算方式，而以线性运算来滤除彩色影像中的噪声的影像处理装置及影像处理方法。

根据本发明之一特色，一种影像处理方法包括下列步骤：将一第一影像经由噪声滤除并转换而得到一亮度信号，其中第一影像为一第一色彩空间类型；将第一影像暂存并输出；将第一影像依据亮度信号进行色彩空间转换处理，而得到一第二影像，其中第二影像为一第二色彩空间类型；将第二影像进行线性运算，而得到一第三影像；依据第三影像及亮度信号进行色彩空间转换处理，而得到并输出一第四影像，其中第四影像为第一色彩空间类型；以及将第一影像及第四影像进行一误差运算，并输出第四影像。

根据本发明之一特色，一种影像处理装置包括一噪声滤除及转换模块、一暂存模块、一第一色彩空间转换模块、一线性处理模块、一第二色彩空间转换模块以及一误差运算模块。噪声滤除及转换模块将第一影像经由噪声滤除并转换而得到一亮度信号，其中第一影像为一第一色彩空间类型。暂存模块暂存第一影像并输出第一影像。第一色彩空间转换模块将第一影像依据亮度信号进行色彩空间转换处理，而得到一第二影像，其中第二影像为一第二色彩空间类型。线性处理模块将第二影像进行线性运算，而得到一第三影像，其中第三影像为第二色彩空间类型。第二色彩空间转换模块依据第三影像及亮度信号进行色彩空间转换处理，而得到一第四影像，其中第四影像为一第一色彩空间类型。误差运算模块将第一影像及第四影像进行一误差运算，并输出第四影像。

在本发明之一实施例中，其中误差运算模块是依据运算结果而将第四影像输出至一显示系统。

在本发明之一实施例中，其中误差运算模块是依据运算结果而将第四影像输出至暂存模块，以将暂存模块中的第一影像更新为第四影像。

在本发明之一实施例中，其中误差运算为平均平方误差(mean squared error，MSE)运算。

在本发明的一实施例中，其中线性运算包括利用线性低通滤波器对第二影像进行处理，而得到第三影像。

在本发明之一实施例中，其中第一色彩空间类型为RGB色彩空间，第二色彩空间类型为色差色彩空间。

承上所述，依据本发明的影像处理装置及影像处理方法是利用影像处理单元针对单一影像进行线性运算以及误差运算，并利用递归的方式来滤除影像中的噪声。与已知技术相较，本发明的影像处理装置及影像处理方法不需要额外开发硬件元件，亦不需要利用两个以上的影像进行非线性的运算处理，因此可降低系统负荷而提高系统效能，且也可节省硬件元件的成本。

关于本发明的优点与精神可以通过以下的发明详述及所附图式得到进一步的了解。

附图说明

图1是本发明一较佳实施例的影像处理装置的方块示意图；

图2是本发明一较佳实施例的影像处理方法的流程图；以及

图3是本发明一较佳实施例的影像处理方法的详细流程图。

具体实施方式

以下将参照相关图式，说明依据本发明较佳实施例的影像处理装置及影像处理方法。

请参照图1所示，本发明较佳实施例的一种影像处理装置1是配置于一电脑中，其中电脑包括一主机及一显示系统。影像处理装置1包括一撷取模块11、一噪声滤除及转换模块12、一暂存模块13、一第一色彩空间转换模块14、一线性处理模块15、一第二色彩空间转换模块16以及一误差运算模块17。

撷取模块11例如为一网络摄影机，其撷取一第一影像I₁并将第一影像I₁传送至中央处理单元(central processing unit，CPU)或是图形处理单元(graphicsprocessing unit，GPU)以进行后续处理。在本实施例中，第一影像I₁不限定为网络摄影机所撷取，其亦可储存于硬盘中再由撷取模块11读取出来。

噪声滤除及转换模块12接收第一影像I₁，并将第一影像I₁经由噪声滤除及转换后得到一亮度信号S_Y，并分别输出第一影像I₁及亮度信号S_Y，其中第一影像I₁为一第一色彩空间类型。在本实施例中，第一色彩空间类型例如为RGB色彩空间或CMYK色彩空间。

另外，在本实施例中，亮度信号S_Y包括第一影像I₁中各像素(pixel)所对应的亮度值(luminance value)所代表的亮度平面(domain)。更进一步说明，噪声滤除及转换模块12在接收第一影像I₁之后可先将其进行噪声滤除运算之后再转换为亮度信号S_Y，亦可在接收第一影像I₁之后将其转换为亮度信号S_Y之后再对亮度信号S_Y进行噪声滤除运算，于此并不加以限制，其主要目的为得到经过噪声滤除运算的亮度信号S_Y。

暂存模块13暂存第一影像I₁并输出第一影像I₁。在本实施例中，噪声滤除及转换模块12将第一影像I₁输出至暂存模块13，再由暂存模块13将第一影像I₁暂存后并输出。

第一色彩空间转换模块14将第一影像I₁依据亮度信号S_Y进行色彩空间转换处理，而得到一第二影像I₂，其中第二影像I₂为一第二色彩空间类型。在本实施例中，第二色彩空间类型为色差色彩空间，其例如为YCrCb色彩空间、YUV色彩空间、YPbPr色彩空间或(R-Y)(G-Y)(B-Y)色彩空间。

线性处理模块15将第二影像I₂进行线性运算，而得到一第三影像I₃，其中第三影像I₃为第二色彩空间类型。由于在影像中，大部分的噪声属于高频信号，因此在本实施例中，线性处理模块15例如为线性低通滤波处理模块，其滤除第二影像I₂中的高频噪声，而得到具有低频信息的第三影像I₃。

第二色彩空间转换模块16依据第三影像I₃及亮度信号S_Y进行色彩空间转换处理，而得到一第四影像I₄，其中第四影像I₄为一第一色彩空间类型。

需注意者，上述色彩空间转换模块对影像中代表各像素的影像数据分别进行转换。

误差运算模块17将第一影像I₁及第四影像I₄进行一误差运算，并输出第四影像I₄。在本实施例中，误差运算例如为平均平方误差(mean squared error，MSE)运算。

上述由暂存模块13至误差运算模块17运作一次的过程称为一次递归运算。误差运算模块17具有一预设递归值、一目前递归值及一预设误差值。另外，本实施例的影像处理装置1更包括一设定模块10，其设定误差运算模块17中的预设递归值及预设误差值。

其中，误差运算模块17更包括一递归次数判断模块171，当误差运算模块17在动作之前会先由递归次数判断模块比较目前递归值与预设递归值的内容，当目前递归值的内容大于(或等于)预设递归值的内容时，则终止递归运算的流程，而将第四影像I₄输出至一显示系统20。当目前递归值的内容小于预设递归值的内容时，则误差运算模块17会接着进行误差运算，而得到一运算结果，并由误差运算模块17将运算结果与预设误差值进行比较。当运算结果小于(或等于)预设误差值时，则终止递归运算的流程，而将第四影像I₄输出至显示系统20，而当运算结果大于预设误差值时，误差运算模块17会更新目前递归值的内容(例如+1)，并将第四影像I₄输出至暂存模块13以更新暂存模块13所暂存的第一影像I₁。之后则以第四影像I₄取代第一影像I₁而进行递归运算。

请参照图2所示，本发明较佳实施例的一种影像处理方法包括步骤S01至步骤S06。在本实施例中，影像处理方法是由一网络摄影机以及一包括有一主机及一显示系统的电脑配合使用。其中，本实施例的影像处理方法可运作于主机中的中央处理单元或是运作于处理影像的图形处理单元，而本实施例以运作于中央处理单元为例说明。

首先，中央处理单元必须取得一第一影像以对其进行处理。第一影像可为网络摄影机所撷取的影像，或是储存于电脑储存单元(例如硬盘)中的影像。

步骤S01是将第一影像经由噪声滤除并转换而得到一亮度信号，其中第一影像为一第一色彩空间类型。在本实施例中，第一色彩空间类型为RGB色彩空间或CMYK色彩空间。

步骤S02是将第一影像暂存并输出。在本实施例中，第一影像是暂存于一影像缓存器中。

步骤S03将第一影像依据亮度信号进行色彩空间转换处理，而得到一第二影像，第二影像为一第二色彩空间类型。在本实施例中，第二色彩空间类型为色差色彩空间，其例如为YUV色彩空间、或YCbCr色彩空间、或YPbPr色彩空间、或(R-Y)(G-Y)(B-Y)色彩空间。值得一提的是，步骤S03中可先将第一影像进行噪声滤除运算之后再转换为亮度信号，亦可先将第一影像转换为亮度信号之后再对亮度信号进行噪声滤除运算，于此并不加以限制，其主要目的为得到经过噪声滤除运算的亮度信号。

步骤S04是将第二影像进行线性运算，而得到一第三影像。其中线性运算例如为线性低通滤波器运算，其是将第二影像中的高频噪声滤除后而得到第三影像。

步骤S05是依据第三影像及亮度信号进行色彩空间转换处理，而得到一第四影像，其中第四影像为第一色彩空间类型。

步骤S06是将第一影像及第四影像进行误差运算，并输出第四影像。其中误差运算例如为平均平方误差运算。在本实施例中，若运算结果小于(或等于)预设误差值，则可将第四影像输出至显示系统，然而若运算结果大于预设误差值，则可将第四影像输出至缓存器以更新其中的影像后，以第四影像取代第一影像继续步骤S03。

以下请参照图3所示并配合上述实施例的叙述，以更进一步说明本发明较佳实施例的影像处理方法。

步骤S101是撷取第一影像并将第一影像传送至中央处理单元或是图形处理单元以进行后续处理。

步骤S102是将第一影像进行噪声滤除运算。步骤S103是将经由噪声滤除运算后的第一影像进行亮度平面转换，而得到亮度信号。步骤S104是输出第一影像及亮度信号，并暂存第一影像。

步骤S 105是将第一影像依据亮度信号进行色彩空间转换处理，而得到第二影像。步骤S106是将第二影像进行线性低通滤波运算，而得到第三影像。步骤S107是依据第三影像及亮度信号进行色彩空间转换处理，而得到第四影像。

步骤S108是设定预设递归值及预设误差值。步骤S109是判断目前递归值是否小于预设递归值。当目前递归值小于预设递归值时，则进行步骤S111，而当目前递归值大于(或等于)预设递归值时，则进行步骤S110。

其中步骤S110是终止递归运算，并将第四影像输出至显示系统。步骤S111是将第一影像及第四影像进行误差运算，而得到一运算结果。步骤S112是判断运算结果是否小于预设误差值。当运算结果小于(或等于)预设误差值时，则进行步骤S110，而当运算结果大于预设误差值时，则进行步骤S113。

步骤S113是将目前递归值+1，并将第四影像输出以更新暂存的第一影像。之后则以第四影像取代第一影像而进行步骤S105。

需注意者，上述判断式的判断方式(小于、等于、大于)可依据实际需要所设计，而非为上述所限制。

通过以上较佳具体实施例的详述，希望能更加清楚描述本发明的特征与精神，而并非以上述所揭露的较佳具体实施例来对本发明的范畴加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的权利要求书的范畴内。因此，本发明所申请的权利要求书的范畴应该根据上述的说明作最宽广的解释，以致使其涵盖所有可能的改变以及具相等性的安排。

Claims (16)

1.一种影像处理方法，其特征是，包括下列步骤：

将第一影像经由噪声滤除并转换而得到亮度信号，其中上述第一影像为第一色彩空间类型；

将上述第一影像暂存并输出；

将上述第一影像依据上述亮度信号进行色彩空间转换处理，而得到第二影像，其中上述第二影像为第二色彩空间类型；

将上述第二影像进行线性运算，而得到第三影像，其中上述第三影像为上述第二色彩空间类型；

依据上述第三影像及上述亮度信号进行色彩空间转换处理，而得到第四影像，其中上述第四影像为上述第一色彩空间类型；以及

将上述第一影像及上述第四影像进行一误差运算，当上述误差运算的运算结果为小于或等于预设误差时，则上述第四影像输出至显示系统；当上述误差运算的运算结果为大于预设误差时，则上述第四影像输出以更新暂存上述第一影像。

2.根据权利要求1所述的影像处理方法，其特征是，其中上述亮度信号是先将上述第一影像进行彩色影像噪声滤除运算后，再进行影像亮度平面转换而得。

3.根据权利要求1所述的影像处理方法，其特征是，其中上述亮度信号是先将上述第一影像进行影像亮度平面转换，再经噪声滤除运算而得。

4.根据权利要求1所述的影像处理方法，其特征是，其中上述线性运算包括利用线性低通滤波器对上述第二影像进行处理，而得到上述第三影像。

5.根据权利要求1所述的影像处理方法，其特征是，其中上述误差运算为平均平方误差运算。

6.根据权利要求1所述的影像处理方法，其特征是，其中上述第一色彩空间类型为RGB色彩空间或CMYK色彩空间。

7.根据权利要求1所述的影像处理方法，其特征是，其中上述第二色彩空间类型为色差色彩空间。

8.根据权利要求7所述的影像处理方法，其特征是，其中上述色差色彩空间为YUV色彩空间、或YCbCr色彩空间、或YPbPr色彩空间、或(R-Y)(G-Y)(B-Y)色彩空间。

9.一种影像处理装置，其特征是，包括：

噪声滤除及转换模块，将第一影像经由噪声滤除并转换而得到亮度信号，其中上述第一影像为第一色彩空间类型；

暂存模块，与上述噪声滤除及转换模块电性连接，上述暂存模块暂存并输出上述第一影像；

第一色彩空间转换模块，与上述暂存模块电性连接，上述第一色彩空间转换模块将上述第一影像依据上述亮度信号进行色彩空间转换处理，而得到第二影像，其中上述第二影像为第二色彩空间类型；

线性处理模块，与上述第一色彩空间转换模块电性连接，上述线性处理模块将上述第二影像进行线性运算，而得到第三影像，其中上述第三影像为上述第二色彩空间类型；

第二色彩空间转换模块，与上述线性处理模块电性连接，上述第二色彩空间转换模块依据上述第三影像及上述亮度信号进行色彩空间转换处理，而得到第四影像；以及

误差运算模块，与上述第二色彩空间转换模块电性连接，具有预设递归值、目前递归值及预设误差值，其中，上述误差运算模块将上述第一影像及上述第四影像进行一误差运算，比较上述误差运算所得的运算结果与上述预设误差值，当上述误差运算的运算结果为小于或等于上述预设误差值时，则上述第四影像输出至显示系统；当上述误差运算的运算结果为大于预设误差值时，则上述第四影像输出至上述暂存模块以更新上述第一影像。

10.根据权利要求9所述的影像处理装置，其特征是，更包括：

撷取模块，与上述噪声滤除及转换模块电性连接，上述撷取模块撷取上述第一影像，并将上述第一影像输出至上述噪声滤除及转换模块。

11.根据权利要求9所述的影像处理装置，其特征是，其中上述误差运算模块包括递归次数判断模块，上述递归次数判断模块是比较上述预设递归值与上述目前递归值。

12.根据权利要求9所述的影像处理装置，其特征是，其中上述线性处理模块为线性低通滤波处理模块。

13.根据权利要求9所述的影像处理装置，其特征是，其中上述误差运算模块为平均平方误差运算模块。

14.根据权利要求9所述的影像处理装置，其特征是，其中上述第一色彩空间类型为RGB色彩空间或CMYK色彩空间。

15.根据权利要求9所述的影像处理装置，其特征是，其中上述第二色彩空间类型为色差色彩空间。

16.根据权利要求15所述的影像处理装置，其特征是，其中上述色差色彩空间为YUV色彩空间、或YCbCr色彩空间、或YPbPr色彩空间、或(R-Y)(G-Y)(B-Y)色彩空间。

Images