CN103139448B - 影像处理装置及其处理方法 - Google Patents

Abstract

本发明提出一种影像处理装置及其处理方法，其包括影像获取模块、影像分离模块、影像稳定模块、时间噪声抑制模块以及空间噪声抑制模块。影像获取模块获取贝尔图影像。影像分离模块缩小并将贝尔图影像转换成亮度彩度格式影像。影像稳定模块接收亮度彩度格式影像中的亮度通道影像以及贝尔图影像以进行移动量估测，藉以产生全局运动矢量。时间噪声抑制模块依据全局运动矢量对贝尔图影像进行时间叠合处理，藉以产生第一噪声抑制影像。空间噪声抑制模块对第一噪声抑制影像进行二维空间的去噪声处理以产生第二噪声抑制影像。

Description

影像处理装置及其处理方法

技术领域

本发明涉及一种影像处理装置及其处理方法，尤其涉及一种可进行空间/时间噪声抑制(spatial/temporalnoisereduction)功能的影像处理装置及其处理方法。

背景技术

多媒体技术的精进使现代人对高画质影像的要求日渐提高。而影像品质的好坏与在获取影像、信号转换以及传输过程中所伴随产生的噪声量有相当大的关连。为了有效地去除噪声以提高影像品质，在影像处理领域中关于噪声消除的研究也越来越受到重视。

图1显示为现有一种影像处理装置100的方框图。请参照图1，影像获取模块110用以获取贝尔图(Bayerpattern)影像，并且经过垂直线扭曲校正(VerticalDistortionCorrection，VDC)模块120用以补偿垂直线失真问题。接着，影像再制管线(ImageReproducePipeline，IRP)模块130先将贝尔图影像转换成亮度彩度(YCbCr)格式影像后，再传送至几何转换模块140进行几何补偿以修正影像在获取过程中因镜头所造成的失真问题。由于影像在获取过程中，容易因晃动或手振导致影像失真，因此，将YCbCr格式影像经过缩放模块150缩小影像后，影像稳定模块160利用缩小后的亮度通道影像与原尺寸的亮度通道影像进行移动量估测(motionestimation)及移动量校正(motioncorrection)。最后，再经由二维噪声抑制模块170针对每一张影像进行二维空间的去噪声处理后，便可进行储存或播放。

如图1所示的影像Img1～Img5，代表影像在不同的模块之间，都必须经过动态随机存取存储器(DynamicRandomAccessMemory，DRAM)的储存，以供中央处理单元(CentralProcessingUnit，CPU)进行运算处理。然而，影像处理装置100的动态随机存取存储器空间有限，因此如图1所示的影像处理装置100的架构，已使用大部分的动态随机存取存储器空间，使得现有的影像处理装置100已无法再容纳其他处理模块。

发明内容

有鉴于此，本发明提供一种影像处理装置及其处理方法，可藉由影像稳定模块所产生的信息对贝尔图影像进行时间噪声抑制处理，藉以提升影像品质。

从一观点来看，本发明提出一种影像处理装置，其包括影像获取模块、影像分离模块、影像稳定模块、时间噪声抑制模块以及空间噪声抑制模块。其中，影像获取模块获取多个贝尔图(Bayerpattern)影像。影像分离模块耦接至影像获取模块，缩小并将贝尔图影像转换成多个第一亮度彩度(YCbCr)格式影像。影像稳定模块耦接至影像获取模块及影像分离模块，用以接收第一亮度彩度格式影像中的亮度通道(Ychannel)影像以及贝尔图影像以进行移动量估测，藉以产生多个全局运动矢量。时间噪声抑制模块(temporalnoisereduction)耦接至影像获取模块及影像稳定模块，依据全局运动矢量对贝尔图影像进行时间叠合(temporalblending)处理，藉以产生多个第一噪声抑制影像。空间噪声抑制模块(spatialnoisereduction)耦接至时间噪声抑制模块，对第一噪声抑制影像进行二维空间的去噪声处理以产生第二噪声抑制影像。

在本发明的一实施例中，所述的时间噪声抑制模块依据全局运动矢量对齐贝尔图影像，并对贝尔图影像之间的颜色与亮度差距进行时间叠合处理，以产生第一噪声抑制影像。

在本发明的一实施例中，所述的影像处理装置还包括耦接至影像获取模块与影像稳定模块的垂直线扭曲校正(verticaldistortioncorrection，VDC)模块。垂直线扭曲校正模块用以接收贝尔图影像，对贝尔图影像进行镜头失真校正，并将校正后的贝尔图影像传送至影像稳定模块进行处理。

在本发明的一实施例中，所述的空间噪声抑制模块包括耦接至时间噪声抑制模块的影像再制管线(imagereproducepipeline，IRP)单元。影像再制管线单元将第一噪声抑制影像转换成多个第二亮度彩度格式影像。

在本发明的一实施例中，所述的空间噪声抑制模块包括耦接至影像再制管线单元的几何转换单元。几何转换单元依据多个仿置矩阵(affinetransformation)对第二亮度彩度格式影像进行校正，藉以补偿几何失真问题。

在本发明的一实施例中，所述的空间噪声抑制模块包括耦接至几何转换单元的锐化降噪处理单元。锐化降噪处理单元对第二亮度彩度格式影像中的亮度通道影像进行锐化处理，且对第二亮度彩度格式影像中的彩度通道影像进行二维空间的去噪声处理，以产生第二噪声抑制影像。

在本发明的一实施例中，所述的影像处理装置还包括耦接至空间噪声抑制模块的压缩模块。压缩模块对第二噪声抑制影像进行压缩，并储存压缩后的第二噪声抑制影像。

在本发明的一实施例中，所述的影像处理装置还包括耦接至空间噪声抑制模块的显示模块，藉以播放第二噪声抑制影像。

从另一观点来看，本发明提出一种影像处理方法，包括下列步骤。首先，获取多个贝尔图影像。缩小并转换贝尔图影像以产生多个第一亮度彩度格式影像。然后，接收第一亮度彩度格式影像中的亮度通道影像及贝尔图影像以进行移动量估测，藉以产生多个全局运动矢量。并依据这些全局运动矢量对贝尔图影像进行时间叠合处理，藉以产生多个第一噪声抑制影像。此外，还可对第一噪声抑制影像进行二维空间的去噪声处理以产生多个第二噪声抑制影像。

在本发明的一实施例中，所述的依据全局运动矢量对贝尔图影像进行时间叠合处理以产生第一噪声抑制影像的步骤包括依据全局运动矢量对齐该些贝尔图影像，并对贝尔图影像之间的颜色与亮度差距进行时间叠合处理，以产生第一噪声抑制影像。

在本发明的一实施例中，其中在获取该些贝尔图影像的步骤之后还包括对贝尔图影像进行垂直线扭曲校正。

在本发明的一实施例中，所述的对第一噪声抑制影像进行二维空间的去噪声处理以产生第二噪声抑制影像包括下列步骤。先将第一噪声抑制影像转换成多个第二亮度彩度格式影像。并依据多个仿置矩阵对第二亮度彩度格式影像进行校正，藉以补偿几何失真问题。此外，对第二亮度彩度格式影像中的亮度通道影像进行锐化处理，且对第二亮度彩度格式影像中的彩度通道(Cb/Crchannel)影像进行二维空间的去噪声处理，以产生第二噪声抑制影像。

在本发明的一实施例中，其中在产生第二噪声抑制影像的步骤之后还包括对第二噪声抑制影像进行压缩，并储存压缩后的第二噪声抑制影像。

在本发明的一实施例中，其中在产生第二噪声抑制影像的步骤之后还包括将第二噪声抑制影像传送至显示模块以播放第二噪声抑制影像。

基于上述，本发明所提供的影像处理装置及其处理方法，在有限的动态随机存取存储器之下，藉由影像稳定模块所产生的信息对贝尔图影像进行时间噪声抑制处理，且仍可对贝尔图影像进行空间噪声抑制处理，因此可大幅提升影像品质。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1显示为现有一种影像处理装置的方框图。

图2是依照本发明一实施例所显示的影像处理装置的方框图。

图3是依照本发明一实施例所显示的一种影像处理方法的流程图。

图4是依照本发明一实施例的空间噪声抑制模块250的一实施方式。

图5是依照本发明另一实施例所显示的影像处理装置的方框图。

附图标记：

100、200、500：影像处理装置

110、210：影像获取模块

120、560：垂直线扭曲校正模块

130：影像再制管线模块

140：几何转换模块

150：缩放模块

160、230：影像稳定模块

170：二维噪声抑制模块

220：影像分离模块

240：时间噪声抑制模块

250：空间噪声抑制模块

252：影像再制管线单元

254：几何转换单元

256：锐化降噪处理单元

570：压缩模块

580：显示模块

X,Y：全局运动矢量

Img1～Img16：影像

S310～S350：影像处理方法的各步骤

具体实施方式

图2是依照本发明一实施例所显示的影像处理装置的方框图。请参照图2，本实施例的影像处理装置200例如是数码相机、单眼相机、数码摄像机或是其他具有影像处理功能的智能型手机、平板计算机等等，不限于上述。影像处理装置200包括影像获取模块210、影像分离模块220、影像稳定模块230、时间噪声抑制模块240以及空间噪声抑制模块250。其功能分述如下：

影像获取模块210可包括镜头、感光元件以及光圈等，用以获取贝尔图影像。影像分离模块220主要包括两个功能，其一是可缩小贝尔图影像，另一是可将贝尔图影像转换成第一亮度彩度(YCbCr)格式影像(以下简称YCbCr格式影像)。影像稳定模块230进行移动量估测，并可执行移动量校正。时间噪声抑制模块240可对影像进行时间叠合处理，以达到降低噪声的目的。空间噪声抑制模块250则是对影像进行二维空间的去噪声处理。上述的各模块皆由硬件所组成。硬件例如是一般用途或特殊用途的微处理器(Microprocessor)、数码信号处理器(DigitalSignalProcessor，DSP)或其他类似装置。

图3是依照本发明一实施例所显示的一种影像处理方法的流程图。请参照图3，本实施例的方法适用于图2的影像处理装置200，以下即搭配图2中的各模块说明本实施例影像处理方法的详细步骤：

首先如步骤S310所述，影像获取模块210获取多个贝尔图影像Img6，并可将这些贝尔图影像Img6分别传送至影像分离模块220、影像稳定模块230以及时间噪声抑制模块240以进行进一步地处理。于步骤S320中，影像分离模块220缩小并将贝尔图影像转换成多个第一YCbCr格式影像，其中缩小的比例可依实际需求做设定。在此须特别说明的是，影像分离模块220可直接对影像获取模块210所获取的贝尔图影像Img6进行缩小，而不需要经过动态随机存取存储器的读取，因此可节省动态随机存取存储器的频宽。

接着于步骤S330，影像稳定模块230接收影像分离模块220所产生的第一YCbCr格式影像中的亮度通道影像Img7，并利用亮度通道影像Img7与贝尔图影像Img6进行移动量估测，藉以产生全局运动矢量X,Y，并将此全局运动矢量X,Y传送至时间噪声抑制模块240，本发明并不对计算全局运动矢量的方式加以限制。

如步骤S340所述，时间噪声抑制模块240接收影像稳定模块230所产生的全局运动矢量X,Y，并依据此全局运动矢量X,Y对贝尔图影像Img6进行时间叠合处理，藉以产生多个第一噪声抑制影像Img8，其中，第一噪声抑制影像Img8仍为贝尔图格式影像。更详细地说，时间噪声抑制模块240依据全局运动矢量X,Y对齐多个贝尔图影像Img6，并对贝尔图影像Img6之间的颜色与亮度差距采用不同的权重值进行时间叠合处理，以产生第一噪声抑制影像Img8。所谓根据颜色与亮度差距采用不同的权重值进行时间叠合处理是为了避免在多个贝尔图影像Img6之间的颜色与亮度差距过大时，进行不当叠合处理而使第一噪声抑制影像Img8产生鬼影(ghost)的状况。

接下来在步骤S350中，空间噪声抑制模块250耦接至时间噪声抑制模块240，对第一噪声抑制影像Img8进行二维空间的去噪声处理以产生第二噪声抑制影像Img9，其中，第二噪声抑制影像Img9为第二YCbCr格式影像，其中第二YCbCr格式影像的尺寸大于第一YCbCr格式影像的尺寸，举例来说，第一YCbCr格式影像的尺寸例如为320×160；第二YCbCr格式影像的尺寸例如为1280×720。空间噪声抑制模块250可包括补偿镜头失真的几何补偿功能、锐化以及二维空间去噪声处理功能等。如图4所示，图4是依照本发明一实施例的空间噪声抑制模块250的一实施方式。请同时配合参照图2与图4，空间噪声抑制模块250包括影像再制管线单元252、几何转换单元254以及锐化降噪处理单元256。

影像再制管线单元252将接收自时间噪声抑制模块240的第一噪声抑制影像Img8转换成第二YCbCr格式影像Img10。接着，几何转换单元254接收此第二YCbCr格式影像Img10，依据仿置矩阵对第二YCbCr格式影像Img10进行校正，藉以补偿几何失真或进行几何校正。最后，在本实施例中，耦接至几何转换单元254的锐化降噪处理单元256对第二YCbCr格式影像Img11中的亮度通道影像进行锐化处理，并且对第二YCbCr格式影像Img11中的彩度通道影像进行二维空间的去噪声处理，以产生第二噪声抑制影像Img9。

如图2所示，本实施例是通过时间噪声抑制模块240进行时间叠合处理以及空间噪声抑制模块250进行二维空间的去噪声处理来达到三维噪声抑制(3-dimensionalNoiseReduction，3DNR)的效果。基此，对于具有高帧速率(framerate)与高解析度的影像处理装置来说，便能藉由图3所示的各步骤而更有效地消除其所拍摄的影像中的噪声，进而提升影像品质。

以下另举一实施例作为范例说明，图5是依照本发明另一实施例所显示的影像处理装置的方框图。请参照图5，在本实施例中，影像处理装置500除了包括影像获取模块210、影像分离模块220、影像稳定模块230、时间噪声抑制模块240以及空间噪声抑制模块250之外，还包括垂直线扭曲校正模块560、压缩模块570以及显示模块580。由于图5所示的影像处理装置500与图2所示的影像处理装置200大致相似，故以下仅就两者不同之处进行说明。

垂直线扭曲校正模块560耦接于影像获取模块210与影像稳定模块230之间，用以接收贝尔图影像Img12，对贝尔图影像Img12进行镜头失真校正，并将校正后的贝尔图影像Img13传送至影像稳定模块230与时间噪声抑制模块240进行处理。

压缩模块570与显示模块580则分别耦接至空间噪声抑制模块250。压缩模块570对第二噪声抑制影像Img16进行压缩，例如可采用联合影像专家群组(JointPhotographicCodingExpertGroup，JPEG)或H.264压缩标准并储存压缩后的第二噪声抑制影像。显示模块580可用以播放第二噪声抑制影像Img16，需说明的是，第二噪声抑制影像Img16在进行播放之前，还可根据显示模块580的萤幕尺寸进行缩放，以产生适合显示模块580播放的影像尺寸。

表一与表二为在相同的测试条件下，分别对现有的影像处理装置100与本实施例的影像处理装置500进行处理的动态随机存取存储器使用情况。其中存储器频宽(memorybandwidth)表示各模块平均每秒所需的百万位元(MB/s)存储空间。

表一、现有的影像处理装置100的动态随机存取存储器使用情况

表二、本实施例的影像处理装置500的动态随机存取存储器使用情况

由表一与表二的实验结果可得到以下结论：本发明的影像处理装置500与现有影像处理装置100的相同模块进行比较，本实施例所须使用的存储器频宽皆低于现有的装置。此外，本发明除了二维噪声抑制功能之外，还包括时间噪声抑制模块来达到三维噪声抑制的效果，但本实施例所需使用的总频宽仍小于现有的影像处理装置100所需的总频宽。

综上所述，本发明改善了现有架构对于动态随机存取存储器空间不足的缺点，藉由影像稳定模块所产生的全局运动矢量信息对贝尔图影像进行时间噪声抑制处理。因此，本发明所提供的影像处理装置及其处理方法，通过进行时间叠合处理以及空间去噪声处理来达到三维去除噪声的效果，大幅提升影像品质。此外，本发明对于动态随机存取存储器的需求较低也使得整体执行时间下降，提高了影像处理的效能。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域的普通技术人员，当可作些许更动与润饰，而不脱离本发明的精神和范围。

Claims (14)

1.一种影像处理装置，包括：

一影像获取模块，获取多个贝尔图影像；

一影像分离模块，耦接至该影像获取模块，缩小并转换该些贝尔图影像以产生多个第一亮度彩度格式影像；

一影像稳定模块，耦接至该影像获取模块与该影像分离模块，接收该些第一亮度彩度格式影像中的亮度通道影像及该些贝尔图影像以进行移动量估测，藉以产生多个全局运动矢量；

一时间噪声抑制模块，耦接至该影像获取模块与该影像稳定模块，依据该些全局运动矢量对该些贝尔图影像进行一时间叠合处理以产生多个第一噪声抑制影像；以及

一空间噪声抑制模块，耦接至该时间噪声抑制模块，对该些第一噪声抑制影像进行二维空间的去噪声处理以产生多个第二噪声抑制影像。

2.根据权利要求1所述的影像处理装置，其中：

该时间噪声抑制模块依据该些全局运动矢量对齐该些贝尔图影像，并对该些贝尔图影像之间的颜色与亮度差距进行时间叠合处理，以产生该些第一噪声抑制影像。

3.根据权利要求1所述的影像处理装置，其中还包括：

一垂直线扭曲校正模块，耦接至该影像获取模块与该影像稳定模块，接收该影像获取模块所获取的该些贝尔图影像，该垂直线扭曲校正模块对该些贝尔图影像进行镜头失真校正，并将校正后的该些贝尔图影像传送至该影像稳定模块进行处理。

4.根据权利要求1所述的影像处理装置，其中该空间噪声抑制模块包括：

一影像再制管线单元，耦接至该时间噪声抑制模块，将该些第一噪声抑制影像转换成多个第二亮度彩度格式影像。

5.根据权利要求4所述的影像处理装置，其中该空间噪声抑制模块包括：

一几何转换单元，耦接至该影像再制管线单元，对该些第二亮度彩度格式影像依据多个仿置矩阵进行校正，藉以补偿几何失真问题。

6.根据权利要求5所述的影像处理装置，其中该空间噪声抑制模块包括：

一锐化降噪处理单元，耦接至该几何转换单元，对该些第二亮度彩度格式影像中的亮度通道影像进行锐化处理，且对该些第二亮度彩度格式影像中的彩度通道影像进行二维空间的去噪声处理，以产生该些第二噪声抑制影像。

7.根据权利要求1所述的影像处理装置，其中还包括：

一压缩模块，耦接至该空间噪声抑制模块，对该些第二噪声抑制影像进行压缩，并储存压缩后的该些第二噪声抑制影像。

8.根据权利要求1所述的影像处理装置，其中还包括：

一显示模块，耦接至该空间噪声抑制模块，藉以播放该些第二噪声抑制影像。

9.一种影像处理方法，包括：

获取多个贝尔图影像；

缩小并转换该些贝尔图影像以产生多个第一亮度彩度格式影像；

接收该些第一亮度彩度格式影像中的亮度通道影像及该些贝尔图影像以进行移动量估测，藉以产生多个全局运动矢量；

依据该些全局运动矢量对该些贝尔图影像进行一时间叠合处理以产生多个第一噪声抑制影像；以及

对该些第一噪声抑制影像进行二维空间的去噪声处理以产生多个第二噪声抑制影像。

10.根据权利要求9所述的影像处理方法，其中依据该些全局运动矢量对该些贝尔图影像进行该时间叠合处理以产生该些第一噪声抑制影像的步骤包括：

依据该些全局运动矢量对齐该些贝尔图影像，并对该些贝尔图影像之间的颜色与亮度差距进行时间叠合处理，以产生该些第一噪声抑制影像。

11.根据权利要求9所述的影像处理方法，其中在获取该些贝尔图影像的步骤之后还包括：

对该些贝尔图影像进行垂直线扭曲校正。

12.根据权利要求9所述的影像处理方法，其中对该些第一噪声抑制影像进行二维空间的去噪声处理以产生该些第二噪声抑制影像的步骤包括：

将该些第一噪声抑制影像转换成多个第二亮度彩度格式影像；

对该些第二亮度彩度格式影像依据多个仿置矩阵进行校正，藉以补偿几何失真问题；以及

对该些第二亮度彩度格式影像中的亮度通道影像进行锐化处理，且对该些第二亮度彩度格式影像中的彩度通道影像进行二维空间的去噪声处理，以产生该些第二噪声抑制影像。

13.根据权利要求9所述的影像处理方法，在产生该些第二噪声抑制影像的步骤之后还包括：

对该些第二噪声抑制影像进行压缩，并储存压缩后的该些第二噪声抑制影像。

14.根据权利要求9所述的影像处理方法，在产生该些第二噪声抑制影像的步骤之后还包括：

将该些第二噪声抑制影像传送至一显示模块以播放该些第二噪声抑制影像。