CN101986688B - 高感光速度噪声的消除方法及数字图像处理设备 - Google Patents

高感光速度噪声的消除方法及数字图像处理设备 Download PDF

Info

Publication number
CN101986688B
CN101986688B CN2009100576710A CN200910057671A CN101986688B CN 101986688 B CN101986688 B CN 101986688B CN 2009100576710 A CN2009100576710 A CN 2009100576710A CN 200910057671 A CN200910057671 A CN 200910057671A CN 101986688 B CN101986688 B CN 101986688B
Authority
CN
China
Prior art keywords
image information
hfs
rank
module
decomposing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009100576710A
Other languages
English (en)
Other versions
CN101986688A (zh
Inventor
徐晶明
林福辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN2009100576710A priority Critical patent/CN101986688B/zh
Publication of CN101986688A publication Critical patent/CN101986688A/zh
Application granted granted Critical
Publication of CN101986688B publication Critical patent/CN101986688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及数字图像处理技术,公开了一种高感光速度噪声的消除方法及数字图像处理设备。本发明中,对带有高ISO速度噪声的数字图像的每个色彩通道进行多阶的多分辨率分解,对每阶分解出的高频部分滤波,然后再通过逆分解重建该色彩通道。由于可以在多种分辨率下来判断和消除高ISO速度噪声,而不是拘泥于一定的窗口范围之内,所以对噪声消除的效果有很大的改进。而且,不需要动态调整每个像素点自适应窗口,避免了大量计算信号统计特性的过程,因此可以大大降低噪声消除的运算复杂度,从而能方便的在便携式或嵌入式系统中实现。

Description

高感光速度噪声的消除方法及数字图像处理设备
技术领域
本发明涉及数字图像处理技术,特别涉及数字图像处理中的噪声消除技术。
背景技术
随着电荷耦合器件(Charge Coupled Device,简称“CCD”)和互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,简称“CMOS”)数字图像传感器的工艺的不断改良,数码照相正逐步取代传统的胶片照相。这一趋势不仅体现在职业的新闻记者和照相师的领域,而且也发生在普通大众的日常生活照相中。这一趋势促进了数码相机制造厂商将传统胶片照相中的一些经典技术,如高胶片感光速度(或称ISO速度,ISO为国际标准化组织(International Organization for Standardization)的英文缩写),推广到数码照相中。
在传统胶片照相中,由国际标准化组织制定的ISO标准用于表达基于银类化合物的胶片的感光速度。在数码照相领域,ISO速度被推广用以表达数字图像传感器的感光速度。与胶片照相类似,低ISO速度的图像传感器需要更多的光入射用以曝光;在低亮度的场景下,这就需要长时间曝光。然而这往往会是获取的图像变得模糊不清,除非被拍摄的景象是完全静止的。所以提高图像传感器的ISO速度在低亮度和动态场景中是必须的。常见的数码照相中的图像传感器的ISO速度调节范围从100到1600,甚至到3200或更高,其中的ISO值每增加一倍,表明感光速度提高一倍。
通常的数字图像传感器在低亮度场景中通过提高电信号增益来提高ISO速度,传感器的感光速度提高的同时往往引入很多随机噪声;这种噪声叫做高ISO速度噪声。通常,在ISO速度提高到400以上时,高ISO速度噪声就极易出现,特别是在图像的阴影区域和大片的同质区域。高ISO速度噪声一般有如下的特点:
(1)冲激性:在低亮度和高ISO速度情况下,一些图像传感器单元因发生过饱和从而只保留了完全单一的颜色信息,这样在获取的图像中形成一些明亮的冲激性的噪点。
(2)色彩通道不均一性:通常的数字图像传感器对某些色彩通道(如蓝色)敏感度较其他色彩弱,所以对这类色彩的补偿增益会较大。在低亮度和高ISO速度情况下,这往往会引入在这些色彩通道上更多的噪点。
由于高ISO速度噪声极大的降低了图像质量,并且由于增加了无关的细节信息,提高了数字图像的后续处理(例如压缩,分割和边缘检测)的复杂性。虽然降低传感器温度可以减少高ISO速度噪声的发生(例如大型的天文照相器材就采用了外围制冷装置),但是这种方法在便携式数码相机领域是难以实现的。所以,通过数字图像处理来消除高ISO速度就成为迫切需求
目前广泛使用的数字图像处理中的噪声消除技术有固定窗口的维纳滤波器,均值滤波器和中值滤波器等方式。然而,这些滤波器的最优性是基于信号稳态的假设的,对于一般在整幅图像甚至固定窗口内呈现暂态特性的自然图像,很可能破坏图像的高频细节部分,所以不适用。而改进过的适应性窗口的维纳滤波器虽然考虑了图像的暂态特性,但是牺牲了图像细节附近的高频噪声的消除能力,对于像高ISO速度噪声的冲激性噪声的消除能力也较弱。另外,传统的噪声消除方法总是假设噪声在(R,G,B)色彩空间是均匀分布的,这与高ISO速度噪声的特性是矛盾的,因此这些滤波器的噪声消除效果往往并不理想。传统的噪声消除方法不是难于消除特别是色度通道的高ISO速度噪声,就是对亮度通道过平滑而使图像失去部分细节。
目前还提出了一种通过混合的均值滤波器和加权中值滤波器来消除高ISO速度噪声的方法(具体请参见文献“T.Rabie,″Adaptive hybrid meanand median filtering of high-ISO long-exposure sensor noise for digitalphotography″,Journal of Electronic Imaging 13(2),264-277,April2004”),在该方法中将高ISO速度噪声假设为高斯噪声,具体实现方案简述如下:
(1)将图像由(R,G,B)色彩空间转换为(L,a,b)空间,对亮度通道(L)和色度通道(a,b)分别进行步骤(2)-(4)的操作;
(2)选择一个较为平滑的区域,计算出噪声的方差σn 2方差,然后对每个像素进行步骤(3)-(4)操作;
(3)为该像素点设置自适应窗口:设置方法为向上下左右四个独立方向依次轮流搜索,当在某个方向上窗口内的理想图像信号的方差σx 2x 2=σy 2n 2,其中σy 2为叠加了高ISO速度噪声的图像信号)大于或等于ζσn 2(ζ为实现中可调节的参数)时,停止该方向上的搜索。在处理色度通道时,自适应窗口的最大限大于亮度通道时的值。这样通过以下滤波就会对色度通道有更好的平滑,同时保留了亮度通道上的图像细节;
(4)对该像素点进行混合滤波:具体方法为当自适应窗口内的信号活跃因子α(α=sqrt(σx 2/(σx 2n 2)))>η(η为实现中可调节的参数,文中建议值为0.8)时,认为该像素点在信号活跃区域,对其进行加权中值滤波,权重为α(LXLY-1)+1(其中LX和LY分别为自适应窗口的宽度和高度);否则认为该像素点在非信号活跃区域,对其进行均值滤波;
(5)将图像由(L,a,b)色彩空间转换为(R,G,B)空间。
然而,本发明的发明人发现,上述方案中仍存在以下问题:
(1)动态调整每个像素点自适应窗口需要多次计算信号方差,因此复杂度很高,特别不适合在便携式或嵌入式系统中实现。
(2)实现证明在有噪声点较大和较为密集的高ISO速度噪声的情景下,该方法的滤波效果较差。
发明内容
本发明的目的在于提供一种高感光速度噪声的消除方法及数字图像处理设备,降低高感光速度噪声消除的复杂度,同时有效改进噪声消除的效果。
为解决上述技术问题,本发明的实施方式提供了一种高感光速度噪声的消除方法,包含以下步骤:
对带有高感光速度噪声的数字图像的每个空间的图像信息分别进行如下操作:
将图像信息进行多阶的多分辨率分解,其中,原始图像信息分解为第1阶的高频部分图像信息和低频部分图像信息,每一阶的低频部分图像信息进一步作为下一阶的输入图像信息,分解为下一阶的高频部分图像信息和低频部分图像信息;
对每一阶的高频部分图像信息进行滤波;
将分解后得到的低频部分图像信息与滤波后得到的高频部分图像信息通过逆分解重建,得到高感光速度噪声消除后的图像信息。
本发明的实施方式还提供了一种数字图像处理设备,包含图像信息获取模块、分解模块、滤波模块和逆分解重建模块;
图像信息获取模块用于获取带有高感光速度噪声的数字图像的每个空间的图像信息,并将获取的每个空间的图像信息输出给分解模块:
分解模块用于对每个空间的图像信息分别进行多阶的多分辨率分解,其中,原始图像信息分解为第1阶的高频部分图像信息和低频部分图像信息,每一阶的低频部分图像信息进一步作为下一阶的输入图像信息,分解为下一阶的高频部分图像信息和低频部分图像信息;
滤波模块用于对分解模块分解得到的每一阶的高频部分图像信息进行滤波;
逆分解重建模块用于将分解模块分解后得到的低频部分图像信息与滤波模块滤波后得到的高频部分图像信息通过逆分解重建,得到高感光速度噪声消除后的图像信息。
本发明实施方式与现有技术相比,主要区别及其效果在于:
对带有高ISO速度噪声的数字图像的每个色彩通道进行多阶的多分辨率分解,对每阶分解出的高频部分滤波,然后再通过逆分解重建该色彩通道。由于可以在多种分辨率下来判断和消除高ISO速度噪声,而不是拘泥于一定的窗口范围之内,所以对特别是噪声点较大和较为密集的高ISO速度噪声,噪声消除的效果有很大的改进。而且,通过多阶的多分辨率分解来发现噪声,不需要动态调整每个像素点自适应窗口,避免了大量计算信号方差的过程,因此可以大大降低噪声消除的运算复杂度,从而能方便的在便携式或嵌入式系统中实现。
进一步地,对高频部分滤波时所使用的参数,可以根据当前低频部分和/或高频部分在整幅图像的方差来调节,由于利用了全局的统计特性,所以消除噪声的效果要好;也可以仅根据在当前像素附近区域的方差进行调节,以进一步提高区域自适应性。
进一步地,在对高频部分图像信息进行滤波前先判断该高频部分图像信息是否为原始图像的边缘特性引起的高频特征,如果是,则说明该高频部分不是噪声,不进行滤波,避免了将图像特征边缘处的信息误认为是噪声,从而进一步改善了噪声消除的效果。
进一步地,在处理图像信息时,在完成一阶的操作后不放入内存,继续执行下一阶的操作,直至得到最终的噪声消除后的图像信息后再放入内存。由于图像只需内存的一次读出和一次读入,大大减少了对存储带宽的要求,因此更适用于在嵌入式系统中硬件实现。
附图说明
图1是根据本发明第一实施方式的高感光速度噪声的消除方法流程图;
图2是根据本发明第一实施方式中的多阶的多分辨率分解示意图;
图3是根据本发明第一实施方式中的多阶的多分辨率逆分解重建示意图;
图4是根据本发明第二实施方式的阶数为3的高感光速度噪声的消除方法示意图;
图5是根据本发明第四实施方式的数字图像处理设备示意图。
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种高感光速度噪声的消除方法。在本实施方式中,对带有高ISO速度噪声的数字图像的每个色彩通道进行多阶的多分辨率分解,对每阶分解出的高频部分滤波,然后再通过逆分解重建该色彩通道。由于从数学的观点看,图像是亮度和色度值的二维矩阵,像边界和对比强烈的区域(如噪点区域)那样的突发特性的不同组合会产生统计值的局部变化。在同一图像的不同部分,即使是一阶统计值也会大不相同。因此,无法对整个图像定义一个简单的统计模型。这时,用多种分辨率进行研究就具有优势。例如,有些噪点较大且距离较远,需要较低的分辨率;有些噪点较小且距离较近,需要较高的分辨率。某种分辨率下所无法区分的噪点在另一种分辨率下就很容易发现,因此使用多分辨率分析就能有效地发现噪点,以便于进行噪声消除。
具体流程如图1所示,在步骤101中,将图像由(R,G,B)色彩空间转换到(Y,U,V)空间。
接着,在步骤102中,将待处理的一个空间的图像信息进行多阶的多分辨率分解。其中,原始图像信息分解为第1阶的高频部分图像信息和低频部分图像信息,每一阶的低频部分图像信息进一步作为下一阶的输入图像信息,分解为下一阶的高频部分图像信息和低频部分图像信息。
具体地说,如图2所示,原始图像I0分解为低频部分I1L和高频部分I1H,低频部分I1L进一步分解为其低频部分I2L和高频部分I2H,依次类推,在第i阶,Ii(即I(i-1)L)分解为低频部分IiL和高频部分IiH,其中的低频部分IiL又做为第i+1阶的输入Ii+1。下面以一个具体的实现例子进行说明:
对于C(C=Y,U或V)空间的第i阶输入图像Ii(即I(i-1)L),提取出其低频部分IiL的方法为先进行水平方向的平均,然后进行垂直方向的平均,得到低频部分图像信息IiL
比如说,假设pi(x,y,C)表示Ii上的坐标为(x,y)的像素值,则其水平方向的平均值为以该点为中心的,水平方向上间隔距离为第i阶步长的三点的加权平均值,即:
pi,h(x,y,C)=(wpi(x,y,C)+pi(x-step,y,C)+pi(x+step,y,C))/(w+2)
其中,w为实现中可以调节的中心权重,step为对应第i阶的步长,Step=1<<i,pi,h(x,y,C)为计算的水平方向的平均值,C表示图像信息所在的空间。
在完成水平方向的平均后,垂直方向的平均可以类似得到:
pi,v(x,y,C)=(wpi,h(x,y,C)+pi,h(x,y-step,C)+pi,h(x,y+step,C))/(w+2)
计算得到的垂直平方向的平均值pi,v(x,y,C)即是组成低频部分IiL的像素值pi,L(x,y,C)。
将Ii和IiL的对应像素值相减,即可得到高频部分IiH。也就是说,组成高频部分IiH的像素值pi,H(x,y,C)通过以下公式得到:
pi,H(x,y,C)=pi(x,y,C)-pi,L(x,y,C)
此外,可以理解,根据水平方向上的平均值和垂直方向上的平均值获取低频、高频部分的方式只是本实施方式中的一个具体的实现例子,在实际应用中,也可以通过其他方式获取每一阶的低频部分和高频部分。
接着,在步骤103中,对每一阶的高频部分进行滤波。具体地说,在步骤102中分解得到每一阶的高频部分图像信息(即图2中的I1H,I2H,...InH,n为分解的总的阶数)后,对每一阶的高频部分(即I1H,I2H,...InH)进行滤波,以消除高ISO速度噪声,在具体实现中,可以根据以下公式之一对高频部分的像素值pi,H(x,y,C)进行滤波:
Figure G2009100576710D00081
其中,T和s分别为实现中能够调节的临界值和缩放参数,pi,H (x,y,C)为对pi,H(x,y,C)进行滤波后的值。此外,可以理解,本步骤中的滤波方式只是本实施方式中的一个具体的实现例子,在实际应用中,也可以通过其他各种方式对高频部分图像信息进行滤波。
需要说明的是,上述滤波公式中的T可以根据以下方式进行调节:
依据pi,L(x,y,C)和pi,H(x,y,C)在整幅图像的方差调节所述T,当pi,L(x,y,C)的方差值较大(如大于第一预定值)时,减小T;当pi, H(x,y,C)的方差值较大(如大于第二预定值)时,增大T。
或者,依据pi,L(x,y,C)和pi,H(x,y,C)在坐标点(x,y)附近区域的方差调节所述T,方法如上所述。
或者,仅依据pi,L(x,y,C)或pi,H(x,y,C)在整幅图像的方差调节所述T,方法如上所述。
或者,仅依据pi,L(x,y,C)或pi,H(x,y,C)在坐标点(x,y)附近区域的方差调节所述T,方法如上所述。
不难发现,方式一和方式三利用了全局的统计特性;方式二和方式四仅根据在当前像素附近区域的方差进行调节,进一步提高区域自适应性。其中,第一预定值和第二预定值只是预先设定的两个值,其大小可以根据实际情况进行设置。
值得注意的是,对于亮度空间Y,可以通过T和s的调节减小对高频部分的滤波来避免对图像细节的破坏。
此外,可以理解,本步骤中的T调节方法只是具体的实现例子,在实际应用中,还可以通过其他基于pi,L(x,y,C)和pi,H(x,y,C)的统计特性的方法对T进行调解。
接着,在步骤104中,将分解后得到的低频部分图像信息与滤波后得到的高频部分图像信息通过逆分解重建,得到高ISO速度噪声消除后的图像信息。
具体地说,假定高频部分滤波后的图像信息为IiH ,并且一共进行n阶多分辨率分解,则将I(n-1)L和I(n-1)H ,I(n-2)H ,……,I1H 逐步叠加即可以重建出滤波后的图像,如图3所示,其中,I(n-1)L和I(n-1)H 叠加值为I(n-2) L ,依次类推。逆分解重建后得到的图像即为高ISO速度噪声消除后的图像。
接着,在步骤105中,判断是否每一个空间的图像信息都已通过多阶的多分辨率分解、高频部分滤波、逆分解重建等过程,得到高ISO速度噪声消除后的图像。如果(Y,U,V)每一个空间的图像信息都已是高ISO速度噪声消除后的图像信息,则进入步骤106,否则,回到步骤102,将下一个待处理空间的图像信息进行多阶的多分辨率分解。
在步骤106中,将图像信息从(Y,U,V)空间转换为(R,G,B)空间。
由此可见,本实施方式的基于多分辨率分析的高ISO速度噪声消除方法,相对于现有技术中的混合均值滤波器和加权中值滤波器方法而言,由于可以在多种分辨率下来判断和消除高ISO速度噪声,而不是拘泥于一定的窗口范围之内,所以对特别是噪声点较大和较为密集的高ISO速度噪声,噪声消除的效果有很大的改进。经实验证明,即使与业界知名的图像处理软件(如Canon EOS50D随机软件、Noise Ninja和Neat Image等)噪声消除处理后的图像相比较,采用本实施方式的高ISO速度噪声消除方法得到的图像,具有更佳的噪声消除的效果。
另外,由于现有技术中的混合均值滤波器和加权中值滤波器方法依赖于计算量较大的窗口自适应和信号方差估计,而本实施方式通过多阶的多分辨率分解来发现噪声,不需要动态调整每个像素点自适应窗口,避免了大量计算信号方差的过程,因此可以大大降低噪声消除的运算复杂度,从而能方便的在便携式或嵌入式系统中实现。而且,本实施方式中的多分辨率分析方法相对于如金字塔图像处理,子带编码及最常用的小波分析等其他多分辨率分析范畴的图像处理方法而言,具有运算复杂度小和适合分解高ISO速度噪声的特点。
本发明第二实施方式涉及一种高感光速度噪声的消除方法。第二实施方式在第一实施方式的基础上进行了改进,主要改进之处在于:在第一实施方式中,每阶分辨率的处理都包含了对整幅图像进行多次遍历操作,如水平方向平均值计算,垂直方向的方向平均值计算,高频部分的获得,高频部分的方差计算和高频部分的滤波等,因此需要较大容量的存储带宽。而本发明第二实施方式通过设置对应每行图像信息的线缓冲区,在处理每一行图像信息时,在完成一阶的操作后不放入内存,而是通过存储到相应的线缓冲区中,继续执行下一阶的操作,直至得到该行最终的噪声消除后的图像信息后再放入内存,以减少对存储带宽的要求。为方便理解,下面以一个具体的例子对本实施方式进行说明。
假设多分辨率分解的阶数为3,如图4所示,图中每行方格表示一条线缓冲区Line Buffer(在嵌入式系统中,线缓冲区用于存储一行图像信息)。第0阶的操作规程如下:第0阶设置有12条线缓冲区,分别是低频线缓冲区L00,L01,L02,高频线缓冲区H00~H07和一条计算临时线缓冲区。第一步,从内存中读取第一行图像到L00,对其进行水平方向的平均运算,运算结果保存在L00而原始图像数据保存在临时线缓冲区,然后计算两者之差并保存在H00;第二步,将L00中的数据移入L01(或交换这两条线缓冲区的名称),从内存中读取新一行图像到L00,并重复第一步的操作;第三步,将L00镜像复制到L02,然后对L01进行垂直方向的平均运算,参差累加到H00,这样L01就是第一行图像的第0阶操作的低频部分,而H00则保存有其高频部分;第四步,对H00中高频部分进行滤波(滤波时所使用的参数可以仅根据当前像素点的值进行调节);第五步,将L01中低频部分作为第1阶的输入,输入到L10。重复以上操作即可对图像的每一行完成第0阶的多分辨率分解和滤波。注意每从内存中读取新一行图像,L00,L01和L02都要做图中所示的数据转存:即L01中的数据存入L02,L00中的数据存入L01。另外,镜像复制只需要对第一行图像执行。
在进行第0阶操作的同时,可以进行和第0阶操作类似的第1阶和第2阶的操作。如图4所示,第1阶以L01作为输入,第2阶以L12作为输入。不同的是由于第1阶和第2阶的步长分别为2和4,所以就需要5条和9条低频线缓冲区来进行垂直方向的平均运算。值得注意的是第2阶中L24的输出即为多分辨率分解的最终低频部分,将它和相对应的该行图像保存在第0阶,第1阶和第2阶的高频线缓冲区的已滤波的高频部分相累加,就可以重建出消除噪点的该行图像。另外,第2阶需要5条高频线缓冲区对应L20~L24,而第0阶和第1阶依次推导可得分别需要8条和7条高频线缓冲区。
由此可见,在上述例子中,总共只需40条图像处理线缓冲区(注意每一阶各有一条计算临时线缓冲区),每行图像在经过上述3阶处理后即能完成噪声消除,即图像只需内存的一次读出和一次读入。该实施方式大大减少了对存储带宽的要求,因此更适用于在嵌入式系统中硬件实现。
本发明第三实施方式涉及一种高感光速度噪声的消除方法。第三实施方式在第一实施方式的基础上进行了改进,主要改进之处在于:在本实施方式中,在对每一阶的高频部分图像信息进行滤波之前,对每一个像素点需要先判断高频部分是否为原始图像的边缘特性引起的高频特征,如果是原始图像的边缘特性引起的高频特征(说明不是噪声),则不对该高频部分进行滤波。如果不是原始图像的边缘特性引起的高频特征(说明的确是噪声),则再进行滤波。如果不对该像素点的高频部分进行滤波,则逆分解重建过程中的滤波后得到的高频部分,即为分解后得到的高频部分。
比如说,可以通过以下方式判断坐标为(x,y)的像素的高频部分是否是原始图像的边缘特性:
如果满足以下条件之一,则判定其高频部分是原始图像的边缘特性引起的:
(1)|(pi,L(x-step,y,C)-pi,L(x+step,y,C))|>TH1并且pi,H(x,y-step,C),pi,H(x,y,C),pi,H(x,y+step,C)三者的方差小于TH2
(2)|(pi,L(x,y-step,C)-pi,L(x,y+step,C))|>TH1并且pi,H(x-step,y,C),pi,H(x,y,C),pi,H(x+step,y,C)三者的方差小于TH2
其中,TH1和TH2可以是设定的固定值,也可以是根据pi,L和pi,H变化的参数。
对于原始图像的边缘特性引起的高频部分不进行滤波,即Pi,H (x,y,C)=Pi,H(x,y,C)。
此外,可以理解,上述判断高频部分图像信息是否为原始图像的边缘特性引起的条件,只是本实施方式中一个具体的实现例子,在实际应用中,还可以通过其他各种方式判断高频部分图像信息是否为原始图像的边缘特性引起的。
不难发现,本实施方式中由于在对高频部分图像信息进行滤波前先判断该高频部分图像信息是否为原始图像的边缘特性引起的高频特征,如果是,则说明该高频部分不是噪声,不进行滤波,避免了将图像特征边缘处的信息误认为是噪声,从而进一步改善了噪声消除的效果。
本发明的各实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Programmable Array Logic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
本发明第四实施方式涉及一种数字图像处理设备。该数字图像处理设备如图5所示,包含图像信息获取模块、分解模块、滤波模块和逆分解重建模块。
图像信息获取模块用于获取带有高ISO速度噪声的数字图像的每个空间的图像信息,并将获取的每个空间的图像信息输出给分解模块:
分解模块用于对每个空间的图像信息分别进行多阶的多分辨率分解,其中,原始图像信息分解为第1阶的高频部分图像信息和低频部分图像信息,每一阶的低频部分图像信息进一步作为下一阶的输入图像信息,分解为下一阶的高频部分图像信息和低频部分图像信息。
滤波模块用于对分解模块分解得到的每一阶的高频部分图像信息进行滤波。
逆分解重建模块用于将分解模块分解后得到的低频部分图像信息与滤波模块滤波后得到的高频部分图像信息通过逆分解重建,得到高感光速度噪声消除后的图像信息。
其中,分解模块通过以下方式从第i阶的输入图像Ii中分解出低频部分图像信息IiL
对于Ii上的坐标为(x,y)的像素,根据以下公式计算其水平方向的平均值pi,h(x,y,C):
pi,h(x,y,C)=(wpi(x,y,C)+pi(x-step,y,C)+pi(x+step,y,C))/(w+2)
其中,C表示图像Ii所在的色彩空间,pi(x,y,C)表示Ii上的坐标为(x,y)的像素值,w为实现中能够调节的中心权重,step为对应第i阶的步长。然后,根据以下公式计算该像素垂直方向的平均值pi,v(x,y,C):
pi,v(x,y,C)=(wpi,h(x,y,C)+pi,h(x,y-step,C)+pi,h(x,y+step,C))/(w+2)
计算得到的pi,v(x,y,C)即为组成低频部分IiL的像素值pi,L(x,y,C)。
分解模块通过以下方式从第i阶的输入图像Ii中分解出高频部分图像信息IiH
根据以下公式计算得到组成IiH的像素值pi,H(x,y,C):
pi,H(x,y,C)=pi(x,y,C)-pi,L(x,y,C)。
滤波模块根据以下两个公式之一进行滤波:
Figure G2009100576710D00152
其中,T和s分别为实现中能够调节的临界值和缩放参数,pi,H (x,y,C)为对pi,H(x,y,C)进行滤波后的值。T可通过以下方式之一进行调节:
依据pi,L(x,y,C)和pi,H(x,y,C)在整幅图像的方差调节所述T,当pi,L(x,y,C)的方差值较大(如大于第一预定值)时,减小T;当pi, H(x,y,C)的方差值较大(如大于第二预定值)时,增大T。
或者,依据pi,L(x,y,C)和pi,H(x,y,C)在坐标点(x,y)附近区域的方差调节所述T,方法如上所述。
或者,仅依据pi,L(x,y,C)或pi,H(x,y,C)在整幅图像的方差调节所述T,方法如上所述。
或者,仅依据pi,L(x,y,C)或pi,H(x,y,C)在坐标点(x,y)附近区域的方差调节所述T,方法如上所述。
其中,第一预定值和第二预定值只是预先设定的两个值,其大小可以根据实际情况进行设置。
不难发现,第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明第五实施方式涉及一种数字图像处理设备。第五实施方式在第四实施方式的基础上进行了改进,主要改进之处在于:对于图像信息,图像信息获取模块在将图像信息从内存读出并输出给分解模块后,分解模块、滤波模块和逆分解重建模块连续执行分解、滤波、逆分解重建操作,得到高感光速度噪声消除后的图像信息,图像信息获取模块再将得到的图像信息读入内存。由于图像只需内存的一次读出和一次读入,大大减少了对存储带宽的要求,因此更适用于在嵌入式系统中硬件实现。
不难发现,第二实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
本发明第六实施方式涉及一种数字图像处理设备。第六实施方式在第四实施方式的基础上进行了改进,主要改进之处在于,数字图像处理设备还包含:
判断模块,用于在滤波模块对每一阶的高频部分图像信息进行滤波之前,对每一个像素点判断高频部分是否为原始图像的边缘特性引起的高频特征,如果是原始图像的边缘特性引起的高频特征,则指示滤波模块不对该高频部分进行滤波。如果判定不是原始图像的边缘特性引起的高频特征,则再指示滤波模块进行滤波。
如果不对高频部分图像信息进行滤波,则逆分解重建过程中的滤波后得到的该像素点高频部分,即为分解模块分解后得到的该像素点高频部分。
由于如果高频部分是原始图像的边缘特性引起的,则说明该高频部分不是噪声,因此通过在滤波前先判断是否为原始图像的边缘性特性引起的,可以有效避免将图像特征边缘处的信息误认为是噪声,从而进一步改善了噪声消除的效果。
不难发现,第三实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第三实施方式中。
需要说明的是,本发明各设备实施方式中提到的各单元都是逻辑单元,在物理上,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现,这些逻辑单元本身的物理实现方式并不是最重要的,这些逻辑单元所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,这并不表明上述设备实施方式并不存在其它的单元。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (14)

1.一种高感光速度噪声的消除方法,其特征在于,包含以下步骤:
对带有高感光速度噪声的数字图像的每个空间的图像信息分别进行如下操作:
将图像信息进行多阶的多分辨率分解,其中,原始图像信息分解为第1阶的高频部分图像信息和低频部分图像信息,每一阶的低频部分图像信息进一步作为下一阶的输入图像信息,分解为下一阶的高频部分图像信息和低频部分图像信息;
对每一阶的高频部分图像信息进行滤波;
将分解后得到的低频部分图像信息与滤波后得到的高频部分图像信息通过逆分解重建,得到高感光速度噪声消除后的图像信息。
2.根据权利要求1所述的高感光速度噪声的消除方法,其特征在于,通过以下方式从第i阶的输入图像Ii中分解出低频部分图像信息IiL
对于Ii上的坐标为(x,y)的像素,根据以下公式计算其水平方向的平均值pi,h(x,y,C):
pi,h(x,y,C)=(w*pi(x,y,C)+pi(x-step,y,C)+pi(x+step,y,C))/(w+2)
其中,C表示图像Ii所在的色彩空间,pi(x,y,C)表示Ii上的坐标为(x,y)的像素值,w为实现中能够调节的中心权重,step为对应第i阶的步长;
根据以下公式计算该像素垂直方向的平均值pi,v(x,y,C):
pi,v(x,y,C)=(w*pi,h(×,y,C)+pi,h(x,y-step,C)+pi,h(x,y+step,C))/(w+2)
计算得到的pi,v(x,y,C)即为组成低频部分IiL的像素值pi,L(x,y,C)。
3.根据权利要求2所述的高感光速度噪声的消除方法,其特征在于,通过以下方式从第i阶的输入图像Ii中分解出高频部分图像信息IiH
根据以下公式计算得到组成IiH的像素值pi,H(x,y,C):
pi,H(x,y,C)=pi(x,y,C)-pi,L(x,y,C)。
4.根据权利要求3所述的高感光速度噪声的消除方法,其特征在于,根据以下两个公式之一进行所述滤波:
Figure FSB00000701121500021
Figure FSB00000701121500022
其中,T和s分别为实现中能够调节的临界值和缩放参数,pi,H (x,y,C)为对pi,H(x,y,C)进行滤波后的值。
5.根据权利要求4所述的高感光速度噪声的消除方法,其特征在于,根据以下方式之一调节所述T:
依据pi,L(x,y,C)和/或pi,H(x,y,C)在整幅图像的方差调节所述T,当pi,L(x,y,C)的方差值大于第一预定值时,减小T;当pi,H(x,y,C)的方差值大于第二预定值时,增大T;
或者,依据pi,L(x,y,C)和/或pi,H(x,y,C)在坐标点(x,y)附近预定区域的方差调节所述T,当pi,L(x,y,C)的方差值大于第一预定值时,减小T;当pi,H(x,y,C)的方差值大于第二预定值时,增大T。
6.根据权利要求1所述的高感光速度噪声的消除方法,其特征在于,对于每个空间的图像信息,在将该图像信息从内存读出后,连续执行所述操作,得到高感光速度噪声消除后的图像信息,再将得到的图像信息读入内存。
7.根据权利要求4所述的高感光速度噪声的消除方法,其特征在于,还包含以下步骤:
在对每一阶的高频部分图像信息进行滤波之前,对每一个像素点判断所述高频部分是否为原始图像的边缘特性引起的高频特征,如果是原始图像的边缘特性引起的高频特征,则不对该高频部分进行滤波;如果不是原始图像的边缘特性引起的高频特征,则再进行所述滤波;
如果不对高频部分进行滤波,则所述逆分解重建过程中的滤波后得到的像素点高频部分,即为分解后得到的像素点高频部分。
8.一种数字图像处理设备,其特征在于,包含图像信息获取模块、分解模块、滤波模块和逆分解重建模块;
所述图像信息获取模块用于获取带有高感光速度噪声的数字图像的每个空间的图像信息,并将获取的每个空间的图像信息输出给所述分解模块:
所述分解模块用于对每个空间的图像信息分别进行多阶的多分辨率分解,其中,原始图像信息分解为第1阶的高频部分图像信息和低频部分图像信息,每一阶的低频部分图像信息进一步作为下一阶的输入图像信息,分解为下一阶的高频部分图像信息和低频部分图像信息;
所述滤波模块用于对所述分解模块分解得到的每一阶的高频部分图像信息进行滤波;
所述逆分解重建模块用于将所述分解模块分解后得到的低频部分图像信息与所述滤波模块滤波后得到的高频部分图像信息通过逆分解重建,得到高感光速度噪声消除后的图像信息。
9.根据权利要求8所述的数字图像处理设备,其特征在于,所述分解模块通过以下方式从从第i阶的输入图像Ii中分解出低频部分图像信息IiL
对于Ii上的坐标为(x,y)的像素,根据以下公式计算其水平方向的平均值pi,h(x,y,C):
pi,h(x,y,C)=(w*pi(x,y,C)+pi(x-step,y,C)+pi(x+step,y,C))/(w+2)
其中,C表示图像Ii所在的色彩空间,pi(x,y,C)表示Ii上的坐标为(x,y)的像素值,w为实现中能够调节的中心权重,step为对应第i阶的步长;
根据以下公式计算该像素垂直方向的平均值pi,v(x,y,C):
pi,v(x,y,C)=(w*pi,h(x,y,C)+pi,h(x,y-step,C)+pi,h(x,y+step,C))/(w+2)
计算得到的pi,v(x,y,C)即为组成低频部分IiL的像素值pi,L(x,y,C)。
10.根据权利要求9所述的数字图像处理设备,其特征在于,所述分解模块通过以下方式从第i阶的输入图像Ii中分解出高频部分图像信息IiH
根据以下公式计算得到组成IiH的像素值pi,H(x,y,C):
pi,H(×,y,C)=pi(x,y,C)-pi,L(x,y,C)。
11.根据权利要求10所述的数字图像处理设备,其特征在于,所述滤波模块根据以下两个公式之一进行所述滤波:
Figure FSB00000701121500041
Figure FSB00000701121500042
其中,T和s分别为实现中能够调节的临界值和缩放参数,pi,H (x,y,C)为对pi,H(x,y,C)进行滤波后的值。
12.根据权利要求11所述的数字图像处理设备,其特征在于,所述滤波模块根据以下方式之一调节所述T:
依据pi,L(x,y,C)和/或pi,H(x,y,C)在整幅图像的方差调节所述T,当前pi,L(x,y,C)的方差值大于第一预定值时,减小T;当pi,H(x,y,C)的方差值大于第二预定值时,增大T;
或者,依据pi,L(x,y,C)和/或pi,H(x,y,C)在坐标点(x,y)附近预定区域的方差调节所述T,当pi,L(x,y,C)的方差值大于第一预定值时,减小T;当pi,H(x,y,C)的方差值大于第二预定值时,增大T。
13.根据权利要求8所述的数字图像处理设备,其特征在于,对于图像信息,所述图像信息获取模块在将该图像信息从内存读出并输出给所述分解模块后,所述分解模块、滤波模块和逆分解重建模块连续执行所述分解、滤波、逆分解重建操作,得到高感光速度噪声消除后的图像信息,所述图像信息获取模块再将得到的图像信息读入内存。
14.根据权利要求11所述的数字图像处理设备,其特征在于,所述数字图像处理设备还包含:
判断模块,用于在所述滤波模块对每一阶的高频部分图像信息进行滤波之前,对每一个像素点判断所述高频部分是否为原始图像的边缘特性引起的高频特征,如果是原始图像的边缘特性引起的高频特征,则指示所述滤波模块不对该高频部分进行滤波;如果判定不是原始图像的边缘特性引起的高频特征,则再指示所述滤波模块进行所述滤波;
如果不对高频部分进行滤波,则所述逆分解重建过程中的滤波后得到的像素点高频部分,即为所述分解模块分解后得到的像素点高频部分。
CN2009100576710A 2009-07-29 2009-07-29 高感光速度噪声的消除方法及数字图像处理设备 Active CN101986688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100576710A CN101986688B (zh) 2009-07-29 2009-07-29 高感光速度噪声的消除方法及数字图像处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100576710A CN101986688B (zh) 2009-07-29 2009-07-29 高感光速度噪声的消除方法及数字图像处理设备

Publications (2)

Publication Number Publication Date
CN101986688A CN101986688A (zh) 2011-03-16
CN101986688B true CN101986688B (zh) 2012-07-25

Family

ID=43710989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100576710A Active CN101986688B (zh) 2009-07-29 2009-07-29 高感光速度噪声的消除方法及数字图像处理设备

Country Status (1)

Country Link
CN (1) CN101986688B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120133A (zh) * 2015-09-14 2015-12-02 浙江大华技术股份有限公司 一种消除图像闪烁现象方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11128822B2 (en) 2016-07-26 2021-09-21 Microsoft Technology Licensing, Llc Real-time adaptive shadow and highlight enhancement

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770820A (zh) * 2004-11-01 2006-05-10 三星Techwin株式会社 数码相机中去除热像素的方法和装置
CN1874421A (zh) * 2006-06-13 2006-12-06 北京中星微电子有限公司 一种图像序列帧间闪烁噪声消除装置
CN1946143A (zh) * 2006-11-07 2007-04-11 北京中星微电子有限公司 消除曝光闪烁的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770820A (zh) * 2004-11-01 2006-05-10 三星Techwin株式会社 数码相机中去除热像素的方法和装置
CN1874421A (zh) * 2006-06-13 2006-12-06 北京中星微电子有限公司 一种图像序列帧间闪烁噪声消除装置
CN1946143A (zh) * 2006-11-07 2007-04-11 北京中星微电子有限公司 消除曝光闪烁的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2003-51991A 2003.02.21

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120133A (zh) * 2015-09-14 2015-12-02 浙江大华技术股份有限公司 一种消除图像闪烁现象方法及装置
CN105120133B (zh) * 2015-09-14 2018-05-25 浙江大华技术股份有限公司 一种消除图像闪烁现象方法及装置

Also Published As

Publication number Publication date
CN101986688A (zh) 2011-03-16

Similar Documents

Publication Publication Date Title
US10070104B2 (en) Imaging systems with clear filter pixels
AU2014203602B2 (en) Flash synchronization using image sensor interface timing signal
US7417670B1 (en) Digital video camera with binning or skipping correction
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
CN102640184B (zh) 用于图像信号处理的时域滤波技术
US8310567B2 (en) Methods of modeling an integrated noise in an image sensor and methods of reducing noise using the same
US8355074B2 (en) Exposing pixel groups in producing digital images
US8249370B2 (en) Image processing method, image recording method, image processing device and image file format
US20100074520A1 (en) Image processing device and image processing method
US20100271498A1 (en) System and method to selectively combine video frame image data
US20090091645A1 (en) Multi-exposure pattern for enhancing dynamic range of images
US20120163726A1 (en) Noise filtering method and apparatus considering noise variance and motion detection
WO2012047426A1 (en) Techniques for synchronizing audio and video data in an image signal processing system
US8824831B2 (en) Advanced noise reduction in digital cameras
EP2622867A1 (en) System and method for processing image data using an image signal processor having back-end processing logic
US7986351B2 (en) Luma adaptation for digital image processing
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
KR101225056B1 (ko) 이미지 센서 노이즈 저감 장치 및 방법
US7734110B2 (en) Method for filtering the noise of a digital image sequence
CN101986688B (zh) 高感光速度噪声的消除方法及数字图像处理设备
US20140055634A1 (en) Image processing device and method, program, and solid-state imaging device
US20140118580A1 (en) Image processing device, image processing method, and program
US8339481B2 (en) Image restoration devices adapted to remove artifacts from a restored image and associated image restoration methods
Lee et al. A cost-effective demosaicked image enhancement for a single chip CMOS image sensor
CN115665571A (zh) 高动态范围图像合成方法、系统及摄像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180410

Address after: The 300456 Tianjin FTA test area (Dongjiang Bonded Port) No. 6865 North Road, 1-1-1802-7 financial and trade center of Asia

Patentee after: Xinji Lease (Tianjin) Co.,Ltd.

Address before: 201203 Shanghai city Zuchongzhi road Pudong Zhangjiang hi tech park, Spreadtrum Center Building 1, Lane 2288

Patentee before: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

TR01 Transfer of patent right
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20110316

Assignee: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Assignor: Xinji Lease (Tianjin) Co.,Ltd.

Contract record no.: 2018990000196

Denomination of invention: Method for eliminating high light sensitivity speed noise and digital image processing equipment

Granted publication date: 20120725

License type: Exclusive License

Record date: 20180801

EE01 Entry into force of recordation of patent licensing contract
TR01 Transfer of patent right

Effective date of registration: 20221025

Address after: 201203 Shanghai city Zuchongzhi road Pudong New Area Zhangjiang hi tech park, Spreadtrum Center Building 1, Lane 2288

Patentee after: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Address before: 300456 1-1-1802-7, north area of financial and Trade Center, No. 6865, Asia Road, Tianjin pilot free trade zone (Dongjiang Bonded Port Area)

Patentee before: Xinji Lease (Tianjin) Co.,Ltd.

TR01 Transfer of patent right