CN110599406B - 一种图像增强方法及装置 - Google Patents

一种图像增强方法及装置 Download PDF

Info

Publication number
CN110599406B
CN110599406B CN201910203085.6A CN201910203085A CN110599406B CN 110599406 B CN110599406 B CN 110599406B CN 201910203085 A CN201910203085 A CN 201910203085A CN 110599406 B CN110599406 B CN 110599406B
Authority
CN
China
Prior art keywords
component
layer
low
band
frequency sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910203085.6A
Other languages
English (en)
Other versions
CN110599406A (zh
Inventor
洪明
张蕊
林恒杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Li Ke Semiconductor Technology Co ltd
Original Assignee
Shanghai Li Ke Semiconductor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Li Ke Semiconductor Technology Co ltd filed Critical Shanghai Li Ke Semiconductor Technology Co ltd
Priority to CN201910203085.6A priority Critical patent/CN110599406B/zh
Priority to PCT/CN2019/126273 priority patent/WO2020186848A1/zh
Priority to US17/440,261 priority patent/US11915392B2/en
Publication of CN110599406A publication Critical patent/CN110599406A/zh
Application granted granted Critical
Publication of CN110599406B publication Critical patent/CN110599406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明提供一种图像增强方法，该方法包括：获取YUV格式图像，分离所述YUV格式图像的亮度分量和色度分量；分别对所述亮度分量和色度分量进行Nmax层小波分解，得到各层亮度分量的低频子带和高频子带，以及色度分量的低频子带和高频子带，其中Nmax为大于1的正整数；以第Nmax层为起始，根据对应层亮度分量的低频子带对各层色度分量的低频子带进行边缘保留滤波后与色度分量的高频子带不断向上一层进行小波重构，直至得到原始尺寸的图像；根据所述亮度分量对小波重构后的色度分量进行边缘保留滤波；整合所述亮度分量和经过边缘保留滤波的色度分量。

Description

一种图像增强方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种图像增强方法及装置。
背景技术
随着手机的逐步普及，人们对图像成像质量的要求越来越高。为了满足人们的需求，手机配备的摄像头分辨率在逐年提高，但图像成像质量并没有随着分辨率的增加而大幅度提高，特别是在光线较暗的环境中。
为了提高亮度，相机需要延长曝光时间或提高信号放大倍数。延长曝光时间将会导致图像成像较慢，降低了用户体验。对于提高信号放大倍数，在放大正常信号的同时，噪声(特别是人眼较为敏感的色度噪声)也会被放大，导致图像质量降低。
相机成像过程较为复杂，会同时引入不同频率的噪声，形成叠加噪声，单靠普通双边滤波方法很难将大部分噪声完全去除。小波变换具有较好的分时和分频特性，被广泛用于去噪领域。
常用的小波域去噪方法是对小波变换后的各高频子带进行阈值收缩，即小波阈值去噪方法。但该方法依赖于阈值的选取，由于不同的分解尺度、不同的高频子带所需的阈值均不相同，一旦阈值选取不当，极容易造成去噪后图像因大量高频分量丢失而出现马赛克或边缘振荡等现象。
发明内容
本发明要解决的技术问题是提供一种图像增强方法及装置，以消除图像的边缘震荡，提高图像的去噪效果。
为解决上述技术问题，本发明的一方面提供一种图像增强方法，该方法包括：获取YUV格式图像，分离所述YUV格式图像的亮度分量和色度分量；分别对所述亮度分量和色度分量进行Nmax层小波分解，得到各层亮度分量的低频子带和高频子带，以及色度分量的低频子带和高频子带，其中Nmax为大于1的正整数；以第Nmax层为起始，根据对应层亮度分量的低频子带对各层色度分量的低频子带进行边缘保留滤波后与色度分量的高频子带不断向上一层进行小波重构，直至得到原始尺寸的图像；根据所述亮度分量对小波重构后的色度分量进行边缘保留滤波；整合所述亮度分量和经过边缘保留滤波的色度分量。
在本发明的一实施例中，根据对应层亮度分量的低频子带对色度分量的低频子带进行边缘保留滤波的步骤包括：根据对应层亮度分量的低频子带计算得到权值，以及根据所述权值对色度分量的低频子带进行边缘保留滤波。
在本发明的一实施例中，色度分量包括U分量和V分量，所述边缘保留滤波为双边滤波，根据所述权值对色度分量的低频子带进行边缘保留滤波的步骤包括：
Figure GDA0003473481010000021
Figure GDA0003473481010000022
其中，N为当前小波层数，1≤N≤Nmax，且N为自然数，(x,y)为像素点的坐标，(i，j)为窗口内偏移量，-WINN≤i,j≤WINN，WINN为第N层高斯核半径，U_LLN(x,y)为第N层U分量像素点(x,y)的低频子带，V_LLN(x,y)为第N层Y分量像素点(x,y)的低频子带，U_LLN(x+i,y+j)、V_LLN(x+i,y+j)分别为U、V分量像素点U_LLN(x,y)、V_LLN(x,y)以高斯核尺寸WINN为半径的像素点集合，WN(x+i,y+j)为对应的权值，
Figure GDA0003473481010000023
是经过边缘保留滤波之后的第N层U分量像素点(x,y)的低频子带，
Figure GDA0003473481010000024
是经过边缘保留滤波之后的第N层Y分量像素点(x,y)的低频子带。
在本发明的一实施例中，根据对应层亮度分量的低频子带计算得到权值的步骤包括：
WN(x+i,y+j)＝WDN(x+i,y+j)*WRN(x+i,y+j) (3)
Figure GDA0003473481010000031
Figure GDA0003473481010000032
Figure GDA0003473481010000033
其中，δ_GN为第N层双边滤波中高斯核方差，δ_YN、δ_UN和δ_VN分别为第N层Y、U、V分量方差，WDN(x+i,y+j)为双边滤波中的定义域权值，WRN(x+i,y+j)为双边滤波中的值域权值，EIN(x+i,y+j)为综合边缘指示量，Y_LLN(x,y)为第N层Y分量像素点(x,y)的低频子带，Y_LLN(x+i,y+j)为Y分量像素点Y_LLN(x,y)以高斯核尺寸WINN为半径的像素点集合。
在本发明的一实施例中，获取YUV格式图像的步骤包括：获取RGB格式图像，将所述RGB格式图像转换为YUV格式图像。
在本发明的一实施例中，采用Haar小波函数进行小波分解和小波重构。
本发明的另一方面提供一种图像增强装置，该装置包括：图像获取单元，获取YUV格式图像，分离所述YUV格式图像的亮度分量和色度分量；小波分解单元，分别对所述亮度分量和色度分量进行Nmax层小波分解，得到各层亮度分量的低频子带和高频子带，以及色度分量的低频子带和高频子带，其中Nmax为大于1的正整数；小波重构单元，以第Nmax层为起始，根据对应层亮度分量的低频子带对各层色度分量的低频子带进行边缘保留滤波后与色度分量的高频子带不断向上一层进行小波重构，直至得到原始尺寸的图像；边缘保留滤波单元，根据所述亮度分量对小波重构后的色度分量进行边缘保留滤波；整合单元，整合所述亮度分量和经过边缘保留滤波的色度分量。
在本发明的一实施例中，所述小波重构单元根据对应层亮度分量的低频子带计算得到权值，以及根据所述权值对色度分量的低频子带进行边缘保留滤波。
在本发明的一实施例中，所述图像获取单元获取RGB格式图像，将所述RGB格式图像转换为YUV格式图像。
在本发明的一实施例中，所述小波分解单元采用哈尔小波函数进行小波分解，所述小波重构单元采用Haar小波函数进行小波重构。
与现有技术相比，本发明具有以下优点：本发明提供一种图像增强方法及装置，通过对YUV格式图像进行小波分解，得到各层亮度分量和色度分量的低频子带和高频子带，根据对应层亮度分量的低频子带对各层色度分量的低频子带进行边缘保留滤波，不断向上一层进行小波重构，直至得到原始尺寸的图像，能够有效地保留和增强色度分量低频子带的边缘信息，可以避免对阈值的依赖，消除图像的边缘震荡，提高图像的去噪效果。
附图说明
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：
图1是根据本发明一实施例的图像增强方法的流程图；
图2是根据本发明一实施例的图像增强装置的结构示意图；
图3是图1所示的图像增强方法中步骤130的流程图；
图4是根据本发明一实施例的原始亮度Y分量的图像；
图5A是根据本发明一实施例的原始色度U分量的图像；
图5B是根据本发明一实施例的图像增强方法处理之后的色度U分量的图像；
图6A是根据本发明一实施例的原始色度V分量的图像；
图6B是根据本发明一实施例的图像增强方法处理之后的色度V分量的图像。
具体实施方式
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本发明对根据本发明的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在成像系统和/或处理器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本发明一实施例的图像增强方法的流程图。参考图1所示，该图像增强方法包括下列步骤：
步骤110，获取YUV格式图像。
步骤120，分别对亮度分量和色度分量进行Nmax层小波分解。
步骤130，以第Nmax层为起始，根据对应层亮度分量的低频子带对各层色度分量的低频子带进行边缘保留滤波后与色度分量的高频子带不断向上一次进行小波重构，直至得到原始尺寸的图像。
步骤140，根据亮度分量对小波重构后的色度分量进行边缘保留滤波。
步骤150，整合亮度分量和经过边缘保留滤波的色度分量。
图2是根据本发明一实施例的图像增强装置的结构示意图。参考图2所示，该实施例的图像增强装置200包括图像获取单元210、小波分解单元220、小波重构单元230、边缘保留滤波单元240和整合单元250。该图像增强装置200可以利用图1所示的图像增强方法来对输入的图像进行图像增强处理。下面结合图2对图1所示的图像增强方法的步骤进行详细说明。
在步骤110中，获取YUV格式图像。
在一些实施例中，步骤110可以由图像增强装置200中的图像获取单元210来执行。YUV是一种用于图像或视频信号的颜色编码方法，其中，Y表示图像的亮度(Luminance)，U和V表示图像的色度(Chroma)。由YUV颜色编码方法获得的图像被称为YUV格式图像。
在一些实施例中，输入到图像获取单元210的图像可以是其他颜色空间的格式，例如但不限于RGB、CMYK等格式。在这些实施例中，需要将其他格式的图像转换为YUV格式，该转化步骤可以由图像获取单元210来执行。
在步骤110中还包括对所获取的YUV格式图像进行分离处理，以分别获得该YUV格式图像中的亮度分量(Y分量)和色度分量(UV分量)。该步骤可以由图像获取单元210来执行。
对YUV格式图像进行分离的方法取决于具体的YUV格式。常见的YUV格式例如但不限于NV12、NV21和YV12等。不同的格式对应于不同的数据存储格式，在对输入到图像获取单元210的图像数据进行读取时，即可以根据该图像数据的存储格式将图像中的亮度分量和色度分量同步分离出来，并分别存储为相应的量，以用于后续的处理。
在步骤120中，分别对亮度分量和色度分量进行Nmax层小波分解。
在一些实施例中，步骤120可以由图像增强装置200中的小波分解单元220来执行。
小波分解单元220分别对亮度分量和色度分量进行Nmax层小波分解之后，可以得到各个小波层亮度分量的低频子带(Y_LLlevel)和高频子带(Y_LHlevel、Y_HLlevel、Y_HHlevel)，以及色度分量的低频子带(U_LLlevel、V_LLlevel)和高频子带(U_LHlevel、U_HLlevel、U_HHlevel、V_LHlevel、V_HLlevel、V_HHlevel)，其中，level为相应的小波层数，例如Y_LLN即为亮度分量在第N层小波层上的低频子带分量，U_LLN、V_LLN为色度分量在第N层小波层上的低频子带分量。N为大于1的正整数。
在一些实施例中，小波分解的方法可以采用小波变换中的任意函数来实现，例如但不限于Haar小波、Shannon小波、Meyer小波等。在本发明的优选实施例中，采用Haar小波进行步骤120的小波分解。
在步骤130中，以第Nmax层为起始，根据对应层亮度分量的低频子带对各层色度分量的低频子带进行边缘保留滤波后与色度分量的高频子带不断向上一层进行小波重构，直至得到原始尺寸的图像。边缘保留滤波可以是各种保留边缘的滤波算法，例如可以是双边滤波算法或者导向滤波算法等。在本发明的实施例中，边缘保留滤波算法可以是双边滤波算法，下文将以双边滤波算法为例对本发明的实施例中的图像增强算法进行说明。
在一些实施例中，步骤130可以由图像增强装置200中的小波重构单元230来执行。
在一些实施例中，根据对应层亮度分量的低频子带对色度分量的低频子带进行边缘保留滤波的步骤包括：根据对应层亮度分量的低频子带计算得到权值，以及根据该权值对色度分量的低频子带进行边缘保留滤波。
在一些实施例中，该边缘保留滤波可以由图像增强装置200中的边缘保留滤波单元240来执行。
具体地，以双边滤波算法为例，以第N层(1≤N≤Nmax，且N为自然数)小波层为例对步骤130进行说明。设对应于第N层小波层，且坐标为(x,y)的像素点的色度分量的低频子带为U_LLN(x,y)和V_LLN(x,y)，经过双边滤波去噪后分别得到
Figure GDA0003473481010000071
和
Figure GDA0003473481010000072
该双边滤波的过程可以如下列公式所示：
Figure GDA0003473481010000073
Figure GDA0003473481010000074
其中，N为当前小波层数，1≤N≤Nmax，且N为自然数，(x,y)为像素点的坐标，(i，j)为窗口内偏移量，-WINN≤i,j≤WINN，WINN为第N层高斯核半径，U_LLN(x,y)为第N层U分量像素点(x,y)的低频子带，V_LLN(x,y)为第N层Y分量像素点(x,y)的低频子带，U_LLN(x+i,y+j)、V_LLN(x+i,y+j)分别为U、V分量像素点U_LLN(x,y)、V_LLN(x,y)以高斯核尺寸WINN为半径的像素点集合，WN(x+i,y+j)为对应的权值，
Figure GDA0003473481010000075
是经过边缘保留滤波之后的第N层U分量像素点(x,y)的低频子带，
Figure GDA0003473481010000076
是经过边缘保留滤波之后的第N层Y分量像素点(x,y)的低频子带。
在一些实施例中，可以根据定义域权值和值域权值计算得到权值WN(x+i,y+j)。在另一些实施例中，也可以根据计算U_LLN(x,y)、V_LLN(x,y)和Y_LLN(x,y)与U_LLN(x,y)+V_LLN(x,y)+Y_LLN(x,y)的比值得到权值WN(x+i,y+j)。以根据定义域权值和值域权值计算得到权值WN(x+i,y+j)为例，根据对应层亮度分量的低频子带计算得到权值WN(x+i,y+j)的步骤可以包括：
WN(x+i,y+j)＝WDN(x+i,y+j)*WRN(x+i,y+j) (3)
其中，WDN(x+i,y+j)为双边滤波中的定义域权值，可以采用如下公式进行计算：
Figure GDA0003473481010000081
其中，δ_GN为第N层双边滤波中的高斯核方差，WINN为第N层高斯核半径，一般取值为1、2、4、8等2的幂。
WRN(x+i,y+j)为双边滤波中的值域权值，可以采用如下公式进行计算：
Figure GDA0003473481010000082
其中，EIN(x+i,y+j)为综合边缘指示量，可以采用如下公式进行计算：
Figure GDA0003473481010000083
其中，δ_YN、δ_UN和δ_VN分别为第N层Y、U、V分量方差，Y_LLN(x,y)为第N层Y分量像素点(x,y)的低频子带，Y_LLN(x+i,y+j)为Y分量像素点Y_LLN(x,y)以高斯核尺寸WINN为半径的像素点集合。
需要说明的是，上述的WINN、δ_GN、δ_YN、δ_UN和δ_VN这五个参数决定了噪点平滑强度和边缘保留水平，而噪点的多少又取决于相机获取图像时使用的gain值(增益水平)。因此通过建立五个参数与gain值之间的映射关系可以确定这五个参数的值。标定完成之后，可以得到如下面的公式所示的五个映射表：
WINN＝WIN_Table(gain，N)
δ_GN＝δ_G_Table(gain，N)
δ_YN＝δ_Y_Table(gain，N)
δ_UN＝δ_U_Table(gain，N)
δ_VN＝δ_V_Table(gain，N) (7)
在对第N层小波层的色度分量的低频子带进行双边滤波时，就根据该五个映射表来查找对应于第N层小波层的WINN、δ_GN、δ_YN、δ_UN和δ_VN这五个参数。
可以理解的是，第N层综合边缘指示量EIN(x+i，y+j)是由第N层小波层上对应的亮度分量的低频子带Y_LLN、色度分量的低频子带U_LLN、V_LLN共同确定的，并且用于对第N层小波层上对应的色度分量的低频子带的双边滤波。综合边缘指示量EIN(x+i，y+j)的使用能够有效的保留和增强色度分量低频子带的边缘信息。
利用上述的滤波步骤，可以对第N层色度分量的低频子带的所有像素进行滤波。当完成对第N层色度分量的低频子带的双边滤波之后，利用
Figure GDA0003473481010000091
Figure GDA0003473481010000092
与步骤120中所获得的第N层色度分量的高频子带(U_LHN、U_HLN、U_HHN、V_LHN、V_HLN、V_HHN)进行小波重构，以得到第N-1层的色度分量的低频子带U_LLN-1′和V_LLN-1′。
图3是步骤130中，以第Nmax层为起始，根据对应层亮度分量的低频子带对各层色度分量的低频子带进行双边滤波后与色度分量的高频子带不断向上一层进行小波重构，直至得到原始尺寸的图像的方法流程图。总的来说，该方法包括：根据第Nmax层亮度分量的低频子带对第Nmax层色度分量的低频子带进行双边滤波，与第Nmax色度分量的高频子带向第Nmax-1进行小波重构，得到第Nmax-1层色度分量的低频子带，根据对应第Nmax-1层亮度分量的低频子带对重构得到的色度分量的低频子带进行双边滤波后，与对应第Nmax-1层色度分量的高频子带继续向第Nmax-2层进行小波重构，直至得到原始尺寸的图像。可以理解的是，这里的双边滤波及小波重构的方法与前文所述相同。在本发明的优选实施例中，采用Haar小波进行小波重构。
参考图3所示，该方法具体的包括下面的步骤：
在步骤310中，根据第Nmax层亮度分量的低频子带对第Nmax层色度分量的低频子带进行双边滤波。
在步骤320中，对滤波后的第Nmax层色度分量的低频子带以及第Nmax层色度分量的高频子带进行小波重构，得到第Nmax-1层色度分量的低频子带。
在步骤330中，根据第Nmax-1层亮度分量低频子带对重构得到的第Nmax-1层色度分量低频子带进行双边滤波。
在步骤340中，对滤波后的第Nmax-1层色度分量低频子带以及第Nmax-1层色度分量的高频子带进行小波重构。对于第N层小波层，当N>1时，使N＝N-1并重复执行步骤330和340，直到N＝1时才继续执行步骤350。
在步骤350中，根据第1层亮度分量的低频子带对重构得到的第1层色度分量的低频子带进行双边滤波。
在步骤360中，对滤波后的第1层色度分量的低频子带以及第1层色度分量的高频子带进行小波重构。
经过上述步骤即完成了对YUV格式图像在Nmax个尺度上的色度分量的低频子带所进行的双边滤波及小波重构。
接下来，继续在图1所示的步骤140中，根据亮度分量对小波重构后的色度分量进行边缘保留滤波。这里的亮度分量是指由步骤110所获的原始YUV格式图像的亮度分量。这里的小波重构后的色度分量为步骤360中所获得的重构后的色度分量。为了形象的说明本发明的图像增强方法的效果，图4-图6B分别给出了一示例性图像进行图像增强处理前后的图像。图4是一示例性图像的原始亮度Y分量图像。图5A是该示例性图像的原始色度U分量图像；图5B是对图5A所示的图像进行本发明一实施例的图像增强方法处理之后的色度U分量的图像。图6A是该示例性图像的原始色度V分量的图像；图6B是对图6A进行本发明一实施例的图像增强方法处理之后的色度V分量的图像。需要说明的是，为了更清楚的展示点状噪声的去除效果，对图5A-6B所示的图像进行了灰度归一化处理。比较图5A、5B以及图6A、6B可知，经过本发明的图像增强方法处理之后的图像中明显去除了点状噪声，图像效果得到了显著的改善。
在步骤150中，整合亮度分量和经过边缘保留滤波的色度分量。
在一些实施例中，步骤150可以由图像增强装置200中的整合单元250来执行。与步骤110类似地，对亮度分量和经过边缘保留滤波的色度分量进行整合的过程也取决于具体的YUV格式。整合单元250会根据需要输出的YUV格式将亮度分量和色度分量按照具体的格式进行整合并输出。
如果需要输出其他颜色空间的图像格式，例如但不限于RGB、CMYK等格式，则整合单元250可以先得到YUV格式图像，再将该YUV格式图像转换为所需要的图像格式。
本发明提供一种图像增强方法及装置，通过对YUV格式图像进行小波分解，得到各层亮度分量和色度分量的低频子带和高频子带，根据对应层亮度分量的低频子带对各层色度分量的低频子带进行边缘保留滤波，不断向上一层进行小波重构，直至得到原始尺寸的图像，能够有效地保留和增强色度分量低频子带的边缘信息，可以避免对阈值的依赖，消除图像的边缘震荡，提高图像的去噪效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本发明的限定。虽然此处并没有明确说明，本领域技术人员可能会对本发明进行各种修改、改进和修正。该类修改、改进和修正在本发明中被建议，所以该类修改、改进、修正仍属于本发明示范实施例的精神和范围。
同时，本发明使用了特定词语来描述本发明的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本发明至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本发明的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (10)

1.一种图像增强方法，该方法包括：
获取YUV格式图像，分离所述YUV格式图像的亮度分量和色度分量；
分别对所述亮度分量和色度分量进行Nmax层小波分解，得到各层亮度分量的低频子带和高频子带，以及色度分量的低频子带和高频子带，其中Nmax为大于1的正整数；
以第Nmax层为起始，根据对应层亮度分量的低频子带对各层色度分量的低频子带进行边缘保留滤波后与色度分量的高频子带不断向上一层进行小波重构，直至得到原始尺寸的图像；
根据所述亮度分量对小波重构后的色度分量进行边缘保留滤波；
整合所述亮度分量和经过边缘保留滤波的色度分量。
2.根据权利要求1所述的图像增强方法，其特征在于，根据对应层亮度分量的低频子带对色度分量的低频子带进行边缘保留滤波的步骤包括：根据对应层亮度分量的低频子带计算得到权值，以及根据所述权值对色度分量的低频子带进行边缘保留滤波。
3.根据权利要求2所述的图像增强方法，其特征在于，色度分量包括U分量和V分量，所述边缘保留滤波为双边滤波，根据所述权值对色度分量的低频子带进行边缘保留滤波的步骤包括：
Figure FDA0003473481000000011
Figure FDA0003473481000000012
其中，N为当前小波层数，1≤N≤Nmax，且N为自然数，(x,y)为像素点的坐标，(i，j)为窗口内偏移量，-WINN≤i,j≤WINN，WINN为第N层高斯核半径，U_LLN(x,y)为第N层U分量像素点(x,y)的低频子带，V_LLN(x,y)为第N层Y分量像素点(x,y)的低频子带，U_LLN(x+i,y+j)、V_LLN(x+i,y+j)分别为U、V分量像素点U_LLN(x,y)、V_LLN(x,y)以高斯核尺寸WINN为半径的像素点集合，WN(x+i,y+j)为对应的权值，
Figure FDA0003473481000000021
是经过边缘保留滤波之后的第N层U分量像素点(x,y)的低频子带，
Figure FDA0003473481000000022
是经过边缘保留滤波之后的第N层Y分量像素点(x,y)的低频子带。
4.根据权利要求3所述的图像增强方法，其特征在于，根据对应层亮度分量的低频子带计算得到权值的步骤包括：
WN(x+i,y+j)＝WDN(x+i,y+j)*WRN(x+i,y+j) (3)
Figure FDA0003473481000000023
Figure FDA0003473481000000024
Figure FDA0003473481000000025
其中，δ_GN为第N层双边滤波中高斯核方差，δ_YN、δ_UN和δ_VN分别为第N层Y、U、V分量方差，WDN(x+i,y+j)为双边滤波中的定义域权值，WRN(x+i,y+j)为双边滤波中的值域权值，EIN(x+i,y+j)为综合边缘指示量，Y_LLN(x,y)为第N层Y分量像素点(x,y)的低频子带，Y_LLN(x+i,y+j)为Y分量像素点Y_LLN(x,y)以高斯核尺寸WINN为半径的像素点集合。
5.根据权利要求1所述的图像增强方法，其特征在于，获取YUV格式图像的步骤包括：获取RGB格式图像，将所述RGB格式图像转换为YUV格式图像。
6.根据权利要求1所述的图像增强方法，其特征在于，采用Haar小波函数进行小波分解和小波重构。
7.一种图像增强装置，该装置包括：
图像获取单元，获取YUV格式图像，分离所述YUV格式图像的亮度分量和色度分量；
小波分解单元，分别对所述亮度分量和色度分量进行Nmax层小波分解，得到各层亮度分量的低频子带和高频子带，以及色度分量的低频子带和高频子带，其中Nmax为大于1的正整数；
小波重构单元，以第Nmax层为起始，根据对应层亮度分量的低频子带对各层色度分量的低频子带进行边缘保留滤波后与色度分量的高频子带不断向上一层进行小波重构，直至得到原始尺寸的图像；
边缘保留滤波单元，根据所述亮度分量对小波重构后的色度分量进行边缘保留滤波；
整合单元，整合所述亮度分量和经过边缘保留滤波的色度分量。
8.根据权利要求7所述的图像增强装置，其特征在于，所述小波重构单元根据对应层亮度分量的低频子带计算得到权值，以及根据所述权值对色度分量的低频子带进行边缘保留滤波。
9.根据权利要求7所述的图像增强装置，其特征在于，所述图像获取单元获取RGB格式图像，将所述RGB格式图像转换为YUV格式图像。
10.根据权利要求7所述的图像增强装置，其特征在于，所述小波分解单元采用哈尔小波函数进行小波分解，所述小波重构单元采用Haar小波函数进行小波重构。
CN201910203085.6A 2019-03-18 2019-03-18 一种图像增强方法及装置 Active CN110599406B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910203085.6A CN110599406B (zh) 2019-03-18 2019-03-18 一种图像增强方法及装置
PCT/CN2019/126273 WO2020186848A1 (zh) 2019-03-18 2019-12-18 一种图像增强方法及装置
US17/440,261 US11915392B2 (en) 2019-03-18 2019-12-18 Image enhancement method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910203085.6A CN110599406B (zh) 2019-03-18 2019-03-18 一种图像增强方法及装置

Publications (2)

Publication Number Publication Date
CN110599406A CN110599406A (zh) 2019-12-20
CN110599406B true CN110599406B (zh) 2022-05-03

Family

ID=68852458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910203085.6A Active CN110599406B (zh) 2019-03-18 2019-03-18 一种图像增强方法及装置

Country Status (3)

Country Link
US (1) US11915392B2 (zh)
CN (1) CN110599406B (zh)
WO (1) WO2020186848A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614471B (zh) * 2020-12-24 2022-04-22 上海立可芯半导体科技有限公司 色调映射方法及系统
WO2023222769A1 (en) * 2022-05-18 2023-11-23 Xavier Baele Method for processing image data

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156964A (zh) * 2011-03-31 2011-08-17 杭州海康威视软件有限公司 彩色图像去噪声的方法及其系统
CN104680485A (zh) * 2013-11-27 2015-06-03 展讯通信（上海）有限公司 一种基于多分辨率的图像去噪方法及装置
US9111339B1 (en) * 2013-07-31 2015-08-18 Marvell International Ltd. System and method for reducing noise from an image
CN105096280A (zh) * 2015-06-17 2015-11-25 浙江宇视科技有限公司 处理图像噪声的方法及装置
CN105243641A (zh) * 2015-08-18 2016-01-13 西安电子科技大学 一种基于双树复小波变换的低光照图像增强方法
CN105427257A (zh) * 2015-11-18 2016-03-23 四川汇源光通信有限公司 图像增强方法及装置
CN108259873A (zh) * 2018-02-01 2018-07-06 电子科技大学 一种梯度域视频对比度增强方法
CN109389560A (zh) * 2018-09-27 2019-02-26 深圳开阳电子股份有限公司 一种自适应加权滤波图像降噪方法、装置及图像处理设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257273B2 (en) * 2001-04-09 2007-08-14 Mingjing Li Hierarchical scheme for blur detection in digital image using wavelet transform
US7676103B2 (en) * 2005-06-20 2010-03-09 Intel Corporation Enhancing video sharpness and contrast by luminance and chrominance transient improvement
KR101828411B1 (ko) * 2011-09-21 2018-02-13 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
EP3035687A1 (en) * 2014-12-16 2016-06-22 Thomson Licensing A device and a method for encoding an image and corresponding decoding method and decoding device
CN106851399B (zh) * 2015-12-03 2021-01-22 阿里巴巴（中国）有限公司 视频分辨率提升方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156964A (zh) * 2011-03-31 2011-08-17 杭州海康威视软件有限公司 彩色图像去噪声的方法及其系统
US9111339B1 (en) * 2013-07-31 2015-08-18 Marvell International Ltd. System and method for reducing noise from an image
CN104680485A (zh) * 2013-11-27 2015-06-03 展讯通信（上海）有限公司 一种基于多分辨率的图像去噪方法及装置
CN105096280A (zh) * 2015-06-17 2015-11-25 浙江宇视科技有限公司 处理图像噪声的方法及装置
CN105243641A (zh) * 2015-08-18 2016-01-13 西安电子科技大学 一种基于双树复小波变换的低光照图像增强方法
CN105427257A (zh) * 2015-11-18 2016-03-23 四川汇源光通信有限公司 图像增强方法及装置
CN108259873A (zh) * 2018-02-01 2018-07-06 电子科技大学 一种梯度域视频对比度增强方法
CN109389560A (zh) * 2018-09-27 2019-02-26 深圳开阳电子股份有限公司 一种自适应加权滤波图像降噪方法、装置及图像处理设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于边缘保持滤波器的彩色图像增强算法研究;武昆;《中国优秀博硕士学位论文全文数据库(博士) 信息科技辑》;20170815(第8期);全文 *

Also Published As

Publication number Publication date
US11915392B2 (en) 2024-02-27
CN110599406A (zh) 2019-12-20
WO2020186848A1 (zh) 2020-09-24
US20220156890A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
EP3087730B1 (en) Method for inverse tone mapping of an image
EP2852152B1 (en) Image processing method, apparatus and shooting terminal
CN105303532B (zh) 一种小波域Retinex图像去雾方法
CN106846276B (zh) 一种图像增强方法及装置
WO2014169579A1 (zh) 一种色彩增强方法及装置
US20120182451A1 (en) Apparatus and method for noise removal in a digital photograph
JP5348145B2 (ja) 画像処理装置および画像処理プログラム
CN111798396A (zh) 一种基于小波变换的多功能图像处理方法
US7903900B2 (en) Low complexity color de-noising filter
Hossain et al. Medical image enhancement based on nonlinear technique and logarithmic transform coefficient histogram matching
CN104157003B (zh) 一种基于正态分布调节的热图像细节增强方法
CN110599406B (zh) 一种图像增强方法及装置
US9111339B1 (en) System and method for reducing noise from an image
Mohapatra et al. Histogram equalization and noise removal process for enhancement of image
CN109064413B (zh) 图像对比度增强方法及采用其的图像采集医疗设备
CN109978775B (zh) 颜色去噪方法及装置
CN104504659B (zh) 一种基于提升小波变换的快速iso去噪方法及系统
Sun et al. Readability enhancement of low light videos based on discrete wavelet transform
Qin et al. Traffic sign image enhancement in low light environment
US8180169B2 (en) System and method for multi-scale sigma filtering using quadrature mirror filters
Yang et al. A new algorithm of image denoising based on stationary wavelet multi-scale adaptive threshold
CN113487505A (zh) 一种基于噪声识别的红外图像混合降噪方法
Sharma et al. Synthesis of flash and no-flash image pairs using guided image filtering
Prabukumar et al. Compressed domain contrast and brightness improvement algorithm for colour image through contrast measuring and mapping of DWT coefficients
Kawasaki et al. A multiscale retinex with low computational cost

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201203 1st, 6th and 7th floors, building 2, No. 1761, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Applicant after: Shanghai Li Ke Semiconductor Technology Co.,Ltd.

Address before: 201206 No. 1258 Mingyue Road, Shanghai, Pudong New Area

Applicant before: Shanghai Li Ke Semiconductor Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant