CN112991190A - 图像降噪方法及其介质和电子设备 - Google Patents
图像降噪方法及其介质和电子设备 Download PDFInfo
- Publication number
- CN112991190A CN112991190A CN201911294071.6A CN201911294071A CN112991190A CN 112991190 A CN112991190 A CN 112991190A CN 201911294071 A CN201911294071 A CN 201911294071A CN 112991190 A CN112991190 A CN 112991190A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- denoising
- frequency
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 66
- 230000015654 memory Effects 0.000 claims abstract description 51
- 230000009466 transformation Effects 0.000 claims abstract description 28
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请涉及图像处理领域,公开了一种图像降噪方法及其介质和设备。本申请的图像降噪方法包括:获取待降噪的图像数据;对所述图像数据进行小波变换,得到低频小波系数和高频小波系数;采用基于图像块的降噪算法,对所述低频小波系数中的至少一个进行降噪处理;在降噪后的低频小波系数中加入图像细节信息,其中,所述图像细节信息是基于降噪后所述低频小波系数的边缘信息得到的;对加入了所述图像细节信息的降噪后的低频小波系数进行小波逆变换,得到降噪后的低频子图像数据;基于所述降噪后的低频子图像数据生成降噪后的图像数据。本申请的图像降噪方法能有效降低基于图像块的降噪算法的内存占用量,提升算法计算性能,更加适合被低端的终端设备使用。
Description
技术领域
本申请涉及图像处理领域,特别涉及一种图像降噪方法及其介质和电子设备。
背景技术
当今时代信息飞速发展,手机已经成为了人类生活中不可或缺的一部分,特别是手机拍照。手机拍照时图像采集容易受环境和采集仪器内部电路的影响,往往拍摄的图像中除了人们想要的图像信息,还有大量的噪声信息。特别是对于中低端手机来说,由于采用的感光器件等较为便宜,极大影响成像性能。因此,采用软件降噪方法,对于提升手机拍照效果具有重要应用价值。目前业内采用的降噪算法主要分为两类:空域降噪算法和时域降噪算法。其中空域降噪算法目前效果较好的是基于块匹配的三维滤波算法(BM3D),时域降噪算法应用最广泛的是多帧降噪算法(MFNR)。
发明内容
本申请实施例提供了一种图像降噪方法及其介质和电子设备,能有效降低基于图像块的降噪算法的内存占用量,提升算法计算性能,更加适合被低端的终端设备使用。
第一方面,本申请实施例提供了一种图像降噪方法,包括:
获取待降噪的图像数据;对所述图像数据进行小波变换,得到低频小波系数和高频小波系数;采用基于图像块的降噪算法,对所述低频小波系数中的至少一个进行降噪处理;在降噪后的低频小波系数中加入图像细节信息,其中,所述图像细节信息是基于降噪后的所述低频小波系数的边缘信息得到的;对加入了所述图像细节信息的降噪后的低频小波系数进行小波逆变换,得到降噪后的低频子图像数据;基于所述降噪后的低频子图像数据生成降噪后的图像数据。
由于采用BM3D对图像进行降噪处理时内存占用率高,对设备计算性能的要求高,故通过小波变换后只对低频小波系数进行BM3D(或者基于图像块的其他降噪算法)降噪处理,而其他高频小波系数采用计算量明显小于BM3D的保边降噪算法,极大地减小了采用BM3D算法降噪的计算量,有效降低了BM3D降噪的内存占用量,提升了对BM3D算法的计算性能,更加适用于低端终端设备进行图像降噪处理。此外,通过在BM3D降噪后的低频小波系数中加入细节信息,能有效提升降噪图像的信息,与对整个图像进行BM3D降噪处理相比,有效保持了边缘信息,提升了降噪后的图像的清晰度。
在上述第一方面的一种实现中,通过以下方式获取所述图像细节信息:
计算降噪前的低频小波系数和降噪后的低频小波系数之间的残差,并获取降噪后的低频小波系数中的边缘信息;将所述残差和所述边缘信息中共有的图像信息作为所述图像细节信息。
在上述第一方面的一种实现中,所述对所述图像数据进行小波变换,得到低频小波系数和高频小波系数包括:
对所述图像数据进行n阶小波变换,得到第n阶低频小波系数,其中,n为大于1的整数;并且所述采用基于图像块的降噪算法,对所述低频小波系数中的至少一个进行降噪处理包括:采用基于图像块的降噪算法,对第n阶低频小波系数进行降噪处理。
在上述第一方面的一种实现中,在基于所述降噪后的低频子图像数据生成降噪后的图像数据之前,所述方法还包括:
通过保边降噪算法对所述高频小波系数进行降噪处理。
在上述第一方面的一种实现中,所述基于所述降噪后的低频子图像数据生成降噪后的图像数据包括:
对降噪处理后的所述第n阶低频小波系数和降噪处理后的高频小波系数进行小波逆变换,得到所述降噪后的图像数据。
在上述第一方面的一种实现中,所述基于图像块的降噪算法为三维块匹配算法。
第二方面,本申请实施例提供了一种用于图像降噪的电子设备,包括:
获取单元,用于获取待降噪的图像数据;小波变换单元,用于对所述图像数据进行小波变换,得到低频小波系数和高频小波系数;降噪单元,用于采用基于图像块的降噪算法,对所述低频小波系数中的至少一个进行降噪处理;细节单元,用于在降噪后的低频小波系数中加入图像细节信息,其中,所述图像细节信息是基于降噪后的所述低频小波系数的边缘信息得到的;小波逆变换单元,用于对加入了所述图像细节信息的降噪后的低频小波系数进行小波逆变换,得到降噪后的低频子图像数据;生成单元,用于基于所述降噪后的低频子图像数据生成降噪后的图像数据。
在上述第二方面的一种实现中,所述基于图像块的降噪算法为三维块匹配算法。
第三方面,本申请实施里提供了一种图像降噪设备,该图像降噪设备具有实现上述图像降噪方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多于一个与上述功能相对应的单元。
第四方面,本申请实施里提供了一种计算机可读介质,所述计算机可读介质上存储有指令,该指令在计算机上执行时使计算机执行上述第一方面所述的图像降噪方法。
第五方面,本申请实施里提供了一种电子设备,包括:
存储器,用于存储由电子设备的一个或多个处理器执行的指令,以及
处理器,是电子设备的处理器之一,用于执行上述第一方面所述的图像降噪方法。
附图说明
图1根据本申请的一些实施例,示出了一种电子设备100的结构示意图。
图2根据本申请的一些实施例,示出了电子设备100执行图像降噪技术的流程示意图。
图3根据本申请的一些实施例,示出了对图像数据进行一阶小波变换后的各小波系数。
图4根据本申请的一些实施例,示出了对图像数据进行二阶小波变换后的各小波系数。
图5(a)示出了待降噪的图像A、图5(b)示出了仅对图像A的二阶低频小波系数进行BM3D降噪后的图像A',图5(c)示出了在图像A'中加入细节信息后得到的最终图像A''。
图6(a)示出了图5(b)所示的图像A'的边缘信息图,图6(b)示出了对图6(a)中的边缘信息进行简单的去噪处理后得到的边缘信息图。
图7根据本申请的一些实施例,示出了一种图像降噪方法的流程示意图。
图8根据本申请的一些实施例,示出了一种电子设备800的结构示意图。
图9根据本申请的一些实施例,示出了电子设备800的降噪单元803与细节单元804的关系结构示意图。
图10根据本申请的一些实施例,示出了一种电子设备800的结构示意图。
具体实施例
本申请的说明性实施例包括但不限于图像降噪方法及其介质和设备。
可以理解,如本文所使用的,术语“模块或单元”可以指代或者包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或群组)和/或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件,或者可以作为这些硬件组件的一部分。
可以理解,本申请提供的图像降噪技术可以应用于任何电子设备,包括但不限于手机、平板电脑、膝上型计算机、台式计算机、服务器、可穿戴设备、头戴式显示器、移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备、个人数字助理、虚拟现实或者增强现实设备、其中嵌入或耦接有一个或多个处理器的电视机等电子设备。
此外,可以理解,本申请的图像降噪方法能够处理各种图像,包括电子设备实时采集的图像和视频中的图像、电子设备存储的图像和视频中的图像等等。
下面将结合附图对本申请的实施例作进一步地详细描述。
图1示出了一种电子设备100的结构示意图,该电子设备100能够利用本申请的图像降噪技术对图像进行降噪处理。
具体地,如图1所示,电子设备100根据本申请的一些实施例,现以手机10为例说明本申请的技术方案。
图1示出了电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。本申请的图像降噪方法可以由处理器110实施,例如,可以由处理器110中的GPU实施、或者ISP实施。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。例如,实施本申请的图像降噪方法的指令和进行图像降噪时产生的中间数据可以存储在处理器110的高速缓冲存储器中。
在一些实施例中,处理器110可以包括一个或多个接口。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。在一些实施例中,拍摄到的图像可以采用本申请的图像降噪技术进行降噪处理。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。在一些实施例中,ISP可以采用本申请的图像降噪方法对图像进行降噪处理。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。例如,在一些实施例中,本申请执行图像降噪方法的指令和中间结果也可以存储内部存储器121中。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
按键190包括开机键,音量键等。马达191可以产生振动提示。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。
图2示出了电子设备100执行本申请的图像降噪技术的过程。下面以二阶小波变换为例进行说明,具体地,包括:
201:获取待降噪图像A的待降噪图像数据。
202:对待降噪图像数据进行一阶小波变换,得到如图2所示的一阶低频小波系数LL1和一阶高频小波系数HL1、LH1以及HH1。
203:对一阶低频小波系数LL1进行二阶小波变换,得到如图4所示的二阶低频小波系数LL2和二阶高频小波系数HL2、LH2以及HH2。
204:采用BM3D(Block-matching and 3D filtering,三维块匹配)算法对二阶低频小波系数LL2进行降噪处理,得到降噪后的二阶低频小波系数LL2'。
可以理解,在其他实施例中,也可以采用其他基于图像块的降噪算法对二阶低频小波系数进行降噪处理,例如,NLM(Non-Local Means,非局部均值去噪滤波)算法。
205:将细节信息加入降噪后的二阶低频小波系数LL2'中,得到加入细节信息的降噪后的二阶低频小波系数LL2''。
在一些实施例中,细节信息通过以下方式获得:
1)从降噪后的二阶低频小波系数LL2'获取的边缘信息E,例如,可以通过canny算子、Sobel算子、Laplace算子等提取降噪后的二阶低频小波系数LL2'中的边缘信息E。
2)计算二阶低频小波系数LL2和降噪后的二阶低频小波系数LL2'之间的残差R;
3)将边缘信息E和残差R之间共有的图像信息作为细节信息。
在另外一些实施例中,细节信息也可以是二阶低频小波系数LL2和降噪后的二阶低频小波系数LL2'之间的残差。
206:采用保边降噪算法对二阶高频小波系数HL2、LH2以及HH2进行降噪处理,得到降噪后的二阶高频小波系数HL2'、LH2'以及HH2'。例如,保边降噪算法可以是双边滤波算法、导向滤波算法等。
在其他实施例中,也可以只对一部分二阶高频小波系数进行保边降噪处理,在此不做限制。
207:采用保边降噪算法对一阶高频小波系数HL1、LH2以及HH1进行降噪处理,得到降噪后的一阶高频小波系数HL1'、LH2'以及HH1'。
在其他实施例中,也可以只对一部分一阶高频小波系数进行保边降噪处理,在此不做限制。
208:对上述降噪后的各小波系数LL2''、HL2'、LH2'、HH2'HL1'、LH2'以及HH1'进行小波逆变换,得到对应的子图像数据。
209:将各子图像数据进行组合,得到降噪处理后的图像数据A'。
在上述实施例中,通过二阶小波变换后只对二阶低频小波系数进行BM3D(或者基于图像块的其他降噪算法)降噪处理,而其他高频小波系数采用计算量明显小于BM3D的保边降噪算法,将采用BM3D算法降噪的计算量减小为原来的1/16,有效降低了BM3D降噪的内存占用量,提升了对BM3D算法的计算性能,更加适用于低端终端设备进行图像降噪处理。此外,通过在BM3D降噪后的低频小波系数中加入细节信息,能有效提升降噪图像的信息,与对整个图像进行BM3D降噪处理相比,有效保持了边缘信息,提升了降噪后的图像的清晰度。
图5(a)示出了待降噪的图像A、图5(b)示出了仅对图像A的二阶低频小波系数进行BM3D降噪后的图像A',图5(c)示出了在图像A'中加入细节信息后得到的最终图像A''。图6(a)示出了图5(b)所示的图像A'的边缘信息图,图6(b)示出了对图6(a)中的边缘信息进行简单的去噪处理后得到的边缘信息图。例如,简单的去噪处理可以是对图6(a)中的像素数据进行过滤,过滤掉突变的像素值。例如,多个(如20个)相邻像素中大部分像素的值为0,而仅有一两个像素的值为200,则将这一两个像素的值改为0。
可以看出,加入细节信息后,被降噪的图像B的清晰度更高。
此外,可以理解,在其他实施例中,不一定是对图像A的二阶低频小波系数进行BM3D降噪,其他高频小波系数进行保边降噪,也可以对图像A进行三阶、四阶小波变换,然后对三阶、四阶低频小波系数进行BM3D降噪。
例如,在一些实施例中,对图像A进行三阶小波变换,得到三阶低频小波系数LL3,然后采用BM3D算法对LL3进行降噪处理,得到LL3',再在LL3'中加入细节信息,得到LL3''。然后,对其他高阶小波系数采用保边降噪算法进行降噪处理。其中,细节信息可以是降噪后的三阶低频小波系数LL3'的边缘信息E,与降噪前后的三阶低频小波系数LL3和LL3'之间残差R之间的共有的图像信息。
如此,将采用BM3D算法降噪的计算量减小为原来的1/16,有效降低了BM3D降噪的内存占用量,提升了对BM3D算法的计算性能,更加适用于低端终端设备进行图像降噪处理。
此外,在其他实施例中,也不一定是仅仅对最高阶的低频小波系数采用BM3D算法进行降噪。例如,对于待降噪的图像A的降噪方法可以包括:
1)对图像A的图像数据进行二阶小波变换,得到二阶低频小波系数LL2、二阶高频小波系数HL2'、LH2'、HH2'、一阶高频小波系数HL1'、LH2'以及HH1'。
2)采用BM3D算法对LL2进行降噪处理,得到LL2'。同时采用保边降噪算法对二阶高频小波系数HL2'、LH2'、HH2'和一阶高频小波系数HL1'、LH2'以及HH1'进行降噪处理,得到HL2'、LH2'、HH2'、HL1'、LH2'以及HH1'。
此外,在一些实施例中,也可以只对上述高频小波系数中的一部分进行降噪处理。
3)将细节信息D1加入降噪处理后的低频小波系数LL2'中,得到LL2''。其中,细节信息D1为LL2'的边缘信息E1与二阶低频小波系数LL2降噪前后的残差R1之间共有的图像信息。
4)对加入了细节信息D1的降噪处理后的低频小波系数LL2''进行三阶小波变换,得到三阶低频小波系数LL3以及三阶高频小波系数HL3、LH3以及HH3。
5)采用BM3D算法对LL3进行降噪处理,得到LL3'。同时,采用保边降噪算法对三阶高频小波系数HL3、LH3以及HH3进行降噪处理,得到HL3'、LH3'以及HH3'。
此外,在一些实施例中,也可以只对上述高频小波系数中的一部分进行降噪处理。
6)将细节信息D2加入降噪处理后的低频小波系数LL3'中,得到LL3''。其中,细节信息D2为LL3'的边缘信息E1与二阶低频小波系数LL3降噪前后的残差R2之间共有的图像信息。
7)对低频小波系数LL3''和各降噪处理后的高频小波系数进行小波逆变换,组合后得到降噪处理后的图像A'。
可见,在上述实施例中,与对整幅图像采用BM3D算法进行降噪处理相比,BM3D算法的计算量减小到原来的5/64(1/16+1/64)。而且对二阶低频小波系数和三阶低频小波系数进行细节回填,保留了图像边缘的特征。
根据本申请的一些实施例,结合上述电子设备100对图像进行降噪处理的描述,描述本申请的一种图像降噪方法的主要流程,上述描述的技术细节在此流程中依然适用,为了避免重复,有些在此次不再赘述。如图7所示,具体地,包括:
701:获取待降噪的图像数据。
702:对待降噪的图像数据进行小波变换。例如,可以进行二阶、三阶、四阶小波变换。
703:采用基于图像块的降噪算法,对至少一个低频小波系数进行降噪处理。
例如,在上述实施例中采用BM3D算法对二阶小波系数LL2进行降噪处理,或者采用BM3D算法对二阶小波系数LL2和三阶小波系数LL3都进行降噪处理。
704:将细节信息加入降噪后的低频小波系数中。例如,在上述实施例中,将细节信息加入LL2'中,或者将细节信息D1和D2分别加入LL2'和LL3'中。细节信息的获取可以参考上述图2的描述。
705:采用保边降噪算法对高频系数中的至少一个进行降噪处理。
706:对降噪或者未降噪的各小波系数进行小波逆变换。例如,如果对所有高频小波系数都进行了降噪处理,则对所有降噪的小波系数进行小波逆变换。如果只对部分高频小波系数都进行了降噪处理,则对已经进行了降噪处理的小波系数和未被进行降噪处理的小波系数进行小波逆变换,得到各子图像数据。
707:对小波逆变换后的各子图像数据进行组合得到降噪处理后的图像数据。
图8示出了实施本申请的图像降噪技术的另一电子设备800的结构示意图。可以理解,上述电子设备100中涉及的对于图像降噪的细节描述也适用于电子设备800。具体地,如图8所示,该电子设备800包括:
获取单元801,用于获取待降噪的图像数据。
小波变换单元802,用于对图像数据进行小波变换,得到低频小波系数和高频小波系数。
降噪单元803,用于采用基于图像块的降噪算法,对低频小波系数中的至少一个进行降噪处理,并用于采用保边降噪算法,对高频小波系数中的至少一个进行降噪处理。
细节单元804,用于在降噪后的低频小波系数中加入图像细节信息,其中,图像细节信息是基于降噪后的低频小波系数的边缘信息得到的。
小波逆变换单元805,用于对加入了图像细节信息的降噪后的低频小波系数进行小波逆变换,得到降噪后的低频子图像数据,并对被降噪和未被降噪的高频小波系数进行小波逆变换,得到各高频子图像数据。
生成单元806,用于基于低频子图像数据生成降噪后的图像数据。即将低频子图像和高频子图像数据组合,得到降噪后的图像数据。
获取单元101、小波变换单元102、降噪单元103、细节单元104、小波逆变换单元105以及生成单元106。
图9根据一些实施例,示出了降噪单元803与细节单元804的关系结构示意图。如图9所示,降噪单元803包括低频降噪单元8031和高频降噪单元8032。其中,低频降噪单元8031用于采用基于图像块的降噪算法,对低频小波系数中的至少一个进行降噪处理。并且,低频降噪单元8031与细节单元804连接,用于获取细节信息。高频降噪单元8032用于采用保边降噪算法,对高频小波系数中的至少一个进行降噪处理。
图10根据本申请实施例,示出了另外一种能够实施本申请图像降噪技术的电子设备1000的结构示意图。在一个实施例中,电子设备1000可以包括一个或多个处理器1004,与处理器1004中的至少一个连接的系统控制逻辑1008,与系统控制逻辑1008连接的系统内存1012,与系统控制逻辑1008连接的非易失性存储器(NVM)1016,以及与系统控制逻辑1008连接的网络接口1020。
在一些实施例中,处理器1004可以包括一个或多个单核或多核处理器。在一些实施例中,处理器1004可以包括通用处理器和专用处理器(例如,图形处理器,应用处理器,基带处理器等)的任意组合。在电子设备1000采用eNB(Evolved Node B,增强型基站)101或RAN(Radio Access Network,无线接入网)控制器102的实施例中,处理器1004可以被配置为执行各种符合的实施例,例如,如图2或7所示的多个实施例中的一个或多个。
在一些实施例中,系统控制逻辑1008可以包括任意合适的接口控制器,以向处理器1004中的至少一个和/或与系统控制逻辑1008通信的任意合适的设备或组件提供任意合适的接口。
在一些实施例中,系统控制逻辑1008可以包括一个或多个存储器控制器,以提供连接到系统内存1012的接口。系统内存1012可以用于加载以及存储数据和/或指令。在一些实施例中电子设备1000的内存1012可以包括任意合适的易失性存储器,例如合适的动态随机存取存储器(DRAM)。
NVM/存储器1016可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中,NVM/存储器1016可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备,例如HDD(Hard Disk Drive,硬盘驱动器),CD(Compact Disc,光盘)驱动器,DVD(Digital Versatile Disc,数字通用光盘)驱动器中的至少一个。
NVM/存储器1016可以包括安装电子设备1000的装置上的一部分存储资源,或者它可以由设备访问,但不一定是设备的一部分。例如,可以经由网络接口1020通过网络访问NVM/存储1016。
特别地,系统内存1012和NVM/存储器1016可以分别包括:指令1024的暂时副本和永久副本。指令1024可以包括:由处理器1004中的至少一个执行时导致电子设备1000实施如图2或图7所示的方法的指令。在一些实施例中,指令1024、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑1008,网络接口1020和/或处理器1004中。
网络接口1020可以包括收发器,用于为电子设备1000提供无线电接口,进而通过一个或多个网络与任意其他合适的设备(如前端模块,天线等)进行通信。在一些实施例中,网络接口1020可以集成于电子设备1000的其他组件。例如,网络接口1020可以集成于处理器1004的,系统内存1012,NVM/存储器1016,和具有指令的固件设备(未示出)中的至少一种,当处理器1004中的至少一个执行所述指令时,电子设备1000实现如图2或7所示的图像降噪方法。
网络接口1020可以进一步包括任意合适的硬件和/或固件,以提供多输入多输出无线电接口。例如,网络接口1020可以是网络适配器,无线网络适配器,电话调制解调器和/或无线调制解调器。
在一个实施例中,处理器1004中的至少一个可以与用于系统控制逻辑1008的一个或多个控制器的逻辑封装在一起,以形成系统封装(SiP)。在一个实施例中,处理器1004中的至少一个可以与用于系统控制逻辑1008的一个或多个控制器的逻辑集成在同一管芯上,以形成片上系统(SoC)。
电子设备1000可以进一步包括:输入/输出(I/O)设备1032。I/O设备1032可以包括用户界面,使得用户能够与电子设备1000进行交互;外围组件接口的设计使得外围组件也能够与电子设备1000交互。在一些实施例中,电子设备1000还包括传感器,用于确定与电子设备1000相关的环境条件和位置信息的至少一种。
在一些实施例中,用户界面可包括但不限于显示器(例如,液晶显示器,触摸屏显示器等),扬声器,麦克风,一个或多个相机(例如,静止图像照相机和/或摄像机),手电筒(例如,发光二极管闪光灯)和键盘。
在一些实施例中,外围组件接口可以包括但不限于非易失性存储器端口、音频插孔和电源接口。
在一些实施例中,传感器可包括但不限于陀螺仪传感器,加速度计,近程传感器,环境光线传感器和定位单元。定位单元还可以是网络接口1020的一部分或与网络接口1020交互,以与定位网络的组件(例如,全球定位系统(GPS)卫星)进行通信。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码,该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令,以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的,处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现,以便与处理系统通信。在需要时,也可用汇编语言或机器语言来实现程序代码。事实上,本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下,该语言可以是编译语言或解释语言。
在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如,计算机可读)存储介质承载或存储在其上的指令,其可以由一个或多个处理器读取和执行。例如,指令可以通过网络或通过其他计算机可读介质分发。因此,机器可读介质可以包括用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制,包括但不限于,软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如,载波、红外信号数字信号等)的有形的机器可读存储器。因此,机器可读介质包括适合于以机器(例如,计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解,可能不需要这样的特定布置和/或排序。而是,在一些实施例中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征,并且在一些实施例中,可以不包括这些特征或者可以与其他特征组合。
需要说明的是,本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块,在物理上,一个逻辑单元/模块可以是一个物理单元/模块,也可以是一个物理单元/模块的一部分,还可以以多个物理单元/模块的组合实现,这些逻辑单元/模块本身的物理实现方式并不是最重要的,这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外,为了突出本申请的创新部分,本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入,这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是,在本专利的示例和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例,已经对本申请进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。
Claims (10)
1.一种图像降噪方法,其特征在于,包括:
获取待降噪的图像数据;
对所述图像数据进行小波变换,得到低频小波系数和高频小波系数;
采用基于图像块的降噪算法,对所述低频小波系数中的至少一个进行降噪处理;
在降噪后的低频小波系数中加入图像细节信息,其中,所述图像细节信息是基于所述降噪后的低频小波系数的边缘信息得到的;
对加入了所述图像细节信息的降噪后的低频小波系数进行小波逆变换,得到降噪后的低频子图像数据;
基于所述降噪后的低频子图像数据生成降噪后的图像数据。
2.如权利要求1所述的图像降噪方法,其特征在于,通过以下方式获取所述图像细节信息:
计算降噪前的低频小波系数和降噪后的低频小波系数之间的残差,并获取降噪后的低频小波系数中的边缘信息;
将所述残差和所述边缘信息中共有的图像信息作为所述图像细节信息。
3.如权利要求1或2所述的图像降噪方法,其特征在于,所述对所述图像数据进行小波变换,得到低频小波系数和高频小波系数包括:
对所述图像数据进行n阶小波变换,得到第n阶低频小波系数,其中,n为大于1的整数;并且
所述采用基于图像块的降噪算法,对所述低频小波系数中的至少一个进行降噪处理包括:
采用基于图像块的降噪算法,对第n阶低频小波系数进行降噪处理。
4.如权利要求3所述的图像降噪方法,其特征在于,在基于所述降噪后的低频子图像数据生成降噪后的图像数据之前,所述方法还包括:
通过保边降噪算法对所述高频小波系数进行降噪处理。
5.如权利要求4所述的图像降噪方法,其特征在于,所述基于所述降噪后的低频子图像数据生成降噪后的图像数据包括:
对降噪处理后的所述第n阶低频小波系数和降噪处理后的高频小波系数进行小波逆变换,得到所述降噪后的图像数据。
6.如权利要求1至5中任一项所述的图像降噪方法,其特征在于,所述基于图像块的降噪算法为三维块匹配算法。
7.一种用于图像降噪的电子设备,其特征在于,包括:
获取单元,用于获取待降噪的图像数据;
小波变换单元,用于对所述图像数据进行小波变换,得到低频小波系数和高频小波系数;
降噪单元,用于采用基于图像块的降噪算法,对所述低频小波系数中的至少一个进行降噪处理;
细节单元,用于在降噪后的低频小波系数中加入图像细节信息,其中,所述图像细节信息是基于降噪后的所述低频小波系数的边缘信息得到的;
小波逆变换单元,用于对加入了所述图像细节信息的降噪后的低频小波系数进行小波逆变换,得到降噪后的低频子图像数据;
生成单元,用于基于所述降噪后的低频子图像数据生成降噪后的图像数据。
8.如权利要求7所述的用于图像降噪的电子设备,其特征在于,所述基于图像块的降噪算法为三维块匹配算法。
9.一种计算机可读介质,其特征在于,所述计算机可读介质上存储有指令,该指令在计算机上执行时使计算机执行权力要求1至6中任一项所述的图像降噪方法。
10.一种电子设备,其特征在于,包括:
存储器,用于存储由电子设备的一个或多个处理器执行的指令,以及
处理器,是电子设备的处理器之一,用于执行权利要求1至6中任一项所述的图像降噪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911294071.6A CN112991190A (zh) | 2019-12-16 | 2019-12-16 | 图像降噪方法及其介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911294071.6A CN112991190A (zh) | 2019-12-16 | 2019-12-16 | 图像降噪方法及其介质和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112991190A true CN112991190A (zh) | 2021-06-18 |
Family
ID=76343246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911294071.6A Pending CN112991190A (zh) | 2019-12-16 | 2019-12-16 | 图像降噪方法及其介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112991190A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113643210A (zh) * | 2021-08-26 | 2021-11-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN114204680A (zh) * | 2021-12-13 | 2022-03-18 | 广州思泰信息技术有限公司 | 多类型自动化检测设备融合远程诊断系统及方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130071025A1 (en) * | 2011-09-21 | 2013-03-21 | Industry-University Cooperation Foundation Sogang University | Image processing method and image processing apparatus |
CN102999884A (zh) * | 2011-09-16 | 2013-03-27 | 株式会社东芝 | 图像处理设备和方法 |
CN103077508A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于变换域非局部和最小均方误差的sar图像去噪方法 |
CN103455979A (zh) * | 2013-07-16 | 2013-12-18 | 大连理工大学 | 一种低照度视频图像增强方法 |
CN105654465A (zh) * | 2015-12-21 | 2016-06-08 | 宁波大学 | 一种采用视差补偿视点间滤波的立体图像质量评价方法 |
CN106056555A (zh) * | 2016-06-03 | 2016-10-26 | 宁波大红鹰学院 | 一种图像去噪方法 |
CN107292851A (zh) * | 2017-07-14 | 2017-10-24 | 重庆理工大学 | 一种基于伪3d变换的bm3d图像降噪方法 |
CN108198198A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于小波变换和导向滤波的单帧红外小目标检测方法 |
CN110045656A (zh) * | 2019-05-05 | 2019-07-23 | 周明 | 一种基于云计算的供暖设备故障监测系统 |
CN110348459A (zh) * | 2019-06-28 | 2019-10-18 | 西安理工大学 | 基于多尺度快速地毯覆盖法声呐图像分形特征提取方法 |
-
2019
- 2019-12-16 CN CN201911294071.6A patent/CN112991190A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102999884A (zh) * | 2011-09-16 | 2013-03-27 | 株式会社东芝 | 图像处理设备和方法 |
US20130071025A1 (en) * | 2011-09-21 | 2013-03-21 | Industry-University Cooperation Foundation Sogang University | Image processing method and image processing apparatus |
CN103077508A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于变换域非局部和最小均方误差的sar图像去噪方法 |
CN103455979A (zh) * | 2013-07-16 | 2013-12-18 | 大连理工大学 | 一种低照度视频图像增强方法 |
CN105654465A (zh) * | 2015-12-21 | 2016-06-08 | 宁波大学 | 一种采用视差补偿视点间滤波的立体图像质量评价方法 |
CN106056555A (zh) * | 2016-06-03 | 2016-10-26 | 宁波大红鹰学院 | 一种图像去噪方法 |
CN107292851A (zh) * | 2017-07-14 | 2017-10-24 | 重庆理工大学 | 一种基于伪3d变换的bm3d图像降噪方法 |
CN108198198A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于小波变换和导向滤波的单帧红外小目标检测方法 |
CN110045656A (zh) * | 2019-05-05 | 2019-07-23 | 周明 | 一种基于云计算的供暖设备故障监测系统 |
CN110348459A (zh) * | 2019-06-28 | 2019-10-18 | 西安理工大学 | 基于多尺度快速地毯覆盖法声呐图像分形特征提取方法 |
Non-Patent Citations (3)
Title |
---|
MEISAM RAKHSHANFAR等: "LOW-FREQUENCY IMAGE NOISE REMOVAL USING WHITE NOISE FILTER", 《2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》, 6 September 2018 (2018-09-06), pages 3948 - 3952 * |
周树道等: "基于多方向小波变换及形态学重构的SAR图像边缘检测", 《解放军理工大学学报(自然科学版)》, vol. 12, no. 5, 31 October 2011 (2011-10-31), pages 438 * |
张军令等: "基于非局部均值滤波的小波红外图像去噪", 《红外》, 31 March 2015 (2015-03-31), pages 34 - 38 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113643210A (zh) * | 2021-08-26 | 2021-11-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN114204680A (zh) * | 2021-12-13 | 2022-03-18 | 广州思泰信息技术有限公司 | 多类型自动化检测设备融合远程诊断系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111445392B (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN113538273B (zh) | 图像处理方法及图像处理装置 | |
CN109040523B (zh) | 伪影消除方法、装置、存储介质及终端 | |
CN113850367A (zh) | 网络模型的训练方法、图像处理方法及其相关设备 | |
CN113810604B (zh) | 文档拍摄方法、电子设备和存储介质 | |
WO2020192209A1 (zh) | 一种基于Dual Camera+TOF的大光圈虚化方法 | |
CN112991190A (zh) | 图像降噪方法及其介质和电子设备 | |
CN104796625A (zh) | 照片的合成方法及照片合成装置 | |
CN111416937B (zh) | 图像处理方法、装置、存储介质及移动设备 | |
CN111107357A (zh) | 一种图像处理的方法、装置及系统 | |
US20230410268A1 (en) | Method for providing image, and electronic device supporting same | |
US20230267702A1 (en) | Electronic device including camera module and method for operating electronic device | |
CN115359105B (zh) | 景深扩展图像生成方法、设备及存储介质 | |
US11729513B2 (en) | Electronic device and HDR image generation method therefor | |
EP4228236A1 (en) | Image processing method and electronic device | |
WO2022170866A1 (zh) | 数据传输方法、装置及存储介质 | |
CN115735226B (zh) | 一种图像处理方法及芯片 | |
CN116128739A (zh) | 下采样模型的训练方法、图像处理方法及装置 | |
CN114630152A (zh) | 用于图像处理器的参数传输方法、装置及存储介质 | |
CN114363482B (zh) | 一种标定图像的确定方法及电子设备 | |
US11954833B2 (en) | Electronic device for supporting machine learning-based image processing | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN115802144B (zh) | 视频拍摄方法及相关设备 | |
CN114630153B (zh) | 用于应用处理器的参数传输方法、装置及存储介质 | |
WO2023030135A1 (zh) | 图像处理方法与电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |