CN108389165B - 一种图像去噪方法、装置、终端系统和存储器 - Google Patents
一种图像去噪方法、装置、终端系统和存储器 Download PDFInfo
- Publication number
- CN108389165B CN108389165B CN201810108020.9A CN201810108020A CN108389165B CN 108389165 B CN108389165 B CN 108389165B CN 201810108020 A CN201810108020 A CN 201810108020A CN 108389165 B CN108389165 B CN 108389165B
- Authority
- CN
- China
- Prior art keywords
- image
- mono
- segmentation
- rgb
- rgb color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000015654 memory Effects 0.000 title claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 85
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000000926 separation method Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 24
- 238000003709 image segmentation Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 16
- 238000005192 partition Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000002441 reversible effect Effects 0.000 claims description 6
- 241000023320 Luma <angiosperm> Species 0.000 claims 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims 3
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像去噪方法、装置、终端系统和存储器，包括步骤：分别获取一彩色(RGB)图像和一黑白(MONO)图像，并进行匹配，获得匹配图像；将RGB图像进行YUV格式转化和分离，获得仅包含Y通道信息的RGB亮度图像，和仅包含UV通道信息的原始RGB色彩图像；对MONO图像进行区域分割，获得位于边角部分区域的边角分割集；对MONO图像进行去噪处理，获得去噪后的MONO图像；至少根据一最终RGB色彩图像，去噪后的MONO图像，匹配图像，边角分割集进行图像融合，获得目标图像，其中，位于边角部分区域的目标图像，由去噪后的MONO图像同最终RGB色彩图像直接合成获得。本发明去除了融合图像的边角噪声和彩色噪声，提高了图像融合质量。
Description
技术领域
本发明涉及图像处理领域，具体是一种图像去噪方法、装置、终端系统和存储器。
背景技术
近些年随着手机相机功能地快速发展，消费者对拥有更强大功能的相机需求逐渐上升。使用双摄像头来提升拍照质量的手机和双摄相机功能也变得越来越多。在这种趋势下，通过对双摄像头的拍摄结果图像进行图像融合得到质量更优的图像，如超级夜景等，也变地逐渐普及。而去噪算法在双摄图像融合算法中具有重要作用，它的好坏，很大程度上影响着融合图像的质量。
发明内容
本发明的目的在于克服现有技术的不足，提供一种图像去噪方法、装置、终端系统和存储器，以至少实现去除融合图像的边角噪声和\或彩色噪声，提高图像融合质量的效果。
本发明的目的是通过以下技术方案来实现的：一种图像去噪方法，包括以下步骤：
分别获取一彩色(RGB)图像和一黑白(MONO)图像，并进行匹配，获得匹配图像；
将所述RGB图像进行YUV格式转化和分离，获得仅包含Y通道信息的RGB亮度图像，和仅包含UV通道信息的原始RGB色彩图像；
对所述MONO图像进行区域分割，获得位于边角部分区域的边角分割集；
对MONO图像进行去噪处理，获得去噪后的MONO图像；
至少根据一最终RGB色彩图像，所述去噪后的MONO图像，所述匹配图像，所述边角分割集进行图像融合，获得目标图像，其中，位于边角部分区域的目标图像，由所述去噪后的MONO图像同所述最终RGB色彩图像直接合成获得。进一步，在去噪的过程中，使用小波去噪算法分别对RGB图像和MONO图像进行去除噪声处理。
进一步，获得边角部分的图像分割集包括：
以MONO图像中心为中心点，在MONO图像中以预设的比例划分出设定区域，将该划分出的设定区域设置为反向掩码；
将MONO图像减去反向掩码，得到MONO图像的边角区域；
查找位于边角区域内的所有分割，形成边角分割集。
进一步，对所述MONO图像的去噪处理在区域分割之前完成。
进一步，所述去噪方法还包括：
对MONO图像和所述RGB亮度图像进行图像分割，分别获得图像中心区域部分的分割集，并在所述两分割集中建立映射关系，形成MONO图像-RGB亮度图像分割对的集合；
对MONO图像中心区域部分的分割集，和RGB亮度图像中心区域部分的分割集，分别进行清晰度检测；
将MONO图像的清晰度检测结果同RGB亮度图像的清晰度检测结果进行比较，对每对MONO图像-RGB亮度图像映射分割对，保留其中清晰度较高的一个分割，所有保留的分割共同形成清晰亮度图；
在进行图像融合时，位于中心部分图像分割区域的目标图像，由清晰亮度图和最终RGB色彩图像合成获得。
进一步，获取最终RGB色彩图像包括：
在所述MONO图像区域分割中，找出图像平坦部分区域的分割集；
根据所述图像平坦部分区域的分割集，找出所述RGB色彩图像的对应区域，进行模糊，以平滑掉彩噪，获得最终RGB图像。
进一步，获得所述MONO图像平坦部分区域分割集包括：
将所述MONO图像和/或RGB亮度图像的各个区域分割中的图像像素坐标和像素值，导入梯度算子；
根据所述梯度检测算子得出的值，获得所述MONO图像的图像清晰度检测结果；
根据所述MONO图像的清晰度检测，判断出MONO图像平坦部分的分割集。
本发明的另一方面，公开了一种终端系统，其中，所述终端系统包括：
处理器，用于执行程序；
存储器，用于存储由处理器执行的程序；
其中所述程序在执行时包括以下步骤：
分别获取一彩色(RGB)图像和一黑白(MONO)图像，并进行匹配，获得匹配图像；
将所述RGB图像进行YUV格式转化和分离，获得仅包含Y通道信息的RGB亮度图像，和仅包含UV通道信息的原始RGB色彩图像；
对所述MONO图像进行区域分割，获得位于边角部分区域的边角分割集；
对MONO图像进行去噪处理，获得去噪后的MONO图像；
至少根据一最终RGB色彩图像，所述去噪后的MONO图像，所述匹配图像，所述边角分割集进行图像融合，获得目标图像，其中，位于边角部分区域的目标图像，由所述去噪后的MONO图像同所述最终RGB色彩图像直接合成获得。
本发明的又一方面，公开了一种存储器，所述存储器用于存储程序，其中，所述程序在执行时包括以下步骤：
分别获取一彩色(RGB)图像和一黑白(MONO)图像，并进行匹配，获得匹配图像；
将所述RGB图像进行YUV格式转化和分离，获得仅包含Y通道信息的RGB亮度图像，和仅包含UV通道信息的原始RGB色彩图像；
对所述MONO图像进行区域分割，获得位于边角部分区域的边角分割集；
对MONO图像进行去噪处理，获得去噪后的MONO图像；
至少根据一最终RGB色彩图像，所述去噪后的MONO图像，所述匹配图像，所述边角分割集进行图像融合，获得目标图像，其中，位于边角部分区域的目标图像，由所述去噪后的MONO图像同所述最终RGB色彩图像直接合成获得。
本发明又一方面，公开了一种图像去噪的装置，包括：
获取模块，用于分别获取一彩色(RGB)图像和一黑白((MONO)图像，并进行匹配，获得匹配图像；
第一获得模块，用于将所述RGB图像进行YUV格式转化和分离，获得仅包含Y通道信息的RGB亮度图像，和仅包含UV通道信息的原始RGB色彩图像；
第二获得模块，用于对所述MONO图像进行区域分割，获得位于边角部分区域的边角分割集；
第三获得模块，用于对MONO图像进行去噪处理，获得去噪后的MONO图像；
第四获得模块，用于至少根据一最终RGB色彩图像，所述去噪后的MONO图像，所述匹配图像，所述边角分割集进行图像融合，获得目标图像，其中，位于边角部分区域的目标图像，由所述去噪后的MONO图像同所述最终RGB色彩图像直接合成获得。
本发明的有益效果是：与现有技术比较，本发明具有以下优势：
(1)基于RGB图像和MONO图像的成像特性，使用成熟的去噪算法，例如小波去噪算法，对RGB图像和MONO图像进行去噪处理，因为MONO图像噪声比RGB图像噪声少的原因，在图像的去噪效果上，MONO图像会比RGB更好，尤其表现在边角噪声和平坦区域部分，对去噪以后的MONO图像做区域分割处理，基于分割的MONO图像进行后续的处理，去除了最终的双摄融合图像的边角噪声；
(2)通过对MONO图像的划分及掩码操作，以及通过梯度算子进行查找平坦的分割区域，显著提高了图像处理效率；
(3)通过两次融合处理，显著提高图像融合质量；
(4)将RGB图像转换到YUV格式，对Mask2标记的平坦区域的UV通道做高强度模糊，平滑掉了彩噪，一般平坦区域色彩比较一致，且没有高细节的颜色物体，所以本发明这样处理，不会导致融合图像出现颜色扩散和图像饱和度降低，进一步提高图像融合质量；
(5)本发明利用彩色图像和黑白图像的成像特性，能更好地去除融合图像的边角噪声和彩色噪声，显著提高了双摄图像的融合质量。
附图说明
图1示出了根据本发明一实施例的图像处理系统100的结构示意图
图2示出了一种基于图像处理系统100的图像去噪方法200的流程示意图。
图3示出了根据本发明另一个实施例的图像去噪方法300的流程示意图。
图4示出了根据本发明另一个实施例的图像去噪方法400的流程示意图。
图5示出了根据本发明一个实施例的获得清晰度检测结果的方法流程图。
具体实施方式
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。
图1示出了根据本发明一实施例的实施图像处理方法的终端系统100的结构示意图。在图示实施例中，终端系统100为包括触摸式输入装置101的系统。然而，应当理解，该系统还可包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。系统100的运行平台可适于运行一种或多种操作系统，例如Android(安卓)操作系统，Windows(视窗)操作系统，苹果IOS操作系统，B1ackBerry(黑莓)操作系统，谷歌Chrome操作系统等通用型操作系统。然而，在其它实施例中，终端系统100也可以运行专用的操作系统而非通用操作系统。
在某些实施例中，系统100同时可支持运行一种或多种应用程序，包括但不限于以下应用程序中的一个或多个应用程序：磁盘管理应用程序、安全加密应用程序、权限管理应用程序、系统设置应用程序、文字处理应用程序、演示幻灯片应用程序、电子表格应用程序、数据库应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、照片管理应用程序、数字相机应用程序、数字视频相机应用程序、web浏览应用程序、数字音乐播放器应用程序、和/或数字视频播放器应用程序等等。
在系统上运行的操作系统和各种应用程序可使用触摸式输入装置101作为用户的物理输入界面装置。触摸式输入装置101具有一触摸表面作为用户界面。在优选实施例中，触摸式输入装置101的触摸表面为一显示屏幕102表面，触摸式输入装置101和显示屏幕102共同形成了触敏显示屏120，然而在另一些实施例中，触摸式输入装置101具有一独立的，不与其他设备模块共用的触摸表面。触敏显示屏还进一步包括用于检测触摸式输入装置101上的是否发生接触的一个或多个接触传感器106。
触敏显示屏120可选地使用LCD(液晶显示屏)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术，或其它任何可以实现图像显示的技术。触敏显示屏120进一步可使用现在己知或以后开发的多种触摸感测技术的任何一种来检测接触以及接触的任何移动或阻断，例如电容感测技术或电阻感测技术。在一些实施例中，触敏显示屏120可同时检测单个接触点或多个接触点及其移动变化状况。
除触摸式输入装置101与可选的显示屏幕102之外，系统100还可包括存储器103(其任选地包括一个或多个计算机可读存储介质)、存储器控制器104以及一个或多个处理器(Processor)105，以上组件可通过一个或多个信号总线107进行通信。
存储器103可包括缓存(Cache)、高速随机存取存储器(RAM)，例如常见的双倍数据率同步动态随机存取内存(DDR SDRAM)，并且还可包括非易失性存储器(NVRAM)，诸如一个或多个只读存储器(ROM)、磁盘存储设备、闪存(Flash)存储器设备、或其他非易失性固态存储器设备例如光盘(CD-ROM,DVD-ROM)，软盘或数据磁带等。存储器103可用于存储前述操作系统和应用程序软件，以及在系统工作过程中产生和接收的各种类型数据。存储控制器104可控制系统100的其他部件访问存储器103。
处理器105用于运行或执行被存储在内部存储器103中的操作系统，各种软件程序，以及自身的指令集，并用于处理来自于触摸式输入装置101或自其它外部输入途径接收到的数据和指令，以实现系统100的各种功能。处理器105可以包括但不限于中央处理器(CPU)、通用图像处理器(GPU)、微处理器((MCU)、数字信号处理器(DSP)、现场可编程逻辑门阵列((FPGA)，应用专用集成电路((ASIC)中的一种或多种。在一些实施例中，处理器105和存储器控制器104可在单个芯片上实现。在一些其他实施方案中，它们可分别在彼此独立的芯片上实现。
图示实施例中，信号总线107被配置为将终端系统100的各个组件连接进行通信。应该理解的是，图示实施例的信号总线107的配置和连接方式是示例性的而非限制性的。视具体的应用环境和硬件配置要求，在其它实施例中，信号总线107可以采用其它不同但为本领域技术人员惯用的连接方式以及其常规组合或变化，以实现各个组件之间所需要的信号连接。
进一步的，在某些实施例中，系统100还可包含外围设备I/O接口111、RF电路112、音频电路113、扬声器114、麦克风115、摄像模块116。设备100还可包括一个或多个不同种类的传感器模块118。
RF(射频)电路112用于接收和发送射频信号以实现同其他通信设备进行通信。RF电路112可包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路112任选地通过无线通信来与网络以及其他设备进行通信，该网络为诸如互联网(也被称为万维网(www))、内联网和/或无线网(诸如蜂窝电话网络、无线局域网((LAN)和/或城域网((MAN))。RF电路112还可包括用于检测近场通信((NFC)场的电路。无线通信可选用一种或多种通信标准、协议和技术，包括但不限于全球移动通信系统(GSM、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入((HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址((W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、蓝牙低功耗、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11b、IEEE802.11g、IEEE 802.11n和/或IEEE 802.11ac)、互联网协议语音(VoIP)/Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)、或者包括在本申请提交日期时还未开发出的通信协议的任何其他适当的通信协议。
音频电路113、扬声器114和麦克风115提供用户与系统100之间的音频接口。音频电路113从外部I/O端口111接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器114。扬声器114将电信号转换为人类可听的声波。音频电路113还接收由麦克风115根据声波转换的电信号。音频电路113可进一步将电信号转换为音频数据，并将音频数据传输到外部I/O端口111以发送给外部设备处理。音频数据可在处理器105与存储控制器104的控制下，被传输至存储器103和/或RF电路112。在一些实施方案中，音频电路113还可连接到耳麦接口。
摄像模块116用于根据来自处理器105的指令，进行静态图像和视频拍摄。摄像模块116可包括多个摄像单元，其中每个摄像单元具有镜片装置1161和影像传感器1162，能够由镜头装置1161接收来自外界的光信号，并由影像传感器1162，例如金属-氧化物互补型光电晶体管(CMOS)传感器或电荷耦合器件(CCD)传感器，将光信号转换为电信号。摄像模块116可进一步具有影像处理器(ISP)1163，用于将前述电信号进行处理校正，并转换成特定的图像格式文件，例如JPEG(联合图像专家小组)图像文件，TIFF(标签图像文件格式)图像文件等等。图像文件中所包含的图像可以为黑白或彩色。图像文件可根据处理器105和存储控制器104的指令，被送至存储器103进行存储，或送至RF电路112发送给外部设备。
外部I/O端口111为系统100同其它外部设备或系统表面物理输入模块提供接口。表面物理输入模块可以为按键，键盘，转盘等等，例如音量按键，电源按键，返回按键和摄像按键。外部I/O端口111所提供的接口还可包括通用串行总线(USB)接口(可包括USB、Mini-USB、Micro-USB、USB Type-C等等)、雷电(Thunderbolt)接口、耳麦接口、视频传输接口(例如高清晰度多媒体HDMI接门，移动高清连接MHL接口)、外部存储接口(例如外置存储卡SD卡接口)，用户身份模块卡(SIM卡)接口等等。
传感器模块118可具有一个或多个传感器或传感器阵列，包括但不限于：1、位置传感器，例如全球卫星定位系统(GPS)传感器，北斗卫星定位传感器或格罗洛斯(GLONASS)卫星定位系统传感器，用于检测设备当前地理位置；2、加速度传感器，重力传感器，陀螺仪，用于检测设备运动状态并辅助定位；3、光线传感器，用于检测外部环境光；4、距离传感器，用于检测外部物体同系统的距离；5、压力传感器，用于检测系统接触的压力情况；6、温度与湿度传感器，用于检测环境温度和湿度。传感器模块118还可以视应用需要，添加任何其他种类和数量的传感器或传感器阵列。
在本发明一些实施例中，可由处理器105通过指令调用终端系统100的各个组件，执行本发明的图像去噪方法。处理器105执行本发明的图像去噪方法所需要的程序由存储器103进行存储。
图2示出了一种基于图像处理系统100的图像去噪方法200的流程示意图。该图像去噪方法200包括：
首先，图像处理系统100分别获取一彩色(RGB)图像和一黑白(MONO)图像，两图像中所显示的视场相同。此处“相同”一词代表两图像所显示的场景具有较大的重合部分，适于进行匹配后，共同合成单一图像。其中，在一个实施例中，RGB图像来自于摄像模块116中的一个RGB摄像单元，MONO图像来自于摄像模块116中的一个MONO摄像单元。RGB摄像单元和MONO摄像单元以一定的几何关系布置。在其他实施例中，RGB图像和MONO图像也可以通过其它合适的方式获得，例如通过RF电路112，同其它摄像设备建立传输关系后获取。
图像处理系统100之后针对RGB图像和MONO图像进行配准，计算出相对应的匹配关系，获得匹配图像。配准可以采用现有技术中的常用手段完成，例如基于能量优化的图像匹配方法，或者基于滑动窗口的图像匹配方法等。
图像处理系统100还将RGB图像进行格式转化，得到YUV格式图像，并将YUV图像信息进行通道分离，获得仅包含Y通道信息的RGB亮度图像，和仅包含UV通道信息的原始RGB色彩图像。
图像处理系统100进一步针对MONO图像，再进行区域分割，获得边角部分区域的图像分割集。区域分割的方法可以采用固定窗口分割，超像素分割，或者其它任何合适的分割方法进行。其中，本文所称的边角部分区域，是一不包含图像中心的区域。在一个实施例中，该区域为一个方框型区域，包围一个方形的中心区域。中心区域面积可以占图像总面积的70％，边角区域面积为剩余30％。下文将以方形的中心区域和中心区域占70％总面积进行叙述，需要注意的是，此处所用的边角区域形状和面积比例是为说明目的的示例，并无任何限定意图。在其他实施例中，该区域也可以根据图像形状或具体需求，具有其它合适的形状，例如圆环型等等。
在一个实施例中，划分边角部分的图像分割集的方法可以包括：(l)以MONO图像中心为中心点，在MONO图像内容以设定的比例划分出设定区域，将该划分出的设定区域设置为反向掩码Rect1(例如上述占总面积70％的中心部分区域)；(2)将MONO图像减去反向掩码Rect1，得到MONO图像的周围方框状的边角区域；(3)查找位于边角区域的所有分割，形成边角分割集Mask1。
图像处理系统100针对MONO图像进行去噪处理，获得去噪后的MONO图像。在图示实施例中，针对MONO图像的去噪处理在区域分割之前完成。在别的实施例中，针对MONO图像的去噪处理也可以在区域分割后完成。去噪可以采用目前较为常见的去噪算法，例如小波去噪算法进行。
最后，图像处理系统100至少根据一最终RGB色彩图像，去噪后的MONO图像，匹配图像，边角分割集Mask1，进行图像融合，获得目标图像，其中，位于边角部分图像分割区域的目标图像(即Mask1对应的区域)，由去噪后的MONO图像同最终RGB色彩图像直接合成获得。其中，在图示实施例中，最终RGB色彩图像为原始RGB色彩图像。
这样，由于MONO图像边角部分的噪点，远小于RGB图像对应区域的噪点，最终合成的目标图像，边角部分仅包含RGB图像的Y、U通道信息，消除了原始RGB图像的噪点对该区域的影响。
图3示出了根据本发明另一个实施例的图像去噪方法300的流程示意图，相比图像去噪方法200，图像去噪方法300进一步包括：
针对MONO图像和RGB亮度图像进行图像分割，分别获得图像中心区域部分的分割集，并在两分割集中建立映射关系，形成MONO图像-RGB亮度图像分割对的集合；
对MONO图像中心区域部分的分割集，和RGB亮度图像中心区域部分的分割集，分别进行清晰度检测；
将清晰度检测结果进行比较，对两分割集中的每对映射分割对，保留其中清晰度较高的一个分割，所有保留的分割共同形成清晰亮度图；
在进行图像融合时，位于中心部分图像分割区域的目标图像，由清晰亮度图和最终RGB色彩图像合成获得。
在图示实施例中，图像去噪方法300还包括：对RGB亮度图像进行去噪处理。该去噪处理可以与MONO图像的去噪处理同步进行，也可以先后进行。相似的，去噪可以采用目前较为常见的去噪算法，例如小波去噪算法进行。
图4示出了根据本发明另一个实施例的图像去噪方法400的流程示意图，相比图像去噪方法200或图像去噪方法300，图像去噪方法400进一步包括获得最终RGB图像的相关步骤：
在MONO图像区域分割中，找出图像平坦部分区域的分割集Mask2；
根据图像平坦部分区域的分割集Mask2，找出对应的RGB色彩图像区域，进行模糊，以平滑掉彩噪，获得最终RGB图像；
本文所称的图像平坦部分区域，是指基于人类视觉系统(Human Visual System)理论所提出的图像三构件模型中，同边缘区域和纹理区域相对应的概念。
这样，在最终输出的目标合成图像中，RGB图像中原有的彩噪在图像的平坦区域被彻底消除，而同时又避免了融合图像出现颜色扩散和图像饱和度降低的问题。
本领域普通技术人员能够理解，尽管图示实施例中，图像去噪方法400同时包含了图像去噪方法200的所有步骤，但在其它实施例中，图像去噪方法400也可以不包含图像去噪方法200中的一个或多个同消除彩噪无关的步骤，或者加入图像去噪方法300的附加步骤，而实现相同或相近的技术效果。
图5示出了根据本发明一个实施例的获得清晰度检测结果的方法流程图：
步骤1：将MONO图像和/或RGB亮度图像的各个区域分割中的图像像素坐标和像素值，导入梯度算子；
步骤2：根据梯度检测算子得出的值，确定MONO图像清晰度检测结果；
在一个实施例中，该方法还进一步包括：
步骤3：根据MONO图像清晰度检测结果，判断出MONO图像平坦部分的分割集；
这样，对MONO图像/RGB亮度图像的清晰度检测，以及获取MONO图像平坦部分的分割集，可采用同一步骤完成，降低了系统的运算开销，提高了效率。
在一个实施例中，梯度算子为罗伯特(Robert)算子。本领域普通技术人员能够理解，在其他实施例中，可以采用其他任何适于进行清晰度检测的梯度算子完成上述步骤。
基于同一发明构思，本发明还提供了一种存储器，所述存储器用于存储程序，其中，所述程序在执行时包括以下步骤：
分别获取一彩色(RGB)图像和一黑白(MONO)图像，并进行匹配，获得匹配图像；
将所述RGB图像进行YUV格式转化和分离，获得仅包含Y通道信息的RGB亮度图像，和仅包含UV通道信息的原始RGB色彩图像；
对所述MONO图像进行区域分割，获得位于边角部分区域的边角分割集；
对MONO图像进行去噪处理，获得去噪后的MONO图像；
至少根据一最终RGB色彩图像，所述去噪后的MONO图像，所述匹配图像，所述边角分割集进行图像融合，获得目标图像，其中，位于边角部分区域的目标图像，由所述去噪后的MONO图像同所述最终RGB色彩图像直接合成获得。
基于同一发明构思，本发明还提供了图像去噪的装置，包括：
获取模块，用于分别获取一彩色(RGB)图像和一黑白(MONO)图像，并进行匹配，获得匹配图像；
第一获得模块，用于将所述RGB图像进行YUV格式转化和分离，获得仅包含Y通道信息的RGB亮度图像，和仅包含UV通道信息的原始RGB色彩图像；
第二获得模块，用于对所述MONO图像进行区域分割，获得位于边角部分区域的边角分割集；
第三获得模块，用于对MONO图像进行去噪处理，获得去噪后的MONO图像；
第四获得模块，用于至少根据一最终RGB色彩图像，所述去噪后的MONO图像，所述匹配图像，所述边角分割集进行图像融合，获得目标图像，其中，位于边角部分区域的目标图像，由所述去噪后的MONO图像同所述最终RGB色彩图像直接合成获得。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种图像去噪方法，包括以下步骤：
分别获取一彩色RGB图像和一黑白MONO图像，并进行匹配，获得匹配图像；
将所述RGB图像进行YUV格式转化和分离，获得仅包含Y通道信息的RGB亮度图像，和仅包含UV通道信息的原始RGB色彩图像；
对所述MONO图像进行区域分割，获得位于边角部分区域的边角分割集；
对MONO图像进行去噪处理，获得去噪后的MONO图像；
至少根据一最终RGB色彩图像，所述去噪后的MONO图像，所述匹配图像，所述边角分割集进行图像融合，获得目标图像，其中，位于边角部分区域的目标图像，由所述去噪后的MONO图像同所述最终RGB色彩图像直接合成获得，位于中心部分图像分割区域的目标图像，由清晰亮度图和最终RGB色彩图像合成获得，所述清晰亮度图为MONO图像-RGB亮度图像分割对中，保留其中清晰度较高的一个分割，所有保留的分割共同形成的，所述最终RGB色彩图像为所述原始RGB色彩图像或基于所述原始RGB色彩图像得到的。
2.按照权利要求1所述的方法，其中，获得所述边角部分的图像分割集包括：
以所述MONO图像中心为中心点，在所述MONO图像中以预设的比例划分出设定区域，将该划分出的设定区域设置为反向掩码；
将所述MONO图像减去反向掩码，得到所述MONO图像的边角区域；
查找位于边角区域内的所有分割，形成所述边角分割集。
3.按照权利要求1所述的方法，其中，对所述MONO图像的去噪处理在区域分割之前完成。
4.按照权利要求1所述的方法，进一步包括：
对所述MONO图像和所述RGB亮度图像进行图像分割，分别获得图像中心区域部分的分割集，并在两所述分割集中建立映射关系，形成MONO图像-RGB亮度图像分割对的集合；
对所述MONO图像中心区域部分的分割集，和所述RGB亮度图像中心区域部分的分割集，分别进行清晰度检测；
将所述MONO图像的清晰度检测结果同所述RGB亮度图像的清晰度检测结果进行比较，对每对MONO图像-RGB亮度图像映射分割对，保留其中清晰度较高的一个分割，所有保留的分割共同形成清晰亮度图；
在进行图像融合时，位于中心部分图像分割区域的目标图像，由清晰亮度图和最终RGB色彩图像合成获得。
5.按照权利要求4所述的方法，进一步包括：对所述RGB亮度图像进行去噪处理，并与所述MONO图像的去噪处理同步进行。
6.按照权利要求1-5中任意一项所述的方法，其中，获取最终RGB色彩图像包括：
在所述MONO图像区域分割中，找出图像平坦部分区域的分割集；
根据所述图像平坦部分区域的分割集，找出所述原始RGB色彩图像的对应区域，进行模糊，以平滑掉彩噪，获得最终RGB色彩图像。
7.按照权利要求6所述的方法，其中，获得所述MONO图像平坦部分区域分割集包括：
将所述MONO图像和/或所述RGB亮度图像的各个区域分割中的图像像素坐标和像素值，导入梯度算子；
根据所述梯度算子得出的值，获得所述MONO图像的图像清晰度检测结果；
根据所述MONO图像的清晰度检测，判断出MONO图像平坦部分的分割集。
8.一种终端系统，其中，所述终端系统包括：
处理器，用于执行程序；
存储器，用于存储由处理器执行的程序；
其中所述程序在执行时包括以下步骤：
分别获取一彩色RGB图像和一黑白MONO图像，并进行匹配，获得匹配图像；
将所述RGB图像进行YUV格式转化和分离，获得仅包含Y通道信息的RGB亮度图像，和仅包含UV通道信息的原始RGB色彩图像；
对所述MONO图像进行区域分割，获得位于边角部分区域的边角分割集；
对MONO图像进行去噪处理，获得去噪后的MONO图像；
至少根据一最终RGB色彩图像，所述去噪后的MONO图像，所述匹配图像，所述边角分割集进行图像融合，获得目标图像，其中，位于边角部分区域的目标图像，由所述去噪后的MONO图像同所述最终RGB色彩图像直接合成获得，位于中心部分图像分割区域的目标图像，由清晰亮度图和最终RGB色彩图像合成获得，所述清晰亮度图为MONO图像-RGB亮度图像分割对中，保留其中清晰度较高的一个分割，所有保留的分割共同形成的，所述最终RGB色彩图像为所述原始RGB色彩图像或基于所述原始RGB色彩图像得到的。
9.一种存储器，所述存储器用于存储程序，其中，所述程序在执行时包括以下步骤：
分别获取一彩色RGB图像和一黑白MONO图像，并进行匹配，获得匹配图像；
将所述RGB图像进行YUV格式转化和分离，获得仅包含Y通道信息的RGB亮度图像，和仅包含UV通道信息的原始RGB色彩图像；
对所述MONO图像进行区域分割，获得位于边角部分区域的边角分割集；
对MONO图像进行去噪处理，获得去噪后的MONO图像；
至少根据一最终RGB色彩图像，所述去噪后的MONO图像，所述匹配图像，所述边角分割集进行图像融合，获得目标图像，其中，位于边角部分区域的目标图像，由所述去噪后的MONO图像同所述最终RGB色彩图像直接合成获得，位于中心部分图像分割区域的目标图像，由清晰亮度图和最终RGB色彩图像合成获得，所述清晰亮度图为MONO图像-RGB亮度图像分割对中，保留其中清晰度较高的一个分割，所有保留的分割共同形成的，所述最终RGB色彩图像为所述原始RGB色彩图像或基于所述原始RGB色彩图像得到的。
10.一种图像去噪装置，其特征在于，包括：
获取模块，用于分别获取一彩色RGB图像和一黑白MONO图像，并进行匹配，获得匹配图像；
第一获得模块，用于将所述RGB图像进行YUV格式转化和分离，获得仅包含Y通道信息的RGB亮度图像，和仅包含UV通道信息的原始RGB色彩图像；
第二获得模块，用于对所述MONO图像进行区域分割，获得位于边角部分区域的边角分割集；
第三获得模块，用于对MONO图像进行去噪处理，获得去噪后的MONO图像；
第四获得模块，用于至少根据一最终RGB色彩图像，所述去噪后的MONO图像，所述匹配图像，所述边角分割集进行图像融合，获得目标图像，其中，位于边角部分区域的目标图像，由所述去噪后的MONO图像同所述最终RGB色彩图像直接合成获得，位于中心部分图像分割区域的目标图像，由清晰亮度图和最终RGB色彩图像合成获得，所述清晰亮度图为MONO图像-RGB亮度图像分割对中，保留其中清晰度较高的一个分割，所有保留的分割共同形成的，所述最终RGB色彩图像为所述原始RGB色彩图像或基于所述原始RGB色彩图像得到的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810108020.9A CN108389165B (zh) | 2018-02-02 | 2018-02-02 | 一种图像去噪方法、装置、终端系统和存储器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810108020.9A CN108389165B (zh) | 2018-02-02 | 2018-02-02 | 一种图像去噪方法、装置、终端系统和存储器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108389165A CN108389165A (zh) | 2018-08-10 |
| CN108389165B true CN108389165B (zh) | 2022-06-21 |
Family
ID=63074492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810108020.9A Active CN108389165B (zh) | 2018-02-02 | 2018-02-02 | 一种图像去噪方法、装置、终端系统和存储器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108389165B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109660774B (zh) * | 2018-11-29 | 2020-12-01 | 杭州电子科技大学 | 基于fpga的线阵错位图像复合去彩边方法 |
| CN114066784A (zh) | 2020-07-29 | 2022-02-18 | 北京小米移动软件有限公司 | 一种图像处理方法、装置和存储介质 |
| CN113066033B (zh) * | 2021-04-19 | 2023-11-17 | 智领高新科技发展(北京)有限公司 | 一种彩色图像的多阶段去噪系统及方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8878950B2 (en) * | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| EP3416369B1 (en) * | 2016-03-09 | 2020-10-28 | Huawei Technologies Co., Ltd. | Image processing method and apparatus for terminal, and terminal |
| CN106447641A (zh) * | 2016-08-29 | 2017-02-22 | 努比亚技术有限公司 | 图像生成装置及方法 |
| CN106454290B (zh) * | 2016-10-12 | 2019-05-14 | 成都西纬科技有限公司 | 一种双摄像头图像处理系统及方法 |
| CN106570850B (zh) * | 2016-10-12 | 2019-06-04 | 成都西纬科技有限公司 | 一种图像融合方法 |
| CN106570838B (zh) * | 2016-10-28 | 2019-05-03 | 成都西纬科技有限公司 | 一种图像亮度优化方法及装置 |
| CN107038695A (zh) * | 2017-04-20 | 2017-08-11 | 厦门美图之家科技有限公司 | 一种图像融合方法及移动设备 |
| CN107395898B (zh) * | 2017-08-24 | 2021-01-15 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
| CN107493431A (zh) * | 2017-08-31 | 2017-12-19 | 努比亚技术有限公司 | 一种图像拍摄合成方法、终端及计算机可读存储介质 |
-
2018
- 2018-02-02 CN CN201810108020.9A patent/CN108389165B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108389165A (zh) | 2018-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10827140B2 (en) | Photographing method for terminal and terminal | |
| US10497097B2 (en) | Image processing method and device, computer readable storage medium and electronic device | |
| CN109495689B (zh) | 一种拍摄方法、装置、电子设备及存储介质 | |
| CN108234879B (zh) | 一种获取滑动变焦视频的方法和装置 | |
| CN111179282B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN108419009B (zh) | 图像清晰度增强方法和装置 | |
| US10212339B2 (en) | Image generation method based on dual camera module and dual camera apparatus | |
| WO2021036991A1 (zh) | 高动态范围视频生成方法及装置 | |
| US20150187083A1 (en) | Image processing apparatus and method | |
| CN108234880B (zh) | 一种图像增强方法和装置 | |
| US20220319077A1 (en) | Image-text fusion method and apparatus, and electronic device | |
| CN108389165B (zh) | 一种图像去噪方法、装置、终端系统和存储器 | |
| CN109615659A (zh) | 一种车载多摄像机环视系统的摄像机参数获得方法及装置 | |
| CN109151318B (zh) | 一种图像处理方法、装置及计算机存储介质 | |
| US9508383B2 (en) | Method for creating a content and electronic device thereof | |
| CN110070495B (zh) | 图像的处理方法、装置和电子设备 | |
| CN109547699A (zh) | 一种拍照的方法及装置 | |
| CN109547703B (zh) | 一种摄像设备的拍摄方法、装置、电子设备及介质 | |
| US20140307116A1 (en) | Method and system for managing video recording and/or picture taking in a restricted environment | |
| CN109685741B (zh) | 一种图像处理方法、装置及计算机存储介质 | |
| CN109727192B (zh) | 一种图像处理的方法及装置 | |
| WO2023016191A1 (zh) | 图像显示方法、装置、计算机设备及存储介质 | |
| CN111447360A (zh) | 应用程序控制方法及装置、存储介质、电子设备 | |
| CN113096022A (zh) | 图像虚化处理方法、装置、存储介质与电子设备 | |
| CN107665493B (zh) | 一种基于超像素分割的图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |