CN113989165A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113989165A CN113989165A CN202111418957.4A CN202111418957A CN113989165A CN 113989165 A CN113989165 A CN 113989165A CN 202111418957 A CN202111418957 A CN 202111418957A CN 113989165 A CN113989165 A CN 113989165A
- Authority
- CN
- China
- Prior art keywords
- image
- noise reduction
- noise
- guide image
- channel images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 178
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 230000009467 reduction Effects 0.000 claims abstract description 354
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000013135 deep learning Methods 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 abstract description 26
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000011946 reduction process Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开关于一种图像处理方法、装置、电子设备及存储介质,该方法包括获取原始图像在颜色通道上的多个初始通道图像;根据多个初始通道图像,生成原始图像对应的引导图像;对引导图像进行降噪处理,得到降噪引导图像;基于降噪引导图像对多个初始通道图像进行降噪处理,得到原始图像降噪后的目标通道图像。利用本公开实施例可以在提升图像降噪精度的基础上,更好的满足不同应用场景的需求,降低图像降噪处理过程中的资源消耗,提升设备性能。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
目前,图像噪声是现有图像处理比较显著的问题,例如,大部分消费类相机由于硬件原因在暗光下光子感应较差,高ISO(感光度)通常会导致生成后的图像带有明显的噪声,导致图像出现色差,锯齿等失真情况。
相关技术中,常常结合图像降噪网络来进行图像降噪处理;但仅仅结合图像降噪网络进行图像降噪处理的方式,降噪精度较低,且往往需要应对不同应用场景训练不同的网络,存在系统资源消耗大,无法适应不同应用场景等问题。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质,可以在提升图像降噪精度的基础上,更好的满足不同应用场景的需求,降低图像降噪处理过程中的资源消耗,提升设备性能。本公开的技术方案如下:
根据本公开实施例的一方面,提供一种图像处理方法,包括:
获取原始图像在颜色通道上的多个初始通道图像;
根据所述多个初始通道图像,生成所述原始图像对应的引导图像;
对所述引导图像进行降噪处理,得到降噪引导图像;
基于所述降噪引导图像对所述多个初始通道图像进行降噪处理,得到所述原始图像降噪后的目标通道图像。
上述实施例中,在图像处理过程中,先基于原始图像在多个颜色通道的多个初始通道图像,生成引导图像;并对引导图像进行降噪处理后,基于降噪处理后的降噪引导图像对多个初始通道图像进行降噪处理,可以基于降噪引导图像,引导对多个初始通道图像的降噪,通过降噪引导图像可以将四个颜色通道相关联,能体现更多颜色通道的细节特征,进而可以在提升图像降噪精度。且通过预先对引导图像的降噪处理,可通过对引导图像降噪力度的控制,实现对多个初始通道图像的降噪力度的控制,提升降噪控制的灵活性,进而更好的满足不同应用场景的需求,降低图像降噪处理过程中的资源消耗,提升设备性能。
在一个可选的实施例中,所述方法还包括:
根据所述引导图像,生成所述原始图像对应的掩码图像;
基于所述掩码图像和所述目标通道图像,对所述原始图像进行图像增强处理,得到所述原始图像的目标增强图像。
上述实施例中,在对原始图像对应的多个通道图像进行降噪处理后,结合掩码图像进行增强处理,可以补回原始图像的纹理细节特征,进而可以更好的提升目标增强图像的图像质量。
在一个可选的实施例中,所所述根据所述引导图像,生成所述原始图像对应的掩码图像包括:
确定所述引导图像中,每一像素点对应的梯度信息;
根据所述梯度信息,生成所述掩码图像。
上述实施例中,结合引导图像生成掩码图像,可以将多个颜色通道相关联,可以更好的体现多个颜色通道的细节特征,进而可以提升生成的掩码图像中高频区域的准确性,以便提升后续结合掩码图像进行增强处理后的目标增强图像的图像质量。
在一个可选的实施例中,所述对所述引导图像进行降噪处理,得到降噪引导图像包括:
对所述引导图像在频域进行降噪处理,得到所述降噪引导图像;
所述基于所述降噪引导图像对所述多个初始通道图像进行降噪处理,得到所述原始图像降噪后的目标通道图像包括:
将所述降噪引导图像和所述多个初始通道图像输入预设降噪网络进行降噪处理,得到所述目标通道图像。
上述实施例中,在图像处理过程中,先基于原始图像在多个颜色通道的多个初始通道图像,生成引导图像;并对引导图像进行降噪处理后,将降噪处理后的降噪引导图像和多个初始通道图像输入预设降噪网络进行降噪处理,可以基于降噪引导图像,引导预设降噪网络对多个初始通道图像的降噪,通过降噪引导图像可以将颜色通道相关联,能体现更多颜色通道的细节特征,以便提升预设降噪网络对初始通道图像降噪区域的定位精准性,进而可以在使用轻量级的降噪网络的情况下,也能有效提升图像降噪精度。且通过对引导图像的降噪处理,可通过对引导图像降噪力度的控制,实现对降噪网络的降噪力度的控制,提升降噪控制的灵活性,进而更好的满足不同应用场景的需求,降低图像降噪处理过程中的资源消耗,提升设备性能。
在一个可选的实施例中,所述对所述引导图像在频域进行降噪处理,得到所述降噪引导图像包括:
对所述引导图像进行空频域转换处理,得到频域引导图像;
根据预设噪声上限频率,确定所述频域引导图像中噪声区域,所述预设噪声上限频率用于控制所述引导图像的降噪程度;
对所述噪声区域进行降噪处理,得到降噪后的频域引导图像;
对所述降噪后的频域引导图像进行频空域转换处理,得到所述降噪引导图像。
上述实施例中,通过将引导图像转换到频域后进行降噪处理,可以结合在频域降噪过程中预设噪声上限频率等降噪参数的设置,控制引导图像的降噪力度,进而可以控制后续降噪网络的降噪力度,提升降噪控制的灵活性,进而也可以更好的满足不同应用场景的降噪需求。
在一个可选的实施例中,所述对所述噪声区域进行降噪处理,得到降噪后的频域引导图像包括:
将所述噪声区域对应频率,更新为预设频率,得到所述降噪后的频域引导图像;
其中,所述预设频率小于所述预设噪声上限频率,所述预设频率用于控制所述引导图像的降噪程度。
上述实施例中,通过将噪声区域的频率设置为较小的频率,可以有效区分出引导图像中的噪声区域,进而提升图像降噪效果和降噪精度,且结合预设频率在频域对引导图像降噪程度的控制,可以控制后续降噪网络的降噪力度,提升降噪控制的灵活性,进而也可以更好的满足不同应用场景的降噪需求。
在一个可选的实施例中,所述对所述噪声区域进行降噪处理,得到降噪后的频域引导图像包括:
确定预设降噪频率区间,所述预设降噪频率区间对应的上限频率和下限频率间的差值小于等于预设阈值,所述预设降噪频率区间用于控制所述引导图像的降噪程度;
基于所述预设降噪频率区间,对所述噪声区域进行频率约束,得到所述降噪后的频域引导图像。
上述实施例中,通过将噪声区域对应的频率约束在较小的频率区间中,可以使得噪声区域的频率变化较平缓,进而便于区分出引导图像中的噪声区域,提升图像降噪效果和降噪精度,且结合预设降噪频率区间在频域对引导图像降噪程度的控制,可以控制后续降噪网络的降噪力度,提升降噪控制的灵活性,进而也可以更好的满足不同应用场景的降噪需求。
在一个可选的实施例中,在所述将所述降噪引导图像和所述多个初始通道图像输入预设降噪网络进行降噪处理,得到所述目标通道图像之前,所述方法还包括:
获取第一样本图像在颜色通道上的多个第一样本通道图像,所述第一样本图像为无噪声的图像;
对所述多个第一样本通道图像进行加噪处理,得到多个第一噪声通道图像;
根据所述多个第一噪声通道图像,生成第一样本引导图像;
对所述第一样本引导图像进行降噪处理,得到样本降噪引导图像;
将所述样本降噪引导图像和所述多个第一噪声通道图像输入第一深度学习网络,对所述多个第一噪声通道图像进行降噪处理,得到所述第一样本图像降噪后的第一通道图像;
基于所述第一通道图像和所述多个第一样本通道图像,训练所述第一深度学习网络,得到所述预设降噪网络。
上述实施例中,在训练合预设降噪网络过程中,结合加噪后的多个第一噪声通道图像生成具有噪声的第一样本引导图像后;先对具有噪声的第一样本引导图像进行降噪处理,接着,将降噪后的样本降噪引导图像输入第一深度学习网络,可以引导多个第一噪声通道图像的降噪,提升第一深度学习网络对第一噪声通道图像降噪区域的定位精准性,且可以结合对第一样本引导图像降噪处理过程中降噪力度的控制,更好的控制降噪网络的降噪力度,提升降噪控制的灵活性,进而可以提升训练好的预设降噪网络的图像降噪精度,且可以更好的满足不同应用场景的需求,降低图像降噪处理过程中的资源消耗,提升设备性能。
在一个可选的实施例中,在所述将所述降噪引导图像和所述多个初始通道图像输入预设降噪网络进行降噪处理,得到所述目标通道图像之前,所述方法还包括:
获取第二样本图像在颜色通道上的多个第二样本通道图像,所述第二样本图像为无噪声的图像;
对所述多个第二样本通道图像进行加噪处理,得到多个第二噪声通道图像;
根据所述多个第二样本通道图像,生成第二样本引导图像;
将所述第二样本引导图像和所述多个第二噪声通道图像输入第二深度学习网络,对所述多个第二噪声通道图像进行降噪处理,得到所述第二样本图像降噪后的第二通道图像;
基于所述第二通道图像和所述多个第二样本通道图像,训练所述第二深度学习网络,得到所述预设降噪网络。
上述实施例中,在训练合预设降噪网络过程中,直接结合无噪声的第二样本通道图像生成无噪声的第二样本引导图像,并将该无噪声的第二样本引导图像输入第二深度学习网络,引导多个第二噪声通道图像的降噪,提升第二深度学习网络对第二噪声通道图像降噪区域的定位精准性,进而可以提升训练好的预设降噪网络的图像降噪精度,且可以更好的满足不同应用场景的需求,降低图像降噪处理过程中的资源消耗,提升设备性能。
根据本公开实施例的另一方面,提供一种图像处理装置,包括:
通道图像获取模块,被配置为执行获取原始图像在颜色通道上的多个初始通道图像;
引导图像生成模块,被配置为执行根据所述多个初始通道图像,生成所述原始图像对应的引导图像;
第一降噪处理模块,被配置为执行对所述引导图像进行降噪处理,得到降噪引导图像;
第二降噪处理模块,被配置为执行基于所述降噪引导图像对所述多个初始通道图像进行降噪处理,得到所述原始图像降噪后的目标通道图像。
在一个可选的实施例中,上述装置还包括:
掩码图像生成模块,被配置为执行根据所述引导图像,生成所述原始图像对应的掩码图像;
图像增强处理模块,被配置为执行基于所述掩码图像和所述目标通道图像,对所述原始图像进行图像增强处理,得到所述原始图像的目标增强图像。
在一个可选的实施例中,上述掩码图像生成模块包括:
梯度信息确定单元,被配置为执行基于中心差分算法,确定所述引导图像中,每一像素点对应的梯度信息;
掩码图像生成单元,被配置为执行根据所述梯度信息,生成所述掩码图像。
在一个可选的实施例中,上述第一降噪处理模块还被配置为执行对所述引导图像在频域进行降噪处理,得到所述降噪引导图像;
上述第二降噪处理模块,还被配置为执行将所述降噪引导图像和所述多个初始通道图像输入预设降噪网络进行降噪处理,得到所述目标通道图像。
在一个可选的实施例中,上述第一降噪处理模块包括:
空频域转换处理单元,被配置为执行对所述引导图像进行空频域转换处理,得到频域引导图像;
噪声区域确定单元,被配置为执行根据预设噪声上限频率,确定所述频域引导图像中噪声区域,所述预设噪声上限频率用于控制所述引导图像的降噪程度;
降噪处理单元,被配置为执行对所述噪声区域进行降噪处理,得到降噪后的频域引导图像;
频空域转换处理单元,被配置为执行对所述降噪后的频域引导图像进行频空域转换处理,得到所述降噪引导图像。
在一个可选的实施例中,上述降噪处理单元包括:
频率更新单元,被配置为执行将所述噪声区域对应频率,更新为预设频率,得到所述降噪后的频域引导图像;
其中,所述预设频率小于所述预设噪声上限频率,所述预设频率用于控制所述引导图像的降噪程度。
在一个可选的实施例中,上述降噪处理单元包括:
预设降噪频率区间确定单元,被配置为执行确定预设降噪频率区间,所述预设降噪频率区间对应的上限频率和下限频率间的差值小于等于预设阈值,所述预设降噪频率区间用于控制所述引导图像的降噪程度;
频率约束单元,被配置为执行基于所述预设降噪频率区间,对所述噪声区域进行频率约束,得到所述降噪后的频域引导图像。
在一个可选的实施例中,上述装置还包括:
第一样本通道图像获取模块,被配置为执行获取第一样本图像在颜色通道上的多个第一样本通道图像,所述第一样本图像为无噪声的图像;
第一加噪处理模块,被配置为执行对所述多个第一样本通道图像进行加噪处理,得到多个第一噪声通道图像;
第一样本引导图像生成模块,被配置为执行根据所述多个第一噪声通道图像,生成第一样本引导图像;
第三降噪处理模块,被配置为执行对所述第一样本引导图像进行降噪处理,得到样本降噪引导图像;
第四降噪处理模块,被配置为执行将所述样本降噪引导图像和所述多个第一噪声通道图像输入第一深度学习网络,对所述多个第一噪声通道图像进行降噪处理,得到所述第一样本图像降噪后的第一通道图像;
第一网络训练模块,被配置为执行基于所述第一通道图像和所述多个第一样本通道图像,训练所述第一深度学习网络,得到所述预设降噪网络。
在一个可选的实施例中,上述装置还包括:
第二样本通道图像获取模块,被配置为执行获取第二样本图像在颜色通道上的多个第二样本通道图像,所述第二样本图像为无噪声的图像;
第二加噪处理模块,被配置为执行对所述多个第二样本通道图像进行加噪处理,得到多个第二噪声通道图像;
第二样本引导图像生成模块,被配置为执行根据所述多个第二样本通道图像,生成第二样本引导图像;
第五降噪处理模块,被配置为执行将所述第二样本引导图像和所述多个第二噪声通道图像输入第二深度学习网络,对所述多个第二噪声通道图像进行降噪处理,得到所述第二样本图像降噪后的第二通道图像;
第二网络训练模块,被配置为执行基于所述第二通道图像和所述多个第二样本通道图像,训练所述第二深度学习网络,得到所述预设降噪网络。
根据本公开实施例的另一方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如上述第任一项所述的方法。
根据本公开实施例的另一方面,提供一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行本公开实施例的上述任一所述方法。
根据本公开实施例的另一方面,提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例的上述任一所述方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是本申请实施例提供的一种图像处理方法的应用环境的示意图;
图2是根据一示例性实施例示出的一种图像处理方法的流程图;
图3是根据一示例性实施例示出的一种对引导图像进行降噪处理,得到降噪引导图像的示意图;
图4是根据一示例性实施例提供的一种将降噪引导图像和多个初始通道图像输入预设降噪网络,对多个初始通道图像进行降噪处理,得到原始图像降噪后的目标通道图像的示意图;
图5是根据一示例性实施例示出的一种预先训练预设降噪网络的流程图;
图6是根据一示例性实施例示出的另一种预先训练预设降噪网络性的流程图;
图7是根据一示例性实施例示出的一种图像处理装置框图;
图8是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1,图1是本申请实施例提供的一种图像处理方法的应用环境的示意图,如图1所示,该应用环境至少包括服务器100和终端200。
在一个可选的实施例中,服务器100可以用于训练图像降噪网络,服务器100可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。
在一个可选的实施例中,终端200可以结合服务器训练好的图像降噪网络进行图像降噪处理。具体的,终端200可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、智能可穿戴设备、车载终端、智能电视等类型的电子设备;也可以为运行于上述电子设备的软体,例如应用程序、小程序等。本申请实施例中电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外,需要说明的是,图1所示的仅仅是一种图像处理方法的应用环境,在实际应用中,图像降噪网络的训练,也可以在终端200上实现。
本说明书实施例中,上述服务器100和终端200可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
图2是根据一示例性实施例示出的一种图像处理方法的流程图,如图2所示,该图像处理方法用于终端、边缘计算节点等电子设备中,包括以下步骤。
S201:获取原始图像在颜色通道上的多个初始通道图像。
在一个具体的实施例中,原始图像可以为具有噪声的图像,可选的,该原始图像可以是传感器直播输出的图像;可选的,原始图像的图像格式可以包括但不限于CFA(ColorFilter Array,色彩滤波阵列)、JPEG等。在一个具体的实施例中,上述原始图像在颜色通道上的多个初始通道图像可以为原始图像在多个颜色通道上各自对应初始通道图像,即可以按颜色通道将原始图像拆分为多个初始通道图像。相应的,每个颜色通道对应一个通道图像。具体的,多个颜色通道可以结合实际应用场景的不同而不同。可选的,多个颜色通道可以包括B(蓝色通道)、Gb(绿色通道1)、Gr(绿色通道2)和R(红色通道);其中,Gb和Gr均为绿色通道,但像素坐标不一样。可选的,多个颜色通道可以包括R(红色通道)、y(黄色通道1)、y(黄色通道2)和B(蓝色通道)。
S203:根据多个初始通道图像,生成原始图像对应的引导图像。
本说明书实施例中,引导图像可以表征多个初始通道图像的融合特征。
在一个可选的实施例中,可以计算多个初始通道图像的平均像素值,将平均像素值作为引导图像的像素值;相应的,上述引导图像可以为多个初始通道图像的平均像素图像。
在另一个可选的实施例中,可以结合不同场景下每个颜色通道对图像质量的影响程度,为每一颜色通道对应的通道图像设置权重,相应的,可以对多个初始通道图像的像素值进行加权平均,得到引导图像的像素值,相应的,引导图像也可以为多个初始通道图像的加权平均像素图像。
本说明书实施例中,由多个初始通道图像生成的引导图像,可以更有效减少噪声强度;且通过引导图像可以将四个颜色通道相关联,能体现更多颜色通道的细节特征,进而更准确描述原始图像的细节特征信息。
S205:对引导图像进行降噪处理,得到降噪引导图像。
在一个具体的实施例中,可以将引导图像转换到频域,以进行降噪处理,相应的,上述对引导图像进行降噪处理,得到降噪引导图像可以包括:对引导图像在频域进行降噪处理,得到降噪引导图像。
在一个具体的实施例中,如图3所示,上述对引导图像在频域进行降噪处理,得到降噪引导图像可以包括以下步骤:
S301:对引导图像进行空频域转换处理,得到频域引导图像;
在一个具体的实施例中,上述对引导图像进行空频域转换处理(即从空域转换到频域),得到频域引导图像可以包括:对引导图像进行小波变化,以将空域(像素域)的引导图像转到频域,得到上述频域引导图像。
此外,需要说明的是,在实际应用中,空频域转换处理并不仅限于上述的结合小波变化实现,还可以结合傅里叶逆变换等空频域转换算法,本说明书实施例并不以上述为限。
S303:根据预设噪声上限频率,确定频域引导图像中噪声区域;
在一个可选的实施例中,上述预设噪声上限频率可以为预先设置的噪声对应的频率上限;可选的,可以将频域引导图像中对应的频率低于预设噪声上限频率的区域作为上述噪声区域。具体的,预设噪声上限频率可以用于控制引导图像的降噪程度;具体的,预设噪声上限频率与引导图像的降噪程度成反比。即预设噪声上限频率越小,降噪效果越好。
在另一个可选的实施例中,例如结合小波变换算法将空域(像素域)的引导图像转到频域,所得到上述频域引导图像可以包括一个低频区域和多个高频区域。具体的,一般的,低频区域和高频区域的划分可以结合预设频率阈值;可选的,可以将像素点对应的频率小于等于预设频率阈值的区域划分为低频区域,将像素点对应的频率大于预设频率阈值的区域划分为高频区域。具体的,低频区域往往是背景图像所在区域,高频区域往往是目标采集对象(例如人脸)所在区域;相应的,可以将高频区域中对应的频率低于预设噪声上限频率的区域作为上述噪声区域。
S305:对噪声区域进行降噪处理,得到降噪后的频域引导图像;
在一个可选的实施例中,上述对噪声区域进行降噪处理,得到降噪后的频域引导图像可以包括:
将噪声区域对应频率,更新为预设频率,得到降噪后的频域引导图像;
本说明书实施例中,上述预设频率小于预设噪声上限频率。具体的,预设频率可以预先设置的与高频区域中非噪声区域对应频率差值较大的数值。具体的,预设频率可以用于控制引导图像的降噪程度,具体的,预设频率与引导图像的降噪程度成反比。即预设频率越小,降噪效果越好。
上述实施例中,通过将噪声区域的频率设置为较小的频率,可以有效区分出引导图像中的噪声区域,进而提升图像降噪效果和降噪精度,且结合预设频率在频域对引导图像降噪程度的控制,可以控制后续降噪网络的降噪力度,提升降噪控制的灵活性,进而也可以更好的满足不同应用场景的降噪需求。
在一个可选的实施例中,上述对噪声区域进行降噪处理,得到降噪后的频域引导图像可以包括:
确定预设降噪频率区间;
基于预设降噪频率区间,对噪声区域进行频率约束,得到降噪后的频域引导图像。
在一个具体的实施例中,上述预设降噪频率区间对应的上限频率和下限频率间的差值小于等于预设阈值,具体的,预设阈值可以为结合实际应预先设置的使得噪声区域的频率变化较平缓的数值。具体的,预设降噪频率区间可以用于控制引导图像的降噪程度,具体的,预设降噪频率区间对应的上限频率和下限频率间的差值与与引导图像的降噪程度成反比;即差值越小,降噪效果越好。
具体的,在基于预设降噪频率区间,对噪声区域进行频率约束过程中,可以将噪声区域中频率小于等于下限频率的像素点对应的频率设置为该下限频率;将噪声区域中频率大于等于上限频率的像素点对应的频率设置为该上限频率;相应的,噪声区域中频率大于下限频率,且小于上限频率的像素点对应的频率不变。
上述实施例中,通过将噪声区域对应的频率约束在较小的频率区间中,可以使得噪声区域的频率变化较平缓,进而便于区分出引导图像中的噪声区域,提升图像降噪效果和降噪精度,且结合预设降噪频率区间在频域对引导图像降噪程度的控制,可以控制后续降噪网络的降噪力度,提升降噪控制的灵活性,进而也可以更好的满足不同应用场景的降噪需求。。
S307:对降噪后的频域引导图像进行频空域转换处理,得到降噪引导图像。
在一个具体的实施例中,对降噪后的频域引导图像进行频空域转换处理(即从频域转换到空域),得到降噪引导图像可以包括:对降噪后的频域引导图像进行小波逆变换,以将频域的降噪后的频域引导图像转换到空域,得到上述降噪引导图像。
此外,需要说明的是,在实际应用中,频空域转换处理并不仅限于上述的结合小波逆变化实现,还可以结合傅里叶逆变换等频空域转换算法,本说明书实施例并不以上述为限。
本说明书实施例中,通过将引导图像转换到频域后进行降噪处理,可以结合在频域降噪过程中预设噪声上限频率、预设频率、预设降噪频率区间等降噪参数的设置,控制引导图像的降噪力度,进而可以控制后续降噪网络的降噪力度,提升降噪控制的灵活性,进而也可以更好的满足不同应用场景的降噪需求。
S207:基于降噪引导图像对多个初始通道图像进行降噪处理,得到原始图像降噪后的目标通道图像。
在一个可选的实施例中,上述基于降噪引导图像对多个初始通道图像进行降噪处理,得到原始图像降噪后的目标通道图像可以包括:将降噪引导图像分别和多个初始通道图像进行融合处理,得到上述目标通道图像。
本说明书实施例中,在图像处理过程中,先基于原始图像在多个颜色通道的多个初始通道图像,生成引导图像;并对引导图像进行降噪处理后,基于降噪处理后的降噪引导图像对多个初始通道图像进行降噪处理,可以基于降噪引导图像,引导对多个初始通道图像的降噪,通过降噪引导图像可以将四个颜色通道相关联,能体现更多颜色通道的细节特征,进而可以在提升图像降噪精度。且通过预先对引导图像的降噪处理,可通过对引导图像降噪力度的控制,实现对多个初始通道图像的降噪力度的控制,提升降噪控制的灵活性,进而更好的满足不同应用场景的需求,降低图像降噪处理过程中的资源消耗,提升设备性能。
在另一个可选的实施例中,上述基于降噪引导图像对多个初始通道图像进行降噪处理,得到原始图像降噪后的目标通道图像可以包括:将降噪引导图像和多个初始通道图像输入预设降噪网络进行降噪处理,得到上述目标通道图像。
在一个具体的实施例中,预设降噪网络可以为预先基于无噪声样本图像对应的无噪声引导图像和无噪声样本图对应的多个噪声通道图像对预设深度学习网络(待训练的预设降噪网络)进行降噪训练得到的。具体的,目标通道图像可以为多个初始通道图像进行降噪后的多个降噪通道图像。
在一个具体的实施例中,预设降噪网络可以为轻量级的深度学习网络,以便降低降噪处理的复杂度,更好的提升设备性能。具体的,如图4所示,图4是根据一示例性实施例提供的一种将降噪引导图像和多个初始通道图像输入预设降噪网络,对多个初始通道图像进行降噪处理,得到原始图像降噪后的目标通道图像的示意图。具体的,可以将降噪引导图像分别输入预设降噪网络中的网络层1(网络层1可以包括卷积层)和网络层13(网络层13可以包括平均池化层)进行相应的处理,并将多个初始通道图像分别输入预设降噪网络中的网络层2(网络层2可以包括依次连接的卷积层和激活层)和网络层13进行相应的处理;其中,网络层13输出降噪引导图像平均池化后的第一池化引导图像和多个初始通道图像平均池化后的多个第一池化通道图像。另外,可以将第一池化引导图像和多个第一池化通道图像输入网络层14(网络层14可以包括平均池化层)进行相应的处理,其中,网络层14输出第一池化引导图像平均池化后的第二池化引导图像和多个第一池化通道图像平均池化后的多个第二池化通道图像;另外,可以将多个第二池化通道图像输入网络层8(网络层2可以包括卷积层)进行相应的处理,以及将多个第二池化通道图像输入网络层9(网络层9可以包括依次连接的卷积层、激活层和4个残差网络)进行相应的处理,以及将第一池化引导图像输入网络层7(网络层7可以包括依次连接的卷积层和激活层)进行相应的处理,以及将多个第一池化通道图像输入网络层6(网络层6可以包括卷积层)进行相应的处理;另外,可以对网络层9输出的特征图像和网络层8输出的特征图像进行融合处理(点乘),并将融合处理后得到的特征图像输入网络层10(网络层10可以包括双线性上采样层);另外,可以将网络层10输出的双线性采样后的特征图像和网络层7输出的特征图像进行拼接处理,并将拼接后的特征图像输入网络层11(网络层11可以包括4个依次连接的残差网络)进行相应的处理,其中,网络层11输出的特征图像可以与网络层6对输出的特征图像进行融合处理,并将融合后的特征图像输入网络层12(网络层12可以包括双线性上采样层)进行相应的处理,其中,网络层12输出的特征图像和网络层2输出的特征图像进行拼接处理;并将拼接处理后的特征图像输入网络层3(网络层3可以包括4个依次连接的残差网络)进行相应的处理,接着,可以将网络层3输出的特征图像和网络层1输出的特征图像进行融合处理,并将融合处理后的特征图像输入网络层4(网络层4可以包括卷积层)进行相应的处理,其中,网络层4输出的特征图像可以输入网络层5(网络层5可以包括卷积层),网络层5输出的特征图像可以和多个初始通道图像进行拼接处理,得到上述目标通道图像。
此外,需要说明书的是,预设降噪网络中各个网络层的具体层参数可以结合实际应用需求预先设置。
本说明书实施例中,在结合预设降噪网络对多个初始通道图像进行降噪处理过程中,加入了降噪引导图像,可以引导多个初始通道图像的降噪,提升网络对初始通道图像降噪区域的定位精准性,进而可以在提升图像降噪精度的基础上,更好的满足不同应用场景的需求,降低图像降噪处理过程中的资源消耗,提升设备性能。
在一个可选的实施例中,在将降噪引导图像和多个初始通道图像输入预设降噪网络进行降噪处理,得到目标通道图像之前,上述方法还可以包括:预先训练预设降噪网络的步骤,可选的,如图5所示,预先训练预设降噪网络可以包括以下步骤:
S501:获取第一样本图像在颜色通道上的多个第一样本通道图像;
S503:对多个第一样本通道图像进行加噪处理,得到多个第一噪声通道图像;
S505:根据多个第一噪声通道图像,生成第一样本引导图像;
S507:对第一样本引导图像进行降噪处理,得到样本降噪引导图像;
S509:将样本降噪引导图像和多个第一噪声通道图像输入第一深度学习网络,对多个第一噪声通道图像进行降噪处理,得到第一样本图像降噪后的第一通道图像;
S511:基于第一通道图像和多个第一样本通道图像,训练第一深度学习网络,得到预设降噪网络。
在一个具体的实施例中,上述第一样本图像可以为无噪声的图像。
本说明书实施例中,可以结合实际应用场景需求对多个第一样本通道图像添加相应的噪声信息,以得到多个第一噪声通道图像。第一深度学习网络可以为待训练的预设降噪网络。上述S501、S505至S509的具体细化,可以参见上述S201至S207的相关细化,在此不再赘述。
在一个具体的实施例中,上述基于第一通道图像和多个第一样本通道图像,训练第一深度学习网络,得到预设降噪网络可以包括:
根据第一通道图像和多个第一样本通道图像,确定第一损失信息;
基于第一损失信息,更新第一深度学习网络的网络参数;
基于更新后的第一深度学习网络,重复将样本降噪引导图像和多个第一噪声通道图像输入第一深度学习网络,对多个第一噪声通道图像进行降噪处理,得到所述第一样本图像降噪后的第一通道图像至得到预设降噪网络,至基于第一损失信息,更新第一深度学习网络的网络参数的迭代步骤,至达到预设训练收敛条件;
将达到预设训练收敛条件的情况下得到的第一深度学习网络,作为预设降噪网络。
在一个具体的实施例中,根据第一通道图像和多个第一样本通道图像,确定第一损失信息可以包括基于预设损失函数,确定第一通道图像(多个第一噪声通道图像降噪后的图像)和多个第一样本通道图像间的第一损失信息。
在一个具体的实施例中,第一损失信息可以表征第一通道图像和多个第一样本通道图像间的差异。
在一个可选的实施例中,预设损失函数可以包括但不限于交叉熵损失函数、逻辑损失函数、指数损失函数等。
在一个可选的实施例中,上述预设训练收敛条件可以为训练迭代操作的次数达到第一预设训练次数。可选的,降噪训练对应预设训练收敛条件也可以为第一损失信息小于指定阈值。本说明书实施例中,第一预设训练次数和指定阈值可以结合实际应用中对降噪网络训练过程中的训练速度和精准度预先设置。
上述实施例中,在训练合预设降噪网络过程中,结合加噪后的多个第一噪声通道图像生成具有噪声的第一样本引导图像后,先对具有噪声的第一样本引导图像进行降噪处理;接着,将降噪后的样本降噪引导图像输入第一深度学习网络,可以引导多个第一噪声通道图像的降噪,提升第一深度学习网络对第一噪声通道图像降噪区域的定位精准性,且可以结合对第一样本引导图像降噪处理过程中降噪力度的控制,更好的控制降噪网络的降噪力度,提升降噪控制的灵活性,进而可以提升训练好的预设降噪网络的图像降噪精度,且可以更好的满足不同应用场景的需求,降低图像降噪处理过程中的资源消耗,提升设备性能。
在一个可选的实施例中,如图6所示,预先训练预设降噪网络可以包括以下步骤:
S601:获取第二样本图像在颜色通道上的多个第二样本通道图像,第二样本图像为无噪声的图像;
S603:对多个第二样本通道图像进行加噪处理,得到多个第二噪声通道图像;
S605:根据多个第二样本通道图像,生成第二样本引导图像;
S607:将第二样本引导图像和多个第二噪声通道图像输入第二深度学习网络,对多个第二噪声通道图像进行降噪处理,得到第二样本图像降噪后的第二通道图像;
S609:基于第二通道图像和多个第二样本通道图像,训练第二深度学习网络,得到预设降噪网络。
在一个具体的实施例中,上述第二样本图像可以为无噪声的图像。
本说明书实施例中,可以结合实际应用场景需求对多个第二样本通道图像添加相应的噪声信息,以得到多个第二噪声通道图像。第二深度学习网络可以为待训练的预设降噪网络。上述S601-S609的具体细化,可以参见上述S501至S505,以及S509、S511的相关细化,在此不再赘述。
上述实施例中,在训练合预设降噪网络过程中,直接结合无噪声的第二样本通道图像生成无噪声的第二样本引导图像,并将该无噪声的第二样本引导图像输入第二深度学习网络,引导多个第二噪声通道图像的降噪,提升第二深度学习网络对第二噪声通道图像降噪区域的定位精准性,进而可以提升训练好的预设降噪网络的图像降噪精度,且可以更好的满足不同应用场景的需求,降低图像降噪处理过程中的资源消耗,提升设备性能。
在一个可选的实施例中,上述方法还可以包括:
根据引导图像,生成原始图像对应的掩码图像;
基于掩码图像和目标通道图像,对原始图像进行图像增强处理,得到原始图像的目标增强图像。
在一个具体的实施例中,上述根据引导图像,生成原始图像对应的掩码图像可以包括:确定引导图像中,每一像素点对应的梯度信息;根据梯度信息,生成掩码图像。
在一个具体的实施例中,可以结合中心差分算法,计算确定引导图像中,每一像素点在多个预设方向上的梯度信息,并基于多个预设方向上的梯度信息来确定该像素点的对应的梯度信息。
在一个可选的实施例中,多个预设方向可以结合实际应用需求设置,例如多个方向可以包括水平方向、垂直方向和两个对角线方向等。具体的,结合中心差分算法,某一像素点i在水平方向的梯度信息可以为该像素点i在水平方向上的后一个像素点(i+1)的像素值X(i+1)减去像素点i在水平方向上的前一个像素点(i-1)的像素值X(i-1)。具体的,结合中心差分算法,某一像素点i在垂直方向的梯度信息可以为该像素点i在垂直方向上的后一个像素点(i+1)的像素值Y(i+1)减去像素点i在垂直方向上的前一个像素点(i-1)的像素值Y(i-1);可选的,具体的,结合中心差分算法,某一像素点i在两个对角线的梯度信息可以分别等于该像素点i在水平方向的梯度信息和该像素点i在垂直方向的梯度信息。
在一个具体的实施例中,在多个预设方向包括水平方向、垂直方向和两个对角线方向的情况下,可以将某一像素点在四个方向上的梯度信息均值作为该像素点对应的梯度信息。进一步的,某一像素点的梯度信息可以为该像素点对应的掩码值,具体的,掩码值可以为[0,1]之间数值。
本说明书实施例中,结合引导图像生成掩码图像,将多个颜色通道相关联,可以更好的体现多个颜色通道的细节特征,进而可以提升生成的掩码图像中高频区域的准确性,以便提升后续结合掩码图像进行增强处理后的目标增强图像的图像质量。
在一个具体的实施例中,目标增强图像可以为原始图像相同格式的图像,目标增强图像和原始图像可以为单通道的图像。在一个具体的实施例中,基于掩码图像和目标通道图像,对原始图像进行图像增强处理,得到原始图像的目标增强图像可以结合下述公式:
output=img1.*mask+img2.*(1-mask)
其中,output为目标增强图像,img1为原始图像,mask可以为掩码图像,img2为目标通道图像。
在一个具体的实施例中,掩码图像对应的掩码值越小,说明对应像素点是纹理细节特征的概率越低;相应的,目标通道图像在目标增强图像中的权重更高;掩码图像对应的掩码值越大,说明对应像素点是纹理细节特征概率越高,输入原始图像在目标增强图像中的权重更高。
本说明书实施例中,在对原始图像对应的多个通道图像进行降噪处理后,结合掩码图像进行增强处理,可以补回原始图像的纹理细节特征,进而可以更好的提升目标增强图像的图像质量。
由以上本说明书实施例提供的技术方案可见,本说明书实施例中,在图像处理过程中,先基于原始图像在多个颜色通道的多个初始通道图像,生成引导图像;并对引导图像进行降噪处理后,将降噪处理后的降噪引导图像和多个初始通道图像输入预设降噪网络进行降噪处理,可以基于降噪引导图像,引导预设降噪网络对多个初始通道图像的降噪,通过降噪引导图像可以将四个颜色通道相关联,能体现更多颜色通道的细节特征,以便提升预设降噪网络对初始通道图像降噪区域的定位精准性,进而可以在使用轻量级的降噪网络的情况下,也能有效提升图像降噪精度。且通过对引导图像的降噪处理,可通过对引导图像降噪力度的控制,实现对降噪网络的降噪力度的控制,提升降噪控制的灵活性,进而更好的满足不同应用场景的需求,降低图像降噪处理过程中的资源消耗,提升设备性能。
图7是根据一示例性实施例示出的一种图像处理装置框图。参照图7,该装置包括:
通道图像获取模块710,被配置为执行获取原始图像在颜色通道上的多个初始通道图像;
引导图像生成模块720,被配置为执行根据多个初始通道图像,生成原始图像对应的引导图像;
第一降噪处理模块730,被配置为执行对引导图像进行降噪处理,得到降噪引导图像;
第二降噪处理模块740,被配置为执行基于降噪引导图像对多个初始通道图像进行降噪处理,得到原始图像降噪后的目标通道图像。
在一个可选的实施例中,上述装置还包括:
掩码图像生成模块,被配置为执行根据引导图像,生成原始图像对应的掩码图像;
图像增强处理模块,被配置为执行基于掩码图像和目标通道图像,对原始图像进行图像增强处理,得到原始图像的目标增强图像。
在一个可选的实施例中,上述掩码图像生成模块包括:
梯度信息确定单元,被配置为执行确定引导图像中,每一像素点对应的梯度信息;
掩码图像生成单元,被配置为执行根据梯度信息,生成掩码图像。
在一个可选的实施例中,上述第一降噪处理模块730还被配置为执行对引导图像在频域进行降噪处理,得到降噪引导图像;
上述第二降噪处理模块740,还被配置为执行将降噪引导图像和多个初始通道图像输入预设降噪网络进行降噪处理,得到目标通道图像。
在一个可选的实施例中,上述第一降噪处理模块730包括:
空频域转换处理单元,被配置为执行对引导图像进行空频域转换处理,得到频域引导图像;
噪声区域确定单元,被配置为执行根据预设噪声上限频率,确定频域引导图像中噪声区域,预设噪声上限频率用于控制引导图像的降噪程度;
降噪处理单元,被配置为执行对噪声区域进行降噪处理,得到降噪后的频域引导图像;
频空域转换处理单元,被配置为执行对降噪后的频域引导图像进行频空域转换处理,得到降噪引导图像。
在一个可选的实施例中,上述降噪处理单元包括:
频率更新单元,被配置为执行将噪声区域对应频率,更新为预设频率,得到降噪后的频域引导图像;
其中,预设频率小于预设噪声上限频率,预设频率用于控制引导图像的降噪程度。
在一个可选的实施例中,上述降噪处理单元包括:
预设降噪频率区间确定单元,被配置为执行确定预设降噪频率区间,预设降噪频率区间对应的上限频率和下限频率间的差值小于等于预设阈值,预设降噪频率区间用于控制引导图像的降噪程度;
频率约束单元,被配置为执行基于预设降噪频率区间,对噪声区域进行频率约束,得到降噪后的频域引导图像。
在一个可选的实施例中,上述装置还包括:
第一样本通道图像获取模块,被配置为执行获取第一样本图像在颜色通道上的多个第一样本通道图像,第一样本图像为无噪声的图像;
第一加噪处理模块,被配置为执行对多个第一样本通道图像进行加噪处理,得到多个第一噪声通道图像;
第一样本引导图像生成模块,被配置为执行根据多个第一噪声通道图像,生成第一样本引导图像;
第三降噪处理模块,被配置为执行对第一样本引导图像进行降噪处理,得到样本降噪引导图像;
第四降噪处理模块,被配置为执行将样本降噪引导图像和多个第一噪声通道图像输入第一深度学习网络,对多个第一噪声通道图像进行降噪处理,得到第一样本图像降噪后的第一通道图像;
第一网络训练模块,被配置为执行基于第一通道图像和多个第一样本通道图像,训练第一深度学习网络,得到预设降噪网络。
在一个可选的实施例中,上述装置还包括:
第二样本通道图像获取模块,被配置为执行获取第二样本图像在颜色通道上的多个第二样本通道图像,第二样本图像为无噪声的图像;
第二加噪处理模块,被配置为执行对多个第二样本通道图像进行加噪处理,得到多个第二噪声通道图像;
第二样本引导图像生成模块,被配置为执行根据多个第二样本通道图像,生成第二样本引导图像;
第五降噪处理模块,被配置为执行将第二样本引导图像和多个第二噪声通道图像输入第二深度学习网络,对多个第二噪声通道图像进行降噪处理,得到第二样本图像降噪后的第二通道图像;
第二网络训练模块,被配置为执行基于第二通道图像和多个第二样本通道图像,训练第二深度学习网络,得到预设降噪网络。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种用于图像处理的电子设备的框图,该电子设备可以是终端,其内部结构图可以如图8所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理的方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在示例性实施例中,还提供了一种电子设备,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本公开实施例中的图像处理方法。
在示例性实施例中,还提供了一种存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例中的图像处理方法。
在示例性实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例中的图像处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种图像处理方法,其特征在于,包括:
获取原始图像在颜色通道上的多个初始通道图像;
根据所述多个初始通道图像,生成所述原始图像对应的引导图像;
对所述引导图像进行降噪处理,得到降噪引导图像;
基于所述降噪引导图像对所述多个初始通道图像进行降噪处理,得到所述原始图像降噪后的目标通道图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述方法还包括:
根据所述引导图像,生成所述原始图像对应的掩码图像;
基于所述掩码图像和所述目标通道图像,对所述原始图像进行图像增强处理,得到所述原始图像的目标增强图像。
3.根据权利要求2所述的图像处理方法,其特征在于,所述根据所述引导图像,生成所述原始图像对应的掩码图像包括:
确定所述引导图像中,每一像素点对应的梯度信息;
根据所述梯度信息,生成所述掩码图像。
4.根据权利要求1至3任一项所述的图像处理方法,其特征在于,所述对所述引导图像进行降噪处理,得到降噪引导图像包括:
对所述引导图像在频域进行降噪处理,得到所述降噪引导图像;
所述基于所述降噪引导图像对所述多个初始通道图像进行降噪处理,得到所述原始图像降噪后的目标通道图像包括:
将所述降噪引导图像和所述多个初始通道图像输入预设降噪网络进行降噪处理,得到所述目标通道图像。
5.根据权利要求4所述的图像处理方法,其特征在于,所述对所述引导图像在频域进行降噪处理,得到所述降噪引导图像包括:
对所述引导图像进行空频域转换处理,得到频域引导图像;
根据预设噪声上限频率,确定所述频域引导图像中噪声区域,所述预设噪声上限频率用于控制所述引导图像的降噪程度;
对所述噪声区域进行降噪处理,得到降噪后的频域引导图像;
对所述降噪后的频域引导图像进行频空域转换处理,得到所述降噪引导图像。
6.根据权利要求5所述的图像处理方法,其特征在于,所述对所述噪声区域进行降噪处理,得到降噪后的频域引导图像包括:
将所述噪声区域对应频率,更新为预设频率,得到所述降噪后的频域引导图像;
其中,所述预设频率小于所述预设噪声上限频率,所述预设频率用于控制所述引导图像的降噪程度。
7.根据权利要求5所述的图像处理方法,其特征在于,所述对所述噪声区域进行降噪处理,得到降噪后的频域引导图像包括:
确定预设降噪频率区间,所述预设降噪频率区间对应的上限频率和下限频率间的差值小于等于预设阈值;
基于所述预设降噪频率区间,对所述噪声区域进行频率约束,得到所述降噪后的频域引导图像,所述预设降噪频率区间用于控制所述引导图像的降噪程度。
8.根据权利要求4所述的图像处理方法,其特征在于,在所述将所述降噪引导图像和所述多个初始通道图像输入预设降噪网络进行降噪处理,得到所述目标通道图像之前,所述方法还包括:
获取第一样本图像在颜色通道上的多个第一样本通道图像,所述第一样本图像为无噪声的图像;
对所述多个第一样本通道图像进行加噪处理,得到多个第一噪声通道图像;
根据所述多个第一噪声通道图像,生成第一样本引导图像;
对所述第一样本引导图像进行降噪处理,得到样本降噪引导图像;
将所述样本降噪引导图像和所述多个第一噪声通道图像输入第一深度学习网络,对所述多个第一噪声通道图像进行降噪处理,得到所述第一样本图像降噪后的第一通道图像;
基于所述第一通道图像和所述多个第一样本通道图像,训练所述第一深度学习网络,得到所述预设降噪网络。
9.根据权利要求4所述的图像处理方法,其特征在于,在所述将所述降噪引导图像和所述多个初始通道图像输入预设降噪网络进行降噪处理,得到所述目标通道图像之前,所述方法还包括:
获取第二样本图像在颜色通道上的多个第二样本通道图像,所述第二样本图像为无噪声的图像;
对所述多个第二样本通道图像进行加噪处理,得到多个第二噪声通道图像;
根据所述多个第二样本通道图像,生成第二样本引导图像;
将所述第二样本引导图像和所述多个第二噪声通道图像输入第二深度学习网络,对所述多个第二噪声通道图像进行降噪处理,得到所述第二样本图像降噪后的第二通道图像;
基于所述第二通道图像和所述多个第二样本通道图像,训练所述第二深度学习网络,得到所述预设降噪网络。
10.一种图像处理装置,其特征在于,包括:
通道图像获取模块,被配置为执行获取原始图像在颜色通道上的多个初始通道图像;
引导图像生成模块,被配置为执行根据所述多个初始通道图像,生成所述原始图像对应的引导图像;
第一降噪处理模块,被配置为执行对所述引导图像进行降噪处理,得到降噪引导图像;
第二降噪处理模块,被配置为执行基于所述降噪引导图像对所述多个初始通道图像进行降噪处理,得到所述原始图像降噪后的目标通道图像。
11.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至9中任一项所述的图像处理方法。
12.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至9中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111418957.4A CN113989165A (zh) | 2021-11-26 | 2021-11-26 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111418957.4A CN113989165A (zh) | 2021-11-26 | 2021-11-26 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113989165A true CN113989165A (zh) | 2022-01-28 |
Family
ID=79731992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111418957.4A Withdrawn CN113989165A (zh) | 2021-11-26 | 2021-11-26 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113989165A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115393221A (zh) * | 2022-08-29 | 2022-11-25 | 眉山市人民医院 | 适用于输尿管软镜末端的探镜角度校准方法、终端及介质 |
CN117115453A (zh) * | 2023-10-20 | 2023-11-24 | 光轮智能(北京)科技有限公司 | 目标图像生成方法、装置及计算机可读存储介质 |
-
2021
- 2021-11-26 CN CN202111418957.4A patent/CN113989165A/zh not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115393221A (zh) * | 2022-08-29 | 2022-11-25 | 眉山市人民医院 | 适用于输尿管软镜末端的探镜角度校准方法、终端及介质 |
CN117115453A (zh) * | 2023-10-20 | 2023-11-24 | 光轮智能(北京)科技有限公司 | 目标图像生成方法、装置及计算机可读存储介质 |
CN117115453B (zh) * | 2023-10-20 | 2024-02-02 | 光轮智能(北京)科技有限公司 | 目标图像生成方法、装置及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10970600B2 (en) | Method and apparatus for training neural network model used for image processing, and storage medium | |
WO2020103647A1 (zh) | 物体关键点的定位方法、图像处理方法、装置及存储介质 | |
CN107507153B (zh) | 图像去噪方法和装置 | |
CN109255774B (zh) | 一种图像融合方法、装置及其设备 | |
CN113989165A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US20230215132A1 (en) | Method for generating relighted image and electronic device | |
CN110675385A (zh) | 一种图像处理方法、装置、计算机设备以及存储介质 | |
CN108765264B (zh) | 图像美颜方法、装置、设备及存储介质 | |
CN108734127B (zh) | 年龄识别值调整方法、装置、设备及存储介质 | |
CN110852385B (zh) | 图像处理方法、装置、设备和存储介质 | |
WO2024125267A1 (zh) | 图像处理方法、装置、计算机可读存储介质、电子设备及计算机程序产品 | |
CN110689478B (zh) | 图像风格化处理方法、装置、电子设备及可读介质 | |
CN112419179A (zh) | 修复图像的方法、装置、设备和计算机可读介质 | |
CN109961435B (zh) | 脑图像获取方法、装置、设备及存储介质 | |
CN115375592A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN115471413A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN113438386B (zh) | 一种应用于视频处理的动静判定方法及装置 | |
KR20230049231A (ko) | 영상 개선 방법 및 장치 | |
CN112561818B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
CN114170082A (zh) | 视频播放、图像处理和模型训练方法、装置以及电子设备 | |
CN113658196A (zh) | 红外图像中船舶的检测方法、装置、电子设备和介质 | |
CN111861940A (zh) | 一种基于条件连续调节的图像调色增强方法 | |
CN110458754B (zh) | 图像生成方法及终端设备 | |
CN111080534A (zh) | 图像滤波方法、装置及电子设备 | |
CN103618904A (zh) | 基于像素的运动估计方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220128 |
|
WW01 | Invention patent application withdrawn after publication |