CN113689373A - 图像处理方法、装置、设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113689373A CN113689373A CN202111226036.8A CN202111226036A CN113689373A CN 113689373 A CN113689373 A CN 113689373A CN 202111226036 A CN202111226036 A CN 202111226036A CN 113689373 A CN113689373 A CN 113689373A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- noise reduction
- processed
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 46
- 230000009467 reduction Effects 0.000 claims abstract description 285
- 238000012545 processing Methods 0.000 claims abstract description 124
- 230000011218 segmentation Effects 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000005070 sampling Methods 0.000 claims description 44
- 230000004927 fusion Effects 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 description 19
- 238000001514 detection method Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 241001464837 Viridiplantae Species 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开实施例公开了一种图像处理方法、装置、设备及计算机可读存储介质,其中,该方法包括:确定待处理图像的语义分割图像,以及确定所述待处理图像的纹理图像;对所述语义分割图像和所述纹理图像进行融合,得到融合图像;基于所述融合图像,确定所述待处理图像对应的第一降噪参数;基于所述第一降噪参数,对所述待处理图像进行降噪处理。
Description
技术领域
本公开实施例涉及但不限于计算机视觉领域,尤其涉及一种图像处理方法、装置、设备及计算机可读存储介质。
背景技术
图像降噪一直是图像处理研究的热点之一。图像降噪的目的是改善具有噪声的图像,解决图像由于噪声干扰而导致图像质量下降的问题。降噪可以有效地提高图像质量,增大信噪比,更好的体现原始图像所携带的信息。
如何在图像降噪的情况下减少细节丢失是本领域一直以来关注的问题。
发明内容
本公开实施例提供一种图像处理方法、装置、设备及计算机可读存储介质。
第一方面,本公开实施例提供一种图像处理方法,包括:确定待处理图像的语义分割图像,以及确定所述待处理图像的纹理图像;对所述语义分割图像和所述纹理图像进行融合,得到融合图像;基于所述融合图像,确定所述待处理图像对应的第一降噪参数;基于所述第一降噪参数,对所述待处理图像进行降噪处理。
这样,由于融合图像是对语义分割图像和纹理图像进行融合得到的,融合图像表征的是待处理图像的纹理和待处理图像中不同的语义区域融合的结果,从而基于融合图像确定待处理图像对应的第一降噪参数,使得确定的第一降噪参数能够基于待处理图像的纹理和不同的语义区域的融合结果,进而通过第一降噪参数对待处理图像进行降噪,能够在对待处理图像降噪的同时,不会丢失待处理图像中的细节,提升了待处理图像的降噪效果。
在一些实施例中,所述基于所述融合图像,确定所述待处理图像对应的第一降噪参数,包括:基于所述融合图像,确定所述待处理图像中的每个像素对应的第一降噪参数;其中,不同像素值的像素对应不同的第一降噪参数;所述基于所述第一降噪参数,对所述待处理图像进行降噪处理,包括:基于所述每个像素对应的第一降噪参数,对所述每个像素进行降噪处理。
这样,不同像素值的像素对应不同的第一降噪参数,基于每个像素对应的第一降噪参数,对每个像素进行降噪处理,从而能够根据待处理图像中每个像素的纹理特征和语义特征的融合,对待处理图像实现像素级别的降噪,进而能够精确地对待处理图像的各个像素进行降噪,提升了待处理图像的降噪效果。
在一些实施例中,所述第一降噪参数包括至少两个子降噪参数,所述至少两个子降噪参数对应的降噪力度不同;所述基于所述融合图像,确定所述待处理图像对应的第一降噪参数,包括:基于所述融合图像,将所述待处理图像分为至少两个区域;根据所述至少两个子降噪参数,为每个所述区域确定所述区域对应的子降噪参数;所述基于所述第一降噪参数,对所述待处理图像进行降噪处理,包括:基于每个所述区域对应的子降噪参数,对所述区域进行降噪处理。
这样,基于融合图像,将待处理图像分为至少两个区域,为每个区域确定区域对应的子降噪参数,基于每个区域对应的子降噪参数,对区域进行降噪处理,从而同一个区域使用同一个降噪参数,不同的区域使用不同的降噪参数,不仅能够提升待处理图像的降噪效果,还能够快速地对待处理图像进行降噪。
在一些实施例中,所述确定所述待处理图像的纹理图像,包括:确定与所述待处理图像对应的梯度图像序列;所述梯度图像序列包括至少两个不同尺度的归一化梯度图像;基于所述梯度图像序列,确定所述纹理图像。
这样,通过确定与待处理图像对应的梯度图像序列,基于梯度图像序列,确定纹理图像,从而纹理图像是通过各个不同尺度的梯度图像结合得到的,使得确定纹理图像能够准确地反映待处理图像的纹理。
在一些实施例中,所述确定与所述待处理图像对应的梯度图像序列,包括:确定第一图像序列;所述第一图像序列包括N个第一图像,所述N个第一图像中第i个第一图像是对第(i-1)个第一图像进行下采样得到,第一个第一图像为所述待处理图像;N为大于或等于2的整数,i为大于或等于2的整数;对所述第一图像序列中的每个第一图像进行图像梯度处理,得到所述梯度图像序列。
这样,通过先对待处理图像进行不同程度的下采样,得到第一图像序列,再对第一图像序列中每个第一图像进行图像梯度处理,得到梯度图像序列,从而得到的梯度图像序列能够反映第一图像序列的梯度信息,进而基于梯度图像序列,能够准确地确定纹理图像。
在一些实施例中,所述对所述第一图像序列中的每个第一图像进行图像梯度处理,得到所述梯度图像序列,包括:对所述第一图像序列中的每个第一图像均采用第二降噪参数进行降噪处理,得到第二图像序列;对所述第二图像序列中的每个第二图像进行图像梯度处理,得到所述梯度图像序列。
这样,由于先对第一图像序列中每个第一图像进行降噪处理,然后再对降噪处理得到的第二图像序列进行图像梯度处理,得到梯度图像序列,从而能够减少图像噪声对梯度计算的影响,使得到的梯度图像序列准确。
在一些实施例中,所述基于所述梯度图像序列,确定所述纹理图像,包括:对第N个梯度图像进行上采样得到的第一个上采样图像,与第(N-1)个梯度图像进行合并,得到合并图像;N为大于或等于2的整数;在N为2的情况下,将所述合并图像确定为所述纹理图像;在N大于2的情况下,对得到的第j个合并图像进行上采样,得到第(j+1)个上采样图像;将所述第(j+1)个上采样图像与第(N-1-j)个梯度图像进行合并,得到第(j+1)个合并图像;j为大于或等于1的整数;将最后一次得到的合并图像确定为所述纹理图像。
这样,对得到的第j个合并图像进行上采样,得到第(j+1)个上采样图像,将第(j+1)个上采样图像与第(N-1-j)个梯度图像进行合并,得到第(j+1)个合并图像,将最后一次得到的合并图像确定为纹理图像,纹理图像能够通过对梯度图像序列中每个梯度图像合并得到,从而纹理图像能够准确地反映出待处理图像的纹理。
在一些实施例中,所述对所述语义分割图像和所述纹理图像进行融合,得到融合图像,包括:确定所述语义分割图像中每个区域对应的权重值;将所述语义分割图像中的每个区域的像素值,修改为所述每个区域对应的权重值,得到权重图像;将所述权重图像和所述纹理图像进行融合,得到所述融合图像。
这样,将语义分割图像中的每个区域的像素值,修改为每个区域对应的权重值,得到权重图像;将权重图像和纹理图像进行融合,得到融合图像,从而为待处理图像中不同的语义区域设置不同的权重值,进而可以基于权重值来确定降噪力度,提升了待处理图像的降噪效果。
在一些实施例中,所述将所述权重图像和所述纹理图像进行融合,得到所述融合图像,包括:将所述纹理图像中的每个像素值与所述权重图像中的每个像素值对应相减,得到目标图像;将所述目标图像中大于第一阈值的像素值,修改为所述第一阈值,且将所述目标图像中小于第二阈值的像素值,修改为所述第二阈值,得到所述融合图像;所述第一阈值大于所述第二阈值。
这样,基于将纹理图像中的每个像素值与权重图像中的每个像素值对应相减得到的目标图像,确定融合图像,从而提供了一种权重图像和纹理图像融合的实现方式,使得融合图像能够准确的表达待处理图像携带的信息;并且,通过将目标图像中大于第一阈值的像素值,修改为第一阈值,且将目标图像中小于第二阈值的像素值,修改为第二阈值,从而基于融合图像能够容易地区分出待处理图像的纹理区域和平坦区域,从而针对待处理图像中纹理区域和平坦区域进行差异化的降噪,能够在对待处理图像降噪的同时,不会丢失待处理图像中的细节,提升了待处理图像的降噪效果。
在一些实施例中,所述基于所述融合图像,确定所述待处理图像中的每个像素对应的第一降噪参数,包括:获取所述融合图像中每个第一像素的像素值;根据所述每个第一像素的像素值大小,为与所述每个第一像素对应的所述待处理图像中的每个第二像素设置第一降噪参数;其中,所述第一降噪参数包括标准差和窗口大小,若第m个第一像素的像素值大于第n个第一像素的像素值,则第m个第二像素的标准差小于第n个第二像素的标准差,且所述第m个第二像素的窗口大小小于所述第n个第二像素的窗口大小,m和n不同,m和n均为大于或等于1的整数。
这样,根据融合图像中每个第一像素的像素值大小,为与第一像素对应的待处理图像中的第二像素设置第一降噪参数,从而为不同像素值大小的第一像素所对应的第二像素设置不同的第一降噪参数,因此能够精确地对待处理图像的各个像素进行降噪,提升了待处理图像的降噪效果。
在一些实施例中,所述至少两个区域包括第一区域、第二区域以及第三区域;所述基于所述融合图像,将所述待处理图像分为至少两个区域,包括:获取所述融合图像中每个第一像素的像素值;根据所述每个第一像素的像素值大小,将所述待处理图像分为所述第一区域、所述第二区域以及所述第三区域;其中,与所述第一区域中每个第二像素对应的所述融合图像中第一像素的像素值,为所述融合图像中像素值的最小值;与所述第三区域中每个第二像素对应的所述融合图像中第一像素的像素值,为所述融合图像中像素值的最大值;所述第二区域为所述待处理图像中除所述第一区域和所述第三区域之外的区域;所述第一区域对应的子降噪参数、所述第二区域对应的子降噪参数以及所述第三区域对应的子降噪参数的降噪力度依次减小。
这样,融合图像中像素值为最小值的像素,表征对应的待处理图像中第一区域的像素为平坦区中的像素,从而采用较大的降噪力度对该像素进行降噪,从而能够对平坦区中的像素进行有效的降噪;融合图像中像素值为最大值的像素,表征对应的待处理图像中第三区域的像素为纹理区中的像素,从而采用较小的降噪力度对该像素进行降噪,进而能够对纹理区中的像素进行降噪时,较少地丢失纹理信息;并且,对除第一区域和第三区域之外的第二区域的像素,采用中等的降噪力度进行降噪,能够使得到的降噪后的图像平滑。
在一些实施例中,所述至少两个区域包括第四区域和第五区域;所述基于所述融合图像,将所述待处理图像分为至少两个区域,包括:获取所述融合图像中每个第一像素的像素值;根据所述每个第一像素的像素值大小,将所述待处理图像分为所述第四区域和所述第五区域;其中,与所述第四区域中每个第二像素对应的所述融合图像中第一像素的像素值,大于第三阈值;与所述第五区域中每个第二像素对应的所述融合图像中第一像素的像素值,小于或等于所述第三阈值;其中,所述第四区域对应的子降噪参数的降噪力度,小于所述第五区域对应的子降噪参数的降噪力度。
这样,在融合图像中像素值大于第三阈值的情况下,确定对应的待处理图像中第四区域的像素的纹理较多,从而采用较小的降噪力度对第四区域的像素进行降噪,从而在对纹理较多的像素进行降噪时,较少的丢失纹理信息;在融合图像中像素值小于或等于第三阈值的情况下,确定对应的待处理图像中第五区域的像素的纹理较少,从而采用较大的降噪力度对第五区域的像素进行降噪,从而能够对纹理较少中的像素进行有效的降噪,提升了待处理图像的降噪效果。
第二方面,本公开实施例提供一种图像处理装置,包括:确定单元,用于确定待处理图像的语义分割图像,以及确定所述待处理图像的纹理图像;融合单元,用于对所述语义分割图像和所述纹理图像进行融合,得到融合图像;所述确定单元,还用于基于所述融合图像,确定所述待处理图像对应的第一降噪参数;降噪单元,用于基于所述第一降噪参数,对所述待处理图像进行降噪处理。
第三方面,本公开实施例提供一种图像处理设备,包括:存储器和处理器,所述存储器存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的图像处理方法。
第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述的图像处理方法。
附图说明
此处所说明的附图用来提供对本公开的进一步理解,构成本公开的一部分,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。
图1为本公开实施例提供的一种图像处理方法的实现流程示意图;
图2为本公开实施例提供的图像处理方法的实现方式示意图;
图3为本公开实施例提供的另一种图像处理方法的实现流程示意图;
图4为本公开实施例提供的又一种图像处理方法的实现流程示意图;
图5为本公开实施例提供的再一种图像处理方法的实现流程示意图;
图6为本公开实施例提供的一种基于梯度图像序列确定纹理图像的实现方式示意图;
图7为本公开另一实施例提供的一种图像处理方法的实现流程示意图;
图8为本公开实施例提供的一种图像处理装置的组成结构示意图;
图9为本公开实施例提供的一种图像处理设备的硬件实体示意图。
具体实施方式
下面将通过实施例并结合附图具体地对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是:在本公开实例中,第一、第二等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
另外,本公开实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。在本公开的描述中,多个的含义是两个或两个以上,除非另有明确具体的限定。
暗光场景噪声是图像处理中比较常见的问题,大部分相机由于硬件原因在暗光下光子感应较差,而高感光度通常会导致生成的图像带有明显的噪声。
相关技术中通过深度学习或三维块匹配算法(Block Matching 3D,BM3D)传统方法可以有效的去除部分暗光下噪声。然而,基于深度学习的方法,一般是针对噪声建立模型,模拟暗光场景下的噪声分布,生成数据对,降噪的效果取决噪声模型与真实噪声的差异,但由于模拟噪声与实际噪声往往存在差异,降噪效果时好时坏,复用性低,鲁棒性差。BM3D传统方法通过空域或频域特性进行全局或特定频段的降噪,虽然能够减少图像中的噪声,但存在大量丢失图像细节的情况。
本申请实施例中提到的任一图像处理装置可以是处理器或者芯片,处理器或者芯片可以应用于图像处理设备中。或者,本申请实施例中提到的任一图像处理装置可以是图像处理设备。在一些实施例中,图像处理设备可以包括图像处理组件,例如,图像处理组件可以包括摄像头组件。在另一些实施例中,图像处理设备可以包括以下至少之一或者至少两者的组合:相机、服务器、手机(Mobile Phone)、平板电脑(Pad)、带无线收发功能的电脑、掌上电脑、台式计算机、个人数字助理、便捷式媒体播放器、智能音箱、导航装置、智能手表、智能眼镜、智能项链等可穿戴设备、计步器、数字TV、虚拟现实(Virtual Reality,VR)终端设备、增强现实(Augmented Reality,AR)终端设备、工业控制(Industrial Control)中的无线终端、无人驾驶(Self Driving)中的无线终端、远程手术(Remote Medical Surgery)中的无线终端、智能电网(Smart Grid)中的无线终端、运输安全(Transportation Safety)中的无线终端、智慧城市(Smart City)中的无线终端、智慧家庭(Smart Home)中的无线终端、车联网系统中的车、车载设备、车载模块等等。
图1为本公开实施例提供的一种图像处理方法的实现流程示意图,如图1所示,该方法应用于图像处理装置,该方法包括:
S101、确定待处理图像的语义分割图像,以及确定所述待处理图像的纹理图像。
在一些实施例中,待处理图像可以是原始图像。例如,原始图像可以通过图像拍摄得到的图像。又例如,原始图像可以是视频中的图像帧。再例如,原始图像可以是从本地中读取的图像、下载的图像或者从其它设备(例如,硬盘、U盘或其它终端等)读取到的图像。
在另一些实施例中,待处理图像可以是通过对原始图像进行以下至少之一处理得到的图像:缩放处理、裁剪处理、去噪处理、添加噪声处理、灰度处理、旋转处理、归一化处理。例如,可以对原始图像进行缩放处理后,再进行旋转处理,得到待处理图像。
确定待处理图像的语义分割图像,可以包括:对待处理图像进行语义分割,得到语义分割图像。确定所述待处理图像的纹理图像,可以包括:对待处理图像进行纹理检测,得到纹理图像。
对待处理图像进行语义分割,得到语义分割图像,可以包括:将待处理图像输入至语义分割网络(或者称语义分割模型)中,通过语义分割网络对待处理图像进行语义分割,得到语义分割图像。其中,语义分割网络可以是通过对多个带标签的第一训练图像进行训练得到的。
语义分割网络可以包括以下之一:全卷积网络(Fully Convolution Networks,FCN)、SegNet、U-Net、DeepLab v1、DeepLab v2、DeepLab v3、DenseNet、E-Net、Link-Net、Mask区域卷积神经网络(Mask R-CNN)、金字塔场景解析网络(Pyramid Scene ParseingNetwork,PSPNet)、RefineNet、门控反馈优化网络(Gated Feedback Refinement Network,G-FRNet),以及这些网络的演进网络等。
对待处理图像进行纹理检测,得到纹理图像,可以包括:将待处理图像输入至纹理检测网络(或者称纹理检测模型)中,通过纹理检测网络对待处理图像进行纹理检测,得到纹理图像。纹理检测网络可以包括:深度纹理编码网络(Deep Texture Encoding Network,Deep-TEN)等。
在一些实施例中,纹理检测网络还可以称为边缘分割网络,边缘分割网络可以包括以下之一:基于更丰富特征的边缘检测(Richer Convolutional Features for EdgeDetection,RCF)网络、整体嵌套的边缘检测(holistically-nested edge detection,HED)网络、Canny边缘检测网络,以及这些网络的演进网络等。
语义分割图像和纹理图像的像素尺寸可以均与待处理图像的像素尺寸相同,例如,在待处理图像的像素尺寸为800×600或者800×600×3的情况下,其中,800为待处理图像在宽度方向上的像素尺寸,600为待处理图像在高度方向上的像素尺寸,3为待处理图像的通道数,通道包括红绿蓝(RGB)三通道,语义分割图像和纹理图像的像素尺寸均为800×600。
语义分割网络可以从大量标注的训练集(包括多个带标签的第一训练图像)中学习的经验知识以及每个位置的局部特征,判断各个位置属于的类别。对待处理图像进行语义分割的目的是,对待处理图像中的每个像素进行语义分类,确定待处理图像中每个像素属于某一种物体或者背景。在待处理图像中某一个像素属于背景的情况下,可以将语义分割图像中对应像素的标识值确定为第一值,在待处理图像中某一个像素属于N个类别中目标类物体的情况下,可以将语义分割图像中对应像素的标识值确定为与目标类物体对应的值,N为大于或等于1的整数,与目标类物体对应的值的取值也有N种,且与第一值不同。这样,语义分割图像中每一像素的标识值可以是N+1种数值,N为物体类别的总数,从而可以基于语义分割图像中不同种类的值的位置,确定待处理图像中的背景部分和每一类物体的位置。在一些实施方式中,语义分割图像可以称为语义掩膜(Segm mask)。
对待处理图像进行纹理检测的目的是,确定待处理图像中的每个像素是否为纹理像素或边缘像素,在纹理图像中的某一个像素值越大的情况下,表明该像素值对应的像素为纹理像素的概率越高;在纹理图像中的某一个像素值越小的情况下,表明该像素值对应的像素为纹理像素的概率越低。
S102、对所述语义分割图像和所述纹理图像进行融合,得到融合图像。
在一些实施例中,S102可以通过以下方式实现:获取语义分割图像中每个像素对应的像素值,获取纹理图像中每个像素对应的像素值,将语义分割图像中每个像素对应的像素值,和纹理图像中每个像素对应的像素值对应进行数学计算,得到融合图像。其中,语义分割图像中每个像素对应的像素值可以是语义分割图像中每个像素的真实像素值,或者,语义分割图像中每个像素对应的像素值可以是与语义分割图像中每个像素的真实像素值映射的像素值。其中,纹理图像中每个像素对应的像素值可以是纹理图像中每个像素的真实像素值,或者,纹理图像中每个像素对应的像素值可以是与纹理图像中每个像素的真实像素映射的像素值。示例性地,映射的像素值可以与真实像素值具有映射关系,例如,映射的像素值可以与真实像素值具有一对一的映射关系,或者,一对多的映射关系。示例性地,映射的像素值可以是通过真实像素值计算得到的,或者,映射的像素值可以是通过真实像素值和映射关系得到,映射关系包括真实像素值和映射的像素值之间的对应关系。
进行数学计算包括但不限于以下至少之一:相乘、相加、相减、相除、指数运算、对数运算等。
以数学计算为相减运算举例,将语义分割图像中每个像素对应的像素值,和纹理图像中每个像素对应的像素值对应进行数学计算,可以包括:将语义分割图像中每个像素对应的像素值,和纹理图像中每个像素对应的像素值对应相乘,或者,将纹理图像中每个像素对应的像素值,与语义分割图像中每个像素对应的像素值对应相减。例如,将纹理图像中第a行第b列的像素对应的像素值,与语义分割图像中第a行第b列的像素对应的像素值对应相减。a、b均为大于或等于1的整数,a、b可以相同或不同。
通过将语义分割图像和纹理图像进行融合,能够充分利用各自优点,获取更加精细的掩码。例如语义分割的天空区域的分割,纹理检测在天空区域可能无法检测干净。
S103、基于所述融合图像,确定所述待处理图像对应的第一降噪参数。
在一些实施例中,融合图像中每个像素的像素值可以处于预设范围。例如,预设范围可以是[0, 1],这样,融合图像中每个像素的像素值可以是[0, 1]中的任一个值。例如,融合图像中某个像素的像素值可以为0、0.128、0.75或者1等。在另一些实施例中,融合图像中每个像素点的像素值可以是数据集合中的数据,数据集合可以是预先设定的包括至少两个数值的集合。例如,数据集合可以包括{0, 1}、{0, 0.5, 1}或者{0, 0.2, 0.4, 0.6,0.8, 1}等。
第一降噪参数和/或下述的第二降噪参数可以是滤波器的降噪参数,滤波器可以是高斯滤波器或其它滤波器,高斯滤波器是利用高斯核的一个2维的卷积算子,其它滤波器可以包括以下之一:中值滤波器、均值滤波器、双边滤波器、最大最小值滤波、引导滤波器、索贝尔(Sobel)滤波器、Prewitt滤波器、拉普拉斯(Laplacian)滤波器等等,本公开实施例对滤波器和滤波器的降噪参数不作限制。第一降噪参数和/或下述的第二降噪参数可以包括:标准差和/或窗口大小,第一降噪参数和/或下述的第二降噪参数不同可以包括标准差不同和/或窗口大小不同。
本公开实施例中滤波器可以包括高斯核,基于标准差可以确定高斯核中的元素值,基于窗口大小可以确定高斯核的尺寸。
S104、基于所述第一降噪参数,对所述待处理图像进行降噪处理。
在本公开实施例中,由于融合图像是对语义分割图像和纹理图像进行融合得到的,融合图像表征的是待处理图像的纹理和待处理图像中不同的语义区域融合的结果,从而基于融合图像确定待处理图像对应的第一降噪参数,使得确定的第一降噪参数能够基于待处理图像的纹理和不同的语义区域的融合结果,进而通过第一降噪参数对待处理图像进行降噪,能够在对待处理图像降噪的同时,不会丢失待处理图像中的细节,提升了待处理图像的降噪效果。
图2为本公开实施例提供的图像处理方法的实现方式示意图,可以应用于图像处理装置,如图2所示,图像处理装置可以先得到待处理图像21,然后将待处理图像21分别输入至语义分割网络和纹理检测网络,通过语义分割网络的得到语义分割图像22,通过纹理检测网络得到纹理图像23。
在得到语义分割图像22和纹理图像23之后,可以对语义分割图像22和纹理图像23进行融合(或者称掩码融合),得到融合图像24。接着将融合图像24和待处理图像21输入至降噪模块,降噪模块可以基于融合图像,确定待处理图像中对应的第一降噪参数;基于第一降噪参数,对待处理图像中进行降噪处理,在降噪模块对待处理图像降噪完成之后,输出处理后的图像25。
在一些实施例中,确定待处理图像的语义分割图像,可以包括:对待处理图像采用第一下采样因子进行下采样,得到下采样图像;对下采样图像进行语义分割,得到目标分割图像;对目标分割图像进行上采样,得到与待处理图像的尺寸相同的语义分割图像。
第一下采样因子可以为大于或等于2的整数。例如,第一下采样因子可以为2、4、8或10等。
通过对待处理图像采用第一下采样因子进行下采样得到下采样图像,可以减小用于语义分割的图像的尺寸。例如,在待处理图像的尺寸为M×N,第一下采样因子为10的情况下,下采样图像可以为M/10×N/10。
待处理图像可以采用第一下采样因子进行多次下采样,得到下采样图像。例如,在待处理图像的尺寸为M×N,第一下采样因子为2的情况下,可以先下采样得到M/2×N/2的图像,再在M/2×N/2的图像的基础上,再次下采样得到M/4×N/4的图像,在M/4×N/4的图像的基础上,再次下采样得到M/8×N/8的图像,将该M/8×N/8的图像确定为下采样图像。
可以将下采样图像输入至语义分割网络中,通过语义分割网络输出目标分割图像。目标分割图像中每个像素的像素值表征该像素所属的对象,从而基于目标分割图像可以确定下采样图像中各个不同的对象(包括背景)所对应的像素区域。
可以采用第一上采样因子对目标分割图像进行上采样,得到语义分割图像。第一上采样因子可以与上述的第一下采样因子相同。
在一些实施例中,可以对目标分割图像采用第一上采样因子进行一次上采样,得到语义分割图像。例如,在目标分割图像的尺寸为M/10×N/10,第一上采样因子为10的情况下,语义分割图像的尺寸可以为M×N。
在另一些实施例中,可以对目标分割图像采用第一上采样因子进行多次上采样,得到语义分割图像。例如,在目标分割图像的尺寸为M/8×N/8,第一上采样因子为2的情况下,可以先上采样得到M/4×N/4的图像,在M/4×N/4的图像的基础上,再次上采样得到M/2×N/2的图像,再在M/2×N/2的图像的基础上,再次上采样得到M×N的图像,上采样得到的M×N的图像即为语义分割图像。
在本公开实施例中,通过对待处理图像进行下采样得到的下采样图像进行语义分割,然后将语义分割得到的目标分割图像进行上采样得到语义分割图像,从而能够减少得到语义分割图像的计算量,降低了得到语义分割图像的耗时。
图3为本公开实施例提供的另一种图像处理方法的实现流程示意图,如图3所示,该方法应用于图像处理装置,该方法包括:
S301、确定待处理图像的语义分割图像,以及确定所述待处理图像的纹理图像。
S302、对所述语义分割图像和所述纹理图像进行融合,得到融合图像。
S303、基于所述融合图像,确定所述待处理图像中的每个像素对应的第一降噪参数;其中,不同像素值的像素对应不同的第一降噪参数。
在一些实施例中,S303可以通过以下方式实现:获取所述融合图像中每个第一像素的像素值;根据所述每个第一像素的像素值大小,为与所述每个第一像素对应的所述待处理图像中的每个第二像素设置第一降噪参数。
示例性地,若第m个第一像素的像素值大于第n个第一像素的像素值,则第m个第二像素的降噪力度小于第n个第二像素的降噪力度。若第m个第一像素的像素值等于第n个第一像素的像素值,则第m个第二像素的降噪力度等于第n个第二像素的降噪力度。若第m个第一像素的像素值小于第n个第一像素的像素值,则第m个第二像素的降噪力度大于第n个第二像素的降噪力度。
示例性地,所述第一降噪参数包括标准差和窗口大小,若第m个第一像素的像素值大于第n个第一像素的像素值,则第m个第二像素的标准差小于第n个第二像素的标准差,且所述第m个第二像素的窗口大小小于所述第n个第二像素的窗口大小,m和n不同,m和n均为大于或等于1的整数。若第m个第一像素的像素值等于第n个第一像素的像素值,则第m个第二像素的标准差等于第n个第二像素的标准差,且所述第m个第二像素的窗口大小等于所述第n个第二像素的窗口大小。若第m个第一像素的像素值小于第n个第一像素的像素值,则第m个第二像素的标准差大于第n个第二像素的标准差,且所述第m个第二像素的窗口大小大于所述第n个第二像素的窗口大小。
第m个第一像素、第n个第一像素可以是融合图像中的任两个第一像素。第m个第二像素为待处理图像中与第m个第一像素对应的像素,第n个第二像素为待处理图像中与第n个第一像素对应的像素。
通过这种方式,根据融合图像中每个第一像素的像素值大小,为与第一像素对应的待处理图像中的第二像素设置第一降噪参数,从而为不同像素值大小的第一像素所对应的第二像素设置不同的第一降噪参数,因此能够精确地对待处理图像的各个像素进行降噪,提升了待处理图像的降噪效果。
S304、基于所述每个像素对应的第一降噪参数,对所述每个像素进行降噪处理。
可以基于所述融合图像中每个第一像素的像素值,确定所述待处理图像中的每个第二像素对应的第一降噪参数;待处理图像中的每个第二像素可以与所述融合图像中每个第一像素一一对应。
在一些实施例中,融合图像中像素值不同的第一像素映射的待处理图像中的第二像素,对应的第一降噪参数不同。例如,融合图像中像素值为1和0.8的两个第一像素映射的待处理图像中的第二像素,对应的第一降噪参数不同。
在本公开实施例中,不同像素值的像素对应不同的第一降噪参数,基于每个像素对应的第一降噪参数,对每个像素进行降噪处理,从而能够根据待处理图像中每个像素的纹理特征和语义特征的融合,对待处理图像实现像素级别的降噪,进而能够精确地对待处理图像的各个像素进行降噪,提升了待处理图像的降噪效果。
图4为本公开实施例提供的又一种图像处理方法的实现流程示意图,如图4所示,该方法应用于图像处理装置,在本公开实施例中,所述第一降噪参数包括至少两个子降噪参数,所述至少两个子降噪参数对应的降噪力度不同,该方法包括:
S401、确定待处理图像的语义分割图像,以及确定所述待处理图像的纹理图像。
S402、对所述语义分割图像和所述纹理图像进行融合,得到融合图像。
S403、基于所述融合图像,将所述待处理图像分为至少两个区域。
可以根据融合图像中每个第一像素的像素值大小,将所述待处理图像分为至少两个区域。本公开实施例不限定至少两个区域的数量。至少两个区域的数量可以为两个、三个、五个或十个等等。例如,融合图像中每个像素的像素值在[0, 1]范围内,可以预定至少两个像素值范围,至少两个像素值范围连续且不相交,且至少两个像素值范围的并集为[0,1],根据融合图像中每个第一像素的像素值为至少两个像素值范围中某一个像素值范围,将待处理图像分为至少两个区域。其中,至少两个像素值范围和至少两个区域一一对应。
在一些实施例中,所述至少两个区域包括第一区域、第二区域以及第三区域;所述基于所述融合图像,将所述待处理图像分为至少两个区域,包括:获取所述融合图像中每个第一像素的像素值;根据所述每个第一像素的像素值大小,将所述待处理图像分为所述第一区域、所述第二区域以及所述第三区域;其中,与所述第一区域中每个第二像素对应的所述融合图像中第一像素的像素值,为所述融合图像中像素值的最小值;与所述第三区域中每个第二像素对应的所述融合图像中第一像素的像素值,为所述融合图像中像素值的最大值;所述第二区域为所述待处理图像中除所述第一区域和所述第三区域之外的区域;所述第一区域对应的子降噪参数、所述第二区域对应的子降噪参数以及所述第三区域对应的子降噪参数的降噪力度依次减小。
在融合图像中每个像素的像素值在[0, 1]范围内的情况下,像素值中的最小值为0,像素值中的最大值为1。像素值为0的第一像素对应的待处理图像中的第二像素为平坦区的像素,需要较高的降噪力度,像素值为1的第一像素对应的待处理图像中的第二像素为纹理区的像素,需要较低的降噪力度,像素值大于0且小于1的第一像素对应的待处理图像中的第二像素为纹理区的像素,需要中间的降噪力度。
子降噪参数的降噪力度可以用标准差和窗口大小来表征。在子降噪参数的降噪力度越大的情况下,标准差越大,窗口大小越大;在子降噪参数的降噪力度越小的情况下,标准差越小,窗口大小越小。
所述第一区域、所述第二区域、所述第三区域对应的子降噪参数的降噪力度依次减小的一种实施方式可以为:第一区域的对应的子降噪参数包括的标准差,大于第二区域的对应的子降噪参数包括的标准差,和/或,第一区域的对应的子降噪参数包括的窗口大小,大于第二区域的对应的子降噪参数包括的窗口大小;以及,第二区域的对应的子降噪参数包括的标准差,大于第三区域的对应的子降噪参数包括的标准差,和/或,第二区域的对应的子降噪参数包括的窗口大小,大于第三区域的对应的子降噪参数包括的窗口大小。
通过这种方式,融合图像中像素值为最小值的像素,表征对应的待处理图像中第一区域的像素为平坦区中的像素,从而采用较大的降噪力度对该像素进行降噪,从而能够对平坦区中的像素进行有效的降噪;融合图像中像素值为最大值的像素,表征对应的待处理图像中第三区域的像素为纹理区中的像素,从而采用较小的降噪力度对该像素进行降噪,进而能够对纹理区中的像素进行降噪时,较少地丢失纹理信息;并且,对除第一区域和第三区域之外的第二区域的像素,采用中等的降噪力度进行降噪,能够使得到的降噪后的图像平滑。
在一些实施例中,所述至少两个区域包括第四区域和第五区域;所述基于所述融合图像,将所述待处理图像分为至少两个区域,包括:获取所述融合图像中每个第一像素的像素值;根据所述每个第一像素的像素值大小,将所述待处理图像分为所述第四区域和所述第五区域;其中,与所述第四区域中每个第二像素对应的所述融合图像中第一像素的像素值,大于第三阈值;与所述第五区域中每个第二像素对应的所述融合图像中第一像素的像素值,小于或等于所述第三阈值;所述第四区域对应的子降噪参数的降噪力度,小于所述第五区域对应的子降噪参数的降噪力度。
通过这种方式,在融合图像中像素值大于第三阈值的情况下,确定对应的待处理图像中第四区域的像素的纹理较多,从而采用较小的降噪力度对第四区域的像素进行降噪,从而在对纹理较多的像素进行降噪时,较少的丢失纹理信息;在融合图像中像素值小于或等于第三阈值的情况下,确定对应的待处理图像中第五区域的像素的纹理较少,从而采用较大的降噪力度对第五区域的像素进行降噪,从而能够对纹理较少中的像素进行有效的降噪,提升了待处理图像的降噪效果。
S404、根据所述至少两个子降噪参数,为每个所述区域确定所述区域对应的子降噪参数。
S405、基于每个所述区域对应的子降噪参数,对所述区域进行降噪处理。
在本公开实施例中,基于融合图像,将待处理图像分为至少两个区域,为每个区域确定区域对应的子降噪参数,基于每个区域对应的子降噪参数,对区域进行降噪处理,从而同一个区域使用同一个降噪参数,不同的区域使用不同的降噪参数,不仅能够提升待处理图像的降噪效果,还能够快速地对待处理图像进行降噪。
图5为本公开实施例提供的再一种图像处理方法的实现流程示意图,如图5所示,该方法应用于图像处理装置,该方法包括:
S501、确定与所述待处理图像对应的梯度图像序列;所述梯度图像序列包括至少两个不同尺度的归一化梯度图像。
在一些实施例中,S501可以通过以下方式实现:对待处理图像采用多尺度Canny检测算法,确定待处理图像对应的梯度图像序列。
在另一些实施例中,S501可以通过以下方式实现:确定第一图像序列;所述第一图像序列包括N个第一图像,所述N个第一图像中第i个第一图像是对第(i-1)个第一图像进行下采样得到,第一个第一图像为所述待处理图像;N为大于或等于2的整数,i为大于或等于2的整数;对所述第一图像序列中的每个第一图像进行图像梯度处理,得到所述梯度图像序列。
通过这种方式,通过先对待处理图像进行不同程度的下采样,得到第一图像序列,再对第一图像序列中每个第一图像进行图像梯度处理,得到梯度图像序列,从而得到的梯度图像序列能够反映第一图像序列的梯度信息,进而基于梯度图像序列,能够准确地确定纹理图像。
N个第一图像中第i个第一图像可以是对第(i-1)个第一图像,采用第二下采样因子进行下采样得到。这样,N个第一图像中第一个第一图像为所述待处理图像,第二个第一图像是对第一个第一图像采用第二下采样因子进行下采样得到,第三个第一图像是对第二个第一图像采用第二下采样因子进行下采样得到,以此类推,直到得到N个第一图像。
第二下采样因子可以为大于或等于2的整数。例如,第二下采样因子可以为2、4、8或10等。第一图像序列中包括的第一图像的数量可以基于实际需求(例如图像处理装置的计算能力)确定。在图像处理装置的计算能力较高的情况下,可以将第一图像序列中包括的第一图像的数量设置的较大;在图像处理装置的计算能力较低的情况下,可以将第一图像序列中包括的第一图像的数量设置的较小。
以第一图像序列中包括4张第一图像,且第二下采样因子为2的情况下,第一图像序列中可以分别包括:M/8×N/8的第一图像、M/4×N/4的第一图像、M/2×N/2的第一图像、M×N的第一图像。
在一些实施例中,第一图像序列可以称为图像金字塔,图像金字塔从上到下包括尺寸从小到大排列的至少两张第一图像。
梯度图像序列中每个梯度图像中每个像素的像素值,可以是通过对应的第一图像中每个像素的像素值进行梯度计算得到的。在一些实施例中,通过一个第一图像,确定梯度图像中第i行第j列像素的像素值的计算方式可以为:dx(i,j) = I(i+1,j) - I(i,j),dy(i,j) = I(i,j+1) - I(i,j)。其中,dx(i,j)可以为第一图像中第i行第j列像素在x方向上的梯度,I(i+1,j)可以为第一图像中第(i+1)行第j列像素的像素值,I(i,j)可以为第一图像中第i行第j列像素的像素值;dy(i,j)可以为第一图像中第i行第j列像素在y方向上的梯度,I(i,j+1)可以为第一图像中第i行第(j+1)列像素的像素值。在另一些实施例中,通过一个第一图像,确定梯度图像中第i行第j列像素的像素值的计算方式可以为:dx(i,j) = [I(i+1,j) - I(i-1,j)]/2;dy(i,j) = [I(i,j+1) - I(i,j-1)]/2。其中,I(i-1,j)可以为第一图像中第(i-1)行第j列像素的像素值;I(i,j-1)可以为第一图像中第i行第(j-1)列像素的像素值。
可以基于dx(i,j)和dy(i,j)确定第i行第j列像素的梯度值。例如可以通过公式G(x,y) = sqrt{[dx(i,j)]^2 +[dy(i,j)]^2}确定第i行第j列像素的梯度值,其中,G(x,y)第i行第j列像素的梯度值,其中,sqrt指平方根计算,[dx(i,j)]^2是对[dx(i,j)]作平方运算,[dy(i,j)]^2是对[dy(i,j)]作平方运算。这样,一个第一图像对应的梯度图像中第i行第j列像素的像素值,为第i行第j列像素的梯度值。
在一些实施例中,如果第i行第j列像素为边缘像素的情况下,可以将第i行第j列像素值确定为第i行第j列像素的梯度值。在另一些实施例中,如果第i行第j列像素为边缘像素的情况下,可以在边缘像素的外侧添加0或者其它数值的元素,其它数值例如是1或0.5等,从而通过上述的计算方法,先确定第i行第j列像素在x方向上的梯度dx(i,j)和在y方向上的梯度dy(i,j),然后再通过dx(i,j)和dy(i,j),确定第i行第j列像素的梯度值。在又一些实施例中,如果第i行第j列像素为边缘像素的情况下,则将第i行第j列像素的梯度值设置为指定值,指定值可以是[0,1]范围内的任一值,例如,指定值可以为0、0.5或者1等。
在一些实施例中,所述对所述第一图像序列中的每个第一图像进行图像梯度处理,得到所述梯度图像序列,可以包括:对所述第一图像序列中的每个第一图像均采用第二降噪参数进行降噪处理,得到第二图像序列;对所述第二图像序列中的每个第二图像进行图像梯度处理,得到所述梯度图像序列。
在这种方式下,由于先对第一图像序列中每个第一图像进行降噪处理,然后再对降噪处理得到的第二图像序列进行图像梯度处理,得到梯度图像序列,从而能够减少图像噪声对梯度计算的影响,使得到的梯度图像序列准确。
第二降噪参数可以是预先设置的降噪参数,对不同的第一图像在降噪时可以采用相同或不同的第二降噪参数。在一些实施例中,第二降噪参数的选用还可以和图像拍摄时的参数有关,例如,在图像拍摄时采用较高的感光度值和/或较高的亮度值的情况下,可以使用较强降噪力度的第二降噪参数;在图像拍摄时采用较低的感光度值和/或较低的亮度值的情况下,可以使用较弱降噪力度的第二降噪参数,其中,国际标准组织对感光度量化规定为ISO(International Organization for Standardization)。
通过这种方式,由于先对第一图像序列中的每个第一图像进行降噪处理,然后再得到梯度图像序列,从而能够减少图像噪声对梯度计算的影响,使得到的梯度图像序列更加准确。
S502、基于所述梯度图像序列,确定所述纹理图像。
由于梯度图像序列中包括至少两个不同尺度(即不同像素尺寸)的梯度图像(即N个梯度图像,N个梯度图像的尺寸从大到小排列),可以对至少两个不同尺度的梯度图像进行合并,得到纹理图像。
在N为2的情况下,S502可以通过以下方式实现:对第N个梯度图像进行上采样得到的第一个上采样图像,与第(N-1)个梯度图像进行合并,得到合并图像(即第一个合并图像);将所述合并图像确定为所述纹理图像。
这样,在N为2的情况下,N个梯度图像包括第一个梯度图像和第二个梯度图像,第一个梯度图像的尺寸大于第二个梯度图像的尺寸,可以对第二个梯度图像进行上采样得到的图像,与第一个梯度图像进行合并,得到合并图像,将所述合并图像确定为所述纹理图像。
在N大于2的情况下,S502可以通过以下方式实现:对第N个梯度图像进行上采样得到的第一个上采样图像,与第(N-1)个梯度图像进行合并,得到合并图像;对得到的第j个合并图像进行上采样,得到第(j+1)个上采样图像;将所述第(j+1)个上采样图像与第(N-1-j)个梯度图像进行合并,得到第(j+1)个合并图像;j为大于或等于1的整数;将最后一次得到的合并图像确定为所述纹理图像。
以N等于4进行举例,可以对第四个梯度图像进行上采样得到的第一个上采样图像,与第三个梯度图像进行合并,得到合并图像(即第一个合并图像);然后对得到的第一个合并图像进行上采样,得到第二个上采样图像,将第二个上采样图像与第二个梯度图像进行合并,得到第二个合并图像;然后对得到的第二个合并图像进行上采样,得到第三个上采样图像,将第三个上采样图像与第一个梯度图像进行合并,得到第三个合并图像;在得到第三个合并图像之后,由于没有其它的梯度图像来进行合并,因此,第三个合并图像就是最后一次得到的合并图像,将最后一次得到的合并图像确定为所述纹理图像。
第一个上采样图像的尺寸可以与第(N-1)个梯度图像的尺寸相同。第(j+1)个上采样图像的尺寸可以与第(N-1-j)个梯度图像的尺寸相同。
示例性地,对每个上采样图像和对应的梯度图像进行合并的方式可以包括:将每个上采样图像中每个像素的像素值,与对应的梯度图像中每个像素的像素值对应进行数学运算(例如以下至少之一的运算:相乘、相加、相减、相除、指数运算、对数运算等),得到的结果确定为合并图像。
示例性地,对第一个上采样图像与第(N-1)个梯度图像进行合并,得到第一个合并图像,可以包括:对第一个上采样图像中的每个像素值乘以目标系数,得到第一个加权图像,将第一个加权图像中每个像素的像素值,与第(N-1)个梯度图像中每个像素的像素值对应相乘,得到第一个合并图像。将所述第(j+1)个上采样图像与第(N-1-j)个梯度图像进行合并,得到第(j+1)个合并图像,可以包括:将所述第(j+1)个上采样图像中的每个像素值乘以目标系数,得到第(j+1)个加权图像,将第(j+1)个加权图像中每个像素的像素值,与第(N-1-j)个梯度图像中每个像素的像素值对应相乘,得到第(j+1)个合并图像。
目标系数可以是大于1或者小于1的数。例如,目标系数可以为0.5、0.8、0.9、1.1或1.2等等。
通过这种方式,对得到的第j个合并图像进行上采样,得到第(j+1)个上采样图像,将第(j+1)个上采样图像与第(N-1-j)个梯度图像进行合并,得到第(j+1)个合并图像,将最后一次得到的合并图像确定为纹理图像,纹理图像能够通过对梯度图像序列中每个梯度图像合并得到,从而纹理图像能够准确地反映出待处理图像的纹理。
S503、确定待处理图像的语义分割图像。
S504、对所述语义分割图像和所述纹理图像进行融合,得到融合图像。
S505、基于所述融合图像,确定所述待处理图像对应的第一降噪参数。
S506、基于所述第一降噪参数,对所述待处理图像进行降噪处理。
在本公开实施例中,通过确定与待处理图像对应的梯度图像序列,基于梯度图像序列,确定纹理图像,从而纹理图像是通过各个不同尺度的梯度图像结合得到的,使得确定纹理图像能够准确地反映待处理图像的纹理。
图6为本公开实施例提供的一种基于梯度图像序列确定纹理图像的实现方式示意图,可以应用于图像处理装置,如图6所示,图像处理装置可以得到梯度图像序列,梯度图像序列包括4个梯度图像,分别为梯度图像61(可以是上述说明的第四个梯度图像)、梯度图像62(可以是上述说明的第三个梯度图像)、梯度图像63(可以是上述说明的第二个梯度图像)以及梯度图像64(可以是上述说明的第一个梯度图像),4个梯度图像是通过待处理图像确定的。然后对梯度图像61进行上采样,得到图像65,将图像65和梯度图像62中对应像素点相乘,得到合并图像66。接着对合并图像66进行上采样得到图像67,将图像67和梯度图像63中对应像素点相乘,得到合并图像68。接着对合并图像68进行上采样得到图像69,将图像69和梯度图像64中对应像素点相乘,得到合并图像70。
其中,合并图像70是最后一次得到的合并图像,因此可以将合并图像70确定为待处理图像的纹理图像。
需要说明的是,图6只是给出了一种基于梯度图像序列确定纹理图像的流程示例,图6中梯度图像序列中的各个梯度图像,以及各个合并图像、各个上采样图像只是给出了一种参考性的示例,并不代表真实的各个梯度图像、各个合并图像、各个上采样图像。图6中各个图像中线条的粗细、纹理和灰度,并不代表真实的粗细、纹理和灰度,实际的粗细、纹理和灰度可以根据实际情况进行相应地更改。图6中中各个图像的不同部分的比例并不代表真实的比例。
图7为本公开另一实施例提供的一种图像处理方法的实现流程示意图,如图7所示,该方法应用于图像处理装置,该方法包括:
S701、确定待处理图像的语义分割图像,以及确定所述待处理图像的纹理图像。
S702、确定所述语义分割图像中每个区域对应的权重值。
语义分割图像可以包括多个不同的区域,不同的区域对应不同的对象,不同的区域采用不同的标签进行标识。例如,语义分割图像可以包括0、1、2、3、4这样的标签类别,示例性地,天空区域为0,显示为蓝色,绿植树叶区域为1,显示为绿色,建筑区域为2,显示为黄色,地面区域为3,显示为紫色,其它类别区域用4表示,显示为红色。在实施过程中,语义分割图像中的每个像素可以是0、1、2、3、4中的一个值。
可以基于语义分割图像设置不同的权重值,权重值越大代表所需的降噪力度越大,权重值越小代表所需的降噪力度越小。在一些实施例中,权重值的取值范围可以为[-1,1],本公开实施例不限定权重值的取值范围,例如权重值的取值范围还可以为[-2,2]、[0,1]或者[-255,255]等。
示例性地,天空较为清澈,因此天空区域对应的权重值可以较大,而绿植树叶所携带的内容较为丰富,因此绿植树叶区域对应的权重值可以较小。
S703、将所述语义分割图像中的每个区域的像素值,修改为所述每个区域对应的权重值,得到权重图像。
例如,语义分割图像中像素值为0、1、2、3、4的区域,对应的权重值可以分别为1、0.2、-0.3、0.2、0,这样,可以将语义分割图像中值0、1、2、3、4的像素值,分别替换为1、0.2、-0.3、0.2、0,得到权重图像。
S704、将所述权重图像和所述纹理图像进行融合,得到所述融合图像。
在一些实施例中,S704可以通过以下方式实现:确定纹理图像对应的权值图像,将权重图像和权值图像进行融合,得到融合图像。例如,可以将纹理图像中每个像素的像素值替换为该像素值对应的十分位数,得到权值图像。例如,在纹理图像中第k个像素的像素值为0.512的情况下,将第k个像素的像素值修改0.5。
通过这种方式,将语义分割图像中的每个区域的像素值,修改为每个区域对应的权重值,得到权重图像;将权重图像和纹理图像进行融合,得到融合图像,从而为待处理图像中不同的语义区域设置不同的权重值,进而可以基于权重值来确定降噪力度,提升了待处理图像的降噪效果。
在另一些实施例中,S704可以通过以下方式实现:将所述纹理图像中的每个像素值与所述权重图像中的每个像素值对应相减,得到目标图像;基于所述目标图像,确定所述融合图像。
在又一些实施例中,S704可以通过以下方式实现:将所述纹理图像中的每个像素值与所述权重图像中的每个像素值对应相乘,得到目标图像;基于所述目标图像,确定所述融合图像。
在一些实施例中,可以直接将得到的目标图像确定为融合图像。
在另一些实施例中,将所述目标图像中大于第一阈值的像素值,修改为所述第一阈值,且将所述目标图像中小于第二阈值的像素值,修改为所述第二阈值,得到所述融合图像;所述第一阈值大于所述第二阈值。
在一些实施例方式中,第一阈值可以为1,第二阈值可以为0。
通过这种方式,基于将纹理图像中的每个像素值与权重图像中的每个像素值对应相减得到的目标图像,确定融合图像,从而提供了一种权重图像和纹理图像融合的实现方式,使得融合图像能够准确的表达待处理图像携带的信息;并且,通过将目标图像中大于第一阈值的像素值,修改为第一阈值,且将目标图像中小于第二阈值的像素值,修改为第二阈值,从而基于融合图像能够容易地区分出待处理图像的纹理区域和平坦区域,从而针对待处理图像中纹理区域和平坦区域进行差异化的降噪,能够在对待处理图像降噪的同时,不会丢失待处理图像中的细节,提升了待处理图像的降噪效果。
S705、基于所述融合图像,确定所述待处理图像对应的第一降噪参数。
S706、基于所述第一降噪参数,对所述待处理图像进行降噪处理。
在本公开实施例中,基于深度学习分割算法,将场景不同区域分类,得到语义分割图像;使用图像梯度信息计算出图像纹理边界,结合分类信息并生成掩码(对应上述的纹理图像);使用生成细节及平坦区的掩码(对应上述的融合图像),使用不同的降噪力度进行降噪。
在本公开实施例中,考虑算法效果及性能平衡,采用快速引导滤波或快速双边滤波作为基础降噪模块,将掩码(对应上述的融合图像)作为降噪输入参数控制降噪范围(对应上述的窗口大小)及高斯标准差大小(对应上述的标准差);例如:当掩码数值越小的时,说明此区域为平坦区,降噪半径及高斯标准差函数需要相应的增大,降噪力度增强;反之,当掩码数值越大,说明纹理区细节丰富,需减小降噪力度。
通过采用本公开实施例提供的图像处理方法,能够在有效去除天空区域噪声的同时,保留树叶的细节。
本公开实施例提出了一种基于图像分割及纹理检测的暗光场景降噪与增强方法,解决相关技术中存在的降噪与细节保留难以平衡的问题,在降噪更干净的基础上保留更多图像细节。本公开实施例可作为基础模块嵌套于各类中终端或者平台使用。本公开实施例使用轻量级深度学习网络和梯度计算掩码相结合的方式,相较于使用深度学习网络或者传统方法计算纹理掩码,效果更好,得到的掩码更加精细化,更加准确,抗噪声能力更强,适用于极端场景。
本公开实施例可以具有以下应用场景:当用户在暗光场景室内室外拍照时,发现噪声太大或细节涂抹严重或拍照耗时太久时,采用本方法可以有效的去除噪声且保留细节。当用户在夜晚或暗光场景下拍摄视频后保存下来进行后处理时,应用本方法,可以有效快速的处理成高质量的视频。
在一些实施例中,在用户进行拍照时,用户在按下快门键之后,图像处理装置将拍摄的图像作为待处理图像,然后采用本公开实施例中的图像处理方法对待处理图像进行降噪处理。在另一些实施例中,用户在确定需要对本地保存的图像进行去噪的时候,可以选择该图像,图像处理装置将该图像确定为待处理图像,用户可以选择显示的去噪按钮,以使图像处理装置采用本公开实施例中的图像处理方法对待处理图像进行降噪处理。
基于前述的实施例,本公开实施例提供一种图像处理装置,该装置包括所包括的各单元、以及各单元所包括的各模块,可以通过图像处理装置中的处理器来实现;当然也可通过具体的逻辑电路实现。
图8为本公开实施例提供的一种图像处理装置的组成结构示意图,如图8所示,图像处理装置800包括:
确定单元801,用于确定待处理图像的语义分割图像,以及确定所述待处理图像的纹理图像;融合单元802,用于对所述语义分割图像和所述纹理图像进行融合,得到融合图像;所述确定单元801,还用于基于所述融合图像,确定所述待处理图像对应的第一降噪参数;降噪单元803,用于基于所述第一降噪参数,对所述待处理图像进行降噪处理。
在一些实施例中,确定单元801,还用于基于所述融合图像,确定所述待处理图像中的每个像素对应的第一降噪参数;其中,不同像素值的像素对应不同的第一降噪参数;降噪单元803,还用于基于所述每个像素对应的第一降噪参数,对所述每个像素进行降噪处理。
在一些实施例中,所述第一降噪参数包括至少两个子降噪参数,所述至少两个子降噪参数对应的降噪力度不同;确定单元801,还用于基于所述融合图像,将所述待处理图像分为至少两个区域;根据所述至少两个子降噪参数,为每个所述区域确定所述区域对应的子降噪参数;降噪单元803,还用于基于每个所述区域对应的子降噪参数,对所述区域进行降噪处理。
在一些实施例中,确定单元801,还用于确定与所述待处理图像对应的梯度图像序列;所述梯度图像序列包括至少两个不同尺度的归一化梯度图像;基于所述梯度图像序列,确定所述纹理图像。
在一些实施例中,确定单元801,还用于确定第一图像序列;所述第一图像序列包括N个第一图像,所述N个第一图像中第i个第一图像是对第(i-1)个第一图像进行下采样得到,第一个第一图像为所述待处理图像;N为大于或等于2的整数,i为大于或等于2的整数;对所述第一图像序列中的每个第一图像进行图像梯度处理,得到所述梯度图像序列。
在一些实施例中,确定单元801,还用于对所述第一图像序列中的每个第一图像均采用第二降噪参数进行降噪处理,得到第二图像序列;对所述第二图像序列中的每个第二图像进行图像梯度处理,得到所述梯度图像序列。
在一些实施例中,确定单元801,还用于对第N个梯度图像进行上采样得到的第一个上采样图像,与第(N-1)个梯度图像进行合并,得到合并图像;N为大于或等于2的整数;在N为2的情况下,将所述合并图像确定为所述纹理图像;在N大于2的情况下,对得到的第j个合并图像进行上采样,得到第(j+1)个上采样图像;将所述第(j+1)个上采样图像与第(N-1-j)个梯度图像进行合并,得到第(j+1)个合并图像;j为大于或等于1的整数;将最后一次得到的合并图像确定为所述纹理图像。
在一些实施例中,融合单元802,还用于确定所述语义分割图像中每个区域对应的权重值;将所述语义分割图像中的每个区域的像素值,修改为所述每个区域对应的权重值,得到权重图像;将所述权重图像和所述纹理图像进行融合,得到所述融合图像。
在一些实施例中,融合单元802,还用于将所述纹理图像中的每个像素值与所述权重图像中的每个像素值对应相减,得到目标图像;将所述目标图像中大于第一阈值的像素值,修改为所述第一阈值,且将所述目标图像中小于第二阈值的像素值,修改为所述第二阈值,得到所述融合图像;所述第一阈值大于所述第二阈值。
在一些实施例中,确定单元801,还用于获取所述融合图像中每个第一像素的像素值;根据所述每个第一像素的像素值大小,为与所述每个第一像素对应的所述待处理图像中的每个第二像素设置第一降噪参数;其中,所述第一降噪参数包括标准差和窗口大小,若第m个第一像素的像素值大于第n个第一像素的像素值,则第m个第二像素的标准差小于第n个第二像素的标准差,且所述第m个第二像素的窗口大小小于所述第n个第二像素的窗口大小,m和n不同,m和n均为大于或等于1的整数。
在一些实施例中,所述至少两个区域包括第一区域、第二区域以及第三区域;确定单元801,还用于获取所述融合图像中每个第一像素的像素值;根据所述每个第一像素的像素值大小,将所述待处理图像分为所述第一区域、所述第二区域以及所述第三区域;其中,与所述第一区域中每个第二像素对应的所述融合图像中第一像素的像素值,为所述融合图像中像素值的最小值;与所述第三区域中每个第二像素对应的所述融合图像中第一像素的像素值,为所述融合图像中像素值的最大值;所述第二区域为所述待处理图像中除所述第一区域和所述第三区域之外的区域;所述第一区域对应的子降噪参数、所述第二区域对应的子降噪参数以及所述第三区域对应的子降噪参数的降噪力度依次减小。
在一些实施例中,所述至少两个区域包括第四区域和第五区域;确定单元801,还用于获取所述融合图像中每个第一像素的像素值;根据所述每个第一像素的像素值大小,将所述待处理图像分为所述第四区域和所述第五区域;其中,与所述第四区域中每个第二像素对应的所述融合图像中第一像素的像素值,大于第三阈值;与所述第五区域中每个第二像素对应的所述融合图像中第一像素的像素值,小于或等于所述第三阈值;所述第四区域对应的子降噪参数的降噪力度,小于所述第五区域对应的子降噪参数的降噪力度。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节,请参照本公开方法实施例的描述而理解。
需要说明的是,本公开实施例中,如果以软件功能模块的形式实现上述的图像处理方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。基于这样的理解,本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台图像处理装置执行本公开各个实施例所述方法的全部或部分。
图9为本公开实施例提供的一种图像处理设备的硬件实体示意图,如图9所示,该图像处理设备900的硬件实体包括:处理器901和存储器902,其中,存储器902存储有可在处理器901上运行的计算机程序,处理器901执行程序时实现上述任一实施例的图像处理方法。
存储器902存储有可在处理器上运行的计算机程序,存储器902配置为存储由处理器901可执行的指令和应用,还可以缓存待处理器901以及图像处理设备900中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。
处理器901执行程序时实现上述任一项的图像处理方法。处理器901通常控制图像处理设备900的总体操作。
本公开实施例提供一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现如上任一实施例的图像处理方法。
本公开实施例还可以提供一种芯片,芯片包括处理器,处理器可以从存储器中调用并运行计算机程序,以实现本公开实施例中的图像处理方法。
芯片还可以包括存储器。其中,处理器可以从存储器中调用并运行计算机程序,以实现本公开实施例中的图像处理方法。
其中,存储器可以是独立于处理器的一个单独的器件,也可以集成在处理器中。
在一些实施例中,该芯片还可以包括输入接口。其中,处理器可以控制该输入接口与其他设备或芯片进行通信,具体地,可以获取其他设备或芯片发送的信息或数据。
在一些实施例中,该芯片还可以包括输出接口。其中,处理器可以控制该输出接口与其他设备或芯片进行通信,具体地,可以向其他设备或芯片输出信息或数据。
在一些实施例中,该芯片可应用于本公开实施例中的图像处理设备,并且该芯片可以实现本公开实施例的各个方法中由图像处理设备实现的相应流程,为了简洁,在此不再赘述。
应理解,本公开实施例提到的芯片还可以称为系统级芯片,系统芯片,芯片系统或片上系统芯片等。
本公开实施例还提供了一种计算机程序产品,所述计算机程序产品包括计算机可读存储介质,所述计算机可读存储介质存储计算机程序,所述计算机程序包括能够由至少一个处理器执行的指令,当所述指令由所述至少一个处理器执行时实现本公开实施例中的图像处理方法。
本公开实施例还提供了一种计算机程序所述计算机程序使得计算机执行本公开实施例中的图像处理方法。
这里需要指出的是:以上图像处理设备、计算机可读存储介质、芯片、计算机程序产品、计算机程序实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本公开图像处理设备、计算机可读存储介质、芯片、计算机程序产品、计算机程序实施例中未披露的技术细节,请参照本公开方法实施例的描述而理解。
上述图像处理装置、芯片或处理器可以包括以下任一个或多个的集成:特定用途集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(DigitalSignal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)、嵌入式神经网络处理器(neural-networkprocessing units,NPU)、控制器、微控制器、微处理器、可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以理解地,实现上述处理器功能的电子器件还可以为其它,本公开实施例不作具体限定。
上述计算机可读存储介质/存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种终端,如移动电话、计算机、平板设备、个人数字助理等。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”或“本公开实施例”或“前述实施例”或“一些实施方式”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“本公开实施例”或“前述实施例”或“一些实施方式”或“一些实施例”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本公开的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述,不代表实施例的优劣。
在未做特殊说明的情况下,图像处理装置执行本公开实施例中的任一步骤,可以是图像处理装置的处理器执行该步骤。除非特殊说明,本公开实施例并不限定图像处理装置执行下述步骤的先后顺序。另外,不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是,本公开实施例中的任一步骤是图像处理装置可以独立执行的,即图像处理装置执行上述实施例中的任一步骤时,可以不依赖于其它步骤的执行。
此外,术语第一、第二仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有第一、第二的特征可以明示或者隐含地包括一个或者更多个所述特征。
在本公开所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本公开各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本公开所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本公开所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本公开所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。基于这样的理解,本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
在本公开实施例中,不同实施例中相同步骤和相同内容的说明,可以互相参照。在本公开实施例中,术语“并”不对步骤的先后顺序造成影响,例如,图像处理装置执行A,并执行B,可以是图像处理装置先执行A,再执行B,或者是图像处理装置先执行B,再执行A,或者是图像处理装置执行A的同时执行B。
在本公开实施例和所附权利要求书中所使用的单数形式的一种、所述和该也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
需要说明的是,本公开所涉及的各个实施例中,可以执行全部的步骤或者可以执行部分的步骤,只要能够形成一个完整的技术方案即可。
以上所述,仅为本公开的实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种图像处理方法,其特征在于,所述方法包括:
确定待处理图像的语义分割图像,以及确定所述待处理图像的纹理图像;
对所述语义分割图像和所述纹理图像进行融合,得到融合图像;
基于所述融合图像,确定所述待处理图像对应的第一降噪参数;
基于所述第一降噪参数,对所述待处理图像进行降噪处理。
2.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述融合图像,确定所述待处理图像对应的第一降噪参数,包括:
基于所述融合图像,确定所述待处理图像中的每个像素对应的第一降噪参数;其中,不同像素值的像素对应不同的第一降噪参数;
所述基于所述第一降噪参数,对所述待处理图像进行降噪处理,包括:
基于所述每个像素对应的第一降噪参数,对所述每个像素进行降噪处理。
3.根据权利要求1所述的图像处理方法,其特征在于,所述第一降噪参数包括至少两个子降噪参数,所述至少两个子降噪参数对应的降噪力度不同;
所述基于所述融合图像,确定所述待处理图像对应的第一降噪参数,包括:
基于所述融合图像,将所述待处理图像分为至少两个区域;
根据所述至少两个子降噪参数,为每个所述区域确定所述区域对应的子降噪参数;
所述基于所述第一降噪参数,对所述待处理图像进行降噪处理,包括:
基于每个所述区域对应的子降噪参数,对所述区域进行降噪处理。
4.根据权利要求1至3任一项所述的图像处理方法,其特征在于,所述确定所述待处理图像的纹理图像,包括:
确定与所述待处理图像对应的梯度图像序列;所述梯度图像序列包括至少两个不同尺度的归一化梯度图像;
基于所述梯度图像序列,确定所述纹理图像。
5.根据权利要求4所述的图像处理方法,其特征在于,所述确定与所述待处理图像对应的梯度图像序列,包括:
确定第一图像序列;所述第一图像序列包括N个第一图像,所述N个第一图像中第i个第一图像是对第(i-1)个第一图像进行下采样得到,第一个第一图像为所述待处理图像;N为大于或等于2的整数,i为大于或等于2的整数;
对所述第一图像序列中的每个第一图像进行图像梯度处理,得到所述梯度图像序列。
6.根据权利要求5所述的图像处理方法,其特征在于,所述对所述第一图像序列中的每个第一图像进行图像梯度处理,得到所述梯度图像序列,包括:
对所述第一图像序列中的每个第一图像均采用第二降噪参数进行降噪处理,得到第二图像序列;
对所述第二图像序列中的每个第二图像进行图像梯度处理,得到所述梯度图像序列。
7.根据权利要求4所述的图像处理方法,其特征在于,所述基于所述梯度图像序列,确定所述纹理图像,包括:
对第N个梯度图像进行上采样得到的第一个上采样图像,与第(N-1)个梯度图像进行合并,得到合并图像;N为大于或等于2的整数;
在N为2的情况下,将所述合并图像确定为所述纹理图像;
在N大于2的情况下,对得到的第j个合并图像进行上采样,得到第(j+1)个上采样图像;将所述第(j+1)个上采样图像与第(N-1-j)个梯度图像进行合并,得到第(j+1)个合并图像;j为大于或等于1的整数;将最后一次得到的合并图像确定为所述纹理图像。
8.根据权利要求1至3任一项所述的图像处理方法,其特征在于,所述对所述语义分割图像和所述纹理图像进行融合,得到融合图像,包括:
确定所述语义分割图像中每个区域对应的权重值;
将所述语义分割图像中的每个区域的像素值,修改为所述每个区域对应的权重值,得到权重图像;
将所述权重图像和所述纹理图像进行融合,得到所述融合图像。
9.根据权利要求8所述的图像处理方法,其特征在于,所述将所述权重图像和所述纹理图像进行融合,得到所述融合图像,包括:
将所述纹理图像中的每个像素值与所述权重图像中的每个像素值对应相减,得到目标图像;
将所述目标图像中大于第一阈值的像素值,修改为所述第一阈值,且将所述目标图像中小于第二阈值的像素值,修改为所述第二阈值,得到所述融合图像;所述第一阈值大于所述第二阈值。
10.根据权利要求2所述的图像处理方法,其特征在于,所述基于所述融合图像,确定所述待处理图像中的每个像素对应的第一降噪参数,包括:
获取所述融合图像中每个第一像素的像素值;
根据所述每个第一像素的像素值大小,为与所述每个第一像素对应的所述待处理图像中的每个第二像素设置第一降噪参数;
其中,所述第一降噪参数包括标准差和窗口大小,若第m个第一像素的像素值大于第n个第一像素的像素值,则第m个第二像素的标准差小于第n个第二像素的标准差,且所述第m个第二像素的窗口大小小于所述第n个第二像素的窗口大小,m和n不同,m和n均为大于或等于1的整数。
11.根据权利要求3所述的图像处理方法,其特征在于,所述至少两个区域包括第一区域、第二区域以及第三区域;所述基于所述融合图像,将所述待处理图像分为至少两个区域,包括:
获取所述融合图像中每个第一像素的像素值;
根据所述每个第一像素的像素值大小,将所述待处理图像分为所述第一区域、所述第二区域以及所述第三区域;
其中,与所述第一区域中每个第二像素对应的所述融合图像中第一像素的像素值,为所述融合图像中像素值的最小值;
与所述第三区域中每个第二像素对应的所述融合图像中第一像素的像素值,为所述融合图像中像素值的最大值;
所述第二区域为所述待处理图像中除所述第一区域和所述第三区域之外的区域;
所述第一区域对应的子降噪参数、所述第二区域对应的子降噪参数以及所述第三区域对应的子降噪参数的降噪力度依次减小。
12.根据权利要求3所述的图像处理方法,其特征在于,所述至少两个区域包括第四区域和第五区域;所述基于所述融合图像,将所述待处理图像分为至少两个区域,包括:
获取所述融合图像中每个第一像素的像素值;
根据所述每个第一像素的像素值大小,将所述待处理图像分为所述第四区域和所述第五区域;
其中,与所述第四区域中每个第二像素对应的所述融合图像中第一像素的像素值,大于第三阈值;
与所述第五区域中每个第二像素对应的所述融合图像中第一像素的像素值,小于或等于所述第三阈值;
所述第四区域对应的子降噪参数的降噪力度,小于所述第五区域对应的子降噪参数的降噪力度。
13.一种图像处理装置,其特征在于,包括:
确定单元,用于确定待处理图像的语义分割图像,以及确定所述待处理图像的纹理图像;
融合单元,用于对所述语义分割图像和所述纹理图像进行融合,得到融合图像;
所述确定单元,还用于基于所述融合图像,确定所述待处理图像对应的第一降噪参数;
降噪单元,用于基于所述第一降噪参数,对所述待处理图像进行降噪处理。
14.一种图像处理设备,其特征在于,包括:存储器和处理器,
所述存储器存储有可在所述处理器上运行的计算机程序,
所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的图像处理方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至12中任一项所述的图像处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111226036.8A CN113689373B (zh) | 2021-10-21 | 2021-10-21 | 图像处理方法、装置、设备及计算机可读存储介质 |
PCT/CN2022/095025 WO2023065665A1 (zh) | 2021-10-21 | 2022-05-25 | 图像处理方法、装置、设备、存储介质及计算机程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111226036.8A CN113689373B (zh) | 2021-10-21 | 2021-10-21 | 图像处理方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113689373A true CN113689373A (zh) | 2021-11-23 |
CN113689373B CN113689373B (zh) | 2022-02-11 |
Family
ID=78587658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111226036.8A Active CN113689373B (zh) | 2021-10-21 | 2021-10-21 | 图像处理方法、装置、设备及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113689373B (zh) |
WO (1) | WO2023065665A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023065665A1 (zh) * | 2021-10-21 | 2023-04-27 | 深圳市慧鲤科技有限公司 | 图像处理方法、装置、设备、存储介质及计算机程序产品 |
CN116029951A (zh) * | 2022-05-27 | 2023-04-28 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116894796B (zh) * | 2023-09-11 | 2023-12-26 | 归芯科技(深圳)有限公司 | 图像降噪和畸变矫正联合处理方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080317358A1 (en) * | 2007-06-25 | 2008-12-25 | Xerox Corporation | Class-based image enhancement system |
CN105913402A (zh) * | 2016-05-20 | 2016-08-31 | 上海海洋大学 | 一种基于ds证据理论的多幅遥感图像融合去噪方法 |
CN108122206A (zh) * | 2016-11-29 | 2018-06-05 | 深圳市中兴微电子技术有限公司 | 一种低照度图像降噪方法及装置 |
CN110516678A (zh) * | 2019-08-27 | 2019-11-29 | 北京百度网讯科技有限公司 | 图像处理方法和装置 |
CN110781899A (zh) * | 2019-10-23 | 2020-02-11 | 维沃移动通信有限公司 | 图像处理方法及电子设备 |
CN111127347A (zh) * | 2019-12-09 | 2020-05-08 | Oppo广东移动通信有限公司 | 降噪方法、终端及存储介质 |
CN112053358A (zh) * | 2020-09-28 | 2020-12-08 | 腾讯科技(深圳)有限公司 | 图像中像素的实例类别确定方法、装置、设备及存储介质 |
CN112150371A (zh) * | 2019-06-28 | 2020-12-29 | 浙江宇视科技有限公司 | 图像降噪方法、装置、设备及存储介质 |
CN113011425A (zh) * | 2021-03-05 | 2021-06-22 | 上海商汤智能科技有限公司 | 图像分割方法、装置、电子设备及计算机可读存储介质 |
CN113486956A (zh) * | 2021-07-07 | 2021-10-08 | 山东力聚机器人科技股份有限公司 | 目标分割系统及其训练方法、目标分割方法及设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9972073B2 (en) * | 2016-06-22 | 2018-05-15 | Adobe Systems Incorporated | Enhanced vectorization of raster images |
CN107507149A (zh) * | 2017-08-31 | 2017-12-22 | 深圳市智图医疗技术有限责任公司 | 一种核磁共振成像图像的降噪方法及装置 |
CN108335306B (zh) * | 2018-02-28 | 2021-05-18 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111583142B (zh) * | 2020-04-30 | 2023-11-28 | 深圳市商汤智能传感科技有限公司 | 图像降噪方法及装置、电子设备和存储介质 |
CN113689373B (zh) * | 2021-10-21 | 2022-02-11 | 深圳市慧鲤科技有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
-
2021
- 2021-10-21 CN CN202111226036.8A patent/CN113689373B/zh active Active
-
2022
- 2022-05-25 WO PCT/CN2022/095025 patent/WO2023065665A1/zh unknown
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080317358A1 (en) * | 2007-06-25 | 2008-12-25 | Xerox Corporation | Class-based image enhancement system |
CN105913402A (zh) * | 2016-05-20 | 2016-08-31 | 上海海洋大学 | 一种基于ds证据理论的多幅遥感图像融合去噪方法 |
CN108122206A (zh) * | 2016-11-29 | 2018-06-05 | 深圳市中兴微电子技术有限公司 | 一种低照度图像降噪方法及装置 |
CN112150371A (zh) * | 2019-06-28 | 2020-12-29 | 浙江宇视科技有限公司 | 图像降噪方法、装置、设备及存储介质 |
CN110516678A (zh) * | 2019-08-27 | 2019-11-29 | 北京百度网讯科技有限公司 | 图像处理方法和装置 |
CN110781899A (zh) * | 2019-10-23 | 2020-02-11 | 维沃移动通信有限公司 | 图像处理方法及电子设备 |
CN111127347A (zh) * | 2019-12-09 | 2020-05-08 | Oppo广东移动通信有限公司 | 降噪方法、终端及存储介质 |
CN112053358A (zh) * | 2020-09-28 | 2020-12-08 | 腾讯科技(深圳)有限公司 | 图像中像素的实例类别确定方法、装置、设备及存储介质 |
CN113011425A (zh) * | 2021-03-05 | 2021-06-22 | 上海商汤智能科技有限公司 | 图像分割方法、装置、电子设备及计算机可读存储介质 |
CN113486956A (zh) * | 2021-07-07 | 2021-10-08 | 山东力聚机器人科技股份有限公司 | 目标分割系统及其训练方法、目标分割方法及设备 |
Non-Patent Citations (1)
Title |
---|
苗璐 等: "基于梯度方向的非局部均值图像去噪算法", 《中北大学学报(自然科学版)》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023065665A1 (zh) * | 2021-10-21 | 2023-04-27 | 深圳市慧鲤科技有限公司 | 图像处理方法、装置、设备、存储介质及计算机程序产品 |
CN116029951A (zh) * | 2022-05-27 | 2023-04-28 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113689373B (zh) | 2022-02-11 |
WO2023065665A1 (zh) | 2023-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113689373B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
CN111741211B (zh) | 图像显示方法和设备 | |
CN111402170B (zh) | 图像增强方法、装置、终端及计算机可读存储介质 | |
CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
CN113284054A (zh) | 图像增强方法以及图像增强装置 | |
CN108986197B (zh) | 3d骨架线构建方法及装置 | |
KR20230084486A (ko) | 이미지 효과를 위한 세그먼트화 | |
WO2020258077A1 (zh) | 一种行人检测方法及装置 | |
CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
CN115049717B (zh) | 一种深度估计方法及装置 | |
CN109214996A (zh) | 一种图像处理方法及装置 | |
CN111563517B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114708615A (zh) | 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质 | |
CN113052923A (zh) | 色调映射方法、装置、电子设备和存储介质 | |
CN108734712B (zh) | 背景分割的方法、装置及计算机存储介质 | |
CN115760641A (zh) | 基于多尺度特征注意力网络的遥感影像去云雾方法和设备 | |
CN115619678A (zh) | 一种图像变形的矫正方法、装置、计算机设备及存储介质 | |
CN113591838B (zh) | 目标检测方法、装置、电子设备和存储介质 | |
CN113628148A (zh) | 红外图像降噪方法和装置 | |
CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
CN116263942A (zh) | 一种调整图像对比度的方法、存储介质及计算机程序产品 | |
CN110647898B (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
Nair et al. | Benchmarking single image dehazing methods | |
CN113728355A (zh) | 一种图像处理方法和装置 | |
CN109961083A (zh) | 用于将卷积神经网络应用于图像的方法和图像处理实体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40062518 Country of ref document: HK |