CN114627022A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114627022A CN114627022A CN202210271178.4A CN202210271178A CN114627022A CN 114627022 A CN114627022 A CN 114627022A CN 202210271178 A CN202210271178 A CN 202210271178A CN 114627022 A CN114627022 A CN 114627022A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- target area
- frequency
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 15
- 238000001914 filtration Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 7
- 238000003707 image sharpening Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000011449 brick Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本公开关于一种图像处理方法、装置、电子设备及存储介质,涉及图像处理技术领域。该方法包括:获取待处理图像的多个目标区域中每个目标区域的图像内容、高频分量及低频分量;针对每个目标区域,根据目标区域的图像内容,确定目标区域对应的高频权重参数;根据多个目标区域对应的高频权重参数和高频分量,以及低频分量,确定待处理图像对应的目标锐化图像。如此,可以利用图像的局部区域的图像内容,自适应确定局部区域的高频权重参数,从而使得根据该高频权重参数执行的锐化处理能够与图像对应的场景以及图像上局部区域的具体内容相匹配,可以提升图像的锐化效果,还能够减少人工指定高频权重参数所需的人力成本。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
为了使得图像更加真实自然,一般可以对图像进行锐化处理。锐化处理可以是指通过滤波器获取图像的低频分量和高频分量,使用预设权重参数对高频分量进行调整,并将调整后的高频叠加到低频分量上,得到叠加后的图像。该叠加后的图像即为经锐化处理的图像。
通常情况下,在对图像进行锐化时,一般采用人工选取的固定的权重参数对图像的高频分量进行调整,然后将调整后的高频分量与低频分量叠加,得到锐化后的图像。但是,人工选取固定权重参数所需的工作量非常大,并且若所有场景下均采用同一的固定权重参数,锐化效果趋于统一化,导致图像锐化效果较差,无法满足不同场景下的需求。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质,用于提高图像的锐化效果。
本公开实施例的技术方案如下:
根据本公开实施例的第一方面,提供一种图像处理方法。该方法可以包括:获取待处理图像的多个目标区域中每个目标区域的图像内容、高频分量及低频分量;针对每个目标区域,根据目标区域的图像内容,确定所述目标区域对应的高频权重参数;根据所述多个目标区域对应的高频权重参数和高频分量,以及低频分量,得到所述待处理图像对应的目标锐化图像。
可选地,上述图像内容包括多个像素点的像素值,上述获取待处理图像的多个目标锐化图像中每个目标区域的图像内容的方法具体包括:控制预设滤波器的滤波核以预设步长在待处理图像上滑动,当所述滤波核移动至任一目标区域时,获取所述目标区域的多个子区域中每个子区域的多个像素点的像素值,该滤波核包括多个子滤波核,一个子滤波核对应一个子区域。
可选的,上述图像处理方法还包括:根据子区域的多个像素点的像素值,确定该子区域对应的第一参数值,该第一参数值包括多个像素点的像素值之间的方差、标准差或平均值;上述根据目标区域的图像内容,确定目标区域对应的高频权重参数的方法具体包括:根据目标区域对应的多个第一参数值,确定目标区域对应的高频权重参数。
可选的,上述根据目标区域对应的多个第一参数值,确定目标区域对应的高频权重参数的方法具体包括:将目标区域对应的多个第一参数值中的最大值与最小值之间的比值,作为该目标区域对应的高频权重参数。
可选的,上述根据目标区域对应的多个第一参数值,确定目标区域对应的高频权重参数的方法具体包括:将目标区域的多个第一参数值中的最大值与第一数值之间的比值,作为目标区域对应的高频权重参数,该第一数值为目标区域的多个第一参数值中的最小值与预设值之间的和,该预设值不为0。
可选的,上述根据多个目标区域对应的高频权重参数、高频分量及低频分量,确定待处理图像对应的目标锐化图像的方法具体包括:针对每个目标区域,根据目标区域的低频分量与第一分量的和,确定该目标区域的锐化参数值,该第一分量为目标区域对应的高频权重参数与高频分量的乘积;将多个目标区域的锐化参数值进行叠加,得到目标锐化图像。
可选的,上述获取待处理图像的多个目标区域中每个目标区域的高频分量及低频分量的方法具体包括:使用所述滤波核获取所述目标区域的低频分量;根据所述目标区域的图像信息与所述目标区域的低频分量的差值,确定所述目标区域的高频分量。
根据本公开实施例的第二方面,提供一种图像处理装置。该装置可以包括:获取单元和确定单元;该获取单元,用于获取待处理图像的多个目标区域中每个目标区域的图像内容、高频分量及低频分量;针对每个目标区域,该确定单元,用于根据目标区域的图像内容,确定所述目标区域对应的高频权重参数,该确定单元,还用于根据所述多个目标区域对应的高频权重参数和高频分量,以及低频分量,得到待处理图像对应的目标锐化图像。
可选地,上述图像内容包括多个像素点的像素值,该获取单元,具体用于控制预算预设滤波器的滤波核以预设步长在待处理图像上滑动,当该滤波核移动至任一目标区域时,获取所述目标区域的多个子区域中每个子区域的多个像素点的像素值,该滤波核包括多个子滤波核,一个子滤波核对应一个子区域。
可选地,确定单元,还用于根据子区域的多个像素点的像素值,确定该子区域对应的第数值,该第一参数值包括多个像素点的像素值之间的方差、标准差或平均值中的一个或多个;确定单元,具体用于:根据目标区域对应的多个第一参数值,确定目标区域对应的高频权重参数。
可选地,该确定单元,具体用于将目标区域对应的多个第一参数值中的最大值与最小值之间的比值,作为该目标区域对应的高频权重参数。
可选地,该确定单元,具体用于将目标区域的多个第一参数值中的最大值与第一数值之间的比值,作为目标区域对应的高频权重参数,该第一数值为目标区域的多个第一参数值中的最小值与预设值之间的和,该预设值不为0。
可选地,该确定单元,具体用于针对每个目标区域,根据目标区域的低频分量与第一分量的和,确定该目标区域的锐化参数值,该第一分量为目标区域对应的高频权重参数与高频分量的乘积;将多个目标区域的锐化参数值进行叠加,确定目标锐化图像。
可选地,该获取单元,具体用于使用滤波核获取目标区域的低频分量;根据目标区域的图像信息与目标区域的低频分量的差值,确定目标区域的高频分量。
根据本公开实施例的第三方面,提供一种电子设备,可以包括:处理器和用于存储处理器可执行指令的存储器;其中,处理器用于执行所述指令,以实现上述第一方面中任一种可选地图像处理方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,计算机可读存储介质上存储有指令,当该计算机可读存储介质中的指令由电子设备执行时,使得该电子设备能够执行上述第一方面中任一种可选地图像处理方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,该计算机程序产品包括计算机指令,当该计算机指令在电子设备上运行时,使得该电子设备执行如第一方面中任一种可选地图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
基于上述任一方面,本公开中,在获取到待处理图像的多个目标区域中每个目标区域的图像内容、高频分量及低频分量之后,针对每个目标区域,均可以根据该目标区域的图像内容,确定对应的高频权重参数。进而,根据多个目标区域对应的高频权重参数、高频分量和低频分量确定该待处理图像对应的目标锐化图像,目标锐化图像即为锐化后的图像。相对于采用人工选取固定的高频权重参数对图像进行处理,本公开提供的技术方案中,在图像锐化处理的过程中,可以根据待处理图像的每个区域的图像内容,自适应的确定该区域对应的用于进行锐化处理的高频权重参数,减少了人力成本。同时,本申请中用于进行锐化处理的高频权重参数与图像内容相关,而不是采用固定的高频权重参数,因此,确定的高频权重参数能够与待处理图像的实际场景以及与待处理图像上局部区域的具体内容更好的匹配,以使得图像的锐化效果更好、更为个性化,能够避免固定的高频权重参数导致的锐化效果趋同化。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1示出了本公开实施例提供的一种待处理图像的示意图;
图2示出了本公开实施例提供的又一种待处理图像的示意图;
图3示出了本公开实施例提供的一种图像处理方法的流程示意图;
图4示出了本公开实施例提供的又一种滤波核的处理图像的示意图;
图5示出了本公开实施例提供的又一种滤波核的处理图像的示意图;
图6a示出了本公开实施例提供的又一种滤波核的处理图像示意图;
图6b示出了本公开实施例提供的又一种滤波核的处理图像示意图;
图7示出了本公开实施例提供的又一种滤波核的处理图像示意图;
图8a示出了本公开实施例提供的一种基于人工指定高频权重参数锐化后图像的示意图;
图8b示出了本公开实施例提供的一种自适应高频权重参数锐化后图像的示意图;
图9a示出了本公开实施例提供的一种基于人工指定高频权重参数锐化后图像的示意图;
图9b示出了本公开实施例提供的一种自适应高频权重参数锐化后图像的示意图;
图10示出了本公开实施例提供的又一种图像处理方法的流程示意图;
图11示出了本公开实施例提供的一种图像处理装置的结构示意图;
图12示出了本公开实施例提供的又一种图像处理装置的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还应当理解的是,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其他特征、整体、步骤、操作、元素和/或组件的存在或添加。
需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息、用户行为信息等)和数据(包括但不限于图像数据)可以为经用户授权或者经过各方充分授权的数据。
在对本申请实施例介绍之前,先对本申请实施例涉及的名词进行解释。
图像锐化:图像锐化就是为了突出图像上地物的边缘、轮廓或某些目标要素的特征等。例如,为了补偿图像的轮廓,增强图像的边缘及灰度跳变的部分,使图像变得清晰,可以对图像进行锐化处理。
其中,增强图像的边缘及灰度跳变部分可以是指增强图像的高频分量(也可以称为高频信息)。对图像进行锐化处理可以是指将图像增强后的高频分量与图像的低频分量进行叠加。
一种可能的实现方式中,可以通过低频滤波提取原始图像的低频信息,再用原图减去低频信息,得到高频信息。然后,将高频信息叠加到原始图像上,实现图像增强。
低频滤波:是指通过低频滤波器过滤掉图像中高频信息,从而可以提取到图像的低频信息。例如,低频滤波器可以包括均值滤波器(也称为均值卷积器)、高斯卷积滤波器(也称为高斯滤波器)等。
滤波器:可以用于对图像进行滤波。滤波器可以包括滤波核(也可以称为卷积核)。滤波器可以配置有滤波核及平滑参数。不同的滤波器的滤波核的尺寸可以不同,平滑参数也可以不同。
其中,滤波核的尺寸可以是指滤波核的长×宽。比如,滤波核的尺寸可以包括3×3,5×5,7×7、12×12等。滤波核的尺寸可以由滤波半径确定。滤波核的尺寸可以是指以待处理的像素点为中心,向该待处理的像素点的上、下、左、右四个方向分别扩展出一个滤波半径的宽度。例如,滤波半径为r,滤波核的长、宽为k,则k=2r+1。又例如,滤波半径为1,则滤波核的尺寸为3×3;滤波半径为2,则滤波核的尺寸为5×5。
需要说明的是,本申请实施例中,滤波核可以包括多个滤波权重数值组成的数值矩阵。数值矩阵中的每一个数值对应与待处理图像的一个像素点。例如,当滤波核的尺寸为12×12时,该滤波核对应的像素点的数量可以为144。
其中,滤波器的平滑参数可以用于表征滤波器过滤低频分量的能力。滤波器的平滑参数越小,过滤能力越弱,过滤后的图像与原始图像越接近。
具体的,滤波器可以基于图像增加算法对图像进行锐化处理。
图像增强算法:可以用于对图像的亮度、对比度、饱和度、色调等进行调节,增加其清晰度,减少噪点等。例如,图像增强算法可以包括边缘锐化算法。
其中,边缘锐化算法又可以简称为锐化算法,是通过将图像分解为高频分量与低频分量,然后人工选取一套高频权重参数将高频分量叠加到低频分量上,从而实现图像的锐化。边缘锐化算法的性能主要依赖于滤波器的设计。合理的滤波器设计会带来丰富的边缘信息,同时又不会过分的锐化噪声,例如边缘白边、背景噪声等。
边缘锐化算法的核心技术包括两个部分:(1)分离图像的高频分量与低频分量的滤波器;(2)将高频分量以预设权重叠加到低频分量上,实现图像边缘锐化的效果。
其中,在(1)中,滤波器分离图像的高频分量与低频分量的过程可以为:Bk=Fk(I),其中,Fk是滤波器的滤波核,例如滤波核可以包括导向滤波(Guided filter)、高斯滤波、双边滤波等。Bk是图像的低频分量,I是输入的图像信息。图像对应的高频分量(Dk)可以为:Dk=I–Bk。
在(2)中,通常情况下,边缘锐化算法采用人工的方式设定高频权重参数。例如,以边缘锐化算法通过3种不同尺寸的滤波器得到的低频分量为例,每个尺寸对应的低频分量分别为B1,B2,B3,对应的高频分量分别为D1,D2,D3。通过人工的方式调整每个高频分量对应的高频权重参数,调整后的高频权重参数分别为w1,w2,w3。最后,将高频分量与对应的高频权重参数相乘后与低频分量进行叠加,其叠加过程可以为:I’=w1*D1+w2*D2+w3*D3+B1,I’是锐化后的结果。
然而,当使用该边缘锐化算法时,如果采用人工的方式选择高频信息的高频权重参数,可能会因为图像的锐化需求不一样,需要人工对图像的高频权重参数进行调整,效率较低。
一种示例中,不同的场景的图像的锐化需求不一样。例如,对于纹理较少的图像,如图1所示的包括天空的图像,由于该图像较为平滑,无需过度锐化,因此,需要为图像选择使用较小的高频权重参数。又例如,对于纹理较为丰富的图像,如图2所示的包括砖墙的图像,为了增加该图像中的纹理,需要对该图像进行适当的锐化,因此,需要为图像选择较大的高频权重参数。
在一些场景下,比如上述图1和图2出现在同一图像内(也即,一个图像既包括天空,又包括砖墙)。若采用人工指定固定高频权重参数的方式来处理该图像的每个区域,则该图像的整个的锐化效果会呈现趋同化,也即,图像的每个区域的锐化程度都一样。但该图像内包括多个不同的场景,且每个场景的锐化需求不一样。如果采用人工指定固定高频权重参数的方式对图像进行锐化,显然达不到最优的锐化效果。
鉴于此,本公开实施例提供一种图像处理方法,该方法包括:获取待处理图像的多个目标区域中每个目标区域的图像内容、高频分量及低频分量;针对每个目标区域,根据目标区域的图像内容,确定该目标区域对应的高频权重参数;根据多个目标区域对应的高频权重参数和高频分量,以及低频分量,得到待处理图像对应的目标锐化图像。
本公开实施例提供的图像处理方法、装置、电子设备及存储介质,应用于对图像进行锐化的场景中。当电子设备响应于图像处理请求时,可以依据本公开实施例提供的方法,对图像进行锐化处理。该图像处理请求可以用于指示对图像进行锐化处理。
以下结合附图对本公开实施例提供的图像处理方法进行示例性说明:
示例性的,执行本公开实施例提供的图像处理方法的电子设备可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digitalassistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等可以安装并使用内容社区应用(如多媒体应用程序等)的设备。
再示例性的,执行本公开实施例提供的图像处理方法的电子设备也可以是服务器或其他设备。该服务器也可以由于对图像进行锐化处理。也即,也可以执行本申请实施例提供的图像处理方法。
其中,该服务器可以是单独的一个服务器,或者,也可以是由多个服务器构成的服务器集群。部分实施方式中,服务器集群还可以是分布式集群。
本申请实施例中,服务器可以包括多个应用程序服务平台,每个应用程序服务平台唯一对应一个应用程序,该应用程序安装于终端设备上。服务器主要用于存储应用程序的相关业务数据。
本公开对该电子设备的具体形态不作特殊限制。其可以与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互。
如图3所示,本公开实施例提供的图像处理方法可以包括S301-S303。
S301、电子设备获取待处理图像的多个目标区域中每个目标区域的图像内容、高频分量及低频分量。
其中,待处理图像可以包括多个目标区域,每个目标区域的图像内容可以用于表征该目标区域的实际场景。例如,图像内容可以包括目标区域的多个像素点的像素值。目标区域的高频分量及低频分量可以参照上描述,不予赘述。
一种可能的实现方式中,当电子设备为服务器时,服务器可以接收来自移动设备的图像处理请求后,对待处理图像进行锐化操作。例如,可以开始执行上述S301。
其中,图像处理请求可以用于指示对待处理图像进行锐化处理。该图像处理请求可以包括待处理图像的图像数据。
又一种可能的实现方式中,当电子设备为移动设备时,该移动设备可以响应于用户的点击操作,对待处理图像进行锐化操作。例如,可以开始执行上述S301。
例如,电子设备对待处理图像进行锐化操作可以是指电子设备可以使用预设滤波器对该待处理图像进行滤波处理,得到待处理图像的多个目标区域的图像内容、高频分量及低频分量。
其中,预设滤波器可以根据需要设置,例如,可以为盒式滤波器(box filter)、导向滤波器(Guided Filter)、双边滤波器(bilateral Filter)等,不予限制。
一种示例中,如图4所示,预设滤波器可以设置有滤波核,该滤波核可以在待处理图像上安装预设步长滑动。图4中,箭头表示预设滤波器的滑动方向,12表示滤波核的尺寸。该滤波核可以包括多个子滤波核。当该滤波核移动至待处理图像的某一个区域时,可以获取该区域的多个子区域的图像内容、高频分量及低频分量。一个子滤波核对应一个子区域。如此,电子设备可以使用滤波核遍历待处理图像,从而可以得到待处理图像的每个区域的图像内容、高频分量及低频分量,更加全面,避免出现遗漏局部区域的问题。
其中,滤波核的尺寸可以根据需要设置,例如,可以为12×12,当然也可以为其他尺寸,不予限制。预设步长可以根据需要设置,例如,可以为一个或多个像素点,不予限制。
例如,电子设备可以将滤波核划分为多个子滤波核,该多个子滤波核的尺寸可以相同,也可以不同。例如,如图5所示,电子设备可以将滤波核划分为4个子滤波核。每个子滤波核的尺寸可以滤波核的尺寸的1/4。比如,滤波核的尺寸为12×12,则每个子滤波核的尺寸可以为6×6。一个子滤波核对应的子区域的像素点的数量为36。
一种示例中,如图6a所示,在预设步长为一个像素点的情况下,当滤波核移动至目标区域1时,电子设备可以获取该目标区域1的多个子区域的图像内容、高频分量及低频分量。电子设备控制滤波核向右移动一个像素点(图6a中一个方格表示待处理图像的一个像素点),移动至目标区域2,电子设备可以获取目标区域2的图像内容、高频分量及低频分量。
基于电子设备以一个像素点为预设步长处理图像的方式,相邻的目标区域之间可以具有重合的区域,如此,电子设备可以对重合的区域进行多次锐化处理。由于重合的区域占据待处理图像的面积较大,因此,能够得到更加的锐化图像。同时,电子设备不需要使用多个滤波核对待处理图像进行滤波,便可以对待处理图像进行锐化处理,减少了滤波器的数量,使得算法更为简单,图像的处理过程更为简化,能够节约处理资源,也降低了成本。
另外,本申请实施例中,电子设备将高频权重参数的确定嵌入在滤波过程中,提高了图像锐化的效率。同时,也提供了一种新的确定图像的高频权重参数的流程。
又一种示例中,如图6b所示,在预设步长为多个像素点的情况下,该多个像素点对应的图像的长度小于或等于滤波核的长度。比如,滤波核的尺寸为4×4,则预设步长可以为4个像素点。如图6b中,当滤波核移动至目标区域1时,电子设备可以获取该目标区域1的多个子区域的图像内容、高频分量及低频分量。电子设备控制滤波核向右移动4个像素点(图6b中一个方格表示待处理图像的一个像素点),移动至目标区域3,电子设备可以获取目标区域3的图像内容、高频分量及低频分量。
基于电子设备以该多个像素点为预设步长处理图像的方式,电子设备可以快速的遍历整个图像的多个区域,获取多个区域对应的图像内容、高频分量及低频分量。
S302、电子设备根据目标区域的图像内容,确定目标区域对应的高频权重参数。
其中,目标区域的图像内容可以用于表征该目标区域的特征信息。例如,特征信息可以包括目标区域的多个像素点的像素值。
一种可能的实现方式中,电子设备可以根据目标区域的多个子区域中每个子区域的第一参数值,确定该目标区域对应的高频权重参数。
其中,第一参数值可以为子区域的多个像素点的像素值的方差、标准差或平均值中的一个或多个。一个子区域的第一参数值可以根据该子区域的多个像素点的像素值确定。由于像素点的像素值可以反映该区域的图像变化情况,因此,电子设备可以根据该区域的像素点的方差、标准差或平均值中的一个或多个,准确的确定该区域对应的高频权重参数。
例如,如图7所示,滤波核的尺寸为6×6,该滤波核包括4个尺寸相同的子滤波核(尺寸均为3×3,分别为子滤波核1、滤波核2、滤波核3及滤波核4,图中未示出)。子滤波核1对应的子区域1的多个像素点的像素值分别为1、1、1、1、1、2、2、2、3,子滤波核2对应的子区域2的多个像素点的像素值分别为1、1、1、2、3、1、3、2、2,子滤波核3对应的子区域3的多个像素点的像素值分别为1、2、3、1、2、3、2、2、2,子滤波核4对应的子区域4的多个像素点的像素值分别为4、5、4、3、4、1、2、2、2。以第一参数值为方差为例,则子区域1对应的第一参数值为0.47,子区域2对应的第一参数值为0.62,子区域3对应的第一参数值为0.44,子区域4对应的第一参数值为1.56。
一种示例中,当目标区域对应的多个第一参数值均不为0时,电子设备可以根据目标区域对应的多个第一参数值中的最大值和最小值之间的比值,确定目标区域的高频权重参数。
由于多个第一参数值的最大值和最小值可以在一定程度上反映出该目标区域的图像灰度/亮度的变化范围/幅度,因此,将多个第一参数值中的最大值和最小值的比值作为该目标区域的高频权重参数,简单方便的同时,还可以尽可能的与该目标区域的图像内容相匹配呢。
又一种示例中,当目标区域对应的多个第一参数值中存在0时,电子设备可以根据目标区域对应的多个第一参数值的最大值和第一数值之间的比值,确定目标区域的高频权重参数。如此,电子设备可以快速的确定该目标区域的高频权重参数。
其中,第一数值可以为多个第一参数值的最小值与预设值的和。该预设值不为0。如此,可以避免出现在最小值为0的情况下,无法根据多个第一参数值的最大值和最小值确定目标区域的高频权重参数的问题。
又一种示例中,以第一参数值为方差为例,当目标区域对应的多个第一参数值中存在0时,电子设备还可以根据下述公式一,确定目标区域的高频权重参数Wk。
需要说明的是,上述根据目标区域的多个第一参数值确定该目标区域对应的高频权重参数的方法仅为示例性的,电子设备还可以根据其他方法,确定该目标区域对应的高频权重参数,比如,根据目标区域的多个第一参数值的均值、方差、标准差等,不予限制。
S303、电子设备根据多个目标区域对应的高频权重参数、高频分量及低频分量,确定待处理图像对应的目标锐化图像。
其中,目标锐化图像为待处理图像的锐化后的图像。
一种可能的实现方式中,电子设备可以将多个目标区域的锐化参数值进行叠加,确定目标锐化图像。如此,电子设备可以分区域确定对应的高频权重参数。由于不同的区域可能对应的不同的高频权重组合,因此,同一待处理图像上不同区域均能确定与该区域的图像内容相匹配的高频权重分量,进而可以分区域对待处理图像进行锐化处理,避免了待处理图像的整体的锐化趋同化。
其中,目标区域的锐化参数值可以为目标区域的第一分量与目标区域的低频分量的和,第一分量为目标区域的高频分量与目标区域的高频权重参数的乘积。电子设备将多个目标区域的锐化参数值进行叠加,得到目标锐化图像可以是指电子设备将多个目标区域的第一分量分别叠加到对应的低频分量上,得到目标锐化图像。
例如,电子设备可以根据下述公式二,确定目标锐化图像。
其中,I′表示目标锐化图像,RBk表示第k个目标区域的低频分量,wk表示第k个目标区域的高频权重参数,RDk表示第k个目标区域的高频分量。N表示待处理图像包括的目标区域的数量。N为正整数。
一种示例中,如图8a中所示,为采用人工指定高频权重参数的方式,锐化处理得到的图像。图8a中的图像的文字具有明显的白边,锐化效果较差。如图8b所示,为基于本申请实施例提供的技术方案处理后,得到的锐化图像。图8b中的图像的文字的白边不明显。可见,基于本申请实施例提供的技术方案处理后的图像具有更好的锐化效果。
又一种示例中,如图9a所示,为采用人工指定高频权重参数的方式,锐化处理得到的图像。图9a中的图像的人物的头发具有明显毛刺,锐化效果较差。如图9b所示,为基于本申请实施例提供的技术方案处理后,得到的锐化图像。图9b中的图像的人物的头发不具有明显毛刺。可见,基于本申请实施例提供的技术方案处理后的图像具有更好的锐化效果。
上述实施例提供的技术方案至少能够带来以下有益效果:由S301-S303可知,本申请实施例中,电子设备在获取到待处理图像的多个目标区域中每个目标区域的图像内容、高频分量及低频分量之后,针对每个目标区域,均可以根据该目标区域的图像内容,确定对应的高频权重参数。进而,根据多个目标区域对应的高频权重参数、高频分量和低频分量确定该待处理图像对应的目标锐化图像,目标锐化图像即为锐化后的图像。相对于采用人工选取固定的高频权重参数对图像进行处理,本申请提供的技术方案中,在图像锐化处理的过程中,可以根据待处理图像的每个区域的图像内容,自使用的确定该区域对应的用于进行锐化处理的高频权重参数,减少了人力成本。同时,本申请中用于进行锐化处理的高频权重参数与图像内容相关,而不是采用固定的高频权重参数,因此,确定的高频权重参数能够与待处理图像的实际场景以及与待处理图像上局部区域的具体内容更好的匹配,以使得图像的锐化效果更好、更为个性化,能够避免固定的高频权重参数导致的锐化效果趋同化。
结合图3,如图10所示,上述S301中,针对任一目标区域,电子设备获取该目标区域的低频分量和高频分量的方法具体可以包括S3011和S2012。
S3011、电子设备使用预设滤波器的滤波核获取目标区域的低频分量。
其中,滤波核可以用于对图像进行过滤,得到图像的低频分量。例如,该滤波核为低频滤波核。该滤波核的平滑参数可以根据需要设置,比如,可以为0.0001,不予限制。
一种示例中,当电子设备使用预设滤波器的滤波核滑动至待处理图像上的一个目标区域时,电子设备可以使用该滤波核对该目标区域进行滤波,得到该目标区域的低频分量。
S3012、电子设备根据目标区域的图像信息与目标区域的低频分量的差值,确定目标区域的高频分量。
其中,目标区域的图像信息可以用于表征目标区域的图像内容,比如目标区域内图像的亮度信息或灰度值信息等。例如,目标区域的图像信息可以包括目标区域的低频分量和高频分量。在确定低频分量后,电子设备可以根据目标区域的图像信息减去目标区域的低频分量,得到该目标区域的高频分量。
如此,通过步骤S3011~S3012,电子设备可以得到一个目标区域的低频分量和高频分量。
需要说明的是,电子设备可以控制预设滤波器在待处理图像上滑动,从而遍历待处理图像的每个目标区域,并重复执行上述S3011和S3012,得到每个目标区域分别对应的低频分量和高频分量。
上述实施例提供的技术方案至少能够带来以下有益效果:由S3011-S3012可知,电子设备可以使用滤波核获取目标区域的低频分量,并根据目标区域的图像信息与目标区域的低频分量的差值,确定目标区域的高频分量。如此,电子设备可以快速准确的确定目标区域的低频分量和高频分量。
可以理解的,在实际实施时,本公开实施例所述的电子设备可以包含有用于实现前述对应图像处理方法的一个或多个硬件结构和/或软件模块,这些执行硬件结构和/或软件模块可以构成一个电子设备。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的算法步骤,本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
基于这样的理解,本公开实施例还对应提供一种图像处理装置,图11示出了本公开实施例提供的图像处理装置的结构示意图。如图11所示,该图像处理装置11可以包括:获取单元111和确定单元112。
获取单元111,用于获取待处理图像的多个目标区域中每个目标区域的图像内容、高频分量及低频分量。例如,获取单元111可以用于执行图3中的S301。针对每个目标区域,确定单元112,用于根据目标区域的图像内容,确定所述目标区域对应的高频权重参数,该确定单元,还用于根据所述多个目标区域对应的高频权重参数和高频分量,以及低频分量,确定所述待处理图像对应的目标锐化图像。例如,确定单元112可以用于执行图3中的S302和S303。
可选地,上述图像内容包括多个像素点的像素值,获取单元111,具体用于控制预算滤波核以预设步长在待处理图像上滑动,当该滤波核移动至任一目标区域时,获取所述目标区域的多个子区域中每个子区域的多个像素点的像素值,该滤波核包括多个子滤波核,一个子滤波核对应一个子区域。
可选地,确定单元112,还用于根据子区域的多个像素点的像素值,确定该子区域对应的第数值,该第一参数值包括多个像素点的像素值之间的方差、标准差或平均值中的一个或多个;确定单元112,具体用于:根据目标区域对应的多个第一参数值,确定目标区域对应的高频权重参数。
可选地,确定单元112,具体用于将目标区域对应的多个第一参数值中的最大值与最小值之间的比值,作为该目标区域对应的高频权重参数。
可选地,确定单元112,具体用于将目标区域的多个第一参数值中的最大值与第一数值之间的比值,作为目标区域对应的高频权重参数,该第一数值为目标区域的多个第一参数值中的最小值与预设值之间的和,该预设值不为0。
可选地,该确定单元112,具体用于针对每个目标区域,根据目标区域的低频分量与第一分量的和,确定该目标区域的锐化参数值,该第一分量为目标区域对应的高频权重参数与高频分量的乘积;将多个目标区域的锐化参数值进行叠加,得到目标锐化图像。
可选地,该获取单元111,具体用于使用滤波核获取目标区域的低频分量;根据目标区域的图像信息与目标区域的低频分量的差值,确定目标区域的高频分量。例如,获取单元111可以用于执行图10中的S3011和S3012。
如上所述,本公开实施例可以根据上述方法示例对图像处理装置进行功能模块的划分。其中,上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。另外,还需要说明的是,本公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。
关于上述实施例中的图像处理装置,其中各个单元执行操作的具体方式、以及具备的有益效果,均已经在前述方法实施例中进行了详细描述,此处不再赘述。
图12是本公开提供的另一种图像处理装置的结构示意图。如图12,该图像处理装置12可以包括至少一个处理器121以及用于存储处理器可执行指令的存储器123。其中,处理器121用于执行存储器123中的指令,以实现上述实施例中的图像处理方法。
另外,图像处理装置12还可以包括通信总线122以及至少一个通信接口124。
处理器121可以是一个处理器(central processing units,CPU),微处理单元,ASIC,或一个或多个用于控制本公开方案程序执行的集成电路。
通信总线122可包括一通路,在上述组件之间传送信息。
通信接口124,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。
存储器123可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。
其中,存储器123用于存储执行本公开方案的指令,并由处理器121来控制执行。处理器121用于执行存储器123中存储的指令,从而实现本公开方法中的功能。
在具体实现中,作为一种实施例,处理器121可以包括一个或多个CPU,例如图12中的CPU0和CPU1。
在具体实现中,作为一种实施例,图像处理装置20可以包括多个处理器,例如图12中的处理器121和处理器127。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,图像处理装置12还可以包括输出设备125和输入设备126。输出设备125和处理器121通信,可以以多种方式来显示信息。例如,输出设备125可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emitting diode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备126和处理器121通信,可以以多种方式接受用户的输入。例如,输入设备126可以是鼠标、键盘、触摸屏设备或传感设备等。
本领域技术人员可以理解,图12中示出的结构并不构成对图像处理装置12的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
另外,本公开还提供一种计算机可读存储介质,包括指令,当指令由电子设备执行时,使得电子设备执行如上述实施例所提供的图像处理方法。
另外,本公开还提供一种计算机程序产品,包括指令,当指令由电子设备执行时,使得电子设备执行如上述实施例所提供的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像的多个目标区域中每个目标区域的图像内容、高频分量及低频分量;
针对每个目标区域,根据所述目标区域的图像内容,确定所述目标区域对应的高频权重参数;
根据所述多个目标区域对应的高频权重参数和高频分量,以及低频分量,得到所述待处理图像对应的目标锐化图像。
2.根据权利要求1所述的方法,其特征在于,所述图像内容包括多个像素点的像素值,所述获取待处理图像的多个目标区域中每个目标区域的图像内容,包括:
控制预设滤波器的滤波核以预设步长在所述待处理图像上滑动,当所述滤波核移动至任一目标区域时,获取所述目标区域的多个子区域中每个子区域的多个像素点的像素值,所述滤波核包括多个子滤波核,一个子滤波核对应一个子区域。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
根据所述子区域的多个像素点的像素值,确定所述子区域对应的第一参数值,所述第一参数值包括所述多个像素点的像素值之间的方差、标准差或平均值中的一个或多个;
所述根据所述目标区域的图像内容,确定所述目标区域对应的高频权重参数,包括:
根据所述目标区域对应的多个第一参数值,确定所述目标区域对应的高频权重参数。
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标区域对应的多个第一参数值,确定所述目标区域对应的高频权重参数,包括:
将所述目标区域对应的多个第一参数值中的最大值与最小值之间的比值,作为所述目标区域对应的高频权重参数。
5.根据权利要求3所述的方法,其特征在于,所述根据所述目标区域对应的多个第一参数值,确定所述目标区域对应的高频权重参数,包括:
将所述目标区域的多个第一参数值中的最大值与第一数值之间的比值,作为所述目标区域对应的高频权重参数,所述第一数值为所述目标区域的多个第一参数值中的最小值与预设值之间的和值,所述预设值不为0。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述根据所述多个目标区域对应的高频权重参数、高频分量及低频分量,确定所述待处理图像对应的目标锐化图像,包括:
针对每个目标区域,根据所述目标区域的低频分量与第一分量的和,确定所述目标区域的锐化参数值,所述第一分量为所述目标区域对应的高频权重参数与高频分量的乘积;
将所述多个目标区域的锐化参数值进行叠加,得到所述目标锐化图像。
7.一种图像处理装置,其特征在于,所述图像处理装置包括获取单元和确定单元;
所述获取单元,用于获取待处理图像的多个目标区域中每个目标区域的图像内容、高频分量及低频分量;
针对每个目标区域,所述确定单元,用于根据所述目标区域的图像内容,确定所述目标区域对应的高频权重参数;
所述确定单元,还用于根据所述多个区域对应的高频权重参数和高频分量,以及低频分量,得到所述待处理图像对应的目标锐化图像。
8.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-6中任一项所述的图像处理方法。
9.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备执行时,使得所述电子设备能够执行如权利要求1-6中任一项所述的图像处理方法。
10.一种计算机程序产品,包括计算机程序/指令,其特征在于,所述计算机程序/指令被处理器执行时实现如权利要求1-6中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210271178.4A CN114627022A (zh) | 2022-03-18 | 2022-03-18 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210271178.4A CN114627022A (zh) | 2022-03-18 | 2022-03-18 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114627022A true CN114627022A (zh) | 2022-06-14 |
Family
ID=81902421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210271178.4A Pending CN114627022A (zh) | 2022-03-18 | 2022-03-18 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114627022A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117132477A (zh) * | 2023-02-24 | 2023-11-28 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
-
2022
- 2022-03-18 CN CN202210271178.4A patent/CN114627022A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117132477A (zh) * | 2023-02-24 | 2023-11-28 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109191395B (zh) | 图像对比度增强方法、装置、设备及存储介质 | |
US9600857B2 (en) | Digital image resampling | |
US10863206B2 (en) | Content-weighted deep residual learning for video in-loop filtering | |
CN109741280A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
DE112011106062T5 (de) | Bildstrom-Pipeline-Controller zur Bereitstellung von Bildprimitiven auf einer Berechnungsstruktur | |
US9984440B2 (en) | Iterative patch-based image upscaling | |
CN111709894B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114627022A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113327193A (zh) | 图像处理方法、装置、电子设备和介质 | |
JP5652272B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
US8983187B2 (en) | Systems and methods for performing edge enhancement in digital images | |
CN111080534B (zh) | 图像滤波方法、装置及电子设备 | |
CN113240578A (zh) | 图像特效的生成方法、装置、电子设备及存储介质 | |
CN110858388B (zh) | 一种增强视频画质的方法和装置 | |
CN114612337A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US9154671B2 (en) | Image processing apparatus, image processing method, and program | |
CN111918061B (zh) | 编码块的划分方法及装置、存储介质及电子设备 | |
CN111986095B (zh) | 基于边缘提取的图像处理方法及图像处理装置 | |
JP5967829B2 (ja) | テーマ色の割当割合を調整可能な色変換処理プログラム、装置及び方法 | |
CN110858389B (zh) | 一种增强视频画质的方法、装置、终端及转码设备 | |
CN113096231A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN107492078B (zh) | 一种去除图像中黑噪的方法及计算设备 | |
CN111815535A (zh) | 图像处理方法、装置、电子设备和计算机可读介质 | |
CN114612338A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN112862726B (zh) | 图像处理方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |