CN113643190B - 图像锐化方法和装置 - Google Patents

图像锐化方法和装置 Download PDF

Info

Publication number
CN113643190B
CN113643190B CN202010347188.2A CN202010347188A CN113643190B CN 113643190 B CN113643190 B CN 113643190B CN 202010347188 A CN202010347188 A CN 202010347188A CN 113643190 B CN113643190 B CN 113643190B
Authority
CN
China
Prior art keywords
pixel
value
residual
image
sharpening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010347188.2A
Other languages
English (en)
Other versions
CN113643190A (zh
Inventor
成超
蔡媛
樊鸿飞
汪贤
鲁方波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202010347188.2A priority Critical patent/CN113643190B/zh
Publication of CN113643190A publication Critical patent/CN113643190A/zh
Application granted granted Critical
Publication of CN113643190B publication Critical patent/CN113643190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像锐化方法和装置,涉及图像处理的技术领域,包括获取目标图像的锐化残差图;针对锐化残差图中的每个第一位置,均将第一位置的第一像素残差值平滑处理为第二像素残差值;针对目标图像中的每个第三位置,均将第三位置的第一像素值锐化为第二像素值,第二像素值为第一像素值与第二像素残差值的和,基于梯度索引的像素值计算方式,在一阶梯度的锐化残差图基础上引入二阶梯度,收窄像素值宽度范围,使得残差图中的边缘变得更加紧凑,从而有效地防止了残差图中的像素值数值过大导致最终锐化图像中的边缘像素值过饱和而产生光晕现象。

Description

图像锐化方法和装置
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种图像锐化方法和装置。
背景技术
图像锐化是一种相当重要的手段,可以提升画面中物体边缘部分的对比度,从而突出图像纹理细节,使得图像在人眼感官上变得更加清晰。数字图像处理广泛地应用于各类图像影音多媒体领域中。
然而,现今的锐化图像一般通过使得边缘两端的反差变大,从而获得视觉上的锐化效果。而当边缘两端本来亮度反差就很大的时候,这一差异被进一步地加大,使得明暗部分变得过饱和,会形成了一道光晕覆盖在物体边缘周围,即产生锐化光晕的负效应。
发明内容
本发明的目的在于提供一种图像锐化方法和装置,基于梯度索引的像素值计算方式,在一阶梯度的锐化残差图基础上引入二阶梯度,收窄像素值宽度范围,使得残差图中的边缘变得更加紧凑,从而有效地防止了残差图中的像素值数值过大导致最终锐化图像中的边缘像素值过饱和而产生光晕现象。
第一方面,实施例提供一种图像锐化方法,包括:
获取目标图像的锐化残差图;
针对所述锐化残差图中的每个第一位置,均将所述第一位置的第一像素残差值平滑处理为第二像素残差值,其中,所述第二像素残差值根据所述第一像素残差值和所述锐化残差图中与所述第一位置对应的第二位置的第三像素残差值确定,所述第一位置为所述锐化残差图中的任意位置,所述第二位置基于所述第一位置和所述目标图像中与所述第一位置对应的第三位置的像素变化梯度索引得到,所述锐化残差图的第一位置与所述目标图像的第三位置一一对应;
针对所述目标图像中的每个所述第三位置,均将所述第三位置的第一像素值锐化为第二像素值,所述第二像素值为所述第一像素值与所述第二像素残差值的和。
在可选的实施方式中,针对所述锐化残差图中的每个第一位置,均将所述第一位置的第一像素残差值平滑处理为第二像素残差值的步骤,包括:
将所述锐化残差图中的每个第一位置的第一像素残差值与平滑因子乘积得到第一平滑像素残差值;
将与每个所述第一位置对应的第二位置的第三像素残差值与归一化平滑因子乘积得到第二平滑像素残差值;
将所述第一平滑像素残差值与所述第二平滑像素残差值加和,得到所述第一位置的第二像素残差值。
在可选的实施方式中,所述平滑因子用于收窄边缘的像素值范围,所述边缘根据像素值变化进行确定。
在可选的实施方式中,所述方法还包括:
将所述第一位置的坐标值与所述目标图像中第三位置的像素变化梯度值进行加和,索引得到所述第二位置的坐标值。
在可选的实施方式中,将所述第一位置的坐标值与所述目标图像中第三位置的像素变化梯度值进行加和,索引得到所述第二位置的坐标值的步骤,包括:
根据所述目标图像中第三位置的像素值,分别计算所述第三位置在横向和纵向上的像素变化梯度值;
将所述第一位置的横向坐标值与所述第三位置的横向像素变化梯度值相加,作为索引得到所述第二位置的横坐标;
将所述第一位置的纵向坐标值与所述第三位置的纵向像素变化梯度值相加,作为索引得到所述第二位置的纵坐标。
在可选的实施方式中,获取目标图像的锐化残差图的步骤,包括:
对所述目标图像进行模糊处理,得到模糊图像;
将所述目标图像与所述模糊图像进行差值计算,得到残差图;
按照锐化因子对所述残差图中的像素残差值进行放大,得到锐化残差图。
在可选的实施方式中,所述平滑因子的取值小于1。
第二方面,实施例提供一种图像锐化装置,包括:
获取模块,用于获取目标图像的锐化残差图;
平滑模块,用于针对所述锐化残差图中的每个第一位置,均将所述第一位置的第一像素残差值平滑处理为第二像素残差值,其中,所述第二像素残差值根据所述第一像素残差值和所述锐化残差图中与所述第一位置对应的第二位置的第三像素残差值确定,所述第一位置为所述锐化残差图中的任意位置,所述第二位置基于所述第一位置和所述目标图像中与所述第一位置对应的第三位置的像素变化梯度索引得到,所述锐化残差图的第一位置与所述目标图像的第三位置一一对应;
锐化模块,用于针对所述目标图像中的每个所述第三位置,均将所述第三位置的第一像素值锐化为第二像素值,所述第二像素值为所述第一像素值与所述第二像素残差值的和。
第三方面,实施例提供一种电子设备,包括存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序,所述处理器执行所述程序时实现如前述实施方式中任一项所述的图像锐化方法。
第四方面,实施例提供一种计算机可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被执行时实现前述实施方式中任意一项所述的图像锐化方法。
本发明实施例提供了一种图像锐化方法和装置,通过锐化残差图中任一位置(第一位置)在目标图像的像素变化梯度索引得到锐化残差图中的另一位置(第二位置),基于这两个位置在锐化残差图中的像素残差值,得到第一位置的平滑滤波后的像素残差值,通过上述方式获得锐化残差图中每个位置的平滑滤波后的像素残差值,并将每个位置的平滑滤波后的像素残差值分别与其在目标图像中对应位置的像素值进行相加,得到目标图像的锐化图像,基于梯度索引的像素值计算方式,在一阶梯度的锐化残差图基础上引入二阶梯度,通过平滑滤波方式收窄像素值宽度范围,使得残差图中的物体边缘变得更加紧凑,从而有效地防止了残差图中的像素值数值过大导致最终锐化图像中的边缘像素值过饱和而产生光晕现象。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的一种原始图像示意图;
图1b为本发明实施例提供的一种锐化效果图像示意图;
图2为本发明实施例提供的一种图像锐化方法流程示意图;
图3a为本发明实施例提供的锐化图像的一维信号示意图之一;
图3b为本发明实施例提供的锐化图像示意图之一;
图4a为本发明实施例提供的模糊图像的一维信号示意图;
图4b为本发明实施例提供的一种模糊图像示意图;
图5a为本发明实施例提供的一种残差图;
图5b为本发明实施例提供的一种差值信号图;
图6a为本发明实施例提供的锐化残差图的一维信号示意图;
图6b为本发明实施例提供的一种锐化残差图;
图7a为本发明实施例提供的锐化图像的一维信号示意图之二;
图7b为本发明实施例提供的锐化图像示意图之二;
图8为本发明实施例提供的一种锐化光晕效果图像示意图;
图9为本发明实施例提供的一种信号演示线条图像比对示意图;
图10a为本发明实施例提供的一种锐化处理前图像示意图;
图10b为本发明实施例提供的一种锐化处理后图像示意图;
图11为本发明实施例提供的一种图像锐化装置的功能模块示意图;
图12为本发明实施例提供的电子设备的硬件架构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先,为了便于清楚理解,对本发明实施例可能涉及的名词术语进行解释:
数字图像(Digital Image):以二维数组形式表示的图像,是图像在计算机中存储的形式。这个二维数组的两个维度分别表示图像的行与列。数字图像的基本组成单元称为像素。
像素(Pixel):像素是图像的基本组成单元,其本质为数值。图像像素的数值范围为0到255。像素值越大、越接近255,则该像素的亮度越高、越白;像素值越小,越接近0,则该像素越暗、越黑。
图像处理(Image Processing):图像处理是对储存为二维数组的数字图像进行计算、分析、处理,以达到预期效果的一系列方法的集合。
图像锐化(Image Sharpening):是一种图像处理手段,用来提升图像画面中物体边缘部分的对比度,使得图像在肉眼感官上变得更加清晰。
锐化光晕(Sharpening Halos):是由一部分锐化算法引入的负效应。大部分锐化算法在图像边缘会引入黑边或者白边,肉眼感官上仿佛在物体边缘形成了一圈光晕。
其中,数字图像处理广泛地应用于各类图像影音多媒体领域中。数字图像在计算机中以二维数组(也称为矩阵)的形式存储和计算,即可以把这些数字图像看作为二维数字信号,因而可以使用非常丰富的处理方法对其进行计算分析。当前也衍生出了相当多的数字图像处理方法。在这些方法中,图像锐化是一种相当重要的手段,通过锐化方式可以提升图像画面中物体边缘部分的对比度,从而突出图像纹理细节,使得图像在人眼感官上变得更加清晰。
如图1a、图1b所示,图1a为原始图像,图1b为锐化处理后的图像。可以看出,经过图像锐化处理后图像中的纹理变得更加明显,物体(高山)与背景(天空)间的过渡变得更加果断。虽然锐化算法并没有给图像引入更多的信息,但是却能在感官上大大提升图像清晰感。
目前应用得较为广泛的锐化算法称为USM锐化算法(Unsharpen Mask)。USM锐化算法首先对原始图像进行模糊处理得到模糊图像,然后用原始图像减去模糊图像即可得到图像中的边缘部分,将这些边缘部分进行强调并重新与原图相加,即能获得锐化后的图像。此种方式主要是通过增强对比度,使得明亮区域更亮,暗处区域更暗,以实现图像中物体边缘锐化效果,但当物体边缘的像素较为饱和时,再应用此种做法就会产生锐化光晕的负效应。
基于此,本发明实施例提供的一种图像锐化方法和装置,可以基于梯度索引的像素值计算方式,在一阶梯度的锐化残差图基础上引入二阶梯度,收窄像素值宽度范围,使得残差图中的边缘变得更加紧凑,从而有效地防止了残差图中的像素值数值过大导致最终锐化图像中的边缘像素值过饱和而产生光晕现象。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种图像锐化方法进行详细介绍。
图2为本发明实施例提供的一种图像锐化方法流程示意图。
参照图2,实施例提供一种图像锐化方法,可应用于具有图像处理功能的电子设备中,可包括以下步骤:
步骤S202,获取目标图像的锐化残差图;这里,锐化残差图可以是目标图像经过锐化处理后的残差图。
步骤S204,针对锐化残差图中的每个第一位置,均将第一位置的第一像素残差值平滑处理为第二像素残差值,其中,第二像素残差值根据第一像素残差值和锐化残差图中与第一位置对应的第二位置的第三像素残差值确定,第一位置为锐化残差图中的任意位置,第二位置基于第一位置和目标图像中与第一位置对应的第三位置的像素变化梯度索引得到,锐化残差图的第一位置与目标图像的第三位置一一对应;
步骤S206,针对目标图像中的每个第三位置,均将第三位置的第一像素值锐化为第二像素值,第二像素值为第一像素值与第二像素残差值的和。
在实际应用的优选实施例中,通过目标图像的锐化残差图中任一位置(第一位置)在目标图像的像素变化梯度索引得到目标图像中的另一位置(第二位置),基于这两个位置在锐化残差图中的像素残差值,得到第一位置的平滑滤波后的像素残差值,通过上述方式获得锐化残差图中每个位置的平滑滤波后的像素残差值,并将每个位置的平滑滤波后的像素残差值分别与其在目标图像中对应位置的像素值进行相加,得到目标图像的锐化图像,基于梯度索引的像素值计算方式,在一阶梯度的锐化残差图基础上引入二阶梯度,通过平滑滤波方式收窄像素值宽度范围,使得残差图中的物体边缘变得更加紧凑,从而有效地防止了残差图中的像素值数值过大导致最终锐化图像中的边缘像素值过饱和而产生光晕现象。
为了简化分析,本发明实施例使用一维信号来代替演示图像锐化过程,如图3a、3b所示。参照图3a部分,横坐标n为像素点,纵坐标m为亮度值,该一维信号可以代表一个边缘,由于图3a的右侧像素值比左侧像素值高(通过折线高低看出),因此图3b中图像看上去右侧比左侧亮一些,这里在像素过渡区域就形成了一条边缘,这里边缘可体现为图3a中的折线斜边,也可以体现为图3b中的物体的边缘,边缘的宽度即为过渡带的宽度。
在可选的实施方式中,上述实施例中的步骤S202,还包括以下步骤:
步骤1.1),对所述目标图像进行模糊处理,得到模糊图像;
这里,如图4a、图4b所示,图4a中的实线折线即为原始的目标图像,而段状虚线为模糊平滑处理后的模糊图像,横坐标n为像素点,纵坐标m为亮度值。从图4a可以看出,模糊平滑后的图像相较于原始图像而言,过渡更为平缓;从图4b中可以看出,模糊平滑后的图像相较于图3b中的原始图像而言,也就是在视觉上更加模糊。
这里,模糊处理的方式包括多种,如可以采用高斯模糊、双边滤波模糊、中值模糊、均值模糊、non-local滤波模糊等方法来获取模糊图像,能够具有对图像进行模糊功能的模糊处理方式即可,并不局限于上述模糊处理方式。
步骤1.2),将所述目标图像与所述模糊图像进行差值计算,得到残差图;
这里,参照图5a、图5b,将原始的目标图像中各个像素值减去模糊图像中的各个像素值得到残差图如图5b所示,其中,残差图就是图像中物体的边缘部分;图5a为通过实线减去段状虚线得到差值信号图,其中,横坐标n为像素点,纵坐标g为差分值,虚线所表示的像素数值分布在0附近。
步骤1.3),按照锐化因子对所述残差图中的像素残差值进行放大,得到锐化残差图。
这里,参照图6a、图6b,将残差图中的像素残差数值按某一比例a放大,可得到边缘强化后的残差图,即锐化残差图,如图6b所示。其中a为锐化因子,能够让像素残差值中亮度高的更高,亮度低的更低,如图6a所示,横坐标n为像素点,纵坐标g为差分值,点状曲线的波峰和波谷与图5a相比,波峰更加高,波谷更加低。
进一步的,将边缘强化后的锐化残差图(图6b)与原始的目标图像(图1a)相加,或,如图7a所示,横坐标n为像素点,纵坐标m为亮度值,将点状曲线与折线相加,即得到了锐化图像,可参见图7b。
需要说明的是,这一乘性锐化因子a即可控制图像的锐化程度,a越大,图像越锐利。现有技术中一般通过将锐化因子a选取为较大数值,来实现图像锐化,这样的做法虽然能够获得锐化图像,但是也带来了一些问题。我们从上面的示意图如图6a中可以看出,图像锐化相当于使得图像边缘的过渡变得更急促(斜率变大),来使边缘两端的反差变大,从而获得视觉上的锐化效果。与此同时,我们可以看到边缘的左右两部分分别得到了不同程度的提升和降低,即像素值越大则图像约亮越白,像素值越小则图像越暗越黑。此时,超出原始图像数值的边缘变亮,小于原始数值的边缘变暗,若锐化因子的数值选取的较大,当边缘本来亮度反差就很大的时候,这一差异被进一步地加大,使得明暗部分变得过饱和,形成了一道光晕覆盖在物体边缘周围,如下图8所示,这一负效应也被称为锐化光晕(sharpeninghalos)。
本发明实施例无需粗暴地提升残差图的比重,即无需采用较大数值的锐化因子,而是采用了一种基于梯度索引的像素值计算方式,使得残差图中的边缘变得更加紧凑,从而有效地防止了残差图中的像素值数值过大导致最终锐化图像中的边缘像素值过饱和而产生光晕现象。这一方法再防止光晕现象的同时也能得到更符合人眼感官的锐化图像。
需要说明的是,在现有技术中,需要锐化因子选取为1.8才能够实现图像锐化,且在图像较亮处会产生锐化光晕,而通过本申请提供的方式,锐化因子的数值可以选取较小,如,1.1、1.2、1.3等较小数值即可,保证锐化图像不会出现负效应锐化光晕。
这里,为便于说明,将图像的锐化残差图,记为Res。
在可选的实施方式中,步骤204,包括以下步骤:
步骤2.1),将锐化残差图中的每个第一位置的第一像素残差值与平滑因子乘积得到第一平滑像素残差值;
步骤2.2),将与每个第一位置对应的第二位置的第三像素残差值与归一化平滑因子乘积得到第二平滑像素残差值;
步骤2.3),将第一平滑像素残差值与第二平滑像素残差值加和,得到第一位置的第二像素残差值。
这里,为了对残差图Res中的每一个第一位置的第一像素残差值进行平滑,在一些可能的实施例中,可采用以下平滑方式:
对于Res图中坐标为(x,y)的第一位置,其像素残差值Res(x,y),查找该第一位置对应的第三位置在原始目标图像中梯度图中的值Dx(x,y)与Dy(x,y),然后与第一位置的坐标相加得到对应第二位置的坐标,即为(x+Dx(x,y),y+Dy(x,y)),我们将第二位置的坐标记为(x’,y’)。然后,使用平滑因子λ对第一位置的第一像素残差值进行平滑。作为一种可选的实施方式,平滑方法可为:
Res(x,y)=λRes(x,y)+(1-λ)*Res(x’,y’)
在可选的实施方式中,所述平滑因子用于收窄边缘的像素值范围,所述边缘根据像素值变化进行确定。该平滑因子可包括小于1的数值,如0.2、0.3、0.4、0.5、0.6、0.7等等,在一些可能的实施例中,优选0.5。其中,平滑因子的数值越大,收窄像素宽度的能力越强,即边缘像素宽度越窄。
这里,对于图像锐化来说,通过结合梯度图来对残差图进行收窄,其本质为向残差图中的某个像素残差值提供一个位置,通过这个位置来索引到一个参考值(另一个位置的像素残差值),并利用这个参考值对原始像素残差值进行平滑。
在可选的实施方式中,上述方法还包括以下步骤:
步骤3.1),将所述第一位置的坐标值与所述目标图像中第三位置的像素变化梯度值进行加和,索引得到所述第二位置的坐标值。
在可选的实施方式中,步骤3.1),还包括以下步骤:
步骤3.1.1),根据所述目标图像中第三位置的像素值,分别计算所述第三位置在横向和纵向上的像素变化梯度值;
步骤3.1.2),将第一位置的横向坐标值与第三位置的横向像素变化梯度值相加,作为索引得到所述第二位置的横坐标;
步骤3.1.3),将第一位置的纵向坐标值与第三位置的纵向像素变化梯度值相加,作为索引得到所述第二位置的纵坐标。
这里,可利用Sobel算子计算目标图像在第一位置中X(横向)与Y(纵向)方向上的梯度。其中,Sobel算子为:
这里,设目标图像为f,则目标图像f在X与Y方向的梯度分别可以表示为:
其中,上述公式中通过卷积计算方式获得梯度图,记为Dx与Dy。目标图像在第一位置坐标(x,y)处的像素值表示为f(x,y),则其在梯度图中的对应数值为Dx(x,y)与Dy(x,y)。
可以理解的是,计算梯度的方法可以不限于Sobel算子方法,也可使用其它梯度计算方法,在此不作限制。
作为一个可选的实施例,第一位置对应(x,y)坐标为(100,100),根据上述方式计算出第一位置在X、Y方向上的梯度分别为Dx(100,100)=2、Dy(100,100)=-2。将横向梯度值与第一位置横向坐标加和、纵向梯度值与第一位置纵向坐标加和,索引的第二位置(x’,y’)坐标是(102,98)。
本发明实施例在保留了锐化算法的锐化效果的前提下,避免了光晕效应,使得锐化图像的视觉效果更加自然。另外,在计算过程中仅仅引入了梯度图计算和索引过程,消耗的计算量非常少,因此不会降低锐化算法的计算效率。
这里,图9中横坐标n为像素点,纵坐标m为亮度值,在图9中分别示出了本发明实施例方法得到的锐化图像对应的段状线901、现有技术中锐化方式得到的锐化图像对应的点状线902、目标图像对应的折线903。可以看出,将段状线901、点状线902分别与折线903相比,段状线901、点状线902都使得原来的折线903拥有了更大的梯度。但在此基础上,段状线901的变化范围也被收窄(即从波峰过渡到波谷的像素宽度被收窄)。举例说明,也就是说,原来需要经过10个像素宽度范围从最亮的波峰过渡到最暗的波谷,现在只需要5个左右的像素款范围就可以完成。需要说明的是,从像素最高最亮的波峰过渡到像素最低最暗的波谷的信号斜线即为物体的边缘,此边缘原来需要10个像素宽度,现在仅需要5个像素宽度,即可以说边缘的宽度收窄了。
如图10a、图10b所示,从视觉上来讲,可以理解为,画面中物体边缘变得更加犀利了。那么,由于边缘的收窄,我们不需要过多额外增强边缘残差图的比重,从而大大降低了像素值越界的风险,也就避免了光晕效应的产生。下图10b中展示了经本方法处理后的结果,与处理前的图10a对比。可以看出,沿着山峦四周的光晕被有效去除了,同时保留了物体锐化的效果。
本发明实施例的创新主要集中在对残差图的处理上。我们使用结合梯度图来对残差图进行平滑,使得物体边缘的残差图收窄,围绕边缘变得更加紧凑,这样就能集中的增强边缘,从而获得比一般方法更加锐利的图像。在达到同样的锐化效果的前提下,本发明实施例提出的方法相比于一般方法不需要很大的乘性因子来对残差图进行放大,也就大大降低了锐化图像中像素饱和越界的风险,进而避免了光晕效应的产生。
如图11所示,本发明实施例提供一种图像锐化装置,包括:
获取模块112,用于获取目标图像的锐化残差图;
平滑模块114,用于针对所述锐化残差图中的每个第一位置,均将所述第一位置的第一像素残差值平滑处理为第二像素残差值,其中,其中,所述第二像素残差值根据所述第一像素残差值和所述锐化残差图中与所述第一位置对应的第二位置的第三像素残差值确定,所述第一位置为所述锐化残差图中的任意位置,所述第二位置基于所述第一位置和所述目标图像中与所述第一位置对应的第三位置的像素变化梯度索引得到,所述锐化残差图的第一位置与所述目标图像的第三位置一一对应;
锐化模块116,用于针对所述目标图像中的每个所述第三位置,均将所述第三位置的第一像素值锐化为第二像素值,所述第二像素值为所述第一像素值与所述第二像素残差值的和。
在可选的实施方式中,平滑模块114,还具体用于将所述锐化残差图中的每个第一位置的第一像素残差值与平滑因子乘积得到第一平滑像素残差值;将与每个所述第一位置对应的第二位置的第三像素残差值与归一化平滑因子乘积得到第二平滑像素残差值;将所述第一平滑像素残差值与所述第二平滑像素残差值加和,得到所述第一位置的第二像素残差值。
在可选的实施方式中,所述平滑因子用于收窄边缘的像素值范围,所述边缘根据像素值变化进行确定。
在可选的实施方式中,平滑模块114,还具体用于将所述第一位置的坐标值与所述目标图像中第三位置的像素变化梯度值进行加和,索引得到所述第二位置的坐标值。
在可选的实施方式中,平滑模块114,还具体用于根据所述目标图像中第三位置的像素值,分别计算所述第三位置在横向和纵向上的像素变化梯度值;将第一位置的横向坐标值与第三位置的横向像素变化梯度值相加,作为索引得到所述第二位置的横坐标;将第一位置的纵向坐标值与第三位置的纵向像素变化梯度值相加,作为索引得到所述第二位置的纵坐标。
在可选的实施方式中,所述平滑因子的取值小于1。
在可选的实施方式中,获取模块112,还具体用于对所述目标图像进行模糊处理,得到模糊图像;将所述目标图像与所述模糊图像进行差值计算,得到残差图;按照锐化因子对所述残差图中的像素残差值进行放大,得到锐化残差图。
本发明实施例提供的用于实现一种电子设备,本实施例中,所述电子设备可以是,但不限于,个人电脑(Personal Computer,PC)、笔记本电脑、监控设备、服务器等具备分析及处理能力的计算机设备。
作为一种示范性实施例,可参见图12,电子设备120,包括通信接口121、处理器122、存储器123以及总线124,处理器122、通信接口121和存储器123通过总线124连接;上述存储器123用于存储支持处理器122执行上述图像锐化方法的计算机程序,上述处理器122被配置为用于执行该存储器123中存储的程序。
本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
非易失性介质可以是非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等),或者类似的非易失性存储介质,或者它们的组合。
可以理解的是,本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述,在此不再重复赘述。
本发明实施例所提供计算机可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序代码被执行时可实现上述任一实施例所述的图像锐化方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种图像锐化方法,其特征在于,包括:
获取目标图像的锐化残差图;
针对所述锐化残差图中的每个第一位置,均将所述第一位置的第一像素残差值平滑处理为第二像素残差值,其中,所述第二像素残差值根据所述第一像素残差值和所述锐化残差图中与所述第一位置对应的第二位置的第三像素残差值确定,所述第一位置为所述锐化残差图中的任意位置,所述第二位置基于所述第一位置和所述目标图像中与所述第一位置对应的第三位置的像素变化梯度索引得到,所述锐化残差图的第一位置与所述目标图像的第三位置一一对应;
针对所述目标图像中的每个所述第三位置,均将所述第三位置的第一像素值锐化为第二像素值,所述第二像素值为所述第一像素值与所述第二像素残差值的和;
所述方法还包括:
将所述第一位置的坐标值与所述目标图像中第三位置的像素变化梯度值进行加和,索引得到所述第二位置的坐标值;
将所述第一位置的坐标值与所述目标图像中第三位置的像素变化梯度值进行加和,索引得到所述第二位置的坐标值的步骤,包括:
根据所述目标图像中第三位置的像素值,分别计算所述第三位置在横向和纵向上的像素变化梯度值;
将所述第一位置的横向坐标值与所述第三位置的横向像素变化梯度值相加,作为索引得到所述第二位置的横坐标;
将所述第一位置的纵向坐标值与所述第三位置的纵向像素变化梯度值相加,作为索引得到所述第二位置的纵坐标。
2.根据权利要求1所述的方法,其特征在于,针对所述锐化残差图中的每个第一位置,均将所述第一位置的第一像素残差值平滑处理为第二像素残差值的步骤,包括:
将所述锐化残差图中的每个第一位置的第一像素残差值与平滑因子乘积得到第一平滑像素残差值;
将与每个所述第一位置对应的第二位置的第三像素残差值与归一化平滑因子乘积得到第二平滑像素残差值;
将所述第一平滑像素残差值与所述第二平滑像素残差值加和,得到所述第一位置的第二像素残差值。
3.根据权利要求2所述的方法,其特征在于,所述平滑因子用于收窄边缘的像素值范围,所述边缘根据像素值变化进行确定。
4.根据权利要求1所述的方法,其特征在于,获取目标图像的锐化残差图的步骤,包括:
对所述目标图像进行模糊处理,得到模糊图像;
将所述目标图像与所述模糊图像进行差值计算,得到残差图;
按照锐化因子对所述残差图中的像素残差值进行放大,得到锐化残差图。
5.根据权利要求3所述的方法,其特征在于,所述平滑因子的取值小于1。
6.一种图像锐化装置,其特征在于,包括:
获取模块,用于获取目标图像的锐化残差图;
平滑模块,用于针对所述锐化残差图中的每个第一位置,均将所述第一位置的第一像素残差值平滑处理为第二像素残差值,其中,所述第二像素残差值根据所述第一像素残差值和所述锐化残差图中与所述第一位置对应的第二位置的第三像素残差值确定,所述第一位置为所述锐化残差图中的任意位置,所述第二位置基于所述第一位置和所述目标图像中与所述第一位置对应的第三位置的像素变化梯度索引得到,所述锐化残差图的第一位置与所述目标图像的第三位置一一对应;
锐化模块,用于针对所述目标图像中的每个所述第三位置,均将所述第三位置的第一像素值锐化为第二像素值,所述第二像素值为所述第一像素值与所述第二像素残差值的和;
所述平滑模块还用于:将所述第一位置的坐标值与所述目标图像中第三位置的像素变化梯度值进行加和,索引得到所述第二位置的坐标值;
所述平滑模块还用于:根据所述目标图像中第三位置的像素值,分别计算所述第三位置在横向和纵向上的像素变化梯度值;将所述第一位置的横向坐标值与所述第三位置的横向像素变化梯度值相加,作为索引得到所述第二位置的横坐标;将所述第一位置的纵向坐标值与所述第三位置的纵向像素变化梯度值相加,作为索引得到所述第二位置的纵坐标。
7.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序,所述处理器执行所述程序时实现如权利要求1至5中任一项所述的图像锐化方法。
8.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被执行时实现权利要求1-5中任意一项所述的图像锐化方法。
CN202010347188.2A 2020-04-27 2020-04-27 图像锐化方法和装置 Active CN113643190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010347188.2A CN113643190B (zh) 2020-04-27 2020-04-27 图像锐化方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010347188.2A CN113643190B (zh) 2020-04-27 2020-04-27 图像锐化方法和装置

Publications (2)

Publication Number Publication Date
CN113643190A CN113643190A (zh) 2021-11-12
CN113643190B true CN113643190B (zh) 2024-07-16

Family

ID=78415315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010347188.2A Active CN113643190B (zh) 2020-04-27 2020-04-27 图像锐化方法和装置

Country Status (1)

Country Link
CN (1) CN113643190B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728180A (zh) * 2019-09-04 2020-01-24 北京达佳互联信息技术有限公司 图像处理方法、装置及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184926B2 (en) * 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
JP5229235B2 (ja) * 2007-12-25 2013-07-03 日本電気株式会社 画像処理装置、画像処理方法、画像伸張装置、画像圧縮装置、画像伝送システムおよび画像処理用プログラム
US9142009B2 (en) * 2013-07-30 2015-09-22 Adobe Systems Incorporated Patch-based, locally content-adaptive image and video sharpening
US11164295B2 (en) * 2015-09-17 2021-11-02 Michael Edwin Stewart Methods and apparatus for enhancing optical images and parametric databases
EP3545681A1 (en) * 2016-12-15 2019-10-02 Huawei Technologies Co., Ltd. Intra sharpening and/or de-ringing filter for video coding based on a bitstream flag
CN106878753B (zh) * 2017-02-16 2020-04-28 南京理工大学 一种使用纹理平滑信息的3d视频残差编码模式选择方法
KR102507165B1 (ko) * 2018-02-12 2023-03-08 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN109492543A (zh) * 2018-10-18 2019-03-19 广州市海林电子科技发展有限公司 红外图像的小目标检测方法与系统
CN109934785B (zh) * 2019-03-12 2021-03-12 湖南国科微电子股份有限公司 图像锐化方法及装置
CN110322407A (zh) * 2019-06-03 2019-10-11 辽宁师范大学 基于深度残差网络的图像椒盐噪声去除方法
CN110415199B (zh) * 2019-07-26 2021-10-19 河海大学 基于残差学习的多光谱遥感图像融合方法及装置
CN111028182B (zh) * 2019-12-24 2024-04-26 北京金山云网络技术有限公司 图像锐化方法、装置、电子设备及计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728180A (zh) * 2019-09-04 2020-01-24 北京达佳互联信息技术有限公司 图像处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN113643190A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
US10410327B2 (en) Shallow depth of field rendering
US8411979B2 (en) Digital image processing and enhancing system and method with function of removing noise
US8837854B2 (en) Image processing method for boundary resolution enhancement
US9142009B2 (en) Patch-based, locally content-adaptive image and video sharpening
US8520971B2 (en) Digital image resampling
JP5158202B2 (ja) 画像補正装置および画像補正方法
US8457429B2 (en) Method and system for enhancing image signals and other signals to increase perception of depth
US10628924B2 (en) Method and device for deblurring out-of-focus blurred images
US9727984B2 (en) Electronic device and method for processing an image
US9241093B2 (en) Guided filter-based detail enhancement
US20110311154A1 (en) Method and device for enhancing a digital image
US20160300331A1 (en) Scalable massive parallelization of overlapping patch aggregation
Kim et al. Lens distortion correction and enhancement based on local self-similarity for high-quality consumer imaging systems
US20180122052A1 (en) Method for deblurring a video, corresponding device and computer program product
EP1231567A2 (en) Image artifact removal technique for liquid crystal projectors
US7813582B1 (en) Method and apparatus for enhancing object boundary precision in an image
CN113450272B (zh) 一种基于正弦曲线变化的图像增强方法及其应用
CN113643190B (zh) 图像锐化方法和装置
US20190220956A1 (en) Image processing method, image processing device and nonvolatile storage medium
US8554005B1 (en) Digital image enhancement method and system that embolden or thin image features
Mortezaie et al. An adaptive block based un-sharp masking for image quality enhancement
US7620263B2 (en) Anti-clipping method for image sharpness enhancement
JP4104475B2 (ja) 輪郭補正装置
US9466008B2 (en) Device and method for processing image
CN112132749A (zh) 应用参数化Thiele连分式插值的图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant