CN111524074A

CN111524074A - 锐化图像的方法、电子设备及其图像处理器

Info

Publication number: CN111524074A
Application number: CN202010078226.9A
Authority: CN
Inventors: 朴晟俊; 王双全; 李正元
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2019-02-01
Filing date: 2020-02-03
Publication date: 2020-08-11
Also published as: KR20200096398A; US10853921B2; US20200250797A1; TW202109448A; KR102605392B1; TWI826639B

Abstract

提供了锐化图像的方法、电子设备及其图像处理器。接收输入图像。将低通滤波应用于所述输入图像以生成第一图像和第二图像。所述第一图像的内核尺寸与所述第二图像的内核尺寸不同。将边缘保持滤波应用于所述输入图像以生成第三图像和第四图像。所述第三图像的内核尺寸与所述第四图像的内核尺寸不同。从所述第三图像减去所述第一图像以获得第一结果图像。所述第一图像的内核尺寸大于所述第三图像的内核尺寸。从所述第四图像减去所述第二图像以获得第二结果图像。所述第二图像的内核尺寸大于所述第四图像的内核尺寸。将所述第一结果图像、所述第二结果图像与所述输入图像求和，以生成锐化后的图像。

Description

锐化图像的方法、电子设备及其图像处理器

优先权

本申请基于并且要求于2019年2月1日向美国专利商标局提交的申请号为62/800,165的美国临时专利申请以及2019年3月22日提交的申请号为16/362,021的美国非临时专利申请的优先权，其内容通过引用并入本文。

技术领域

本公开总体上涉及一种图像处理系统，并且更具体地，涉及一种用于在图像捕获系统中进行图像锐化的方法和装置。

背景技术

图像处理研究正在进行中，以试图生产能够捕获满足人类视觉标准的高质量图像的相机。然而，各种图像因素在人类视觉系统(HVS)中仍然不令人满意。这样的图像因素可以包括例如动态范围、色域、色彩准确度、失真、均匀性、模糊性、纹理和边缘。在这些图像因素中，锐化是通过改善边缘和纹理区域的图像质量(因相机传感器和降噪(NR)算法的限制而劣化)来提供更逼真的视图的最有效的方法之一。然而，折衷之处在于，锐化会产生噪声更多的图像。挑战性在于对各种像素值执行锐化和NR处理二者。例如，由于噪声和纹理成分具有细微的像素波动和振动，因此很难区分它们。

锐化处理包括图像信号的高通滤波(HPF)。在空间域中，图像分为像素强度(pixelintensity)变化很小的平滑区域和像素强度变化很大的细节区域。例如，平滑区域可以包括图像的捕获天空、人的皮肤或面部的部分，而细节区域可以包括图像的捕获草、叶子或头发的部分。在频域中，平滑区域主要包括低频成分，而细节区域包括高频成分。

发明内容

根据一个实施例，提供了一种锐化图像的方法。接收输入图像。将低通滤波应用于所述输入图像，以生成第一图像和第二图像。所述第一图像的内核尺寸与所述第二图像的内核尺寸不同。将边缘保持(EP)滤波应用于所述输入图像，以生成第三图像和第四图像。所述第三图像的内核尺寸与所述第四图像的内核尺寸不同。从所述第三图像减去所述第一图像以获得第一结果图像。所述第一图像的内核尺寸大于所述第三图像的内核尺寸。从所述第四图像减去所述第二图像以获得第二结果图像。所述第二图像的内核尺寸大于所述第四图像的内核尺寸。将所述第一结果图像、所述第二结果图像与所述输入图像求和，以生成锐化后的图像。

根据一个实施例，提供了一种电子设备，包括：处理器；以及存储指令的非暂时性计算机可读存储介质。所述指令在被执行时，使得所述处理器：接收输入图像；将低通滤波应用于所述输入图像，以生成第一图像和第二图像。所述第一图像的内核尺寸与所述第二图像的内核尺寸不同。所述指令还使得所述处理器将边缘保持滤波应用于所述输入图像，以生成第三图像和第四图像。所述第三图像的内核尺寸与所述第四图像的内核尺寸不同。所述指令另外地使得所述处理器从所述第三图像减去所述第一图像以获得第一结果图像，以及从所述第四图像减去所述第二图像以获得第二结果图像。所述第一图像的内核尺寸大于所述第三图像的内核尺寸，所述第二图像的内核尺寸大于所述第四图像的内核尺寸。所述指令还使得所述处理器将所述第一结果图像、所述第二结果图像与所述输入图像求和，以生成锐化后的图像。

根据一个实施例，提供了一种电子设备的图像处理器，包括：中等低通滤波器，所述中等低通滤波器将低通滤波应用于输入图像以获得第一中度模糊图像；以及宽低通滤波器，所述宽低通滤波器将低通滤波应用于所述输入图像以获得高度模糊图像。所述图像处理器还包括边缘保持窄滤波器，所述边缘保持窄滤波器将边缘保持滤波应用于所述输入图像以获得轻度模糊图像；以及边缘保持中等滤波器，所述边缘保持中等滤波器将边缘保持滤波应用于所述输入图像以获得第二中度模糊图像。另外，所述图像处理器包括：第一组合器，所述第一组合器从所述轻度模糊图像减去所述第一中度模糊图像以获得中等锐化图像；以及第二组合器，所述第二组合器从所述第二中度模糊图像减去所述高度模糊图像以获得宽锐化图像。所述图像处理器还包括第三组合器，所述第三组合器将所述中等锐化图像、所述宽锐化图像与所述输入图像求和以获得锐化后的图像。

附图说明

通过以下结合附图的详细描述，本公开的特定实施例的上述以及其他方面、特征和优点将变得更加明显，其中：

图1是示出用于执行锐化处理的示例性图像的示图；

图2是示出将输入图像与高斯内核卷积后的模糊图像的示图；

图3A-图3D包括示出根据一个实施例的当应用EP滤波器时如何获得锐化信号

的曲线图；

图4是示出根据一个实施例的使用反锐化掩模(unsharp masking)和多尺度分解与EP滤波器的组合的图像锐化的示图；

图5是示出根据一个实施例的用于锐化图像的方法的流程图；以及

图6是根据一个实施例的在网络环境中的电子设备的框图。

具体实施方式

在下文中，参照附图详细描述本公开的实施例。应当注意，尽管在不同的附图中示出了相同的元素，但是它们将由相同的参考标记表示。在以下描述中，仅提供诸如详细配置和组件的具体细节以帮助对本公开的实施例的整体理解。因此，对于本领域技术人员而言显而易见的是，在不脱离本公开的范围的情况下，可以对本文所描述的实施例进行各种改变和修改。另外，为了清楚和简洁，省略了对公知功能和构造的描述。以下描述的术语是考虑到本公开中的功能而定义的术语，并且可以根据用户、用户的意图或习惯而不同。因此，应基于整个说明书中的内容确定术语的定义。

本公开可以具有各种变型和各种实施例，以下参照附图详细描述其中的实施例。然而，应当理解，本公开不限于这些实施例，而是包括在本公开的范围内的所有修改、等同形式和替代形式。

尽管可以使用包括诸如第一、第二等的序数的用语来描述各种元件，但是结构元件不受这些术语的限制。这些术语仅用于将一个元件和另一个元件区分开。例如，在不脱离本公开的范围的情况下，第一结构元件可以被称为第二结构元件。类似地，第二结构元件也可以被称为第一结构元件。如本文所使用的，术语“和/或”包括一个或更多个相关项的任何和所有组合。

本文使用的术语仅用于描述本公开的各种实施例，而不旨在限制本公开。除非上下文另外明确指出，否则单数形式旨在包括复数形式。在本公开中，应理解的是术语“包括”或“具有”表示特征、数目、步骤、操作、结构元件、部件或它们的组合的存在，并且不排除另外的一个或更多个其他特征、数目、步骤、操作、结构元件、部件或它们的组合的存在或可能性。

除非不同地定义，否则本文使用的所有术语具有与本公开所属领域的技术人员所理解的含义相同的含义。除非在本公开中明确定义，否则诸如在通用词典中定义的术语应被解释为具有与相关领域中的上下文含义相同的含义，并且不应被解释为具有理想或过分正式的含义。

根据一个实施例的电子设备可以是各种类型的电子设备之一。电子设备可以包括例如便携式通信设备(例如，智能电话)、计算机、便携式多媒体设备、便携式医疗设备、相机、可穿戴设备或家用电器。根据本公开的一个实施例，电子设备不限于上述那些。

本公开使用的术语并不旨在限制本公开，而是旨在包括对相应实施例的各种改变、等同或替换。关于附图的描述，相同的参考标记可以用于指代相同或相关的元件。除非相关上下文另外明确指出，否则与项相对应的名词的单数形式可以包括一个或更多个事物。如本文所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”，“A、B和C中的至少一个”以及“A、B或C中的至少一个”这样的每个短语可以包括在相应的一个短语中一起枚举的项的所有可能组合。如本文中所使用的，诸如“第一”和“第二”的术语可以用于将对应的组件与另一组件区分开，但不旨在在其他方面限制这些组件(例如，重要性或顺序)。如果一个元件(例如，第一元件)被称为，具有或不具有术语“可操作地”或“可通信地”，“与……耦接”、“耦接到”、“与……连接”或“连接到”另一元件“(例如，第二元件)”，它指示该元件可以直接(例如，有线)、无线地或经由第三元件与另一个元件耦接。

如本文所使用的，术语“模块”可以包括以硬件、软件或固件实现的单元，并且可以与诸如“逻辑”、“逻辑块”、“部件”或“电路”的其他术语互换使用。模块可以是适于执行一个或更多个功能的单个完整的组件或单个完整的组件的最小单元或一部分。例如，根据一个实施例，模块可以以专用集成电路(ASIC)的形式实现。

根据一个实施例，提供了一种使用反锐化掩模、多尺度分解和边缘保持滤波的步骤来执行图像锐化的方法和装置。反锐化掩模是智能电话制造商、数字单镜反光相机(DSLR)制造商和图像编辑器(例如PHOTOSHOP^TM)已经用于执行图像锐化的最常见的方法。多尺度图像分解能够通过为强边缘和弱边缘提供单独的控制来提高清晰度(sharpness)。本公开提供了有效地区分平滑区域和细节区域的锐化，并且选择性地仅在细节区域中使用边缘保持滤波来增强锐化。

如上所述，该系统基于称作反锐化掩模的锐化加法器技术来执行锐化。可以通过向输入图像添加高频分量来锐化图像，如下式(1)和式(2)所示：

g(p)＝f(p)+k·g_sharp(p) (2)

其中，f(p)表示输入图像，

表示输入图像的低频(模糊)版本，p是像素位置，可以是灰度图像的2D向量(x，y)或彩色图像的3D向量(x，y，z)，其中z是色彩通道索引。

图1是示出用于执行锐化处理的示例性图像的示图。第一图像102代表输入图像f(p)，第二图像104代表输入图像的低频版本

第三图像106代表当从第一图像102减去第二图像104时获得的结果锐化图像(sharp image)g_sharp(p)，第四图像108表示当将缩放因子k应用于第三图像106然后与第一图像102组合时获得的锐化后的图像g(p)。

根据一个实施例，通过结合多尺度图像分解来改善反锐化掩模方案。为了产生g_sharp，不使用仅需要输入图像f(p)的式(1)，而在没有输入图像的情况下生成多级低频模糊。因此，多尺度反锐化掩模可以写成下式(3)：

g(p)＝f(p)+k₁(f_n(p)-f_m(p))+k₂(f_m(p)-f_w(p)) (3)

＝f(p)+k₁g_msharp(p)+k₂g_wsharp(p)

其中，f_n(p)、f_m(p)，和f_w(p)分别是轻度模糊图像、中度模糊图像和高度模糊图像。通常，最常用于生成模糊图像的滤波器是高斯内核。随着内核大小的增加(窄、中等和宽)，图像变得越来越模糊。例如，要构建f_n(p)、f_m(p)和f_w(p)，可以分别使用3x3、5x5和7x7高斯内核，如下式(4)所示：

f_n(p)＝f(p)*G_3X3，f_m(p)＝f(p)*G_5X5，f_w(p)＝f(p)*G_7X7 (4)

图2是示出将输入图像与高斯内核卷积之后的模糊图像的示图。利用分段平滑层的这种多尺度图像分解允许对边缘区域、细节区域和平滑区域进行单独控制。图2示出了输入图像202(f(p))、通过将3×3高斯内核(窄)应用于输入图像202而获得的轻度模糊图像204(f_n(p))、通过将5x5高斯内核(中)应用于输入图像202而获得的中度模糊图像206(f_m(p))、以及通过将7x7高斯内核(宽)应用于输入图像202而获得的高度模糊图像208(f_w(p))。

如式(3)所指出的，从轻度模糊图像204减去中度模糊图像206以产生中等锐化图像g_msharp(p)，从中度模糊图像206去除高度模糊图像208以产生宽锐化(wide sharp)图像g_wsharp(p)。在将中等锐化图像g_msharp(p)和宽锐化图像g_wshar(p)两者与输入图像202组合以获得锐化后的图像g(p)之前，将第一缩放因子k₁应用于中等锐化图像g_msharp(p)，并且将第二缩放因子k₂应用于宽锐化图像g_wsharp(p)。

良好的锐化过程必须有效地区分平滑区域和细节区域，并选择性地仅在细节区域提高清晰度。在将图像划分为平滑区域和细节区域时，同等地影响图像的所有区域的线性滤波器(例如，高斯内核)会有限制。尽管反锐化掩模和多尺度分解的组合有助于提高清晰度，但是仍然存在边缘信息丢失的可能性，因为这种组合仅依赖于使所有区域模糊的简单低通滤波器(LPF)内核。根据一个实施例，将边缘保持(EP)滤波器结合到反锐化掩模和多尺度分解的组合中。如下式(5)所示，重新配置式(3)中的锐化模型：

其中，上标e表示来自EP滤波器的输出。EP滤波器在平滑区域中所起的作用类似于LPF滤波器，但趋向于在像素转变很大的边缘区域保留原始图案。

的曲线图。如图3A所示，在边缘区域，高斯轻度模糊图像f_n(p)比高斯中度模糊图像f_m(p)更接近输入图像的值，但是EP轻度模糊图像

比f_n(p)更接近输入图像。然而，图3B示出，在平滑区域中，

和f_n(p)具有相同的特性，它们比f_m(p)更清晰。因此，在图3C中，从

减去f_m(p)(EP锐化)获得的结果图像的对比度大于从f_n(p)减去f_m(p)(高斯锐化)获得的结果图像的对比度，而如图3D所示，平滑区域具有相同的性能。因此，应将高通滤波器替换为边缘保持滤波器。相反的情况(即，

)没有边缘保持效果。

根据一个实施例，双边滤波器(BF)可以用作EP滤波器。BF根据空间相关性和强度相关性二者衡量邻域像素(neighborhood pixel)的优先级，从而可以识别边缘区域和平滑区域。该方法在数学上表示为下式(6)：

其中，I是输入图像，O是双边滤波后的输出图像，p是处理像素，q是窗口Ω内的邻域像素，

和

分别是空间距离和强度差的权重函数，p、q是像素位置。

根据本公开的另一实施例，引导滤波器(guided filter(GF))可以用作EP滤波器。GF的基本模型是：输出O是在像素q处的邻域窗口w内的引导图像G的线性变换，如下式(7)所示：

O(q)＝a_pG(q)+b_p，q∈wx (7)

其中，(a_p，b_p)是需要确定的系数。引导图像G类似于输入图像I，只是O仅在G具有边缘时才具有边缘(即，

)，这使得该滤波器保持边缘。

该系统可以确定使O与I之间的差最小化的系数(a_p，b_p)，由下式(8)表示：

其中，ε是正则化参数，滤波器的平滑度随着该参数的值的增加而增加。提供系数(a_p，b_p)作为式(8)的线性回归的解，如下式(9)和式(10)所示：

其中，μ_p和σ_p是邻域w_p中的G的均值和方差，|w|是内核w_p的像素数量，而

是w_p中输入图像I的均值。

GF已用于诸如高动态范围(HDR)、图像抠图和去雾的多种应用。特别地，对于EP滤波器，由于在大多数情况下不存在引导图像，因此该系统可以将输入图像设置为引导图像(即，I＝G)。因此，式(9)和式(10)总结为如式(11)和式(12)：

通过将式(11)和式(12)结合到式(7)，通过下式(13)获得最终的输出图像：

应注意，随着边缘强度

增加(细节区域)，式(13)的第一项更接近输入，而随着边缘强度降低(平滑区域)，第二项更接近邻域的平均值(μ_p)，这就是GF具有边缘保持特性的原因。

EP滤波器的目的是尽可能使图像的平滑区域模糊并在图像的细节区域中保持纹理。

对于平滑区域，每个5x5高斯内核、具有参数σ_s＝1.2、σ_r＝0.05、5x5内核的BF以及具有ε＝30、5x5内核的GF在使输入图像模糊的方面都相似。然而，对于细节区域，所有EP滤波器的纹理效果都优于5x5高斯内核，后者的模糊程度更高。

图4是示出根据一个实施例的使用反锐化掩模和多尺度分解与EP滤波器的组合的图像锐化的示图。使用了两个LPF滤波器和两个EP滤波器(BF或GF)。

将图像输入到色彩空间转换器402，在此该图像从原始色彩空间转换为YUV色彩格式。在色彩空间转换器402之后锐化信号具有单通道(亮度，Y)2D形状。将从色彩空间转换器402输出的Y信号提供给中等LPF 404，以生成第一中度模糊图像。将Y信号提供给EP窄滤波器406以生成轻度模糊图像。将Y信号提供给宽LPF 408以生成高度模糊图像。将Y信号提供给EP中等滤波器410，以生成第二中度模糊图像。

在第一组合器412从轻度模糊图像减去第一中度模糊图像，以生成中等锐化图像，在第二组合器414从第二中度模糊图像减去高度模糊图像，以生成宽锐化图像。在第三组合器416组合结果之前，将第一缩放因子k1应用于中等锐化图像，将第二缩放因子k2应用于宽锐化图像。在第四组合器418，将第三组合器416的结果与从色彩空间转换器402输出的原始Y信号进行组合，以获得锐化后的图像。该组合结果与来自色彩空间转换器402的UV信号一起提供给反向色彩空间转换器420，以将图像从YUV色彩格式返回到原始色彩空间。

图5是示出根据一个实施例的用于锐化图像的方法的流程图。在502，接收图像作为输入。在504，将图像的色彩空间从原始色彩格式(例如，RGB(红、绿和蓝)、CMYK(青、品红、黄和黑)或Bayer RGB(红、第一绿、第二绿和蓝))转换为具有Y信号和UV信号的YUV色彩格式。在506，将低通滤波应用于输入的图像的Y信号，以生成具有中等内核尺寸的第一中度模糊图像。在508，将EP滤波应用于输入的图像的Y信号，以生成具有窄内核尺寸的轻度模糊图像。在510，将低通滤波应用于输入的图像的Y信号，以生成具有宽内核尺寸的高度模糊图像。在512，将EP滤波应用于输入的图像的Y信号，以生成具有中等内核尺寸的第二中度模糊图像。

在514，从轻度模糊图像减去第一中度模糊图像以获得中等锐化图像，在516，从第二中度模糊图像减去高度模糊图像以获得宽锐化图像。在518，将第一缩放因子应用于中等锐化图像，并将第二缩放因子应用于宽锐化图像，在520，将缩放后的中等锐化图像、缩放后的宽锐化图像和输入的图像的Y信号进行组合，以生成锐化后的图像。在522，使用UV信号将锐化后的图像的色彩空间从YUV格式反向转换为原始格式。

图6是根据一个实施例的在网络环境中的电子设备的框图。参照图6，网络环境600中的电子设备601可以经由第一网络698(例如，短程无线通信网络)与电子设备602通信，或者可以经由第二网络699(例如，远程无线通信网络)与电子设备604或服务器608通信。电子设备601可以经由服务器608与电子设备604通信。电子设备601可以包括处理器620、存储器630、输入设备650、声音输出设备655、显示设备660、音频模块670、传感器模块676、接口677、触觉模块679、相机模块680、电源管理模块688、电池689、通信模块690、用户识别模块(SIM)696或天线模块697。在一个实施例中，可以从电子设备601省略这些组件中的至少一个(例如，显示设备660或相机模块680)，或者可以将一个或更多个其他组件添加到电子设备601中。在一个实施例中，某些组件可以被实现为单个集成电路(IC)。例如，传感器模块676(例如，指纹传感器、虹膜传感器或照度传感器)可以被嵌入在显示设备660(例如，显示器)中。

处理器620可以执行例如软件(例如，程序640)以控制与处理器620耦接的电子设备601的至少一个其他组件(例如，硬件或软件组件)，并且可以执行各种数据处理或计算。作为数据处理或计算的至少一部分，处理器620可以将从另一组件(例如，传感器模块676或通信模块690)接收的命令或数据加载到易失性存储器632中，处理存储在易失性存储器632中的命令或数据，并将结果数据存储在非易失性存储器634中。处理器620可以包括主处理器621(例如，中央处理单元(CPU)或应用处理器(AP))以及可独立于主处理器621或与主处理器621一起操作的辅助处理器623(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器集线器处理器或通信处理器(CP)。另外地或作为另外的选择，可以采用辅助处理器623以消耗比主处理器621少的功率，或者执行特定功能。辅助处理器623可以被实现为与主处理器621分开或者主处理器621的一部分。

在主处理器621处于非活动(例如，睡眠)状态时，辅助处理器623可以代替主处理器621控制与电子设备601的组件中的至少一个组件(例如，显示设备660、传感器模块676或通信模块690)有关的至少一些功能或状态，或者在主处理器621处于活动状态(例如，执行应用)时，辅助处理器623可以与主处理器621一起控制与电子设备601的组件中的至少一个组件有关的至少一些功能或状态。根据一个实施例，辅助处理器623(例如，图像信号处理器或通信处理器)可以被实现为在功能上与辅助处理器623相关的另一组件(例如，相机模块680或通信模块690)的一部分。

存储器630可以存储由电子设备601的至少一个组件(例如，处理器620或传感器模块676)使用的各种数据。各种数据可以包括例如软件(例如，程序640)以及针对与之相关的命令的输入数据或输出数据。存储器630可以包括易失性存储器632或非易失性存储器634。

程序640可以作为软件存储在存储器630中，并且可以包括例如操作系统(OS)642、中间件644或应用646。

输入设备650可以从电子设备601的外部(例如，用户)接收将由电子设备601的另一组件(例如，处理器620)使用的命令或数据。输入设备650可以包括例如麦克风、鼠标或键盘。

声音输出设备655可以将声音信号输出到电子设备601的外部。声音输出设备655可以包括例如扬声器或接收器。扬声器可以用于一般目的，诸如播放多媒体或录音，而接收器可用于接收来电。根据一个实施例，接收器可以被实现为与扬声器分离或扬声器的一部分。

显示设备660可以在视觉上向电子设备601的外部(例如，用户)提供信息。显示设备660可以包括例如显示器、全息图设备或投影仪以及用于控制显示器、全息设备和投影仪中的相应的一个的控制电路。根据一个实施例，显示设备660可以包括适合于检测触摸的触摸电路，或适合于测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。

音频模块670可以将声音转换成电信号，反之亦然。根据一个实施例，音频模块670可以经由输入设备650获得声音，或者经由声音输出设备655或与电子设备601直接(例如，有线地)或无线耦接的外部电子设备602的耳机输出声音。

传感器模块676可以检测电子设备601的操作状态(例如，功率或温度)或电子设备601外部的环境状态(例如，用户的状态)，然后生成与检测到的状态相对应的电信号或数据值。传感器模块676可以包括例如姿势传感器、陀螺仪传感器、大气压传感器、磁传感器、加速度传感器、握持传感器、接近传感器、色彩传感器、红外(IR)传感器、生物传感器、温度传感器、湿度传感器或照度传感器。

接口677可以支持一种或更多种指定的协议，以用于将电子设备601与外部电子设备602直接(例如，有线)或无线地耦接。根据一个实施例，接口677可以包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端子678可以包括连接器，电子设备601可以经由连接器与外部电子设备602物理连接。根据一个实施例，连接端子678可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块679可以将电信号转换成可以由用户经由触觉或动觉识别的机械刺激(例如，振动或移动)或电刺激。根据一个实施例，触觉模块679可以包括例如电机、压电元件或电刺激器。

相机模块680可以捕获静止图像或运动图像。根据一个实施例，相机模块680可以包括一个或更多个镜头、图像传感器、图像信号处理器或闪光灯。

电源管理模块688可以管理供应给电子设备601的电力。电源管理模块688可以被实现为例如电源管理集成电路(PMIC)的至少一部分。

电池689可以向电子设备601的至少一个组件供电。根据一个实施例，电池689可以包括例如不可充电的一次电池、可充电的二次电池或燃料电池。

通信模块690可以支持在电子设备601与外部电子设备(例如，电子设备602、电子设备604或服务器608)之间建立直接(例如，有线)通信信道或无线通信信道，并通过已建立的通信信道执行通信。通信模块690可以包括可以独立于处理器620(例如，AP)进行操作的一个或更多个通信处理器，并且支持直接(例如，有线)通信或无线通信。根据一个实施例，通信模块690可以包括无线通信模块692(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块694(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应通信模块可以经由第一网络698(例如，诸如蓝牙(Bluetooth^TM)、无线保真(Wi-Fi)直连或红外数据标准协会(IrDA)的短距离通信网络)或第二网络699(例如，诸如蜂窝网络、互联网或计算机网络(例如，LAN或广域网(WAN)的远程通信网络)，与外部电子设备进行通信。这些各种类型的通信模块可以被实现为单个组件(例如，单个IC)，或者可以被实现为彼此分开的多个组件(例如，多个IC)。无线通信模块692可以使用存储在用户识别模块696中的用户信息(例如，国际移动用户识别码(IMSI))识别和认证通信网络(例如，第一网络698或第二网络699)中的电子设备601。

天线模块697可以向电子设备601的外部(例如，外部电子设备)发送信号或电力，或者从电子设备601的外部接收信号或电力。根据一个实施例，天线模块697可以包括一个或更多个天线，并且，可以由例如通信模块690(例如，无线通信模块692)选择适合于在诸如第一网络698或第二网络699的通信网络中使用的通信方案的至少一个天线。然后可以经由所选的至少一个天线在通信模块690与外部电子设备之间发送或接收信号或电力。

至少一些上述组件可以相互耦接，并通过外围间通信方案(例如，总线、通用输入和输出(GPIO)、串行外围接口(SPI)或移动产业处理器接口(MIPI))在它们之间传递信号(例如，命令或数据)。

根据一个实施例，可以经由与第二网络699耦接的服务器608在电子设备601与外部电子设备604之间发送或接收命令或数据。电子设备602和604均可以是与电子设备601具有相同类型或不同类型的设备。可以在外部电子设备602、604或608中的一个或更多个设备处执行要在电子设备601处执行的全部或部分操作。例如，如果电子设备601应自动地、或响应于来自用户或另一设备的请求而执行功能或服务，则代替或除了执行该功能或该服务之外，电子设备601可以请求一个或更多个外部电子设备执行该功能或该服务的至少一部分。接收到请求的一个或更多个外部电子设备可以执行所请求的功能或服务的至少一部分，或与该请求有关的附加功能或附加服务，并将执行的结果发送给电子设备601。无论是否对结果进行进一步处理，电子设备601可以提供结果，作为对请求的回复的至少一部分。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。

一个实施例可以被实现为包括一个或更多个指令的软件(例如，程序640)，所述一个或更多个指令被存储在可由机器(例如，电子设备601)读取的存储介质(例如，内部存储器636或外部存储器638)中。例如，电子设备601的处理器可以使用或不使用在处理器的控制下的一个或更多个其他组件，来调用存储在存储介质中的一个或更多个指令中的至少一个，并执行该指令。因此，可以根据所调用的至少一个指令来操作机器以执行至少一个功能。一个或更多个指令可以包括由编译器生成的代码或由解释器可执行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。术语“非暂时性”表示存储介质是有形设备，并且不包括信号(例如电磁波)，但是该术语不区分数据被半永久存储在存储介质中的情况和数据被临时存储在存储介质中的情况。

根据一个实施例，可以在计算机程序产品中包括并提供本公开的方法。该计算机程序产品可以作为产品在卖方和买方之间进行交易。该计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者经由应用商店(例如，PlayStore^TM)在线分发(例如，下载或上传)，或直接在两个用户设备(例如，智能电话)之间。如果是在线分发的，则计算机程序产品的至少一部分可以临时生成或至少临时存储在机器可读存储介质中，例如，制造商服务器的存储器、应用商店的服务器或中继服务器。

根据一个实施例，上述组件中的每个组件(例如，模块或程序)可以包括单个实体或多个实体。可以省略上述组件中的一个或更多个，或者可以添加一个或更多个其他组件。作为另外的选择或另外地，可以将多个组件(例如，模块或程序)集成到单个组件中。在这种情况下，集成组件仍可以以与集成之前多个组件中的相应组件执行的功能相同或相似的方式，来执行多个组件中的每个组件的一个或更多个功能。由模块、程序或另一组件执行的操作可以顺序地、并行地、重复地或启发式地执行，或者一个或更多个操作可以以不同的顺序执行或被省略，或者可以添加一个或更多个其他操作。

尽管已经在本公开的详细描述中描述了本公开的某些实施例，但是在不脱离本公开的范围的情况下，可以以各种形式修改本公开。因此，本公开的范围不应仅基于所描述的实施例来确定，而是应基于所附权利要求及其等同物来确定。

Claims

1.一种锐化图像的方法，所述方法包括：

接收输入图像；

将低通滤波应用于所述输入图像，以生成第一图像和第二图像，其中，所述第一图像的内核尺寸与所述第二图像的内核尺寸不同；

将边缘保持滤波应用于所述输入图像，以生成第三图像和第四图像，其中，所述第三图像的内核尺寸与所述第四图像的内核尺寸不同；

从所述第三图像减去所述第一图像以获得第一结果图像，其中，所述第一图像的内核尺寸大于所述第三图像的内核尺寸；

从所述第四图像减去所述第二图像以获得第二结果图像，其中，所述第二图像的内核尺寸大于所述第四图像的内核尺寸；以及

将所述第一结果图像、所述第二结果图像与所述输入图像求和，以生成锐化后的图像。

2.根据权利要求1所述的方法，还包括：

将所述输入图像的色彩空间从原始色彩空间转换为具有Y信号和UV信号的YUV色彩格式，其中，所述低通滤波和所述边缘保持滤波被应用于所述输入图像的所述Y信号，并且所述锐化后的图像是使用所述输入图像的所述Y信号生成的；以及

使用所述输入图像的所述UV信号，将所述锐化后的图像的所述色彩空间从所述YUV格式反向转换为所述原始色彩空间。

3.根据权利要求2所述的方法，其中，所述原始色彩空间包括RGB、CMYK和Bayer RGB中的一种。

4.根据权利要求2所述的方法，其中，将低通滤波应用于所述输入图像包括：

将低通滤波应用于所述输入图像的所述Y信号，以生成具有中等内核尺寸的所述第一图像，其中，所述第一图像是第一中度模糊图像；以及

将低通滤波应用于所述输入图像的所述Y信号，以生成具有宽内核尺寸的所述第二图像，其中，所述第二图像是高度模糊图像。

5.根据权利要求4所述的方法，其中，所述低通滤波是高斯滤波。

6.根据权利要求2所述的方法，其中，将边缘保持滤波应用于所述输入图像包括：

将边缘保持滤波应用于所述输入图像的所述Y信号，以生成具有窄内核尺寸的所述第三图像，其中，所述第三图像是轻度模糊图像；以及

将边缘保持滤波应用于所述输入图像的所述Y信号，以生成具有中等内核尺寸的所述第四图像，其中，所述第四图像是第二中度模糊图像。

7.根据权利要求6所述的方法，其中，所述边缘保持滤波是双边滤波和引导滤波之一。

8.根据权利要求1所述的方法，其中，所述第一结果图像是中等锐化图像，所述第二结果图像是宽锐化图像。

9.根据权利要求8所述的方法，还包括：

在与所述输入图像求和之前，将第一缩放因子应用于所述中等锐化图像；以及

在与所述输入图像求和之前，将第二缩放因子应用于所述宽锐化图像。

10.一种电子设备，包括：

处理器；以及

存储指令的非暂时性计算机可读存储介质，所述指令在被执行时，使得所述处理器：

接收输入图像；

11.根据权利要求10所述的电子设备，其中，所述指令还使得所述处理器：

12.根据权利要求11所述的电子设备，其中，所述原始色彩空间包括RGB、CMYK和BayerRGB中的一种。

13.根据权利要求11所述的电子设备，其中，在将低通滤波应用于所述输入图像时，所述指令进一步使得所述处理器：

将低通滤波应用于所述输入图像的所述Y信号以生成具有中等内核尺寸的所述第一图像，其中，所述第一图像是第一中度模糊图像；以及

将低通滤波应用于所述输入图像的所述Y信号以生成具有宽内核尺寸的所述第二图像，其中，所述第二图像是高度模糊图像。

14.根据权利要求13所述的电子设备，其中，所述低通滤波是高斯滤波。

15.根据权利要求11所述的电子设备，其中，在将边缘保持滤波应用于所述输入图像时，所述指令进一步使得所述处理器：

将边缘保持滤波应用于所述输入图像的所述Y信号以生成具有窄内核尺寸的所述第三图像，其中，所述第三图像是轻度模糊图像；以及

将边缘保持滤波应用于所述输入图像的所述Y信号以生成具有中等内核尺寸的所述第四图像，其中，所述第四图像是第二中度模糊图像。

16.根据权利要求15所述的电子设备，其中，所述边缘保持滤波是双边滤波和引导滤波之一。

17.根据权利要求10所述的电子设备，其中，所述第一结果图像是中等锐化图像，所述第二结果图像是宽锐化图像。

18.根据权利要求17所述的电子设备，其中，所述指令还使得所述处理器：

19.一种电子设备的图像处理器，包括：

中等低通滤波器，所述中等低通滤波器将低通滤波应用于输入图像以获得第一中度模糊图像；

宽低通滤波器，所述宽低通滤波器将低通滤波应用于所述输入图像以获得高度模糊图像；

边缘保持窄滤波器，所述边缘保持窄滤波器将边缘保持滤波应用于所述输入图像以获得轻度模糊图像；

边缘保持中等滤波器，所述边缘保持中等滤波器将边缘保持滤波应用于所述输入图像以获得第二中度模糊图像；

第一组合器，所述第一组合器从所述轻度模糊图像减去所述第一中度模糊图像以获得中等锐化图像；

第二组合器，所述第二组合器从所述第二中度模糊图像减去所述高度模糊图像以获得宽锐化图像；以及

第三组合器，所述第三组合器将所述中等锐化图像、所述宽锐化图像与所述输入图像求和以获得锐化后的图像。

20.根据权利要求19所述的图像处理器，其中，在与所述输入图像求和之前，第一缩放因子被应用于所述中等锐化图像，并且第二缩放因子被应用于所述宽锐化图像。