CN109949226A - 一种图像处理方法及计算设备 - Google Patents

Abstract

本发明公开了一种图像处理方法及计算设备，其中方法包括步骤：获取与原始图像对应的低分辨率图像；将低分辨率图像与原始图像作为输入图像输入到图像处理机器学习模型组件中，获取相较于所述原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像，其中，该图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到，多组图像集包括高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。

Description

一种图像处理方法及计算设备

技术领域

本发明涉及计算机技术领域，特别涉及一种图像处理方法及计算设备。

背景技术

近年来，利用引导图的引导滤波方法在执行图像滤波时，既可保持图像边缘性又可使图像的纹理部分与引导图近似，因此在图像增强、图像抠图、图像去雾等场景中大受欢迎。基于此，提出一种利用引导滤波单元与卷积神经网络耦合的图像处理方法(例如，深度引导滤波)，该方法可引入引导滤波网络形成深度引导滤波网络，从而可将高分辨率图像作为低分辨率图像的引导图并输出高分辨图像。但这种方法的图像处理结果存在图像细节丢失、图像过于平滑等问题。因此，需要一种图像处理效果更好(例如，图像细节丰富并且图像不会过于平滑)的技术方案。

发明内容

为此，本发明提供一种图像处理方法及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种图像处理方法，适于在计算设备中执行，该方法包括如下步骤：获取与原始图像对应的低分辨率图像；将所述低分辨率图像与所述原始图像作为输入图像输入到图像处理机器学习模型组件中，获取相较于所述原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像，其中，所述图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到，其中，所述多组图像集包括高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。

可选地，图像处理机器学习模型组件是通过深度引导滤波组件与残差卷积神经网络组件耦合生成的。

可选地，将低分辨率图像与所述原始图像作为输入图像输入到图像处理机器学习模型组件中获取相较于原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像包括：将低分辨率图像与所述原始图像输入到深度引导滤波组件，获取与原始图像对应的输出图像；将输出图像输入到残差卷积神经网络组件，获取高分辨率完整图像，其中，高分辨率完整图像是相较于原始图像具有更丰富的细节信息的图像。

可选地，图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到包括：利用多组图像集对深度引导滤波组件以及残差卷积神经网络组件进行协同训练，从而实现使该图像处理机器学习模型组件训练完成。

可选地，利用多组图像集对所述图像处理机器学习模型组件进行训练包括：获取高分辨率完整图像集、高分辨率图像集以及低分辨率图像集；构建图像处理机器学习模型组件，设置有训练参数；利用高分辨率图像集、低分辨率图像集与高分辨率完整图像之间的对应关系对所述图像处理机器学习模型组件进行训练，调整训练参数，直到该图像处理机器学习模型组件达到预设要求。

可选地，图像处理机器学习模型组件包括引导滤波网络和残差网络。

可选地，多组图像集是指利用从与每个画面对应的多个图像中分别提取出高分辨率完整图像、高分辨率图像以及低分辨率图像来形成高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。

根据本发明的又一个方面，提供了一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行根据本发明的图像处理方法的指令。

根据本发明的又一个方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行根据本发明的图像处理方法的指令。

根据本发明的一个方面，提供了一种图像处理方法，包括步骤：获取与原始图像对应的低分辨率图像；将低分辨率图像和所述原始图像作为输入图像输入到深度引导滤波组件，获取与原始图像对应的输出图像；将输出图像输入到残差卷积神经网络组件，获取与输出图像对应的高分辨率完整图像，其中，高分辨率完整图像是相较于原始图像具有更高分辨率且更丰富的细节信息的图像。

可选地，深度引导滤波组件被设置为按照以下方式训练得到：获取高分辨率图像集、高分辨率输出图像集以及低分辨率图像集；构建深度引导滤波组件，引导滤波模型中设置有训练参数；利用低分辨率图像集和高分辨率图像集与高分辨率输出图像集之间的对应关系对所述深度引导滤波组件进行训练，调整训练参数，直到深度引导滤波组件达到预设要求。

可选地，残差卷积神经网络组件被设置为按照以下方式训练得到：获取高分辨率输出图像集和所述高分辨率完整图像集；构建残差卷积神经网络组件，残差卷积神经网络组件中设置有训练参数；利用高分辨率输出图像集与高分辨率完整图像集之间的对应关系对残差卷积神经网络组件训练，调整训练参数，直至残差卷积神经网络组件达到预设要求。

根据本发明的又一个方面，提供了一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行根据本发明的图像处理方法的指令。

根据本发明的又一个方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行根据本发明的图像处理方法的指令。

综上所述，根据本发明的示例性实施例的图像处理方法利用图像处理机器学习模型组件获取原始图像的高分辨率完整图像，实现对原始图像的细节增强并且可提高图像分辨率。更进一步地，可将深度引导滤波组件与残差卷积网络进行耦合，从而可在利用深度引导滤波组件实现对原始图像的细节增强的效果后利用残差卷积网络组件获取分辨率高的图像。更进一步地，可在训练过程中，对各个图像集增加扰动操作，从而提高网络适应性。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明的一个实施例的计算设备100的示意图；

图2示出了本发明的一个实施例的图像处理方法200的流程图；

图3示出了应用根据本发明的一个实施例的深度引导滤波组件对原始图像执行图像处理的示意图；

图4示出了应用根据本发明的一个实施例的图像处理方法对原始图像执行图像处理的示意图；

图5示出了本发明的一个实施例的图像处理方法500的流程图；以及

图6示出了根据本发明一个实施例的移动终端600的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个程序122以及程序数据124。在一些实施方式中，程序122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。

计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备100可以实现为服务器，例如文件服务器、数据库服务器、应用程序服务器和WEB服务器等，也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。

在一些实施例中，计算设备100被配置为执行根据本发明的图像处理方法。其中，计算设备100的一个或多个程序122包括用于执行根据本发明的图像处理方法的指令。

在对图2进行描述之前需要明确的是：本发明中所涉及的深度引导滤波组件是指将引导滤波单元与卷积神经网络耦合的组件，其中，所述引导滤波单元可利用引导图像对输入图像进行滤波处理，使得输出图像大体上与初始图像相似，但是纹理部分与引导图相似。基于此，深度引导滤波组件引入神经卷积网络，在执行引导滤波之前，将低分辨率图像输入神经卷积网络，同样输出低分辨率图像，最后，利用这些图像输入引导滤波层，经过引导滤波处理后，获取最终图像。也就是说，所述深度引导滤波组件完全依靠于神经卷积网络对低分辨率图像的处理结果。

图2示出了本发明的一个实施例的图像处理方法200的流程图，图像处理方法200适用于计算设备(例如图1所示的计算设备100)中执行。

为了便于描述，在此将在本发明中出现的图像进行命名，具体如下，原始图像可表示为M或Ih，与原始图像M对应的低分辨率图像可表示为I_l，输出的高分辨率完整图像可表示为O_h。

如图2所示，方法200始于步骤S210。在步骤S210中，获取与原始图像M对应的低分辨率图像，分辨率是指图像中存储的信息量，即，每英寸图像内具有多少像素点，因此分辨率也通常被叫做像素每英寸，例如，某个图像的分辨率为1280*960，这样，低分辨率图像则表示分辨率比较低的图像。

根据本发明的示例性实施例，可通过对原始图像执行下采样处理来获取与原始图像对应的低分辨率图像，其中，下采样处理可简单理解为执行缩小操作，下采样处理可包括但不限于最近邻插值、双线性插值、均值插值、中值插值。

随后，在步骤S220中，将低分辨率图像I_l与原始图像M作为输入图像输入到图像处理机器学习模型组件中，获取相较于原始图像M具有更高分辨率且更丰富的细节信息的高分辨率完整图像O_h，其中，图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到，其中，多组图像集包括高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。

应注意，多组图像集是指利用从与每个画面对应的多个图像中分别提取出高分辨率完整图像、高分辨率图像以及低分辨率图像来形成高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。高分辨率完整图像的分辨率高且细节信息丰富，所以是用户期望获取的图像，而高分辨率图像虽然图像分辨率高但是图像细节不丰富，低分辨率图像的分辨率低且细节信息不丰富。

在本实施例中，可通过以下步骤获取这些训练集(以上所述的高分辨率完整图像集、高分辨率图像集以及低分辨率图像集)：获取多个高分辨率且细节丰富的图像作为高分辨率完整图像集，随后，在所述高分辨率完整图像集中增加噪声，获取高分辨率图像集，最后将这些高分辨率图像集进行下采样获取低分辨率图像集。

也就是说，将以上图像集输入到图像处理机器学习模型中，利用这些图像集中存在的对应关系对该图像处理机器学习模型进行训练，使其达到预定要求。根据本发明的一个实施例，可将训练集中的这些图像集预留一部分作为测试集，应注意，测试集的大小可由技术人员根据经验来确定。

举例来说，可在训练过程中通过不断训练使如下式的损失函数(loss函数)不断减少直至收敛，这时所述预设要求可以是值低于预定阈值：

Loss＝∑ⁿ _i＝1＝(yi-f(xi))² 公式1

其中，n表示图像中像素的总数，f()代表输出图像的灰度值，y代表低分辨率完整图像的灰度值，x代表某个像素。

根据本发明的示例性实施例，所述图像处理机器学习模型组件是通过深度引导滤波组件与残差卷积神经网络组件耦合生成的。在本发明中，可对深度引导滤波组件与残差卷积神经网络进行组合训练，以实现对图像处理机器学习模型组件训练的目的。总的来说，利用所述多组图像集对深度引导滤波组件进行训练并对残差卷积神经网络组件进行训练，从而实现使所述图像处理机器学习模型组件训练完成。

根据本发明的示例性实施例，利用所述多组图像集对所述图像处理机器学习模型组件进行训练包括：获取高分辨率完整图像集、高分辨率图像集以及低分辨率图像集；构建所述图像处理机器学习模型组件，设置有训练参数；利用高分辨率图像集、低分辨率图像集与高分辨率完整图像之间的对应关系对所述图像处理机器学习模型组件进行训练，调整所述训练参数，直到所述图像处理机器学习模型组件达到预设要求。

具体来说，在对深度引导滤波组件进行训练的过程中，可包括以下步骤：获取高分辨率图像集、低分辨率图像集以及高分辨率完整图像集，构建深度引导滤波组件，所述引导滤波模型中设置有训练参数；利用低分辨率图像集和高分辨率图像集与高分辨率完整图像集之间的对应关系对所述深度引导滤波组件进行训练，调整所述训练参数，直到所述深度引导滤波组件达到预设要求，其中，所述预设条件也可以是以上公式1所表示的损失函数值。

以下将结合图3对深度引导滤波组件进行详细描述，如图3所述，对输入图像I_h进行下采样获取与输入图像I_h对应的低分辨率图像I_l，随后，可将其应用于卷积神经网络C_l(I_l)，产生与低分辨率图像对应的低分辨率输出图像G_l，随后，利用I_h、I_l以及G_l作为输入，经过引导滤波网络获取高分辨率图像G_h。应注意，在描述的过程中，将每个图像作为单通道图像进行描述，若每个图像由多通道(例如，3通道)构成，则可分别对每个图像执行以上操作。因此，在对图3中示出的深度引导滤波组件进行训练时，高分辨率图像集合、低分辨率图像集合和高分辨率完整图像集之间的对应关系，即可实现对所述深度引导滤波组件的训练。

而在对残差卷积神经网络组件进行训练的过程中，可包括以下步骤：构建残差卷积神经网络组件，且残差卷积神经网络组件中设置有训练参数；利用通过深度引导滤波输出的高分辨率完整图像集作为高分辨率输出图像集与效果更好的高分辨率完整图像集之间的对应关系对该残差卷积神经网络组件训练，调整训练参数，直至残差卷积神经网络组件达到预设要求，其中，所述预设条件也可以是以上公式1所表示的损失函数值。根据本发明的一个实施例，所述残差卷积网络组件可首先经过卷积层进行卷积操作，之后进行非线性激活操作，随后可将非线性激活的输出向量输入到残差层得到残差层的输出向量。应注意，所述高清图像输出图像集与高清图像完整图像集相比，虽然分辨率相同，但细节信息比高清图像完整图像集少。因此，若对递归神经网络组件与深度引导滤波组件分别训练时，可分别获取对应的图像集。

此外，在对深度引导滤波组件以及残差卷积神经网络执行训练时，可对训练集(也就是以上提到的多个图像集)执行扰动处理，所述扰动处理包括但不限于随机噪声处理以及随机模糊处理，其中，随机噪声处理可包括但不限于高斯噪声、椒盐噪声等，而随机模糊处理可包括但不限于高斯模糊、均值模糊等，其中，利用以上方法产生的随机数可作为扰动处理的参数。此外应注意，虽然已经描述了利用两次训练过程实现对图像处理机器学习组件的训练，在实际过程中，可仅利用一次训练即可，本发明的实施例对此不做过多限制。

在利用以上方法，完成对图像处理机器学习模型组件的训练后，可将低分辨率图像与原始图像共同输入到训练完成的图像处理机器学习模型组件，将获取的高分辨率输出图像输入到残差卷积神经网络组件，获取与所述高分辨率输出图像对应的高分辨率完整图像。

根据本发明的一些实施例，将所述低分辨率图像与所述原始图像作为输入图像输入到图像处理机器学习模型组件中获取相较于所述原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像包括：将低分辨率图像与原始图像输入到深度引导滤波组件，获取与原始图像对应的高分辨率输出图像；将高分辨率输出图像输入到残差卷积神经网络组件，获取高分辨率完整图像。

为了更清楚地描述本发明的流程，以下将结合图4进行详细描述。

图4示出了应用根据本发明的一个实施例的图像处理方法对原始图像执行图像处理的示意图。

如图4所述，为了便于描述，原始图像可看作高分辨率图像I_h，随后可对高分辨率图像I_h执行下采样处理，获得低分辨率图像I_l，可将低分辨率图像I_l应用于卷积神经网络C_l(I_l)，产生于低分辨率图像对应的低分辨率输出图像G_l，随后，利用I_h、I_l以及G_l作为输入，经过引导滤波网络获取低分辨率完整图像G_h。也就是说，可利用如图3中所示的深度引导滤波组件获取的图像G_h，最后将图像G_h输入到残差网络层，获取输出图像O_h。这样，输出图像O_h不仅细节增强并且可提高了分辨率。

也就是说，根据本发明的一个实施例，原始图像在经过如图4中的引导滤波网络与残差网络后转换为高分辨率完整图像。在该实施例中，引导滤波网络与残差网络均包括数据输入层、卷积计算层、激活层、池化层和全连接层。

在本发明的一个实施例中，在引导滤波网络中，卷积计算层的参数可设置如下：卷积核可被设置为3*3，而针对边界补零这一参数的值来说，可采用1，也就是说，表示将卷积层所输入图像的边缘向外1个像素单位的各行与各列以0填充，并且步长(stride)设置为1，分组(group)表示输入输出对应的分组，默认为1，也就是说默认输出输入的所有通道各为一组。输出一个通道由输入所有通道进行卷积运算。

在本发明的一个实施例中，在残差网络中，卷积计算层的参数可设置如下：卷积核可被设置为3*3，而针对边界补零这一参数的值来说，可采用1，也就是说，表示将卷积层所输入图像的边缘向外1个像素单位的各行与各列以0填充，并且步长(stride)设置为1，分组(group)表示输入输出对应的分组，默认为1，也就是说默认输出输入的所有通道各为一组。输出一个通道由输入所有通道进行卷积运算。

而以上提到的引导滤波网络和残差网络中的激活层可采用PReLU(ParametricRectified Linear Unit)、Leaky ReLU(带泄露整流函数)以及Tanh函数等作为激活层的激活函数，以调整经过卷积层和批标准化层的输出，避免下一层的输出为上一层的线性组合而无法逼近任意函数。本发明的实施例对采用何种激活函数并不做过多地限制，任何具有上述功能的激活方式均可以与本发明的实施例相结合。

图5示出了本发明的一个实施例的图像处理方法500的流程图。图像处理方法500适用于在计算设备(例如图1所示的计算设备100)中执行。

如图5所示，方法500始于步骤S510。在步骤S510中，获取与原始图像对应的低分辨率图像。

在步骤S520中，将低分辨率图像和原始图像作为输入图像输入到深度引导滤波组件，获取与原始图像对应的低分辨率完整图像，其中，低分辨率完整图像是相较于原始图像具有更低分辨率且更丰富的细节信息的图像。

可选地，深度引导滤波组件被设置为按照以下方式训练得到：获取高分辨率图像集、高分辨率完整图像集以及低分辨率图像集；构建深度引导滤波组件，所述引导滤波模型中设置有训练参数；利用低分辨率图像集和高分辨率图像集与高分辨率完整图像集之间的对应关系对所述深度引导滤波组件进行训练，调整所述训练参数，直到深度引导滤波组件达到预设要求。

在步骤S530中，将低分辨率完整图像输入到残差卷积神经网络组件，获取与低分辨率完整图像对应的高分辨率完整图像，其中，高分辨率完整图像是相较于原始图像具有更高分辨率且更丰富的细节信息的图像。

可选地，残差卷积神经网络组件被设置为按照以下方式训练得到：获取高分辨率完整图像集和高分辨率完整图像集；构建残差卷积神经网络组件，残差卷积神经网络组件中设置有训练参数；利用低分辨率完整图像集与高分辨率完整图像集之间的对应关系对残差卷积神经网络组件训练，调整训练参数，直至所述残差卷积神经网络组件达到预设要求。

综上所述，根据本发明的示例性实施例的图像处理方法利用图像处理机器学习模型组件获取原始图像的高分辨率完整图像，实现对原始图像的细节增强并且可提高图像分辨率。更进一步地，可将深度引导滤波组件与残差卷积网络进行耦合，从而可在利用深度引导滤波组件实现对原始图像的细节增强的效果后利用残差卷积网络组件获取分辨率高的图像。更进一步地，可在训练过程中，对各个图像集增加扰动操作，从而提高网络适应性。此处不再赘述。

图6示出了根据本发明一个实施例的移动终端600的结构框图。移动终端600可以包括存储器接口602、一个或多个数据处理器、图像处理器和/或中央处理单元604，以及外围接口606。

存储器接口602、一个或多个处理器604和/或外围接口606既可以是分立元件，也可以集成在一个或多个集成电路中。在移动终端600中，各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口606，以便帮助实现多种功能。

例如，运动传感器610、光线传感器612和距离传感器614可以耦合到外围接口606，以方便定向、照明和测距等功能。其他传感器616同样可以与外围接口606相连，例如定位系统(例如GPS接收机)、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施相关的功能。

相机子系统620和光学传感器622可以用于方便诸如记录照片和视频剪辑的相机功能的实现，其中所述相机子系统和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(厘米OS)光学传感器。可以通过一个或多个无线通信子系统624来帮助实现通信功能，其中无线通信子系统可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子系统624的特定设计和实施方式可以取决于移动终端600所支持的一个或多个通信网络。例如，移动终端600可以包括被设计成支持LTE、3G、GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及Bluebooth^TM网络的通信子系统624。

音频子系统626可以与扬声器628以及麦克风630相耦合，以便帮助实施启用语音的功能，例如语音识别、语音复制、数字记录和电话功能。I/O子系统640可以包括触摸屏控制器642和/或一个或多个其他输入控制器644。触摸屏控制器642可以耦合到触摸屏646。举例来说，该触摸屏646和触摸屏控制器642可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停，其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。一个或多个其他输入控制器644可以耦合到其他输入/控制设备648，例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类的指点设备。所述一个或多个按钮(未显示)可以包括用于控制扬声器628和/或麦克风630音量的向上/向下按钮。

存储器接口602可以与存储器650相耦合。该存储器650可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备，和/或闪存存储器(例如NAND，NOR)。存储器650可以存储操作系统672，例如Android、iOS或是Windows Phone之类的操作系统。该操作系统672可以包括用于处理基本系统服务以及执行依赖于硬件的任务的指令。存储器650还可以存储一个或多个程序674。在移动设备运行时，会从存储器650中加载操作系统672，并且由处理器604执行。程序674在运行时，也会从存储器650中加载，并由处理器604执行。程序674运行在操作系统之上，利用操作系统以及底层硬件提供的接口实现各种用户期望的功能，如即时通信、网页浏览、图片管理等。程序674可以是独立于操作系统提供的，也可以是操作系统自带的。另外，程序674被安装到移动终端600中时，也可以向操作系统添加驱动模块。程序674可以布置为在操作系统上由一个或多个处理器604执行相关的指令。在一些实施例中，移动终端600被配置为执行根据本发明的图像处理方法200。其中，移动终端600的一个或多个程序674包括用于执行根据图像处理方法200的指令。

综上所述，根据本发明的示例性实施例的图像处理方法利用图像处理机器学习模型组件获取原始图像的高分辨率完整图像，实现对原始图像的细节增强并且可提高图像分辨率。更进一步地，可将深度引导滤波组件与残差卷积网络进行耦合，从而可在利用深度引导滤波组件实现对原始图像的细节增强的效果后利用残差卷积网络组件获取分辨率高的图像。更进一步地，可在训练过程中，对各个图像集增加扰动操作，从而提高网络适应性。关于扰动操作的具体处理方式，可参考前文方法200中的相关描述，此处不再赘述。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本发明一并公开了：

A9、如A8所述的方法，其中，深度引导滤波组件被设置为按照以下方式训练得到：获取高分辨率图像集、高分辨率输出图像集以及低分辨率图像集；构建深度引导滤波组件，所述引导滤波模型中设置有训练参数；利用低分辨率图像集和高分辨率图像集与高分辨率输出图像集之间的对应关系对所述深度引导滤波组件进行训练，调整所述训练参数，直到所述深度引导滤波组件达到预设要求。A10、如A9所述的方法，其中，残差卷积神经网络组件被设置为按照以下方式训练得到：获取高分辨率输出图像集和所述高分辨率完整图像集；构建残差卷积神经网络组件，残差卷积神经网络组件中设置有训练参数；利用高分辨率输出图像集与高分辨率完整图像集之间的对应关系对所述残差卷积神经网络组件训练，调整训练参数，直至残差卷积神经网络组件达到预设要求。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的用于对图像中的人脸进行表情识别的卷积神经网络生成方法和/或表情识别方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种图像处理方法，适于在计算设备中执行，所述方法包括步骤：

获取与原始图像对应的低分辨率图像；

将所述低分辨率图像与所述原始图像作为输入图像输入到图像处理机器学习模型组件中，获取相较于所述原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像，其中，所述图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到，其中，所述多组图像集包括高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。

2.如权利要求1所述的方法，其中，所述图像处理机器学习模型组件是通过深度引导滤波组件与残差卷积神经网络组件耦合生成的。

3.如权利要求2所述的方法，其中，将所述低分辨率图像与所述原始图像作为输入图像输入到图像处理机器学习模型组件中，获取相较于所述原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像的步骤包括：

将所述低分辨率图像与所述原始图像输入到深度引导滤波组件，获取与所述原始图像对应的输出图像；

将所述输出图像输入到残差卷积神经网络组件，获取高分辨率完整图像。

4.如权利要求2所述的方法，其中，所述图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到，包括步骤：

利用所述多组图像集对所述深度引导滤波组件以及所述残差卷积神经网络组件进行协同训练，从而实现使所述图像处理机器学习模型组件训练完成。

5.如权利要求4所述的方法，其中，利用所述多组图像集对所述图像处理机器学习模型组件进行训练的步骤包括：

获取高分辨率完整图像集、高分辨率图像集以及低分辨率图像集；

构建所述图像处理机器学习模型组件，其中所述图像处理机器学习模型组件中设置有训练参数；

利用高分辨率图像集、低分辨率图像集与高分辨率完整图像集之间的对应关系对所述图像处理机器学习模型组件进行训练，调整所述训练参数，直到所述图像处理机器学习模型组件达到预设要求。

6.如权利要求5所述的方法，其中，所述图像处理机器学习模型组件包括引导滤波网络和残差网络。

7.如权利要求1所述的方法，其中，所述多组图像集是指利用从与每个画面对应的多个图像中分别提取出高分辨率完整图像、高分辨率图像以及低分辨率图像来形成高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。

8.一种图像处理方法，适于在计算设备中执行，所述方法包括步骤：

获取与原始图像对应的低分辨率图像；

将所述低分辨率图像和所述原始图像作为输入图像输入到深度引导滤波组件，获取与所述原始图像对应的输出图像；

将所述输出图像输入到残差卷积神经网络组件，获取与所述输出图像对应的高分辨率完整图像，其中，所述高分辨率完整图像是相较于原始图像具有更高分辨率且更丰富的细节信息的图像。

9.一种计算设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-8所述的方法中的任一方法的指令。

10.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-8所述的方法中的任一方法。