CN117716705A - 一种图像处理方法、图像处理装置及存储介质 - Google Patents

Abstract

本公开是关于一种图像处理方法、图像处理装置及存储介质，图像处理方法包括：确定待处理图像；确定所述待处理图像中的像素类型，所述像素类型包括运动像素和非运动像素；基于所述像素类型对所述待处理图像进行卷积增强处理；基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像。通过本公开实施例，对待处理图像像素是否为运动像素的判断，来确认是否对待处理图像进行卷积增强处理，可以避免对噪声大的运动图像进行卷积增强处理，避免卷积增强处理后造成噪声的增强，进而提高运动图像处理的清晰度。

Description

一种图像处理方法、图像处理装置及存储介质 技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置及存储介质。

背景技术

随着智能手机等具有图像采集拍摄功能的智能终端不断升级，智能终端拍摄的图像像素越来越高，可以拍出更加精细、锐利的照片。为了满足用户不同的拍照需求，需要提升终端的变焦能力。超分算法在光学变焦的基础上，可以实现连续变焦和大倍率的数字变焦，让用户拍出更加清晰的照片。

相关技术中，手机变焦系统广泛应用的是多帧超分算法。用户按下拍照按钮后，手机会拍摄多帧图像，通过超分算法改善画质，完成多帧图像融合，得到一张高画质的图像。但是如果拍摄的是运动的模糊图像，对这类图像应用多帧超分算法并不能降低噪声，反而增大噪声，使图像更加模糊。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像处理方法、图像处理装置及存储介质，用于改善图像画质，增强图像细节。

根据本公开实施例的第一方面，提供一种图像处理方法，应用于终端，包括：确定待处理图像；确定所述待处理图像中的像素类型，所述像素类型包括运动像素和非运动像素；基于所述像素类型对所述待处理图像进行卷积增强处理；基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像。

在一种实施方式中，所述基于所述像素类型对所述待处理图像进行卷积增强处理，包括：若确定所述像素类型为非运动像素，则对所述待处理图像进行卷积增强处理。

在一种实施方式中，所述基于所述像素类型对所述待处理图像进行卷积增强处理，包括：若确定所述像素类型为运动像素，则确定融合帧数，所述融合帧数为对多帧图像进行融合时使用的帧数；基于所述融合帧数，对所述待处理图像进行卷积增强处理。

在一种实施方式中，所述基于所述融合帧数，对所述待处理图像进行卷积增强处理，包括：若所述融合帧数大于帧数阈值，则对所述待处理图像进行卷积增强处理。

在一种实施方式中，所述方法还包括：若所述融合帧数小于或等于帧数阈值，则取消对所述待处理图像进行卷积增强处理。

在一种实施方式中，所述对所述待处理图像进行卷积增强处理，包括：基于具有单层 卷积并具有设定卷积核大小的卷积神经网络模型，对所述待处理图像进行卷积增强处理。

在一种实施方式中，所述设定卷积核大小采用交替优化方式基于预设图像以及卷积增强处理结果确定。

在一种实施方式中，所述设定卷积核大小为7x7。

在一种实施方式中，所述基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像，包括：基于设定的Alpha融合参数，对卷积增强处理后的图像，以及所述待处理图像进行Alpha融合，得到目标图像。

根据本公开实施例的第二方面，提供一种图像处理装置，应用于终端，包括：确定单元，用于确定待处理图像；并确定所述待处理图像中的像素类型，所述像素类型包括运动像素和非运动像素；处理单元，用于基于所述像素类型对所述待处理图像进行卷积增强处理；并基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像。

在一种实施方式中，所述处理单元采用如下方式基于所述像素类型对所述待处理图像进行卷积增强处理：若确定所述像素类型为非运动像素，则对所述待处理图像进行卷积增强处理。

在一种实施方式中，所述处理单元采用如下方式基于所述像素类型对所述待处理图像进行卷积增强处理：若确定所述像素类型为运动像素，则确定融合帧数，所述融合帧数为对多帧图像进行融合时使用的帧数；基于所述融合帧数，对所述待处理图像进行卷积增强处理。

在一种实施方式中，所述处理单元采用如下方式基于所述融合帧数，对所述待处理图像进行卷积增强处理：若所述融合帧数大于帧数阈值，则对所述待处理图像进行卷积增强处理。

在一种实施方式中，若所述融合帧数小于或等于帧数阈值，则所述处理单元取消对所述待处理图像进行卷积增强处理。

在一种实施方式中，所述处理单元采用如下方式对所述待处理图像进行卷积增强处理：基于具有单层卷积并具有设定卷积核大小的卷积神经网络模型，对所述待处理图像进行卷积增强处理。

在一种实施方式中，所述设定卷积核大小采用交替优化方式基于预设图像以及卷积增强处理结果确定。

在一种实施方式中，所述设定卷积核大小为7x7。

在一种实施方式中，所述处理单元采用如下方式基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像：基于设定的Alpha融合参数，对卷积增强处理后的图像， 以及所述待处理图像进行Alpha融合，得到目标图像。

根据本公开实施例的第三方面，提供一种图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：执行第一方面任意一种实施方式中所述的图像处理的方法。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，所述存储介质中存储有指令，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行第一方面任意一种实施方式中所述的图像处理的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：通过对待处理图像像素是否为运动像素的判断，来确认是否对待处理图像进行卷积增强处理，可以避免对噪声大的运动图像进行卷积增强处理，避免卷积增强处理后造成噪声的增强，进而提高运动图像处理的清晰度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种图像处理方法的流程图。

图2是根据一示例性实施例示出的一种图像处理方法的流程图。

图3是根据一示例性实施例示出的一种图像处理方法的流程图。

图4是根据一示例性实施例示出的一种图像处理方法的流程图。

图5是根据一示例性实施例示出的一种图像处理方法的流程图。

图6是根据一示例性实施例示出的一组图像处理方法的示例图。

图7是根据一示例性实施例示出的一种图像处理装置的框图。

图8是根据一示例性实施例示出的一种图像处理装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。

随着智能手机等具有图像采集拍摄功能的智能终端不断升级，智能终端拍摄的图像像素越来越高，可以拍出更加精细、锐利的照片。为了满足用户不同的拍照需求，需要提升终端的变焦能力。超分算法在光学变焦的基础上，可以实现连续变焦和大倍率的数字变焦， 让用户拍出更加清晰的照片。相关技术中，终端变焦系统广泛应用的是多帧超分算法。在应用多帧超分算法进行拍照时，用户按下拍照按钮，终端会连续拍摄多帧图像，从多帧图像中挑选参考帧，再进行多帧对齐和去鬼影处理，经过图像融合得到单帧图像。通过AI细节增强、降噪和锐化模块，计算出一张高画质的超分图像。超分图像经过上采样处理，将图像放大到预设尺寸得到最终所需图像。在AI细节增强的过程中，如果对运动图像进行增强，由于运动图像中存在的噪声较多，故会增强图像中的噪声，使图像更加不清晰，用户体验较差。

由此，本公开提供一种图像处理方法，可以应用于终端，图像处理方法包括：基于多帧图像融合的待处理图像确实是否为运动像素的像素类型，并根据像素类型确定结果判断是否对图像进行卷积增强处理，通过本公开的AI细节增强的处理方法，能够避免对噪声大的运动图像进行卷积增强处理，进而避免卷积增强处理后造成噪声的增强，提高运动图像的处理效果。

图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，图像处理方法用于终端中，本公开实施例对图像处理方法所应用的终端种类不作限定。例如，终端的示例可以包括：手机、平板电脑、笔记本电脑、可穿戴设备等。图像处理方法包括以下步骤。

在步骤S11中，确定待处理图像。

在本公开实施例中，用户按下拍照按钮，终端会连续拍摄多帧图像，多帧图像经过参考帧选取、多帧对齐和去鬼影处理，并由图像融合算法完成多帧图像的融合，得到融合后的图像，后续称融合后的图像为待处理图像。

在步骤S12中，确定待处理图像中的像素类型，像素类型包括运动像素和非运动像素。

在本公开实施例中，用户拍摄的图像可以是静止图像，也可以是运动图像。其中，本公开实施例中主要针对运动图像进行处理。其中，终端根据待处理图像的像素类型，判断待处理图像是静止图像，还是运动图像。其中，静止图像的像素类型为非运动像素，运动图像的像素为运动像素。

在步骤S13中，基于像素类型对待处理图像进行卷积增强处理。

在本公开实施例中，根据待处理图像的不同像素类型匹配有不同的增强处理方案。通过对需要增强的图像进行卷积处理，可以让图像变得更清晰，给用户带来更好的视觉感受。

在步骤S14中，基于卷积增强处理后的图像，以及待处理图像，得到目标图像。

其中，本公开实施例中的目标图像可以理解为是进行AI增强处理后的图像。其中，AI增强处理可以按照设定需求强调图像的整体或局部特征，比如进行清晰度增强，以将不清 晰的图像增强为清晰图像，在例如也可以是对特定图像特征进行增强，扩大图像中不同物体特征之间的差别，提高图像的视觉效果。

其中，进行AI增强处理可以是基于AI增强模型进行增强。例如，基于卷积模型，进行增强。本公开实施例以下以AI增强处理采用卷积增强处理为例进行说明。

本公开实施例提供的图像处理方法，在进行卷积增强处理时，基于像素类型确定是否进行卷积增强处理，能够避免对噪声大的运动图像进行卷积增强处理，进而避免卷积增强处理后造成噪声的增强，提高运动图像的处理效果。

本公开实施例中若像素类型为非运动像素，则对待处理图像进行卷积增强处理。

图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，图像处理方法可以用于终端中，本公开实施例对图像处理方法所应用的终端种类不作限定。图像处理方法包括步骤S21和步骤S22。其中，步骤S21和图1中步骤S11的执行步骤相类似，本公开在此不再赘述。

在步骤S22中，确定待处理图像中的像素类型为非运动像素，对待处理图像进行卷积增强处理。

在本公开实施例中，若待处理图像的像素类型为非运动像素，则判定该图像为静止图像，并对该静止图像进行增强处理，通过对图像进行卷积处理，可以让图像的暗部细节更多，细节更清晰，给用户带来更好的视觉感受。

本公开实施例中若像素类型为运动像素，则基于待处理图像融合时使用的帧数，对待处理图像进行卷积增强处理。

图3是根据一示例性实施例示出的一种图像处理方法的流程图，如图3所示，图像处理方法可以用于终端中，本公开实施例对图像处理方法所应用的终端种类不作限定。图像处理方法包括步骤S31、步骤S32和步骤S33。其中，步骤S31和图1中步骤S11的执行步骤相类似，本公开在此不再赘述。

在步骤S32中，确定待处理图像中的像素类型为运动像素，确定融合帧数。

其中，融合帧数为多帧图像进行融合时使用的帧数。其中，可以理解的是，拍摄图像为运动图像时，采集的多帧图像中会存在噪声比较大的部分帧，在后续图像融合过程中，不会使用这些噪声大的部分帧，只选取噪声小的帧。本公开实施例中融合帧数可以理解为是多帧图像融合时使用的噪声较小的帧的数量。

在本公开实施例中，若待处理图像的像素类型为运动像素，则判定该图像为运动图像。根据本公开实施例，将多帧图像融合成单帧图像的过程中，不同运动程度的图像所使用的帧数不同。其中，本公开实施例中融合所使用的帧数可以采用相关技术中的方式确定，本 公开实施例对此不做限定。一种实施方式中例如，通过确定多帧图像中其他帧相对于参考帧运动向量，确定融合的帧数。在融合的过程中，为了减少匹配误差，只选取运动向量小于阈值的帧作为融合时使用的帧。通过确定融合帧数来判断图像的运动程度。

在步骤S33中，基于融合帧数，对待处理图像进行卷积增强处理。

在本公开实施例中，多帧图像进行融合时使用的帧数可以用来判断图像的运动程度。

一种实施方式中，若在多帧图像进行融合时使用的帧数小于或等于设定帧数阈值，则判断待处理图像运动程度比较强，则取消对待处理图像进行卷积增强处理。

另一种实施方式中，若在多帧图像进行融合时使用的帧数大于设定帧数阈值，则判断待处理图像运动程度比较弱，则对待处理图像进行卷积增强处理。

图4是根据一示例性实施例示出的一种图像处理方法的流程图，如图4所示，图像处理方法可以用于终端中，本公开实施例对图像处理方法所应用的终端种类不作限定。其中，步骤S41和图3中步骤S31的执行步骤相类似，步骤S42和图3中步骤S32的执行步骤相类似，本公开在此不再赘述。

在步骤S43中，确定融合帧数是否大于帧数阈值。

其中，本公开实施例中涉及的帧数阈值，可以是预先设置的实验值，用于确定待处理图像的运动程度。

在步骤S44中，确定融合帧数大于帧数阈值，对待处理图像进行卷积增强处理。

在本公开实施例中，通过确定多帧图像进行融合时使用的帧数来判断图像的运动程度。若在多帧图像进行融合时使用的帧数大于设定帧数阈值，则判断待处理图像运动程度比较弱，可理解为静止图像，则对待处理图像进行卷积增强处理。

根据本公开实施例，对运动程度比较弱的待处理图像，可以理解为是静止图像，采用卷积增强处理的方式可以让图像暗部细节增多，细节更清晰，带来更好的视觉效果。

在步骤S45中，确定融合帧数小于或等于帧数阈值，取消对待处理图像进行卷积增强处理。

在本公开实施例中，通过确定多帧图像进行融合时使用的帧数来判断图像的运动程度。若在多帧图像进行融合时使用的帧数小于或等于设定帧数阈值，则判断待处理图像运动程度比较强，此时图像的噪声很大，如果对待处理图像进行卷积增强处理，则会增强噪声，让图像变得更不清晰。因此，当判断待处理图像运动程度比较强时，取消对待处理图像进行卷积增强处理。

本公开实施例中，取消对待处理图像进行卷积增强处理，可以是将待处理图像直接作为后续输出目标图像的前期处理。例如，在进行AI增强处理时，需要对多帧图像进行融合 处理，此处可以将待处理图像直接进行融合处理，得到目标图像。

本公开实施例以下对卷积增强处理的过程进行说明。其中，在本公开实施例中，对待处理图像进行卷积增强处理的卷积神经网络模型为单层卷积。相比于深度卷积网络中的多层卷积的设计思想，单层卷积可以减少计算量，加快计算速度。通过在终端预先配置好固定大小的卷积核，对待处理图像进行卷积增强处理。

在本公开实施例中，根据预设图像以及卷积增强的结果，采用交替优化的方式来确定卷积核的大小。

本公开实施例以下对采用交替优化方法确定卷积核大小的实施过程进行说明。

假设计算卷积核采用模型：

v＝u×k+n

其中v代表预设图像，u代表卷积增强的结果，k代表卷积核，n代表误差项。其中，误差项可以理解为是增强结果与卷积核相乘得到的图像结果与预设图像之间的误差。其中，误差项对应的误差值越小，求得的卷积核越精确。在确定神经网络模型中卷积核的大小时，需要不断输入预设图像。其中，预设图像可以是终端拍摄的图像，包括静止图像和运动图像。本公开实施例对图像种类不作限定。例如，图像的示例可以包括：文字、建筑、人脸、路面、草地等。本公开实施例确定增强效果最佳且误差最小时对应的卷积核，该卷积核被最终配置于终端，以进行卷积增强处理。

故，在确定卷积核时，可以采用如下公式进行确定：

上式中， 为保真项。求解(u×k-v)的最小值，让误差接近为0，即可实现保真。 可以保证卷积核的稳定，在求解过程中，k值过大会导致异常，所以通过获取k的最小的值来保证卷积核的稳定，其中γ为预先配置的常量系数。基于 计算出增强结果图像u的梯度并获取最小值，保证图像的稀疏性，其中λ为预先配置的常量系数。上式中存在两个未知项k和u。故，为了求解卷积核k值，本公开实施例一种实施方式中，采用交替优化的方式来确定卷积核k值。

例如，将未知项k和u采用如下算式进行表示：

交替优化确定卷积核k值时，可以在求解的过程中，引入中间变量g：

其中，g为辅助的变量，用来代替求解过程中生成的值，方便下一步求解。 代表向量，t代表交替求解的次数。通过为k设定一个初始值，可以得到如下关系：

其中，β为预先配置的常量系数，T代表预先定义的函数，该函数被定义为

将该函数T带入到上式 中，其中，α代替式中 代替式中 进而求解出u ^(t+1)的值：

进一步的，根据u ^(t+1)的值，求解出k值：

其中，x和y代表图像的像素坐标，c为预先配置的常量系数。

根据本公开实施例，通过采用交替优化的方法，先给定一个初始值，让所有的结果可以计算出来，然后不断迭代，将上述的式子交替计算，直到结果达到想要的效果为止，求解出的卷积核精度更高。

在本公开实施例中，设定卷积核的大小为7x7。相比于3x3、5x5的小尺寸卷积核，7x7的卷积核尺寸更大，能够带来更大尺寸的感受野，增强效果也更加突出，单层的7x7卷积可以减少计算量，加快计算速度。

在本公开实施例中，可以对卷积增强处理后的图像，以及待处理图像进行Alpha融合，得到目标图像并输出，以便于全面细致配合用户主观倾向。

在本公开实施例中，对卷积增强处理后的图像，以及待处理图像进行Alpha融合，用户可以设定Alpha融合参数，修改卷积增强处理后的图像以及待处理图像的权重，来调节增强效果的强弱，实现个性化的调整。融合的计算过程，可以采用如下数学表达式来表示：

I _out＝αI _enhanced+(1-α)I _input,α∈[0,1]

其中，I _enhanced代表卷积增强处理后的图像，I _input代表待处理图像，α为用户设定的Alpha融合参数。

本公开实施例中，对卷积增强处理后的图像，以及待处理图像进行Alpha融合，即将AI增强处理后的图像，与原输入图像进行Alpha融合，Alpha融合参数可以根据AI增强处理结果的需要进行调节。

以下结合示例对本公开上述实施例涉及的图像处理方法进行说明。其中，本公开实施例中主要是以终端的图像拍照过程为例进行说明。

根据本公开实施例，用户按下拍照按钮，终端会连续拍摄多帧图像，首先要从多帧图像中挑选参考帧，再进行多帧对齐和去鬼影，经过图像融合模块得到待处理图像。通过AI细节增强、降噪和锐化模块，计算出一张高画质的超分图像。最后经过上采样模块的处理，把图像放大到需要的尺寸，将放大的结果输出，作为最终图像。本公开在AI细节增强的过程中，采用了本公开上述实施例涉及的图像处理方法，以避免对噪声大的运动图像进行卷积增强处理，进而避免卷积增强处理后造成噪声的增强，提高运动图像的处理效果。

图5是根据一示例性实施例示出的一种图像处理方法的流程图，如图5所示，图像处理方法用于终端中，本公开实施例对图像处理方法所应用的终端种类不作限定。

参照图5，确定待处理图像中的像素类型，判断图像是否为运动图像，如果不是运动图像，则对待处理图像进行卷积增强处理，得到细节增强的目标图像。如果判断图像为运动图像，再根据图像运动的强度来判断是否对运动图像进行卷积增强处理。基于多帧图像融合时使用的图像帧数，来判断运动图像的运动强弱，若融合时使用的帧数小于或等于设定帧数阈值，则判断待处理图像运动程度比较强，取消对运动图像进行卷积增强处理。若在多帧图像进行融合时使用的帧数大于设定帧数阈值，则判断运动图像运动程度比较弱，可以理解为是静止图像，对其进行卷积增强处理，增强图像细节。根据本公开实施例可以避免对噪声大的运动图像进行卷积增强处理，避免卷积增强处理后造成噪声的增强，进而提高运动图像处理的清晰度。

图6是根据一示例性实施例示出一组应用本公开实施例进行图像处理方法进行图像处理的示例图。在图6中，左图是预设图像，中间的图是卷积增强的结果，右边的图是卷积核。通过将卷积核的反卷积应用到预设图像，可以计算出对应的卷积增强的结果图。在预设图像相邻元素之间填充0，将卷积核参数上下、左右翻转，得到反卷积。将反卷积与填充后的图像进行卷积计算，得到内容更丰富的增强图像。经过卷积增强后的图像，暗部细节多，细节清晰。

本公开提供的图像处理方法，在AI细节增强的过程中，基于运动图像的判别进行卷积增强处理与否的判决，能够避免对噪声大的运动图像进行卷积增强处理，进而避免卷积增强处理后造成噪声的增强，提高运动图像的处理效果。

需要说明的是，本领域内技术人员可以理解，本公开实施例上述涉及的各种实施方式/实施例中可以配合前述的实施例使用，也可以是独立使用。无论是单独使用还是配合前述的实施例一起使用，其实现原理类似。本公开实施中，部分实施例中是以一起使用的实施方式进行说明的。当然，本领域内技术人员可以理解，这样的举例说明并非对本公开实施例的限定。

基于相同的构思，本公开实施例还提供一种图像处理装置。

可以理解的是，本公开实施例提供的图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。

图7是根据一示例性实施例示出的一种图像处理装置框图100。参照图7，该装置包括确定单元101和处理单元102。

该确定单元101被配置为确定待处理图像；并确定待处理图像中的像素类型，像素类型包括运动像素和非运动像素。

该处理单元102被配置为基于像素类型对待处理图像进行卷积增强处理；并基于卷积增强处理后的图像，以及待处理图像，得到目标图像。

在本公开实施例中，处理单元102采用如下方式基于像素类型对待处理图像进行卷积增强处理：若确定像素类型为非运动像素，则对待处理图像进行卷积增强处理。

在本公开实施例中，处理单元102采用如下方式基于像素类型对待处理图像进行卷积增强处理：若确定像素类型为运动像素，则确定融合帧数，融合帧数为对多帧图像进行融合时使用的帧数；基于所述融合帧数，对待处理图像进行卷积增强处理。。

在本公开实施例中，处理单元102采用如下方式基于融合帧数，对待处理图像进行卷积增强处理：若融合帧数大于帧数阈值，则对待处理图像进行卷积增强处理。

在本公开实施例中，若融合帧数小于或等于帧数阈值，则处理单元102取消对待处理图像进行卷积增强处理。

在本公开实施例中，处理单元102采用如下方式对待处理图像进行卷积增强处理：基于具有单层卷积并具有设定卷积核大小的卷积神经网络模型，对待处理图像进行卷积增强处理。

在本公开实施例中，设定卷积核大小采用交替优化方式基于预设图像以及卷积增强处 理结果确定。

在本公开实施例中，设定卷积核大小为7x7。

在本公开实施例中，处理单元102采用如下方式基于卷积增强处理后的图像，以及待处理图像，得到目标图像：基于设定的Alpha融合参数，对卷积增强处理后的图像，以及待处理图像进行Alpha融合，得到目标图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种用于图像处理的装置200的框图。例如，装置200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图8，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(I/O)接口212，传感器组件214，以及通信组件216。

处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中， 多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。

I/O接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，本公开还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

进一步可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利范围来限制。

Claims (20)

1. 一种图像处理方法，其特征在于，应用于终端，所述方法包括：

   确定待处理图像；

   确定所述待处理图像中的像素类型，所述像素类型包括运动像素和非运动像素；

   基于所述像素类型对所述待处理图像进行卷积增强处理；

   基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像。
2. 根据权利要求1所述的方法，其特征在于，所述基于所述像素类型对所述待处理图像进行卷积增强处理，包括：

   若确定所述像素类型为非运动像素，则对所述待处理图像进行卷积增强处理。
3. 根据权利要求1所述的方法，其特征在于，所述基于所述像素类型对所述待处理图像进行卷积增强处理，包括：

   若确定所述像素类型为运动像素，则确定融合帧数，所述融合帧数为对多帧图像进行融合时使用的帧数；

   基于所述融合帧数，对所述待处理图像进行卷积增强处理。
4. 根据权利要求3所述的方法，其特征在于，所述基于所述融合帧数，对所述待处理图像进行卷积增强处理，包括：

   若所述融合帧数大于帧数阈值，则对所述待处理图像进行卷积增强处理。
5. 根据权利要求3所述的方法，其特征在于，所述方法还包括：

   若所述融合帧数小于或等于帧数阈值，则取消对所述待处理图像进行卷积增强处理。
6. 根据权利要求1至4中任意一项所述的方法，其特征在于，所述对所述待处理图像进行卷积增强处理，包括：

   基于具有单层卷积并具有设定卷积核大小的卷积神经网络模型，对所述待处理图像进行卷积增强处理。
7. 根据权利要求6所述的方法，其特征在于，所述设定卷积核大小采用交替优化方式基于预设图像以及卷积增强处理结果确定。
8. 根据权利要求6或7所述的方法，其特征在于，所述设定卷积核大小为7x7。
9. 根据权利要求1所述的方法，其特征在于，所述基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像，包括：

   基于设定的Alpha融合参数，对卷积增强处理后的图像，以及所述待处理图像进行Alpha融合，得到目标图像。
10. 一种图像处理装置，其特征在于，应用于终端，所述装置包括：

    确定单元，用于确定待处理图像；并确定所述待处理图像中的像素类型，所述像素类型包括运动像素和非运动像素；

    处理单元，用于基于所述像素类型对所述待处理图像进行卷积增强处理；并基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像。
11. 根据权利要求10所述的装置，其特征在于，所述处理单元采用如下方式基于所述像素类型对所述待处理图像进行卷积增强处理：

    若确定所述像素类型为非运动像素，则对所述待处理图像进行卷积增强处理。
12. 根据权利要求10所述的装置，其特征在于，所述处理单元采用如下方式基于所述像素类型对所述待处理图像进行卷积增强处理：

    若确定所述像素类型为运动像素，则确定融合帧数，所述融合帧数为对多帧图像进行融合时使用的帧数；

    基于所述融合帧数，对所述待处理图像进行卷积增强处理。
13. 根据权利要求12所述的装置，其特征在于，所述处理单元采用如下方式基于所述融合帧数，对所述待处理图像进行卷积增强处理：

    若所述融合帧数大于帧数阈值，则对所述待处理图像进行卷积增强处理。
14. 根据权利要求12所述的装置，其特征在于，

    若所述融合帧数小于或等于帧数阈值，则所述处理单元取消对所述待处理图像进行卷积增强处理。
15. 根据权利要求10至13中任意一项所述的装置，其特征在于，所述处理单元采用如下方式对所述待处理图像进行卷积增强处理：

    基于具有单层卷积并具有设定卷积核大小的卷积神经网络模型，对所述待处理图像进行卷积增强处理。
16. 根据权利要求15所述的装置，其特征在于，所述设定卷积核大小采用交替优化方式基于预设图像以及卷积增强处理结果确定。
17. 根据权利要求15或16所述的装置，其特征在于，所述设定卷积核大小为7x7。
18. 根据权利要求10所述的装置，其特征在于，所述处理单元采用如下方式基于卷积增强处理后的图像，以及所述待处理图像，得到目标图像：

    基于设定的Alpha融合参数，对卷积增强处理后的图像，以及所述待处理图像进行Alpha融合，得到目标图像。
19. 一种图像处理装置，其特征在于，包括：

    处理器；

    用于存储处理器可执行指令的存储器；

    其中，所述处理器被配置为：执行权利要求1至9中任一项所述的图像处理方法。
20. 一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行权利要求1至9中任一项所述的图像处理方法。