CN115689896B - 图像处理方法和图像处理装置 - Google Patents

Abstract

本申请提供了一种图像处理方法和图像处理装置，有利于提高图像的分辨率。本申请提供的方法可以应用于包括摄像头模组的成像设备，该方法可以包括：成像设备响应于用户拍照的操作，控制摄像头模组获取第一图像和第二图像，第一图像和第二图像之间存在亚像素级偏移；成像设备对第一图像和第二图像中的内容进行对齐，得到目标图像。

Description

图像处理方法和图像处理装置

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法和图像处理装置。

背景技术

图像分辨率可以用于表示图像中存储的信息量。目前，图像分辨率受摄像头像素的限制较大，若摄像头像素较高，图像分辨率越高，若摄像头像素较低，图像分辨率较低。若使用像素高的摄像头获取图像，成本较高，若使用像素低的摄像头获取图像，影响图像质量。因此，如何通过摄像头得到更高分辨率的图像成为一个亟需解决的问题。

发明内容

本申请提供一种图像处理方法和图像处理装置，有利于提高图像的分辨率。

第一方面，提供了一种图像处理方法，应用于包括摄像头模组的成像设备。该方法包括：响应于用户拍照的操作，控制摄像头模组获取第一图像和第二图像，第一图像和第二图像之间存在亚像素级偏移；对第一图像和第二图像中的内容进行对齐，得到目标图像。

成像设备可以为用户提供拍照控件或者快门以供用户控制拍照时机。当用户触发拍照控件或者用户按压快门时，成像设备可以检测到用户触发拍照的操作，并响应于该操作。

示例性地，成像设备可以为终端设备，终端设备可以包括相机应用程序，可以为用户提供拍照功能。相机应用程序可以为用户提供拍照界面，该拍照界面可以包括拍照控件以供用户控制拍照时机。用户触发拍照界面的拍照控件时，终端设备可以检测到用户触发拍照的操作。

示例性地，成像设备可以为数码相机，数码相机可以为用户提供快门以供用户控制拍照时机。用户按压快门时，数码相机可以检测到用户触发拍照的操作。

响应于用户拍照的操作，成像设备可以控制摄像头模组获取第一图像和第二图像，第一图像的分辨率与第二图像的分辨率相同，且第一图像和第二图像之间存在亚像素级偏移。第一图像和第二图像之间存在亚像素级偏移，也就是，第一图像中包括的物体和第二图像中包括的物体之间存在像素偏移且像素偏移量为非整数。

成像设备可以对第一图像和第二图像中的内容进行对齐，得到目标图像，目标图像的分辨率高于第一图像和第二图像中任一图像的分辨率，目标图像还可以称为超分辨率图像。成像设备还可以显示目标图像以便于用户查看。

需要说明的是，本申请只是以第一图像和第二图像为例进行说明，响应于用户拍照的操作，成像设备控制摄像头模组获取的图像的数量为大于或等于2的整数，本申请对控制摄像头模组获取的图像的具体数量不作限定。

在具体实施例中，本申请以4个图像为例进行说明。成像设备响应于用户拍照的操作，控制摄像头模组获取4个图像，该4个图像之间均存在亚像素级偏移；对这4个图像中的内容进行对齐，得到目标图像。

本申请提供的图像处理装置，通过存在亚像素级偏移的第一图像和第二图像，得到的目标图像存在比第一图像或者第二图像更多的像素点，有利于得到高分辨率的图像。

结合第一方面，在第一方面的某些实现方式中，摄像头模组包括光圈；控制摄像头模组获取第一图像和第二图像，包括：控制光圈位于第一位置和第二位置，第二位置与第一位置不同；控制摄像头模组在光圈处于第一位置时获取第一图像；控制摄像头模组在光圈处于第二位置时获取第二图像。

摄像头模组包括光圈，该光圈在摄像头模组中的位置是可变的，也就是说，成像设备可以改变光圈在摄像头模组的位置。

成像设备响应于用户的拍照操作，可以控制光圈位于第一位置，并控制摄像头模组在光圈处于第一位置时获取第一图像，紧接着，还可以控制光圈位于第二位置，并控制摄像头模组在光圈处于第二位置时获取第二图像，并基于第一图像和第二图像得到目标图像。第一图像和第二图像还可以称为子光圈图像，为了便于区分，第一图像可以称为子光圈图像1，第二图像可以称为子光圈图像2。

需要说明的是，光圈还可以位于除第一位置和第二位置之外的其他位置，本申请只是以第一位置和第二位置进行说明。光圈可处的位置可以是开发人员预设于成像设备中的。

在具体实施例中，光圈的位置可以如图3所示，第一位置和第二位置可以是图3中的任两个位置。例如，第一位置可以如图3中的a所示，第二位置可以如图3中的b所示。

本申请提供的图像处理装置，通过改变光圈的位置获取存在亚像素级偏移的第一图像和第二图像，简单方便。

结合第一方面，在第一方面的某些实现方式中，第一位置为光圈在摄像头模组中的初始位置。

第一位置为光圈在摄像头模组中的初始位置，也就是说，成像设备响应于用户的拍照操作，无需改变光圈的位置，可以直接控制摄像头模组获取第一图像，控制光圈从第一位置到第二位置，控制摄像头模组获取第二图像。

本申请提供的图像处理装置，改变一次光圈的位置即可得到两个图像，可以提高获取图像的效率。

结合第一方面，在第一方面的某些实现方式中，第一位置或者第二位置为以下位置中的一个：摄像头模组的中上部、摄像头模组的中下部、摄像头模组的中左部、摄像头模组的中右部。

摄像头模组的中上部可以如图3中a所示，摄像头模组的中下部可以如图3中b所示，摄像头模组的中左部可以如图3中c所示，摄像头模组的中右部可以如图3中d所示。

结合第一方面，在第一方面的某些实现方式中，对第一图像和第二图像中的内容进行对齐，得到目标图像，包括：基于第一图像和第二图像中均包含的第一物体，计算第一图像和第二图像之间的光流图；将第一图像和第二图像按照光流图进行对齐，得到目标图像。

第一图像和第二图像存在亚像素级偏移，第一图像和第二图像之间的光流图可以成为亚像素级光流图。第一物体也可以称为目标物。成像设备可以计算第一图像和第二图像中第一物体之间的像素对应关系，得到第一图像和第二图像之间的光流图。成像设备可以将第一图像和第二图像按照光流图进行对齐，得到目标图像。

本申请提供的图像处理装置，将第一图像和第二图像按照光流图进行对齐，得到目标图像，有利于提高图像的分辨率。

结合第一方面，在第一方面的某些实现方式中，将第一图像和第二图像按照光流图进行对齐，得到目标图像，包括：将第一图像、第二图像以及光流图输入至第一模型，得到目标图像，第一模型用于基于第一分辨率的至少两个图像以及至少两个图像之间的流光图输出第二分辨率的图像，第二分辨率大于第一分辨率。

第一图像和第二图像的分辨率可以为第一分辨率，目标图像的分辨率可以是第二分辨率，第二分辨率大于第一分辨率。

示例性地，本申请提供的方法可以如具体实施例中的图4所示，子光圈图像1、子光圈图像2、子光圈图像3以及子光圈图像4用于表示上述第一图像和第二图像，亚像素级光流图1、亚像素级光流图2以及亚像素级光流图3用于表示上述光流图，超分辨率图像用于表示上述目标图像。

本申请提供的图像处理装置，使用第一模型得到分辨率高的图像，有利于提高计算效率。

第二方面，提供了一种图像处理方法，包括：获取第一训练图像和n个第二训练图像，n个第二训练图像中每个第二训练图像的分辨率均为第一分辨率，第一训练图像的分辨率为第二分辨率，第二分辨率大于第一分辨率，n为大于或等于2的整数；将n个第二训练图像中任一第二训练图像作为基准图像，计算n个第二训练图像中除基准图像之外的n-1个第二训练图像与基准图像之间的光流图，得到与n-1个第二训练图像一一对应的n-1个光流图；将n个第二训练图像和n-1个光流图作为输入数据，将第一训练图像作为输出数据，对神经网络模型进行训练，得到第一模型。

第一训练图像的分辨率大于第二训练图像的分辨率，第一训练图像可以称为高分辨率图像，第二训练图像可以称为低分辨率图像，光流图可以称为亚像素级光流图。

n为大于或等于2的整数，若n为4，成像设备可以将4个第二训练图像中任一第二训练图像作为基准图像，计算4个第二训练图像中除基准图像之外的3个第二训练图像与基准图像之间的光流图，得到与3个第二训练图像一一对应的3个光流图；将3个第二训练图像和3个光流图作为输入数据，将第一训练图像作为输出数据，对神经网络模型进行训练，得到第一模型。神经网络模型也可以称为初始模型，本申请实施例对此不作限定。

本申请提供的图像处理方法，训练第一模型，可以通过第一模型对低分辨率的图像进行重构，得到高分辨率的图像，有利于提高图像的分辨率。

结合第二方面，在第二方面的某些实现方式中，获取n个第二训练图像，包括：将第一训练图像在预设范围内随机平移n-1次，得到与n-1次一一对应的n-1个平移后的第一训练图像；基于第一训练图像和n-1个平移后的第一训练图像，得到n个训练图像；分别对n个训练图像中每个训练图像进行下采样，得到与n个训练图像一一对应的n个第二训练图像。

预设范围可以是开发人员预设于成像设备中的。本申请对第一训练图像进行随机平移的范围不作具体限定。例如，成像设备可以在第一训练图像的像素的百分之一个像素内随机平移，也可以在30个像素点范围内随机平移等等。

本申请对第一训练图像进行平移的方位或者顺序不作限定。例如，成像设备可以以第一训练图像为中心，向上平移、向下平移、向左平移或者向右平移等等。

成像设备对第一训练图像进行一次随机平移，可以得到一个平移后的第一训练图像，若在预设范围内对第一训练图像进行n-1次随机平移，则可以得到n-1个平移后的第一训练图像。

成像设备对这n个训练图像进行下采样的次数可以是一次，也可以是多次，本申请对此不作限定。下采样次数越多，第二训练图像的分辨率越低。下采样可以是现有的任一种下采样，本申请实施例对下采样的具体实现方式不作限定。

本申请提供的图像处理方法，基于第一训练图像，得到n个第二训练图像，有利于提高训练第一模型的准确度。

第三方面，提供了一种图像处理装置，该装置包括：控制模块和处理模块。该控制模块用于：响应于用户拍照的操作，控制摄像头模组获取第一图像和第二图像，第一图像和第二图像之间存在亚像素级偏移；处理模块用于：对第一图像和第二图像中的内容进行对齐，得到目标图像。

结合第三方面，在第三方面的某些实现方式中，摄像头模组包括光圈；控制模块还用于：控制光圈位于第一位置和第二位置，第二位置与第一位置不同；控制摄像头模组在光圈处于第一位置时获取第一图像；控制摄像头模组在光圈处于第二位置时获取第二图像。

结合第三方面，在第三方面的某些实现方式中，第一位置为光圈在摄像头模组中的初始位置。

结合第三方面，在第三方面的某些实现方式中，第一位置或者第二位置为以下位置中的一个：摄像头模组的中上部、摄像头模组的中下部、摄像头模组的中左部、摄像头模组的中右部。

结合第三方面，在第三方面的某些实现方式中，处理模块还用于：基于第一图像和第二图像中均包含的第一物体，计算第一图像和第二图像之间的光流图；将第一图像和第二图像按照光流图进行对齐，得到目标图像。

结合第三方面，在第三方面的某些实现方式中，处理模块还用于：将第一图像、第二图像以及光流图输入至第一模型，得到目标图像，第一模型用于基于第一分辨率的至少两个图像以及至少两个图像之间的流光图输出第二分辨率的图像，第二分辨率大于第一分辨率。

第四方面，提供了一种图像处理装置，包括：获取模块和处理模块。获取模块用于：获取第一训练图像和n个第二训练图像，n个第二训练图像中每个第二训练图像的分辨率均为第一分辨率，第一训练图像的分辨率为第二分辨率，第二分辨率大于第一分辨率；处理模块用于：将n个第二训练图像中任一第二训练图像作为基准图像，计算n个第二训练图像中除基准图像之外的n-1个第二训练图像与基准图像之间的光流图，得到与n-1个第二训练图像一一对应的n-1个光流图；将n个第二训练图像和n-1个光流图作为输入数据，将第一训练图像作为输出数据，对神经网络模型进行训练，得到第一模型。

结合第四方面，在第四方面的某些实现方式中，获取模块还用于：将第一训练图像在预设范围内随机平移n-1次，得到与n-1次一一对应的n-1个平移后的第一训练图像；处理模块还用于：基于第一训练图像和n-1个平移后的第一训练图像，得到n个训练图像；分别对n个训练图像中每个训练图像进行下采样，得到与n个训练图像一一对应的n个第二训练图像。

第五方面，本申请提供一种图像处理装置，该图像处理装置包括：处理器和存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，使得图像处理装置执行如第一方面所述的方法或者执行如第二方面所述的方法。

第六方面，本申请提供一种成像设备，该成像设备包括摄像头模组，该成像设备可以用于执行如第一方面所述的方法或者执行如第二方面所述的方法。

第七方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面所述的方法或者实现如第二方面所述的方法。

第八方面，本申请提供一种计算机程序产品，计算机程序产品包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面所述的方法或者执行如第二方面所述的方法。

第九方面，本申请提供了一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行如第一方面所述的方法或者执行如第二方面所述的方法。

附图说明

图1是一种成像的示意图；

图2是另一种成像的示意图；

图3是本申请提供的一种旋转编码光圈结构的示意图；

图4是本申请提供的一种图像处理方法的示意性流程图；

图5是本申请提供的一种获取子光圈图像的示意图；

图6是本申请提供的一种对齐子光圈图像的示意图；

图7是本申请提供的一种计算亚像素级光流图的示意图；

图8是本申请提供的一种获取超分辨率图像的示意图；

图9是本申请提供的另一种图像处理方法的示意性流程图；

图10是本申请提供的一种图像处理的示意图；

图11是本申请提供的一种图像处理装置的示意性框图；

图12是本申请提供的另一种图像处理装置的示意性框图；

图13是本申请提供的又一种图像处理装置的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

目前，终端设备或者数码相机均是使用摄像头拍摄图像，图像的分辨率受摄像头像素的限制较大，若摄像头像素较高，图像分辨率越高，若摄像头像素较低，图像分辨率较低。若终端设备或者数码相机使用像素高的摄像头获取图像，会造成终端设备或者数码相机的成本较高。若终端设备或者数码相机使用像素低的摄像头获取图像，图像质量欠佳，影响用户体验。

另外，若终端设备或者数码相机检测到用户通过高倍率数码变焦获取图像，则终端设备或者数码相机会通过高倍率放大摄像头获取的图像，得到放大后的图像，该放大后的图像的分辨率比直接通过摄像头获取的图像的分辨率低，更不利于用户体验。

有鉴于此，本申请实施例提供一种图像处理方法和图像处理装置，通过摄像头模组获取图像时，可以通过改变摄像头模组中光圈的位置，获取多个存在亚像素级偏移的图像，并基于该多个图像存在亚像素级偏移的得到超分辨率图像，该超分辨率图像相比直接通过摄像头模组得到的图像包含更多的像素点，有利于提高图像分辨率。其中，亚像素级偏移是指不同图像之间同一个物点的像素差值为非整数，例如，不同图像之间同一个物点之间的像素差值为0.5个像素或者1.5个像素等等。

本申请实施例提供的方法可以适用于任意包括摄像头模组的设备，例如，上述终端设备和数码相机。其中，终端设备可以是手机、电脑以及平板等设备。为了便于描述，本申请实施例将包括摄像头的设备称为成像设备，但本申请实施例并不限于此。

为了更好地理解本申请实施例，首先对摄像头模组中光圈进行介绍。

通常，摄像头模组包括透镜、光圈以及感光面装置。其中，光圈是一个用来控制光线透过透镜，进入摄像头模组内感光面光量的装置。对于一般成像设备，光圈的位置是固定，成像设备支持用户通过调整光圈大小来控制透镜的通光量。

示例性地，图1示出了一种成像的示意图。如图1所示，摄像头模组包括透镜、光圈以及感光面装置。摄像头模组采集图像时，光线通过光圈透过透镜，在感光面装置上形成倒立的图像。摄像头模组中的光圈的位置是摄像头模组出厂前固定好的，光圈的大小可根据用户的需求进行调节。光圈越大，摄像头模组获得的图像的背景虚化越严重，可以用于拍摄人像虚化杂乱背景或者以虚化背景为目的的拍摄。大光圈还有利于夜景拍摄，光圈越大，单位时间内进光量越多，有利于提高快门速度。

本申请实施例提供的摄像头模组中的光圈的位置是可变的。对于同一场景，随着光圈位置的变化，成像区域的位置会发生偏移。

示例性地，以上述图1所示的摄像头模组为例，若光圈的位置向下移动，则成像区域的位置也会向下移动。图2示出了一种成像的示意图。如图2所示，摄像头模组包括透镜、光圈以及感光面装置。在摄像头模组采集图像之前，光圈的位置向下移动。摄像头模组采集图像时，光线通过移动后的光圈透过透镜，在感光面装置上形成倒立的图像。该倒立的图像的位置与上述图1所示的倒立的图像的位置不同。

本申请实施例提供的摄像头模组中的光圈的位置变化是出厂前预设的。本申请实施例提供一种旋转编码光圈结构，可以通过旋转光圈的位置，得到不同角度的光线信息。光圈旋转的角度和位置，本申请实施例对此不作具体限定。

在一种可能的实现方式中，摄像头模组出厂时，光圈的位置是初始位置，且为可以采集图像的位置。成像设备通过摄像头模组采集图像时，成像设备可以先通过摄像头模组获取一个图像，然后移动摄像头模组中光圈的位置，再通过摄像头模组获取另外的图像。不同图像之间同一个物点存在亚像素级偏移。

示例性地，图3示出了一种旋转编码光圈结构的示意图。如图3所示，白色部分为透光部分即光圈。如图3中的a所示，光圈位于透镜的中上方。该位置可以是光圈的初始位置。成像设备通过摄像头模组采集图像时，成像设备可以通过光圈在图3中的a所示的位置获取第一个图像，然后再将光圈的位置移动至透镜的中左方，如图3中的b所示。成像设备可以通过光圈在图3中的b所示的位置获取第二个图像，然后再将光圈的位置移动至透镜的中下方，如图3中的c所示。成像设备可以通过光圈在图3中的c所示的位置获取第三个图像，然后再将光圈的位置移动至透镜的中右方，如图3中的d所示。成像设备可以通过光圈在图3中的d所示的位置获取第四个图像，并基于这四个图像，得到超分辨率图像。

需要说明的是，图3所示的光圈的4个位置仅仅为一个示例，光圈除图3所示的4个位置之外，还可以包括透镜的中左上方、中左下方、中右上方以及中右下方，本申请实施例对此不作限定。

这种实现方式，若采集n张图像，则将摄像头模组中的光圈移动n-1次即可，可以减少一次移动光圈的位置，提高获取图像的效率。

在另一种可能的实现方式中，摄像头模组出厂时，光圈的位置是初始位置，但为不可以采集图像的位置。成像设备通过摄像头模组采集图像时，成像设备可以先将摄像头模组中光圈的位置移动到可以采集图像的位置，再通过摄像头模组获取一个图像。成像设备还可以再次移动摄像头模组中光圈的位置，再通过摄像头模组获取另外的图像。不同图像之间同一个物点存在亚像素级偏移。

这种实现方式，在通过摄像头模组获取图像之前，先将摄像头模组中光圈的位置移动到合适位置，有利于每次获取的图像都是满足要求的图像，可以降低误采集的概率。

本申请实施例以上述图3所示的旋转编码光圈结构为例，详细介绍本申请实施例提供的图像处理方法。

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图4示出了一种图像处理方法400的示意性流程图，该方法400可以由成像设备执行，例如终端设备或者数码相机等。如图4所示，该方法400可以包括如下步骤：

S401、检测到用户触发拍照的操作。

成像设备可以为用户提供拍照控件或者快门以供用户控制拍照时机。当用户触发拍照控件或者用户按压快门时，成像设备可以检测到用户触发拍照的操作，并响应于该操作。

示例性地，成像设备可以为终端设备，终端设备可以包括相机应用程序，可以为用户提供拍照功能。相机应用程序可以为用户提供拍照界面，该拍照界面可以包括拍照控件以供用户控制拍照时机。用户触发拍照界面的拍照控件时，终端设备可以检测到用户触发拍照的操作。

示例性地，成像设备可以为数码相机，数码相机可以为用户提供快门以供用户控制拍照时机。用户按压快门时，数码相机可以检测到用户触发拍照的操作。

S402、响应于用户触发拍照的操作，通过摄像头模组获取子光圈图像1。

成像设备中的摄像头模组可以如上述图2所示，光圈的位置在获取图像过程中可以是可变的，在非获取图像的场景中，光圈的位置可以是固定的。

成像设备可以基于摄像头模组获取子光圈图像1，此时，光圈在摄像头模组中的位置可以称为初始位置。初始位置可以如上述图3中的a所示。子光圈图像仅仅为一个名称的示例，本申请实施例对此不作限定。

S403、依次更改摄像头模组中光圈的位置，分别获取子光圈图像2、子光圈图像3以及子光圈图像4。

成像设备将摄像头模组中的光圈更改为上述图3中b所示的位置，并基于摄像头模组获取子光圈图像2。成像设备可以将摄像头模组中的光圈更改为上述图3中c所示的位置，并基于摄像头模组获取子光圈图像3。成像设备可以将摄像头模组中的光圈更改为上述图3中d所示的位置，并基于摄像头模组获取子光圈图像4。子光圈图像1、子光圈图像2、子光圈图像3以及子光圈图像4之间对于同一个物点均存在亚像素级偏移。子光圈图像1、子光圈图像2、子光圈图像3以及子光圈图像4可以称为子光圈图像序列，但本申请实施例并不限于此。

示例性地，图5示出了一种获取子光圈图像的示意图。如图5所示，成像设备响应于用户触发拍照的操作，可以在时序A将光圈调整为如图5中的a所示位置，并通过摄像头模组获取子光圈图像1，在时序B将光圈调整为如图5中的b所示位置，并通过摄像头模组获取子光圈图像2，在时序C将光圈调整为如图5中的c所示位置，并通过摄像头模组获取子光圈图像3，在时序D将光圈调整为如图5中的d所示位置，并通过摄像头模组获取子光圈图像4。子光圈图像1、子光圈图像2、子光圈图像3以及子光圈图像4之间对于同一个物点均存在亚像素级偏移。若成像设备将子光圈图像1、子光圈图像2、子光圈图像3以及子光圈图像4进行对齐，对齐后的图像包括较多的像素点。

示例性地，图6示出了一种对齐子光圈图像的示意图。如图6所示，成像设备可以将子光圈图像1、子光圈图像2、子光圈图像3以及子光圈图像4进行对齐，对齐后的图像包括的像素大于子光圈图像1、子光圈图像2、子光圈图像3以及子光圈图像4中任一子光圈图像包括的像素。

S404、以任一子光圈图像为基准图像，分别计算其他子光圈图像相对于基准图像的亚像素级光流图。

成像设备可以从子光圈图像1、子光圈图像2、子光圈图像3以及子光圈图像4之间选择任一子光圈图像为基准图像，计算除基准图像之外的图像其他子光圈图像相对于基准图像的亚像素级光流图。

示例性地，图7示出了一种计算亚像素级光流图的示意图。如图7所示，成像设备可以将子光圈图像1作为基准图像，计算子光圈图像2相对子光圈图像1的亚像素级光流图，得到亚像素级光流图1，该亚像素级光流图1用于表示子光圈图像2中的目标物与子光圈图像1中目标物之间的像素对应关系。成像设备可以计算子光圈图像3相对子光圈图像1的亚像素级光流图，得到亚像素级光流图2，该亚像素级光流图2用于表示子光圈图像3中的目标物与子光圈图像1中目标物之间的像素对应关系。成像设备还可以计算子光圈图像4相对子光圈图像1的亚像素级光流图，得到亚像素级光流图3，该亚像素级光流图3用于表示子光圈图像3中的目标物与子光圈图像1中目标物之间的像素对应关系。其中，目标物是指子光圈图像1、子光圈图像2、子光圈图像3以及子光圈图像4中填充黑色的物体。

S405、将子光圈图像1、子光圈图像2、子光圈图像3、子光圈图像4以及计算得到的亚像素级光流图输入至第一模型，得到超分辨率图像。

第一模型用于基于输入图像输出分辨率高于输入图像的图像。成像设备将子光圈图像1、子光圈图像2、子光圈图像3、子光圈图像4以及计算得到的亚像素级光流图输入至第一模型，得到超分辨率图像，也可以理解为成像设备将子光圈图像1、子光圈图像2、子光圈图像3以及子光圈图像4按照计算得到的亚像素级光流图映射（warp）对齐后进行级联，并将级联后的图像输入至第一模型，得到超分辨率图像。其中，级联是指将图像按顺序打包。

示例性地，图8示出了一种获取超分辨率图像的示意图。如图8所示，成像设备基于上述图7所示的方法计算得到亚像素级光流图1、亚像素级光流图2以及亚像素级光流图3。成像设备可以将子光圈图像1、子光圈图像2、子光圈图像3、子光圈图像4、亚像素级光流图1、亚像素级光流图2以及亚像素级光流图3作为输入数据，将其输入至第一模型，得到第一模型的输出，即超分辨率图像。

本申请实施例提供的图像处理方法，通过摄像头模组获取图像时，可以通过改变摄像头模组中光圈的位置，获取4个存在亚像素级偏移的子光圈图像，并基于基准图像，计算亚像素级光流图，并基于亚像素级光流图将这4个子光圈图像进行级联后输入至第一模型进行融合，得到超分辨率图像，该超分辨率图像相比直接通过摄像头模组得到的图像包含更多的像素点，有利于提高图像分辨率。

上述图像处理方法中使用第一模型得到超分辨图像，本申请实施例将详细介绍第一模型的训练过程。

示例性地，图9示出了一种图像处理方法900的示意性流程图。该方法900可以由具有处理功能的处理设备执行，该处理设备可以是上述成像设备，但本申请实施例并不限于此。

如图9所示，该方法900可以包括如下步骤：

S901、获取高分辨率（high resolution，HR）图像。

高分辨率图像可以是大量的，以保证第一模型的训练准确性。

高分辨率图像可以是成像设备从互联网上下载的数据集，也可以是通过高像素的摄像头模组拍摄的，本申请实施例对高分辨率图像的获取方式不作限定。

S902、在一定范围内对高分辨率图像进行n次随机平移，得到n个随机平移后的高分辨率图像，n为大于或等于1的整数。

本申请实施例对高分辨率图像进行随机平移的范围不作具体限定。例如，成像设备可以在高分辨率图像的像素的百分之一个像素内随机平移，也可以在30个像素点范围内随机平移等等。

本申请实施例对高分辨率图像进行平移的方位或者顺序不作限定。例如，成像设备可以以高分辨率图像为中心，向上平移、向下平移、向左平移或者向右平移等等。

成像设备对高分辨率图像进行一次随机平移，可以得到一个随机平移后的高分辨率图像，若在一定范围内对高分辨率图像进行n次随机平移，则可以得到n个随机平移后的高分辨率图像。

S903、基于高分辨率图像和随机平移后的高分辨率图像，得到（n+1）个高分辨率图像。

示例性地，n可以为3，成像设备在一定范围内对高分辨率图像进行3次随机平移，则可以得到3个随机平移后的高分辨率图像，在加上平移前的高分辨率图像，可以得到4个高分辨率图像。这（n+1）个高分辨率图像中每个高分辨图像的像素可以存在亚像素级偏移，也可以存在整数级像素级偏移，本申请实施例对此不作限定。

S904、分别对（n+1）个高分辨率图像进行下采样，得到（n+1）个低分辨率（lowresolution，LR）图像。

成像设备对这（n+1）个高分辨率图像进行下采样的次数可以是一次，也可以是多次，本申请实施例对此不作限定。下采样次数越多，LR图像的分辨率越低。下采样可以是现有的任一种下采样，本申请实施例对下采样的具体实现方式不作限定。

S905、从（n+1）个低分辨率图像中选择任一个低分辨率图像作为基准图像，计算（n+1）个低分辨率图像中除基准图像之外的低分辨图像与基准图像的亚像素级光流图，得到n个亚像素级光流图。

示例性地，成像设备得到4个低分辨率图像，该4个低分辨率图像分别为低分辨率图像1、低分辨率图像2、低分辨率图像3以及低分辨率图像4。成像设备可以将这4个低分辨率图像中的低分辨率图像1作为基准图像，分别计算低分辨率图像2与低分辨率图像1的亚像素级光流图1，低分辨率图像3与低分辨率图像1的亚像素级光流图2，以及低分辨率图像4与低分辨率图像1的亚像素级光流图3，得到3个亚像素级光流图。

S906、将（n+1）个低分辨率图像和n个亚像素级光流图作为输入，将（n+1）个高分辨率图像中任一高分辨率图像作为输出，对神经网络模型进行训练，得到第一模型。

作为输出的高分辨率图像也可以称为标签，本申请实施例对此不作限定。

神经网络模型也可以称为初始模型，成像设备可以将（n+1）个低分辨率图像和n个亚像素级光流图作为神经网络模型的输入，将（n+1）个高分辨率图像中任一高分辨率图像作为神经网络模型的输出，训练神经网络模型的参数，得到第一模型。

示例性地，图10示出了一种图像处理的示意图。如图10所示，成像设备获取高分辨率图像后，可以在一定范围内对高分辨率图像进行n次随机平移，得到n个随机平移后的高分辨率图像，再加上平移前的高分辨率图像，共得到（n+1）个高分辨率图像。成像设备可以对这（n+1）个高分辨率图像分别进行一次下采样，得到（n+1）个低分辨率图像，并从（n+1）个低分辨率图像中选择任一个低分辨率图像作为基准图像，计算（n+1）个低分辨率图像中除基准图像之外的低分辨图像与基准图像的亚像素级光流图，得到n个亚像素级光流图。

成像设备将（n+1）个低分辨率图像和n个亚像素级光流图作为输入，将（n+1）个高分辨率图像中任一高分辨率图像作为输出，对神经网络模型进行训练，得到第一模型。

本申请实施例提供的图像处理方法，训练第一模型，可以通过第一模型对低分辨率的图像进行重构，得到高分辨率的图像，有利于提高图像的分辨率。

上述实施例中各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上文中结合图1至图10，详细描述了本申请实施例提供的方法，下面将结合图11至图13，详细描述本申请实施例提供的装置。

图11示出了本申请实施例提供的一种图像处理装置1100的示意性框图。如图11所示，该图像处理装置1100包括：控制模块1110和处理模块1120。该控制模块1110用于：响应于用户拍照的操作，控制摄像头模组获取第一图像和第二图像，第一图像和第二图像之间存在亚像素级偏移；处理模块1120用于：对第一图像和第二图像中的内容进行对齐，得到目标图像。

可选地，摄像头模组包括光圈；控制模块1110还用于：控制光圈位于第一位置和第二位置，第二位置与第一位置不同；控制摄像头模组在光圈处于第一位置时获取第一图像；控制摄像头模组在光圈处于第二位置时获取第二图像。

可选地，第一位置为光圈在摄像头模组中的初始位置。

可选地，第一位置或者第二位置为以下位置中的一个：摄像头模组的中上部、摄像头模组的中下部、摄像头模组的中左部、摄像头模组的中右部。

可选地，处理模块1120还用于：基于第一图像和第二图像中均包含的第一物体，计算第一图像和第二图像之间的光流图；将第一图像和第二图像按照光流图进行对齐，得到目标图像。

可选地，处理模块1120还用于：将第一图像、第二图像以及光流图输入至第一模型，得到目标图像，第一模型用于基于第一分辨率的至少两个图像以及至少两个图像之间的流光图输出第二分辨率的图像，第二分辨率大于第一分辨率。

本申请实施例还提供一种图像处理装置，用于训练上述第一模型。图12示出了本申请实施例提供的一种图像处理装置1200的示意性框图。如图12所示，该图像处理装置1200包括：获取模块1210和处理模块1220。获取模块1210用于：获取第一训练图像和n个第二训练图像，n个第二训练图像中每个第二训练图像的分辨率均为第一分辨率，第一训练图像的分辨率为第二分辨率，第二分辨率大于第一分辨率，n为大于或等于2的整数；处理模块1220用于：将n个第二训练图像中任一第二训练图像作为基准图像，计算n个第二训练图像中除基准图像之外的n-1个第二训练图像与基准图像之间的光流图，得到与n-1个第二训练图像一一对应的n-1个光流图；将n个第二训练图像和n-1个光流图作为输入数据，将第一训练图像作为输出数据，对神经网络模型进行训练，得到第一模型。

可选地，获取模块1210还用于：将第一训练图像在预设范围内随机平移n-1次，得到与n-1次一一对应的n-1个平移后的第一训练图像；处理模块1220还用于：基于第一训练图像和n-1个平移后的第一训练图像，得到n个训练图像；分别对n个训练图像中每个训练图像进行下采样，得到与n个训练图像一一对应的n个第二训练图像。

应理解，这里的图像处理装置1100或者图像处理装置1200以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路（application specific integratedcircuit，ASIC）、电子电路、用于执行一个或多个软件或固件程序的处理器（例如共享处理器、专有处理器或组处理器等）和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选的例子中，本领域技术人员可以理解，图像处理装置1100或者图像处理装置1200可以具体为上述方法实施例中的成像设备，或者，上述方法实施例中成像设备的功能可以集成在图像处理装置1100或者图像处理装置1200中，图像处理装置1100或者图像处理装置1200可以用于执行上述方法实施例中与成像设备对应的各个流程和/或步骤，为避免重复，在此不再赘述。

上述图像处理装置1100或者图像处理装置1200具有实现上述方法实施例中成像设备执行的相应步骤的功能；上述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

在本申请的实施例中，图11中的图像处理装置1100或者图12中的图像处理装置1200也可以是芯片或者芯片系统，例如：片上系统（system on chip，SoC）。

图13是本申请实施例提供的另一种图像处理装置1300的示意性框图。如图13所示，该图像处理装置1300包括：处理器1310、收发器1320以及存储器1330。其中，处理器1310、收发器1320以及存储器1330通过内部连接通路互相通信，该存储器1330用于存储指令，该处理器1310用于执行该存储器1330存储的指令，以控制该收发器1320发送信号和/或接收信号。

应理解，图像处理装置1300可以具体为上述方法实施例中的成像设备，或者，上述方法实施例中成像设备的功能可以集成在图像处理装置1300中，图像处理装置1300可以用于执行上述方法实施例中与成像设备对应的各个步骤和/或流程。可选地，该存储器1330可以包括只读存储器和随机存取存储器，并向处理器1310提供指令和数据。存储器1330的一部分还可以包括非易失性随机存取存储器。例如，存储器1330还可以存储设备类型的信息。该处理器1310可以用于执行存储器1330中存储的指令，并且该处理器1310执行该指令时，该处理器1310可以执行上述方法实施例中与成像设备对应的各个步骤和/或流程。

应理解，在本申请实施例中，该处理器1310可以是中央处理单元（centralprocessing unit，CPU），该处理器还可以是其他通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序用于实现上述方法实施例中成像设备对应的方法。

本申请还提供了一种芯片系统，该芯片系统用于支持上述方法实施例中成像设备实现本申请实施例所示的功能。

本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机程序（也可以称为代码，或指令），当该计算机程序在计算机上运行时，该计算机可以执行上述方法实施例所示的成像设备对应的方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种图像处理方法，其特征在于，应用于包括摄像头模组的成像设备，所述摄像头模组包括光圈，所述方法包括：

响应于用户拍照的操作，控制所述摄像头模组在所述光圈处于第一位置时获取第一图像；

将所述光圈的位置调整为第二位置，控制所述摄像头模组在所述光圈处于所述第二位置时获取第二图像；所述第二位置与所述第一位置不同；所述第一图像和所述第二图像之间存在亚像素级偏移；

基于所述第一图像和所述第二图像中均包含的第一物体，计算所述第一图像和所述第二图像之间的光流图；

将所述第一图像、所述第二图像以及所述光流图输入至第一模型，得到目标图像，第一模型用于基于第一分辨率的至少两个图像以及所述至少两个图像之间的光流图输出第二分辨率的图像，所述第二分辨率大于所述第一分辨率。

2.根据权利要求1所述的方法，其特征在于，所述第一位置为所述光圈在所述摄像头模组中的初始位置。

3.根据权利要求1或2所述的方法，其特征在于，所述第一位置或者所述第二位置为以下位置中的一个：

所述摄像头模组的中上部、所述摄像头模组的中下部、所述摄像头模组的中左部、所述摄像头模组的中右部。

4.根据权利要求1所述的方法，其特征在于，所述第一模型通过以下步骤训练得到：

获取第一训练图像和n个第二训练图像，所述n个第二训练图像中每个第二训练图像的分辨率均为第一分辨率，所述第一训练图像的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率，所述n为大于或等于2的整数；

将所述n个第二训练图像中任一第二训练图像作为基准图像，计算所述n个第二训练图像中除所述基准图像之外的n-1个第二训练图像与所述基准图像之间的光流图，得到与所述n-1个第二训练图像一一对应的n-1个光流图；

将所述n个第二训练图像和所述n-1个光流图作为输入数据，将所述第一训练图像作为输出数据，对神经网络模型进行训练，得到第一模型。

5.根据权利要求4所述的方法，其特征在于，所述获取n个第二训练图像，包括：

将所述第一训练图像在预设范围内随机平移n-1次，得到与所述n-1次一一对应的n-1个平移后的所述第一训练图像；

基于所述第一训练图像和所述n-1个平移后的所述第一训练图像，得到n个训练图像；

分别对所述n个训练图像中每个训练图像进行下采样，得到与所述n个训练图像一一对应的所述n个第二训练图像。

6.一种图像处理装置，其特征在于，包括：处理器和存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述图像处理装置执行如权利要求1至5中任一项所述的方法。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。

Images