CN114708166A - 图像处理方法、装置、存储介质以及终端 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质以及终端，所述方法包括：获取终端在拍摄原始图像的预设时间段内，所述终端从所述预设时间段的起点指向所述预设时间段的终点的运动信息，基于所述运动信息生成所述原始图像对应的模糊卷积核，基于所述模糊卷积核对所述原始图像进行去模糊处理，得到所述原始图像对应的修复图像，对所述修复图像进行细节增强处理，得到所述原始图像对应的目标图像。本申请实施例通过终端在拍摄原始图像的过程中的运动信息对原始图像进行去模糊处理，可以有效的恢复原始图像中的信息，再对去模糊之后的图像进行相应的细节增强处理，可以提升图像的清晰度，因此可以提升模糊图像的模糊修复效果。

Description

图像处理方法、装置、存储介质以及终端

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、存储介质以及终端。

背景技术

现如今，诸如手机、平板等智能便携终端已成为用户日常生活中必不可少的使用工具。随着手机像素及成像质量的大幅度提高，越来越多的用户选择使用手机进行拍照，甚至有些用于专业摄影的手机可以取代普通相机进行拍照。在手机上，不仅可以拍摄图像，还可以对图像进行一些处理操作，比如虚化背景、调色、调节滤镜、涂鸦、添加文字、抠图等操作，日益增多的图像处理操作为用户带来良好的使用体验。

发明内容

本申请实施例提供了一种图像处理方法、装置、计算机存储介质以及终端，可以提升去模糊图像的清晰度，进而可以提升模糊图像的模糊修复效果。所述技术方案如下：

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

获取终端在拍摄原始图像的预设时间段内所述终端的运动信息，基于所述运动信息生成所述原始图像对应的模糊卷积核；所述运动信息为所述终端从所述预设时间段的起点指向所述预设时间段的终点的运动信息；

基于所述模糊卷积核对所述原始图像进行去模糊处理，得到所述原始图像对应的修复图像；

对所述修复图像进行细节增强处理，得到所述原始图像对应的目标图像。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：

信息获取模块，用于获取终端在拍摄原始图像的预设时间段内所述终端的运动信息，基于所述运动信息生成所述原始图像对应的模糊卷积核；所述运动信息为所述终端从所述预设时间段的起点指向所述预设时间段的终点的运动信息；

模糊计算模块，用于基于所述模糊卷积核对所述原始图像进行去模糊处理，得到所述原始图像对应的修复图像；

增强处理模块，用于对所述修复图像进行细节增强处理，得到所述原始图像对应的目标图像。

第三方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供了一种终端，可包括：存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述存储器加载并执行上述的方法步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

在本申请实施例中，首先获取终端在拍摄原始图像的预设时间段内，终端从预设时间段的起点指向预设时间段的终点的运动信息，然后基于运动信息生成原始图像对应的模糊卷积核，使用模糊卷积核对原始图像进行去模糊处理，可以得到修复图像，最后再对修复图像进行细节增强处理，可以得到原始图像对应的目标图像。本申请实施例通过终端在拍摄原始图像的过程中的运动信息对原始图像进行去模糊处理，可以有效的恢复原始图像中的信息，再对去模糊之后的图像进行相应的细节增强处理，可以提升图像的清晰度，因此可以提升模糊图像的模糊修复效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法的场景示意图；

图2是本申请实施例提供的一种图像处理方法的流程示意图；

图3是本申请实施例提供的一种空间坐标系的示意图；

图4是本申请实施例提供的另一种图像处理方法的流程示意图；

图5是本申请实施例提供的一种模糊卷积核的示意图；

图6是本申请实施例提供的一种图像处理装置的结构示意图；

图7是本申请实施例提供的一种终端的结构示意图。

具体实施方式

为使得本申请实施例的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

用户在使用手机进行拍照时，往往会出现因为移动或者抖动造成拍摄的图像为模糊图像的问题。虽然手机中引入了防抖拍摄功能，但是因为移动或抖动而拍摄出模糊图像的问题依然无法避免。相关技术中，针对运动导致拍摄出的模糊图像进行模糊修复时，通常采用模糊核进行逆滤波操作，得到修复图像，但是，采用模糊核进行模糊修复，对模糊图像的修复效果不佳。

下面结合具体的实施例对本申请进行详细说明。

请参见图1，为本申请实施例提供的一种图像处理方法的场景示意图。

如图1所示，本申请实施例的应用场景可以为用户在终端上对图像进行去模糊操作的场景。在图1中，所示的终端为手机，手机屏幕上显示的界面可以是相机软件中的操作界面，也可以是修图软件中的操作界面。操作界面上显示有待操作的图片，待操作图片可以为手机上存储的图片，待操作图片的下方有许多操作功能，比如，调色、去模糊、滤镜、编辑、抠图等功能。当用户选择了去模糊的功能时，本申请实施例中的终端可以执行下述操作步骤：获取终端在拍摄原始图像的预设时间段内所述终端的运动信息，基于所述运动信息生成所述原始图像对应的模糊卷积核，所述运动信息为所述终端从所述预设时间段的起点指向所述预设时间段的终点的运动信息，基于所述模糊卷积核对所述原始图像进行去模糊处理，得到所述原始图像对应的修复图像，对所述修复图像进行细节增强处理，得到所述原始图像对应的目标图像。因此，本申请实施例通过终端在拍摄原始图像的预设时间段内的运动信息对原始图像进行去模糊处理，可以有效的恢复图像中的信息，再对去模糊之后的图像进行相应的细节增强处理，可以提升图像的清晰度，进而可以提升模糊图像的模糊修复效果。

在下述方法实施例中，为了便于说明，仅以各步骤的执行主体为终端进行介绍说明。

请参见图2，为本申请实施例提供的一种图像处理方法的流程示意图。如图2所示，本申请实施例的所述方法可以包括以下步骤：

S201，获取终端在拍摄原始图像的预设时间段内所述终端的运动信息，基于所述运动信息生成所述原始图像对应的模糊卷积核。

可以理解的是，预设时间段可以为位于拍摄时刻之前的一个时间点与位于拍摄时刻之后的另一个时间点之间的时间段。拍摄时刻指的是，终端接收到拍摄指令然后执行拍摄动作的时刻。其中，拍摄指令可以为用户按下应用程序中的拍摄按钮所形成的指令，也可以为用户向终端输入的语音拍照指令，也可以为用户按压终端上用于执行拍摄动作的实体按键所形成的指令。比如，位于拍摄时刻之前的一个时间点可以为，比拍摄时刻早0.5秒或者1秒的时间点。同理，位于拍摄时刻之后的另一个时间点可以为，比拍摄时刻晚0.5秒或者1秒的时间点。

运动信息指的是，终端从预设时间段的起点指向预设时间时间段的终点的运动信息，即终端从预设时间段的起点所对应的空间位置运动至预设时间段的终点所对应的另一空间位置时，这两个空间位置之间的位置变化量，位置变化量可以包括角度变化量和距离变化量。其中，预设时间段的起点所对应的空间位置，可以理解为，当处于预设时间段的起点这个时刻时，终端此时的空间位置；预设时间段的终点所对应的另一空间位置，可以理解为，当处于预设时间段的终点这个时刻时，终端此时的空间位置。比如，可参见图3所示的二维空间坐标系，在预设时间段的起点时，终端此时位于上述坐标系中的A点，在预设时间段的终点时，终端此时位于上述坐标系中的B点，那么从A点运动到B点，在坐标系中的体现就为A点指向B点的向量，即向量AB。运动信息就可以为从A点运动到B点的位置变化量，从A点运动到B点的位置变化量，在坐标系中的体现就可以为向量AB的模值和方向角度，模值可以对应为A点和B点之间的距离变化量，方向角度可以对应为A点和B点之间的角度变化量。在本申请实施例中，距离指的是A点和B点之间的直线距离。

模糊卷积核指的是，用于对图像进行去模糊处理的二维矩阵。

在一些实施例中，对于终端从预设时间段的起点运动至预设时间段的终端的运动信息，可以在拍摄原始图像时，由终端进行计算得到，并存储在原始图像的图像信息中。当对原始图像进行去模糊操作时，可以直接从该原始图像的图像信息中获取预先存储的运动信息。进一步的，基于运动信息生成原始图像对应的模糊卷积核，可以理解为，先根据运动信息确定运动角度和运动距离，然后根据运动角度和运动距离计算出模糊卷积核。

其中，根据运动信息确定运动角度和运动距离，可以理解为，当获取到运动信息后，可以按照预设的存储规则，在运动信息中的哪部分信息为运动角度为，哪部分信息为运动距离。具体的，预设的存储规则可以是，将运动信息分为两部分信息，可以包括前半部分信息和后半部分信息，前半部分信息可以为运动角度，后半部分信息可以为运动距离，或者，前半部分信息可以为运动距离，后半部分信息可以为运动角度。进一步的，可以根据运动距离和运动角度计算出模糊卷积核的宽度值和高度值。进一步的，已知模糊卷积核的宽度值和高度值，可以确定模糊卷积核中各个元素的坐标值。比如，模糊卷积核的宽度值为3，高度值为4，模糊卷积核可以为一个4*3的二维矩阵，即4行3列的二维矩阵，然后模糊卷积核中第一行第一列的元素的坐标值可以为(1，1)，第一行第二列的元素的坐标值可以为(1，3)，第一行第三列的元素的坐标值可以为(1，3)，依次类推，可以确定模糊卷积核中各个元素的坐标值。进一步的，可以采用预设的计算公式计算出各个元素对应权值，预设的计算公式中涉及的参数可以包括元素的坐标值(比如x值或者y值)、运动距离以及运动角度中的两种或多种。因此，已知各个元素的坐标值，以及各个元素的权值，便可以得到模糊卷积核。

S202，基于所述模糊卷积核对所述原始图像进行去模糊处理，得到所述原始图像对应的修复图像。

在一些实施例中，可以采用线性去模糊模型对原始图像进行去模糊处理，可以得到原始图像的修复图像。具体的，线性去模糊模型可以为：B(x,y)＝p(x,y)*f(x,y)+n(x,y)，在该公式中，B(x,y)表示本申请实施例中的原始图像中各像素点的像素值，p(x,y)表示本申请实施例的模糊卷积核中各个元素的权值，f(x,y)表示本申请实施例中的修复图像中各像素点的像素值，n(x,y)表示各像素点的噪声信息。采用上述公式得到修复图像，可以基于上述公式进行逆操作，由于已知B(x,y)和p(x,y)，如果噪声信息(n(x,y))已知，则可以得到修复图像f(x,y)；如果噪声信息(n(x,y))未知，可以先采用低通滤波器对原始图像B(x,y)进行去躁操作得到去躁后的图像H(x,y)，然后可以使得n(x,y)＝0，同时以H(x,y)替换B(x,y)代入上述模型中，进行相应的逆操作，即可得到修复图像f(x,y)。

S203，对所述修复图像进行细节增强处理，得到所述原始图像对应的目标图像。

在一些实施例中，可以采用高频信息对修复图像进行细节增强处理，可以得到原始图像对应的目标图像。具体的，可以先计算出原始图像对应的高频信息，然后将高频信息叠加在修复图像中，即可以实现对修复图像的边缘细节进行增强的效果，然后可以得到目标图像，即对原始图像进行去模糊+叠加高频信息的操作所得到的图像。

在本申请实施例中，首先获取终端在拍摄原始图像的预设时间段内，终端从预设时间段的起点指向预设时间段的终点的运动信息，然后基于运动信息生成原始图像对应的模糊卷积核，使用模糊卷积核对原始图像进行去模糊处理，可以得到修复图像，最后再对修复图像进行细节增强处理，可以得到原始图像对应的目标图像。本申请实施例通过终端在拍摄原始图像的过程中所形成的运动信息对原始图像进行去模糊处理，可以有效的恢复图像中的信息，再对去模糊之后的图像进行相应的细节增强处理，可以提升图像的清晰度，因此可以提升模糊图像的模糊修复效果。

请参见图4，为本申请实施例提供的一种图像处理方法的流程示意图。如图4所示，本申请实施例的所述方法可以包括以下步骤：

S401，对终端拍摄的原始图像的码流信息进行解码，得到所述原始图像对应的图像信息。

可以理解的是，码流信息可以指终端拍摄的原始图像以一种图像格式进行压缩后存储在终端中的压缩信息。常用的图像格式可以为BMP格式、PCX格式、TIF格式、GIF格式、JPEG格式等。这些文件格式一般采用压缩技术对图像数据进行压缩，之后在图像的传输过程中或者存储过程中，是对压缩后的图像数据进行传输或者存储。图像格式中通常可以定义一些标记码，这些标记码可以用来区分和识别图像中的具体信息。比如，在JPEG格式中，可以存在标记码SOI，其对应的标记代码为0xFFD8，表示图像开始；可以存在标记码EOI，其对应的标记代码为0xFFD9，表示图像结束。

在一些实施例中，对终端拍摄的原始图像的码流信息进行解码，得到原始图像对应的图像信息，可以理解为，对使用某种图像格式存储的原始图像的压缩信息进行解码处理，然后得到图像信息。具体的，以JPEG格式存储的原始图像为例解释解码处理的过程，需要说明的是，JPEG格式存储图像数据的方式有多种，在此以JPEG文件交换格式(JPEG FileInterchange Format，JFIF)进行解释说明。JPEG文件(*.jpg)主要可以分成两个部分：标记码和压缩数据，标记码可以由两个字节构成，前一个字节可以是固定值0xFF，后一个字节可以根据不同意义设置不同数值。在一个完整的两个字节的标记码后，可以是该标记码对应的压缩数据，记录了关于图像的各种信息。常用的标记码名称可以有SOI、APP0、DQT、SOF0、EOI等，而在文件中，标记码是以标记代码形式出现，例如SOI的标记代码为0xFFD8，即在JPEG文件中的如果出现数据0xFFD8，则表示此处为一个标记码SOI，该标记码表示图像开始。按照上述的JPEG文件存储数据的方式，可以先将相关信息一一读出，以便为解码过程做好准备工作。在解码的过程中，可以先确定JPEG文件的格式；然后，可以对颜色分量进行内部解码，可以理解为查找哈夫曼树的过程；接着，可以对前述步骤解码得到的直流变量数值进行差分编码；接着，可以进行反量化处理、反Zig-zag编码处理、隔行的正负纠正处理、反离散余弦变换处理、YCrCb向RGB转换处理等，即可完成对原始图像的码流信息进行解码的过程，可以得到JPEG文件中的压缩数据对应的原始数据，本申请实施例中的原始图像对应的图像信息可以包括这些原始数据，以及这些原始数据在JPEG文件中的位置信息。

S402，将所述图像信息中位于预设位置的信息作为所述终端在拍摄所述原始图像的预设时间段内所述终端的运动信息。

可以理解的是，对于运动信息的部分解释，具体可参见S201中的描述，下面在前述描述的基础上，进行解释说明。已知运动信息可以理解为，终端从图3所示的空间坐标系中的A点运动到空间坐标系中的B点时，A点和B点之间的位置变化量，实际上，在终端将运动信息存储在图像信息中之前，可以先根据A点和B点各自的位置信息计算出运动信息，再将运动信息存储在图像信息中的预设位置。

具体的，日常生活中，终端(重心)的位置其实是三维空间坐标系中的位置，终端中的加速度传感器可以实时测得终端在三维空间坐标系中的位置，因此可以将终端在三维空间坐标系中的位置映射到二维空间坐标系中。比如，在预设时间段的起点时，终端此时在三维空间坐标系中的位置可以为点A’所在的位置，在预设时间段的终点时，终端此时在三维空间坐标系中的位置可以为点B’所在的位置，将三维空间坐标系中的点A’映射到二维空间坐标系中可以得到点A，将三维空间坐标系中的点B’映射到二维空间坐标系中可以得到点B。进一步的，可以根据点A的坐标值(Ax,Ay)和点B的坐标值(Bx,By)计算出

其中，m为运动角度，n为运动距离。进一步的，可以将m和n存储在图像信息中的预设位置。因此，在得到解码后的图像信息之后，可以直接获取图像信息中预设位置存储的信息，然后将预设位置存储的信息作为终端在拍摄原始图像的预设时间内终端的运动信息。

可选的，将所述图像信息中位于预设位置的信息作为所述终端在拍摄所述原始图像的预设时间段内所述终端的运动信息，具体实现方式可以为：在所述图像信息中确定图像结束标记码的位置，将所述图像结束标记码的位置之后存储的预设字节数的信息作为所述终端在拍摄所述原始图像的预设时间段内所述终端的运动信息。在本申请实施例中，以JPEG文件为例进行解释说明，由于JPEG文件中包括标记码和压缩数据，对JPEG文件进行解码后，可以得到标记码和原始数据，一些常用的标记码有SOI、APP0、DQT、SOF0、EOI等，可以将位于图像结束标记码(即EOI)的位置之后的预设字节数所在的位置作为预设位置。图像结束标记码在JPEG文件中的标记代码为0xFFD9，例如可以将标记代码0xFFD9之后的4个字节的位置作为预设位置，可以使用4个字节中的前2个字节存储运动角度，后2个字节存储运动距离，或者，可以使用4个字节中的前2个字节存储运动距离，后2个字节存储运动角度。因此，在得到原始图像的图像信息之后，可以将标记代码0xFFD9之后的4个字节所存储的原始数据作为运动信息。

S403，基于所述运动信息确定运动角度和运动距离，对所述运动角度和所述运动距离进行计算得到模糊卷积核的宽度和高度。

可以理解的是，模糊卷积核指的是二维矩阵，模糊卷积核的宽度可以理解为二维矩阵的列数，模糊卷积核的高度可以理解为二维矩阵的行数。

在一些实施例中，由S402获取到运动信息(4个字节所存储的原始数据)之后，可以根据预设存储规则在运动信息中确定运动角度和运动距离，即可以根据预设存储规则在4个字节的原始数据中确定运动角度和运动距离。比如，预设存储规则可以是，4个字节的原始数据中前2个字节存储的原始数据为运动角度，后2个字节存储的原始数据为运动距离。或者，预设存储规则可以是，4个字节的原始数据中前2个字节存储的原始数据为运动距离，后2个字节存储的原始数据为运动角度。进一步的，可以计算出模糊卷积核的宽度和高度。具体的，沿用S302中的表述，假设m表示运动角度，n表示运动距离，用w表示模糊卷积核的宽度，用h表示模糊卷积核的高度，可以计算出

h＝n×sin m+1。需要说明的是，上述计算w和h的公式，适用于cosm不为0，以及sinm不为0的情况，当cosm为0时，模糊卷积核的宽度可以为1，高度可以为n；当sinm为0时，模糊卷积核的宽度可以为n，高度可以为1。

S404，基于所述模糊卷积核的宽度和高度确定所述模糊卷积核中各元素的坐标信息。

在一些实施例中，已知模糊卷积核的宽度和高度，即已知二维矩阵的行数和列数，那么可以确定二维矩阵中各元素的坐标信息。假设二维矩阵中各元素的坐标信息用(x,y)表示，二维矩阵的行数为3，列数为4，可知二维矩阵中第1行第1列的元素的坐标信息为(1,1)，第1行第2列的元素的坐标信息为(1,2)，第1行第3列的元素的坐标信息为(1,3)，第1行第4列的元素的坐标信息为(1,4)，依次类推，即可得到各元素的坐标信息。

S405，基于各所述坐标信息、所述运动角度和所述运动距离得到所述各元素分别对应的权值，基于所述各元素分别对应的权值以及各所述坐标信息得到模糊卷积核。

在一些实施例中，已知坐标信息(x,y)的x值和y值、运动角度m以及运动距离n时，可以使用p(x,y)表示各元素分别对应的权值，p(x,y)中的x和y分别为坐标信息(x,y)中的x值和y值，可以计算：当cosm>0时，p(x,y)＝1-|x·cos m-y·sin m|；当cosm<0时，p(x,y)＝1-|(n-x)·cos m-(n-y)·sin m|；当cosm＝0时，p(x,y)＝1-y·sin m；当sinm＝0时，p(x,y)＝1-x·cos m；其中，当p(x,y)<0时，p(x,y)＝0。进一步的，已知模糊卷积核中各元素的坐标信息，也已知模糊卷积核中各元素的权值，即可得到模糊卷积核。比如，可参见图5所示的模糊卷积核，以坐标信息为(2,2)的元素进行示例性的说明，坐标信息为(2,2)的元素表示模糊卷积核中第2行第2列的元素，可以看出该元素对应的权值p(2,2)＝3。

S406，对所述原始图像进行去躁处理，得到去躁图像，对所述去躁图像和所述模糊卷积核进行维纳滤波，得到所述原始图像对应的修复图像。

可以理解的是，对原始图像进行相应的处理过程，然后得到修复图像，可以基于维纳滤波原型对原始图像进行相应的处理过程，得到修复图像。维纳滤波原型，可以理解为采用deconvwnr()函数对原始图像、模糊卷积核以及加性噪声进行处理，具体的，假设修复图像用f(x,y)表示，f(x,y)的函数值表示各像素点的像素值，x、y分别表示像素点在图像中的坐标值，得到f(x,y)的计算公式可以为：f(x,y)＝deconvwnr(B(x,y)，p(x,y)，n(x,y))。其中，原始图像用B(x,y)表示，B(x,y)的函数值表示各像素点的像素值，x、y分别表示像素点在图像中的坐标值；模糊卷积核中各元素的权值可以用p(x,y)表示；n(x,y)表示加性噪声。该计算公式主要是依据线性去模糊模型B(x,y)＝p(x,y)*f(x,y)+n(x,y)所得到的，在该线性去模糊模型中，p(x,y)、n(x,y)的含义可参见上述描述，f(x,y)表示初始图像，可以理解为一个清晰图像，然后B(x,y)可以为采用该线性去模糊模型对初始图像去模糊处理所得到的一个模糊图像。因此，该线性去模糊模型中的初始图像相当于本申请实施例中的修复图像，该线性去模糊模型中的模糊图像相当于本申请实施例中的原始图像，那么按照该线性去模糊模型进行相应的逆操作，即可得到本申请实施例中的修复图像，即可采用上述公式f(x,y)＝deconvwnr(B(x,y)，p(x,y)，n(x,y))，计算得到修复图像f(x,y)。

在一些实施例中，由于加性噪声是未知的，无法得到n(x,y)的值，可以对所述原始图像进行去躁处理，得到去躁图像，具体的，可以采用低通滤波器对原始图像B(x,y)进行去躁处理，可以滤除原始图像B(x,y)中的噪声，假设滤波后可以得到去躁图像H(x,y)。进一步的，对所述去躁图像和所述模糊卷积核进行维纳滤波，得到所述原始图像对应的修复图像，具体的，可以将deconvwnr(B(x,y)，p(x,y)，n(x,y))中的B(x,y)替换为H(x,y)，以及使n(x,y)＝0，再进行deconvwnr()函数的运算，即可得到修复图像f(x,y)。

S407，采用预设高斯核对所述修复图像进行高斯滤波，得到所述原始图像对应的平滑图像。

在一些实施例中，采用预设高斯核对修复图像进行高斯滤波，可以理解为，采用预设高斯核扫描修复图像，可以使用预设高斯核确定的邻域内像素点的加权均值去替代预设高斯核中心像素点的像素值，因此，各像素点可以分别得到新的像素值，这些新的像素值就可以为平滑图像中各像素点的像素值，便可得到平滑图像。在本申请实施例中，预设高斯核可以为二维的3*3的高斯核。

S408，确定所述原始图像中各像素点分别在所述修复图像中的第一像素值，确定所述各像素点分别在所述平滑图像中的第二像素值，分别计算各所述像素点的第一像素值与第二像素值之间的像素差值。

在一些实施例中，可以确定原始图像中各像素点分别在修复图像中的像素值，可以简称为第一像素值，可以确定原始图像中各像素点分别在平滑图像中的像素值，可以简称为第二像素值，进一步的，可以计算各像素点的第一像素值与第二像素值之间的差值，该差值可以称为像素差值。可以理解的是，修复图像中像素点的像素值与平滑图像中像素点的像素值之间的差值可以理解为高频信息，可以理解为修复图像中丢失的高频信息。

S409，分别计算各所述像素点的第一像素值与像素差值之间的和值，分别将所述各像素点的和值作为所述各像素点的目标像素值，所述各像素点的目标像素值为所述各像素点在目标图像中的像素值。

在一些实施例中，在S408的基础上，已知各像素点的第一像素值，已知各像素点的像素差值，可以计算各像素点的第一像素值与像素差值的和值，进一步的，可以将各像素点的和值作为各像素点的目标像素值，那么已知各像素点的目标像素值，这些目标像素值可以同时处于一个图像中，该图像可以称为目标图像，即可以得到一个目标图像，在该目标图像中，各像素点的像素值分别为各像素点的目标像素值。可以理解的是，将像素差值和修复图像中像素点的像素值进行相加，可以理解为，将修复图像中丢失的高频信息进行补偿，图像中的高频信息指的是图像中的细节信息，通常可以为边缘的细节信息，因此，本申请实施例可以将修复图像中的边缘的细节信息进行补偿，即可以增强修复图像中的边缘的细节信息，进而可以实现提升去模糊图像的清晰度的效果。

在本申请实施例中，首先通过对原始图像的码流信息进行解码得到图像信息，进而可以得到终端的运动信息，由于运动信息可以预先存储在图像信息中的预设位置，当需要使用时，终端不需要再去计算运动信息，可以直接解码然后获取到，可以节省后续图像处理的时间；然后，可以根据运动信息确定运动角度和运动距离，再根据运动角度和运动距离计算出模糊卷积核时，考虑到特殊角的余弦值或者正弦值，设计了全面的模糊卷积核的计算方式，可以提高模糊卷积核的准确性；接着，基于模糊卷积核、加性噪声对原始图像进行去模糊处理，可以得到修复图像；最后，再计算出修复图像中损失的高频信息(像素差值)，将高频信息叠加在修复图像中，高频信息通常为边缘的细节信息，因此，可以对修复图像中的边缘的细节信息进行增强，可以提升修复图像的清晰度，进而可以提升模糊图像的模糊修复效果。

请参见图6，为本申请实施例提供的一种图像处理装置的结构示意图。图像处理装置600可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。装置600包括：

信息获取模块610，获取终端在拍摄原始图像的预设时间段内所述终端的运动信息，基于所述运动信息生成所述原始图像对应的模糊卷积核；所述运动信息为所述终端从所述预设时间段的起点指向所述预设时间段的终点的运动信息；

模糊计算模块620，用于基于所述模糊卷积核对所述原始图像进行去模糊处理，得到所述原始图像对应的修复图像；

增强处理模块630，用于对所述修复图像进行细节增强处理，得到所述原始图像对应的目标图像。

可选的，信息获取模块610包括：

第一获取单元，用于对终端拍摄的原始图像的码流信息进行解码，得到所述原始图像对应的图像信息；

第二获取单元，用于将所述图像信息中位于预设位置的信息作为所述终端在拍摄所述原始图像的预设时间段内所述终端的运动信息。

可选的，第二获取单元包括：

获取子单元，用于在所述图像信息中确定图像结束标记码的位置，将所述图像结束标记码的位置之后存储的预设字节数的信息作为所述终端在拍摄所述原始图像的预设时间段内所述终端的运动信息。

可选的，信息获取模块610包括：

第一计算单元，用于基于所述运动信息确定运动角度和运动距离，对所述运动角度和所述运动距离进行计算得到模糊卷积核的宽度和高度；

第二计算单元，用于基于所述模糊卷积核的宽度和高度确定所述模糊卷积核中各元素的坐标信息；

第三计算单元，用于基于各所述坐标信息、所述运动角度和所述运动距离得到所述各元素分别对应的权值，基于所述各元素分别对应的权值以及各所述坐标信息得到模糊卷积核。

可选的，模糊计算模块620包括：

去躁处理单元，用于对所述原始图像进行去躁处理，得到去躁图像；

模糊处理单元，用于对所述去躁图像和所述模糊卷积核进行维纳滤波，得到所述原始图像对应的修复图像。

可选的，增强处理模块630包括：

第一增强单元，用于对所述修复图像进行平滑处理，得到所述原始图像对应的平滑图像；

第二增强单元，用于基于所述平滑图像对所述修复图像进行叠加处理，得到所述原始图像对应的目标图像。

可选的，第一增强单元包括：

滤波单元，用于采用预设高斯核对所述修复图像进行高斯滤波，得到所述原始图像对应的平滑图像。

可选的，第二增强单元包括：

差值计算单元，用于确定所述原始图像中各像素点分别在所述修复图像中的第一像素值，确定所述各像素点分别在所述平滑图像中的第二像素值，分别计算各所述像素点的第一像素值与第二像素值之间的像素差值；

和值计算单元，用于分别计算各所述像素点的第一像素值与像素差值之间的和值，分别将所述各像素点的和值作为所述各像素点的目标像素值，所述各像素点的目标像素值为所述各像素点在目标图像中的像素值。

请参考图7，图7为本申请实施例提供的一种终端的结构示意图。如图7所示，终端700可以包括：至少一个处理器701，至少一个网络接口704，用户接口703，存储器705，显示屏组件706，至少一个通信总线702。

其中，通信总线702用于实现这些组件之间的连接通信。

其中，用户接口703可以包括显示屏(Display)、摄像头(Camera)，可选用户接口703还可以包括标准的有线接口、无线接口。

其中，网络接口704可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，处理器701可以包括一个或者多个处理核心。处理器701利用各种借口和线路连接整个终端700内的各个部分，通过运行或执行存储在存储器705内的指令、程序、代码集或指令集，以及调用存储在存储器705内的数据，执行终端700的各种功能和处理数据。可选的，处理器701可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器701可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器701中，单独通过一块芯片进行实现。

其中，存储器705可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器705包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器705可用于存储指令、程序、代码、代码集或指令集。存储器705可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器705可选的还可以是至少一个位于远离前述处理器701的存储装置。如图7所示，作为一种计算机存储介质的存储器705中可以包括操作系统、网络通信模块、用户接口模块以及图像处理方法的程序。

在图7所示的终端700中，用户接口703主要用于为用户提供输入的接口，获取用户输入的数据；而处理器701可以用于调用存储器705中存储的图像处理方法的程序，并具体执行以下操作：

获取终端在拍摄原始图像的预设时间段内所述终端的运动信息，基于所述运动信息生成所述原始图像对应的模糊卷积核；所述运动信息为所述终端从所述预设时间段的起点指向所述预设时间段的终点的运动信息；

基于所述模糊卷积核对所述原始图像进行去模糊处理，得到所述原始图像对应的修复图像；

对所述修复图像进行细节增强处理，得到所述原始图像对应的目标图像。

在一个实施例中，处理器701在执行获取终端在拍摄原始图像的预设时间段内所述终端的运动信息，基于所述运动信息生成所述原始图像对应的模糊卷积核的步骤时，具体执行以下操作：

对终端拍摄的原始图像的码流信息进行解码，得到所述原始图像对应的图像信息；

将所述图像信息中位于预设位置的信息作为所述终端在拍摄所述原始图像的预设时间段内所述终端的运动信息。

在一个实施例中，处理器701在执行所述将所述图像信息中位于预设位置的信息作为所述终端在拍摄所述原始图像的预设时间段内所述终端的运动信息的步骤时，具体执行以下操作：

在所述图像信息中确定图像结束标记码的位置，将所述图像结束标记码的位置之后存储的预设字节数的信息作为所述终端在拍摄所述原始图像的预设时间段内所述终端的运动信息。

在一个实施例中，处理器701在执行所述基于所述运动信息生成所述原始图像对应的模糊卷积核的步骤时，具体执行以下操作：

基于所述运动信息确定运动角度和运动距离，对所述运动角度和所述运动距离进行计算得到模糊卷积核的宽度和高度；

基于所述模糊卷积核的宽度和高度确定所述模糊卷积核中各元素的坐标信息；

基于各所述坐标信息、所述运动角度和所述运动距离得到所述各元素分别对应的权值，基于所述各元素分别对应的权值以及各所述坐标信息得到模糊卷积核。

在一个实施例中，处理器701在执行所述基于所述模糊卷积核对所述原始图像进行去模糊处理，得到所述原始图像对应的修复图像的步骤时，具体执行以下操作：

对所述原始图像进行去躁处理，得到去躁图像；

对所述去躁图像和所述模糊卷积核进行维纳滤波，得到所述原始图像对应的修复图像。

在一个实施例中，处理器701在执行所述对所述修复图像进行细节增强处理，得到所述原始图像对应的目标图像的步骤时，具体执行以下操作：

对所述修复图像进行平滑处理，得到所述原始图像对应的平滑图像；

基于所述平滑图像对所述修复图像进行叠加处理，得到所述原始图像对应的目标图像。

在一个实施例中，处理器701在执行所述对所述修复图像进行平滑处理，得到所述原始图像对应的平滑图像的步骤时，具体执行以下操作：

采用预设高斯核对所述修复图像进行高斯滤波，得到所述原始图像对应的平滑图像。

在一个实施例中，处理器701在执行所述基于所述平滑图像对所述修复图像进行叠加处理，得到所述原始图像对应的目标图像的步骤时，具体执行以下操作：

确定所述原始图像中各像素点分别在所述修复图像中的第一像素值，确定所述各像素点分别在所述平滑图像中的第二像素值，分别计算各所述像素点的第一像素值与第二像素值之间的像素差值；

分别计算各所述像素点的第一像素值与像素差值之间的和值，分别将所述各像素点的和值作为所述各像素点的目标像素值，所述各像素点的目标像素值为所述各像素点在目标图像中的像素值。

除此之外，本领域技术人员可以理解，上述附图所示出的终端700的结构并不构成对终端700的限定，用户终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端700中还包括射频电路、音频电路、WiFi组件、电源、蓝牙组件等部件，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，该计算机存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如上述各个实施例所述的图像处理方法。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像处理方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

获取终端在拍摄原始图像的预设时间段内所述终端的运动信息，基于所述运动信息生成所述原始图像对应的模糊卷积核；所述运动信息为所述终端从所述预设时间段的起点指向所述预设时间段的终点的运动信息；

基于所述模糊卷积核对所述原始图像进行去模糊处理，得到所述原始图像对应的修复图像；

对所述修复图像进行细节增强处理，得到所述原始图像对应的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述获取终端在拍摄原始图像的预设时间段内所述终端的运动信息，包括：

对终端拍摄的原始图像的码流信息进行解码，得到所述原始图像对应的图像信息；

将所述图像信息中位于预设位置的信息作为所述终端在拍摄所述原始图像的预设时间段内所述终端的运动信息。

3.根据权利要求2所述的方法，其特征在于，所述将所述图像信息中位于预设位置的信息作为所述终端在拍摄所述原始图像的预设时间段内所述终端的运动信息，包括：

在所述图像信息中确定图像结束标记码的位置，将所述图像结束标记码的位置之后存储的预设字节数的信息作为所述终端在拍摄所述原始图像的预设时间段内所述终端的运动信息。

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述基于所述运动信息生成所述原始图像对应的模糊卷积核，包括：

基于所述运动信息确定运动角度和运动距离，对所述运动角度和所述运动距离进行计算得到模糊卷积核的宽度和高度；

基于所述模糊卷积核的宽度和高度确定所述模糊卷积核中各元素的坐标信息；

基于各所述坐标信息、所述运动角度和所述运动距离得到所述各元素分别对应的权值，基于所述各元素分别对应的权值以及各所述坐标信息得到模糊卷积核。

5.根据权利要求1-3任意一项所述的方法，其特征在于，所述基于所述模糊卷积核对所述原始图像进行去模糊处理，得到所述原始图像对应的修复图像，包括：

对所述原始图像进行去躁处理，得到去躁图像；

对所述去躁图像和所述模糊卷积核进行维纳滤波，得到所述原始图像对应的修复图像。

6.根据权利要求1-3任意一项所述的方法，其特征在于，所述对所述修复图像进行细节增强处理，得到所述原始图像对应的目标图像，包括：

对所述修复图像进行平滑处理，得到所述原始图像对应的平滑图像；

基于所述平滑图像对所述修复图像进行叠加处理，得到所述原始图像对应的目标图像。

7.根据权利要求6所述的方法，其特征在于，所述对所述修复图像进行平滑处理，得到所述原始图像对应的平滑图像，包括：

采用预设高斯核对所述修复图像进行高斯滤波，得到所述原始图像对应的平滑图像。

8.根据权利要求6所述的方法，其特征在于，所述基于所述平滑图像对所述修复图像进行叠加处理，得到所述原始图像对应的目标图像，包括：

确定所述原始图像中各像素点分别在所述修复图像中的第一像素值，确定所述各像素点分别在所述平滑图像中的第二像素值，分别计算所述各像素点的第一像素值与第二像素值之间的像素差值；

分别计算所述各像素点的第一像素值与像素差值之间的和值，分别将所述各像素点的和值作为所述各像素点的目标像素值，所述各像素点的目标像素值为所述各像素点在目标图像中的像素值。

9.一种图像处理装置，其特征在于，所述装置包括：

信息获取模块，用于获取终端在拍摄原始图像的预设时间段内所述终端的运动信息，基于所述运动信息生成所述原始图像对应的模糊卷积核；所述运动信息为所述终端从所述预设时间段的起点指向所述预设时间段的终点的运动信息；

模糊计算模块，用于基于所述模糊卷积核对所述原始图像进行去模糊处理，得到所述原始图像对应的修复图像；

增强处理模块，用于对所述修复图像进行细节增强处理，得到所述原始图像对应的目标图像。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～8任意一项的方法步骤。

11.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～8任意一项的方法步骤。

Images