CN116228607A - 图像处理方法和电子设备 - Google Patents

Abstract

本申请提供了图像处理方法和电子设备，可以将图像中模糊内容恢复为清晰内容，进而得到清晰图像。在该方法中，可以将待处理图像划分为L个子待处理图像，确定L个子待处理图像对应的运动信息。基于该L个运动信息以及子待处理图像得到携带了运动信息的图像（也可以称为运动信息图像）。该运动信息图像中任一像素点除了包括该像素点的色彩信息以外，还可以包括该像素点的运动信息。然后，结合该运动信息图像中各像素点的运动信息对该运动信息图像中各像素点的位置进行还原，即可实现对待处理图像进行去模糊得到处理后图像。

Description

图像处理方法和电子设备

技术领域

本申请涉及终端及通信技术领域，尤其涉及图像处理方法和电子设备。

背景技术

在被拍摄对象与电子设备之间存在相对运动的情况下，电子设备所拍摄图像中该被拍摄对象可能会出现模糊，这种模糊可以被理解为一种运动模糊。在图像拍摄的过程中，在被拍摄对象与电子设备之间的相对运动越频繁，所拍摄图像模糊的可能越大。例如，在一些“抓拍”场景下，电子设备拍摄出模糊图像的概率更大。通常来说，用户期望得到清晰图像而不是模糊图像。

如何将模糊图像中模糊内容恢复为清晰内容，进而得到清晰图像是值得讨论的。

发明内容

本申请提供了图像处理方法和电子设备，可以对具有运动模糊的单帧图像进行去模糊得到清晰图像。

第一方面，本申请提供了图像处理方法，该方法包括：将待处理图像划分为L个子待处理图像；确定该L个子待处理图像中每一个子待处理图像对应的运动信息，得到L个运动信息；运动信息包括对应的子待处理图像中被拍摄对象在被拍摄的曝光时间内运动的角度和长度；该角度描述了该被拍摄对象相对于参考线的角度；该长度值描述了该被拍摄对象移动的像素点数量；基于该L个运动信息和该待处理图像进行组合得到运动信息图像；该运动信息图像中任一像素点包括色彩信息和该像素点所属子待处理图像对应的运动信息；基于该运动信息图像进行去模糊处理得到处理后的图像。

上述实施例中，可以先确定待处理图像（模糊的）中各像素点的运动信息，然后基于各像素点的运动信息对待处理图像中各像素点的位置进行还原，实现去模糊处理得到清晰图像。将待处理图像进行划分，可以更准确的确定图像不同区域（一个区域对应一个子待处理图像）的运动信息，使得去模糊的结果更加准确。

结合第一方面，在一些实施例中，分别确定该L个子待处理图像对应的运动信息，具体包括：确定该L个子待处理图像中每一个子待处理图像对应的模糊核，得到L个模糊核；该模糊核描述了对应的子待处理图像中被拍摄对象的运动轨迹；基于L个模糊核确定该L个子待处理图像中每一个子待处理图像对应的运动信息。结合第一方面，在一些实施例中，确定该L个子待处理图像中每一个子待处理图像对应的模糊核，具体包括：利用第一卷积网络确定该每一个子待处理图像对应的模糊核；该第一卷积网络中包括Z1+1个用于提取模糊核特征的第一卷积组、Z1个用于基于该模糊核特征重构模糊核的第二卷积组、以及Z1个跳跃连接层；任一跳跃连接层用于连接一个第一卷积组以及一个第二卷积组，其中，第c1个第二卷积组通过第c1个跳跃连接层和第（Z1+1-c1）个第一卷积组连接。

上述实施例中，第一卷积网络可以为说明书中的模糊核估计网络。第c1个跳跃连接层可以将第c1个第一卷积组得到的模糊核特征与第c1-1个第二卷积组重构的模糊核进行连接，然后在基于连接的结果计算得到新的模糊核，利用模糊核特征去修正模糊核的计算，可以使得模糊核的计算结果更加准确。

结合第一方面，在一些实施例中，该第一卷积网络是以Y1组子训练图像依次作为该第一卷积网络的输入数据，以该Y1组子训练图像对应的参考模糊核作为的参考数据进行训练得到的；该Y1组子训练图像是基于F1个训练图像得到的，其中，F1个训练图像中任一训练图像为基于相邻两帧短帧图像得到的长帧图像，基于相邻两帧短帧图像得到的训练图像的过程包括：基于该相邻两帧短帧图像进行插帧操作，得到N帧中间态图像；从该N帧中间态图像中获取最后G帧中间态图像，基于该G帧中间态图像进行合成操作得到该训练图像；其中，合成操作包括对G帧中间态图像取平均得到该训练图像；该 G为模糊比例K与该N的乘积；该K为随机生成的一个小于1的正数；长帧图像指示曝光时间相比于短帧图像更长的图像，其中，G×该短帧图像的曝光时间等于该训练图像的曝光时间，该短帧图像为相邻两帧短帧图像中的任一短帧图像。

上述实施例中，一次利用一组子训练图像对第一卷积网络进行训练可以提高训练效率。训练图像为一帧长帧的模糊图像，这里G随机生成的目的在于：随着模糊比例K的改变，生成的训练图像模糊程度可以模拟不同移动速度下得到的模糊程度，对不同模糊程度的图像进行处理时适应性更强。K取值越接近于1，则表示移动速度越快，模糊程度越大。这样，可以获取到不同模糊程度的训练图像，进而基于训练图像划分的子训练图像对第一卷积网络进行训练后，可以使得第一卷积网络的适配度更高，即不同模糊程度的待处理图像都可以较好的完成去模糊处理。

结合第一方面，在一些实施例中，全部子训练图像中任一子训练图像对应的参考模糊核是基于得到该F1个训练图像的F1组相邻两帧短帧图像进行确定的；基于一组相邻两帧短帧图像得到L个子训练图像对应的参考模糊核的过程包括：计算G帧中间态图像的首尾两帧图像中各像素点对应的位移信息；该G帧中间态图像为该一组相邻两帧短帧图像得到训练图像时使用的中间态图像；将全部像素点划分为L个像素点集合，基于该L个像素点集合包括的位移信息获取该L个子训练图像对应的平均位移信息，其中，L个像素点集合中任一像素点集合对应该L个子训练图像中的一个子训练图像；基于该L个平均位移信息基于三角定理获取该L个子训练图像对应的参考运动信息，得到L个参考运动信息；基于该L个参考运动信息转化得到该L个子训练图像对应的参考模糊核。

上述实施例中，参考模糊核是基于两帧图像得到的，相比于预测模糊核更加准备，可以对第一卷积网络输出的预测模糊核起到对比作用，从而更好的更新第一卷积网络中的参数。

结合第一方面，在一些实施例中，基于L个模糊核确定该L个子待处理图像中每一个子待处理图像对应的运动信息，具体包括：

利用第二卷积网络确定该每一个子待处理图像对应的模糊核；该第二卷积网络中包括Z2个第三卷积组以及Z2个全连接层；其中，第三卷积组用于将模糊核转化为表征运动信息的特征；任一全连接层用于将表征运动信息的特征回归为运动信息。

上述实施例中，第二卷积网络可以为说明书中的模糊核估计网络。

结合第一方面，在一些实施例中，该第二卷积网络是将Y2组训练模糊核依次作为该第二卷积网络的输入数据，以该Y2组训练模糊核对应的参考运动信息作为的参考数据进行训练得到的。

结合第一方面，在一些实施例中，基于该运动信息图像进行去模糊处理得到处理后的图像，具体包括：利用第三卷积网络基于该运动信息图像进行去模糊处理得到处理后的图像；该第三卷积网络中包括Z3+1个用于提取图像特征的第四卷积组、Z3个用于基于所提取图像特征重构目标图像的第五卷积组以及Z3个直连接层；任一直连接层用于连接一个第四卷积组以及一个第五卷积组；其中，第c2个第五卷积组通过第c2个直连接层和第（Z3+1-c2）个第四卷积组连接；该目标图像为该处理后的图像。

上述实施例中，第三卷积网络可以为说明书中的去模糊网络。第c2个直连接层可以将第c1个第四卷积组得到的图像特征与第c2-1个第五卷积组重构的目标图像进行连接，然后在基于连接的结果计算得到新的目标图像，利用图像特征去修正目标图像的计算，可以使得目标图像的计算结果更加准确。

结合第一方面，在一些实施例中，该第三卷积网络是将Y3组运动信息训练图像依次作为该第三卷积网络的输入数据，以每一个运动信息训练图像对应的参考图像作为参考数据进行训练得到的。

结合第一方面，在一些实施例中，该待处理图像是通过相机应用采集的，采集该待处理图像的曝光时间内相机存在抖动。

结合第一方面，在一些实施例中，将待处理图像划分为L个子待处理图像之前，还包括：检测到相机抖动。

结合第一方面，在一些实施例中，通过相机采集到该待处理图像；该方法还包括：

显示预览界面，在该预览界面中显示有该处理后的图像。

第二方面，本申请提供了一种电子设备，该电子设备包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。

上述实施例中，可以先确定待处理图像（模糊的）中各像素点的运动信息，然后基于各像素点的运动信息对待处理图像中各像素点的位置进行还原，实现去模糊处理得到清晰图像。将待处理图像进行划分，可以更准确的确定图像不同区域（一个区域对应一个子待处理图像）的运动信息，使得去模糊的结果更加准确。

第三方面，本申请实施例提供了一种芯片系统，该芯片系统应用于电子设备，该芯片系统包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。

上述实施例中，可以先确定待处理图像（模糊的）中各像素点的运动信息，然后基于各像素点的运动信息对待处理图像中各像素点的位置进行还原，实现去模糊处理得到清晰图像。将待处理图像进行划分，可以更准确的确定图像不同区域（一个区域对应一个子待处理图像）的运动信息，使得去模糊的结果更加准确。

第四方面，本申请实施例提供了一种包含指令的计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。

上述实施例中，可以先确定待处理图像（模糊的）中各像素点的运动信息，然后基于各像素点的运动信息对待处理图像中各像素点的位置进行还原，实现去模糊处理得到清晰图像。将待处理图像进行划分，可以更准确的确定图像不同区域（一个区域对应一个子待处理图像）的运动信息，使得去模糊的结果更加准确。

第五方面，本申请实施例提供了一种计算机可读存储介质，包括指令，当该指令在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。

上述实施例中，可以先确定待处理图像（模糊的）中各像素点的运动信息，然后基于各像素点的运动信息对待处理图像中各像素点的位置进行还原，实现去模糊处理得到清晰图像。将待处理图像进行划分，可以更准确的确定图像不同区域（一个区域对应一个子待处理图像）的运动信息，使得去模糊的结果更加准确。

附图说明

图1示出了基于待处理图像进行去模糊的一个示例性流程；

图2示出了基于待处理图像进行去模糊的一个示意图；

图3示出了训练模糊核估计网络时涉及的一个示意图；

图4示出了训练模糊核估计网络时涉及的示例性流程图；

图5示出了基于一组相邻两帧短帧图像得到L个子训练图像的示意图；

图6示出了利用模糊图像算法得到训练图像的示意图；

图7A示出了基于一组相邻两帧短帧图像得到L个子训练图像所对应参考模糊核的示意图；

图7B示出了基于一个平均位移信息获取参考运动信息的示意图；

图8示出了一个示例性模糊核参数估计网络以及训练模糊核参数估计网络时涉及的一个示意图；

图9示出了训练去模糊网络时涉及的一个示意图；

图10A以及图10B示出了本申请中图像处理算法涉及的示例性使用场景；

图11是本申请实施例提供的电子设备的结构示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本申请提供了一种图像处理方法，该方法中，可以先确定待处理图像（模糊的）中各像素点的运动信息，然后基于各像素点的运动信息对待处理图像中各像素点的位置进行还原，实现去模糊处理得到清晰图像。

在一些可能的情况下，可以将模糊的待处理图像划分为L个子待处理图像，确定L个子待处理图像对应的运动信息。基于该L个运动信息以及子待处理图像得到携带了运动信息的图像（也可以称为运动信息图像）。该运动信息图像中任一像素点除了包括该像素点的色彩信息以外，还可以包括该像素点的运动信息。然后，结合该运动信息图像中各像素点的运动信息对该运动信息图像中各像素点的位置进行还原，即可实现对待处理图像进行去模糊得到处理后图像。

其中，一个像素点的色彩信息可以用RGB等色彩模式表示。例如，一个像素点的色彩信息用RGB色彩模式表示时，一个像素点的色彩信息中包括红色（R）通道的色彩值，绿色（G）通道的色彩值，蓝色（B）通道的色彩值。一个像素点的运动信息为该像素点所在子待处理图像对应的运动信息。一个子待处理图像对应的运动信息（运动信息1）描述了该子待处理图像中的被拍摄对象（被拍摄对象1）在曝光时间内的运动情况。该运动信息1中可以包括其对应的子待处理图像中被拍摄对象在曝光时间内运动的角度和长度。角度描述了被拍摄对象1相对于参考线的角度。长度描述了被拍摄对象1在曝光时间内移动了多少个像素。待处理图像中全部子待处理图像中的被拍摄对象的运动信息是参考同一个参考位置得到的。这里相对于参考位置静止的该子待处理图像中被拍摄对象的角度为0°，长度为0。在一些可能的情况下，该参考位置可以理解为电子设备所在的位置。

这里应该理解的是，该待处理图像可以是基于相机应用采集的，采集所述待处理图像的曝光时间内相机存在抖动或者被拍摄对象存在移动，导致待处理图像出现模糊。

图1示出了基于待处理图像进行去模糊的一个示例性流程。

图2示出了基于待处理图像进行去模糊的一个示意图。

图像处理方法涉及的相关内容可以参考下述对步骤S101-步骤S105的描述。下面结合图2详细描述步骤S101-步骤S105。

S101. 将待处理图像划分为L个子待处理图像。

将待处理图像划分为L个子待处理图像，两个不同的子待处理图像大小相同。其中，L的取值可以为大于等于2的整数。

在一些可能的情况下，不同大小的待处理图像对应的L不同。原因在于：待处理图像可以由相机采集，不同电子设备的相机规格不同导致采集的待处理图像大小不同，但是子待处理图像的大小与后续模糊核估计网络中可以处理的图像大小相同。从待处理图像中划分出的L个子待处理图像是待处理图像中的连续区域。这里的L是待处理图像中最多可以划分出的子待处理图像数量，其他无法划分出子待处理图像的区域可以裁剪掉。

如图2中①处所示，在L等于4的情况下，可以将待处理图像划分为4个子待处理图像。一次可以记为子待处理图像1、子待处理图像2、子待处理图像3以及子待处理图像4。

S102.将L个子待处理图像输入到模糊核估计网络中确定每个子待处理图像对应的模糊核。

如图2中②处所示，在L等于4的情况下，可以将4个子待处理图像分别输入到模糊核估计网络中，得到4个模糊核。

该模糊核估计网络可以实现将子待处理图像映射为该子待处理图像对应的模糊核。模糊核描述了其对应的子待处理图像中被拍摄对象的运动轨迹。该运动轨迹可以理解为被拍摄对象在曝光时间内的运动轨迹。其中，模糊核实际上可以表示为一个矩阵，清晰图像与模糊核卷积后可以变得模糊，模糊图像与模糊核反卷积后可以变得清晰。

其中，模糊核估计网络是通过训练得到，关于该模糊核估计网络的训练过程可以参考下述对步骤S201-步骤S208的描述，此处暂不赘述。

S103.将L个模糊核输入到模糊核参数估计网络中确定每个子待处理图像对应的运动信息。

如图2中③处所示，在L等于4的情况下，可以将4个子待处理图像对应的模糊核分别输入到模糊核参数估计网络中，得到每个子待处理图像对应的运动信息，共计4个运动信息。

该模糊核参数估计网络可以实现将子待处理图像对应的模糊核映射为该子待处理图像对应的运动信息（包括角度以及长度）。关于运动信息的相关内容可以参考前述相关描述，此处不再赘述。

其中，模糊核参数估计网络是通过训练得到，关于该模糊核参数估计网络的训练过程可以参考下述对图8及其相关内容的描述，此处暂不赘述。

这里应该理解的是，如图2中所示，模糊核可以用图像的形式进行展示，模糊核中的内容也体现了运动信息，因此可以认为模糊核与运动信息均可以反映被拍摄对象的运动轨迹，只是表现形式不同。

S104.基于L个子待处理图像对应的运动信息与待处理图像得到携带了运动信息的图像（运动信息图像）。

该运动信息图像中任一像素点除了包括该像素点的色彩信息以外，还可以包括该像素点的运动信息。一个像素点的运动信息为该像素点所在子待处理图像对应的运动信息。如图2所示，运动信息图像中像素点1属于子待处理图像1，该像素点1可以表示为（R1，G1，B1，45°，4），其中，R1，G1，B1分别表示该像素点1的R通道的色彩值、G通道的色彩值以及B通道的色彩值。45°，4表示该像素点1的角度以及长度。属于子待处理图像1的全部像素点的角度以及长度分别为45°，4。再例如，像素点2属于子待处理图像2，该像素点2可以表示为（R2，G2，B2，45°，5）、像素点3属于子待处理图像3，该像素点3可以表示为（R3，G3，B3，60°，5）、像素点4属于子待处理图像4，该像素点4可以表示为（R4，G4，B4，60°，3）。关于子待处理图像2-子待处理图像4中像素点的相关描述可以参考前述对子待处理图像1中像素点1的相关描述，此处不再赘述。

如图2中④处所示，首先，将L个子待处理图像对应的运动信息通过运动信息拼接算法得到全图运动信息。得到全图运动信息的过程包括：将任一子待处理图像中全部像素点对应的运动信息设置为该子待处理图像对应的运动信息，得到全部像素点对应的运动信息将其作为全图运动信息。然后将全图运动信息与待处理图像中各像素点的色彩信息以及运动信息进行组合得到运动信息图像。

S105.将运动信息图像输入到去模糊网络中，基于去模糊网络对运动信息图像进行去模糊得到处理后图像。

如图2中⑤处所示，将运动信息图像输入到去模糊网络中，结合该运动信息图像中各像素点的运动信息对该运动信息图像中各像素点的位置进行还原，即可实现对待处理图像进行去模糊得到处理后图像。

该去模糊网络可以实现将运动信息图像映射为处理后图像。

其中，去模糊网络是通过训练得到，关于该去模糊网络的训练过程可以参考下述对图9及其相关内容的描述，此处暂不赘述。

下面描述训练模糊核估计网络的相关内容。

图3示出了训练模糊核估计网络时涉及的一个示意图。

训练完成的模糊核估计网络可以将子待处理图像映射为模糊核。在训练模糊核估计网络的过程中，将W1个子训练图像分为Y1组，将不同组子训练图像依次输入到待训练的模糊核估计网络中，基于任一组子训练图像对模糊核估计网络（待训练的）训练M1次。其中W1为大于等于2的整数，M1为大于等于1的整数，通常M1取值为1。这里以基于第t组子训练图像训练模糊核估计网络（待训练的）为例进行描述。

如图3中③处所示，通过模糊核估计网络（待训练的）计算第t组子训练图像对应的模糊核（第t组预测模糊核）。然后，将该第t组预测模糊核与第t组子训练图像对应的参考模糊核（第t组参考模糊核）之间的差值作为模糊核估计网络的损失函数值（损失函数值1），在损失函数值1未收敛或者模糊核估计网络（待训练的）的训练次数小于预设训练值1的情况下，更新模糊核估计网络（待训练的）的参数。在损失函数值1收敛或者模糊核估计网络（待训练的）的训练次数大于预设训练值1的情况下，停止更新模糊核估计网络（待训练的）的参数，得到训练完成的模糊核估计网络。其中，损失函数值1收敛包括损失函数值1的值达到最小值，或者，损失函数值1的连续F次梯度变化值趋于平缓，例如连续F次梯度变化值等于0。

W1个子训练图像包括F1个训练图像进行划分后得到的全部子训练图像。该W1个子训练图像中的任一组子训练图像可以包括至少一个子训练图像，该组子训练图像中的任一子训练图像是将训练图像进行划分后得到的。该训练图像是基于相邻两帧短帧图像进行插帧操作以及合成操作后所得到模糊的长帧图像。其中，长帧图像是指曝光时间相比于短帧图像较长的图像，例如短帧图像的曝光时间通常可以为1/30s（约为33.2ms），而长帧图像之间的曝光时间可以大于33.2ms。后文中以长帧图像的曝光时间为1s举例进行说明。对于得到训练图像的过程可以参考下述对步骤S201的描述，此处暂不赘述。

则可以理解的是，训练模糊核估计网络时涉及的训练数据包括：用于计算预测模糊核的一组子训练图像，还包括该组子训练图像中任一子训练图像对应的参考模糊核。基于前述内容可以理解的是，W1个子训练图像是基于F1组相邻两帧短帧图像所确定的。其中，基于一组相邻两帧短帧图像即可确定L个子训练图像，该过程可以参考图3中①处所示。

如图3中①处所示，首先利用模糊图像算法基于相邻两帧短帧图像计算得到一帧训练图像。然后将该训练图像划分为L个子训练图像。关于该过程的详细描述可以参考下述对步骤S301以及步骤S302的描述，此处不再赘述。

应该理解的是，基于F1组相邻两帧短帧图像重复执行图3中①处所示的步骤，即可得到W1（F1×L）个子训练图像。

W1个子训练图像对应的参考模糊核也是基于F1组相邻两帧短帧图像所确定的。其中，基于一组相邻两帧短帧图像确定任一子训练图像对应的参考模糊核的过程可以参考图3中②处所示。

如图3中②处所示，首先利用光流算法基于相邻两帧短帧图像确定训练图像中各像素点对应的位移信息。然后获取L个子训练图像对应的平均位移信息，得到L个平均位移信息。在基于L个平均位移信息获取L个子训练图像对应的参考运动信息，得到L个参考运动信息。再基于L个子训练图像对应的参考运动信息得到L个子训练图像对应的参考模糊核。关于该过程的详细描述可以参考下述对步骤S401-步骤S404的描述，此处不再赘述。

应该理解的是，基于F1组相邻两帧短帧图像重复执行图3中②处所示的步骤，即可得到W1（F1×L）个子训练图像对应的参考模糊核。

在一些可能的情况下，模糊核估计网络中可以包括Z1+1个用于特征（模糊核特征）提取的卷积组1、Z1个用于基于所提取特征（模糊核特征）重构模糊核的卷积组2、以及Z1个跳跃连接层。任一跳跃连接层用于连接一个卷积组1以及一个卷积组2。不同跳跃连接层连接不同的卷积组1以及不同的卷积组2。其中，第c1个卷积组2可以通过第c1个跳跃连接层和第（Z1+1-c1）个卷积组1连接。其中，任一卷积组1中均包括卷积核和下采样器。任一卷积组2中均包括一个反卷积核，或者还可以再包括一个上采样器。任一跳跃连接层中均包括一个池化核以及上采样器。其中，任一卷积组1中的卷积核可以有残差模块、空洞卷积等模式。

这里以Z1等于3为例对模糊核估计网络的结果进行举例说明。

如图3中④所示，图标301均指示卷积组1，图标302均指示卷积组2，图标303均指示跳跃连接层。图标304指示输出的模糊核。此时，模糊核估计网络中可以包括4个用于特征提取的卷积组1、3个用于基于所提取特征重构模糊核的卷积组2、以及3个跳跃连接层。任一卷积组2均通过一个跳跃连接层连接了一个卷积组1。

训练子图像首先经过Z1+1个卷积组1进行特征提取得到最终的模糊核特征（例如隐含特征）。然后，将最终的模糊核特征输入到Z1个卷积组2以及Z1个跳跃连接层中基于模糊核特征（最终的）进行跳跃连接以及重构得到最终的模糊核。

这里应该理解的是，不同卷积组1均可得到一个模糊核特征，第e1+1个卷积组1所提取的模糊核特征是在第e1个卷积组1所提取模糊核特征的基础上进行的，即第e1+1个卷积组1的输入为第e1个卷积组1所输出的模糊核特征，第e1+1个卷积组1可以对第e1个卷积组1所提取模糊核特征进行修正与整合。不同卷积组2均可以得到一个模糊核，第e2+1个卷积组2所重构的模糊核是在第e2个卷积组2所重构模糊核的基础上进行的，即第e2+1个卷积组2的输入为第e2个卷积组2所输出的模糊核，第e2+1个卷积组2可以对第e2个卷积组2所重构的模糊核进行修正与整合。其中，e1、e2均为大于等于1的整数。特别的，第1个卷积组1是基于训练子图像提取模糊核特征的。第1个卷积组2是利用最终的模糊核特征重构模糊核的。

其中，第e2个卷积组2重构模糊核的过程包括：首先通过第e2个跳跃连接层将第（Z1+1-e2）个卷积组1输出的模糊核特征与第e2-1个卷积组2输出的模糊核进行连接。将连接的结果进行反卷积得到第e2个卷积组2重构的模糊核。特别的，第1个卷积组2重构模糊核的过程包括：首先通过第1个跳跃连接层将第Z1个卷积组1输出的模糊核特征与最终的模糊核特征进行连接。将连接的结果进行反卷积得到第1个卷积组2重构的模糊核。如果，第e2个卷积组2重构的模糊核相比于第e2-1个卷积组2重构的模糊核尺寸更大，则进行反卷积时还可以进行上采样。此时第e2个卷积组2中包括反卷积核以及上采样器。

图4示出了训练模糊核估计网络时涉及的示例性流程图。

基于相邻两帧短帧图像训练模糊核估计网络涉及的详细内容可以参考下述对步骤S201-步骤S210的描述。下面结合图4详细描述步骤S201-步骤S210。

这里应该理解的是，可以利用至少一组相邻两帧短帧图像对模糊核估计网络进行训练。该至少一组相邻两帧短帧图像可以从图像集合中随机顺次获取。该图像集合可以从视频流中获取。

S201.基于F1组相邻两帧短帧图像得到W1（F1× L）个子训练图像。

该F1组相邻两帧短帧图像中任一组相邻两帧短帧图像可以得到L个子训练图像。

图5示出了基于一组相邻两帧短帧图像得到L个子训练图像的示意图。

关于基于该一组相邻两帧短帧图像得到L个子训练图像的过程可以参考下述对步骤S301以及步骤S302的描述。

S301.基于相邻两帧短帧图像利用模糊图像算法得到训练图像。

一个训练图像是基于相邻两帧短帧图像进行插帧操作以及合成操作后所得到模糊的长帧图像。关于长帧图像以及短帧图像的相关内容可以参考前述相关内容的描述，此处不再赘述。

图6示出了利用模糊图像算法得到训练图像的示意图。

如图6所示，该相邻两帧短帧图像可以从图像集合中获取。该图像集合中还可以包括其他组相邻两帧短帧图像，关于其他组相邻两帧短帧图像得到其他训练图像进而训练模糊核估计网络（待训练的）的过程可以参考对步骤S201-步骤S210的描述此处不再赘述。

基于该相邻两帧短帧图像进行插帧操作得到N帧中间态图像（短帧）。其中，N×短帧图像的曝光时间等于（或者约等于）长帧图像的最长曝光时间。这里假设短帧的曝光时间为1/30s，长帧的最长曝光时间为1s，则N等于30。

然后从N帧中间态图像中获取最后G帧中间态图像，基于G帧中间态图像进行合成操作得到训练图像。其中，合成操作包括对G帧中间态图像取平均得到训练图像（长帧）。其中，G为模糊比例K与N的乘积。这里模糊比例为随机生成的一个小于1的正数。这里随机生成的目的在于：随着模糊比例K的改变，生成的训练图像模糊程度可以模拟不同移动速度下得到的模糊程度，对不同模糊程度的图像进行处理时适应性更强。K取值越接近于1，则表示移动速度越快，模糊程度越大。

这里应该理解的是，训练图像的曝光时间为G×短帧图像的曝光时间。G最大值可以取N，则训练图像的最长曝光时间为N×短帧图像的曝光时间。这里训练图像的曝光时间越长，则被拍摄对象在相同的移动速度下越模糊。

其中，G帧中间态图像取平均是指将G帧中间态图像中表示同一像素点的G个像素点的RGB通道的色彩值取平均，得到全部像素的RGB通道的平均色彩值，作为训练图像（长帧）。

这里记G帧中间态图像为

，其中，l_N表示N帧中间态图像中的最后一帧中间态图像（第N帧中间态图像）。则用于合成训练图像的过程可以参考下述公式。

这里应该理解的是，相比于N帧中间态图像中的第一帧中间态图像，N帧中间态图像中的最后一帧中间态图像中的内容更接近于相邻两帧短帧图像中后一帧短帧图像。相比于N帧中间态图像中的最后一帧中间态图像，N帧中间态图像中的第一帧中间态图像中的内容更接近于相邻两帧短帧图像中前一帧短帧图像。

S302.将训练图像划分为L个子训练图像。

将训练图像划分为L个子训练图像的方式和前述涉及的将待处理图像划分为L个子待处理图像的划分方式相同。这里的划分方式相同包括：训练图像以及待处理图像中具有相同索引的像素点在划分后分别属于L个子训练图像中的第e个子训练图像以及L个子待处理图像中的第e个子训练图像。

S202.基于F1组相邻两帧短帧图像得到W1（F1× L）个子训练图像对应的参考模糊核。

该F1组相邻两帧短帧图像中任一组相邻两帧短帧图像可以得到L个子训练图像对应的参考模糊核。

图7A示出了基于一组相邻两帧短帧图像得到L个子训练图像所对应参考模糊核的示意图。

关于基于该一组相邻两帧短帧图像得到L个子训练图像所对应参考模糊核的过程可以参考下述对步骤S401-步骤S404的描述。

S401.基于相邻两帧短帧图像得到的G帧中间态图像，计算G帧中间态图像的首尾两帧图像中各像素点对应的位移信息。

该G帧中间态图像为得到相邻两帧短帧图像对应的训练图像时涉及的中间态图像。关于得到G帧中间态图像的相关内容可以参考前述对图6的相关描述，此处不再赘述。

其中，一个像素点对应的位移信息表示其从首尾两帧图像中前一帧短帧图像到后一帧短帧图像之间的运动情况。一个像素点的位移信息可以表示为水平移动距离以及竖直移动距离。该水平移动距离以及竖直移动距离可以用像素数量表示。例如，水平移动了u个像素，竖直移动了v个像素。

这里应该理解的是，水平以及竖直是指两个相互垂直的方向，不是特指三维空间中的水平方向和竖直方向。

在一些可能的情况下，可以利用光流算法计算首尾两帧图像中各像素点对应的位移信息。该各像素点对应的位移信息可以指示训练图像中各像素点对应的位移信息。

S402.将全部像素点划分为L个像素点集合，任一像素点集合对应一个子训练图像，基于L个像素点集合包括的位移信息获取L个子训练图像对应的平均位移信息。

其中，将一个像素点集合中全部像素点的水平移动距离取平均得到平均水平移动距离，将一个像素点集合中全部像素点的竖直移动距离取平均得到平均竖直移动距离，将该水平移动距离以及竖直移动距离作为该像素点集合对应的平均位移信息。该像素点集合对应的平均位移信息也与该像素点集合对应的子训练图像相对应。

这里应该理解的是，步骤S402中，得到L个子训练图像以及得到全部像素点得到涉及的相邻两帧短帧图像相同。将全部像素点划分为L个像素点集合的方式和前述涉及的将训练图像划分为L个子训练图像的划分方式相同。这里的划分方式相同是指：相邻两帧短帧图像的全部像素点与训练图像中具有相同索引的像素点在划分后分别属于L个像素点集合的第e个像素点集合以及L个子训练图像中的第e个子训练图像。L个像素点集合的第e个像素点集合对应第e个子训练图像。

S403.基于L个平均位移信息获取L个子训练图像对应的参考运动信息。

其中，利用三角定理基于一个子训练图像对应的平均位移信息即可获取该子训练图像对应的参考运动信息。具体过程可以参考下述对图7B的描述。

图7B示出了基于一个平均位移信息获取参考运动信息的示意图。

如图7B所示，在一个子训练图像对应的平均位移信息为（

，/>

）的情况下，根据三角定理可知：该子训练图像对应的参考运动信息中角度β可以为arctanβ。其中，tanβ基于/>

，/>

可以确定，这里不再赘述。长度s可以为/>

，/>

的平方和再开根。

S404.基于L个参考运动信息得到L个子训练图像对应的参考模糊核。

将L个子训练图像对应的参考运动信息分别转换为参考模糊核，得到L个子训练图像对应的参考模糊核。

一个参考运动信息中包括的角度为β，长度为s的情况下，其转换得到的参考模糊核中可以包括s个连续的白色像素点，其他像素点均为黑色。该s个连续的白色像素点呈现的角度为β。其中，白色和黑色是举例说明，实际是为了突出s个连续的像素点，实际情况中也可以为其他的颜色，本申请实施例对此不作限定。

后续，可以基于W1个子训练图像以及W1个子训练图像对应的参考模糊对模糊核估计网络（待训练的）进行训练。在进行训练时，可以将W1个子训练图像划分为Y1组，任一组子训练图像均对应一组参考模糊核。基于Y1组子训练图像以及对于的参考模糊核分别对模糊核估计网络（待训练的）进行训练。对于该过程的描述可以参考下述对步骤S203-步骤S210的描述。

S203.令t=1，j=1。

t的取值可以依次为1至Y1。j的取值可以依次为1至M1。M1为大于等于1的整数。则最多对模糊核估计网络（待训练的）进行Y1×M1次训练，训练过程循环执行。这里以基于第t组子训练图像对模糊核估计网络（待训练的）进行训练为例进行说明。

其中，基于第t组子训练图像可以对模糊核估计网络（待训练的）进行M1次训练。关于该过程的详细内容，可以参考下述对步骤S204a、步骤S204b、步骤S205-步骤S207的描述。

S204a.将第t组子训练图像依次输入到模糊核估计网络（待训练的）中确定第t组子训练图像对应的预测模糊核。

该模糊核估计网络（待训练的）可以实现将子训练图像映射为该子训练图像对应的模糊核（预测模糊核）。关于模糊核估计网络的结构可以参考前述对图3中④处所示的内容及其相关内容的描述，此处不再赘述。

S204b.获取第t组子训练图像对应的参考模糊核。

第t组子训练图像对应的参考模糊核中任一子训练图像对应的参考模糊核相比于该子训练图像对应的预测模糊核更能正确反馈该子训练图像中被拍摄物体的运动情况。子训练图像对应的参考模糊核可以作为训练标签对模糊核估计网络（待训练的）输出的预测模糊核起对比作用。

S205.基于第t组子训练图像对应的预测模糊核以及参考模糊核计算模糊核估计网络（待训练的）对应的损失函数值，在损失函数值未收敛时，对该模糊核估计网络的参数进行第j次更新。

对该模糊核估计网络的参数进行第j次更新是指基于第t组子训练图像对应的预测模糊核以及参考模糊核对该模糊核估计网络的参数进行第j次更新。

模糊核估计网络的损失函数值未收敛包括：相比于前一次训练模糊核估计网络得到的损失函数值，本次训练模糊核估计网络得到的损失函数值的变化值仍然大于预设差值，或者，损失函数值不存在连续F次梯度变化值趋于平缓。

模糊核估计网络（待训练的）对应的损失函数值可以等于第t组子训练图像中各子训练图像对应的预测模糊核与参考模糊核差值之和。

S206.确定损失函数值是否收敛，或者t是否等于Y1。

在损失函数值未收敛，或者，t小于或者等于Y1的情况下，可以继续训练模糊核估计网络，此时可以执行下述步骤S207。

在损失函数值收敛的情况下，或者，t大于 Y1的情况下，可以结束训练模糊核估计网络。此时可以执行下述步骤S210。

S207.确定j是否等于M1。

在j小于M1的情况下，继续基于第t组子训练图像对应的预测模糊核以及参考模糊核再次训练模糊核估计网络，此时可以执行S208。

在j等于M1的情况下，可以基于下一组子训练图像对应的预测模糊核以及参考模糊核再次训练模糊核估计网络，此时可以执行S209。

S208.令j=j+1。

S209.令t=t+1，j=1。

S210.结束训练。

下面描述训练模糊核参数估计网络的相关内容。

该模糊核参数估计网络（待训练的）可以实现将子训练图像对应的模糊核映射为该子训练图像对应的运动信息（预测运动信息）。

可以基于W2个模糊核以及该W2个模糊核对应的参考运动信息对去模糊核参数估计网络进行至多Y2次训练。其中，W2个模糊核的获取方式包括：在模糊核估计网络训练完成的情况下，从W1个子训练图像中取W2个子训练图像，利用训练完成的模糊核估计网络得到该W2个子训练图像对应的模糊核。其中，W2为小于等于W1的整数。Y2为小于等于W2的整数。

Y2次训练中的每一次训练可以基于一组模糊核以及该组模糊核对应的参考运动信息进行。每次训练都可以对模糊核参数估计网络中的参数进行更新。任一组模糊核中可以包括至少一个模糊核。在一组模糊核中只有一个模糊核时，Y2等于W2。

这里以基于第t组模糊核训练模糊核参数估计网络（待训练的）为例进行描述。其中，训练模糊核参数估计网络涉及的Y2组模糊核中的任一模糊核也可以被称为训练模糊核。

通过模糊核参数估计网络（待训练的）计算第t组模糊核对应的预测运动信息（第t组预测运动信息）。然后，将该第t组预测运动信息与第t组参考运动信息（第t组模糊核对应的参考运动信息）之间的差值作为损失函数值2，在损失函数值2未收敛或者模糊核参数估计网络（待训练的）的训练次数小于预设训练值2的情况下，更新模糊核参数估计网络（待训练的）的参数。在损失函数值2收敛或者模糊核参数估计网络（待训练的）的训练次数大于预设训练值2的情况下，停止更新模糊核参数估计网络（待训练的）的参数，得到训练完成的模糊核参数估计网络。其中，损失函数值2收敛包括损失函数值2的值达到最小值，或者，损失函数值2的连续F次梯度变化值趋于平缓，例如连续F次梯度变化值等于0。

其中，第t组预测运动信息与第t组参考运动信息的差值包括：第t组预测运动信息中各预测运动信息以及所对应参考运动信息的差值之和。一个预测运动信息对应的参考运动信息为：得到该预测运动信息的模糊核所对应的参考运动信息。

图8示出了一个示例性模糊核参数估计网络以及训练模糊核参数估计网络时涉及的一个示意图。

在一些可能的情况下，模糊核参数估计网络中可以包括Z2个卷积组3以及Z2个全连接层。其中，卷积组3用于将模糊核转化为表征运动信息的特征（例如高维隐层空间特征），任一卷积组3中可以包括卷积核和下采样器。全连接层用于将表征运动信息的特征回归为运动信息（包括角度和长度）。图8中以Z2等于3为例进行说明。图标401均指示卷积组3，图标402 均指示全连接层。

模糊核首先经过Z2个卷积组3进行特征提取得到最终的表征运动信息的特征（运动信息特征）。然后将运动信息特征输入到Z2个全连接层得到最终的运动信息。

这里应该理解的是，不同卷积组3可以得到一个运动信息特征。第e3+1个卷积组3所提取的运动信息特征是在第e3个卷积组3所提取运动信息特征的基础上进行的，即第e3+1个卷积组3的输入为第e3个卷积组3所输出的运动信息特征，第e3+1个卷积组3可以对第e3个卷积组3所提取运动信息特征进行修正与整合。不同全连接层均可以得到一个运动信息，第e4+1个全连接层所回归的运动信息是在第e4个全连接层所回归运动信息的基础上进行的，即第e4+1个全连接层的输入为第e4个全连接层所输出的模糊核，第e4+1个全连接层可以对第e4个全连接层所回归的运动信息进行修正与整合。其中，e3、e4均为大于等于1的整数。特别的，第1个卷积组3是基于模糊核转换得到运动信息特征的。第1个全连接层是利用最终的运动信息特征回归得到运动信息的。

基于上述内容，在一组模糊核中包括多个模糊核的情况下，基于该组模糊核以及该组模糊核对应的参考运动信息对模糊核参数估计网络（待训练的）训练时，损失函数值2的取值可以为该组模糊核中各模糊核对应的预测运动信息与参考运动信息差值之和。

这里一次训练过程中包括一个模糊核为例进行说明。如图8所示，将模糊核输入到模糊核参数估计网络中（待训练的）输出预测运动信息，基于该模糊核对应的参考运动信息以及预测运动信息的差值作为模糊核参数估计网络本次训练的损失函数值2。在损失函数值2未收敛或者训练次数未达到或者模糊核参数估计网络（待训练的）的训练次数小于预设训练值2的情况下，更新模糊核参数估计网络（待训练的）的参数。

下面描述训练去模糊网络的相关内容。

该去模糊网络（待训练的）可以实现将运动信息图像映射为预测图像。这里应该理解的是，运动信息图像中的被拍摄对象是模糊的，预测图像是去模糊之后的结果。在一些可能的情况下，去模糊的效果可以在去模糊网络不断训练的过程中变好。

可以基于W3个运动信息图像以及该W3个运动信息图像对应的参考图像对去模糊网络进行至多Y3次训练。Y3次训练中的每一次训练可以基于一组运动信息图像以及该组运动信息图像对应的参考图像进行，每次训练都可以对去模糊网络中的参数进行更新。任一组运动信息图像中可以包括至少一个运动信息图像。在一组运动信息图像中只有一个运动信息图像时，Y3等于W3。

其中，W3个运动信息图像中任一运动信息图像是基于一个样本图像（模糊的）得到的，后文中可以称运动信息图像与得到该运动信息图像的样本图像对应。基于一个样本图像得到运动信息图像的过程包括：在模糊核估计网络以及模糊核参数估计网络训练完成的情况下，可以利用训练完成的模糊核估计网络、模糊核参数估计网络、运动信息拼接算法得到该样本图像对应的全图运动信息。然后，基于该样本图像对应的全部运动信息分别与其对应的样本图像进行组合得到该样本图像对应的运动信息图像。对该过程的详细描述可以参考前述对图2及其相关内容的描述，此处不再赘述。

在一些可能的情况下，任一运动信息图像对应的样本图像，也可以与该运动信息图像对应的参考图像建立对应关系。一个样本图像对应的参考图像可以看作是清晰的样本图像，可以作为训练标签对去模糊核网络输出的预测图像起对比作用。

在一些可能的情况下，任一样本图像及其对应的参考图像可以从已公布的图像数据集中获取。

在另一些可能的情况下，得到W3个运动信息图像的W3个样本图像可以为前述涉及的W1个训练图像中部分或者全部训练图像。此时，任一样本图像对应的参考图像可以为得到该样本图像时涉及的相邻两帧短帧图像中的一帧图像，或者该相邻两帧短帧图像得到的N帧中间态中的任一中间态图像。

这里以基于第t组运动信息图像训练去模糊网络（待训练的）为例进行描述。

通过去模糊网络（待训练的）计算第t组运动信息图像对应的预测图像（第t组预测图像）。然后，将该第t组预测图像与第t组参考图像（第t组运动信息图像对应的参考图像）的差值作为损失函数值3，在损失函数值3未收敛或者去模糊网络（待训练的）的训练次数小于预设训练值3的情况下，更新去模糊网络（待训练的）的参数。在损失函数值3收敛或者去模糊网络（待训练的）的训练次数大于预设训练值3的情况下，停止更新去模糊网络（待训练的）的参数，得到训练完成的去模糊网络。其中，损失函数值3收敛包括损失函数值3的值达到最小值，或者，损失函数值3的连续F次梯度变化值趋于平缓，例如连续F次梯度变化值等于0。

其中，第t组预测图像与第t组参考图像的差值包括：第t组预测图像中各预测图像以及所对应参考图像的差值之和。一个预测图像对应的参考图像为：得到该预测图像的样本图像所对应的参考图像。

这里以一组运动信息图像中包括一个运动信息图像为例，对基于该组运动信息图像训练去模糊网络的过程结合图9进行说明。基于其他组运动信息图像对去模糊网络进行训练的过程可以参考相关描述，不再赘述。

图9示出了训练去模糊网络时涉及的一个示意图。

如图9中①所示，为基于一个样本图像得到该样本图像对应的运动信息图像涉及的相关过程。该过程包括：首先将样本图像划分为L个子样本图像。再将L个子样本图像输入到模糊核估计网络中确定每个子样本图像对应的模糊核。然后，将L个模糊核输入到模糊核参数估计网络中确定每个子样本图像对应的运动信息，得到L个子样本图像对应的运动信息。利用运动信息拼接算法基于L个子样本图像对应的运动信息得到样本图像对应的全图运动信息。最后基于该全图运动信息与样本图像得到该样本图像对应的运动信息图像。对该过程的详细描述可以参考前述对图2及其相关内容的描述，此处不再赘述。

如图9中②所示，后续可以基于如图9中①所示的运动信息图像对去模糊网络（待训练的）进行一次训练。该次训练过程包括：将运动信息图像输入到去模糊网络（待训练的）中得到预测图像。确定预测图像与参考图像的差值作为本次训练输出的损失函数值3，在损失函数值3未收敛或者去模糊网络（待训练的）的训练次数小于预设训练值3的情况下，更新去模糊网络（待训练的）的参数。

在一些可能的情况下，去模糊核网络中包括Z3+1个用于提取图像特征（例如模糊特征）的卷积组4、Z3个用于基于所提取图像特征重构清晰图像（预测图像，也可以称为目标图像）的卷积组5以及Z3个直连接层。任一直连接层用于连接一个卷积组4以及一个卷积组5。不同直连接层连接不同的卷积组4以及不同的卷积组5。其中，第c2个卷积组5可以通过第c2个直连接层和第（Z3+1-c2）个卷积组4连接。其中，任一卷积组4中可以包括卷积核和下采样器。任一卷积组5中均包括一个反卷积核和上采样器。其中，任一卷积组4以及卷积组5中的卷积核可以有残差模块、空洞卷积等模式。

这里以Z3等于4为例对模糊核估计网络的结果进行举例说明。

如图9中③所示，图标501均指示卷积组4，图标502均指示卷积组5，图标503均指示直连接层。此时，模糊核估计网络中可以包括5个用于图像特征提取的卷积组4、4个用于基于所提取图像特征重构预测图像的卷积组5、以及4个直连接层。任一卷积组5均通过一个直连接层连接了一个卷积组4。

训练子图像首先经过Z3+1个卷积组4进行图像特征提取得到最终的图像特征（例如模糊特征）。然后，将最终的图像特征输入到Z3个卷积组5以及Z3个直连接层中基于图像特征（最终的）进行直连接以及重构得到最终的预测图像。

这里应该理解的是，不同卷积组4均可得到一个图像特征，第e5+1个卷积组4所提取的图像特征是在第e5个卷积组4所提取图像特征的基础上进行的，即第e5+1个卷积组4的输入为第e5个卷积组4所输出的图像特征，第e5+1个卷积组4可以对第e5个卷积组4所提取图像特征进行修正与整合。不同卷积组5均可以得到一个预测图像，第e6+1个卷积组5所重构的预测图像是在第e6个卷积组5所重构预测图像的基础上进行的，即第e6+1个卷积组5的输入为第e6个卷积组5所输出的预测图像，第e6+1个卷积组5可以对第e6个卷积组5所重构的预测图像进行修正与整合。其中，e5、e6均为大于等于1的整数。特别的，第1个卷积组4是基于运动信息图像提取图像特征的。第1个卷积组5是利用最终的图像特征重构预测图像的。

其中，第e6个卷积组5重构模糊核的过程包括：首先通过第e6个直连接层将第（Z3+1-e6）个卷积组4输出的图像特征与第e6-1个卷积组5输出的预测图像进行连接。将连接的结果进行反卷积得到第e6个卷积组5重构的预测图像。特别的，第1个卷积组5重构预测图像的过程包括：首先通过第1个直连接层将第Z3个卷积组4输出的图像特征与最终的图像特征进行连接。将连接的结果进行反卷积得到第1个卷积组5重构的预测图像。

下面描述本申请中涉及的使用场景。

本申请涉及的图像处理方法可以用在图像拍摄时，对图像进行实时处理的过程中。还可以用于在图像拍摄完成后，对图像进行后期处理的过程中。

图10A以及图10B示出了本申请中图像处理算法涉及的示例性使用场景。

如图10A中（1）所示，用户界面11为电子设备拍摄图像时涉及的一个示例性预览界面。此时，被拍摄对象相对于电子设备之间存在相对运动。电子设备打开相机，进入“拍照模式”。此时，电子设备对用户界面11中显示的预览图像是基于待处理图像（相机采集的）进行去模糊处理之后的结果，可以使得图像中的被拍摄对象始终是清晰的。

在一些可能的情况下，考虑到需要拍摄模糊图片的场景居多，电子设备可以自动开启去模糊功能。电子设备还可以显示状态1的控件101，该状态1的控件101用于指示在“拍照模式”中开启了图像去模糊功能。响应于针对该显示控件101的操作，电子设备可以关闭去模糊的功能，此时电子设备可以显示状态2的控件101。

如用户界面12所示，在控件101处于状态2的情况下，被拍摄对象相对于电子设备之间存在相对运动时，电子设备对用户界面12中显示的预览图像不进行去模糊处理，可以使得图像中的被拍摄对象是模糊的。

响应于针对控件101的操作，电子设备将控件101变更为第一状态，此时电子设备可以显示如图10B中示出的用户界面13。用户界面13中显示的预览图像是清晰的。响应于针对拍摄控件201的操作，电子设备可以将用户界面13中显示的预览图像进行保存。

应该理解的是，前述内容中对待处理图像去模糊得到处理后的图像使用的电子设备与训练卷积网络（包括模糊核估计网络、模糊核参数估计网络、去模糊网络）使用的电子设备可以相同，也可以不同。

在不同的情况中，可以称对待处理图像去模糊得到处理后的图像使用的电子设备为第一电子设备，训练卷积网络的电子设备成为第二电子设备。第一电子设备可以为手机、个人电脑等设备。第二电子设备可以为具有较强计算能力的云服务器或者个人电脑等。后续，可以将训练完成的卷积网络置于第一电子设备中，使得第一电子设备可以基于训练完成的卷积网络实现去模糊功能。

这里应该理解的是，在一些可能的情况下该对待处理图像去模糊得到处理后的图像使用的电子设备中还可以包括相机应用以及相机。待处理图像可以是基于相机应用以及相机采集的。

在一些可能的情况下，还可以由不同的电子设备分别训练模糊核估计网络、模糊核参数估计网络、去模糊网络。

下面介绍本申请实施例提供对待处理图像去模糊的示例性电子设备。

图11是本申请实施例提供的电子设备的结构示意图。

下面以电子设备为例对实施例进行具体说明。应该理解的是，电子设备可以具有比图11中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图11中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

电子设备可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

在一些可能的情况下，该电子设备中还存储了训练完成的模糊核估计网络、模糊核参数估计网络、去模糊网络，在电子设备获取到模糊的待处理图像进行去模糊处理。例如，内部存储器121可以作为电子设备的计算机可读存储介质存储训练完成的模糊核估计网络、模糊核参数估计网络、去模糊网络以及图像处理方法中涉及的计算机程序代码，该计算机程序代码包括计算机指令，处理器可以调用该计算机指令结合训练完成的卷积网络以使得电子设备执行本申请中的图像处理方法。

本申请还提供一种电子设备，该电子设备可以包括：存储器和处理器。其中，存储器可用于存储计算机程序；处理器可用于调用所述存储器中的计算机程序，以使得该电子设备执行上述任意一个实施例中的方法。

本申请还提供了一种芯片系统，所述芯片系统包括至少一个处理器，用于实现上述任意一个实施例中电子设备执行的方法中所涉及的功能。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器用于保存程序指令和数据，存储器位于处理器之内或处理器之外。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。可选地，该芯片系统中的处理器可以为一个或多个。该处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等。当通过软件实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现。可选地，该芯片系统中的存储器也可以为一个或多个。该存储器可以与处理器集成在一起，也可以和处理器分离设置，本申请实施例并不限定。示例性地，存储器可以是非瞬时性处理器，例如只读存储器ROM，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请实施例对存储器的类型，以及存储器与处理器的设置方式不作具体限定。示例性地，该芯片系统可以是现场可编程门阵列（fieldprogrammablegatearray，FPGA），可以是专用集成芯片（applicationspecificintegratedcircuit，ASIC），还可以是系统芯片（systemonchip，SoC），还可以是中央处理器（centralprocessorunit，CPU），还可以是网络处理器（networkprocessor，NP），还可以是数字信号处理电路（digitalsignalprocessor，DSP），还可以是微控制器（microcontrollerunit，MCU），还可以是可编程控制器（programmablelogicdevice，PLD）或其他集成芯片。

本申请还提供一种计算机程序产品，所述计算机程序产品包括：计算机程序（也可以称为代码，或指令），当所述计算机程序被运行时，使得计算机执行上述任一个实施例中电子设备执行的方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序（也可以称为代码，或指令）。当所述计算机程序被运行时，使得计算机执行上述任一个实施例中电子设备执行的方法。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到（所陈述的条件或事件）”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到（所陈述的条件或事件）时”或“响应于检测到（所陈述的条件或事件）”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质（例如固态硬盘）等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：

将待处理图像划分为L个子待处理图像；

确定所述L个子待处理图像中每一个子待处理图像对应的运动信息，得到L个运动信息；运动信息包括对应的子待处理图像中被拍摄对象在被拍摄的曝光时间内运动的角度和长度；所述角度描述了所述被拍摄对象相对于参考线的角度；所述长度描述了所述被拍摄对象移动的像素点数量；

基于所述L个运动信息和所述待处理图像进行组合得到运动信息图像；所述运动信息图像中任一像素点包括色彩信息和所述像素点所属子待处理图像对应的运动信息；

基于所述运动信息图像进行去模糊处理得到处理后的图像。

2.根据权利要求1所述的方法，其特征在于，分别确定所述L个子待处理图像对应的运动信息，具体包括：

确定所述L个子待处理图像中每一个子待处理图像对应的模糊核，得到L个模糊核；所述模糊核描述了对应的子待处理图像中被拍摄对象的运动轨迹；

基于L个模糊核确定所述L个子待处理图像中每一个子待处理图像对应的运动信息。

3.根据权利要求2所述的方法，其特征在于，确定所述L个子待处理图像中每一个子待处理图像对应的模糊核，具体包括：

利用第一卷积网络确定所述每一个子待处理图像对应的模糊核；所述第一卷积网络中包括Z1+1个用于提取模糊核特征的第一卷积组、Z1个用于基于所述模糊核特征重构模糊核的第二卷积组、以及Z1个跳跃连接层；任一跳跃连接层用于连接一个第一卷积组以及一个第二卷积组，其中，第c1个第二卷积组通过第c1个跳跃连接层和第（Z1+1-c1）个第一卷积组连接。

4.根据权利要求3所述的方法，其特征在于，所述第一卷积网络是以Y1组子训练图像依次作为所述第一卷积网络的输入数据，以所述Y1组子训练图像对应的参考模糊核作为的参考数据进行训练得到的；所述Y1组子训练图像是基于F1个训练图像得到的，其中，F1个训练图像中任一训练图像为基于相邻两帧短帧图像得到的长帧图像，基于相邻两帧短帧图像得到的训练图像的过程包括：基于所述相邻两帧短帧图像进行插帧操作，得到N帧中间态图像；从所述N帧中间态图像中获取最后G帧中间态图像，基于所述G帧中间态图像进行合成操作得到所述训练图像；其中，合成操作包括对G帧中间态图像取平均得到所述训练图像；所述 G为模糊比例K与所述N的乘积；所述K为随机生成的一个小于1的正数；长帧图像指示曝光时间相比于短帧图像更长的图像，其中，G×所述短帧图像的曝光时间等于所述训练图像的曝光时间，所述短帧图像为相邻两帧短帧图像中的任一短帧图像。

5.根据权利要求4所述的方法，其特征在于，全部子训练图像中任一子训练图像对应的参考模糊核是基于得到所述F1个训练图像的F1组相邻两帧短帧图像进行确定的；基于一组相邻两帧短帧图像得到L个子训练图像对应的参考模糊核的过程包括：计算G帧中间态图像的首尾两帧图像中各像素点对应的位移信息；所述G帧中间态图像为所述一组相邻两帧短帧图像得到训练图像时使用的中间态图像；将全部像素点划分为L个像素点集合，基于所述L个像素点集合包括的位移信息获取所述L个子训练图像对应的平均位移信息，其中，L个像素点集合中任一像素点集合对应所述L个子训练图像中的一个子训练图像；基于所述L个平均位移信息基于三角定理获取所述L个子训练图像对应的参考运动信息，得到L个参考运动信息；基于所述L个参考运动信息转化得到所述L个子训练图像对应的参考模糊核。

6.根据权利要求5所述的方法，其特征在于，基于L个模糊核确定所述L个子待处理图像中每一个子待处理图像对应的运动信息，具体包括：

利用第二卷积网络确定所述每一个子待处理图像对应的模糊核；所述第二卷积网络中包括Z2个第三卷积组以及Z2个全连接层；其中，第三卷积组用于将模糊核转化为表征运动信息的特征；任一全连接层用于将表征运动信息的特征回归为运动信息。

7.根据权利要求6所述的方法，其特征在于，所述第二卷积网络是将Y2组训练模糊核依次作为所述第二卷积网络的输入数据，以所述Y2组训练模糊核对应的参考运动信息作为的参考数据进行训练得到的。

8.根据权利要求1-7中任一项所述的方法，其特征在于，基于所述运动信息图像进行去模糊处理得到处理后的图像，具体包括：

利用第三卷积网络基于所述运动信息图像进行去模糊处理得到处理后的图像；所述第三卷积网络中包括Z3+1个用于提取图像特征的第四卷积组、Z3个用于基于所提取图像特征重构目标图像的第五卷积组以及Z3个直连接层；任一直连接层用于连接一个第四卷积组以及一个第五卷积组；其中，第c2个第五卷积组通过第c2个直连接层和第（Z3+1-c2）个第四卷积组连接；所述目标图像为所述处理后的图像。

9.根据权利要求8所述的方法，其特征在于，所述第三卷积网络是将Y3组运动信息训练图像依次作为所述第三卷积网络的输入数据，以每一个运动信息训练图像对应的参考图像作为参考数据进行训练得到的。

10.根据权利要求1-7中任一项所述的方法，其特征在于，所述待处理图像是通过相机应用采集的，采集所述待处理图像的曝光时间内相机存在抖动。

11.根据权利要求1-7中任一项所述的方法，其特征在于，将待处理图像划分为L个子待处理图像之前，还包括：

检测到相机抖动。

12.根据权利要求1-7中任一项所述的方法，其特征在于，通过相机采集到所述待处理图像；所述方法还包括：

显示预览界面，在所述预览界面中显示有所述处理后的图像。

13.一种电子设备，其特征在于，包括：一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至12中任一项所述的方法。

14.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1至12中任一项所述的方法。

Images