CN112541867A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质。该方法包括：对原始清晰图像的至少部分像素点进行N次偏移，以得到N张偏移图像，其中，所述至少部分像素点中的同一像素点在所述N次偏移中分别对应不同的偏移参数，N为大于或等于2的整数；根据所述N张偏移图像生成与所述原始清晰图像对应的运动模糊图像。上述的图像处理方法、装置、电子设备及计算机可读存储介质，能够提高生成运动模糊图像的效率，且有效降低了生成运动模糊图像的成本。

Description

图像处理方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术

目前较为成熟的运动模糊图像的生成方式主要是先通过相机的高帧率(如240帧/秒等)模式拍摄运动画面的视频，再对该视频中连续的多帧图像进行累加等计算，得到一张运动模糊图像。该生成方式中采集视频数据的成本高，一段采集视频只能合成数量有限的运动模糊图像，生成运动模糊图像的效率差。

发明内容

本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质，能够提高生成运动模糊图像的效率，且有效降低了生成运动模糊图像的成本。

本申请实施例公开了一种图像处理方法，包括：

对原始清晰图像的至少部分像素点进行N次偏移，以得到N张偏移图像，其中，所述至少部分像素点中的同一像素点在所述N次偏移中分别对应不同的偏移参数，N为大于或等于2的整数；

根据所述N张偏移图像生成与所述原始清晰图像对应的运动模糊图像。

本申请实施例公开了一种图像处理装置，包括：

偏移模块，用于对原始清晰图像的至少部分像素点进行N次偏移，以得到N张偏移图像，其中，所述至少部分像素点中的同一像素点在所述N次偏移中分别对应不同的偏移参数，N为大于或等于2的整数；

图像生成模块，用于根据所述N张偏移图像生成与所述原始清晰图像对应的运动模糊图像。

本申请实施例公开了一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。

本申请实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

本申请实施例公开的图像处理方法、装置、电子设备及计算机可读存储介质，对原始清晰图像的至少部分像素点进行N次偏移，以得到N张偏移图像，其中至少部分像素点中的同一像素点在N次偏移中分别对应不同的偏移参数，N为大于或等于2的整数，再根据得到的N张偏移图像生成与原始清晰图像对应的运动模糊图像，基于单张的原始清晰图像即可生成运动模糊图像，能够提高生成运动模糊图像的效率，且有效降低了生成运动模糊图像的成本。而且针对同一原始清晰图像可以进行不同的像素偏移处理，从而产生对应不同运动类型的运动模糊图像，得到丰富的运动模糊图像。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的流程图；

图2为一个实施例中对像素点进行偏移的示意图；

图3为另一个实施例中对像素点进行偏移的示意图；

图4为另一个实施例中对像素点进行偏移的示意图；

图5为另一个实施例中对像素点进行偏移的示意图；

图6为一个实施例中生成运动模糊图像的流程图；

图7为另一个实施例中图像处理方法的流程图；

图8为一个实施例中的运动矢量图的示意图；

图9A为一个实施例中对原始清晰图像进行图像区域划分的示意图；

图9B为另一个实施例中对原始清晰图像进行图像区域划分的示意图；

图9C为另一个实施例中对原始清晰图像进行图像区域划分的示意图；

图10为一个实施例中将原始清晰图像分割为前景图像区域及背景图像区域的示意图；

图11为一个实施例中图像处理装置的框图；

图12为一个实施例中电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，在一个实施例中，提供一种图像处理方法，该方法可应用于电子设备，该电子设备可包括但不限于手机、智能穿戴设备、平板电脑、个人计算机(PersonalComputer，PC)等终端设备，也可包括服务器、服务器集群等服务设备，本申请实施例对此不作限制。该方法可包括以下步骤：

步骤110，对原始清晰图像的至少部分像素点进行N次偏移，以得到N张偏移图像，其中，该至少部分像素点中的同一像素点在N次偏移中分别对应不同的偏移参数，N为大于或等于2的整数。

原始清晰图像可以是电子设备通过摄像头等成像装置实时采集的图像，该成像装置可设置在电子设备上，也可以是外置的成像装置，并与电子设备建立通信连接，以将采集的图像传输给电子设备。原始清晰图像也可以是预先存储在存储器中的图像，或是其它电子设备发送的图像等，原始清晰图像的获取方式在本申请实施例中不作限定。

对于一张原始清晰图像，可生成与原始清晰图像对应的一张或多张运动模糊图像，生成的运动模糊图像的数量可不作限制。对于每一次生成运动模糊图像，均可对原始清晰图像的至少部分像素点进行N次偏移，每次生成运动模糊图像进行的偏移次数N可相同也可不同，N较大时，得到的偏移图像较多，基于N张偏移图像生成的运动模糊图像的模糊效果较好，该N张偏移图像之间可存在差异，可根据实际需求选择合适的偏移次数N进行像素点偏移。

其中，进行偏移的至少部分像素点中的同一像素点在N次偏移中可分别对应不同的偏移参数。该偏移参数可包括偏移方向及偏移幅度等，偏移方向可指的是像素点偏移后的像素位置相对在原始清晰图像中的原始像素位置的方向信息，偏移幅度可指的是像素点偏移后的像素位置相对在原始清晰图像中的原始像素位置的像素距离。同一像素点在该N次偏移的任意两次偏移中，可以是偏移方向相同但是偏移幅度不同，也可以是偏移方向不同但是偏移幅度相同，也可以是偏移方向及偏移幅度均不同等。

在一些实施例中，可采用不同的偏移方式对原始清晰图像的至少部分像素点进行N次偏移，偏移方式可包括但不限于以下几种方式：

方式一、在原始清晰图像中选定需要进行偏移的目标像素点，该目标像素点可以是原始清晰图像中的所有像素点，也可以仅是原始清晰图像中的部分像素点。进一步地，该部分像素点在原始清晰图像可以是位置相连的像素点，也即，该部分像素点可组成连通的图像区域。可对选定的目标像素点按照统一的运动矢量进行连续的N次偏移，该运动矢量可包括运动方向及运动距离。

示例性地，如图2所示，运动矢量可为向左移动3个像素，若进行N次偏移，则选定的目标像素点(即图中的实心圆)每次进行偏移时均相对上一次偏移向左移动3个像素，在第一次偏移时，目标像素点从原始清晰图像(a)的原始像素位置向左移动3个像素，得到第一张偏移图像(b)，在第二次偏移时，目标像素点从第一张偏移图像(b)的像素位置向左移动3个像素，得到第二张偏移图像(c)，……，以此类推，直至完成N次偏移。从图2中可直观地看出，得到的多张偏移图像相对原始清晰图像来说，同一像素点的偏移参数是不同的，如第一张偏移图像(b)相对原始清晰图像(a)的偏移幅度为3个像素，第二张偏移图像(c)相对原始清晰图像(a)的偏移幅度为6个像素。

所有的目标像素点按照统一的运动矢量进行连续的N次偏移，可保证得到的N张偏移图像的运动方向一致，且相邻偏移图像之间具有连续性，可使得生成的运动模糊图像更贴合真实运动场景。

方式二、在原始清晰图像中选定需要进行偏移的目标像素点，在每次对目标像素点进行偏移时，可随机生成每个目标像素点对应的运动矢量，各个目标像素点可按照对应的运动矢量进行当前次的偏移，在进行当前次的偏移时，可以是在上一次偏移得到的偏移图像的基础上进行偏移，若没有上一次偏移得到的偏移图像，则可在原始清晰图像的基础上进行偏移。

示例性地，如图3所示，在进行第一次偏移时，随机生成每个目标像素点对应的运动矢量，并在原始清晰图像(a)的基础上，按照各个目标像素点对应的运动矢量对各个目标像素点，得到第一张偏移图像(b)；在进行第二次偏移时，重新随机生成每个目标像素点对应的运动矢量，并在第一张偏移图像(b)的基础上，按照各个目标像素点对应的运动矢量对各个目标像素点进行偏移，得到第二张偏移图像(c)，……，以此类推，直至完成N次偏移。

可选地，在每次进行偏移时，随机生成每个目标像素点对应的运动矢量后，也可以是直接在原始清晰图像的基础上进行偏移，实现N次偏移的并行处理，可以进一步加快处理速度。

每次对目标像素点进行随机偏移，可提高得到的N张偏移图像的运动丰富性，使得生成的运动模糊图像更加丰富，防止出现运动太过单一的情况。

方式三、在原始清晰图像中选定需要进行偏移的目标像素点，并在进行N次偏移之前，随机生成每个目标像素点对应的运动矢量，可按照各个目标像素点对应的运动矢量对各个目标像素点进行连续的N次偏移，同一目标像素点每次偏移的运动矢量是相同的。

示例性地，如图4所示，先随机生成每个目标像素点对应的运动矢量，在进行第一次偏移时，在原始清晰图像(a)的基础上，按照各个目标像素点对应的运动矢量对各个目标像素点，得到第一张偏移图像(b)；在进行第二次偏移时，在第一张偏移图像(b)的基础上，按照各个目标像素点对应的运动矢量对各个目标像素点进行偏移，得到第二张偏移图像(c)，……，以此类推，直至完成N次偏移，同一个目标像素点每次偏移的运动矢量都是相同的。

先随机生成每个目标像素点对应的运动矢量，再按照该每个目标像素点对应的运动矢量对各个目标像素点进行连续的N次偏移，既能够提高生成的运动模糊图像的丰富性，且相邻偏移图像之间具有连续性，可以使得生成的运动模糊图像更贴合真实运动场景。

方式四、在每次进行像素点的偏移时，可重新选定需要进行偏移的目标像素点，也即每次进行偏移的目标像素点可以是不同的。选定目标像素点的方式可以是在上一次偏移得到的偏移图像中随机选取多个像素点，也可以是在上一次偏移得到的偏移图像中随机选取一个或多个图像区域，并将选取的图像区域包括的像素点作为目标像素点等，但不限于此。若是第一次进行像素点偏移，则可以按照上述的选定方式从原始清晰图像中选定目标像素点。

在每次选定需要进行偏移的目标像素点后，可按照统一的运动矢量对本次选定的目标像素点进行偏移，也可随机生成本次选定的各个目标像素点对应的运动矢量，并按照本次选定的各个目标像素点对应的运动矢量对各个目标像素点进行偏移等，其偏移方式在此不作限定。

示例性地，如图5所示，在进行第一次偏移时，随机从原始清晰图像(a)中选定目标像素点，并将选定的各个目标像素点向左移动3个像素，得到第一张偏移图像(b)；在进行第二次偏移时，在第一张偏移图像(b)的基础上，重新选定目标像素点，并将选定的各个目标像素点向左移动3个像素，得到第一张偏移图像(c)。

需要说明的是，上述的图2、图3、图4、图5中的键头均用于表征运动矢量，键头方向表示运动方向，键头长度表示运动距离，上述的图2、图3、图4、图5仅示出了部分进行偏移的目标像素点以及偏移2次产生的偏移图像，仅用于说明上述各实施例中的偏移方式，并不用于限定本申请实施例。

步骤120，根据N张偏移图像生成与原始清晰图像对应的运动模糊图像。

在一些实施例中，电子设备在得到N张偏移图像后，可将该N张偏移图像进行叠加，叠加时需将N张偏移图像进行对齐，也即，N张偏移图像相同像素位置的像素点可对应，再根据叠加的N张偏移图像生成与原始清晰图像对应的运动模糊图像。生成的运动模糊图像可与原始清晰图像组成训练样本对，该训练样本对可用于对执行去运动模糊任务的人工智能模型进行训练。

对于同一张原始清晰图像，电子设备可重复执行步骤110及步骤120，以得到多张存在差异的运动模糊图像，在生成每张运动模糊图像时，可采用上述方式一至方式四中的任意一种方式对原始清晰图像的像素点进行N次偏移。每次生成运动模糊图像时所采用的偏移方式可相同，也可不同。每次生成运动模糊图像时选定的需要进行偏移的目标像素点可相同也可不同，各个目标像素点的运动矢量也可不同，从而可产生丰富的运动模糊图像。

在一些实施例中，电子设备可根据生成的与原始清晰图像对应的一张或多张存在差异的运动模糊图像，得到训练样本数据集合，该训练样本数据集合可用于对执行去运动模糊任务的人工智能模型进行训练。将训练样本数据集合包含的一张或多张存在差异的运动模糊图像及原始清晰图像一起输入到该人工智能模型中，人工智能模型可提取每张的运动模糊图像的图像特征，并根据该图像特征对运动模糊图像进行去模糊处理，再将去模糊处理后的运动模糊图像与原始清晰图像进行比较，得到二者的差异，可利用该差异不断对人工智能模型中的参数进行调整，直至人工智能模型输出的去模糊处理后的运动模糊图像满足期望。

由于在本申请实施例中，利用同一张原始清晰图像即可生成大量不同的运动模糊图像，且运动模糊图像对应的运动场景丰富、运动类型丰富，可以提高人工智能模型的训练效果，从而提高该人工智能模型执行去运动模糊任务的能力。

在本申请实施例中，对原始清晰图像的至少部分像素点进行N次偏移，以得到N张偏移图像，其中至少部分像素点中的同一像素点在N次偏移中分别对应不同的偏移参数，N为大于或等于2的整数，再根据得到的N张偏移图像生成与原始清晰图像对应的运动模糊图像，基于单张的原始清晰图像即可生成运动模糊图像，能够提高生成运动模糊图像的效率，且有效降低了生成运动模糊图像的成本。而且针对同一原始清晰图像可以进行不同的像素偏移处理，从而产生对应不同运动类型的运动模糊图像，得到丰富的运动模糊图像。

如图6所示，在一个实施例中，步骤120根据N张偏移图像生成与原始清晰图像对应的运动模糊图像，可包括以下步骤：

步骤602，将N张偏移图像中位于相同像素位置的像素点进行叠加。

电子设备得到N张偏移图像后，可将N张偏移图像中，位于相同像素位置的各个像素点进行对齐叠加。在一些实施例中，可将N张偏移图像中位于相同像素位置的各个像素点的像素值进行累加，位于相同像素位置的像素点数量可能为N，也可能大于N或小于N，需根据实际的偏移情况进行确定。可选地，该像素值可以是像素点的颜色值、灰度值等。

例如，在5张偏移图像中，位于像素位置(x1，y1)的像素点有5个，其像素值分别为i1，i2，i3，i4及i5，则可将i1，i2，i3，i4及i5进行累加，得到像素位置(x1，y1)叠加的各个像素点的像素值之和。

步骤604，根据每个像素位置叠加的多个像素点，确定运动模糊图像中每个像素位置对应的目标像素值。

运动模糊图像与原始清晰图像及N张偏移图像对应，运动模糊图像包含的像素位置与各张偏移图像包含的像素位置保持一致。在一些实施例中，在将N张偏移图像中位于相同像素位置的各个像素点的像素值进行累加后，可再进行平均，计算得到相同像素位置叠加的各个像素点的平均像素值，该平均像素值即可作为运动模糊图像中相应像素位置的目标像素值。

以第一像素位置为例，可计算第一像素位置叠加的多个像素点的第一平均像素值，并将第一平均像素值作为运动模糊图像中第一像素位置对应的目标像素值，该第一像素位置可为N张偏移图像中的任一像素位置，也即，第一像素位置可为运动模糊图像中的任一像素位置。例如，第一像素位置(x1，y1)叠加的像素点有5个，其像素值分别为i1，i2，i3，i4及i5，则第一平均像素值＝(i1+i2+i3+i4+i5)/5。

在一些实施例中，电子设备可先对第一像素位置叠加的多个像素点进行亮度校正，再计算校正后的多个像素点的第一平均像素值。可预先设置有亮度校正系数，并将第一像素位置叠加的各个像素点的像素值与该亮度校正系数相乘，得到校正后的像素值。对第一像素位置叠加的多个像素点进行亮度校正后再得到运动模糊图像中第一像素位置的目标像素值，可以提高生成的运动模糊图像的图像效果。

进一步地，可确定第一像素位置叠加的各个像素点的像素值所属的像素值区间，并将像素点的像素值与所属的像素值区间对应的亮度校正系数相乘，实现对第一像素位置叠加的各个像素点的亮度校正。不同的像素值区间可对应不同的亮度校正系数，若像素值用灰度值表示，则灰度值越大表示亮度越大，像素值区间包含的灰度值较小的，对应的亮度校正系数可较大，像素值区间包含的灰度值较大的，对应的亮度校正系数可较小。可通过不同的亮度校正系数对第一像素位置叠加的多个像素点进行亮度校正，可进一步提高生成的运动模糊图像的图像效果，也可提高后续使用运动模糊图像对模型进行训练时的准确性。

在本申请实施例中，可根据N张偏移图像中相同像素位置叠加的各个像素点生成运动模糊图像，可提高生成运动模糊图像的效率，且有效降低了生成运动模糊图像的成本，而且保证了生成的运动模糊图像的图像效果，提高运动模糊图像的可用性。

如图7所示，在一个实施例中，提供另一种图像处理方法，可应用于上述的电子设备，该方法可包括以下步骤：

步骤702，确定原始清晰图像中的各个像素点对应的运动矢量，运动矢量包括运动方向及运动距离。

在一些实施例中，电子设备获取原始清晰图像后，可对原始清晰图像进行图像分析，确定原始清晰图像对应的清晰度，并在原始清晰图像对应的清晰度大于设定的清晰度阈值时，可对原始清晰图像的至少部分像素点进行N次偏移。可选地，可采用Brenner梯度函数、Tenengrad梯度函数、Laplacian梯度函数、方差函数及熵函数等清晰度算法分析原始清晰图像的清晰度，也可采用其它算法分析原始清晰图像的清晰度，在此不作限定。

电子设备可确定原始清晰图像中的各个像素点对应的运动矢量，该运动矢量可为0，则指的是像素点不进行偏移，运动矢量也可以是带有运动方向及运动距离不为0的向量，表示像素点需要进行偏移。原始清晰图像中可以是全部的像素点都是对应有运动距离不为0的运动矢量，即全部的像素点均需要进行偏移，也可以是部分的像素点对应有运动距离不为0的运动矢量，仅部分的像素点需要进行偏移。其中，运动距离可指的是像素点需要偏移的像素距离。

在一些实施例中，可生成与原始清晰图像对应的运动矢量图，该运动矢量图中可定义各个像素位置对应的运动矢量，针对原始清晰图像中的各个像素点，可以在该运动矢量图的相同像素位置查找到对应的运动矢量。示例性地，如图8所示，该运动矢量图中标注出了各个像素位置的像素点对应的运动矢量，其中，运动矢量为一个点的表示运动矢量为0(如框802中的运动矢量所示)，相应像素位置的像素点不需要进行偏移；运动矢量为带有一定方向及长度的条形状图案表示相应像素位置的像素点需要进行偏移(如框804中的运动矢量所示)，条形状图案的长度可表示运动距离，条形状图案的方向即为运动方向。

在一些实施例中，确定原始清晰图像中的各个像素点对应的运动矢量，可包括：随机生成原始清晰图像中的各个像素点对应的运动矢量。该随机生成原始清晰图像中的各个像素点对应的运动矢量可包括随机生成各个像素点的运动方向，以及随机生成各个像素点的运动距离。可选地，可随机选择原始清晰图像中需要进行偏移的像素点，即可随机选择任意像素点生成具有运动方向且运动距离不为0的运动矢量。

作为另一种实施方式，也可从原始清晰图像中选择能够组成片区的像素点随机生成运动距离不为0的运动矢量，选择的多个像素点可在原始清晰图像中形成一个或多个连通域，每个连通域可定义为一个片区，一个片区内包含多个相互邻接的像素点。如图8所示，图8中运动矢量为带有一定方向及长度的条形状图案形成了一个片区，每个条形状图案均具有与其相邻的其它条形状图像，从而可对原始清晰图像中属于该片区的像素点进行偏移。

在一些实施例中，确定原始清晰图像中的各个像素点对应的运动矢量，可包括：将原始清晰图像划分为多个图像区域；分别确定各个图像区域包含的各个像素点对应的运动矢量，其中，属于同一图像区域的相邻像素点的运动方向及运动距离均保持连续性。

相邻像素点的运动方向及运动距离均保持连续性可指的是相邻像素点的运动方向及运动距离均是可导的。同一图像区域内的各个像素点可依据像素点的排布，按照预设的变化率生成相邻像素点分别对应的运动矢量，该变化率可以是固定设置的，也可以是变化的，在此不作限制。可选地，该变化率可小于预设的变化率阈值，则可确保相邻像素点的运动矢量差异不明显，保证相邻像素点的运动一致性。

例如，在一图像区域内，可按照像素点从图像左侧到图像右侧(或是从图像左侧到图像右侧)的排布顺序，依次生成各列的像素点对应的运动矢量，每一列的像素点可对应相同的运动矢量，相邻列的像素点之间的运动矢量变化符合预设的变化率，相邻列之间的变化率可以是相同的，也可以是不同的。也可按照像素点从图像上侧到图像下侧(或是从图像下侧到图像上侧)的排布顺序，依次生成各行的像素点对应的运动矢量，同一行的像素点可对应相同的运动矢量，相邻行的像素点之间的运动矢量变化符合预设的变化率，相邻行之间的变化率可以是相同的，也可以是不同的。可选地，每行及每列的像素点也可不对应相同的运动矢量，保证相邻相像素的运动方向及运动距离具有连续性即可。

对于同一图像区域内的相邻像素点生成具有连续性的运动矢量，可保证同一图像区域内的像素点在进行平移时是平滑过渡的，可以更好地模拟真实的运动场景中各邻近像素运动的一致性，提高了生成的运动模糊图像的真实性。

作为一种实施方式，电子设备可根据设置的区域划分规则将原始清晰图像划分为多个图像区域，例如，该区域划分规则可为九宫格划分，将原始清晰图像划分为9个相同大小的图像区域(如图9A所示)，也可以是四宫格划分，将原始清晰图像划分为4个相同大小的图像区域，或是在将原始清晰图像的中间划分出固定大小的图像区域(如图9B所示)等。具体的区域划分规则可根据实际需求进行设定，在此不作限定。

作为另一种实施方式，电子设备也可在原始清晰图像中随机生成多个不重叠的随机框，每个随机框内的图像内容可作为一个图像区域。如图9C所示，可在原始清晰图像中随机生成多个随机框902，不同随机框902之间可不包含相同部分的图像内容，每个随机框902可对应一个图像区域，同一随机框902内的相邻像素点的运动矢量可具备连续性。通过不同的方式对原始清晰图像的图像区域进行划分，可以对不同图像区域内的像素点进行偏移，可提高生成的运动模糊图像的丰富性，使得生成的运动模糊图像贴合不同的运动场景。

在一些实施例中，将原始清晰图像划分为多个图像区域，可包括：对原始清晰图像进行识别，得到原始清晰图像包括的一个或多个具备运动属性的目标对象；根据一个或多个具备运动属性的目标对象将原始清晰图像分割为前景图像区域及背景图像区域。

具备运动属性的目标对象可指的是原始清晰图像中可能进行运动的目标对象，例如人物、动物，或是会动的物体(如白云、汽车等)。

需要说明的是，当发生的运动类型不同时，同一原始清晰图像中的具备运动属性的目标对象可不同。例如，若运动类型为对象自身进行的运动，则像建筑物等对象为不具备运动属性的目标对象，若运动类型为摄像头发生的运动(如摄像头抖动、或是持摄像头的用户运动等)，则建筑物等对象也可为具备运动属性的目标对象。因此，在对原始清晰图像进行识别之前，可先获取运动类型，该运动属性可由用户进行设定，也可以是从类型集合中随机选择一个，再对原始清晰图像进行识别，得到原始清晰图像中与该获取的运动类型对应的具备运动属性的目标对象。

在一些实施例中，可对原始清晰图像进行边缘检测，提取原始清晰图像中的边缘特征，并根据提取的边缘特征识别原始清晰图像中包含的各个对象，再判断各个对象是否具备运动属性，若具备运动属性，则可作为目标对象。可根据目标对象的边缘对原始清晰图像进行分割，将原始清晰图像分割为前景图像区域及背景图像区域，该前景图像区域可指的是图像中景深较小(可理解为距离拍摄者较近)的区域，背景图像区域可指的是图像中景深较大(可理解为距离拍摄者较远)的区域。进一步地，该前景图像区域可指的是目标对象所在的图像区域。

示例性地，如图10所示，对原始清晰图像进行识别后，可得到具备运动属性的人物对象，可基于该识别结果对原始清晰图像进行分割，得到前景图像区域1010，以及背景图像区域1020。

在将原始清晰图像分割为前景图像区域及背景图像区域后，可分别生成前景图像区域及背景图像区域中的各个像素点对应的运动矢量。可选地，前景图像区域及背景图像区域中的像素点可分别加载不同的运动矢量，从而可生成具备不同运动类型或不同模糊程度的前景图像区域及背景图像区域。例如，前景图像区域的像素点的运动距离可较大，背景图像区域中的像素点的运动距离可较小；或是仅生成前景图像区域的各个像素点对应的运动矢量，仅对前景图像区域的像素点进行偏移，而保持背景图像区域静止等。

进一步地，前景图像区域中的相邻像素点的运动方向及运动距离均保持连续性，背景图像区域中的相邻像素点的运动方向及运动距离均保持连续性。前景图像区域及背景图像区域中的像素点也可分别对应不同的运动矢量变化规律。例如，前景图像区域中的相邻像素点的运动距离变化可较大，背景图像区域中的相邻像素点的运动距离变化可较小等，但不限于此。

在一些实施例中，前景图像区域中可能包括有多个具备运动属性的目标对象，每个目标对象可对应前景图像区域中的一个子区域。电子设备可获取每个目标对象对应的运动参数，该运动参数可包括运动方向及运动速度等。对于不同的目标对象，其运动参数可能相同，也可能不同，例如，原始清晰图像中包括两个相面对的人物对象，则该两个相面对的人物对象的运动方向可能是相反的。

电子设备可再根据每个目标对象对应的运动参数，生成前景图像区域中与每个目标对象对应的子区域中各个像素点的运动矢量。每个目标对象对应的子区域中各个像素点的运动矢量可对该目标对象的运动参数匹配，符合各个目标对象的实际运动规律，从而可使得生成的运动模糊图像更加贴合实际的运动场景。

作为一种实施方式，上述各实施例中，电子设备在将原始清晰图像划分为多个图像区域后，可根据样条曲面图或光流矢量图分别确定各个图像区域包含的各个像素点对应的运动矢量。样条曲面图及光流矢量图可用于拟合同一图像区域的相邻像素点之间的运动矢量变化。利用样条曲面图或光流矢量图可拟合同一图像区域中各个像素点在进行偏移时的平滑过渡。

其中，样条曲面图可指的是以样条曲线组成的曲面的图像，该样条曲线可指的是给定一组点所得到的曲线。可选地，可用样条曲面图中的一条样条曲线拟合图像区域中的一行像素点或一列像素点的运动矢量，也即，同一行像素点或同一列像素点对应的运动矢量可属于同一条样条曲线，且同一行或同一列中的相邻像素点的运动矢量可为同一条样条曲线中相邻的控制点。像素点的运动方向可以是在样条曲线中对应控制点的切线方向，像素点的运动距离则可以是在样条曲线中对应控制点的数值大小(如控制点在纵轴方向上的数值大小)。由于样条曲面图中的样条曲线是连续的，利用样条曲面图可保证同一图像区域中相邻像素点的运动矢量具有连续性。

光流矢量图可指的是目标、场景或摄像机在连续两帧图像间运动时造成的目标的运动矢量图。光流矢量图可反映图像在运动平移的过程中的矢量场，可模拟真实的运动情况。在一些实施方式中，可预先通过摄像头采集不同运动场景(如不同运动类型、不同运动对象、不同运动速度等)下的图像，并根据相邻帧的图像生成相应的光流矢量图，可建立存储有大量光流矢量图的矢量图库。

可从矢量图库中随机选取一张光流矢量图，并根据该光流矢量图分别确定各个图像区域包含的各个像素点对应的运动矢量，也可针对每个图像区域从矢量图库中随机选取对应的光流矢量图，并按照与图像区域对应的光流矢量图生成各个像素点对应的运动矢量。各个像素点对应的运动矢量可与光流矢量图中的相应像素位置的光流矢量一致。由于光流矢量图表示的是图像在真实运动场景下的运动矢量场，利用光流矢量图生成像素点的运动矢量，即可以保证同一图像区域中相邻像素点的运动矢量的连续性，也可以提高生成的运动模糊图像的真实性。

步骤704，基于各个像素点对应的运动矢量，对原始清晰图像中运动距离不为0的像素点进行N次偏移，以得到N张偏移图像。

作为一种可选的实施方式，可根据确定的各个像素点对应的运动矢量，对原始清晰图像中运动距离不为0的像素点进行连续的N次偏移，每次均按照该确定的运动矢量在上一次得到的偏移图像中进行像素点偏移(第一次偏移时为在原始清晰图像中偏移)，各个像素点每次偏移的运动矢量都是相同的，从而可得到N张存在差异的偏移图像。

作为另一种可选的实施方式，在每次对像素点进行偏移时，均可重新确定各个像素点对应的运动矢量，并根据本次确定的各个像素点对应的运动矢量在上一次得到的偏移图像中进行像素点偏移(第一次偏移时为在原始清晰图像中偏移)，同一个像素点每次偏移的运动矢量可能相同，也可能不同，从而可得到N张存在差异的偏移图像。可选地，电子设备也可根据本次确定的各个像素点对应的运动矢量在原始清晰图像中进行像素点偏移，得到本次的偏移图像。每次偏移时生成不同的运动矢量可模拟非均匀运动等场景，可以提高运动模糊图像的丰富性。

步骤706，将N张偏移图像中位于相同像素位置的像素点进行叠加。

步骤708，根据每个像素位置叠加的多个像素点，确定运动模糊图像中每个像素位置对应的目标像素值。

步骤706～708可参照上述各实施你中的相关描述，在此不再一一赘述。

在本申请实施例中，可按照不同的方式确定原始清晰图像中的各个像素点对应的运动矢量，并基于确定的各个像素点对应的运动矢量对原始清晰图像中运动距离不为0的像素点进行N次偏移，以得到N张偏移图像，再利用该N张偏移图像生成运动模糊图像，使用一张原始清晰图像即可生成多张不同的运动模糊图像，且模拟了不同的运动场景，运动类型丰富，提高了生成的运动模糊图像的丰富性，降低了生成运动模糊图像的成本。而且对原始清晰图像按照目标图像进行区域分割，可提高生成的运动模糊图像的真实性。

如图11所示，在一个实施例中，提供一种图像处理装置1100，可应用于上述的电子设备，该图像处理装置1100，可包括偏移模块1110及图像生成模块1120。

偏移模块1110，用于对原始清晰图像的至少部分像素点进行N次偏移，以得到N张偏移图像，其中，至少部分像素点中的同一像素点在N次偏移中分别对应不同的偏移参数，N为大于或等于2的整数。

图像生成模块1120，用于根据N张偏移图像生成与原始清晰图像对应的运动模糊图像。

在一个实施例中，上述图像处理装置1100，还可包括集合生成模块，用于根据生成的与原始清晰图像对应的一张或多张存在差异的运动模糊图像，得到训练样本数据集合，训练样本数据集合用于对执行去运动模糊任务的人工智能模型进行训练。

在本申请实施例中，对原始清晰图像的至少部分像素点进行N次偏移，以得到N张偏移图像，其中至少部分像素点中的同一像素点在N次偏移中分别对应不同的偏移参数，N为大于或等于2的整数，再根据得到的N张偏移图像生成与原始清晰图像对应的运动模糊图像，基于单张的原始清晰图像即可生成运动模糊图像，能够提高生成运动模糊图像的效率，且有效降低了生成运动模糊图像的成本。而且针对同一原始清晰图像可以进行不同的像素偏移处理，从而产生对应不同运动类型的运动模糊图像，得到丰富的运动模糊图像。

在一个实施例中，图像生成模块1120，包括叠加单元及像素值确定单元。

叠加单元，用于将N张偏移图像中位于相同像素位置的像素点进行叠加。

像素值确定单元，用于根据每个像素位置叠加的多个像素点，确定运动模糊图像中每个像素位置对应的目标像素值。

在一个实施例中，像素值确定单元，还用于计算第一像素位置叠加的多个像素点的第一平均像素值，并将第一平均像素值作为运动模糊图像中第一像素位置对应的目标像素值，其中，第一像素位置为N张偏移图像中的任一像素位置。

在本申请实施例中，可根据N张偏移图像中相同像素位置叠加的各个像素点生成运动模糊图像，可提高生成运动模糊图像的效率，且有效降低了生成运动模糊图像的成本，而且保证了生成的运动模糊图像的图像效果，提高运动模糊图像的可用性。

在一些实施例中，偏移模块1110，包括运动矢量确定单元及偏移单元。

运动矢量确定单元，用于确定原始清晰图像中的各个像素点对应的运动矢量，运动矢量包括运动方向及运动距离。

在一个实施例中，运动矢量确定单元，还用于随机生成原始清晰图像中的各个像素点对应的运动矢量。

在一个实施例中，运动矢量确定单元区域划分子单元及矢量确定子单元。

区域划分子单元，用于将原始清晰图像划分为多个图像区域。

矢量确定子单元，用于分别确定各个图像区域包含的各个像素点对应的运动矢量，其中，属于同一图像区域的相邻像素点的运动方向及运动距离均保持连续性。

在一个实施例中，区域划分子单元，还用于对原始清晰图像进行识别，得到原始清晰图像包括的一个或多个具备运动属性的目标对象，并根据一个或多个具备运动属性的目标对象将原始清晰图像分割为前景图像区域及背景图像区域。

在一个实施例中，矢量确定子单元，还用于获取每个目标对象对应的运动参数，并根据每个目标对象对应的运动参数，生成前景图像区域中与每个目标对象对应的子区域中各个像素点的运动矢量。

在一个实施例中，矢量确定子单元，还用于根据样条曲面图或光流矢量图分别确定各个图像区域包含的各个像素点对应的运动矢量，样条曲面图及光流矢量图可用于拟合同一图像区域的相邻像素点之间的运动矢量变化。

偏移单元，用于基于各个像素点对应的运动矢量，对原始清晰图像中运动距离不为0的像素点进行N次偏移，以得到N张偏移图像。

在本申请实施例中，可按照不同的方式确定原始清晰图像中的各个像素点对应的运动矢量，并基于确定的各个像素点对应的运动矢量对原始清晰图像中运动距离不为0的像素点进行N次偏移，以得到N张偏移图像，再利用该N张偏移图像生成运动模糊图像，使用一张原始清晰图像即可生成多张不同的运动模糊图像，且模拟了不同的运动场景，运动类型丰富，提高了生成的运动模糊图像的丰富性，降低了生成运动模糊图像的成本。而且对原始清晰图像按照目标图像进行区域分割，可提高生成的运动模糊图像的真实性。

图12为一个实施例中终端设备的结构框图。如图12所示，电子设备1200可以包括一个或多个如下部件：处理器1210、与处理器1210耦合的存储器1220，其中存储器1220可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器1210执行时实现如上述各实施例描述的方法。

处理器1210可以包括一个或者多个处理核。处理器1210利用各种接口和线路连接整个电子设备1200内的各个部分，通过运行或执行存储在存储器1220内的指令、程序、代码集或指令集，以及调用存储在存储器1220内的数据，执行电子设备1200的各种功能和处理数据。可选地，处理器1210可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1210可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1210中，单独通过一块通信芯片进行实现。

存储器1220可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器1220可用于存储指令、程序、代码、代码集或指令集。存储器1220可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备1200在使用中所创建的数据等。

可以理解地，电子设备1200可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、WiFi(Wireless Fidelity，无线保真)模块、扬声器、蓝牙模块、传感器等，还可在此不进行限定。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述实施例描述的方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM等。

如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM，PROM)、可擦除PROM(Erasable PROM，EPROM)、电可擦除PROM(Electrically ErasablePROM，EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory，RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(Static RAM，SRAM)、动态RAM(Dynamic Random Access Memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM，DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM，ESDRAM)、同步链路DRAM(Synchlink DRAM，SLDRAM)、存储器总线直接RAM(Rambus DRAM，RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM，DRDRAM)。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

以上对本申请实施例公开的一种图像处理方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

对原始清晰图像的至少部分像素点进行N次偏移，以得到N张偏移图像，其中，所述至少部分像素点中的同一像素点在所述N次偏移中分别对应不同的偏移参数，N为大于或等于2的整数；

根据所述N张偏移图像生成与所述原始清晰图像对应的运动模糊图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述N张偏移图像生成与所述原始清晰图像对应的运动模糊图像，包括：

将所述N张偏移图像中位于相同像素位置的像素点进行叠加；

根据每个像素位置叠加的多个像素点，确定运动模糊图像中所述每个像素位置对应的目标像素值。

3.根据权利要求2所述的方法，其特征在于，所述根据每个像素位置叠加的各个像素点，确定运动模糊图像中所述每个像素位置对应的目标像素值，包括：

计算第一像素位置叠加的多个像素点的第一平均像素值，并将所述第一平均像素值作为运动模糊图像中所述第一像素位置对应的目标像素值，其中，所述第一像素位置为所述N张偏移图像中的任一像素位置。

4.根据权利要求1所述的方法，其特征在于，所述对原始清晰图像的至少部分像素点进行N次偏移，以得到N张偏移图像，包括：

确定原始清晰图像中的各个像素点对应的运动矢量，所述运动矢量包括运动方向及运动距离；

基于所述各个像素点对应的运动矢量，对所述原始清晰图像中运动距离不为0的像素点进行N次偏移，以得到N张偏移图像。

5.根据权利要求4所述的方法，其特征在于，所述确定原始清晰图像中的各个像素点对应的运动矢量，包括：

随机生成原始清晰图像中的各个像素点对应的运动矢量。

6.根据权利要求4所述的方法，其特征在于，所述确定原始清晰图像中的各个像素点对应的运动矢量，包括：

将原始清晰图像划分为多个图像区域；

分别确定各个图像区域包含的各个像素点对应的运动矢量，其中，属于同一图像区域的相邻像素点的运动方向及运动距离均保持连续性。

7.根据权利要求6所述的方法，其特征在于，所述将原始清晰图像划分为多个图像区域，包括：

对原始清晰图像进行识别，得到所述原始清晰图像包括的一个或多个具备运动属性的目标对象；

根据所述一个或多个具备运动属性的目标对象将所述原始清晰图像分割为前景图像区域及背景图像区域。

8.根据权利要求7所述的方法，其特征在于，所述分别确定各个图像区域包含的各个像素点对应的运动矢量，包括：

获取每个所述目标对象对应的运动参数；

根据每个所述目标对象对应的运动参数，生成所述前景图像区域中与每个所述目标对象对应的子区域中各个像素点的运动矢量。

9.根据权利要求6至8任一所述的方法，其特征在于，所述分别确定各个图像区域包含的各个像素点对应的运动矢量，包括：

根据样条曲面图或光流矢量图分别确定各个图像区域包含的各个像素点对应的运动矢量，所述样条曲面图及光流矢量图可用于拟合同一图像区域的相邻像素点之间的运动矢量变化。

10.根据权利要求1至8任一所述的方法，其特征在于，所述方法还包括：

根据生成的与所述原始清晰图像对应的一张或多张存在差异的运动模糊图像，得到训练样本数据集合，所述训练样本数据集合用于对执行去运动模糊任务的人工智能模型进行训练。

11.一种图像处理装置，其特征在于，包括：

偏移模块，用于对原始清晰图像的至少部分像素点进行N次偏移，以得到N张偏移图像，其中，所述至少部分像素点中的同一像素点在所述N次偏移中分别对应不同的偏移参数，N为大于或等于2的整数；

图像生成模块，用于根据所述N张偏移图像生成与所述原始清晰图像对应的运动模糊图像。

12.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至10任一所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一所述的方法。

Images