CN115082326A - 视频去模糊的处理方法、边缘计算设备及中心处理器 - Google Patents

Abstract

本申请提供视频去模糊的处理方法、边缘计算设备及中心处理器，该方法中边缘计算设备，通过从原始视频的各帧图像中确定当前的目标图像，对目标图像进行目标检测，确定目标图像的第一目标区域，第一目标区域中存在识别对象；对第一目标区域对应的图像进行模糊度检测；若检测结果为模糊图像，则将第一目标区域对应的图像发送给中心处理器，以使中心处理器对接收到的图像进行去模糊处理及目标识别，获得识别结果。通过上述方法，将模糊图像处理转移至中心处理器处，从而减小对边缘计算设备计算能力的要求，并且，仅将第一目标区域这一目标图像中的局部区域图像发送至中心处理器，减少了边缘计算设备与中心处理器之间的数据传输量。

Description

视频去模糊的处理方法、边缘计算设备及中心处理器

技术领域

本申请涉及图像处理领域，尤其涉及一种视频去模糊的处理方法、边缘计算设备及中心处理器。

背景技术

随着图像处理技术的发展，许多图像处理技术被应用于各种设备上，用于对设备接收或采集到的视频图像进行处理。然而在视频图像在采集过程中，采集到的视频图像会由于设备或者被拍摄物体的移动，导致拍摄的图像经常会出现模糊的现象。

目前，相关人员提出很多针对视频去模糊的方法，来提高所拍摄的视频图像的清晰度，以提高目标识别的准确度。

但是，大多数去模糊的方法都依赖于神经网络的方式，一般的设备很难支持上述去模糊方法所需的计算能力，导致无法实现对视频图像的去模糊处理。

发明内容

本申请提供一种视频去模糊的处理方法、边缘计算设备及中心处理器，用以解决现有技术一般设备计算能力不足而无法实现对视频的去模糊处理的问题。

本申请第一方面提供一种视频去模糊的处理方法，所述方法应用于边缘计算设备，所述方法包括：

从原始视频的各帧图像中确定当前的目标图像，对目标图像进行目标检测，确定所述目标图像的第一目标区域，所述第一目标区域中存在识别对象。

对所述第一目标区域对应的图像进行模糊度检测，确定检测结果。

若所述检测结果为模糊图像，则将所述第一目标区域对应的图像发送给中心处理器，以使中心处理器对接收到的图像进行去模糊处理及目标识别，获得识别结果。

一种可能的实现方式中，所述若所述检测结果为模糊图像，则将所述第一目标区域中的图像发送给中心处理器，包括：

若所述检测结果为模糊图像，则获取与所述目标图像相邻的多帧连续图像。

确定所述多帧连续图像的多个第二目标区域，所述第二目标区域对应的图像中存在所述识别对象。

将所述第一目标区域与所述多个第二目标区域所对应的图像发送给中心处理器。

一种可能的实现方式中，所述确定所述多帧连续图像的多个第二目标区域之后，所述方法还包括；

按照预设的像素值，调整所述第一目标区域与所述多个第二目标区域所对应的图像的像素大小，得到调整后的第一目标区域与多个第二目标区域所对应的图像。

将所述第一目标区域与所述多个第二目标区域对应的图像信息发送给中心处理器，包括：将所述调整后的第一目标区域与所述多个第二目标区域对应的图像信息发送给中心处理器。

一种可能的实现方式中，所述调整所述第一目标区域与所述第二目标区域所对应的图像的像素大小，得到调整后的第一目标区域与第二目标区域所对应的图像，包括：

将所述第一目标区域与所述第二目标区域所对应的图像的像素大小分别调整至预设的第一像素值，得到调整后的第一目标区域与第二目标区域所对应的图像。

一种可能的实现方式中，所述确定所述多帧连续图像的多个第二目标区域，包括：

获取所述第一目标区域所对应的图像，依据目标跟踪算法，确定所述多帧连续图像信息的多个第二目标区域。

一种可能的实现方式中，在对待识别的目标区域进行模糊度检测之后，所述方法还包括：

若所述检测结果为清晰图像，则对所述第一目标区域对应的图像进行目标识别，得到识别结果。

将所述识别结果发送至中心处理器。

第二方面，本申请提供一种视频去模糊的处理方法，所述方法应用于中心处理器，所述方法包括：

接收边缘计算设备发送的第一目标区域对应的图像，所述第一目标区域为原始视频的目标图像中存在目标识别的识别对象的局部区域。

对所述第一目标区域对应的图像进行去模糊处理及目标识别，获得识别结果。

一种可能的实现方式中，所述方法还包括：

接收边缘计算设备发送的第二目标区域对应的图像，所述第二目标区域为与所述目标图像相邻的多帧连续图像中存在所述识别对象的局部区域。

所述对所述第一目标区域对应的图像进行去模糊处理及目标识别，包括：

依据所述第二目标区域对应的图像，对第一目标区域对应的图像进行去模糊处理及目标识别。

一种可能的实现方式中，所述第一目标区域与所述第二目标区域所对应的图像是所述边缘计算设备按照预设的像素值，对第一目标区域与第二目标区域所对应的图像进行像素调整后发送的。

一种可能的实现方式中，所述方法还包括：

接收边缘计算设备发送的识别结果，所述识别结果是所述边缘计算设备在检测出第一目标区域对应的图像为清晰图像后，对所述第一目标区域对应的图像进行目标识别得到的。

第三方面，本申请提供一种边缘计算设备，所述设备包括：

检测单元，用于从原始视频的各帧图像中确定当前的目标图像，对目标图像进行目标检测，确定所述目标图像的第一目标区域，所述第一目标区域中存在识别对象。

确定单元，用于对所述第一目标区域对应的图像进行模糊度检测，确定检测结果。

第一发送单元，用于若所述检测结果为模糊图像，则将所述第一目标区域对应的图像发送给中心处理器，以使中心处理器对接收到的图像进行去模糊处理及目标识别，获得识别结果。

一种可能的实现方式中，所述第一发送单元，包括：

获取模块，用于若所述检测结果为模糊图像，则获取与所述目标图像相邻的多帧连续图像。

确定模块，用于确定所述多帧连续图像的多个第二目标区域，所述第二目标区域对应的图像中存在所述识别对象。

发送模块，用于将所述第一目标区域与所述多个第二目标区域所对应的图像发送给中心处理器。

一种可能的实现方式中，所述设备还包括；

调整模块，用于在所述确定模块确定所述多帧连续图像的多个第二目标区域之后，按照预设的像素值，调整所述第一目标区域与所述多个第二目标区域所对应的图像的像素大小，得到调整后的第一目标区域与多个第二目标区域所对应的图像。

发送模块，具体用于将所述调整后的第一目标区域与所述多个第二目标区域对应的图像信息发送给中心处理器。

一种可能的实现方式中，所述调整模块，具体用于：

将所述第一目标区域与所述第二目标区域所对应的图像的像素大小分别调整至预设的第一像素值，得到调整后的第一目标区域与第二目标区域所对应的图像。

一种可能的实现方式中，所述确定模块，具体用于：

获取所述第一目标区域所对应的图像，依据目标跟踪算法，确定所述多帧连续图像信息的多个第二目标区域。

一种可能的实现方式中，所述设备还包括：

识别单元，用于在所述确定单元对待识别的目标区域进行模糊度检测之后，若所述检测结果为清晰图像，则对所述第一目标区域对应的图像进行目标识别，得到识别结果。

第二发送单元，用于将所述识别结果发送至中心处理器。

第四方面，本申请提供一种中心处理器，所述处理器包括：

第一接收单元，用于接收边缘计算设备发送的第一目标区域对应的图像，所述第一目标区域为原始视频的目标图像中存在目标识别的识别对象的局部区域。

处理单元，对所述第一目标区域对应的图像进行去模糊处理及目标识别，获得识别结果。

一种可能的实现方式中，所述处理器还包括：

第二接收单元，用于接收边缘计算设备发送的第二目标区域对应的图像，所述第二目标区域为与所述目标图像相邻的多帧连续图像中存在所述识别对象的局部区域。

处理单元，具体用于：依据所述第二目标区域对应的图像，对第一目标区域对应的图像进行去模糊处理及目标识别。

一种可能的实现方式中，所述第一目标区域与所述第二目标区域所对应的图像是所述边缘计算设备按照预设的像素值，对第一目标区域与第二目标区域所对应的图像进行像素调整后发送的。

一种可能的实现方式中，所述处理器还包括：

第三接收单元，用于接收边缘计算设备发送的识别结果，所述识别结果是所述边缘计算设备在检测出第一目标区域对应的图像为清晰图像后，对所述第一目标区域对应的图像进行目标识别得到的。

第五方面，本申请提供一种电子设备，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器，用于根据所述可执行指令执行如第一方面任一项所述的方法。

第六方面，本申请提供一种电子设备，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器，用于根据所述可执行指令执行如第二方面任一项所述的方法。

第七方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。

第八方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第二方面任一项所述的方法。

第九方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现如第一方面中任一项所述的方法。

第十方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现如第二方面中任一项所述的方法。

本申请提供视频去模糊的处理方法、边缘计算设备及中心处理器，该方法中边缘计算设备，通过从原始视频的各帧图像中确定当前的目标图像，对目标图像进行目标检测，确定目标图像的第一目标区域，第一目标区域中存在识别对象；对第一目标区域对应的图像进行模糊度检测，确定检测结果；若检测结果为模糊图像，则将第一目标区域对应的图像发送给中心处理器，以使中心处理器对接收到的图像进行去模糊处理及目标识别，获得识别结果。通过上述方法，将模糊图像的处理转移至中心处理器处，从而减小对边缘计算设备算力的要求，并且，仅将第一目标区域这一目标图像中的局部区域图像发至中心处理器，减少了边缘计算设备与中心处理器之间的数据传输量。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请提供的一种去模糊装置的结构示意图；

图2为本申请提供的一种视频去模糊的处理方法的流程示意图；

图3为本申请提供的第二种视频去模糊的方法的流程示意图；

图4为本申请提供的第三种视频去模糊的方法的流程示意图；

图5为本申请提供的第四种视频去模糊的处理方法的流程示意图；

图6为本申请提供的第四种视频去模糊的处理方法的流程示意图；

图7为本申请提供的一种视频去模糊的应用场景图；

图8为本申请提供的一种边缘计算设备与中心处理器的信令交互图；

图9为本申请提供一种边缘计算设备的结构示意图；

图10为本申请提供一种中心处理器的结构示意图；

图11为本申请实施例中提供的一种电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

目前，随着图像处理技术的发展，图像处理技术已经应用到生活中的各个领域，例如，安防监控领域，通常可以通过图像处理技术中的图像识别技术对监控到的图像进行分析，进而当发现具有可疑车牌号的车辆或可疑人员时，可以进行实时报警。然而，由于在对图像或者视频进行采集时，由于采集装置或者被采集物体的移动，通常会导致采集到的图像或视频中出现模糊现象，进而影响物体识别的精度。

现有技术中，对于图像或者视频的去模糊的处理方式通常是基于去模糊的神经网络方式来进行处理的。图1为本申请提供的一种去模糊装置的结构示意图。该装置中，包括有一个用于图像去模糊的去模糊网络，该去模糊网络是通过大量的训练样本的训练和学习得到的。该去模糊网络可以对采集到的视频或者图像信息进行去模糊处理并输出清晰的视频或图像信息，从而基于去模糊网络输出的清晰的图像信息，该装置在进一步的对其进行目标识别，例如人脸或者车牌等的识别。

然而，在上述装置中，由于在去模糊网络中需要进过多次的循环迭代以使得该网络的损失函数降低至预设值之下，因此要求该装置具有较高的计算能力。而对于一般的边缘计算设备，例如摄像头、手持音视频记录仪、边缘网关等设备的计算能力，很难满足上述去模糊处理的算力要求，从而无法通过上述方法进行去模糊处理使得后续的目标识别的精度下降。下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请提供的一种视频去模糊的处理方法的流程示意图，该方法应用于边缘计算设备，该方法包括以下步骤：

步骤101、从原始视频的各帧图像中确定当前的目标图像，对目标图像进行目标检测，确定目标图像的第一目标区域，第一目标区域中存在识别对象。

示例性地，该方法主要应用于边缘计算设备，其中，所需处理的原始视频可以为边缘计算设备中拍摄得到的视频，也可以为从其余设备接收到的视频图像。具体地，在从原始视频的各帧图像中确定目标图像时，可以依次将每一帧图像都作为目标图像，并对目标图像进行目标检测，从而确定每一帧目标图像中识别对象所对应的第一目标区域。或者也可以在原始视频中抽取待检测帧的图像，将其作为目标图像，并对于每一帧目标图像中确定识别对象的第一目标区域。

在目标图像中确定识别对象时，可以采用常用的目标检测算法，即可以依据识别对象的颜色、形状等特性从目标图像中，确定待检测的目标图像中的识别对象所对应的第一目标区域。即每一个第一目标区域中，包括有一个识别对象。例如，识别对象可以为道路中的交通标志符、人脸或者车牌等。一帧图像中可以包括有一个或多个识别对象，且识别对象可以为一种或者不同种类的对象，例如人脸、车牌等。

步骤102、对第一目标区域对应的图像进行模糊度检测，确定检测结果。

示例性地，在确定出识别对象的第一目标区域之后，需要对第一目标区域所对应的图像进行模糊度检测，并确定第一目标区域的检测结果。

在进行模糊度检测时，可采用常用的模糊检测的方法，例如，梯度函数计算图像清晰度的方法(常用梯度函数包括：Brenner梯度函数、Laplacian梯度函数、Tenengrad梯度函数等)，或者也可以采用灰度方差函数、灰度方差乘积函数等函数计算图像的清晰度，进而通过比较所计算的清晰度与预设值之间的大小，从而确定检测结果为清晰图像或者是模糊图像。

步骤103、若检测结果为模糊图像，则将第一目标区域对应的图像发送给中心处理器，以使中心处理器对接收到的图像进行去模糊处理及目标识别，获得识别结果。

示例性地，若通过步骤102检测得到当前第一目标区域对应的图像为模糊图像，将第一目标区域所对应的图像发送给中心处理器，并通过中心处理器对边缘计算所发送的图像进行去模糊处理以及目标识别，从而获取第一目标区域所对应图像的目标识别结果。

其中，中心处理器与边缘计算设备为相互独立的两个设备，并且中心处理器可以对接收到的图像进行去模糊处理以及目标检测处理。当边缘计算设备检测到第一目标区域中的图像为模糊图像时，会将第一目标区域中的图像发送给中心处理器，即在目标图像中，截取第一目标区域所对应的图像，仅将第一目标区域所对应的图像发送至中心处理器。

并且，在边缘计算设备与中心处理器在进行图像传输时，可以采用有线传输的方式，也可以采取无线传输的方法，在这里不做具体限定。

此外，每一边缘计算设备都可以对应的设置有一台中心处理器，且每一台中心处理器可以有多个边缘计算设备与其对应。

本实施例中，通过边缘计算设备对于原始视频中的目标图像进行目标检测，从而确定出包括有识别对象的第一目标区域，之后将对第一目标区域中的检测出的模糊图像发送给中心处理器，从而通过中心处理器对模糊图像进行处理以及识别。从而降低了对边缘计算设备的计算能力的要求，避免了在边缘计算设备中安装较高算力的处理芯片而带来的边缘计算设备尺寸增加、能耗增高、成本提高的问题。并且，在向中心处理器传输图像时，仅仅将目标图像中第一目标区域中的图像传输给中心处理器，从而减少数据传输量，节约传输带宽。

图3为本申请提供的第二种视频去模糊的方法的流程示意图。如图3所示，该方法应用于边缘计算设备，该方法包括

步骤201、从原始视频的各帧图像中确定当前的目标图像，对目标图像进行目标检测，确定目标图像的第一目标区域，第一目标区域中存在识别对象。

步骤202、对第一目标区域对应的图像进行模糊度检测，确定检测结果。

示例性地，本实施例中的步骤201与步骤202的原理可以参考图2中的步骤101与步骤102，此处不再赘述。

步骤203、若检测结果为模糊图像，则获取与目标图像相邻的多帧连续图像。

步骤204、确定多帧连续图像的多个第二目标区域，第二目标区域对应的图像中存在识别对象。

示例性地，当对第一目标区域所对应的图像的检测结果为模糊图像时，边缘计算设备可以去查找与该第一目标区域所处的目标图像相邻的多帧连续图像，并且从多帧连续图像中查找出多个第二目标区域，且第二目标区域中包括有识别对象。

具体地，在选取多帧连续图像时，可以在选取该目标图像帧的后几帧图像，也可以在该目标图像前后分别选取几帧图像作为多帧连续图像。在多帧连续图像中查找第二目标区域时，可以依据第一目标区域在目标图像中的位置进行选取，从而在多帧连续图像中选取第二目标区域。

一个示例中，在确定多帧连续图像信息的多个第二目标区域时，可以依据目标跟踪算法，在多帧连续图像信息中确定多个第二目标区域。例如说，当目前检测到的第一目标区域中的物体中红色和绿色区域占比2：3，则在多帧连续图像信息中，可以依据这一颜色占比以及目标跟踪算法(例如，粒子滤波、卡尔曼滤波)，确定满足这一占比的第二目标区域。

步骤205、将第一目标区域与多个第二目标区域所对应的图像发送给中心处理器，以使中心处理器对接收到的图像进行去模糊处理及目标识别，获得识别结果。

示例性地，在获取到第一目标区域与第二目标区域之后，边缘计算设备将第一目标区域与多个第二目标区域中所对应的图像发送给中心处理器，进而使得中心处理器基于接收到的图像，对第一目标区域的图像进行去模糊处理以及目标识别，从而依靠中心处理器得到识别结果。

例如，在对第一目标区域的图像进行去模糊处理时，可以将第一目标区域与多个第二目标区域中所对应的图像同时输入至去模糊网络中，通过在去模糊网络中的多次迭代处理，从而实现对第一目标区域的去模糊处理。

在本实施例中，边缘计算设备在检测到第一目标区域的图像为模糊图像时，会去查找该第一目标区域的目标图像附近的多帧连续图像，并在多帧连续图像中确定多个第二目标区域，从而使得在中心处理设备在进行去模糊处理时，可以依据接收到的第一目标区域和多个第二目标区域对应的图像对第一目标区域的图像进行去模糊处理，从而提高图像去模糊处理的准确度。并且，在对第二目标区域进行查找时，也可以通过目标跟踪的方式进行查找，从而提高第二目标区域的准确度，进而提升图像去模糊的精确度。

图4为本申请提供的第三种视频去模糊的方法的流程示意图。如图4所示，该方法应用于边缘计算设备，该方法包括：

步骤301、从原始视频的各帧图像中确定当前的目标图像，对目标图像进行目标检测，确定目标图像的第一目标区域，第一目标区域中存在识别对象。

步骤302、对第一目标区域对应的图像进行模糊度检测，确定检测结果。

步骤303、若检测结果为模糊图像，则获取与目标图像相邻的多帧连续图像。

步骤304、确定多帧连续图像的多个第二目标区域，第二目标区域对应的图像中存在识别对象。

示例性地，本实施例中步骤301-步骤304可以参见图3中的步骤201-步骤204，此处不再赘述。

步骤305、按照预设的像素值，调整第一目标区域与多个第二目标区域所对应的图像的像素大小，得到调整后的第一目标区域与多个第二目标区域所对应的图像。

示例性地，在确认得到第二目标区域后，对第一目标区域与多个第二目标区域的像素大小进行调整，即可以按照预设的像素值进行调整。若第一目标区域与多个第二目标区域所对应的图像的像素大小超过预设的像素值时，可以对第一目标区域与多个第二目标区域所对应的图像像素进行调整。例如，可以按照一定比例对像素大小进行缩小。

具体地，也可以将第一目标区域与第二目标区域所对应的图像的像素大小分别调整至预设的第一像素值，得到调整后的第一目标区域与第二目标区域所对应的图像。

例如说，在对原始视频中的人脸进行检测识别时，由于当所拍摄到的人脸的图像满足一定的像素值时，就可以满足人脸识别的要求，因此对于检测到的第一目标区域与第二目标区域而言，可以将其像素大小固定为第一像素值，其中第一像素值为人为设定的且不会影响目标识别结果的像素值。即，当所获取到的第一目标区域或者第二目标区域的所对应的像素值较大时，可以将其像素值减小至第一像素值。

步骤306、将调整后的第一目标区域与多个第二目标区域对应的图像信息发送给中心处理器，以使中心处理器对接收到的图像进行去模糊处理及目标识别，获得识别结果。

示例性地，在调整完第一目标区域与多个第二目标区域对应的图像的像素大小之后，将调整大小后的第一目标区域与第二目标区域所对应的图像信息发送给中心处理器。

步骤307、若检测结果为清晰图像，则对第一目标区域对应的图像进行目标识别，得到识别结果。

示例性地，在步骤302之后，若检测到第一目标区域所对应的图像为清晰图像，则边缘计算设备对该第一目标区域的图像进行图像识别，进而获取到该第一目标区域的图像识别结果。例如，图像的识别结果可以为对应人脸对应的人员信息、车牌号码等。

举例来说，当检测结果为清晰图像时，若此时在原始视频中检测的为人脸的信息，则可以从清晰图像中提取人脸特征，将所提取的人脸特征与预先存储的人脸特征进行比较，并且若在预先存储的人脸特征中查找到相似度较高的特征，则可以依据该特征对应的人员信息，进而确定当前清晰图像中人脸的人员信息。

另一个示例中，当检测结果为清晰图像时，若此时在原始视频中检测的识别对象为车牌，则首先可以对车牌所在的检测框即目标区域进行角度校正、字符切分，然后依据传统的文字识别技术(例如将提取的字符特征输入分类器中)或者卷积神经网络等深度学习的算法，进而实现对车牌号码进行识别。

步骤308、将识别结果发送至中心处理器。

示例性地，在边缘计算设备进行识别之后，可以将识别结果发送至中心处理器。例如，监控系统中，中心处理器在接收到边缘计算设备发送的识别结果之后，可以对其进行存储，进而可以在中心处理器侧记录相关人员或者车辆的进出记录。

举例来说，中心处理器侧在获取到边缘计算设备上传的清晰图像的识别结果之后，也可以将其与预设的危险人员信息或者车辆信息进行比对，进而可以实现报警的作用。

本实施例中，在获取到第一目标区域与多个第二目标区域之后，需要对第一目标区域以及第二目标区域所对应的图像像素进行调整，即可以按照预设的像素值，确定是否需要进行像素调整或者直接将像素值调整至预设的第一像素值，进而在不影响目标检测结果的前提下，减小边缘计算设备与中心处理器之间的传输带宽。

图5为本申请提供的第四种视频去模糊的处理方法的流程示意图，该方法应用于中心处理器，该方法包括：

步骤401、接收边缘计算设备发送的第一目标区域对应的图像，第一目标区域为原始视频的目标图像中存在目标识别的识别对象的局部区域。

示例性地，在本实施例中视频去模糊的处理方法可以应用于中心处理器，中心处理器用于接收边缘计算设备发送的第一目标区域对应的图像，即该第一目标区域为边缘计算设备确定出的包括有识别对象的原始视频中的某帧目标图像中的局部区域。具体地，边缘计算设备接收到图像可以为边缘计算设备进行模糊检测后，将包括模糊图像的第一目标区域对应的图像信息发送给中心处理器的图像。

步骤402、对第一目标区域对应的图像进行去模糊处理及目标识别，获得识别结果。

示例性地，中心处理器对接收到的图像进行去模糊处理以及目标识别，从而得到第一目标区域所对应的图像的识别结果。

在本实施例中，中心处理设备仅接收边缘计算设备发送的原始视频的目标图像中存在识别对象的局部区域的图像，从而节约了中心处理设备与边缘计算设备之间的传输带宽，并且，将目标检测以及模糊检测过程设置在边缘计算设备中，也可以减小中心处理设备的功耗。

图6为本申请提供的第四种视频去模糊的处理方法的流程示意图，方法应用于中心处理器，该方法包括：

步骤501、接收边缘计算设备发送的第一目标区域对应的图像，第一目标区域为原始视频的目标图像中存在目标识别的识别对象的局部区域。

示例性地，本步骤可以参见图5中的步骤401，此处不再赘述。

步骤502、接收边缘计算设备发送的第二目标区域对应的图像，第二目标区域为与目标图像相邻的多帧连续图像中存在识别对象的局部区域。

一个示例中，第一目标区域与第二目标区域所对应的图像是边缘计算设备按照预设的像素值，对第一目标区域与第二目标区域所对应的图像进行像素调整后发送的。

示例性地，中心处理器还用于接收第二目标区域所对应的图像，其中第二目标区域所对应的图像为边缘计算设备在第一目标区域所在目标图像附近的连续多帧图像中确定出的包括识别对象的局部区域中的图像。其中，接收到的第二目标区域可以有多个。

并且，所接收到的第一目标区域和第二目标区域所对应的图像像素可以为经过像素调整后的图像。例如说边缘计算设备可以按照预设的像素值，减小所对应的图像像素。

步骤503、依据第二目标区域对应的图像，对第一目标区域对应的图像进行去模糊处理及目标识别。

示例性地，在接收到第二目标区域所对应的图像之后，可以依据第二目标区域对应的图像，实现对第一目标区域对应的图像的去模糊处理。例如，对于中心处理器中的去模糊网络，将第一目标区域对应的图像与第二目标区域所对应的图像同时输入至去模糊网络中，例如卷积神经网络，通过卷积神经网络进行采样处理、卷积处理、训练处理，使得训练后的损失函数满足预设的损失值，从而输出去模糊处理后的第一目标区域所对应的清晰图像。

之后再对得到的清晰图像进行目标识别处理，例如可以将清晰图像中所提取的特征与中心处理器中预先存储的特征进行比对，从而将相似度最大的特征所对应的存储结果作为目标识别的识别结果。

步骤504、接收边缘计算设备发送的识别结果，识别结果是边缘计算设备在检测出第一目标区域对应的图像为清晰图像后，对第一目标区域对应的图像进行目标识别得到的。

示例性地，中心处理器还可以用于接收边缘计算设备发送的识别结果，其中，所接收的识别结果为边缘设备在确定第一目标区域对应的图像为清晰图像后，边缘计算设备对该清晰图像进行目标识别所得到的结果。

本实施例提供的视频去模糊的处理方法应用于中心处理器，中心处理器可以用于接收边缘设备发送的第一目标区域对应的图像信息以及第二目标区域所对应的图像信息，进而基于所接收的第二目标区域对应的图像信息对第一目标区域的图像进行去模糊处理，提高了中心处理器去模糊的准确度。此外，当中心处理器所接收到的图像像素为调整后的图像像素时，可以减少边缘计算设备与中心处理器之间的传输带宽。

图7为本申请提供的一种视频去模糊的应用场景图。如图7所示，图中包括有边缘计算设备1、边缘设备2、边缘设备3，以及一个中心处理器。其中，边缘计算设备可以为手持音视频记录仪，边缘网关等设备。中心处理器，可以为具有较高计算能力的芯片，也也可以设置在服务器中。此外，每一边缘计算设备都可以与中心处理器之间实现通信交互、数据上传或者下发等，其中边缘计算设备与中心处理器之间的通信方式可以采用无线通信方式也可以采用有线传输的方式。

具体地，图8为本申请提供的一种边缘计算设备与中心处理器的信令交互图，如图8所示，以一台边缘计算设备与一台中心处理器为例，该交互过程包括以下步骤：

S601、从原始视频的各帧图像中确定当前的目标图像，对目标图像进行目标检测，确定目标图像的第一目标区域，第一目标区域中存在识别对象。

S602、对第一目标区域对应的图像进行模糊度检测，确定检测结果。

S603、若检测结果为模糊图像，则获取与目标图像相邻的多帧连续图像。

S604、确定多帧连续图像的多个第二目标区域，第二目标区域对应的图像中存在识别对象。

S605、按照预设的像素值，调整第一目标区域与多个第二目标区域所对应的图像的像素大小，得到调整后的第一目标区域与多个第二目标区域所对应的图像。

S606、将调整后的第一目标区域与多个第二目标区域对应的图像信息发送给中心处理器。

示例性地，边缘计算设备在采集或接收到的原始视频中确定当前的目标图像，并且在目标图像中通过目标检测确定包含识别对象的第一目标区域。之后通过对第一目标区域中的图像进行模糊度检测，从而确认出当前的第一目标区域中的图像是否为清晰图像。若检测出当前的第一目标区域的图像为模糊图像时，则边缘计算设备在第一目标区域所在目标图像附近确定多帧连续图像，并在多帧连续图像中确定出包含识别对象的多个第二目标区域。并且，按照预设的像素值，对第一目标区域与第二目标区域所对应的图像的像素值进行调整。进而，将调整后的图像发送给中心处理器。

S607、对接收到的第一目标区域与多个第二目标区域对应的图像进行去模糊处理及目标识别，获得识别结果。

示例性地，在中心处理器对于接收到的图像进行去模糊处理，进而对去模糊处理后的图像进行目标识别处理，从而获取识别结果。具体地，去模糊方法可以参见图6中的步骤503。此外，在一种可能的情况下，当中心处理器获取到识别结果后，也可以将识别结果发送给边缘计算设备。

S608、若检测结果为清晰图像，则对第一目标区域对应的图像进行目标识别得到识别结果。

S609、将识别结果发送至中心处理器。

示例性地，在步骤S602之后，若边缘计算设备检测到第一目标区域中的图像为清晰图像时，则边缘计算设备直接对该图像进行目标识别，从而得到目标识别结果。之后，边缘计算设备将目标识别后的识别结果发送给中心处理器。

本实施例中，通过边缘计算设备与中心处理器之间的交互，将模糊图像的处理与识别交由中心处理器处理，减小了对边缘计算设备算力的要求，并且还可以避免在边缘计算设备中安装较高算力的处理器，从而导致边缘计算设备的功耗增加，尺寸增大、制作成本提升的问题。此外，通过对第一目标区域以及第二目标区域所对应的图像像素的调整，使得在不影响目标检测结果的前提下，减小边缘计算设备与中心处理器之间的传输带宽。

图9为本申请提供一种边缘计算设备的结构示意图，如图9所示，该设备包括：

检测单元71，用于从原始视频的各帧图像中确定当前的目标图像，对目标图像进行目标检测，确定目标图像的第一目标区域，第一目标区域中存在识别对象。

确定单元72，用于对第一目标区域对应的图像进行模糊度检测，确定检测结果。

第一发送单元73，用于若检测结果为模糊图像，则将第一目标区域对应的图像发送给中心处理器，以使中心处理器对接收到的图像进行去模糊处理及目标识别，获得识别结果。

一种可能的实现方式中，第一发送单元73，包括：

获取模块731，用于若检测结果为模糊图像，则获取与目标图像相邻的多帧连续图像。

确定模块732，用于确定多帧连续图像的多个第二目标区域，第二目标区域对应的图像中存在识别对象。

发送模块733，用于将第一目标区域与多个第二目标区域所对应的图像发送给中心处理器。

一种可能的实现方式中，设备还包括；

调整模块734，用于在确定模块732确定多帧连续图像的多个第二目标区域之后，按照预设的像素值，调整第一目标区域与多个第二目标区域所对应的图像的像素大小，得到调整后的第一目标区域与多个第二目标区域所对应的图像。

发送模块733，具体用于将调整后的第一目标区域与多个第二目标区域对应的图像信息发送给中心处理器。

一种可能的实现方式中，调整模块734，具体用于：

将第一目标区域与第二目标区域所对应的图像的像素大小分别调整至预设的第一像素值，得到调整后的第一目标区域与第二目标区域所对应的图像。

一种可能的实现方式中，确定模块732，具体用于：

获取第一目标区域所对应的图像，依据目标跟踪算法，确定多帧连续图像信息的多个第二目标区域。

一种可能的实现方式中，设备还包括：

识别单元74，用于在确定单元对待识别的目标区域进行模糊度检测之后，若检测结果为清晰图像，则对第一目标区域对应的图像进行目标识别，得到识别结果。

第二发送单元75，用于将识别结果发送至中心处理器。

本实施例提供的设备，用于实现上述方法提供的技术方案，其实现原理和技术效果类似，不再赘述。

图10为本申请提供一种中心处理器的结构示意图，如图10所示，该处理器包括：

第一接收单元81，用于接收边缘计算设备发送的第一目标区域对应的图像，第一目标区域为原始视频的目标图像中存在目标识别的识别对象的局部区域。

处理单元82，对第一目标区域对应的图像进行去模糊处理及目标识别，获得识别结果。

一种可能的实现方式中，处理器还包括：

第二接收单元83，用于接收边缘计算设备发送的第二目标区域对应的图像，第二目标区域为与目标图像相邻的多帧连续图像中存在识别对象的局部区域。

处理单元82，具体用于：依据第二目标区域对应的图像，对第一目标区域对应的图像进行去模糊处理及目标识别。

一种可能的实现方式中，第一目标区域与第二目标区域所对应的图像是边缘计算设备按照预设的像素值，对第一目标区域与第二目标区域所对应的图像进行像素调整后发送的。

一种可能的实现方式中，处理器还包括：

第三接收单元84，用于接收边缘计算设备发送的识别结果，识别结果是边缘计算设备在检测出第一目标区域对应的图像为清晰图像后，对第一目标区域对应的图像进行目标识别得到的。

本实施例提供的处理器，用于实现上述方法提供的技术方案，其实现原理和技术效果类似，不再赘述。

本申请提供一种电子设备，包括：存储器，处理器；

存储器；用于存储处理器可执行指令的存储器；

其中，处理器，用于根据可执行指令执行如图2-4任一实施例提供的方法。

本申请提供另一种电子设备，包括：存储器，处理器；

存储器；用于存储处理器可执行指令的存储器；

其中，处理器，用于根据可执行指令执行如图5-6任一实施例提供的方法。例如，图11为本申请实施例中提供的一种电子设备的结构示意图，如图11所示，该电子设备包括：

处理器(processor)291，电子设备还包括了存储器(memory)292；还可以包括通信接口(Communication Interface)293和总线294。其中，处理器291、存储器292、通信接口293、可以通过总线294完成相互间的通信。通信接口293可以用于信息传输。处理器291可以调用存储器294中的逻辑指令，以执行上述实施例的方法。

此外，上述的存储器292中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器292作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本申请实施例中的方法对应的程序指令/模块。处理器291通过运行存储在存储器292中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器292可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器292可以包括高速随机存取存储器，还可以包括非易失性存储器。

本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如图2-4任一实施例提供的方法。

本申请提供另一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如图5-6任一实施例提供的方法。

本申请提供一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现如图2-4任一实施例提供的方法。

本申请提供一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现如图5-6任一实施例提供的方法。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (26)

1.一种视频去模糊的处理方法，其特征在于，所述方法应用于边缘计算设备，所述方法包括：

从原始视频的各帧图像中确定当前的目标图像，对目标图像进行目标检测，确定所述目标图像的第一目标区域，所述第一目标区域中存在识别对象；

对所述第一目标区域对应的图像进行模糊度检测，确定检测结果；

若所述检测结果为模糊图像，则将所述第一目标区域对应的图像发送给中心处理器，以使中心处理器对接收到的图像进行去模糊处理及目标识别，获得识别结果。

2.根据权利要求1所述的方法，其特征在于，所述若所述检测结果为模糊图像，则将所述第一目标区域中的图像发送给中心处理器，包括：

若所述检测结果为模糊图像，则获取与所述目标图像相邻的多帧连续图像；

确定所述多帧连续图像的多个第二目标区域，所述第二目标区域对应的图像中存在所述识别对象；

将所述第一目标区域与所述多个第二目标区域所对应的图像发送给中心处理器。

3.根据权利要求2所述的方法，其特征在于，所述确定所述多帧连续图像的多个第二目标区域之后，所述方法还包括；

按照预设的像素值，调整所述第一目标区域与所述多个第二目标区域所对应的图像的像素大小，得到调整后的第一目标区域与多个第二目标区域所对应的图像；

将所述第一目标区域与所述多个第二目标区域对应的图像信息发送给中心处理器，包括：

将所述调整后的第一目标区域与所述多个第二目标区域对应的图像信息发送给中心处理器。

4.根据权利要求3所述的方法，其特征在于，所述调整所述第一目标区域与所述第二目标区域所对应的图像的像素大小，得到调整后的第一目标区域与第二目标区域所对应的图像，包括：

将所述第一目标区域与所述第二目标区域所对应的图像的像素大小分别调整至预设的第一像素值，得到调整后的第一目标区域与第二目标区域所对应的图像。

5.根据权利要求2所述的方法，其特征在于，所述确定所述多帧连续图像的多个第二目标区域，包括：

获取所述第一目标区域所对应的图像，依据目标跟踪算法，确定所述多帧连续图像信息的多个第二目标区域。

6.根据权利要求1所述的方法，其特征在于，在对待识别的目标区域进行模糊度检测之后，所述方法还包括：

若所述检测结果为清晰图像，则对所述第一目标区域对应的图像进行目标识别，得到识别结果；

将所述识别结果发送至中心处理器。

7.一种视频去模糊的处理方法，其特征在于，所述方法应用于中心处理器，所述方法包括：

接收边缘计算设备发送的第一目标区域对应的图像，所述第一目标区域为原始视频的目标图像中存在目标识别的识别对象的局部区域；

对所述第一目标区域对应的图像进行去模糊处理及目标识别，获得识别结果。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

接收边缘计算设备发送的第二目标区域对应的图像，所述第二目标区域为与所述目标图像相邻的多帧连续图像中存在所述识别对象的局部区域；

所述对所述第一目标区域对应的图像进行去模糊处理及目标识别，包括：

依据所述第二目标区域对应的图像，对第一目标区域对应的图像进行去模糊处理及目标识别。

9.根据权利要求8所述的方法，其特征在于，所述第一目标区域与所述第二目标区域所对应的图像是所述边缘计算设备按照预设的像素值，对第一目标区域与第二目标区域所对应的图像进行像素调整后发送的。

10.根据权利要求7所述的方法，其特征在于，所述方法还包括：

接收边缘计算设备发送的识别结果，所述识别结果是所述边缘计算设备在检测出第一目标区域对应的图像为清晰图像后，对所述第一目标区域对应的图像进行目标识别得到的。

11.一种边缘计算设备，其特征在于，所述设备包括：

检测单元，用于从原始视频的各帧图像中确定当前的目标图像，对目标图像进行目标检测，确定所述目标图像的第一目标区域，所述第一目标区域中存在识别对象；

确定单元，用于对所述第一目标区域对应的图像进行模糊度检测，确定检测结果；

第一发送单元，用于若所述检测结果为模糊图像，则将所述第一目标区域对应的图像发送给中心处理器，以使中心处理器对接收到的图像进行去模糊处理及目标识别，获得识别结果。

12.根据权利要求11所述的设备，其特征在于，所述第一发送单元，包括：

获取模块，用于若所述检测结果为模糊图像，则获取与所述目标图像相邻的多帧连续图像；

确定模块，用于确定所述多帧连续图像的多个第二目标区域，所述第二目标区域对应的图像中存在所述识别对象；

发送模块，用于将所述第一目标区域与所述多个第二目标区域所对应的图像发送给中心处理器。

13.根据权利要求12所述的设备，其特征在于，所述设备还包括；

调整模块，用于在所述确定模块确定所述多帧连续图像的多个第二目标区域之后，按照预设的像素值，调整所述第一目标区域与所述多个第二目标区域所对应的图像的像素大小，得到调整后的第一目标区域与多个第二目标区域所对应的图像；

发送模块，具体用于将所述调整后的第一目标区域与所述多个第二目标区域对应的图像信息发送给中心处理器。

14.根据权利要求13所述的设备，其特征在于，所述调整模块，具体用于：

将所述第一目标区域与所述第二目标区域所对应的图像的像素大小分别调整至预设的第一像素值，得到调整后的第一目标区域与第二目标区域所对应的图像。

15.根据权利要求12所述的设备，其特征在于，所述确定模块，具体用于：

获取所述第一目标区域所对应的图像，依据目标跟踪算法，确定所述多帧连续图像信息的多个第二目标区域。

16.根据权利要求11所述的设备，其特征在于，所述设备还包括：

识别单元，用于在所述确定单元对待识别的目标区域进行模糊度检测之后，若所述检测结果为清晰图像，则对所述第一目标区域对应的图像进行目标识别，得到识别结果；

第二发送单元，用于将所述识别结果发送至中心处理器。

17.一种中心处理器，其特征在于，所述处理器包括：

第一接收单元，用于接收边缘计算设备发送的第一目标区域对应的图像，所述第一目标区域为原始视频的目标图像中存在目标识别的识别对象的局部区域；

处理单元，对所述第一目标区域对应的图像进行去模糊处理及目标识别，获得识别结果。

18.根据权利要求17所述的处理器，其特征在于，所述处理器还包括：

第二接收单元，用于接收边缘计算设备发送的第二目标区域对应的图像，所述第二目标区域为与所述目标图像相邻的多帧连续图像中存在所述识别对象的局部区域；

处理单元，具体用于：依据所述第二目标区域对应的图像，对第一目标区域对应的图像进行去模糊处理及目标识别。

19.根据权利要求18所述的处理器，其特征在于，所述第一目标区域与所述第二目标区域所对应的图像是所述边缘计算设备按照预设的像素值，对第一目标区域与第二目标区域所对应的图像进行像素调整后发送的。

20.根据权利要求17所述的处理器，其特征在于，所述处理器还包括：

第三接收单元，用于接收边缘计算设备发送的识别结果，所述识别结果是所述边缘计算设备在检测出第一目标区域对应的图像为清晰图像后，对所述第一目标区域对应的图像进行目标识别得到的。

21.一种电子设备，其特征在于，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器，用于根据所述可执行指令执行如权利要求1-6任一项所述的方法。

22.一种电子设备，其特征在于，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器，用于根据所述可执行指令执行如权利要求7-10任一项所述的方法。

23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-6任一项所述的方法。

24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求7-10任一项所述的方法。

25.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法。

26.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现权利要求7-10中任一项所述的方法。

Images