CN116012675B - 一种模型训练方法、图像处理方法及电子设备 - Google Patents

Abstract

一种模型训练方法、图像处理方法及电子设备，涉及互联网技术领域。获取多组图像，一组图像中包括连续拍摄的k帧图像，k为大于或等于2的整数。计算得到每组图像的平均图像，以及，每组图像中包括的多个像素点的光流。基于每组图像中多个像素点的光流标注得到平均图像对应的模糊标签，模糊标签用于指示模糊程度。将多组图像中每组图像的平均图像作为第一输入样本，以及，平均图像对应的模糊标签作为第一输出样本，使用第一输入样本和第一输出样本训练第一网络模型，得到识别模型，识别模型用于识别输入识别模型的图像的模糊程度。这样，可以训练得到识别运动图像的模糊程度的模型，用于准确识别运动图像的模糊程度。

Description

一种模型训练方法、图像处理方法及电子设备

技术领域

本申请涉及互联网技术领域，尤其涉及一种模型训练方法、图像处理方法及电子设备。

背景技术

在使用手机、平板等电子设备拍摄得到的图像或者视频（包括多个图像帧）中，时常会拍摄得到模糊的图像。其中，在拍摄运动的物体的场景，或者拍摄过程中移动拍摄设备（如手机、平板等电子设备）的场景中，由于被拍摄物体和拍摄设备之间的相对运动，更容易导致拍摄得到的图像模糊。

与此同时，实际中往往需要识别出这些模糊图像，然后对其进行去模糊处理，或者对其进行剔除，以提高图像的质量。

然而，发明人在实施本申请实施例的过程中发现：针对被拍摄物体和拍摄设备之间在有相对运动的情况下拍摄得到的图像，现有技术中尚缺少可以对该图像进行模糊程度的识别的方案。这样，则导致后续无法准确的针对模糊图像进行去模糊处理或者剔除，不利于提高图像的质量。

发明内容

本申请提供一种模型训练方法、图像处理方法及电子设备，针对被拍摄物体和拍摄设备之间在有相对运动的情况下拍摄得到的图像，可以准确对其模糊程度进行识别。

第一方面，本申请提供了一种模型训练方法，用于训练得到识别图像的模糊程度的识别模型。其中，获取多组图像，一组图像中包括连续拍摄的k帧图像，k为大于或等于2的整数。计算得到每组图像的平均图像，以及，每组图像中包括的多个像素点的光流。那个，多个像素点可以为k帧图像中至少一帧图像的部分或者全部像素点。基于每组图像中多个像素点的光流标注得到平均图像对应的模糊标签，模糊标签用于指示模糊程度。将多组图像中每组图像的平均图像作为第一输入样本，以及，平均图像对应的模糊标签作为第一输出样本，使用第一输入样本和第一输出样本训练第一网络模型，得到识别模型，识别模型用于识别输入识别模型的图像的模糊程度。

综上所述，采用本申请方案，可以通过计算平均图像来得到输入样本，以及基于光流来标注平均图像的模糊程度得到输出样本，用于训练得到识别模型。其中，光流可以反映图像之间的运动情况，那么，基于光流标注得到的模糊程度可以反映因运动而导致模糊的模糊程度。因此，上述训练得到的识别模型可以用于识别因拍摄设备和被拍摄物体之间存在相对运动的情况下，拍摄得到的图像的模糊程度。

在第一方面的一种可能设计方式中，上述获取多组图像，包括：采集多段视频。划分每段视频，得到至少两段子视频，每段子视频包括m帧图像，m为大于或等于2的整数。从每段子视频包括的m帧图像中选出连续拍摄的k帧图像作为一组图像。

也就是说，可以通过对视频划分，并从划分得到的子视频中选取k帧图像，从而保证一组图像中的k帧图像是连续拍摄得到的。

在第一方面的另一种可能设计方式中，上述计算得到每组图像的平均图像，包括：对每组图像包括的k帧图像中每个像素点的灰度值进行平均值计算，得到k帧图像中每个像素点的灰度平均值。基于k帧图像中所有像素点的灰度平均值得到平均图像，其中，平均图像包括灰度值为灰度平均值的像素点。

这样，可以使平均图像中各个像素点的灰度值为k帧图像中对应像素点的灰度值的平均值。

在第一方面的另一种可能设计方式中，上述多个像素点的光流包括每组图像包括的k帧图像中第一帧图像的多个像素点的图像内容移动到第k帧图像中图像内容所在的像素点的光流。

也就是说，多个像素点为第一帧图像中的多个像素点，并且以k帧图像的起始帧图像（即第一帧图像）和结束帧图像（即第k帧图像）计算光流，用于后续确定平均图像的模糊程度。这样，可以将生成平均图像的起始帧和结束帧之间的运动情况，用于确定该平均图像的模糊程度。

在第一方面的另一种可能设计方式中，上述每个像素点的光流包括像素点在图像坐标系的x轴方向的第一位移和y轴方向的第二位移。示例性的，图像坐标系的x轴通常以图像的左上顶点为原点，左上顶点到右上顶点的方向为x轴的正方向，左上顶点到左下顶点的方向为y轴的正方向。

相应的，基于每组图像中多个像素点的光流标注得到平均图像对应的模糊标签，包括：统计多个像素点的光流中第一位移小于第一位移阈值和第二位移小于第二位移阈值的像素点的数量。即，统计光流趋近于0的像素点的数量。根据数量标注得到平均图像对应的模糊标签。其中，数量越多，平均图像对应的模糊标签指示的模糊程度越低。

其中，光流趋近于0的像素点的数量越多，则表明相对运动越小。那么，k帧图像中，光流趋近于0的像素点的数量越多，则标注平均图像的模糊程度越低，从而可以在运动幅度越小时，标注模糊程度越低，实现准确的标注模糊程度。

在第一方面的另一种可能设计方式中，上述统计多个像素点的光流中第一位移小于第一位移阈值和第二位移小于第二位移阈值的像素点的数量，包括：计算多个像素点中每个像素点的光流中第一位移和第二位移的欧氏距离。统计多个像素点中欧氏距离小于第一距离阈值的像素点的数量。

也就是说，可以通过欧氏距离来衡量是否满足第一位移小于第一位移阈值和第二位移小于第二位移阈值。

在第一方面的另一种可能设计方式中，上述平均图像对应的模糊标签，包括：每个平均图像对应一个模糊标签，模糊标签用于指示平均图像的模糊程度。如此，训练得到的识别模型可以图像为粒度，识别模糊程度。或者，每个平均图像包括多个图像区域，平均图像对应的模糊标签，包括：多个图像区域对应的多个模糊标签，一个模糊标签用于指示一个图像区域的模糊程度。如此，训练得到的识别模型，可以图像区域为粒度，识别模糊程度，从而更精细的进行模糊程度的识别。

在第一方面的另一种可能设计方式中，k为奇数，上述方法还包括：将每组图像包括的k帧图像中第（k+1）/2帧图像确定为平均图像的清晰图像。将多组图像中每组图像的平均图像作为第二输入样本，以及，平均图像的清晰图像作为第二输出样本，使用第二输入样本和第二输出样本训练第二网络模型，得到处理模型，处理模型用于对输入处理模型的图像进行去模糊处理。

也就是说，可以通过计算k帧图像的平均图像来得到输入样本，以及以k帧图像的中间帧图像作为输出样本，用于训练得到对图像进行去模糊处理的处理模型，用于对图像进行去模糊处理。

第二方面，本申请还提供了一种图像处理方法，可以使用前述模型训练方法训练得到的识别模型来识别图像的模糊程度。其中，将待识别图像作为输入，运行识别模型，输出得到待识别图像的模糊标签，模糊标签用于指示待识别图像的模糊程度。

在第一方面的一种可能设计方式中，在输出得到待识别图像的模糊标签之后，还可以使用前述模型训练方法训练得到的处理模型来进行去模糊处理。其中，如果待识别图像的模糊标签为预设标签，将待识别图像作为输入，运行处理模型，输出得到待识别图像的清晰图像。其中，预设标签用于指示较高的模糊程度。

这样，针对模糊程度较高的图像，可以进一步对其进行去模糊处理，从而得到清晰的图像。

第三方面，本申请还提供了一种服务器，包括：存储器和一个或多个处理器，存储器与处理器耦合；其中，存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得服务器执行上述第一方面及其任一种可能的设计方式中的方法。

第四方面，本申请还提供了一种电子设备，包括：存储器和一个或多个处理器，存储器与处理器耦合；其中，存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得电子设备执行上述第二方面及其任一种可能的设计方式中的方法。

第五方面，本申请还提供了一种芯片系统，芯片系统应用于包括处理器和存储器的服务器，芯片系统包括一个或多个接口电路和一个或多个处理器，接口电路和处理器通过线路互联，接口电路用于从服务器的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令，当处理器执行计算机指令时，使得服务器执行上述第一方面及其任一种可能的设计方式中的方法。

第六方面，本申请还提供了一种芯片系统，芯片系统应用于包括处理器和存储器的电子设备，芯片系统包括一个或多个接口电路和一个或多个处理器，接口电路和处理器通过线路互联，接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令，当处理器执行计算机指令时，使得电子设备执行上述第二方面及其任一种可能的设计方式中的方法。

第七方面，本申请还提供了一种计算机可读存储介质，包括计算机指令，当计算机指令在服务器上运行时，使得服务器执行上述第一方面及其任一种可能的设计方式中的方法；或者，当计算机指令在电子设备上运行时，使得电子设备执行上述第二方面及其任一种可能的设计方式中的方法。

第八方面，本申请提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面及其任一种可能的设计方式所述的方法，或者执行如第二方面及其任一种可能的设计方式所述的方法。

可以理解地，上述提供的服务器，电子设备，芯片系统，计算机存储介质，计算机程序产品所能达到的有益效果，可参考第一方面、第二方面及其任一种可能的设计方式中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的场景示意图之一；

图2为本申请实施例提供的场景示意图之二；

图3为本申请实施例提供的图像处理方法的流程图之一；

图4为本申请实施例提供的一种通信系统的组成图；

图5为本申请实施例提供的图像处理方法的流程图之二；

图6为本申请实施例提供的图像处理方法的原理图之一；

图7为本申请实施例提供的图像处理方法的原理图之二；

图8为本申请实施例提供的识别模型的模型结构的示意图；

图9为本申请实施例提供的卷积层的组成图；

图10为本申请实施例提供的图像处理方法的流程图之三；

图11为本申请实施例提供的图像处理方法的流程图之四；

图12为本申请实施例提供的图像区域的划分示意图；

图13为本申请实施例提供的图像处理方法的流程图之五；

图14为本申请实施例提供的图像处理方法的流程图之六；

图15为本申请实施例提供的图像处理方法的流程图之七；

图16为本申请实施例提供的芯片系统的组成示意图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上（包含两个）。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

在本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

在具体介绍本申请实施例之前，先对本申请涉及的技术术语光流(optical flow)做简单介绍：

一般而言，光流是在被拍摄物体和拍摄设备之间有相对运动的情况下产生的，具体包括如下三种情况：

情况一，被拍摄物体运动。例如，使用手机拍摄舞蹈演员跳舞的过程。

情况二，在拍摄过程中移动拍摄设备（如手机、平板等电子设备）。例如，改变拍摄角度拍摄静态景物。

情况三，上述情况一和情况二共同作用。例如，在舞蹈演员跳舞的过程中，通过不断改变拍摄角度来拍摄舞蹈演员。

在上述三种情况中，在拍摄被拍摄物体时，随着被拍摄物体和拍摄设备的相对运动，被拍摄物体在成像平面上会形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”成像平面，好像一种光的“流”，故称之为光流。

光流具体是被拍摄物体在成像平面上的像素运动的瞬时速度，在时间间隔很小（比如视频的连续前后两帧之间）时，光流也等同于像素运动的位移。

参见图1和图2，从时刻t1到时刻t2，被拍摄物体（如星星）与镜头之间存在相对运动，如被拍摄物体（如星星）从三维空间中的A位置移动到B位置，那么，被拍摄物体（如星星）在成像平面上的像素点也会相应发生变化，如t1时刻的成像s1中的像素点a变化到t2时刻的成像s2中的像素点b。光流为图像上各个像素点的瞬时速度。例如，成像s1中的像素点a的瞬时速度为像素点a的光流。又例如，成像s2中的像素点b的瞬时速度为像素点b的光流。

如果成像s1和成像s2为视频的连续前后两帧图像，则像素点a的光流也等同于从像素点a移动到像素点b的位移，如记为(△u, △v)。△u为像素点a运动到像素点b的过程中，沿图像x轴方向的位移，即△u=x2-x1；△v为像素点a运动到像素点b的过程中，沿图像y轴方向的位移，即△v=y2-y1。

在本申请实施例中，主要以位移来表示光流，并以(u, v)表示光流。并且，光流可以通过OpenCV中的calcOpticalFlowPyrLK、calcOpticalFlowFarneback、CalcOpticalFlowBM、CalcOpticalFlowHS、calcOpticalFlowSF等算法来计算，本申请对此不作具体限定。

本申请实施例提供了一种图像处理方法，可以应用于需要识别图像的模糊程度的场景中。示例性的，对图像去模糊（如使用deblur网络去模糊）的场景中，或者剔除模糊图像的场景中。

以剔除模糊图像的场景为例，参见图2，由n帧图像构成的视频中，第3帧图像和第5帧图像为模糊图像，则可以将第3帧图像和第5帧图像剔除，后续在播放视频时，则会顺序播放第1帧、第2帧、第4帧、第6帧、第7帧……第n帧图像，从而保证播放的视频中每一帧的清晰度。本申请实施例提供的方法，可以在图2所示的场景中，用于识别出第3帧图像和第5帧图像为模糊图像。

并且，本申请实施例提供的图像处理方法，主要针对被拍摄物体和拍摄设备之间在存在相对运动的情况下拍摄得到的图像（可以简称运动图像），对其模糊程度进行识别。其中，被拍摄物体和拍摄设备之间有相对运动，包括前文中的情况一到情况三共三种。

也就是说，本申请实施例提供的图像模糊程度的识别方法图像处理方法，主要应用于需要识别运动图像的模糊程度的场景中。

参见图3，本申请实施例提供的图像处理方法，可以对连续的k帧图像求平均，计算得到平均图像（如图3的S301所示）；以及，计算连续的k帧图像中多个像素点的光流，并基于光流标注平均图像的模糊程度，得到模糊标签（如图3的S302所示）。其中，平均图像可以作为输入样本，模糊标签可以作为输出样本。应理解，针对一组连续的k帧图像，可以得到一组输入样本和输出样本，那么，如果对多组连续的k帧图像经过前述S301和S302处理，可以得到多组输入样本和输出样本。使用输入样本和输出样本进行训练，可以训练得到用于识别图像模糊程度的识别模型（如图3的S303所示）。在得到识别模型之后，将待识别图像输入至识别模型，识别模型可以输出得到图像的模糊标签，即得到模糊程度（如图3的S304所示）。

综上所述，采用本申请实施例，可以通过计算平均图像来得到输入样本，以及基于光流来标注平均图像的模糊程度得到输出样本，从而可以训练得到识别模型，用于识别图像的模糊程度。

需要在此说明的是，在本文中，连续的k帧图像是指在极短的时间区间内，连续拍摄到的多帧图像。例如，连续的k帧图像为拍摄到的一段视频中连续的多帧图像。又例如，连续的k帧图像为使用相机的连拍功能拍摄得到的多帧图像。

本申请实施例还提供了一种通信系统，参见图4，该通信系统包括第一设备（如图4所示的服务器410）和至少一个第二设备（如图4所示的手机420）。

其中，第一设备用于采集训练样本，并训练得到图像模糊程度的识别模型，其通常为运算能力较强的设备。示例性的，第一设备可以为服务器、服务器集群、个人计算机(personal computer，PC)等。

第一设备和第二设备通信连接。示例性的，第一设备和第二设备之间可以使用通用串行总线(universal serial bus，USB) 建立有线连接。或者，第一设备和第二设备之间可以通过全球移动通讯系统(global system for mobile communications，GSM)、通用分组无线服务(general packet radio service，GPRS)、码分多址接入(code divisionmultiple access，CDMA)、宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)、蓝牙、无线保真(wireless fidelity，Wi-Fi)、NFC、基于互联网协议的语音通话(voice over Internet protocol，VoIP)、支持网络切片架构的通信协议建立无线连接。本申请实施例中，通过在第一设备和第二设备之间建立通信连接，用于第一设备向第二设备传输识别模型。

第二设备用于识别图像的模糊程度，其通常具有识别图像模糊程度的需求的设备。示例性的，第二设备可以是手机、平板等拍摄图像的设备。

当然，在另一些实施例中，也可以由一个设备（即第一设备和第二设备为同一设备）独立完成模型训练和识别的过程。例如，由PC训练得到识别模型，并使用该识别模型来识别图像的模糊程度。本申请实施例对此不作具体限定。

下文中，主要以第一设备是服务器，第二设备是手机为例，来说明本申请方案。

本申请实施例提供的图像模糊程度的识别方法图像处理方法，主要包括如下两个过程：过程1，训练识别模型。过程2，使用识别模型识别图像的模糊程度。

下面将分别针对过程一和过程二两个过程来说明：

过程1，训练识别模型。

参见图5，在过程1中，服务器可以收集多组连续的k帧图像（如图5的S501所示）。针对每组连续的k帧图像（如图5所示5帧图像），服务器对该k帧图像求平均，得到平均图像（如图5的S502所示），平均图像可以作为训练识别模型的输入样本。以及，服务器可以计算该k帧图像中多个像素点的光流（u，v），得到对应多个像素点的多个光流（u，v）（如图5的S503所示），基于多个光流（u，v）来标注平均图像的模糊程度，得到用于反映模糊程度的模糊标签（如图5的S504所示）。该模糊标签用于作为训练识别模型的输出样本。服务器将多个平均图像及其模糊标签作为第一网络模型的输入进行训练，可以训练得到识别模型（如图5的S505所示），该识别模型用于识别图像的模糊程度。

下面介绍基于多个光流（u，v）来标注平均图像的模糊标签的原理：

在拍摄k帧图像的过程中，被拍摄物体和拍摄设备之间的相对运动越小，则各个像素点的运动幅度越小，光流（u，v）中x轴方向的位移u（也可以称为第一位移）和y轴方向的位移v（也可以称为第二位移）就越接近于0，与此同时，k帧图像的平均图像的模糊程度越低。反之，在拍摄k帧图像的过程中，被拍摄物体和拍摄设备之间的相对运动越大，则各个像素点的运动幅度越大，光流（u，v）中x轴方向的位移u和y轴方向的位移v就越远离0，与此同时，k帧图像的平均图像的模糊程度越高。

示例性的，参见图6，在被拍摄物体和拍摄设备之间不存在相对运动的情况下，拍摄得到的连续5帧图像中，像素点（2,2）都是目标A（如星星）的成像。即，5帧图像中像素点（2,2）没有发生运动，其光流（u,v）中的u和v都为0，像素点（2,2）都是目标A的信息（如灰度）。那么，在对5帧图像求平均时，像素点（2,2）的平均值依然为目标A的信息，从而可以在平均图像中呈现清晰的目标A。同样的，在被拍摄物体和拍摄设备之间没有相对运动的情况下，其它像素点的平均值也是求平均前，相应像素点的同一目标的信息，因此在平均图像中也依然可以呈现清晰的目标。

继续参见图6，在被拍摄物体和拍摄设备之间有相对运动的情况下，拍摄得到的连续5帧图像中，在第1帧图像里，目标A（如圆点）的成像在像素点（2,2）；在第2帧图像里，目标A的成像在像素点（2，2.5），像素点（2,2）却是目标B（如三角形）的成像；在第3帧图像里，目标A的成像在像素点（3，2.5），像素点（2,2）却是目标C（如圆圈）的成像；在第4帧图像里，目标A的成像在像素点（3，2），像素点（2,2）却是目标D（如椭圆）的成像；在第5帧图像里，目标A的成像在像素点（3，3），像素点（2,2）却是目标E（如星星）的成像。很显然，由于拍摄连续的5帧图像时有相对运动，则在5帧图像中，同一目标在不同图像中成像的像素点会发生变化，即像素点的光流（u,v）中的u和v可能不等于0。那么，在对5帧图求平均时，像素点（2,2）的平均值则不再是目标A的信息，而是目标A、目标B、目标C、目标D和目标E的信息的平均值，因此并不能清晰的呈现某一目标。同样的，在被拍摄物体和拍摄设备之间有相对运动的情况下，其它像素点的平均值也是求平均前，相应像素点的不同目标的信息的均值，因此在平均图像中不能清晰的呈现某一目标。

也就是说，多个光流（u，v）中u和x的值，与平均图像的模糊程度是有关联的。其中，多个光流（u，v）中u和v接近于0的数量越多，则表明相对运动越小，求得的平均图像的模糊程度越低，u和v接近0的数量越少，则表明相对运动越大，则平均图像的模糊程度越高。基于此，服务器可以基于多个光流（u，v）标注平均图像的模糊程度。

下面将示例性的说明图5中S501-S505的具体实现：

S501、采集图像。

服务器可以采集N段视频。为了保证视频帧的清晰度，可以采集高帧率下拍摄得到的N段视频。服务器可以从N段视频中选取多组连续的k帧图像。

在一种具体的实现方式中，针对N段视频中的每段视频，将该视频分帧得到多个图像帧并保存。例如，视频包括600帧，则保存为600个图像帧。以及，将多个图像帧划分为M个区间（也可以称为至少两段子视频），每个区间包括多帧（也可以称为m帧）图像。其中，在划分区间时，可以平均划分，也可以随机划分，也可以以一定的规律递增、增减划分，本申请对此不作具体限定。对于不同视频，M可以相同，也可以不同。从每个区间内选取k帧连续的图像，即得到一组连续的k帧图像。对于不同区间，k可以相同，也可以不同。

示例性的，参见图7，一段视频包括600个图像帧，即包括600帧图像。服务器可以将600帧图像平均划分为30个区间，即M=30，每个区间包括20帧图像。例如，区间1包括第1-20帧图像，区间2包括第21-40帧图像……区间30包括第581-600帧图像。然后，服务器从每个区间中选取连续的5帧图像，即k=5。例如，从区间1中选取第7-11帧图像，从区间2中选取第30-34帧图像……从区间30中选取第585-589帧图像。

S502、求平均。

在得到多组连续的k帧图像之后，针对每一组连续的k帧图像，服务器可以对该k帧图像求取平均值，得到平均图像。具体地，服务器可以将k帧图像的灰度矩阵求取平均值，得到平均图像的灰度矩阵，应理解，灰度矩阵中包括图像中各个像素点的灰度值，对k帧图像的灰度矩阵求取平均值，相当于对k帧图像中每个像素点的灰度值求取平均值。例如，将k帧图像对应的k个像素点（1,1）的灰度值求取平均值，得到平均图像中像素点（1,1）的灰度值，将k帧图像对应的k个像素点（1,2）的灰度值求取平均值，得到平均图像中像素点（1,2）的灰度值……以此类推，可以得到平均图像中所有像素点的灰度值，从而计算得到平均图像。

如果在拍摄k帧图像的过程中，被拍摄物体和拍摄设备之间相对运动的幅度越大，则平均图像的模糊程度越高。如果在拍摄k帧图像的过程中，被拍摄物体和拍摄设备之间相对运动的幅度越小，则平均图像的模糊程度越低。具体可参见前文关于附图6的相关说明。

应理解，对应一组连续的k帧图像，可以计算得到一帧平均图像，那么，对应多组连续的k帧图像，可以计算得到多帧平均图像。

S503、计算多个像素点的光流。

在得到多组连续的k帧图像之后，针对每一组连续的k帧图像，服务器可以计算该k帧图像中多个像素点的光流（u，v）。关于光流的具体计算，可以使用OpenCV中的calcOpticalFlowPyrLK、calcOpticalFlowFarneback、CalcOpticalFlowBM、CalcOpticalFlowHS、calcOpticalFlowSF等算法来实现，本申请对此不作具体限定。

其中，多个像素点为k帧图像中至少一帧图像的部分或者全部像素点。

在一种具体的实现方式中，至少一帧图像为k帧图像中的第一帧图像。

服务器可以计算第一帧图像中的多个像素点向k帧图像中除第一帧图像之外的任一图像运动的光流（u,v）。其中，任一图像可以为k帧图像中的第2帧图像、第3帧图像……第k帧图像，下文主要以任一图像是k帧图像中的第k帧图像为例来说明。

服务器以k帧图像的起始帧图像（即第一帧图像）和结束帧图像（即第k帧图像）计算光流，并用于后续确定平均图像的模糊程度。这样，可以将生成平均图像的起始帧和结束帧之间的运动情况，用于确定该平均图像的模糊程度。

在多个像素点是第一帧图像中的所有像素点为例，如果每帧图像的分辨率均为X×Y，则一帧图像的像素点S=X×Y，服务器需要对第一帧图像中的S个像素点都计算其光流（u,v）。例如，计算结果包括（u1,v1），（u2,v2）……（ui,vi）……（u_S,v_S）。其中，（ui,vi）表示S个像素点中第i个像素点从第一帧图像向第k帧图像运动的光流。

在另一种具体的实现方式中，至少一帧图像为k帧图像中的多帧图像。

服务器可以计算k帧图像的每组相邻图像中第一图像的若干像素点向第二图像运动的光流（u,v）。其中，第一图像为一组相邻图像中排序在前的图像，第二图像为一组相邻图像中排序在后的图像。

示例性的，k=5，则5帧图像中包括第1帧和第2帧，第2帧和第3帧，第3帧和第4帧，第4帧和第5帧共4组相邻图像。以一组相邻图像，如第3帧和第4帧为例，第3帧图像的排序显然在第4帧图像之前，则第3帧图像为第一图像，第4帧图像为第二图像，服务器则需要计算第3帧图像中若干像素点向第4帧图像运动的光流（u,v）。

或者，服务器可以计算k帧图像中任意两帧图像的第三图像中若干像素点向第四图像运动的光流（u,v）。其中，第三图像为两帧图像中排序在前的图像，第四图像为一组相邻图像中排序在后的图像。

示例性的，k=5，则5帧图像中包括第1帧和第2帧，第1帧和第3帧，第1帧和第4帧，第1帧和第5帧，第2帧和第3帧，第2帧和第4帧，第2帧和第5帧，第3帧和第4帧，第3帧和第5帧，第4帧和第5帧共10组图像。以一组图像，如第2帧和第5帧为例，第2帧图像的排序显然在第5帧图像之前，则第2帧图像为第三图像，第5帧图像为第四图像，服务器则需要计算第2帧图像中若干像素点向第5帧图像运动的光流（u,v）。

在本实现方式中，若干像素点为第一图像或者第三图像的全部像素点或者部分像素点。并且，对应多组图像，则多个像素点为多组图像对应的多个第一图像或者多个第三图像的若干像素点之和。

应理解，对应每个像素点，可以计算得到对应的光流（u,v），那么，对应多个像素点，则可以计算得到多个光流（u,v）。

S504、标注模糊程度。

其中，模糊程度包括两种及以上。示例性的，模糊程度包括模糊和清晰两种，那么，则对应两种模糊标签，如0和1，0指示清晰，1指示模糊。又示例性的，模糊程度包括清晰、较清晰、较模糊和非常模糊四种，那么，则对应四种模糊标签，如0,1,2,3，0指示清晰，1指示较清晰，2指示较模糊，3指示非常模糊。

如果光流（u,v）中的u和v都接近于0，则表明像素点的运动幅度较小。如果多个像素点的运动幅度都较小，则表明拍摄k帧图像的过程中，相对运动的幅度较小，从而平均图像的模糊程度也较小。

反之，如果光流（u,v）中的u和v都远离0，则表明像素点的运动幅度较大。如果多个像素点的运动幅度都较大，则表明拍摄k帧图像的过程中，相对运动的幅度较大，从而平均图像的模糊程度也较大。

基于此，在S504中，服务器可以通过对多个光流（u,v）进行分析计算，从而标注模糊程度。

在一些实施例中，服务器可以统计多个光流（u,v）中u和v都接近于0的数量，数量越多，则标注模糊程度越低；数量越少，则标注模糊程度越高。u和v都接近于0，也可以理解为u小于第一位移阈值，v小于第二位移阈值，第一位移阈值和第二位移阈值都趋近于0。

其中，服务器可以u+v、|u|+|v|或者（即欧氏距离）等值来衡量光流（u,v）中u和v是否都接近于0。例如，/>小于第一距离阈值，第一距离阈趋近于0，则确定u和v都接近于0。那么，多个光流（u,v）中，u+v、|u|+|v|或者/>等值等于或约等于0的数量（记为sum，下文中相同）越多，则标注模糊程度越低；多个光流（u,v）中，u+v、|u|+|v|或者/>等值等于或约等于0的数量越少，则标注模糊程度越高。

以模糊程度包括清晰、较清晰、较模糊和非常模糊四种为例，如果sum>s1，则标注模糊程度对应的模糊标签为0。例如，多个光流（u,v）的数量为C，则s1可以为C-c0，c0为预设的一个远小于C的值（如50、100等），也就是说，只要sum接近于C，则可以标注模糊标签为0，指示图像清晰。如果s1≥sum>s2，则标注模糊程度对应的模糊标签为1。例如，s1为C-c0，s2为C/2，也就是说，如果sum小于或等于C-c0，且大于光流数量的一半，则可以标注模糊标签为1，指示图像较清晰。如果s2≥sum>s3，则标注模糊程度对应的模糊标签为2，指示图像较模糊。例如，s2为C/2，s3为c1，c1为预设的一个远小于C的值（如c1=c0）。如果s3≥sum，则标注模糊程度对应的模糊标签为3。例如， s3为c1，c1为预设的一个远小于C的值（如c1=c0），也就是说，如果sum极少，则可以标注模糊标签为3，指示图像非常模糊。

在经过S502计算得到平均图像，以及经过S504标注出指示模糊程度的模糊标签之后，服务器可以执行下述S505，训练得到模糊程度的识别模型。

S505、训练。

服务器可以将多帧平均图像作为输入样本（可以称为第一输入样本），将多帧平均图像对应的多个模糊标签作为输出样本（可以称为第一输出样本）。服务器将输入样本和输出样本输入至用于分类的第一网络模型中进行训练，基于第一网络模型的实际输出和输出样本之间的误差调整第一网络模型的模型参数，直至第一网络模型的实际输出和输出样本之间的误差小于第一预设误差值，则结束训练，结束训练时得到的第一网络模型即为图像模糊程度的识别模型。

上述第一网络模型可以是残差神经网络（resnet）、深度学习分割网络（unet）等用于分类的网络结构。参见图8，以第一网络模型是resnet18模型结构为例，则模型结构可以包括：输入层input、卷积层c1、池化层p1、残差层b1、残差层b2、残差层b3、残差层b4、池化层p2、全连接层FC1、归一化层softmax以及输出层output。其中，残差层的构成如图9所示，包括两个卷积层c1和跳层链接（skip-connection）s1。

过程2，使用识别模型识别图像的模糊程度。

参见图10，在过程2中，手机可以使用前文过程1中训练得到的识别模型来识别图像的模糊程度。具体的，手机可以将待识别图像输入至识别模型，运行识别模型，识别模型则可以输出待识别图像的模糊标签，如输出模糊标签2，从而得到待识别图像的模糊程度。

以模糊标签2对应模糊程度“较模糊”为例，识别模型输出模糊标签2，则手机可以基于模糊标签2确定模糊程度为较模糊。

在一些场景中，运动图像虽然是模糊的，但是图像中不同区域的模糊程度不同。在这些场景中，可能需要识别出不同区域的模糊程度，从而便于针对不同区域采用相应的处理方式。例如，对不同模糊程度的区域，采用不同的去模糊处理的方式。

基于此，在一些实施例中，识别模型还需要识别图像不同区域的模糊程度。在本实施例中，在过程1中，服务器需要训练得到用于识别图像不同区域的模糊程度的识别模型。

参见图11，在过程1中，服务器可以收集多组连续的k帧图像（如图11的S501所示）。针对每组连续的k帧图像（如图11所示5帧图像），服务器对该k帧图像求平均，得到平均图像（如图11的S502所示），平均图像可以作为训练识别模型的输入样本。以及，服务器可以计算该k帧图像中至少两帧图像的各个区域的多个像素点的光流（u，v），得到对应各个区域的多个像素点的多个光流（u，v）（如图11的S1101所示），基于各个区域的多个光流（u，v）来标注平均图像的相应区域的模糊程度，得到用于反映各个区域的模糊程度的模糊标签（如图11的S1102所示）。那么，对应平均图像的多个区域，则有多个模糊标签。该模糊标签用于作为训练识别模型的输出样本。服务器将多个平均图像以及每个平均图像的多个区域的模糊标签作为第一网络模型的输入进行训练，可以训练得到用于识别图像不同区域的模糊程度的识别模型（如图11的S1103所示）。

下面将示例性的说明图11中S501-S1103的具体实现：

S501、采集图像。

S502、求平均。

关于S501和S502，可参见前文中的说明，此处不再赘述。

S1101、计算各个区域多个像素点的光流。

在本实施例中，针对k帧图像中的任一图像，服务器都需要划分出多个区域。例如，划分出m*n个区域。以及，针对平均图像，服务器也需要划分出对应的多个区域。

与前述S503不同的是：在S1101中，服务器需要从至少一帧图像的各个区域中选择出多个像素点。

示例性的，至少一帧图像为k帧图像中的第一帧图像，任一图像为k帧图像中的第k帧图像，则服务器需要计算第一帧图像中各个区域内的多个像素点向第k帧图像运动的光流（u，v）。例如，第一帧图像划分的多个区域为图12所示的区域1、区域2、区域3和区域4，服务器则需要计算区域1中的多个像素点向第k帧图像运动的光流（u，v），区域2中的多个像素点向第k帧图像运动的光流（u，v），区域3中的多个像素点向第k帧图像运动的光流（u，v），区域4中的多个像素点向第k帧图像运动的光流（u，v）。

又示例性的，至少一帧图像为k帧图像中的多帧图像。服务器需要计算第一图像中各个区域内的若干像素点向第二帧图像运动的光流（u，v），或者，服务器需要计算第三图像中各个区域内的若干像素点向第四帧图像运动的光流（u，v）。

以及，在本实施例中，针对任一区域，可以计算得到对应多个像素点的多个光流（u,v）。

另外，关于S1101中未详细说明的部分，如关于第一图像、第二图像、第三图像以及第四图像的说明，可参见前文S503中的说明，此处不再赘述。

S1102、标注各个区域的模糊程度。

本实施例中，针对任一区域，服务器可以基于该区域对应的多个光流（u,v），标注得到该区域的模糊程度。

关于基于多个光流（u,v）标注区域的模糊程度的实现原理，与前文S504中基于多个光流（u,v），标注得到图像的模糊程度的实现原理相同，具体可参见前文S504的说明，此处不再赘述。

S1103、训练得到用于识别图像不同区域的模糊程度的识别模型。

服务器可以将多帧平均图像作为输入样本，将多帧平均图像中每帧平均图像的各个区域对应的多个模糊标签作为相应平均图像的输出样本。服务器将输入样本和输出样本输入至用于分类的第一网络模型中进行训练，基于第一网络模型的实际输出和输出样本之间的误差调整第一网络模型的模型参数，直至第一网络模型的实际输出和输出样本之间的误差小于第一预设误差值，则结束训练，结束训练时得到的第一网络模型即为用于识别图像不同区域的模糊程度的识别模型。

以及，在本实施例中，在过程2中，手机将待识别图像输入至识别模型，运行识别模型，识别模型则可以输出待识别图像的多个区域的模糊标签。

示例性的，参见图13，在过程2中，手机可以使用前文训练得到的识别模型来识别图像的多个区域的模糊程度。具体的，手机可以将待识别图像输入至识别模型，运行识别模型，识别模型则可以输出待识别图像的多个区域的模糊标签，如输出多个模糊标签1、0、2、3，每个模糊标签对应一种模糊程度。从而得到待识别图像的多个区域的模糊程度。

以模糊标签0、1、2以及3一一对应模糊程度清晰、较清晰、较模糊和非常模糊四种例，那么，识别模型输出多个模糊标签1、0、2、3，则表示待识别图像的多个区域（如区域1、区域2、区域3以及区域4）的模糊程度分别为较清晰、清晰、较模糊和非常模糊。

在一些场景中，还需要针对模糊图像进行去模糊处理，得到清晰图像。基于此，在一些实施例中，还包括：过程3，训练处理模型；以及，过程4，使用处理模型对模糊图像进行去模糊处理。

参见图14，过程3包括：在过程1的基础上，针对每一组连续的k帧图像，将k帧图像的中间一帧图像确定为平均图像的清晰图像（如图14的S1401所示）。其中，为了便于确定出唯一的清晰图像，可以设置k为奇数，如k为3、5、7、9……。示例性的，k=5，服务器可以将连续的5帧图像中的第3帧图像确定为清晰图像。又示例性的，k=7，服务器可以将连续的7帧图像中的第4帧图像确定为清晰图像。

以及，过程3还包括：服务器将多个平均图像及其清晰图像作为第二网络模型的输入进行训练，可以训练得到处理模型（如图14的S1402所示）。

下面示例性的说明S1402的具体实现：

服务器可以将多帧平均图像作为输入样本（也可以称为第二输入样本），将多帧平均图像对应的多个清晰图像作为输出样本（也可以称为第二输出样本）。服务器将输入样本和输出样本输入至用于去模糊处理的第二网络模型中进行训练，基于第二网络模型的实际输出和输出样本之间的误差调整第二网络模型的模型参数，直至第二网络模型的实际输出和输出样本之间的误差小于第二预设误差值，则结束训练，结束训练时得到的第二网络模型即为去模糊处理的处理模型。

上述第二网络模型可以是deblur、生成对抗网络（GAN）等可以用于图像处理的网络模型。

参见图15，过程4包括：在过程2输出待识别图像的模糊标签后，确定待识别图像是否需要进行去模糊处理。具体地，手机可以检测待识别图像的模糊标签是否为预设标签（如图15中的S1501所示），预设标签可以基于模糊标签反映的模糊程度来设置。例如，模糊标签为2，反映图像模糊，则预设标签可以包括2。如果待识别图像的模糊标签为预设标签，手机可以将待识别图像输入至处理模型中，运行处理模型，处理模型则可以输出待识别图像的清晰图像（如图15中的S1502所示）。如果待识别图像的模糊标签不是预设标签，则表明待识别图像的清晰度较高，则无需将其输出至处理模型中进行去模糊处理。

需要说明的是，与前述过程4不同的是：手机也可以针对任一待识别图像，都将其输入至处理模型，处理得到对应的清晰图像。

本申请实施例还提供了一种电子设备，该电子设备可以包括：存储器和一个或多个处理器。存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行计算机指令时，电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。

本申请实施例还提供了一种服务器，该服务器可以包括：存储器和一个或多个处理器。存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行计算机指令时，服务器可执行上述方法实施例中服务器执行的各个功能或者步骤。

本申请实施例还提供一种芯片系统，如图16所示，该芯片系统1600包括至少一个处理器1601和至少一个接口电路1602。处理器1601和接口电路1602可通过线路互联。例如，接口电路1602可用于从其它装置（例如电子设备的存储器）接收信号。又例如，接口电路1602可用于向其它装置（例如处理器1601）发送信号。示例性的，接口电路1602可读取存储器中存储的指令，并将该指令发送给处理器1601。当所述指令被处理器1601执行时，可使得电子设备或者服务器执行上述实施例中的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备或者服务器执行上述方法实施例中的各个功能或者步骤。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例中的各个功能或者步骤。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述方法实施例中手机执行的各个功能或者步骤。

其中，本实施例提供的电子设备、通信系统、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (14)

1.一种模型训练方法，其特征在于，包括：

获取多组图像，一组图像中包括连续拍摄的k帧图像，k为大于或等于2的整数；

计算得到每组图像的平均图像，以及，每组图像中包括的多个像素点的光流，每个像素点的光流包括所述像素点在图像坐标系的x轴方向的第一位移和y轴方向的第二位移；

基于每组图像中所述多个像素点的光流标注得到所述平均图像对应的模糊标签，所述模糊标签用于指示模糊程度；其中，所述多个像素点的光流中所述第一位移小于第一位移阈值和所述第二位移小于第二位移阈值的像素点的数量越多，则所述平均图像对应的所述模糊标签指示的模糊程度越低；

将所述多组图像中每组图像的所述平均图像作为第一输入样本，以及，所述平均图像对应的模糊标签作为第一输出样本，使用所述第一输入样本和所述第一输出样本训练第一网络模型，得到识别模型，所述识别模型用于识别输入所述识别模型的图像的模糊程度。

2.根据权利要求1所述的方法，其特征在于，所述获取多组图像，包括：

采集多段视频；

划分每段视频，得到至少两段子视频，每段子视频包括m帧图像，m为大于或等于2的整数；

从每段子视频包括的m帧图像中选出连续拍摄的所述k帧图像作为一组图像。

3.根据权利要求1所述的方法，其特征在于，所述计算得到每组图像的平均图像，包括：

对每组图像包括的所述k帧图像中每个像素点的灰度值进行平均值计算，得到所述k帧图像中每个像素点的灰度平均值；

基于所述k帧图像中所有像素点的所述灰度平均值得到所述平均图像，其中，所述平均图像包括灰度值为所述灰度平均值的像素点。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述多个像素点的光流包括每组图像包括的所述k帧图像中第一帧图像的所述多个像素点的图像内容移动到第k帧图像中所述图像内容所在的像素点的光流。

5.根据权利要求1-3中任一项所述的方法，其特征在于，所述第一位移小于第一位移阈值和所述第二位移小于第二位移阈值的像素点包括：

所述第一位移和所述第二位移之间的欧氏距离小于第一距离阈值的像素点。

6.根据权利要求1-3中任一项所述的方法，其特征在于，所述平均图像对应的模糊标签，包括：每个平均图像对应一个模糊标签，所述模糊标签用于指示所述平均图像的模糊程度；或者，

每个平均图像包括多个图像区域，所述平均图像对应的模糊标签，包括：所述多个图像区域对应的多个模糊标签，一个模糊标签用于指示一个图像区域的模糊程度。

7.根据权利要求1-3中任一项所述的方法，其特征在于，k为奇数，所述方法还包括：

将每组图像包括的所述k帧图像中第（k+1）/2帧图像确定为所述平均图像的清晰图像；

将所述多组图像中每组图像的所述平均图像作为第二输入样本，以及，所述平均图像的清晰图像作为第二输出样本，使用所述第二输入样本和所述第二输出样本训练第二网络模型，得到处理模型，所述处理模型用于对输入所述处理模型的图像进行去模糊处理。

8.一种图像处理方法，其特征在于，包括：

将待识别图像作为输入，运行识别模型，输出得到所述待识别图像的模糊标签，所述模糊标签用于指示所述待识别图像的模糊程度；

其中，所述识别模型采用权利要求1-6中任一项所述的模型训练方法训练得到。

9.根据权利要求8所述的方法，其特征在于，在输出得到所述待识别图像的模糊标签之后，所述方法还包括：

如果所述待识别图像的模糊标签为预设标签，将所述待识别图像作为输入，运行处理模型，输出得到所述待识别图像的清晰图像；

其中，所述处理模型采用权利要求7所述的模型训练方法训练得到。

10.一种服务器，其特征在于，包括：存储器和一个或多个处理器，所述存储器与所述处理器耦合；其中，所述存储器中存储有计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述处理器执行时，使得所述服务器执行如权利要求1-7中任一项所述的方法。

11.一种电子设备，其特征在于，包括：存储器和一个或多个处理器，所述存储器与所述处理器耦合；其中，所述存储器中存储有计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述处理器执行时，使得所述电子设备执行如权利要求8或9所述的方法。

12.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在服务器上运行时，使得所述服务器执行如权利要求1-7中任一项所述的方法；或者，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求8或9所述的方法。

13.一种芯片系统，其特征在于，所述芯片系统应用于包括处理器和存储器的服务器，所述芯片系统包括一个或多个接口电路和一个或多个处理器，所述接口电路和所述处理器通过线路互联，所述接口电路用于从所述服务器的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令，当所述处理器执行所述计算机指令时，使得所述服务器执行如权利要求1-7中任一项所述的方法。

14.一种芯片系统，其特征在于，所述芯片系统应用于包括处理器和存储器的电子设备，所述芯片系统包括一个或多个接口电路和一个或多个处理器，所述接口电路和所述处理器通过线路互联，所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令，当所述处理器执行所述计算机指令时，使得所述电子设备执行如权利要求8或9所述的方法。