CN117689611A - 质量预测网络模型生成方法、图像处理方法及电子设备 - Google Patents

Abstract

本申请实施例提供了一种质量预测网络模型生成方法、图像处理方法及电子设备，涉及图像处理技术领域，包括：获取样本图像和所述样本图像的标注质量评价值；基于样本图像和样本图像的标注质量评价值，对预先构建的初始超网中的各子网进行训练，直至各子网满足预设的收敛条件，得到目标超网；其中，初始超网中包括按照预设的配置参数设置的多个特征提取单元，不同的特征提取单元组成不同的子网；各子网用于确定样本图像的质量评价值；基于使用目标超网中的各子网确定测试图像的质量评价值时的准确率，以及各子网在终端中运行的延时，从各子网中确定满足预设的筛选条件的目标子网，得到适用于终端的目标质量预测网络模型。

Description

质量预测网络模型生成方法、图像处理方法及电子设备

技术领域

本申请涉及图像处理技术领域，特别是涉及一种质量预测网络模型生成方法、图像处理方法及电子设备。

背景技术

用户在使用终端(例如，手机、智能手表等)中的相机进行拍照时，可能会针对同一场景拍摄多帧不同的图像。相应的，针对终端拍照场景，需要从拍摄的多帧图像中，选择出质量较高的一帧图像或多帧图像，以便用户基于选择的图像进行后续处理。

图像质量评价(Image Quality Assessment，IQA)通常用于评价图像的质量高低。相关技术中，通常采用基于深度学习的质量预测网络模型，计算图像的IQA。然而，当前质量预测网络模型一般较大，网络结构复杂，网络参数较多，适于部署在资源相对充足的服务端，但不适于部署在资源相对紧张的终端。

发明内容

本申请实施例的目的在于提供一种质量预测网络模型生成方法、图像处理方法及电子设备，以实现生成适用于终端的质量预测网络模型。具体技术方案如下：

第一方面，为了达到上述目的，本申请实施例提供了一种质量预测网络模型生成方法，所述方法包括：

获取样本图像和所述样本图像的标注质量评价值；

基于所述样本图像和所述样本图像的标注质量评价值，对预先构建的初始超网中的各子网进行训练，直至各子网满足预设的收敛条件，得到目标超网；其中，所述初始超网中包括按照预设的配置参数设置的多个特征提取单元，不同的特征提取单元组成不同的子网；各子网用于确定所述样本图像的质量评价值；

基于使用所述目标超网中的各子网确定测试图像的质量评价值时的准确率，以及各子网在终端中运行的延时，从各子网中确定满足预设的筛选条件的目标子网，作为适用于所述终端的目标质量预测网络模型。

由以上可见，本实施例提供的方案中，基于各子网在终端中运行的延时，确定目标质量预测网络模型，可以确定出在终端中运行的延时较低，且消耗终端较少资源的目标质量预测网络模型，也就是可以确定出适用于终端的目标质量预测网络模型。

本申请的一个实施例中，所述基于使用所述目标超网中的各子网确定测试图像的质量评价值时的准确率，以及各子网在终端中运行的延时，从各子网中确定满足预设的筛选条件的目标子网，作为适用于所述终端的目标质量预测网络模型，包括：

从所述目标超网中，选择一个子网，作为待验证子网；

基于测试图像和所述终端对待验证子网进行验证，获得使用所述待验证子网确定测试图像的质量评价值时的准确率，以及获得所述待验证子网在所述终端中运行的延时；

从所述目标超网中未验证的子网中，选择一个子网，作为新的待验证子网，并返回执行所述基于测试图像和所述终端对待验证子网进行验证的步骤，直至达到预设的约束条件；

从延时小于预设延时阈值的子网中，确定对应的准确率最高的目标子网，作为目标质量预测网络模型。

由以上可见，本实施例提供的方案中，结合待验证子网部署至真实硬件运行的延时来进行评估，可以确定出适用于终端的目标质量预测网络模型。并且，依次针对选择的待验证子网进行评估，无需等到所有的子网评估完就可以确定出目标质量预测网络模型，可以提高确定目标质量预测网络模型的效率。

本申请的一个实施例中，所述从所述目标超网中，选择一个子网，作为待验证子网，包括：

从所述目标超网中，选择深度为第一深度的一个子网，基于所选择的子网确定待验证子网；其中，深度表示所述特征提取单元包含的卷积层的数目。

由以上可见，本实施例提供的方案中，可以按照子网的深度依次选择待验证子网，可以提高质量预测网络模型的生成效率。

本申请的一个实施例中，所述从所述目标超网中，选择深度为第一深度的一个子网，基于所选择的子网确定待验证子网，包括：

从所述目标超网中未验证的子网中，选择深度为所述第一深度的一个子网，如果该子网的目标参数不大于已验证的子网，确定该子网为待验证子网；其中，所述目标参数包括宽度，和/或，卷积核大小；所述宽度表示所述卷积层输出的图像特征的维度。

由以上可见，本实施例提供的方案中，在子网的目标参数不大于已验证的子网时，对该子网进行验证，减少对子网进行验证的次数，提高质量预测网络模型的生成效率。

本申请的一个实施例中，所述方法还包括：

如果所述目标超网中未验证的子网中不存在深度为第一深度的子网，从所述目标超网中，选择深度为第二深度的一个子网，基于所选择的子网确定待验证子网，并返回执行所述基于测试图像和所述终端对待验证子网进行验证的步骤。

由以上可见，本实施例提供的方案中，可以按照子网的深度依次选择待验证子网，可以提高质量预测网络模型的生成效率。

本申请的一个实施例中，所述获得所述待验证子网在所述终端中运行的延时，包括：

将所述待验证子网发送至所述终端，以使所述终端运行所述待验证子网，并统计所述待验证子网在所述终端中运行的延时；

接收所述终端反馈的统计得到的延时。

由以上可见，本实施例提供的方案中，可以将子网部署至终端运行，得到子网在终端运行的延时。进而，可以基于终端在子网运行的延时来确定出适用于终端的目标质量预测网络模型，可以确定出适用于终端的目标质量预测网络模型。

本申请的一个实施例中，所述待验证子网中，靠近输入端的卷积层的宽度不小于靠近输出端的卷积层的宽度。

由以上可见，本实施例提供的方案中，在选择待验证子网时，保证待验证子网中靠近输出的卷积层的通道数小于靠近输入的卷积层的通道数，可以进一步提高确定目标质量预测网络模型的效率。

本申请的一个实施例中，所述预设的配置参数包括：预设的深度、预设的宽度和预设的卷积核大小；预设的深度表示所述特征提取单元包含的卷积层的数目；预设的宽度表示所述卷积层输出的图像特征的维度。

由以上可见，本实施例提供的方案中，初始超网中的各子网为基于预设的配置参数构建的，初始超网中各子网的网络结构较小，网络参数较少，可以适用于终端。后续，从各子网中确定出适用于终端的目标质量预测网络模型，目标质量预测网络模型为轻量级的网络模型，能够满足终端低功耗的需求。

本申请的一个实施例中，所述预设的深度包括：深度为2，深度为3和深度为4；和/或，

所述预设的卷积核大小包括：卷积核大小为3*3，以及卷积核大小为5*5；和/或，

所述预设的宽度为所述终端处理的特征维度的整数倍。

由以上可见，本实施例提供的方案中，根据质量预测网络模型实际的落地场景，对初始超网进行了优化。由于卷积核较大时实际硬件部署效率不佳，因此搜索空间卷积核大小只包含3*3的卷积核和5*5的卷积核，可以提高硬件部署效率。而宽度可以根据终端的处理器的执行能力设置，可以提高后续生成目标质量预测网络模型的效率。

本申请的一个实施例中，所述基于所述样本图像和所述样本图像的标注质量评价值，对预先构建的初始超网中的各子网进行训练，直至各子网满足预设的收敛条件，得到目标超网，包括：

按照预设的子网优先级，对所述初始超网中的子网进行训练，直至各子网满足预设的收敛条件，得到目标超网。

由以上可见，本实施例提供的方案中，按照不同的子网优先级，分别对初始超网中的各子网进行训练，每次训练初始超网中的部分子网，无需同时对初始超网中的所有子网进行训练，可以提高对初始超网进行训练的效率。

本申请的一个实施例中，所述子网优先级中由高到低各子网优先级对应的子网依次包括以下子网中至少两个：

宽度最大、深度最大，且卷积核最大的子网；

第一宽度，且第三深度的子网；

第二宽度的子网；

未满足预设的收敛条件的子网。

由以上可见，本实施例提供的方案中，基于实际的训练需求设置多个子网优先级。进而按照设置的子网优先级对初始超网中的子网进行训练，提高生成质量预测网络模型的效率。

第二方面，为了达到上述目的，本申请实施例提供了一种图像处理方法，所述方法应用于终端，所述方法包括：

获取终端拍摄的多张待检测图像；

将各待检测图像输入至预先训练的目标质量预测网络模型，得到各待检测图像的质量评价值；其中，所述目标质量预测网络模型为：基于使用目标超网中的各子网确定测试图像的质量评价值时的准确率，以及各子网在终端中运行的延时，从各子网中确定的满足预设的筛选条件的目标子网；所述目标超网为：基于获取的样本图像和样本图像的标注质量评价值，对预先构建的初始超网中的各子网进行训练得到的；所述目标超网中的各子网满足预设的收敛条件；所述初始超网中包括按照预设的配置参数设置的多个特征提取单元，不同的特征提取单元组成不同的子网；各子网用于确定样本图像的质量评价值；

基于各待检测图像的质量评价值，从多张待检测图像中确定目标图像；

基于所述目标图像进行图像处理。

由以上可见，本实施例提供的方案中，从多张待检测图像中确定目标图像，并基于目标图像进行图像处理，可以提高用户体验。并且，目标质量预测网络模型适用于终端，目标质量预测网络模型为轻量级的网络模型，能够满足终端低功耗的需求。

本申请的一个实施例中，所述将各待检测图像输入至预先训练的目标质量预测网络模型，得到各待检测图像的质量评价值，包括：

针对每一待检测图像，将该待检测图像输入至预先训练的目标质量预测网络模型，并通过所述目标质量预测网络模型的特征提取模块对该待检测图像进行特征提取，得到该待检测图像的图像特征；

通过所述目标质量预测网络模型的分类模块对该待检测图像的图像特征进行归一化处理，得到该待检测图像的质量评价值。

由以上可见，本实施例提供的方案中，基于目标质量预测网络模型确定多张待检测图像的质量评价值，后续，可以基于待检测图像的质量评价值确定目标图像，可以提高用户体验。并且，目标质量预测网络模型适用于终端，目标质量预测网络模型为轻量级的网络模型，能够满足终端低功耗的需求。

第三方面，本申请实施例还提供了一种电子设备，包括：

一个或多个处理器和存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行上述第一方面任一所述的质量预测网络模型生成方法，或者，上述第二方面任一所述的图像处理方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行上述第一方面任一所述的质量预测网络模型生成方法，或者，上述第二方面任一所述的图像处理方法。

第五方面，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行上述第一方面任一所述的质量预测网络模型生成方法，或者，上述第二方面任一所述的图像处理方法。

第六方面，本申请实施例还提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备将数据输入芯片系统，并执行上述第一方面任一项所述的质量预测网络模型生成方法，或者，上述第二方面任一所述的图像处理方法对数据进行处理后输出处理结果。

上述第三方面、第四方面、第五方面以及第六方面中各实施例所提供方案的有益效果可参见上述第一方面中各实施例所提供方案的有益效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种终端的结构图；

图2为本申请实施例提供的一种终端的软件结构框图；

图3为本申请实施例提供的第一种质量预测网络模型生成方法的流程图；

图4a为本申请实施例提供的第一种特征提取单元的结构图；

图4b为本申请实施例提供的第二种特征提取单元的结构图；

图4c为本申请实施例提供的第三种特征提取单元的结构图；

图5为本申请实施例提供的一种初始超网的架构图；

图6为本申请实施例提供的第一种卷积层的结构图；

图7为本申请实施例提供的第二种卷积层的结构图；

图8为本申请实施例提供的第二种质量预测网络模型生成方法的流程图；

图9为本申请实施例提供的一种初始超网的结构图；

图10为本申请实施例提供的一种特征提取单元进行特征提取的流程图；

图11为本申请实施例提供的第三种质量预测网络模型生成方法的流程图；

图12为本申请实施例提供的一种服务端生成目标质量预测网络模型的流程图；

图13为本申请实施例提供的第四种质量预测网络模型生成方法的流程图；

图14为本申请实施例提供的一种图像处理方法的流程图；

图15为本申请实施例提供的一种终端进行图像处理的流程图；

图16为本申请实施例提供的一种芯片系统的结构图。

具体实施方式

为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一指令和第二指令是为了区分不同的用户指令，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例提供的质量预测网络模型生成方法可以应用于服务端。服务端可以与终端通信连接，服务端可以在生成目标质量预测网络模型之后，将目标质量预测网络模型部署至终端，这样终端可以通过目标质量预测网络模型确定拍摄的待检测图像的质量评价值，并从待检测图像中确定出目标图像。进而，终端可以基于目标图像进行图像处理，例如，终端可以向用户展示目标图像，可以提高用户体验。

本申请实施例提供的图像处理方法应用于终端。上述终端可以是手机、平板电脑、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、智能手表、上网本、可穿戴电子设备、增强现实技术(Augmented Reality，AR)设备、虚拟现实(Virtual Reality，VR)设备、车载设备、智能汽车、机器人、智能眼镜、智能电视等配备有相机的终端中，这样终端可以从通过自身的相机拍摄的多张待检测图像中确定出目标图像，并基于目标图像进行图像处理。

示例性的，图1示出了终端100的结构图。终端100可以包括处理器110，显示屏120，摄像头130，内部存储器140，用户标识模块(Subscriber Identification Module，SIM)卡接口150，通用串行总线(Universal Serial Bus，USB)接口160，充电管理模块170，电池管理模块171，带有电芯以及电池保护装置的电池172，传感器模块180，移动通信模块190，无线通信模块200，天线1以及天线2等。其中传感器模块180可以包括压力传感器180A，指纹传感器180B，触摸传感器180C，环境光传感器180D等。

可以理解的是，本申请实施例示意的结构并不构成对终端100的具体限定。在本申请另一些实施例中，终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括中央处理器(Central Processing Unit，CPU)、应用处理器(Application Processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(Image SignalProcessor，ISP)，控制器，视频编解码器，数字信号处理器(Digital Signal Processor，DSP)，基带处理器，和/或神经网络处理器(Neural-network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的部件，也可以集成在一个或多个处理器中。在一些实施例中，终端100也可以包括一个或多个处理器110。其中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。在其他一些实施例中，处理器110中还可以设置存储器，用于存储指令和数据。示例性地，处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。这样就避免了重复存取，减少了处理器110的等待时间，因而提高了终端100处理数据或执行指令的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路间(Inter-Integrated Circuit，I2C)接口、集成电路间音频(Inter-Integrated CircuitSound，I2S)接口、脉冲编码调制(Pulse Code Modulation，PCM)接口、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter，UART)接口、移动产业处理器接口(Mobile Industry Processor Interface，MIPI)、用输入输出(General-Purpose Input/Output，GPIO)接口、SIM卡接口和/或USB接口等。其中，USB接口160是符合USB标准规范的接口，具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口160可以用于连接充电器为终端100充电，也可以用于终端100与外围设备之间传输数据。该USB接口160也可以用于连接耳机，通过耳机播放音频。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，用于示意性说明，并不构成对终端100的结构限定。在本申请另一些实施例中，终端100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

终端100的无线通信功能可以通过天线1、天线2、移动通信模块190、无线通信模块200、调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

终端100通过GPU，显示屏120，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏120和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏120用于显示图像、视频等。显示屏120包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode，OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode，AMOLED)、柔性发光二极管(Flex Light-EmittingDiode，FLED)、Miniled、MicroLed、Micro-oLed、量子点发光二极管(Quantum Dot LightEmitting Diodes，QLED)等。在一些实施例中，终端100可以包括1个或多个显示屏120。

在本申请的一些实施例中，当显示面板采用OLED、AMOLED、FLED等材料时，上述图1中的显示屏120可以被弯折。这里，上述显示屏120可以被弯折是指显示屏可以在任意部位被弯折到任意角度，并可以在该角度保持，例如，显示屏120可以从中部左右对折。也可以从中部上下对折。

终端100的显示屏120可以是一种柔性屏，目前，柔性屏以其独特的特性和巨大的潜力而备受关注。柔性屏相对于传统屏幕而言，具有柔韧性强和可弯曲的特点，可以给用户提供基于可弯折特性的新交互方式，可以满足用户对于终端的更多需求。对于配置有可折叠显示屏的终端而言，终端上的可折叠显示屏可以随时在折叠形态下的小屏和展开形态下大屏之间切换。因此，用户在配置有可折叠显示屏的终端上使用分屏功能，也越来越频繁。

终端100可以通过ISP、摄像头130、视频编解码器、GPU、显示屏120以及应用处理器等实现拍摄功能，其中，摄像头130包括前置摄像头和后置摄像头。

ISP用于处理摄像头130反馈的数据。例如，拍摄时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头130中。

摄像头130用于拍摄照片或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Cevice，CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(Red Green Blue，RGB)，YUV等格式的图像信号。在一些实施例中，终端100可以包括1个或N个摄像头130，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。这样，终端100可以播放或录制多种编码格式的视频，例如：动态图像专家组(Moving Picture Experts Group，MPEG)1、MPEG2、MPEG3和MPEG4。

NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端100的智能认知等应用，例如：图像识别、人脸识别、语音识别、文本理解等。

内部存储器140可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器140的上述指令，从而使得终端100执行本申请一些实施例中所提供的图像生成方法，以及各种应用以及数据处理等。内部存储器140可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储终端100使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器140可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储部件，闪存部件，通用闪存存储器(Universal Flash Storage，UFS)等。在一些实施例中，处理器110可以通过运行存储在内部存储器140的指令，和/或存储在设置于处理器110中的存储器的指令，来使得终端100执行本申请实施例中所提供的图像处理方法，以及其他应用及数据处理。

内部存储器140可以用于存储本申请实施例中提供的图像处理方法的相关程序，处理器110可以用于在展示信息时调用内部存储器140中存储的图像处理方法的相关程序，执行本申请实施例的图像处理方法。

传感器模块180可以包括压力传感器180A、指纹传感器180B、触摸传感器180C、环境光传感器180D等。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏120。压力传感器180A的种类很多，例如可以是电阻式压力传感器、电感式压力传感器或电容式压力传感器。电容式压力传感器可以是包括至少两个具有导电材料的平行板，当力作用于压力传感器180A，电极之间的电容改变，终端100根据电容的变化确定压力的强度。当触摸操作作用于显示屏120时，终端100根据压力传感器180A检测触摸操作。终端100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令；当触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

指纹传感器180B用于采集指纹。终端100可以利用采集的指纹特性实现解锁、访问应用锁、拍摄和接听来电等功能。

触摸传感器180C，也称为触控器件。触摸传感器180C可以设置于显示屏120，由触摸传感器180C与显示屏120组成触摸屏，触摸屏也称为触控屏。触摸传感器180C用于检测作用于其上或其附近的触摸操作。触摸传感器180C可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏120提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180C也可以设置于终端100的表面，并且与显示屏120设置于不同的位置。

环境光传感器180D用于感知环境光亮度。终端100可以根据感知的环境光亮度自适应调节显示屏120亮度。环境光传感器180D也可用于拍摄时自动调节白平衡。环境光传感器180D还可以将设备所处的环境信息传入GPU。

环境光传感器180D还用于获取摄像头130采集图像的采集环境的亮度、光比、色温等。

图2为本申请实施例适用的终端的一种软件结构框图。终端的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。分层架构将终端的软件系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，可以将软件系统分为三层，分别为应用程序层(applications)、应用程序框架层(application framework)和驱动层(hardware abstract layer，HAL)。

应用程序层可以包括一系列应用程序包，应用程序层通过调用应用程序框架层所提供的应用程序接口(application programming interface，API)运行应用程序。如图2所示，应用程序包可以包括多个应用程序，例如，相机、图库、浏览器和音乐等程序。可以理解地，上述的每个应用程序的端口均可以用于接收数据。

应用程序框架层为应用程序层的应用程序提供API和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示，应用程序框架层可以包括窗口管理器、内容提供器、视图系统、资源管理器、通知管理器以及动态主机配置协议(Dynamic Host ConfigurationProtocol，DHCP)模块等。

驱动层是硬件和软件之间的层，用于驱动硬件，使得硬件工作。驱动层中可以安装有多个用于驱动硬件工作的驱动(driver)。例如，相机驱动、显示驱动、音频驱动以及传感器驱动等。

除此之外，终端还包括硬件层，硬件层可以包括，摄像头、扬声器、CPU和NPU等，硬件层与驱动层连接。

在本申请实施例中，应用层的相机可以接收用户输入的拍摄指令，例如，检测到用户点击相机的拍摄按钮，确定接收到用户输入的拍摄指令。通过驱动层的相机驱动调用硬件层的摄像头进行图像拍摄，将摄像头拍摄的图像(可以称为原始图像)存储至硬件层的CPU。CPU可以对原始图像进行图像预处理，得到待检测图像，并将待检测图像发送至NPU。NPU可以运行目标质量检测网络模型对待检测图像进行处理，得到待检测图像的质量评价值，NPU将得到的质量评价值发送至CPU。相应的，CPU可以基于待检测图像的质量评价值确定出目标图像，并基于目标图像进行后续的图像处理。

下面对本申请实施例所提供的图像处理方案的应用场景进行举例说明。

本场景中，用户启动终端中的相机之后，长按相机的拍摄按钮，则终端中的相机调用摄像头连续拍摄多帧图像，并将拍摄的多帧图像存储至终端。终端可以使用目标质量预测网络模型确定拍摄的多帧图像各自的质量评价值，进而，基于多帧图像各自的质量评价值，从多帧图像中确定目标图像。目标质量预测网络模型为基于本申请实施例提供的质量预测网络模型生成方法得到的。

进而，终端可以基于目标图像进行图像处理。

一种情况下，终端可以向用户展示目标图像。进而，按照用户的指示将目标图像设置为终端的壁纸，或者，按照用户的指示将目标图像设置为终端中安装的应用的图标。

另一种情况下，多帧图像为用户使用终端拍摄的live(动态)图像，则终端将目标图像作为live图像的封面图像，并向用户展示live图像的封面图像。

再一种情况下，若确定出多帧目标图像，可以对多帧目标图像进行融合处理，输出一张图像。

以上仅为进行图像处理的举例，并不对本申请进行图像处理的方式进行限定。

接下来，下面通过具体实施例对本申请实施例提供的质量预测网络模型生成方案和图像处理方案进行详细说明。

本申请的一个实施例中，参见图3，图3为本申请实施例提供的一种质量预测网络模型生成方法的流程图，该方法包括以下步骤：

S301：获取样本图像和样本图像的标注质量评价值。

S302：基于样本图像和样本图像的标注质量评价值，对预先构建的初始超网中的各子网进行训练，直至各子网满足预设的收敛条件，得到目标超网。

其中，初始超网中包括按照预设的配置参数设置的多个特征提取单元，不同的特征提取单元组成不同的子网；各子网用于确定样本图像的质量评价值。

S303：基于使用目标超网中的各子网确定测试图像的质量评价值时的准确率，以及各子网在终端中运行的延时，从各子网中确定满足预设的筛选条件的目标子网，作为适用于终端的目标质量预测网络模型。

应用本申请实施例提供的方案生成质量预测网络模型时，基于各子网在终端中运行的延时，确定目标质量预测网络模型，可以确定出在终端中运行的延时较低，且消耗终端较少资源的目标质量预测网络模型，也就是可以确定出适用于终端的目标质量预测网络模型。

下面对上述图3所示实施例中各个步骤分别进行详细说明。

针对步骤S301，由于需要生成适用于终端的目标质量预测网络模型，样本图像可以为通过终端采集的图像。或者，也可以按照目标质量预测网络模型的实际应用场景，选取与终端采集的图像相同分辨率的样本图像。例如，终端采集的图像的分辨率为224*224，则样本图像包括分辨率为224*224的图像。

样本图像的标注质量评价值为技术人员预先标注的，标注质量评价值为样本图像的IQA。

具体的，标注质量评价值可以采用不同的形式进行表示。例如，

一种情况下，标注质量评价值可以为表示样本图像的图像质量的数值，例如，技术人员认为样本图像的质量较高(例如，清晰度较高)，则样本图像的标注质量评价值为1，或者，技术人员认为样本图像的质量较低(例如，清晰度较低)，则样本图像的标注质量评价值为0。

另一种情况下，标注质量评价值可以为表示样本图像所属的质量级别的向量。例如，预设的质量级别包括一级质量、二级质量、三级质量和四级质量。如果样本图像属于一级质量，则样本图像的标注质量评价值表示为[1，0，0，0]；如果样本图像属于二级质量，则样本图像的标注质量评价值表示为[0，1，0，0]。

针对步骤S302，初始超网为按照预设的配置参数设置的网络模型，初始超网中包括按照预设的配置参数设置的多个特征提取单元，不同的特征提取单元进行组合，得到不同的子网。每一子网可以作为一个质量预测网络模型，用于确定样本图像的质量评价值。

在一些实施例中，预设的配置参数包括：预设的深度、预设的宽度和预设的卷积核大小；预设的深度表示特征提取单元包含的卷积层的数目；预设的宽度表示卷积层输出的图像特征的维度；卷积核大小表示卷积层中的卷积核的大小。

预设的深度、预设的宽度和预设的卷积核大小由技术人员基于终端的处理能力确定。例如，终端的处理器(例如，NPU)的处理能力。终端的处理器的处理能力有限，可以将预设的深度、预设的宽度和预设的卷积核大小设置为较小的数值。相应的，初始超网中的各子网为基于预设的配置参数构建的，也就是基于终端的处理能力构建的各子网，则初始超网中各子网的网络结构较小，网络参数较少，可以适用于终端。后续，从各子网中确定出适用于终端的目标质量预测网络模型，目标质量预测网络模型为轻量级的网络模型，能够满足终端低功耗的需求。

预设的深度、预设的宽度，以及预设的卷积核大小均可以设置多个，这样基于多个不同的配置参数，可以得到不同的特征提取单元。进而，不同的特征提取单元之间进行相互组合，可以得到不同的子网。

以下对基于不同的配置参数得到不同的特征提取单元的实现方式进行说明：

上述预设的配置参数可以包括以下三种情况中的至少一种：

情况一：预设的深度包括：深度为2，深度为3和深度为4；

预设的深度为2时，表示特征提取单元包括2个卷积层。参见图4a，图4a为本申请实施例提供的一种特征提取单元的结构图。图4a所示的特征提取单元的深度(Depth)为2，即特征提取单元包括2个卷积层，分别为：Layer(层)0和Layer1。

预设的深度为3时，表示特征提取单元包括3个卷积层。参见图4b，图4b为本申请实施例提供的一种特征提取单元的结构图。图4b所示的特征提取单元的Depth为3，即特征提取单元包括3个卷积层，分别为：Layer0、Layer1和Layer2。

预设的深度为4时，参见图4c，图4c为本申请实施例提供的一种特征提取单元的结构图。图4c所示的特征提取单元的Depth为4，即特征提取单元包括4个卷积层，分别为：Layer0、Layer1、Layer2和Layer3。

参见图5，深度对应的3个网络结构中的一个矩形表示一个卷积层。预设的深度为4时，如图5中深度对应的“1”号网络结构所示，特征提取单元包括：卷积层0、卷积层1、卷积层2和卷积层3，共4个卷积层，由第4个卷积层(即卷积层3)输出样本图像的样本图像特征。

预设的深度包括深度为3和深度为4时，如图5中深度对应的“2”号网络结构所示，虽然特征提取单元中设置了4个卷积层，当特征提取单元包括3个卷积层时，由第3个卷积层(即卷积层2)输出样本图像的样本图像特征，也就是特征提取单元包括：卷积层0、卷积层1和卷积层2，该3个卷积层组成特征提取单元。当特征提取单元包括4个卷积层时，第4个卷积层输出样本图像的样本图像特征。也就是4个卷积层组成特征提取单元。

预设的深度包括深度为2，深度为3和深度为4时，如图5中深度对应的“3”号网络结构所示，虽然特征提取单元中设置了4个卷积层，当特征提取单元包括2个卷积层时，由第2个卷积层(即卷积层1)输出样本图像的样本图像特征，也就是特征提取单元包括：卷积层0和卷积层1，该2个卷积层组成特征提取单元。当特征提取单元包括3个卷积层时，由第3个卷积层输出样本图像的样本图像特征，也就是前3个卷积层组成特征提取单元。当特征提取单元包括4个卷积层时，第4个卷积层输出样本图像的样本图像特征。也就是4个卷积层组成特征提取单元。

根据质量预测网络模型实际的落地场景，对初始超网进行了搜索空间(即初始超网)优化。具体的，将深度设置为2，3和4，可以减少初始超网中的特征提取单元中的卷积层的数目，提高生成目标质量预测网络模型的效率。

情况二：预设的卷积核大小包括：卷积核大小为3*3，以及卷积核大小为5*5；

例如，如图5中卷积核大小对应的“5*5”的矩阵和3*3的矩阵，表示初始超网中的卷积层的卷积核包括：5*5的卷积核，以及3*3的卷积核。

参见图6，图6为本申请实施例提供的一种卷积层的结构图。卷积层包括多个卷积核，每一卷积层的各卷积核用于对输入至该卷积层的图像特征进行卷积处理，得到该卷积层输出的图像特征。该多个卷积核可以为卷积核大小(Kernel size)为3(即大小为3*3)的卷积核。或者，该多个卷积核可以为Kernel size为5(即大小为5*5)的卷积核。

由于卷积核较大时实际硬件部署效率不佳，因此搜索空间卷积核大小只包含3*3的卷积核和5*5的卷积核，可以提高硬件部署效率，进而提高生成目标质量预测网络模型的效率。

情况三：预设的宽度为终端处理的特征维度的整数倍。

预设的宽度可以为终端处理的特征维度的整数倍。终端的处理器(例如，NPU)包括多个计算单元，终端处理的特征维度表示：在充分利用一个计算单元的处理能力时，该计算单元处理的特征维度。例如，图5中包含两种宽度，其中，input1表示一种宽度的图像特征，input2表示另一种宽度的图像特征。假设一个计算单元处理的特征维度为32*32，则input2表示的图像特征的宽度可以为64*64。Input1表示的图像特征的宽度可以为128*128。

参见图7，图7为本申请实施例提供的一种卷积层的结构图。图7中卷积层的通道数为M*N，通道数表示该卷积层输出的图像特征的维度。M表示终端处理的特征维度，N表示正整数。也就是图7所示的卷积层的宽度(Width)为M*N。

宽度根据硬件特征(即终端的处理器的执行能力)设置为充分利用终端的处理器中的计算单元的处理能力时，计算单元处理的特征维度的整数倍，可以充分利用处理器中各计算单元的处理能力，避免资源浪费，进而提高生成目标质量预测网络模型的效率。

以下对本申请实施例中对初始超网进行训练的实现方式进行说明。

在一些实施例中，在图3的基础上，参见图8，步骤S302可以包括以下步骤：

S3021：按照预设的子网优先级，对初始超网中的子网进行训练，直至各子网满足预设的收敛条件，得到目标超网。

在一些实施例中，可以基于实际的训练需求设置多个子网优先级。相应的，子网优先级中由高到低各子网优先级对应的子网依次包括以下子网中至少两个：

宽度最大、深度最大，且卷积核最大的子网；

第一宽度，且第三深度的子网；

第二宽度的子网；

未满足预设的收敛条件的子网。

一种实现方式中，子网优先级中由高到低各子网优先级对应的子网依次包括：宽度最大、深度最大，且卷积核最大的子网；第一宽度，且第三深度的子网；以及未满足预设的收敛条件的子网。

例如，最大的深度为4，第三深度为3，以图5中的“3”号网络结构为例进行说明，深度最大表示子网的特征提取单元包括4个卷积层，即卷积层0、卷积层1、卷积层2和卷积层3。基于样本图像和样本图像的标注质量评价值，先对初始超网中的宽度最大、深度最大，且卷积核最大的子网进行训练，也就是对卷积层0、卷积层1、卷积层2和卷积层3的网络参数进行调整，直至本次训练的子网满足预设的收敛条件，得到第一待处理超网，训练得到的第一待处理超网中的各卷积层可以记为卷积层0’、卷积层1’、卷积层2’和卷积层3’。

第三深度为3表示子网的特征提取单元包括卷积层0’、卷积层1’和卷积层2’。基于样本图像和样本图像的标注质量评价值，对第一待处理超网中的第一宽度，且第三深度的子网进行训练，也就是对卷积层0’、卷积层1’和卷积层2’的网络参数进行调整，直至本次训练的子网满足预设的收敛条件，得到第二待处理超网，训练得到的第二待处理超网中的各卷积层可以记为卷积层0”、卷积层1”和卷积层2”。

进而，基于样本图像和样本图像的标注质量评价值，对第二待处理超网中未满足预设的收敛条件的子网进行训练。例如，未满足预设的收敛条件的子网的深度为2，也就是未满足预设的收敛条件的子网包括的卷积层0”和卷积层1”。对第二待处理超网中未满足预设的收敛条件的子网进行训练，也就是对卷积层0”和卷积层1”的网络参数进行调整，直至第二待处理超网中的各子网均满足收敛条件，得到目标超网。

上述训练过程中，按照不同的子网优先级，分别对初始超网中的各子网进行训练，每次训练初始超网中的部分子网，无需同时对初始超网中的所有子网进行训练，可以提高对初始超网进行训练的效率。

另一种实现方式中，可以按照以下步骤对初始超网进行训练：

步骤一：基于样本图像和样本图像的标注质量评价值，对初始超网中的宽度最大、深度最大，且卷积核最大的子网进行训练，直至本次训练的子网满足预设的收敛条件，得到第一待处理超网。

步骤二：基于样本图像和样本图像的标注质量评价值，对第一待处理超网中的第一宽度，且第三深度的子网进行训练，直至本次训练的子网满足收敛条件，得到第二待处理超网。

步骤三：基于样本图像和样本图像的标注质量评价值，对第二待处理超网中的第二宽度的子网进行训练，直至本次训练的子网满足收敛条件，得到第三待处理超网。

步骤四：基于样本图像和样本图像的标注质量评价值，对第三待处理超网中的未满足预设的收敛条件的子网进行训练，直至第三待处理超网中的各子网均满足收敛条件，得到目标超网。

例如，参见图9，图9所示的子网包括特征提取模块和分类模块。图9中按照宽度的大小包括两类卷积层，即宽度为128*128的卷积层，以及宽度为64*64的卷积层。按照卷积核大小包括两类卷积层，即卷积核为3*3的卷积层，以及卷积核为5*5的卷积层。

从初始超网中，确定宽度为128*128，且卷积核为5*5的卷积层，作为第一卷积层。然后，确定包含4个第一卷积层，即包括Layer0、Layer1、Layer2和Layer3的特征提取单元，作为第一特征提取单元，进而确定包括5个第一特征提取单元的特征提取模块，该特征提取模块和分类模块组成的子网为宽度最大、深度最大，且卷积核最大的子网。

将样本图像输入至特征提取模块中的第一个特征提取单元(即Unit0)，第一个特征提取单元中的第一个卷积层(即Layer0)采用5*5的卷积核对样本图像进行卷积处理，输出对应的图像特征。将第一个卷积层输出的图像特征输入至第二个卷积层(即Layer1)，第二个卷积层采用5*5的卷积核对输入的图像特征进行卷积处理，输出对应的图像特征。将第二个卷积层输出的图像特征输入至第三个卷积层(即Layer2)，第三个卷积层同样采用5*5的卷积核对输入的图像特征进行卷积处理，输出对应的图像特征。将第三个卷积层输出的图像特征输入至第四个卷积层(即Layer3)，第四个卷积层同样采用5*5的卷积核对输入的图像特征进行卷积处理，输出对应的图像特征。

然后，将第四个卷积层输出的图像特征输入至第二个特征提取单元(即Unit1)，通过第二个特征提取单元中的4个卷积层对输入的图像特征进行卷积处理，输出对应的图像特征，并将第二个特征提取单元输出的图像特征输入至第三个特征提取单元(即Unit2)，以此类推，直至第五个特征提取单元(即Unit4)输出样本图像的样本图像特征。

进而，将样本图像特征输入至分类模块，通过分类模块对样本图像特征进行归一化处理，得到样本图像的预测质量评价值。基于样本图像的标注质量评价值与预测质量评价值，对该子网的网络参数进行调整，直至该子网满足预设的收敛条件。

第一宽度可以为128*128，第三深度可以为2。参见图9，从初始超网中，确定宽度为128*128的卷积层，作为第二卷积层，第二卷积层的卷积核大小可以为3*3，第二卷积层的卷积核大小也可以为5*5。然后，确定包含2个第二卷积层，即包括Layer0和Layer1的特征提取单元，作为第二特征提取单元，进而确定包括5个第二特征提取单元的特征提取模块，该特征提取模块和分类模块组成的子网为第一宽度，且第三深度的子网。

将样本图像输入至特征提取模块中的第一个特征提取单元(即Unit0)，第一个特征提取单元中的第一个卷积层(即Layer0)对样本图像进行卷积处理，输出对应的图像特征。将第一个卷积层输出的图像特征输入至第二个卷积层(即Layer1)，第二个卷积层对输入的图像特征进行卷积处理，输出对应的图像特征。然后，将第二个卷积层输出的图像特征输入至第二个特征提取单元(即Unit1)，通过第二个特征提取单元中的2个卷积层对输入的图像特征进行卷积处理，并将输出的图像特征输入至第三个特征提取单元(即Unit2)，以此类推，直至第五个特征提取单元(即Unit4)输出样本图像的样本图像特征。

将样本图像特征输入至分类模块，通过分类模块对样本图像特征进行归一化处理，得到样本图像的预测质量评价值。基于标注质量评价值和预测质量评价值，对该子网的网络参数进行调整，直至该子网满足收敛条件。

然后，基于样本图像和样本图像的标注质量评价值，对第二待处理超网中的第二宽度的子网进行训练，直至本次训练的子网满足收敛条件，得到第三待处理超网。进而，基于样本图像和样本图像的标注质量评价值，对第三待处理超网中未满足预设的收敛条件的子网进行训练，直至第三待处理超网中的各子网均满足收敛条件，得到目标超网。

基于上述处理，按照预设的四个子网优先级，分别对四个子网优先级的子网进行训练，每次训练一个子网优先级的子网，无需同时对所有子网进行训练，可以提高对初始超网进行训练的效率。

对每一子网进行训练的过程可以包括以下步骤：

步骤1：将样本图像输入至该子网，通过该子网的特征提取模块对样本图像进行特征提取，得到样本图像的样本图像特征。

步骤2：通过该子网的分类模块对样本图像特征进行归一化处理，得到样本图像的预测质量评价值。

步骤3：计算表示标注质量评价值与预测质量评价值的差异的损失函数值。

步骤4：基于损失函数值，对该子网的网络参数进行调整，直至该子网满足预设的收敛条件。

预设的收敛条件为可以对该子网进行训练的次数达到预设次数。或者，预设的收敛条件也可以为连续预设数目次计算得到的损失函数值均小于预设阈值。

将样本图像输入至该子网，通过该子网的特征提取模块对样本图像进行特征提取，得到样本图像的样本图像特征。例如，图10所示的5个特征提取单元组合得到特征提取模块，该特征提取模块用于对输入的样本图像进行特征提取。图10中一个单元(Unit)表示一个特征提取单元。5个特征提取单元分别为Unit0、Unit1、Unit2、Unit3和Unit4。输入图像(Input Image)表示输入至第一个特征提取单元的样本图像。通过5个特征提取单元依次进行特征提取，得到样本图像的样本图像特征。输出(Output)表示第五个特征提取单元输出的样本图像的样本图像特征。

进而，通过该子网的分类模块对样本图像特征进行归一化处理，得到样本图像的预测质量评价值，并计算表示标注质量评价值与预测质量评价值的差异的损失函数值。损失函数值越大表明标注质量评价值与预测质量评价值的差异越大，则该子网确定图像的质量评价值的准确性越低；损失函数值越小表明标注质量评价值与预测质量评价值的差异越小，则该子网确定图像的质量评价值的准确性越高。相应的，基于计算得到的损失函数值，对该子网的网络参数进行调整，直至该子网满足预设的收敛条件，完成对该子网的训练。

针对步骤S303，目标超网中的各子网满足预设的收敛条件，则各子网均可以用于确定图像的质量评价值，则从目标超网中的各子网中，选择适出用于终端的目标质量预测网络模型。

在一些实施例中，在图3的基础上，参见图11，步骤S303可以包括以下步骤：

S3031：从目标超网中，选择一个子网，作为待验证子网。

S3032：基于测试图像和终端对待验证子网进行验证，获得使用待验证子网确定测试图像的质量评价值时的准确率，以及获得待验证子网在终端中运行的延时。

S3033：从目标超网中未验证的子网中，选择一个子网，作为新的待验证子网，并返回执行基于测试图像和终端对待验证子网进行验证的步骤，直至达到预设的约束条件。

S3034：从延时小于预设延时阈值的子网中，确定对应的准确率最高的目标子网，作为目标质量预测网络模型。

从目标超网中的各子网中，随机选择一个子网，作为待验证子网。或者，从目标超网中，选择深度为第一深度的一个子网，作为待验证子网。第一深度可以基于需求设置，例如，第一深度可以为最小的深度，或者，第一深度也可以为最大的深度。

在选择待验证子网时，可以保证待验证子网各个卷积层的宽度相同。或者，为了提高生成目标质量预测网络模型的效率，可以保证待验证子网靠近输入端的卷积层的宽度不小于靠近输出端的卷积层的宽度。也就是待验证子网中靠近输出端的卷积层的通道数小于靠近输入端的卷积层的通道数。

然后，获取多张测试图像，以及预先标注的测试图像的标注质量评价值。针对每一测试图像，将该测试图像输入至待验证子网，得到待验证子网输出的该测试图像的预测质量评价值。对该测试图像的预测质量评价值和标注质量评价值进行对比。

一种实现方式中，如果该测试图像的预测质量评价值和标注质量评价值相同，表明待验证子网确定的该测试图像的质量评价值是准确的。如果该测试图像的预测质量评价值和标注质量评价值不相同，表明待验证子网确定的该测试图像的质量评价值是错误的。

另一种实现方式中，如果该测试图像的预测质量评价值与标注质量评价值的差值在预设范围内，表明待验证子网确定的该测试图像的质量评价值是准确的。预设范围可以基于需求设置，例如，预设范围可以为[-0.01，0.01]；或者，预设范围也可以为[-0.03，0.03]。如果该测试图像的预测质量评价值和标注质量评价值的差值超出预设范围，表明待验证子网确定的该测试图像的质量评价值是错误的。

进而，计算待验证子网准确的确定出质量评价值的测试图像的数目与测试图像的总数目的比值，得到使用待验证子网确定测试图像的质量评价值时的准确率。

另外，将待验证子网发送至终端。相应的，终端可以部署待验证子网，终端将获取到的测试图像输入至部署的待验证子网，并运行待验证子网对测试图像进行处理，得到待验证子网输出的该测试图像的预测质量评价值。相应的，终端可以统计从测试图像输入至待验证子网，至待验证子网输出测试图像的预测质量评价值的时长，得到待验证子网在终端中运行的延时，并返回待验证子网在终端运行的延时。

相应的，在接收到终端反馈的待验证子网在终端运行的延时后，如果待验证子网在终端中运行的延时不小于预设延时阈值，则待验证子网不满足预设的筛选条件，记录已对待验证子网进行已验证。如果待验证子网在终端中运行的延时小于预设延时阈值，则待验证子网可能满足预设的筛选条件，确定待验证子网为候选子网。其中，预设延时阈值可以基于实际的业务需求设置。例如，需要目标质量预测网络模型具有较低的延时，可以将预设延时阈值均设置为较小的数值。

进而，从目标超网中未验证的子网中，选择一个深度为第一深度的子网，作为待验证子网，并获取使用本次选择的待验证子网确定测试图像的质量评价值时的准确率，以及本次选择的待验证子网在终端中运行的延时，并在本次选择的待验证子网在终端中运行的延时不小于预设延时阈值时，记录本次选择的待验证子网为已验证的子网，以及在本次选择的待验证子网在终端中运行的延时小于预设延时阈值时，确定本次选择的待验证子网为候选子网，以此类推，直至达到预设的约束条件，得到多个候选子网，多个候选子网为延时小于预设延时阈值的子网。约束条件可以为迭代满200次。

进而，在确定出多个候选子网后，则从多个候选子网中，确定对应的准确率最高的目标子网，作为适用于终端的目标质量预测网络模型。

在一些实施例中，在从目标超网中未验证的子网中，选择深度为第一深度的一个子网时，如果选择的该子网的目标参数大于已验证的子网，则表明该子网的延时大于已验证的子网的延时，也就是大于预设延时阈值，则该子网不满足预设的筛选条件，则无需对该子网进行验证，也就是无需获取使用该子网确定测试图像的质量评价值的准确率，也无需获取该子网在终端中运行的延时，则可以记录该子网为已验证的子网。例如，已验证的子网的深度为4，宽度为128*128，卷积核大小为3*3，选择的子网的深度为4，宽度为128*128，卷积核大小为5*5，选择的子网的卷积核大于已验证的子网的卷积核，则该子网的延时一定大于已验证的子网的延时，则无需对该子网进行验证，可以提高质量预测网络模型的生成效率。

如果选择的该子网的目标参数不大于已验证的子网，则表明该子网的延时不一定大于已验证的子网的延时，则可以将该子网确定为待验证子网。后续，可以继续验证该子网的延时是否大于预设延时阈值，以确定该子网是否为候选子网。也就是可以在该子网的目标参数不大于已验证的子网时，对该子网进行验证，在子网的目标参数大于已验证的子网时，不对该子网进行验证，减少对子网进行验证的次数，提高质量预测网络模型的生成效率。

在一些实施例中，在从目标超网中未验证的子网中，选择深度为第一深度的一个子网时，如果目标超网中未验证的子网中不存在深度为第一深度的子网，则可以从目标超网中，选择深度为第二深度的一个子网，作为待验证子网，并对本次选择的待验证子网进行验证。如果目标超网中未验证的子网中不存在深度为第二深度的子网，则可以从目标超网中，选择深度为第四深度的一个子网，作为待验证子网，并对本次选择的待验证子网进行验证，以此类推，直至达到预设的约束条件，得到多个候选子网。

基于上述处理，由于将质量预测网络模型实际部署至终端，需要进行大量的算子融合，查表获取算子的延时，并基于算子的延时评估质量预测网络模型的方式并不可靠。因此，结合待验证子网部署至真实硬件(即终端)运行的延时来进行评估，可以确定出适用于终端的目标质量预测网络模型。并且，依次针对选择的待验证子网进行评估，无需等到所有的子网评估完就可以确定出目标质量预测网络模型，可以提高确定目标质量预测网络模型的效率。另外，在选择待验证子网时，保证待验证子网中靠近输出的卷积层的通道数小于靠近输入的卷积层的通道数，可以进一步提高确定目标质量预测网络模型的效率。

在一些实施例中，本申请实施例提供的质量预测网络模型生成方法应用于服务端。参见图12，图12为本申请实施例提供的一种服务端生成目标质量预测网络模型的流程图，服务端包括CPU和GPU。

CPU获取待处理图像，并对待处理图像进行图像预处理得到样本图像。图像预处理方式包括以下至少一项：图像格式转换、图像标准化处理、图像尺寸调整。

图像格式转换是指将待处理图像的格式转换为指定格式，例如，将YUV格式的待处理图像转换为RGB格式，得到样本图像。

图像尺寸调整是指将待处理图像的分辨率转换为指定分辨率格式，例如，将待处理图像的分辨率调整为224*224，得到样本图像。

图像标准化处理是指对待处理图像的图像参数进行调整，得到样本图像。例如，计算各样本图像的亮度的均值(可以称为亮度均值)，以及各样本图像的亮度的方差(可以称为亮度方差)。针对每一待处理图像，将该待处理图像的亮度减去亮度均值，并除以亮度方差，将亮度调整后的待处理图像作为样本图像。

进而，CPU通过将样本图像和样本图像的标注质量评价值发送至GPU。由于GPU具有较强的图像处理能力，GPU可以基于样本图像和样本图像的标注质量评价值，对初始超网进行训练，并从训练得到的目标超网中的各子网中确定目标质量预测网络模型，可以提高生成质量预测网络模型的效率。

参见图13，图13为本申请实施例提供的一种质量预测网络模型生成方法的流程图。服务端获取子网架构参数，子网架构参数包括：预设的深度、预设的宽度和预设的卷积核大小。子网架构参数可以用one-hot(独热)编码的向量表示。例如，预设的深度包括深度为2、深度为3和深度为4，则预设的深度可以表示为[2，3，4]。预设的卷积核大小包括：卷积核大小为3*3，以及卷积核大小为5*5，则预设的卷积核大小可以表示为[3，5]。

服务端基于子网架构参数构建OFA(Once For All，只此一次)超网空间，超网空间也就是前述实施例中的包含多个子网的初始超网。服务端基于样本图像和样本图像的标注质量评价值，对初始超网进行训练，得到目标超网，目标超网中的各子网均满足预设的收敛条件。

服务端从目标超网中采样子网，也就是从目标超网中选择一个待验证子网，并使用待验证子网确定测试集中各测试图像的质量评价值。基于待验证子网确定的各测试图像的预测质量评价值和预先标注的各测试图像的标注质量评价值，确定待验证子网的准确率。服务端还可以将待验证子网部署至终端中运行，得到待验证子网的延时。

进而，如果待验证子网在终端中运行的延时不小于预设延时阈值，记录待验证子网为已验证的子网；如果待验证子网在终端中运行的延时小于预设延时阈值，确定待验证子网为候选子网。然后，重新进行迭代搜索，也就是从目标超网中未验证的子网中，选择一个子网，作为待验证子网，获取使用本次选择的待验证子网确定测试图像的质量评价值时的准确率，并获取本次选择的待验证子网在终端中运行的延时，在本次选择的待验证子网在终端中运行的延时不小于预设延时阈值时，记录本次选择的待验证子网为已验证的子网，在本次选择的待验证子网在终端中运行的延时小于预设延时阈值时，确定本次选择的待验证子网为候选子网，以此类推，直至达到预设的约束条件，得到多个候选子网。从多个候选子网中，确定对应的准确率最高的最优子网(即目标子网)，最优子网为适用于终端的目标质量预测网络模型。

本实施例提供的方案中，根据质量预测网络模型实际的落地场景，对初始超网进行了搜索空间优化，并且结合各子网部署至真实硬件(即终端)运行的延时来进行评估，可以确定出适用于终端的目标质量预测网络模型。目标质量预测网络模型为轻量级的网络模型，能够满足终端低功耗的需求。

参见图14，图14为本申请实施例提供的一种图像处理方法的流程图，该方法应用于终端，该方法包括以下步骤：

S1401：获取终端拍摄的多张待检测图像。

S1402：将各待检测图像输入至预先训练的目标质量预测网络模型，得到各待检测图像的质量评价值。

其中，目标质量预测网络模型为：基于使用目标超网中的各子网确定测试图像的质量评价值时的准确率，以及各子网在终端中运行的延时，从各子网中确定的满足预设的筛选条件的目标子网；目标超网为：基于获取的样本图像和样本图像的标注质量评价值，对预先构建的初始超网中的各子网进行训练得到的；目标超网中的各子网满足预设的收敛条件；初始超网中包括按照预设的配置参数设置的多个特征提取单元，不同的特征提取单元组成不同的子网；各子网用于确定样本图像的质量评价值。

S1403：基于各待检测图像的质量评价值，从多张待检测图像中确定目标图像；

S1404：基于目标图像进行图像处理。

应用基于本申请实施例提供的方法进行图像处理时，可以从多张待检测图像中确定目标图像，并基于目标图像进行图像处理，可以提高用户体验。并且，目标质量预测网络模型适用于终端，目标质量预测网络模型为轻量级的网络模型，能够满足终端低功耗的需求。

针对步骤S1401，待检测图像可以为通过终端的相机拍摄的原始图像。或者，待检测图像也可以为对通过终端的相机拍摄的原始图像进行图像预处理得到的。

针对步骤S1402和步骤S1403，针对每一待检测图像，将该待检测图像输入至预先训练的目标质量预测网络模型，通过目标质量预测网络模型的特征提取模块对该待检测图像进行特征提取，得到该待检测图像的图像特征。进而，通过目标质量预测网络模型的分类模块对该待检测图像的图像特征进行归一化处理，得到该待检测图像的质量评价值。进而，终端可以基于待检测图像的质量评价值，从待检测图像中确定目标图像。

例如，目标质量预测网络可以输出表示待检测图像的质量的质量评价值为0.9。或者，当预设了多个质量级别时，该多个质量级别为：一级质量、二级质量、三级质量和四级质量。目标质量预测网络可以输出表示待检测图像属于各质量级别的质量评价值为[0.1，0.1，0.3，0.5]，质量评价值[0.1，0.1，0.3，0.5]表示待检测图像属于一级质量的概率为0.1，待检测图像属于二级质量的概率为0.1，待检测图像属于三级质量的概率为0.3，待检测图像属于四级质量的概率为0.5。

例如，终端可以确定质量评价值大于0.8的待检测图像为目标图像。或者，当预设了多个质量级别时，该多个质量级别为：一级质量、二级质量、三级质量和四级质量。终端可以基于质量评价值确定待检测图像所属的质量级别，例如，待检测图像的质量评价值为[0.1，0.1，0.3，0.5]，则确定待检测图像属于四级质量，并确定属于四级质量的待检测图像为目标图像。

在一些实施例中，在一些实施例中，参见图15，图15为本申请实施例提供的一种终端进行图像处理的流程图。终端包括CPU和NPU。

用户使用终端的相机拍摄图像时，拍摄到的原始图像存储于终端的CPU，原始图像可能并不适用于目标质量预测网络模型。例如，原始图像的格式不符合目标质量预测网络模型处理的格式。或者，原始图像的尺寸不符合目标质量预测网络模型处理的尺寸。因此，CPU对原始图像进行图像预处理，得到适用于目标质量预测网络模型的待检测图像，并调用NPU中的数据传输接口，将待检测图像发送至NPU。图像预处理方式包括以下至少一项：图像格式转换、图像标准化处理、图像尺寸调整。

相应的，NPU可以接收CPU发送的多张待检测图像，NPU使用目标质量预测网络模型对待检测图像进行处理，得到待检测图像的质量评价值。然后，NPU可以调用向CPU返回数据的数据传输接口，向CPU发送各待检测图像的质量评价值。相应的，CPU可以从各待检测图像中，确定质量评价值大于预设质量阈值的目标图像，并基于目标图像进行图像处理。

具体实现中，本申请还提供一种电子设备，该电子设备包括一个或多个处理器和存储器；存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得电子设备执行上述方法实施例中的部分或全部步骤。

本申请还提供一种计算机可读存储介质，包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行上述方法实施例中的部分或全部步骤。上述的存储介质可为磁碟、光盘、只读存储器(Read-Only Memory，ROM)或随机存储器(Random AccessMemory，RAM)等。

具体实现中，本申请实施例还提供了一种计算机程序产品，上述计算机程序产品包含可执行指令，当可执行指令在计算机上执行时，使得计算机执行上述方法实施例中的部分或全部步骤。

如图16所示，本申请还提供了一种芯片系统，该芯片系统应用于电子设备，芯片系统包括一个或多个处理器1601，处理器1601用于调用计算机指令以使得电子设备将待处理的数据输入芯片系统，芯片系统基于本申请实施例提供的电池检测方法对数据进行处理后输出处理结果。

在一种可能的实现方式中，芯片系统还包括输入和输出接口，用于输入和输出数据。

本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(Digital Signal Processor，DSP)、微控制器、专用集成电路(Application Specific Integrated Circuit，ASIC)或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、光盘只读存储器(Compact Disc Read Only Memory，CD-ROMs)、磁光盘、只读存储器、随机存储器、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明书附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。

需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。

需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (17)

1.一种质量预测网络模型生成方法，其特征在于，所述方法包括：

获取样本图像和所述样本图像的标注质量评价值；

基于所述样本图像和所述样本图像的标注质量评价值，对预先构建的初始超网中的各子网进行训练，直至各子网满足预设的收敛条件，得到目标超网；其中，所述初始超网中包括按照预设的配置参数设置的多个特征提取单元，不同的特征提取单元组成不同的子网；各子网用于确定所述样本图像的质量评价值；

基于使用所述目标超网中的各子网确定测试图像的质量评价值时的准确率，以及各子网在终端中运行的延时，从各子网中确定满足预设的筛选条件的目标子网，作为适用于所述终端的目标质量预测网络模型。

2.根据权利要求1所述的方法，其特征在于，所述基于使用所述目标超网中的各子网确定测试图像的质量评价值时的准确率，以及各子网在终端中运行的延时，从各子网中确定满足预设的筛选条件的目标子网，作为适用于所述终端的目标质量预测网络模型，包括：

从所述目标超网中，选择一个子网，作为待验证子网；

基于测试图像和所述终端对待验证子网进行验证，获得使用所述待验证子网确定测试图像的质量评价值时的准确率，以及获得所述待验证子网在所述终端中运行的延时；

从所述目标超网中未验证的子网中，选择一个子网，作为新的待验证子网，并返回执行所述基于测试图像和所述终端对待验证子网进行验证的步骤，直至达到预设的约束条件；

从延时小于预设延时阈值的子网中，确定对应的准确率最高的目标子网，作为目标质量预测网络模型。

3.根据权利要求2所述的方法，其特征在于，所述从所述目标超网中，选择一个子网，作为待验证子网，包括：

从所述目标超网中，选择深度为第一深度的一个子网，基于所选择的子网确定待验证子网；其中，深度表示所述特征提取单元包含的卷积层的数目。

4.根据权利要求3所述的方法，其特征在于，所述从所述目标超网中，选择深度为第一深度的一个子网，基于所选择的子网确定待验证子网，包括：

从所述目标超网中未验证的子网中，选择深度为所述第一深度的一个子网，如果该子网的目标参数不大于已验证的子网，确定该子网为待验证子网；其中，所述目标参数包括宽度，和/或，卷积核大小；所述宽度表示所述卷积层输出的图像特征的维度。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

如果所述目标超网中未验证的子网中不存在深度为第一深度的子网，从所述目标超网中，选择深度为第二深度的一个子网，基于所选择的子网确定待验证子网，并返回执行所述基于测试图像和所述终端对待验证子网进行验证的步骤。

6.根据权利要求2所述的方法，其特征在于，所述获得所述待验证子网在所述终端中运行的延时，包括：

将所述待验证子网发送至所述终端，以使所述终端运行所述待验证子网，并统计所述待验证子网在所述终端中运行的延时；

接收所述终端反馈的统计得到的延时。

7.根据权利要求2-6中任一项所述的方法，其特征在于，所述待验证子网中，靠近输入端的卷积层的宽度不小于靠近输出端的卷积层的宽度。

8.根据权利要求1-6中任一项所述的方法，其特征在于，所述预设的配置参数包括：预设的深度、预设的宽度和预设的卷积核大小；预设的深度表示所述特征提取单元包含的卷积层的数目；预设的宽度表示所述卷积层输出的图像特征的维度。

9.根据权利要求8所述的方法，其特征在于，

所述预设的深度包括：深度为2，深度为3和深度为4；和/或，

所述预设的卷积核大小包括：卷积核大小为3*3，以及卷积核大小为5*5；和/或，

所述预设的宽度为所述终端处理的特征维度的整数倍。

10.根据权利要求8所述的方法，其特征在于，所述基于所述样本图像和所述样本图像的标注质量评价值，对预先构建的初始超网中的各子网进行训练，直至各子网满足预设的收敛条件，得到目标超网，包括：

按照预设的子网优先级，对所述初始超网中的子网进行训练，直至各子网满足预设的收敛条件，得到目标超网。

11.根据权利要求10所述的方法，其特征在于，所述子网优先级中由高到低各子网优先级对应的子网依次包括以下子网中至少两个：

宽度最大、深度最大，且卷积核最大的子网；

第一宽度，且第三深度的子网；

第二宽度的子网；

未满足预设的收敛条件的子网。

12.一种图像处理方法，其特征在于，所述方法应用于终端，所述方法包括：

获取终端拍摄的多张待检测图像；

将各待检测图像输入至预先训练的目标质量预测网络模型，得到各待检测图像的质量评价值；其中，所述目标质量预测网络模型为：基于使用目标超网中的各子网确定测试图像的质量评价值时的准确率，以及各子网在终端中运行的延时，从各子网中确定的满足预设的筛选条件的目标子网；所述目标超网为：基于获取的样本图像和样本图像的标注质量评价值，对预先构建的初始超网中的各子网进行训练得到的；所述目标超网中的各子网满足预设的收敛条件；所述初始超网中包括按照预设的配置参数设置的多个特征提取单元，不同的特征提取单元组成不同的子网；各子网用于确定样本图像的质量评价值；

基于各待检测图像的质量评价值，从多张待检测图像中确定目标图像；

基于所述目标图像进行图像处理。

13.根据权利要求12所述的方法，其特征在于，所述将各待检测图像输入至预先训练的目标质量预测网络模型，得到各待检测图像的质量评价值，包括：

针对每一待检测图像，将该待检测图像输入至预先训练的目标质量预测网络模型，并通过所述目标质量预测网络模型的特征提取模块对该待检测图像进行特征提取，得到该待检测图像的图像特征；

通过所述目标质量预测网络模型的分类模块对该待检测图像的图像特征进行归一化处理，得到该待检测图像的质量评价值。

14.一种电子设备，其特征在于，包括：

一个或多个处理器和存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至11，或者，权利要求12至13中任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至11，或者，权利要求12至13中任一项所述的方法。

16.一种计算机程序产品，其特征在于，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行权利要求1至11，或者，权利要求12至13中任一项所述的方法。

17.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备将数据输入芯片系统，并执行权利要求1至11，或者，权利要求12至13中任一项所述的方法对数据进行处理后输出处理结果。