CN112801215A

CN112801215A - 图像处理模型搜索、图像处理方法、装置和存储介质

Info

Publication number: CN112801215A
Application number: CN202110285328.2A
Authority: CN
Inventors: 王强; 邰颖; 沈鹏程; 李绍欣; 李季檩; 黄飞跃
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-03-17
Filing date: 2021-03-17
Publication date: 2021-05-14
Anticipated expiration: 2041-03-17
Also published as: CN112801215B

Abstract

本申请涉及一种图像处理模型搜索方法、装置、计算机设备和存储介质。该方法包括：获取图像数据集和图像处理网络搜索空间；从图像处理网络搜索空间中选取当前子网络，得到当前图像处理模型；将训练数据集输入当前图像处理模型和参考图像处理模型中进行知识蒸馏，得到当前训练图像处理模型；基于验证数据集对当前训练图像处理模型进行评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型；基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，并进行循环迭代，直到搜索完成时从图像处理网络搜索空间中选取目标子网络，得到目标图像处理模型。采用本方法能够提高搜索的准确性。

Description

图像处理模型搜索、图像处理方法、装置和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理模型搜索、图像处理方法、装置、计算机设备和存储介质。

背景技术

随着人工智能技术的发展，出现了神经网络架构搜索技术，通过神经网络架构搜索技术进行神经网络架构搜索，可以降低人工设计网络的时间成本。目前，在图像处理模型训练过程，也可以通过神经网络架构搜索技术进行神经网络架构搜索。比如，通过随机搜索的策略搜索到图像处理模型的神经网络架构，然而，通过随机搜索的策略进行搜索的方法搜索得到的神经网络架构准确性较低，导致图像处理模型的图像处理性能较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高搜索准确性的图像处理模型搜索方法、装置、计算机设备和存储介质。

一种图像处理模型搜索方法，所述方法包括：

获取图像数据集和图像处理网络搜索空间，图像数据集包括训练数据集和验证数据集；

从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；

将训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前图像处理模型对应的当前训练图像处理模型；

基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型；

基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，并返回从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤执行，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型。

在其中一个实施例中，从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型，包括：

从初始待搜索特征编码网络中各个特征编码网络层的候选网络操作中选取当前网络操作，基于当前网络操作得到各个当前特征编码网络层；

基于各个当前编码网络层得到当前特征编码网络，并将当前特征编码网络和初始特征解码网络进行连接，得到当前子网络。

在其中一个实施例中，将训练数据集输入已训练的参考图像处理模型中进行图像处理，得到参考图像处理结果，包括：

将训练数据集输入至少二个已训练的参考图像处理模型中进行图像处理，得到至少两个参考图像处理结果；

将至少两个参考图像处理结果进行结果集成，得到目标参考图像处理结果；

基于当前图像处理结果和参考图像处理结果计算知识蒸馏损失信息，基于知识蒸馏损失信息更新当前图像处理模型，包括：

基于当前图像处理结果和目标参考图像处理结果计算目标知识蒸馏损失信息，基于目标知识蒸馏损失信息更新当前图像处理模型。

在其中一个实施例中，将当前图像处理模型和已训练的参考图像处理模型进行有向无环图转换，得到当前图和参考图，包括：

将当前图像处理模型中的网络层作为有向无环图的节点，并将当前图像处理模型中网络层的连接关系作为有向无环图的边，得到当前图像处理模型对应的当前图；

将已训练的参考图像处理模型中的网络层作为有向无环图的节点，并将已训练的参考图像处理模型中网络层的连接关系作为有向无环图的边，得到已训练的参考图像处理模型对应的参考图。

在其中一个实施例中，基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，包括：

将目标训练图像处理模型中的网络参数作为图像处理网络搜索空间中子网络的网络参数；

并使用目标训练图像处理模型中的结构参数更新图像处理网络搜索空间中子网络的结构参数。

在其中一个实施例中，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型，包括：

基于达到搜索完成条件时的图像处理网络搜索空间中候选网络操作对应的结构参数大小从各个特征编码网络层的候选网络操作中选取目标网络操作，基于目标网络操作得到各个目标特征编码网络层；

基于各个目标编码网络层得到目标特征编码网络，并将目标特征编码网络和达到搜索完成条件时的图像处理网络搜索空间的特征解码网络进行连接，得到目标子网络，将目标子网络作为目标图像处理模型。

一种图像处理模型搜索装置，所述装置包括：

获取模块，用于获取图像数据集和图像处理网络搜索空间，图像数据集包括训练数据集和验证数据集；

选取模块，用于从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；

训练模块，用于将训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前图像处理模型对应的当前训练图像处理模型；

评估模块，用于基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型；

迭代模块，用于基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，并返回从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤执行，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

上述图像处理模型搜索方法、装置、计算机设备和存储介质，通过从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；然后通过知识蒸馏进行训练，得到当前图像处理模型对应的当前训练图像处理模型。然后对当前训练图像处理模型进行图像处理评估后更新当前训练图像处理模型，得到目标训练图像处理模型。并基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络后进行循环迭代，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型。即通过知识蒸馏来训练当前图像处理模，得到当前训练图像处理模型，并且对当前训练图像处理模型进行图像处理评估更新当前训练图像处理模型，然后根据目标训练图像处理模型更新图像处理网络搜索空间中的子网络，从而能够使得到的图像处理网络搜索空间中的子网络更加准确，然后当搜索完成时，从图像处理网络搜索空间中选取目标子网络，得到目标图像处理模型，进而提高了搜索得到的目标图像处理模型网络结构的准确性。

一种图像处理方法，所述方法包括：

获取待处理图像；

将待处理图像输入图像处理模型中进行处理；图像处理模型是将目标图像处理模型使用训练数据集和已训练的参考图像处理模型进行知识蒸馏训练得到的；目标图像处理模型是通过从图像处理网络搜索空间中选取当前图像处理模型，并基于训练数据集、当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前训练图像处理模型，基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型，基于目标训练图像处理模型更新图像处理网络搜索空间并进行循环迭代，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到的；

图像处理模型输出待处理图像对应的图像处理结果。

在其中一个实施例中，图像处理模型包括图像分割模型，所述方法还包括：

获取待分割图像；

将待分割图像输入图像分割模型中，得到待分割图像对应的图像分割结果；

基于图像分割结果从待分割图像中确定虚化图像区域，基于虚化图像区域将待分割图像进行虚化处理，得到目标图像。

一种图像处理装置，所述装置包括：

图像获取模块，用于获取待处理图像；

图像处理模块，用于将待处理图像输入图像处理模型中进行处理；图像处理模型是将目标图像处理模型使用训练数据集和已训练的参考图像处理模型进行知识蒸馏训练得到的；目标图像处理模型是通过从图像处理网络搜索空间中选取当前图像处理模型，并基于训练数据集、当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前训练图像处理模型，基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型，基于目标训练图像处理模型更新图像处理网络搜索空间并进行循环迭代，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到的；

结果输出模块，用于图像处理模型输出待处理图像对应的图像处理结果。

获取待处理图像；

图像处理模型输出待处理图像对应的图像处理结果。

获取待处理图像；

图像处理模型输出待处理图像对应的图像处理结果。

上述图像处理方法、装置、计算机设备和存储介质，通过使用图像处理模型对待处理图像进行图像处理，并且该图像处理模型是通过目标图像处理模型使用训练数据集和已训练的参考图像处理模型进行知识蒸馏训练得到的，由于该目标图像处理模型是通过从图像处理网络搜索空间中选取当前图像处理模型，并基于训练数据集、当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前训练图像处理模型，基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型，基于目标训练图像处理模型更新图像处理网络搜索空间并进行循环迭代，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到的，从而能够使得到图像处理模型能够提高对图像处理的准确性。

附图说明

图1为一个实施例中图像处理模型搜索方法的应用环境图；

图2为一个实施例中图像处理模型搜索方法的流程示意图；

图3为一个实施例中得到图像处理搜索空间的流程示意图；

图4为一个具体实施例中特征编码子结构网络的示意图；

图5为一个实施例中得到初始待搜索特征编码网络的流程示意图；

图6为一个具体实施例中当前子网络的部分示意图；

图7为一个实施例中得到当前训练图像处理模型的流程示意图；

图8为一个实施例中更新当前图像处理模型的流程示意图；

图9为一个实施例中更新网络参数的流程示意图；

图10为一个实施例中得到第一目标知识蒸馏损失信息的流程示意图；

图11为一个实施例中得到第二目标知识蒸馏损失信息的流程示意图；

图12为一个实施例中得到模型运行时间的流程示意图；

图13为一个实施例中得到目标图像处理模型的流程示意图；

图14为一个具体实施例中图像处理模型搜索方法的架构示意图；

图15为一个实施例中得到重训练图像处理模型的流程示意图；

图16为一个实施例中图像处理方法的流程示意图；

图17为一个实施例中图像分割的流程示意图；

图18为一个具体实施例中图像处理方法的流程示意图；

图19为一个具体实施例中图像处理方法应用场景的架构示意图；

图20为图19具体实施例中目标图像的架构示意图；

图21为一个实施例中图像处理模型搜索装置的结构框图；

图22为一个实施例中图像处理装置的结构框图；

图23为一个实施例中计算机设备的内部结构图；

图24为另一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

所谓人工智能云服务，一般也被称作是AIaaS（AI as a Service，中文为“AI即服务”）。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。

本申请实施例提供的方案涉及人工智能的计算机视觉、云服务等技术，具体通过如下实施例进行说明:

本申请提供的图像处理模型搜索方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器102从终端102接收到搜索指令时，服务器102从数据库106获取图像数据集和图像处理网络搜索空间，图像数据集包括训练数据集和验证数据集；服务器102从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；服务器102将训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前图像处理模型对应的当前训练图像处理模型；服务器102基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型；服务器102基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，并返回从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤执行，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型，然后将搜索得到的目标图像处理模型返回给终端102。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

在一个实施例中，如图2所示，提供了一种图像处理模型搜索方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用在终端中，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。在本实施例中，包括以下步骤：

步骤202，获取图像数据集和图像处理网络搜索空间，图像数据集包括训练数据集和验证数据集。

其中，训练数据集是用于进行模型训练的图像数据集合，该训练数据集包括训练图像和对应的图像处理标签。该图像处理标签是指训练图像对应图像处理结果的标签。验证数据集是用于进行模型验证的图像数据集合，该验证数据集包括验证图像和对应的真实图像处理结果。图像处理网络搜索空间是指待搜索图像处理网络结构的候选集合，即包括有各个候选的子网络，即可以从图像处理网络搜索空间中搜索到图像处理模型的网络结构。

具体地，服务器可以从数据库中获取图像数据集，并获取到预先建立好的图像处理网络搜索空间，然后可以将图像数据集划分为训练数据集和验证数据集。服务器也可以从提供数据服务的第三方获取到图像数据集，服务器也可以从互联网采集到图像数据集。该预先建立好的图像处理网络搜索空间中包括图像处理网络的初始化网络参数和初始化结构参数。其中，网络参数是指网络计算过程中使用的参数。结构参数是指图像处理网络的网络结构对应的参数，该结构参数用于表征对应网络结构最终被选取的可能性。初始化结构参数是指每个网络结构被选取的可能性初始相同。

步骤204，从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型。

其中，当前子网络是指从图像处理网络搜索空间进行采样选取得到的网络结构。可以是随机采样得到。当前图像处理模型是指当前进行图像处理的模型，是使用当前子网络得到的。

具体地，服务器从图像处理网络搜索空间中进行当前图像处理模型网络结构的选取，得到当前子网络，然后将当前子网络作为当前图像处理模型。

步骤206，将训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前图像处理模型对应的当前训练图像处理模型。

其中，已训练的参考图像处理模型是指已经训练好的图像处理模型，该已训练的参考图像处理模型作为教师网络通过知识蒸馏训练来指导当前图像处理模型的训练。知识蒸馏训练是指通过训练将已经训练好的模型（教师网络）包含的知识提取到要训练的模型（学生网络）中。当前训练图像处理模型是指通过对当前图像处理模型进行知识蒸馏训练后得到的训练好的图像处理模型。通过知识蒸馏训练来更新当前图像处理模型中的网络参数。

具体地，服务器将训练数据集中的训练图像同时输入到当前图像处理模型和已训练的参考图像处理模型中进行图像处理，然后根据当前图像处理模型和已训练的参考图像处理模型的输出来计算知识蒸馏的损失信息，基于知识蒸馏的损失信息来更新当前图像处理模型并且不断的循环迭代，当知识蒸馏训练完成时，得到当前图像处理模型对应的当前训练图像处理模型。

步骤208，基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型。

其中，图像处理评估结果用于表征当前训练图像处理模型在进行图像处理与上一次迭代过程中的当前训练图像处理模型在进行图像处理时的误差。目标训练图像处理模型是通过图像处理评估结果更新当前训练图像处理模型中结构参数后得到的图像处理模型。

具体地，服务器将验证数据集总的验证图像输入到当前训练图像处理模型中进行图像处理，得到输出的验证图像处理结果，此时，获取到上一次迭代时的历史验证图像处理结果，计算该验证图像处理结果与历史验证图像处理结之间的误差，基于该误差来更新当前训练图像处理模型中的结构参数，当更新完成时，得到目标训练图像处理模型。其中，当进行的是初次迭代时，不进行结构参数的更新，即保持结构参数不变。从第二次迭代开始基于图像处理评估结果更新当前训练图像处理模型中的结构参数，得到目标训练图像处理模型。

步骤210，基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络。

具体地，服务器进行参数共享，即将目标训练图像处理模型中的网络参数和结构参数共享到图像处理网络搜索空间中的各个子网络中。其中，可以将目标训练图像处理模型中的网络参数共享到图像处理网络搜索空间中的各个子网络中，并基于目标训练图像处理模型中的结构参数更新图像处理网络搜索空间中的各个子网络的结构参数。

步骤212，判断是否达到搜索完成条件，当达到搜索完成条件时，执行步骤214，当未达到搜索完成条件时，返回步骤204即返回从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤迭代执行，

步骤214，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型。

其中，搜索完成条件是指图像处理模型搜索完成的条件，包括迭代次数达到预先设置好的上限或者图像处理网络搜索空间中的参数不再发生变化等等，目标子网络是指从图像处理网络搜索空间选取最优结构参数后得到的子网络。

具体地，服务器判断是否达到搜索完成条件，当未达到搜索完成条件时返回从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤迭代执行，当达到搜索完成条件时，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，可以将选取得到的目标子网络最为目标图像处理模型。

上述图像处理模型搜索方法，通过从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；然后通过知识蒸馏进行训练，得到当前图像处理模型对应的当前训练图像处理模型。然后对当前训练图像处理模型进行图像处理评估后更新当前训练图像处理模型，得到目标训练图像处理模型。并基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络后进行循环迭代，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型。即通过知识蒸馏来训练当前图像处理模，得到当前训练图像处理模型，并且对当前训练图像处理模型进行图像处理评估更新当前训练图像处理模型，然后根据目标训练图像处理模型更新图像处理网络搜索空间中的子网络，从而能够使得到的图像处理网络搜索空间中的子网络更加准确，然后当搜索完成时，从图像处理网络搜索空间中选取目标子网络，得到目标图像处理模型，进而提高了搜索得到的目标图像处理模型网络结构的准确性。

在一个实施例中，图像处理网络搜索空间包括初始待搜索特征编码网络和初始特征解码网络；

如图3所示，步骤202，即获取图像处理网络搜索空间，包括：

步骤302，获取预设第一数量的候选网络操作。

其中，候选网络操作是指候选的神经网络中网络层的具体操作。候选网络操作包括但不限于升维/降维类操作、放大/缩小类操作、旋转类操作、平移类操作、弯曲类操作。比如，候选网络操作可以是各种卷积操作、各种池化操作等等。预设第一数量是指预先设置好的要获取的候选网络操作的数量。

具体地，服务器从数据库中获取到预设第一数量的候选网络操作，比如，可以获取到16中不同的卷积操作。改数据库中存储有预先设置好的各种网络操作。

步骤304，基于预设第一数量的候选网络操作建立预设第二数量的特征编码网络层，并将预设第二数量的特征编码网络层进行局部全连接，得到特征编码子结构网络。

其中，特征编码网络层是指待搜索特征编码网络中的网络层。特征编码网络用于对图像进行深度特征抽取。待搜索特征编码网络是指需要进行特征编码网络结构搜索的网络。初始待搜索特征编码网络是指参数初始化的待搜索特征编码网络。预设第二数量是指预先设置好的要建立的特征编码网络的子结构网络中网络层的数量。特征编码子结构网络是指特征编码网络中的子结构（Block）。

具体地，服务器可以将预设第一数量的候选网络操作作为特征编码网络中的同一个网络层中的具体操作，然后建立预设第二数量的特征编码网络层。并将预设第二数量的特征编码网络层通过特征融合进行局部全连接，得到特征编码子结构网络。其中，通过特征融合进行局部全连接是指将特征编码网络层中每个候选网络操作的输出进行融合后输入到下一个特征编码网络层中。

步骤306，建立预设第三数量的特征编码子结构网络，并将预设第三数量的子结构网络进行链式链接，得到待搜索特征编码网络。

其中，待搜索特征编码网络是指需要进行网络结构搜索的特征编码网络。预设第三数量是指预先设置好的需要建立特征编码子结构网络的数量。

具体地，服务器通过步骤302和步骤304建立预设第三数量的特征编码子结构网络。并将预设第三数量的子结构网络进行链式链接，得到待搜索特征编码网络。

步骤308，获取特征解码网络，并初始化待搜索特征编码网络和特征解码网络，得到初始待搜索特征编码网络和初始特征解码网络。

步骤310，基于初始待搜索特征编码网络和初始特征解码网络得到图像处理网络搜索空间。

其中，特征解码网络是指网络结构固定的网络，用于对图像深度特征进行解码，得到图像处理结果。初始特征解码网络是指网络参数初始化的特征解码网络。不同的图像处理任务，使用不同的特征解码网络，比如，在图像分割任务中，该特征解码网络可以通过特征编码网络输出的特征实现对图像分割。比如，在图像分类任务中，该特征解码网络可以通过特征编码网络输出的特征实现对图像分类等等。

具体地，服务器获取到网络结构固定的特征解码网络，然后初始化待搜索特征编码网络中的参数和特征解码网络中的参数，得到初始待搜索特征编码网络和初始特征解码网络，最后根据初始待搜索特征编码网络和初始特征解码网络得到图像处理网络搜索空间，该图像处理网络搜索空间是指一个超网络。

在一个具体的实施例中，建立的待搜索特征编码网络中包括5个特征编码子结构网络，每个特征编码子结构网络中包含4个特征编码网络层，不同的特征编码网络层通过特征融合实现局部全连接，即第一层会与它所有的特征编码网络层进行连接，而第二层会与之后的所有的特征编码网络层进行连接，第三层会有第四层进行连接。不同的特征编码子结构网络进行链式连接。每一个特征编码网络层中包含16中不同的卷积操作。该建立的图像处理网络搜索空间中包含超过16的20次方种候选子网络。即需要从图像处理网络搜索空间中确定每一个特征编码子结构网络的每个特征编码网络层中最优的网络操作。在一个具体的实施例中，如图4所示，为建立的一个特征编码子结构网络的示意图。其中，特征编码子结构网络中包括5个特征编码网络层（0,1,2,3,4），每一个特征编码网络层都包括3*3卷积操作、5*5卷积操作以及最大池化操作。

在上述实施例中，通过建立待搜索特征编码网络和获取特征解码网络，得到图像处理网络搜索空间，方便后续的使用。

在一个实施例中，如图5所示，步骤308，初始化待搜索特征编码网络，包括：

步骤502，获取待搜索特征编码网络中候选网络操作对应的结构特征。

步骤504，将待搜索特征编码网络中候选网络操作对应的结构特征进行随机松弛，得到待搜索特征编码网络中候选网络操作对应的初始结构参数。

其中，结构特征用于表征候选网络操作的特征，每一种候选网络操作都有对应的特征。初始结构参数是指初始的结构参数。

具体地，服务器获取到取待搜索特征编码网络中每个网络层中每个候选网络操作对应的结构特征。比如，每个网络层有16种候选网络操作时，结构特征可以是一个1*16维度的向量。服务器将待搜索特征编码网络中候选网络操作对应的结构特征进行随机松弛，得到候选网络操作对应的概率分布，该概率分布用于表征待搜索特征编码网络中每个网络层中每个候选网络操作对应的初始结构参数。其中，每个网络层中所有候选网络操作对应的初始结构参数之和为1。

步骤506，并初始化待搜索特征编码网络对应的网络参数，得到初始待搜索特征编码网络。

具体地，服务器将待搜索特征编码网络中的网络参数进行初始化，可以是随机初始化，为零初始化等等，得到初始待搜索特征编码网络。

在上述实施例中，通过获取待搜索特征编码网络中候选网络操作对应的结构特征，将待搜索特征编码网络中候选网络操作对应的结构特征进行随机松弛，得到待搜索特征编码网络中候选网络操作对应的初始结构参数，然后得到初始待搜索特征编码网络，能够方便初始待搜索特征编码网络中的结构参数更新，提高效率。

在一个实施例中，步骤204，从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型，包括步骤：

从初始待搜索特征编码网络中各个特征编码网络层的候选网络操作中选取当前网络操作，基于当前网络操作得到各个当前特征编码网络层；基于各个当前编码网络层得到当前特征编码网络，并将当前特征编码网络和初始特征解码网络进行连接，得到当前子网络。

其中，当前网络操作是指选取得到的特征编码网络层对应的网络操作。当前特征编码网络是指当前选取得到的特征编码网络。

具体地，服务器通过采样的方式从初始待搜索特征编码网络中得到当前子网络，即可以从初始待搜索特征编码网络中各个特征编码网络层的候选网络操作中随机选取候选网络操作，作为对应特征编码网络层对应的当前网络操作，此时，每个当前特征编码网络层都只有唯一选取的候选网络操作。当选取完成时，就得到了当前特征编码网络，然后将当前特征编码网络和初始特征解码网络进行连接，得到当前子网络。在一个具体的实施例中，如图6所示，为选取的当前子网络的部分示意图，即是当前子网络中一个特征编码子结构网络的示意图，其中，第0层都包括3*3卷积操作、5*5卷积操作以及最大池化操作，第一层包括3*3卷积操作，第二层包括最大池化操作，第三层包括3*3卷积操作以及5*5卷积操作，第四层包括3*3卷积操作和5*5卷积操作。

在上述实施例中，通过从初始待搜索特征编码网络中各个特征编码网络层的候选网络操作中选取当前网络操作，基于当前网络操作得到各个当前特征编码网络层；基于各个当前编码网络层得到当前特征编码网络，并将当前特征编码网络和初始特征解码网络进行连接，得到当前子网络，即从初始待搜索特征编码网络搜索网络，能够节省人工设计网络的时间成本，方便后续的使用。

在一个实施例中，如图7所示，步骤206，将训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前图像处理模型对应的当前训练图像处理模型，包括：

步骤702，将训练数据集输入当前图像处理模型中进行图像处理，得到当前图像处理结果。

步骤704，将训练数据集输入已训练的参考图像处理模型中进行图像处理，得到参考图像处理结果。

其中，当前图像处理结果是指当前图像处理模型输出的图像处理结果。参考图像处理结果是指已训练的参考图像处理模型输出的图像处理结果。

具体地，服务器将训练数据集的训练图像输入到当前图像处理模型中进行图像处理，得到当前图像处理结果，同时将训练数据集的训练图像输入已训练的参考图像处理模型中进行图像处理，得到参考图像处理结果。其中，当前图像处理模型和已训练的参考图像处理模型可以并行进行图像处理。

步骤706，基于当前图像处理结果和参考图像处理结果计算知识蒸馏损失信息。

其中，知识蒸馏损失信息用于表征当前图像处理结果和参考图像处理结果之间的误差。

具体地，服务器可以使用预先设置好的损失函数计算当前图像处理结果和参考图像处理结果之间的误差，得到知识蒸馏损失信息。比如，可以使用如下所示的公式（1）计算知识蒸馏损失信息。

公式（1）

其中，L1是指知识蒸馏损失信息，KL是指KL散度损失函数。

是指当前图像处理结果，

是指参考图像处理结果，i是指训练图像数。

表示参考图像处理结果的概率分布。

是指当前图像处理结果的概率分布。

步骤708，判断是否达到知识蒸馏训练完成条件，当达到知识蒸馏训练完成条件执行步骤708a，当未达到知识蒸馏训练完成条件时执行步骤708b并返回步骤702迭代执行。

步骤708b，当未达到知识蒸馏训练完成条件时，基于知识蒸馏损失信息更新当前图像处理模型，并返回将训练数据集输入当前图像处理模型中进行图像处理，得到当前图像处理结果的步骤迭代执行。

步骤708a，当达到知识蒸馏训练完成条件时，得到当前图像处理模型对应的当前训练图像处理模型。

其中，知识蒸馏训练完成条件是预先设置好的知识蒸馏训练结束的条件，包括训练次数达到最大迭代次数、知识蒸馏损失信息小于预先设置好的损失阈值和当前图像处理模型中的参数不再发生变化中的至少一种。

具体地，服务器判断是否达到知识蒸馏训练完成条件，当未达到知识蒸馏训练完成条件执行，使用知识蒸馏损失信息反向更新当前图像处理模型中的网络参数，并返回将训练数据集输入当前图像处理模型中进行图像处理，得到当前图像处理结果的步骤迭代执行，当达到知识蒸馏训练完成条件时，将达到知识蒸馏训练完成条件时的当前图像处理模型作为当前训练图像处理模型。

在上述实施例中，通过将训练数据集输入当前图像处理模型中进行图像处理，得到当前图像处理结果。将训练数据集输入已训练的参考图像处理模型中进行图像处理，得到参考图像处理结果，基于当前图像处理结果和参考图像处理结果计算知识蒸馏损失信息，基于知识蒸馏损失信息更新当前图像处理模型并不断进行循环迭代，得到当前训练图像处理模型，由于使用了参考图像处理模型指导当前图像处理模型的训练，从而提高在进行网络结构搜索时的准确性。

在一个实施例中，如图8所示，步骤704，即将训练数据集输入已训练的参考图像处理模型中进行图像处理，得到参考图像处理结果，包括：

步骤802，将训练数据集输入至少二个已训练的参考图像处理模型中进行图像处理，得到至少两个参考图像处理结果。

具体地，当已训练的参考图像处理模型有至少二个时，在进行知识蒸馏训练时，将训练数据集的训练图像分别输入到每个已训练的参考图像处理模型中进行图像处理，得到每个已训练的参考图像处理模型输出的参考图像处理结果。

步骤804，将至少两个参考图像处理结果进行结果集成，得到目标参考图像处理结果。

其中，结果集成是指将至少两个参考图像处理结果融合成一个参考图像处理结果，得到目标参考图像处理结果。

具体地，服务器可以将至少两个参考图像处理结果进行相加或者相乘或者计算平均参考图像处理结果等进行结果集成，得到目标参考图像处理结果。在一个实施例中，服务器也可以将至少两个参考图像处理结果与训练图像对应的图像处理结果标签进行比较，选取最优的参考图像处理结果得到目标参考图像处理结果。

步骤706，即基于当前图像处理结果和参考图像处理结果计算知识蒸馏损失信息，基于知识蒸馏损失信息更新当前图像处理模型，包括：

步骤806，基于当前图像处理结果和目标参考图像处理结果计算目标知识蒸馏损失信息，基于目标知识蒸馏损失信息更新当前图像处理模型。

具体地，计算当前图像处理结果和目标参考图像处理结果之间的误差，得到目标知识蒸馏损失信息，然后使用目标知识蒸馏损失信息反向更新当前图像处理模型中的网络参数。

在上述实施例中，通过使用多个已训练的参考图像处理模型来指导当前图像处理模型的训练，然后使用训练得到的图像处理模型对图像处理搜索空间进行更新，从更新后的图像处理搜索空间进行网络结构选取，能够进一步提高搜索网络结构的准确性。

在一个实施例中，如图9所示，步骤706，即基于当前图像处理结果和参考图像处理结果计算知识蒸馏损失信息，基于知识蒸馏损失信息更新当前图像处理模型，包括：

步骤902，计算当前图像处理结果和参考图像处理结果之间的误差，得到结果损失信息。

步骤904，计算当前图像处理结果和训练数据集中图像处理标签之间的误差，得到标签损失信息。

其中，结果损失信息用于表征当前图像处理结果和参考图像处理结果之间得到的误差。标签损失信息是用于表征当前图像处理结果和训练数据集中图像处理标签之间的误差。

具体地，服务器可以使用KL散度损失函数计算当前图像处理结果和参考图像处理结果之间的误差，得到结果损失信息，然后在不同的应用场景中使用不同的损失函数计算当前图像处理结果和训练数据集中图像处理标签之间的误差，得到标签损失信息，比如，在图像分类识别的应用场景中，可以使用分类损失函数计算当前图像处理结果和训练数据集中图像处理标签之间的误差，得到标签损失信息，比如，在图像分割的应用乘积中，可以使用交叉熵损失函数计算当前图像处理结果和训练数据集中图像处理标签之间的误差，得到标签损失信息等等。

步骤906，基于结果损失信息和标签损失信息计算得到知识蒸馏损失信息。

具体地，服务器计算结果损失信息和标签损失信息的损失信息总和，得到知识蒸馏损失信息。在一个具体的实施例中，可以使用图像所示的公式（2）计算知识蒸馏损失信息。

公式（2）

其中，L2是指知识蒸馏损失信息。

是指使用交叉熵损失函数计算当前图像处理结果和训练数据集中图像处理标签之间误差。

是指使用KL散度损失函数计算当前图像处理结果和参考图像处理结果之间的误差。

步骤908，基于知识蒸馏损失计算网络参数梯度，基于网络参数梯度反向更新当前图像处理模型中的网络参数。

具体地，服务器使用知识蒸馏损失计算网络参数梯度，然后使用网络参数梯度反向更新当前图像处理模型中的网络参数，当更新完成时的，得到更新后的当前图像处理模型。在一个实施例中，也可以使用距离独立损失函数计算知识蒸馏损失信息，比如，使用L1损失函数或者使用L2损失函数计算知识蒸馏损失信息。在一个实施例中，也可以是用拟合特征图、拟合注意力图、拟合特征关系图等的损失函数计算知识蒸馏损失信息。

在上述实施例中，通过计算结果损失信息和标签损失信息，得到知识蒸馏损失信息，从而能够使得到的知识蒸馏损失信息更加的准确，进一步提升了更新后的当前图像处理模型的准确性。

在一个实施例中，如图10所示，步骤906，,即基于结果损失信息和标签损失信息计算得到知识蒸馏损失信息，包括：

步骤1002，将当前图像处理模型和已训练的参考图像处理模型进行有向无环图转换，得到当前图和参考图。

其中，当前图是指将当前图像处理模型进行有向无环图转换得到的图。参考图是指将已训练的参考图像处理模型进行有向无环图转换得到的图。

具体地，服务器将当前图像处理模型和已训练的参考图像处理模型进行有向无环图转换，得到当前图和参考图，其中，当前图像处理模型和已训练的参考图像处理模型中的每一个网络层被转换为有向无环图中的一个节点，并按照模型在进行计算时的顺序确定不同节点的连接。比如，在一个具体的实施例中，在当前图像处理模型中的一个Block中，第一网络层最先计算，并第一输出特征，该第一输出特征会作为第二网络层、第三网络层和第四网络层的输入，然后第二网络层计算得到第二输出特征，将第一输出特征和第二输出特征作为第三网络层的输入，然后第三网络层开始进行计算，得到第三输出特征，最后计算第四网络层，将第一输出特征、第二输出特征和第三输出特征作为输入，得到第四输出特征，然后将第四输出特征作为下一个Block的输入。按照该计算顺序确定每个节点的连接。同时，每一个节点将被赋值一个独热（one-hot）向量作为节点特征，其中，当前节点对应的网络操作的索引将被赋值为1，方便后续进行图结构相似度的计算。

步骤1004，计算当前图和参考图之间的图编辑距离，基于图编辑距离得到图损失信息。

其中，图编辑距离是指GED（Graph Edit Distance），即当前图通过编辑操作变换为参考图所需要的最少操作数。或者也可以是参考图通过编辑操作变换为当前图所需要的最少操作数。其中，编辑操作包括但不限于括删除节点、增加节点、更改节点特征、删除边和增加边等。

具体地，服务器可以使用启发式搜索算法计算当前图和参考图之间的图编辑距离。然后使用图编辑距离计算当前图和参考图之间的相似度，得到图损失信息，可以使用如下所示的公式（3）计算得到图损失信息。

公式（3）

其中，S是指图损失信息，A是指当前图，B是指参考图，GED（A,B）表示当前图和参考图之间的图编辑距离。|A|表示当前图中的节点数量，|B|表示参考图中的节点数量，exp表示以自然指数为底的指数函数。

在一个实施例中，也可以使用WL（Weisfeiler-Lehman，威斯费勒-莱曼）算法来计算当前图和参考图之间的图损失信息。WL算法用于确定图的同构性。即通过使用WL算法计算当前图和参考图的同构性得到图损失信息。

步骤1006，基于结果损失信息、标签损失信息和图损失信息得到第一目标知识蒸馏损失信息。

具体地，服务器计算结果损失信息、标签损失信息和图损失信息的和，得到第一目标知识蒸馏损失信息，即可以使用如下所示公式（4）计算得到第一目标知识蒸馏损失信息。

公式（4）

其中，L3是指计算得到的第一目标知识蒸馏损失信息。然后可以使用第一目标知识蒸馏损失信息更新当前图像处理模型，得到更新后的当前图像处理模型。

在上述实施例中，通过将当前图像处理模型和已训练的参考图像处理模型进行有向无环图转换，得到当前图和参考图，计算当前图和参考图之间的图编辑距离，基于图编辑距离得到图损失信息，然后使用基于结果损失信息、标签损失信息和图损失信息得到第一目标知识蒸馏损失信息，然后使用第一目标知识蒸馏损失信息进行知识蒸馏训练，即可以实现在参考分布和网络结构上同时向已训练的参考图像处理模型进行逼近，进而提高了搜索得到的图像处理模型的准确性。

在一个实施例中，步骤1002，即将当前图像处理模型和已训练的参考图像处理模型进行有向无环图转换，得到当前图和参考图，包括步骤：

将当前图像处理模型中的网络层作为有向无环图的节点，并将当前图像处理模型中网络层的连接关系作为有向无环图的边，得到当前图像处理模型对应的当前图；将已训练的参考图像处理模型中的网络层作为有向无环图的节点，并将已训练的参考图像处理模型中网络层的连接关系作为有向无环图的边，得到已训练的参考图像处理模型对应的参考图。

具体地，服务器在每次搜索迭代时都需要将当前图像处理模型中的网络层作为有向无环图的节点，并将当前图像处理模型中网络层的连接关系作为有向无环图的边，得到当前图像处理模型对应的当前图。比如，当前图像处理模型中网络层的连接关系可以是Block中的网络层是局部全连接关系，而Block之间是链式连接关系。然后在初次迭代时将已训练的参考图像处理模型中的网络层作为有向无环图的节点，并将已训练的参考图像处理模型中网络层的连接关系作为有向无环图的边，得到已训练的参考图像处理模型对应的参考图，并将参考图保存。在后续的搜索迭代过程中，在需要使用参考图时，直接获取到参考图进行使用，只需要转换得到当前图，从而提高迭代效率。

在一个实施例中，如图11所示，步骤1006，基于结果损失信息、标签损失信息和图损失信息得到第一目标知识蒸馏损失信息，包括：

步骤1102，获取预设目标运行时间，并获取当前图像处理模型对应的模型运行时间。

其中，预设目标运行时间是指预先设定好的图像处理模型在进行图像处理时的运行耗时。模型运行时间是指当前图像处理模型在进行图像处理时的运行耗时。

具体地，服务器获取到预设目标运行时间，并获取当前图像处理模型对应的模型运行时间，可以是获取到当前图像处理模型接收到输入的图像到输出图像处理结果的时间，得到模型运行时间。

步骤1104，计算模型运行时间与预设目标运行时间之间的误差，得到运行耗时损失信息。

具体地，服务器计算模型运行时间与预设目标运行时间之间的误差，得到运行耗时损失信息，其中，可以使用如下所示的公式（5）计算得到运行耗时损失信息。

公式（5）

其中，

表示运行耗时损失信息，

是指权重系数，根据需求设置。t表示模型运行时间，T表示预设目标运行时间，

表示模型运行时间与预设目标运行时间差的L1范数。

步骤1106，基于结果损失信息、标签损失信息、图损失信息和运行耗时损失信息得到第二目标知识蒸馏损失信息。

具体地，服务器计算结果损失信息、标签损失信息、图损失信息和运行耗时损失信息的和，得到第二目标知识蒸馏损失信息，即可以使用如下所示的公式（6）计算得到第二目标知识蒸馏损失信息。

公式（6）

其中，L4表示第二目标知识蒸馏损失信息。然后可以根据第二目标知识蒸馏损失信息去更新当前图像处理模型，从而可以使当前图像处理模型的运行耗时逼近预设目标运行时间，保证搜索得到的当前图像处理模型的运行效率。

在一个实施例中，如图12所示，步骤1102，即获取当前图像处理模型对应的模型运行时间，包括：

步骤1202，获取图像处理网络搜索空间的初始待搜索特征编码网络中各个候选网络操作对应的操作运行时间表。

其中，操作运行时间表中存储有各个候选网络操作对应的运行时间。该各个候选网络操作对应的运行时间是预先测试得到的。

具体地，服务器可以对图像处理网络搜索空间中的各个候选网络操作进行运行时间测试，得到每个候选网络操作对应的运行时间，根据各个候选网络操作对应的运行时间生成操作运行时间表。其中，可以在不同的硬件设备并使用不同分辨率的图像进行运行时间的测试，得到不同硬件设备和不同分辨率下的操作运行时间表。其中，也可以对各个候选网络操作进行多次的运行时间测试，然后计算每个候选网络操作敌营的平均运行时间，根据平均运行时间生成操作运行时间表。

步骤1204，从操作运行时间表中查找当前图像处理模型中各个候选网络操作对应的操作运行时间。

步骤1206，计算当前图像处理模型中各个候选网络操作对应的操作运行时间之和，得到模型运行时间。

具体地，服务器从操作运行时间表中查找当前图像处理模型中各个候选网络操作对应的操作运行时间，然后计算各个候选网络操作对应的操作运行时间的累加和，得到模型运行时间。

在上述实施例中，通过获取到操作运行时间表，从操作运行时间表中查找到当前图像处理模型中各个候选网络操作对应的操作运行时间，然后计算操作运行时间的和，得到模型运行时间，能够提高得到的模型运行时间的效率。

在一个实施例中，如图13所示，步骤208，即基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型，包括：

步骤1302，将验证数据集输入当前训练图像处理模型中进行图像处理，得到验证图像处理结果。

步骤1304，基于验证图像处理结果与验证数据集中的真实图像处理结果计算当前训练图像处理模型对应的当前图像处理准确性。

其中，验证图像处理结果是指验证图像对应的图像处理结果。当前图像处理准确性用于表征当前训练图像处理模型在进行图像处理时的准确性。

具体地，服务器将验证数据集中的各个验证图像输入到当前训练图像处理模型中进行图像处理，得到每个验证图像对应的验证图像处理结果。然后将每个验证图像对应的验证图像处理结果与真实图像处理结果进行对比，得到一致图像处理结果的占比，即计算相同图像处理结果对应的验证图像数量与所有验证图像数量之间的比值，得到当前训练图像处理模型对应的当前图像处理准确性。

步骤1306，获取历史当前训练图像处理模型对应的历史图像处理准确性，计算当前图像处理准确性和历史图像处理准确性之间的准确性差值。

其中，历史当前训练图像处理模型是指上一次搜索迭代时得到的当前训练图像处理模型，历史图像处理准确性是指上一次搜索迭代时得到的当前训练图像处理模型计算得到的图像处理准确性。

具体地，服务器获取到保存的历史当前训练图像处理模型对应的历史图像处理准确性，然后计算当前图像处理准确性和历史图像处理准确性之间的差，得到准确性差值。该准确性差值可能超过零，也可以未超过零。当准确性差值小于零时，说明历史当前训练图像处理模型的网络结构优于当前训练图像处理模型的网络结构。当准确性差值超过零时，说明当前训练图像处理模型的网络结构优于历史当前训练图像处理模型的网络结构。

步骤1308，基于准确性差值计算当前训练图像处理模型对应的结构参数自然梯度，基于结构参数自然梯度更新当前训练图像处理模型中的结构参数，得到目标训练图像处理模型。

其中，结构参数自然梯度是指结构参数对应的自然梯度。

具体地，服务器使用准确性差值进行自然梯度的计算，得到当前训练图像处理模型对应的结构参数自然梯度。使用梯度下降算法基于结构参数自然梯度反向更新当前训练图像处理模型中的每个候选网络操作对应的结构参数，得到目标训练图像处理模型。

在上述实施例中，通过获取历史当前训练图像处理模型对应的历史图像处理准确性，计算当前图像处理准确性和历史图像处理准确性之间的准确性差值，基于准确性差值计算当前训练图像处理模型对应的结构参数自然梯度，基于结构参数自然梯度更新当前训练图像处理模型中的结构参数，得到目标训练图像处理模型，能够使更新的结构参数更加的准确，从而使搜索得到的图像处理模型更加的准确。

在一个实施例中，步骤210，基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，包括步骤：

将目标训练图像处理模型中的网络参数作为图像处理网络搜索空间中子网络的网络参数；并使用目标训练图像处理模型中的结构参数更新图像处理网络搜索空间中子网络的结构参数。

具体地，服务器进行参数共享，即将通过知识蒸馏训练得到的子网络的参数共享到搜索空间。即将目标训练图像处理模型中的网络参数作为图像处理网络搜索空间中每个子网络的网络参数，即将目标训练图像处理模型中网络层的网络参数作为图像处理网络搜索空间中网络层对应的网络参数。然后使用目标训练图像处理模型中的结构参数更新图像处理网络搜索空间中子网络中每个候选网络操作对应的结构参数。即通过使用训练好的目标训练图像处理模型对图像处理网络搜索空间中的参数进行更新，能够提高下一次搜索迭代时选取的子网络的准确性。

在一个实施例中，步骤214，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型，包括步骤：

基于达到搜索完成条件时的图像处理网络搜索空间中候选网络操作对应的结构参数大小从各个特征编码网络层的候选网络操作中选取目标网络操作，基于目标网络操作得到各个目标特征编码网络层。基于各个目标编码网络层得到目标特征编码网络，并将目标特征编码网络和达到搜索完成条件时的图像处理网络搜索空间的特征解码网络进行连接，得到目标子网络，将目标子网络作为目标图像处理模型。

其中，目标网络操作是指结果参数最优的候选网络操作。目标特征编码网络层是指选取得到的用于特征编码的网络层。目标特征编码网络是指搜索得到的最优的用于特征编码的网络。

具体地，服务器从达到搜索完成条件时的图像处理网络搜索空间进行目标网络操作的选取。从每个网络层对应的各个候选网络操作中进行选取。比较每个候选网络操作对应的结构参数的大小，选取最大结构参数对应的候选网络操作作为目标网络操作，将该目标网络操作作为目标特征编码网络层中唯一的网络操作。当选取得到每个网络层对应的目标网络操作时，得到目标特征编码网络，此时，根据选取得到的目标特征编码网络和达到搜索完成条件时的图像处理网络搜索空间的特征解码网络进行连接，得到目标子网络，将目标子网络作为目标图像处理模型。

在上述实施例中，通过选取最大结构参数对应的候选网络操作作为目标网络操作，进而得到目标特征编码网络，然后基于目标特征编码网络和特征解码网络得到目标子网络，将目标子网络作为目标图像处理模型，能够提高得到目标图像处理模型的效率和准确性。

在一个具体的实施例中，服务器可以使用强化学习（Reinforcement Learning）和进化算法（Evolution algorithm）对应的搜索算法通过知识蒸馏训练来得到目标图像处理模型，具体来说：

从图像处理网络搜索空间中采样得到各个子网络，将各个子网络作为各个图像处理模型，使用训练数据集将各个图像处理模型分别与已训练的参考图像处理模型通过知识蒸馏进行训练，得到训练好的各个图像处理模型。然后获取到验证数据集，使用验证数据集对训练好的各个图像处理模型进行性能评估，得到训练好的各个图像处理模型进行图像处理的准确性，选取最优准确性的图像处理模型作为目标图像处理模型。由于对每个子网络进行知识蒸馏训练，然后进行评估后选取目标图像处理模型，能够使选取得到的目标图像处理模型的网络结构进一步提高准确性。

在一个具体的实施例中，如图14所示，为图像处理模型搜索方法的架构示意图。具体来说：

服务器获取到局部全连接的链式搜索空间。该搜索空间中的特征编码网络包含超过各个候选网络，不同的候选网络共享权重，从搜索空间中通过神经网络搜索算法比如one-shot模型结构搜索算法进行网络结构搜索。即从搜索空间搜索到子网络，将搜索到的子网络作为学生网络，该学生网络就是当前图像处理模型。然后获取到已训练的参考图像处理模型作为教师网络，此时通过教师网络对学生网络进行知识蒸馏训练，并计算知识蒸馏损失信息，该知识蒸馏损失训练信息是使用KL散度损失函数和交叉熵损失函数计算得到的，同时将教师网络和学生网络进行有向无环图的转换，得到当前图和参考图，计算当前图和参考图的图编辑距离，基于图编辑距离通过归一化操作，并使用指数函数转换为0到1之间的相似度，得到网络结构相似度损失信息，基于网络结构相似度损失信息和知识蒸馏损失信息对学生网络的网络参数进行更新。同时，对学生网络的性能进行评估，得到图像处理评估结果，使用图像处理评估结果更新学生网络的结构参数，得到更新后的学生网络，然后不断进行循环迭代，直到知识蒸馏训练完成时，得到最后一次迭代时的学生网络，将该学生网络的网络参数和结构参数共享到搜索空间中的候选网络中，然后再从候选网络中选取学生网络。直到达到搜索完成条件时，从达到搜索完成条件时的搜索空间中选取最优结构参数的学生网络作为搜索到的图像处理模型。

在一个实施例中，在步骤214之后，基于目标子网络得到目标图像处理模型之后，还包括步骤：

将训练数据集输入目标图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到目标图像处理模型对应的重训练图像处理模型。

其中，重训练图像处理模型是指对目标图像处理模型通过知识蒸馏进一步进行训练后得到的图像处理模型。

具体地，由于目标图像处理模型是搜索到最优网络结构的图像处理模型，该目标图像处理模型的网络参数可能未达到最优，需要进一步进行训练。此时服务器将训练数据集中的训练图像分别输入到目标图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练。其中，已训练的参考图像处理模型和目标图像处理模型是已部署到服务器中的。当达到知识蒸馏的重训练完成条件时，将达到知识蒸馏的重训练完成条件时对应的目标图像处理模型作为重训练图像处理模型。其中，重训练完成条件是指知识蒸馏训练结束的条件，包括训练迭代次数达到最大迭代次数、知识蒸馏重训练的损失函数值达到预设损失阈值和模型参数不再发生变化中的至少一种。

在上述实施例中，通过将目标图像处理模型通过知识蒸馏进行重训练，能够提高得到的重训练图像处理模型在进行图像处理时的准确性。

在一个实施例中，如图15所示，将训练数据集输入目标图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到目标图像处理模型对应的重训练图像处理模型，包括：

步骤1502，将训练数据集输入目标图像处理模型中进行图像处理，得到目标图像处理结果。

步骤1504，并将训练数据集输入已训练的参考图像处理模型中进行图像处理，得到参考图像处理结果。

其中，目标图像处理结果是指目标图像处理模型输出的图像处理结果。参考图像处理结果是指已训练的参考图像处理模型输出的图像处理结果。

具体地，服务器将训练数据集中的训练图像输入到目标图像处理模型，目标图像处理模型通过特征编码网络进行特征抽取，得到训练图像特征，将训练图像特征通过特征解码网络进行处理，输出目标图像处理结果。同时将训练数据集中的训练图像输入到已训练的参考图像处理模型进行图像处理，该已训练的参考图像处理模型输出参考图像处理结果。

步骤1506，计算目标图像处理结果和参考图像处理结果的误差，得到重训练结果损失信息，并计算目标图像处理结果与训练数据集中图像处理标签的误差，得到重训练标签损失信息，基于重训练结果损失信息和重训练标签损失信息得到重训练损失信息。

其中，重训练结果损失信息是指目标图像处理结果和参考图像处理结果之间的散度损失。重训练标签损失信息是指目标图像处理结果与训练数据集中图像处理标签之间的交叉熵损失。

具体地，服务器使用KL散度损失函数计算目标图像处理结果和参考图像处理结果之间的误差，得到重训练结果损失信息，然后再使用交叉熵损失函数计算目标图像处理结果与训练数据集中图像处理标签之间的误差，得到重训练标签损失信息。计算重训练结果损失信息和重训练标签损失信息之间的损失信息之和，得到重训练损失信息。

步骤1508，判断是否达到重训练完成条件，当达到重训练完成条件时，执行步骤1508a，当未达到重训练完成条件时，执行步骤1508b，并返回步骤1502进行迭代执行。

步骤1508a，将达到重训练完成条件时的目标图像处理模型作为重训练图像处理模型。

步骤1508b，基于重训练损失信息更新目标图像处理模型，并返回将训练数据集输入目标图像处理模型中进行图像处理，得到目标图像处理结果的步骤迭代执行。

具体地，服务器在每次迭代时，都要判断是否达到重训练完成条件，即检测是否达到迭代次数上限，或者将重训练损失信息与预先设置好的重训练损失阈值进行比较等等。当未达到重训练完成条件时，基于重训练损失信息使用梯度下降法反向更新目标图像处理模型中的参数，得到更新后的目标图像处理模型，将更新后的目标图像处理模型作为目标图像处理模型，并返回将训练数据集输入目标图像处理模型中进行图像处理，得到目标图像处理结果的步骤迭代执行。当达到重训练完成条件时，将达到重训练完成条件时的目标图像处理模型作为重训练图像处理模型。

在上述实施例中，通过将训练数据集输入目标图像处理模型和已训练的参考图像处理模型中重新进行知识蒸馏训练，当达到重训练完成条件时，得到重训练图像处理模型，从而能够提高重训练图像处理模型在进行图像处理时的准确性。

在一个实施例中，如图16所示，提供了一种图像处理方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用在终端中，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。在本实施例中，包括以下步骤：

步骤1602，获取待处理图像。

其中，待处理图像是指需要进行图像处理的图像，该图像处理包括但不限于图像识别、图像语义理解、OCR、视频图像处理、视频图像语义理解、视频图像内容/行为识别等等。

具体地，服务器可以从终端获取到待处理图像，可以从数据库中获取到待处理图像，可以从互联网采集到待处理图像，可以从视频中截取到待处理图像，可以从第三方服务器中获取到待处理图像，该第三方服务器可以是需求图像处理结果的服务器等等。

步骤1604，将待处理图像输入图像处理模型中进行处理；图像处理模型是将目标图像处理模型使用训练数据集和已训练的参考图像处理模型进行知识蒸馏训练得到的；目标图像处理模型是通过从图像处理网络搜索空间中选取当前图像处理模型，并基于训练数据集、当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前训练图像处理模型，基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型，基于目标训练图像处理模型更新图像处理网络搜索空间并进行循环迭代，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到的。

具体地，图像处理模型是将训练数据集输入目标图像处理模型中和已训练的参考图像处理模型进行知识蒸馏训练得到的，所述目标图像处理模型可以是上述图像处理模型搜索方法任意实施例中搜索得到的图像处理模型。比如，目标图像处理模型可以是通过从图像处理网络搜索空间中选取当前图像处理模型，并基于训练数据集、当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前训练图像处理模型，基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型，基于目标训练图像处理模型更新图像处理网络搜索空间并进行循环迭代，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到的。服务器将图像处理模型预先进行部署。当获取到待处理图像时，将待处理图像输入到已部署的图像处理模型中进行图像处理。

步骤1606，图像处理模型输出待处理图像对应的图像处理结果。

其中，图像处理结果是指待处理图像对应的处理结果，不同的任务有不同的处理结果，比如，图像分割任务对应的图像分割结果，图像分类任务对应的图像类别结果，图像识别任务对应的图像识别结果等等。

具体地，服务器获取到图像处理模型输出待处理图像对应的图像处理结果，可以将图像处理结果发送到终端中进行展示。

在一个实施例中，图像处理模型包括图像分割模型，如图17所示，图像处理方法还包括：

步骤1702，获取待分割图像。

具体地，服务器可以从数据库中获取到待分割图像，待分割图像是指需要进行图像中目标进行分割，该目标可以是图像中的物体，人物等等。

步骤1704，将待分割图像输入图像分割模型中，得到待分割图像对应的图像分割结果。

其中，图像分割模型是指用于进行图像分割的图像处理模型，该图像分割模型中通过特征编码网络抽取图像特征，然后通过图像分割网络利用抽取的图像特征进行图像分割。图像分割结果是指对待分割图像进行分割后的结果。

具体地，服务器中预先部署到训练完成的图像分割模型，该图像分割模型可以是通过图像处理模型搜索方法中各实施例中搜索得到的图像处理模型进行知识蒸馏重训练后得到的。当服务器获取到待分割图像，直接将待分割图像输入图像分割模型中，图像分割模型中通过特征编码网络抽取图像特征，然后通过图像分割网络利用抽取的图像特征进行图像分割，然后输出待分割图像对应的图像分割结果。在一个实施例中，服务器可以调用云服务器中部署的图像分割模型，即云服务器获取到待分割图像，通过图像分割模型进行图像分割，得到图像分割结果，然后将图像分割结果返回到服务器中。

步骤1706，基于图像分割结果从待分割图像中确定虚化图像区域，基于虚化图像区域将待分割图像进行虚化处理，得到目标图像。

其中，虚化图像区域是指背景虚化的区域，背景虚化就是将景深变浅，使焦点聚集在主题上。目标图像是指背景虚化的图像。

具体地，服务器可以根据图像分割结果从待分割图像中确定虚化图像区域和保持不变的图像区域，将待分割图像中虚化图像区域进行虚化处理，其他区域保持不变，得到目标图像。

在上述实施例中，通过图像分割模型对待分割图像进行分割，能够提高图像分割的准确行，然后通过基于图像分割结果从待分割图像中确定虚化图像区域，基于虚化图像区域将待分割图像进行虚化处理，得到目标图像，能够得到更加精准的目标图像。

在一个具体的实施例中，如图18所示，提供一种图像处理方法，由服务器执行，具体包括以下步骤：

步骤1802，获取图像数据集和图像处理网络搜索空间，图像数据集包括训练数据集和验证数据集；从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型。

步骤1804，将训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行图像处理，得到当前图像处理结果和参考图像处理结果。计算当前图像处理结果和参考图像处理结果之间的误差，得到结果损失信息，计算当前图像处理结果和训练数据集中图像处理标签之间的误差，得到标签损失信息。

步骤1806，将当前图像处理模型和已训练的参考图像处理模型进行有向无环图转换，得到当前图和参考图，计算当前图和参考图之间的图编辑距离，基于图编辑距离得到图损失信息。获取预设目标运行时间，并获取当前图像处理模型对应的模型运行时间，计算模型运行时间与预设目标运行时间之间的误差，得到运行耗时损失信息。

步骤1808，基于结果损失信息、标签损失信息、图损失信息和运行耗时损失信息得到第二目标知识蒸馏损失信息，基于第二目标知识蒸馏损失信息更新当前图像处理模型。返回将训练数据集输入当前图像处理模型中进行图像处理，得到当前图像处理结果的步骤迭代执行，直到当达到知识蒸馏训练完成条件时，得到当前图像处理模型对应的当前训练图像处理模型。

步骤1810，将验证数据集输入当前训练图像处理模型中进行图像处理，得到验证图像处理结果，基于验证图像处理结果与验证数据集中的真实图像处理结果计算当前训练图像处理模型对应的当前图像处理准确性。

步骤1812，获取历史当前训练图像处理模型对应的历史图像处理准确性，计算当前图像处理准确性和历史图像处理准确性之间的准确性差值，基于准确性差值计算当前训练图像处理模型对应的结构参数自然梯度，基于结构参数自然梯度更新当前训练图像处理模型中的结构参数，得到目标训练图像处理模型。

步骤1814，将目标训练图像处理模型中的网络参数作为图像处理网络搜索空间中子网络的网络参数，并使用目标训练图像处理模型中的结构参数更新图像处理网络搜索空间中子网络的结构参数。

步骤1816，返回从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤执行，直到达到搜索完成条件，基于达到搜索完成条件时的图像处理网络搜索空间中候选网络操作对应的结构参数从各个特征编码网络层的候选网络操作中选取目标网络操作，基于目标网络操作得到各个目标特征编码网络层。

步骤1818，基于各个目标编码网络层得到目标特征编码网络，并将目标特征编码网络和达到搜索完成条件时的图像处理网络搜索空间的特征解码网络进行连接，得到目标子网络，将目标子网络作为目标图像处理模型。将训练数据集输入目标图像处理模型中进行图像处理，得到目标图像处理结果。

步骤1820，计算目标图像处理结果和参考图像处理结果的误差，得到重训练结果损失信息，并计算目标图像处理结果与训练数据集中图像处理标签的误差，得到重训练标签损失信息，基于重训练结果损失信息和重训练标签损失信息得到重训练损失信息；

步骤1822，基于重训练损失信息更新目标图像处理模型，并返回将训练数据集输入目标图像处理模型中进行图像处理，得到目标图像处理结果的步骤迭代执行，直到达到重训练完成条件时，将达到重训练完成条件时的目标图像处理模型作为重训练图像处理模型。

步骤1824，获取待处理图像，将待处理图像输入重训练图像处理模型中进行处理，得到待处理图像对应的图像处理结果。

本申请还提供一种应用场景，该应用场景应用上述的图像处理模型搜到方法和图像处理方法。具体地，

在视频会议的应用场景中，如图19所示，为视频会议的应用场景的架构示意图，其中，在前端即终端侧，终端接收到视频会议请求时，进入视频会议后，终端通过摄像头采集视频流，包括用户上半身及背景的视频流，然后通过视频抽帧和预处理得到适合模型预测的图像序列，将图像序列发送到后端，即服务器中，在服务器中预先部署有图像分割模型，该图像分割模型是通过将目标图像分割模型使用训练数据集和已训练的参考图像处理模型进行知识蒸馏训练得到的；目标图像分割模型是通过从图像分割网络搜索空间中选取当前图像分割模型，并基于训练数据集、当前图像分割模型和已训练的参考图像分割模型中进行知识蒸馏训练，得到当前训练图像分割模型，基于验证数据集对当前训练图像分割模型进行图像分割评估，得到图像分割评估结果，基于图像分割评估结果更新当前训练图像分割模型，得到目标训练图像分割模型，基于目标训练图像分割模型更新图像分割网络搜索空间并进行循环迭代，直到达到搜索完成条件，从达到搜索完成条件时的图像分割网络搜索空间中选取目标子网络，基于目标子网络得到的。服务器将图像序列输入图像分割模型中进行人像分割，得到各个人像分割结果，然后使用各个人像分割结果和对应的原始图像进行后处理，将背景区域进行虚化，保留人像区域，得到目标图像序列，将目标图像序列返回到终端进行显示，如图20所示，为目标图像序列中一张目标图像的示意图，该目标图像中人半身部分保留，其他阴影部分为虚化区域。

本申请还另外提供一种应用场景，该应用场景应用上述的图像处理方法。具体地，在人脸识别的应用场景中，服务器获取到人脸图像，将人脸图像输入到图像处理模型中，该图像处理模型是指用于进行人脸识别的模型，该图像处理模型通过图像编码网络抽取到图像特征，基于该图像特征通过人脸识别网络进行人脸识别，得到输出的人脸身份。其中，该人脸识别的模型是通过将目标图像识别模型使用训练数据集和已训练的参考图像识别模型进行知识蒸馏训练得到的；目标图像识别模型是通过从图像识别网络搜索空间中选取当前图像识别模型，并基于训练数据集、当前图像识别模型和已训练的参考图像识别模型中进行知识蒸馏训练，得到当前训练图像识别模型，基于验证数据集对当前训练图像识别模型进行图像识别评估，得到图像识别评估结果，基于图像识别评估结果更新当前训练图像识别模型，得到目标训练图像识别模型，基于目标训练图像识别模型更新图像识别网络搜索空间并进行循环迭代，直到达到搜索完成条件，从达到搜索完成条件时的图像识别网络搜索空间中选取目标子网络，基于目标子网络得到的。

应该理解的是，虽然图2-18的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-18中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图21所示，提供了一种图像处理模型搜索装置2100，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块2102、选取模块2104、训练模块2106、评估模块2108和迭代模块2110，其中：

获取模块2102，用于获取图像数据集和图像处理网络搜索空间，图像数据集包括训练数据集和验证数据集；

选取模块2104，用于从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；

训练模块2106，用于将训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前图像处理模型对应的当前训练图像处理模型；

评估模块2108，用于基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型；

迭代模块2110，用于基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，并返回从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤执行，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型。

在一个实施例中，图像处理网络搜索空间包括初始待搜索特征编码网络和初始特征解码网络；获取模块2102还用于获取预设第一数量的候选网络操作；基于预设第一数量的候选网络操作建立预设第二数量的特征编码网络层，并将预设第二数量的特征编码网络层进行局部全连接，得到特征编码子结构网络；建立预设第三数量的特征编码子结构网络，并将预设第三数量的子结构网络进行链式链接，得到待搜索特征编码网络；获取特征解码网络，并初始化待搜索特征编码网络和特征解码网络，得到初始待搜索特征编码网络和初始特征解码网络；基于初始待搜索特征编码网络和初始特征解码网络得到图像处理网络搜索空间。

在一个实施例中，获取模块2102还用于获取待搜索特征编码网络中候选网络操作对应的结构特征；将待搜索特征编码网络中候选网络操作对应的结构特征进行随机松弛，得到待搜索特征编码网络中候选网络操作对应的初始结构参数；并初始化待搜索特征编码网络对应的网络参数，得到初始待搜索特征编码网络。

在一个实施例中，选取模块2104还用于从初始待搜索特征编码网络中各个特征编码网络层的候选网络操作中选取当前网络操作，基于当前网络操作得到各个当前特征编码网络层；基于各个当前编码网络层得到当前特征编码网络，并将当前特征编码网络和初始特征解码网络进行连接，得到当前子网络。

在一个实施例中，训练模块2106，包括：

当前处理单元，用于将训练数据集输入当前图像处理模型中进行图像处理，得到当前图像处理结果；

参考处理单元，用于将训练数据集输入已训练的参考图像处理模型中进行图像处理，得到参考图像处理结果；

损失计算单元，用于基于当前图像处理结果和参考图像处理结果计算知识蒸馏损失信息，基于知识蒸馏损失信息更新当前图像处理模型；

迭代单元，用于并返回将训练数据集输入当前图像处理模型中进行图像处理，得到当前图像处理结果的步骤迭代执行，直到当达到知识蒸馏训练完成条件时，得到当前图像处理模型对应的当前训练图像处理模型。

在一个实施例中，参考处理单元还用于将训练数据集输入至少二个已训练的参考图像处理模型中进行图像处理，得到至少两个参考图像处理结果；将至少两个参考图像处理结果进行结果集成，得到目标参考图像处理结果；

损失计算单元，还用于基于当前图像处理结果和目标参考图像处理结果计算目标知识蒸馏损失信息，基于目标知识蒸馏损失信息更新当前图像处理模型。

在一个实施例中，损失计算单元，还用于计算当前图像处理结果和参考图像处理结果之间的误差，得到结果损失信息；计算当前图像处理结果和训练数据集中图像处理标签之间的误差，得到标签损失信息；基于结果损失信息和标签损失信息计算得到知识蒸馏损失信息；基于知识蒸馏损失计算网络参数梯度，基于网络参数梯度反向更新当前图像处理模型中的网络参数。

在一个实施例中，损失计算单元，还用于将当前图像处理模型和已训练的参考图像处理模型进行有向无环图转换，得到当前图和参考图；计算当前图和参考图之间的图编辑距离，基于图编辑距离得到图损失信息；基于结果损失信息、标签损失信息和图损失信息得到第一目标知识蒸馏损失信息。

在一个实施例中，损失计算单元，还用于将当前图像处理模型中的网络层作为有向无环图的节点，并将当前图像处理模型中网络层的连接关系作为有向无环图的边，得到当前图像处理模型对应的当前图；将已训练的参考图像处理模型中的网络层作为有向无环图的节点，并将已训练的参考图像处理模型中网络层的连接关系作为有向无环图的边，得到已训练的参考图像处理模型对应的参考图。

在一个实施例中，损失计算单元还用于获取预设目标运行时间，并获取当前图像处理模型对应的模型运行时间；计算模型运行时间与预设目标运行时间之间的误差，得到运行耗时损失信息；基于结果损失信息、标签损失信息、图损失信息和运行耗时损失信息得到第二目标知识蒸馏损失信息。

在一个实施例中，损失计算单元还用于获取图像处理网络搜索空间的初始待搜索特征编码网络中各个候选网络操作对应的操作运行时间表；从操作运行时间表中查找当前图像处理模型中各个候选网络操作对应的操作运行时间；计算当前图像处理模型中各个候选网络操作对应的操作运行时间之和，得到模型运行时间。

在一个实施例中，评估模块2108还用于将验证数据集输入当前训练图像处理模型中进行图像处理，得到验证图像处理结果；基于验证图像处理结果与验证数据集中的真实图像处理结果计算当前训练图像处理模型对应的当前图像处理准确性；获取历史当前训练图像处理模型对应的历史图像处理准确性，计算当前图像处理准确性和历史图像处理准确性之间的准确性差值；基于准确性差值计算当前训练图像处理模型对应的结构参数自然梯度，基于结构参数自然梯度更新当前训练图像处理模型中的结构参数，得到目标训练图像处理模型。

在一个实施例中，评估模块2108还用于：将目标训练图像处理模型中的网络参数作为图像处理网络搜索空间中子网络的网络参数；并使用目标训练图像处理模型中的结构参数更新图像处理网络搜索空间中子网络的结构参数。

在一个实施例中，迭代模块2110，还用于基于达到搜索完成条件时的图像处理网络搜索空间中候选网络操作对应的结构参数大小从各个特征编码网络层的候选网络操作中选取目标网络操作，基于目标网络操作得到各个目标特征编码网络层；基于各个目标编码网络层得到目标特征编码网络，并将目标特征编码网络和达到搜索完成条件时的图像处理网络搜索空间的特征解码网络进行连接，得到目标子网络，将目标子网络作为目标图像处理模型。

在一个实施例中，图像处理模型搜索装置2100，还包括：

重训练模块，用于将训练数据集输入目标图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到目标图像处理模型对应的重训练图像处理模型。

在一个实施例中，重训练模块还用于将训练数据集输入目标图像处理模型中进行图像处理，得到目标图像处理结果；并将训练数据集输入已训练的参考图像处理模型中进行图像处理，得到参考图像处理结果；计算目标图像处理结果和参考图像处理结果的误差，得到重训练结果损失信息，并计算目标图像处理结果与训练数据集中图像处理标签的误差，得到重训练标签损失信息，基于重训练结果损失信息和重训练标签损失信息得到重训练损失信息；基于重训练损失信息更新目标图像处理模型，并返回将训练数据集输入目标图像处理模型中进行图像处理，得到目标图像处理结果的步骤迭代执行，直到达到重训练完成条件时，将达到重训练完成条件时的目标图像处理模型作为重训练图像处理模型。

在一个实施例中，如图22所示，提供了一种图像处理装置2200，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：图像获取模块2202、图像处理模块2204和结果输出模块2206，其中：

图像获取模块2202，用于获取待处理图像；

图像处理模块2204，用于将待处理图像输入图像处理模型中进行处理；图像处理模型是将目标图像处理模型使用训练数据集和已训练的参考图像处理模型进行知识蒸馏训练得到的；目标图像处理模型是通过从图像处理网络搜索空间中选取当前图像处理模型，并基于训练数据集、当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前训练图像处理模型，基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型，基于目标训练图像处理模型更新图像处理网络搜索空间并进行循环迭代，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到的；

结果输出模块2206，用于图像处理模型输出待处理图像对应的图像处理结果。

在一个实施例中，图像处理模型包括图像分割模型，图像处理装置2200还用于获取待分割图像；将待分割图像输入图像分割模型中，得到待分割图像对应的图像分割结果；基于图像分割结果从待分割图像中确定虚化图像区域，基于虚化图像区域将待分割图像进行虚化处理，得到目标图像。

关于图像处理模型搜索装置和图像处理装置的具体限定可以参见上文中对于图像处理模型搜索方法和图像处理方法的限定，在此不再赘述。上述图像处理模型搜索装置和图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图23所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像训练数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理模型搜索方法和图像处理方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图24所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理模型搜索方法和图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图23和图24中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，如本申请所公开的图像处理模型搜索方法和图像处理方法，其中，图像训练数据和待处理图像数据等可以保存于区块链上。

在一个实施例中，如本申请所公开的图像处理模型搜索方法和图像处理方法，或者图像处理模型搜索装置和图像处理装置，其中，多个服务器可组成为一区块链，而服务器为区块链上的节点。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种图像处理模型搜索方法，其特征在于，所述方法包括：

获取图像数据集和图像处理网络搜索空间，所述图像数据集包括训练数据集和验证数据集；

从所述图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；

将所述训练数据集输入所述当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到所述当前图像处理模型对应的当前训练图像处理模型；

基于所述验证数据集对所述当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于所述图像处理评估结果更新所述当前训练图像处理模型，得到目标训练图像处理模型；

基于所述目标训练图像处理模型更新所述图像处理网络搜索空间中的子网络，并返回从所述图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤执行，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于所述目标子网络得到目标图像处理模型。

2.根据权利要求1所述的方法，其特征在于，所述图像处理网络搜索空间包括初始待搜索特征编码网络和初始特征解码网络；

所述获取图像处理网络搜索空间，包括：

获取预设第一数量的候选网络操作；

基于所述预设第一数量的候选网络操作建立预设第二数量的特征编码网络层，并将所述预设第二数量的特征编码网络层进行局部全连接，得到特征编码子结构网络；

建立预设第三数量的特征编码子结构网络，并将所述预设第三数量的子结构网络进行链式链接，得到待搜索特征编码网络；

获取特征解码网络，并初始化所述待搜索特征编码网络和所述特征解码网络，得到所述初始待搜索特征编码网络和所述初始特征解码网络；

基于所述初始待搜索特征编码网络和所述初始特征解码网络得到所述图像处理网络搜索空间。

3.根据权利要求2所述的方法，其特征在于，所述初始化所述待搜索特征编码网络，包括：

获取所述待搜索特征编码网络中候选网络操作对应的结构特征；

将所述待搜索特征编码网络中候选网络操作对应的结构特征进行随机松弛，得到所述待搜索特征编码网络中候选网络操作对应的初始结构参数；

并初始化所述待搜索特征编码网络对应的网络参数，得到所述初始待搜索特征编码网络。

4.根据权利要求1所述的方法，其特征在于，所述将所述训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到所述当前图像处理模型对应的当前训练图像处理模型，包括：

将所述训练数据集输入所述当前图像处理模型中进行图像处理，得到当前图像处理结果；

将所述训练数据集输入所述已训练的参考图像处理模型中进行图像处理，得到参考图像处理结果；

基于所述当前图像处理结果和所述参考图像处理结果计算知识蒸馏损失信息，基于所述知识蒸馏损失信息更新所述当前图像处理模型；

并返回将所述训练数据集输入所述当前图像处理模型中进行图像处理，得到当前图像处理结果的步骤迭代执行，直到当达到知识蒸馏训练完成条件时，得到所述当前图像处理模型对应的当前训练图像处理模型。

5.根据权利要求4所述的方法，其特征在于，所述基于所述当前图像处理结果和所述参考图像处理结果计算知识蒸馏损失信息，基于所述知识蒸馏损失信息更新所述当前图像处理模型，包括：

计算所述当前图像处理结果和所述参考图像处理结果之间的误差，得到结果损失信息；

计算所述当前图像处理结果和所述训练数据集中图像处理标签之间的误差，得到标签损失信息；

基于所述结果损失信息和标签损失信息计算得到所述知识蒸馏损失信息；

基于所述知识蒸馏损失计算网络参数梯度，基于所述网络参数梯度反向更新所述当前图像处理模型中的网络参数。

6.根据权利要求5所述的方法，其特征在于，所述基于所述结果损失信息和标签损失信息计算得到所述知识蒸馏损失信息，包括：

将所述当前图像处理模型和所述已训练的参考图像处理模型进行有向无环图转换，得到当前图和参考图；

计算所述当前图和所述参考图之间的图编辑距离，基于所述图编辑距离得到图损失信息；

基于所述结果损失信息、所述标签损失信息和所述图损失信息得到第一目标知识蒸馏损失信息。

7.根据权利要求6所述的方法，其特征在于，所述基于所述结果损失信息、所述标签损失信息和所述图损失信息得到第一目标知识蒸馏损失信息，包括：

获取预设目标运行时间，并获取所述当前图像处理模型对应的模型运行时间；

计算所述模型运行时间与所述预设目标运行时间之间的误差，得到运行耗时损失信息；

基于所述结果损失信息、所述标签损失信息、所述图损失信息和所述运行耗时损失信息得到第二目标知识蒸馏损失信息。

8.根据权利要求7所述的方法，其特征在于，所述获取所述当前图像处理模型对应的模型运行时间，包括：

获取所述图像处理网络搜索空间的初始待搜索特征编码网络中各个候选网络操作对应的操作运行时间表；

从所述操作运行时间表中查找所述当前图像处理模型中各个候选网络操作对应的操作运行时间；

计算所述当前图像处理模型中各个候选网络操作对应的操作运行时间之和，得到所述模型运行时间。

9.根据权利要求1所述的方法，其特征在于，所述基于所述验证数据集对所述当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于所述图像处理评估结果更新所述当前训练图像处理模型，得到目标训练图像处理模型，包括：

将所述验证数据集输入所述当前训练图像处理模型中进行图像处理，得到验证图像处理结果；

基于所述验证图像处理结果与所述验证数据集中的真实图像处理结果计算所述当前训练图像处理模型对应的当前图像处理准确性；

获取历史当前训练图像处理模型对应的历史图像处理准确性，计算所述当前图像处理准确性和所述历史图像处理准确性之间的准确性差值；

基于所述准确性差值计算所述当前训练图像处理模型对应的结构参数自然梯度，基于所述结构参数自然梯度更新所述当前训练图像处理模型中的结构参数，得到所述目标训练图像处理模型。

10.根据权利要求1所述的方法，其特征在于，在所述基于所述目标子网络得到目标图像处理模型之后，还包括：

将所述训练数据集输入目标图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到所述目标图像处理模型对应的重训练图像处理模型。

11.根据权利要求1所述的方法，其特征在于，所述将所述训练数据集输入目标图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到所述目标图像处理模型对应的重训练图像处理模型，包括：

将所述训练数据集输入所述目标图像处理模型中进行图像处理，得到目标图像处理结果；

并将所述训练数据集输入所述已训练的参考图像处理模型中进行图像处理，得到参考图像处理结果；

计算所述目标图像处理结果和所述参考图像处理结果的误差，得到重训练结果损失信息，并计算所述目标图像处理结果与所述训练数据集中图像处理标签的误差，得到重训练标签损失信息，基于所述重训练结果损失信息和所述重训练标签损失信息得到重训练损失信息；

基于所述重训练损失信息更新所述目标图像处理模型，并返回将所述训练数据集输入所述目标图像处理模型中进行图像处理，得到目标图像处理结果的步骤迭代执行，直到达到重训练完成条件时，将达到重训练完成条件时的目标图像处理模型作为重训练图像处理模型。

12.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像；

将所述待处理图像输入图像处理模型中进行处理；

所述图像处理模型是将目标图像处理模型使用训练数据集和已训练的参考图像处理模型进行知识蒸馏训练得到的；

所述目标图像处理模型是通过从图像处理网络搜索空间中选取当前图像处理模型，并基于所述训练数据集、所述当前图像处理模型和所述已训练的参考图像处理模型中进行知识蒸馏训练，得到当前训练图像处理模型，基于验证数据集对所述当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于所述图像处理评估结果更新所述当前训练图像处理模型，得到目标训练图像处理模型，基于所述目标训练图像处理模型更新所述图像处理网络搜索空间并进行循环迭代，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于所述目标子网络得到的；

所述图像处理模型输出所述待处理图像对应的图像处理结果。

13.一种图像处理模型搜索装置，其特征在于，所述装置包括：

获取模块，用于获取图像数据集和图像处理网络搜索空间，所述图像数据集包括训练数据集和验证数据集；

选取模块，用于从所述图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；

训练模块，用于将所述训练数据集输入所述当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到所述当前图像处理模型对应的当前训练图像处理模型；

评估模块，用于基于所述验证数据集对所述当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于所述图像处理评估结果更新所述当前训练图像处理模型，得到目标训练图像处理模型；

迭代模块，用于基于所述目标训练图像处理模型更新所述图像处理网络搜索空间中的子网络，并返回从所述图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤执行，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于所述目标子网络得到目标图像处理模型。

14.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取待处理图像；

图像处理模块，用于将所述待处理图像输入图像处理模型中进行处理；所述图像处理模型是将目标图像处理模型使用训练数据集和已训练的参考图像处理模型进行知识蒸馏训练得到的；所述目标图像处理模型是通过从图像处理网络搜索空间中选取当前图像处理模型，并基于所述训练数据集、所述当前图像处理模型和所述已训练的参考图像处理模型中进行知识蒸馏训练，得到当前训练图像处理模型，基于验证数据集对所述当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于所述图像处理评估结果更新所述当前训练图像处理模型，得到目标训练图像处理模型，基于所述目标训练图像处理模型更新所述图像处理网络搜索空间并进行循环迭代，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于所述目标子网络得到的；

结果输出模块，用于所述图像处理模型输出所述待处理图像对应的图像处理结果。

15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。