CN116630168A - 图像处理方法、装置、设备、介质和计算机程序产品 - Google Patents

图像处理方法、装置、设备、介质和计算机程序产品 Download PDF

Info

Publication number
CN116630168A
CN116630168A CN202210126073.XA CN202210126073A CN116630168A CN 116630168 A CN116630168 A CN 116630168A CN 202210126073 A CN202210126073 A CN 202210126073A CN 116630168 A CN116630168 A CN 116630168A
Authority
CN
China
Prior art keywords
image
network
feature
features
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210126073.XA
Other languages
English (en)
Inventor
罗文寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210126073.XA priority Critical patent/CN116630168A/zh
Publication of CN116630168A publication Critical patent/CN116630168A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及网络媒体技术、更涉及一种图像处理方法、装置、设备、介质和计算机程序产品。方法包括：对第一图像进行特征提取得到第一图像的初始特征；对初始特征进行分辨率提升处理，基于处理后的特征重构出第二图像；获取第二图像在多种关键信息表征方式下的关键区域标示信息；针对每种关键信息表征方式，通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取关键信息表征方式下的关键区域标示信息的特征，得到关键信息表征方式对应的关键区域先验特征；对处理后的特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征；基于融合特征进行图像重构，得到目标图像。采用本方法可提升图像质量。

Description

图像处理方法、装置、设备、介质和计算机程序产品
技术领域
本申请涉及网络媒体技术领域，特别是涉及一种图像处理方法、装置、设备、介质和计算机程序产品。
背景技术
随着计算机技术的发展，出现了人工智能技术(Artificial Intelligence,AI)。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统的技术。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术被广泛应用于图像处理领域，比如，可通过人工智能技术实现图像的质量恢复。传统技术中，通常采用人工设计的神经网络对图像进行质量恢复。然而，人工设计的神经网络对图像的恢复效果较差，从而导致恢复得到的图像质量较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升恢复得到的图像质量的图像处理方法、装置、设备、介质和计算机程序产品。
一方面，本申请提供了一种图像处理方法，所述方法包括：
对待恢复的第一图像进行特征提取，得到所述第一图像的初始特征；
对所述初始特征进行分辨率提升处理，并基于处理后的特征重构出具有所述第一图像的图像内容、且分辨率高于所述第一图像的第二图像；
获取所述第二图像在多种关键信息表征方式下的关键区域标示信息；
针对每种关键信息表征方式，通过所述关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取所述关键信息表征方式下的关键区域标示信息的特征，得到所述关键信息表征方式对应的关键区域先验特征；
对所述处理后的特征和所述多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征；
基于所述融合特征进行图像重构，得到针对第一图像恢复后的目标图像。
另一方面，本申请提供了一种图像处理装置，所述装置包括：
提取模块，用于对待恢复的第一图像进行特征提取，得到所述第一图像的初始特征；
重构模块，用于对所述初始特征进行分辨率提升处理，并基于处理后的特征重构出具有所述第一图像的图像内容、且分辨率高于所述第一图像的第二图像；
获取模块，用于获取所述第二图像在多种关键信息表征方式下的关键区域标示信息；
所述提取模块还用于针对每种关键信息表征方式，通过所述关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取所述关键信息表征方式下的关键区域标示信息的特征，得到所述关键信息表征方式对应的关键区域先验特征；
融合模块，用于对所述处理后的特征和所述多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征；
所述重构模块还用于基于所述融合特征进行图像重构，得到针对第一图像恢复后的目标图像。
在一个实施例中，所述重构模块还用于通过由网络结构搜索处理得到的、且与所述第一图像匹配的上采样网络，对所述初始特征进行上采样处理，得到上采样特征；基于所述上采样特征重构出具有所述第一图像的图像内容、且分辨率高于所述第一图像的第二图像。
在一个实施例中，所述融合模块还用于通过由网络结构搜索处理得到的、且与所述第一图像匹配的特征融合网络，对所述上采样特征和所述多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征。
在一个实施例中，所述在多种关键信息表征方式下的关键区域标示信息，包括在第一表征方式下的关键区域分割图、在第二表征方式下的关键区域热度图和在第三表征方式下的关键部件字典信息中的至少两种。
在一个实施例中，每种关键信息表征方式对应的先验特征提取网络属于已训练的图像质量恢复模型的子网络；所述已训练的图像质量恢复模型还包括上采样网络和特征融合网络；所述分辨率提升处理是由所述上采样网络执行的；所述融合特征是由所述特征融合网络得到的；所述装置还包括：
训练模块，用于获取多个样本图像；所述多个样本图像与所述第一图像的图像质量相近；基于所述多个样本图像，在预设的网络结构搜索空间中进行网络结构搜索处理，并基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络；通过所述多个样本图像对所述初始上采样网络、各所述初始先验特征提取网络、以及所述初始特征融合网络的网络参数进行更新，得到所述上采样网络、与每种关键信息表征方式分别对应的先验特征提取网络、以及所述特征融合网络。
在一个实施例中，所述预设的网络结构搜索空间中包括依次相连的多个网络层；每个所述网络层中包括多个单元格；所述训练模块还用于在本轮迭代中，基于所述多个样本图像，从所述多个网络层中确定当前网络层，针对所述当前网络层中的每个单元格，确定所述单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征，并基于所述单元格与各关联单元格之间的路径权重因子，对各关联单元格的输出特征进行融合，得到所述单元格的输入特征；对所述单元格的输入特征进行相应特征处理，得到所述单元格的输出特征，并将所述单元格的输出特征向下一层网络层中与所述单元格具有路径约束关系的关联单元格输入；将下一层网络层作为当前网络层，返回所述针对所述当前网络层中的每个单元格，确定所述单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征的步骤以继续执行，直至在本轮遍历完每个网络层，得到本轮的输出结果；基于所述本轮的输出结果调整各所述路径权重因子，并将下一轮作为本轮，继续进行迭代，直至满足搜索停止条件，得到搜索到的网络结构，并基于所述搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络。
在一个实施例中，每个所述单元格中包括依次相连的多个特征处理块；所述训练模块还用于确定所述单元格中各特征处理块对应的候选操作的操作权重因子；基于所述单元格的输入特征确定各特征处理块的输入特征，并将所述特征处理块的输入特征分别执行各个候选操作，得到所述特征处理块分别对应于各候选操作的输出特征；将各个特征处理块对应于各候选操作的输出特征按照各候选操作的操作权重因子进行融合，得到所述特征处理块的输出特征；将所述单元格中各个特征处理块的输出特征融合，得到所述单元格的输出特征；基于所述本轮的输出结果调整各所述路径权重因子和各所述操作权重因子，并将下一轮作为本轮，继续进行迭代。
在一个实施例中，所述训练模块还用于针对所述单元格中的每一个特征处理块，将所述单元格的输入特征、以及所述特征处理块在所述单元格中的在先特征处理块的输出特征，作为所述特征处理块的输入特征；所述在先特征处理块，是所述单元格的各个特征处理块中位于所述特征处理块之前的特征处理块。
在一个实施例中，所述目标图像是通过已训练的图像质量恢复模型输出得到；所述训练模块还用于获取样本图像；所述样本图像包括第一样本图像和与所述第一样本图像内容相同的第二样本图像；所述第二样本图像的图像质量高于所述第一样本图像；所述第一样本图像包括第一单因素样本图像和第一多因素样本图像；所述第一单因素样本图像，是分别基于多个不同单因素各自生成的第一样本图像；所述第一多因素样本图像，是基于所述多个不同单因素共同生成的第一样本图像；通过所述样本图像对待训练的图像质量恢复模型进行训练，得到已训练的图像质量恢复模型；所述已训练的图像质量恢复模型，包括每种关键信息表征方式对应的先验特征提取网络。
在一个实施例中，所述训练模块还用于将所述第一样本图像输入至待训练的图像质量恢复模型，以通过所述待训练的图像质量恢复模型对所述第一样本图像进行质量恢复，得到已恢复的图像；基于所述已恢复的图像与所述第二样本图像之间的差异，确定目标损失值；朝着使所述目标损失值减小的方向，对所述待训练的图像质量恢复模型进行迭代训练，直至达到迭代停止条件，得到已训练的图像质量恢复模型。
在一个实施例中，所述训练模块还用于基于所述已恢复的图像与所述第二样本图像之间的像素差异，确定第一损失值；分别提取所述已恢复的图像的第一特征和所述第二样本图像的第二特征；基于所述第一特征和所述第二特征之间的特征差异，确定第二损失值；基于所述第一损失值和所述第二损失值，确定目标损失值。
在一个实施例中，所述目标图像通过已训练的图像质量恢复模型输出得到；所述图像质量恢复模型包括初始特征提取网络；所述初始特征提取网络包括卷积层和残差层；所述残差层包括至少一个残差全连接单元；所述提取模块还用于将待恢复的第一图像输入至所述卷积层，以通过所述卷积层对所述待恢复的第一图像进行卷积，得到卷积后的特征；将所述卷积后的特征输入至所述残差层，以通过所述残差层中的所述至少一个残差全连接单元对所述卷积后的特征进行处理，得到所述第一图像的初始特征。
另一方面，本申请提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
对待恢复的第一图像进行特征提取，得到所述第一图像的初始特征；
对所述初始特征进行分辨率提升处理，并基于处理后的特征重构出具有所述第一图像的图像内容、且分辨率高于所述第一图像的第二图像；
获取所述第二图像在多种关键信息表征方式下的关键区域标示信息；
针对每种关键信息表征方式，通过所述关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取所述关键信息表征方式下的关键区域标示信息的特征，得到所述关键信息表征方式对应的关键区域先验特征；
对所述处理后的特征和所述多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征；
基于所述融合特征进行图像重构，得到针对第一图像恢复后的目标图像。
另一方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
对待恢复的第一图像进行特征提取，得到所述第一图像的初始特征；
对所述初始特征进行分辨率提升处理，并基于处理后的特征重构出具有所述第一图像的图像内容、且分辨率高于所述第一图像的第二图像；
获取所述第二图像在多种关键信息表征方式下的关键区域标示信息；
针对每种关键信息表征方式，通过所述关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取所述关键信息表征方式下的关键区域标示信息的特征，得到所述关键信息表征方式对应的关键区域先验特征；
对所述处理后的特征和所述多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征；
基于所述融合特征进行图像重构，得到针对第一图像恢复后的目标图像。
另一方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现以下步骤：
对待恢复的第一图像进行特征提取，得到所述第一图像的初始特征；
对所述初始特征进行分辨率提升处理，并基于处理后的特征重构出具有所述第一图像的图像内容、且分辨率高于所述第一图像的第二图像；
获取所述第二图像在多种关键信息表征方式下的关键区域标示信息；
针对每种关键信息表征方式，通过所述关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取所述关键信息表征方式下的关键区域标示信息的特征，得到所述关键信息表征方式对应的关键区域先验特征；
对所述处理后的特征和所述多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征；
基于所述融合特征进行图像重构，得到针对第一图像恢复后的目标图像。
上述图像处理方法、装置、设备、介质和计算机程序产品，通过对待恢复的第一图像进行特征提取，可以得到第一图像的初始特征，对初始特征进行分辨率提升处理，可以得到分辨率高于初始特征的处理后的特征，基于处理后的特征可以重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像。获取第二图像在多种关键信息表征方式下的关键区域标示信息，针对每种关键信息表征方式，通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，可以提取关键信息表征方式下的关键区域标示信息的特征，得到关键信息表征方式对应的关键区域先验特征，进而对处理后的特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，可以得到融合特征，基于融合特征进行图像重构，可以获得针对第一图像恢复后的、且图像质量高于第一图像和第二图像的目标图像。相较于传统的人工设计的网络，本申请通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，可以提取到关键信息表征方式下的、且效果更好的关键区域标示信息的特征，同时，通过对分辨率提升处理后的特征、以及多种关键信息表征方式分别对应的关键区域先验特征进行融合，可以得到更为丰富的融合特征，进而基于该融合特征可以重构出图像质量较高的目标图像，从而提升了恢复得到的图像质量。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中确定网络结构中各单元格的原理示意图；
图4为一个实施例中各单元格的输出特征获取原理示意图；
图5为一个实施例中图像质量恢复模型的模型结构示意图；
图6为另一个实施例中图像处理方法的流程示意图；
图7为一个实施例中图像处理装置的结构框图；
图8为另一个实施例中图像处理装置的结构框图；
图9为一个实施例中计算机设备的内部结构图；
图10为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、智能电视、便携式可穿戴设备和车载终端，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
服务器104可对待恢复的第一图像进行特征提取，得到第一图像的初始特征，对初始特征进行分辨率提升处理，并基于处理后的特征重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像。服务器104可获取第二图像在多种关键信息表征方式下的关键区域标示信息，针对每种关键信息表征方式，通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取关键信息表征方式下的关键区域标示信息的特征，得到关键信息表征方式对应的关键区域先验特征。服务器104可对处理后的特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征，并基于融合特征进行图像重构，得到针对第一图像恢复后的目标图像。
可以理解，终端102可以提供待恢复的第一图像，服务器104可对待恢复的第一图像进行特征提取。服务器104也可从本地存储单元中直接获取待恢复的第一图像。本实施例对此不做限定，可以理解，图1中的应用场景仅为示意说明，并不限定于此。
在一个实施例中，如图2所示，提供了一种图像处理方法，该方法可应用于计算机设备，计算机设备可以是终端或服务器，由终端或服务器自身单独执行。可以理解，本申请的方法也可以通过终端和服务器之间的交互来实现。本实施例以该方法应用于计算机设备为例进行说明，包括以下步骤：
步骤202，对待恢复的第一图像进行特征提取，得到第一图像的初始特征。
其中，第一图像是图像质量较低的图像，图像质量较低可以是图像模糊、图像含有噪声、图像分辨率较低和图像被压缩等中的至少一种。可以理解，通过本申请的图像处理方法，可实现对图像质量较低的第一图像进行图像质量恢复。初始特征，是从第一图像中直接提取得到的、且未经过特征处理的图像特征。
在一个实施例中，图像可以包含各种场景的图像，比如，图像具体可以是人脸图像、人物图像、动物图像、植物图像、风景图像和建筑物图像等中的至少一种。
具体地，计算机设备可获取图像质量较低的待恢复的第一图像，并对待恢复的第一图像进行特征提取处理，以从对待恢复的第一图像中获取到该第一图像的初始特征。
在一个实施例中，计算机设备对待恢复的第一图像进行特征提取处理，具体可以是先对待恢复的第一图像进行卷积处理，以从第一图像中提取到卷积后的特征。进而，计算机设备可将从第一图像中提取到的卷积后的特征输入至残差网络，以通过残差网络对从第一图像中提取到的卷积后的特征进行进一步的特征处理，得到第一图像的初始特征。
步骤204，对初始特征进行分辨率提升处理，并基于处理后的特征重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像。
其中，分辨率提升处理，是指对初始特征的分辨率进行提升的处理方式。处理后的特征，是指对初始特征进行分辨率提升处理之后的图像特征。处理后的特征的分辨率高于分辨率提升处理之前的初始特征的分辨率。可以理解，特征的分辨率是指特征图的分辨率。图像内容，是指图像中的场景所描述的内容。第二图像，是基于分辨率提升处理后的特征直接重构得到的图像，可以理解，虽然第二图像的分辨率高于第一图像的分辨率，即第二图像的图像质量高于第一图像的图像质量，但第二图像是仅在对第一图像进行质量恢复过程中存在的图像，并不作为质量恢复最终的输出图像。重构是指图像重构，即对编码后的图像特征进行解码，以得到可感知的图像的过程。
具体地，第一图像的初始特征的分辨率较低，为获取到分辨率更高的图像特征，计算机设备可对初始特征进行分辨率提升处理，得到分辨率提升处理后的特征。进而，计算机设备可基于分辨率高于初始特征的通过分辨率提升处理后的特征进行图像重构处理，以重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像。
在一个实施例中，计算机设备可将第一图像的初始特征，输入至分辨率提升网络，以通过分辨率提升网络对第一图像的初始特征进行分辨率提升处理，得到分辨率提升处理后的特征。进而，计算机设备可基于通过分辨率提升处理后的特征进行图像重构处理，以获得出具有第一图像的图像内容、且分辨率高于第一图像的第二图像。
在一个实施例中，分辨率提升网络具体可以是通过由网络结构搜索处理得到的网络，也可以是通过人工预先构造得到的网络。可以理解，人工预先构造得到的网络，其网络结构是预先设置好的，而通过由网络结构搜索处理得到的网络，是基于从预设的网络结构搜索空间中搜索得到的网络结构构建得到的。
步骤206，获取第二图像在多种关键信息表征方式下的关键区域标示信息。
其中，关键信息表征方式，是用于表征图像中关键信息的方式。关键信息，是指图像中的关键区域的信息。关键区域，是指图像中较为重要的区域。关键区域标示信息，是用于标示图像中的关键区域的信息。举例说明，若图像是人脸图像，则该人脸图像的关键区域可以包括眼睛所在区域、鼻子所在区域和嘴巴所在区域等中的至少一个区域。该人脸图像的关键区域标示信息，可以是用于标示眼睛所在区域、鼻子所在区域和嘴巴所在区域等中的至少一个区域的信息。可以理解，图像的关键区域，可通过多种不同的关键信息表征方式来进行表征。比如，针对人脸图像，可通过多种不同的关键信息表征方式来表征人的嘴巴所在区域。可以理解，通过关键区域标示信息标示出图像的关键区域，可以在后续图像质量恢复过程中，赋予标示出的关键区域相较于其他非关键区域更高的恢复权重，以在图像质量恢复过程中给予图像的关键区域更高的关注，从而实现对图像的关键区域的重点恢复。
具体地，计算机设备可分别获取第二图像在多种关键信息表征方式下的关键区域标示信息。
在一个实施例中，在多种关键信息表征方式下的关键区域标示信息，具体可以包括在第一表征方式下的关键区域分割图、在第二表征方式下的关键区域热度图和在第三表征方式下的关键部件字典信息中的至少两种。
在一个实施例中，若图像是人脸图像，则关键区域分割图可包括人脸关键区域分割图、关键区域热度图具体可包括人脸关键区域热度图、以及关键部件字典信息可包括人脸关键部件字典信息。
上述实施例中，通过关键区域分割图、关键区域热度图和关键部件字典信息中的至少两种关键区域标示信息来标示图像的关键区域，可以更准确定位到图像中需要重点恢复的关键区域，从而可以提升后续图像恢复得到的图像质量。
步骤208，针对每种关键信息表征方式，通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取关键信息表征方式下的关键区域标示信息的特征，得到关键信息表征方式对应的关键区域先验特征。
其中，网络结构搜索处理，是指在预设的网络结构搜索空间中搜索出一个网络结构，并基于搜索得到的网络结构构建相应神经网络的处理方式。可以理解，预设的网络结构搜索空间中可以包括多条构造网络的路径，通过本申请的网络结构搜索处理，可从多条构造网络的路径中搜索一条最优的路径，并可基于搜索的路径确定网络结构。先验特征提取网络，是用于从关键区域标示信息中提取先验特征的网络。先验特征，是满足基于先验知识所构建的约束条件的特征。关键区域先验特征，是从关键区域标示信息中提取得到的先验特征。
具体地，计算机设备中部署有多种关键信息表征方式分别对应的、且由网络结构搜索处理得到的先验特征提取网络。针对每种关键信息表征方式，计算机设备可将该种关键信息表征方式下的关键区域标示信息，输入至该种关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，以通过该种关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，对该种关键信息表征方式下的关键区域标示信息进行特征提取处理，得到到该种关键信息表征方式下的关键区域标示信息的特征。计算机设备可将该种关键信息表征方式下的关键区域标示信息的特征，作为该种关键信息表征方式对应的关键区域先验特征。
步骤210，对处理后的特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征。
其中，融合特征，是对处理后的特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合所得到的特征。可以理解，融合特征既包括处理后的特征的信息，又包括多种关键信息表征方式分别对应的关键区域先验特征的信息。
具体地，计算机设备可将处理后的特征、以及多种关键信息表征方式分别对应的关键区域先验特征进行特征融合处理，并将特征融合处理后得到的特征作为融合特征。
在一个实施例中，计算机设备对处理后的特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，具体可以是将处理后的特征和多种关键信息表征方式分别对应的关键区域先验特征进行特征拼接，也可以是将处理后的特征和多种关键信息表征方式分别对应的关键区域先验特征进行加权运算。本申请实施例对特征融合的方式不做具体限定。
步骤212，基于融合特征进行图像重构，得到针对第一图像恢复后的目标图像。
其中，目标图像，是作为目标的图像，可以理解，目标图像是图像质量恢复处理最终输出的图像。
具体地，计算机设备可基于融合特征进行图像重构，并将重构后的图像作为针对第一图像恢复后的目标图像。可以理解，经图像质量恢复后的目标图像的图像内容，与第一图像和第二图像的图像内容相同，且经图像质量恢复后的目标图像的图像质量高于第一图像和第二图像的质量。
上述图像处理方法中，通过对待恢复的第一图像进行特征提取，可以得到第一图像的初始特征，对初始特征进行分辨率提升处理，可以得到分辨率高于初始特征的处理后的特征，基于处理后的特征可以重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像。获取第二图像在多种关键信息表征方式下的关键区域标示信息，针对每种关键信息表征方式，通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，可以提取关键信息表征方式下的关键区域标示信息的特征，得到关键信息表征方式对应的关键区域先验特征，进而对处理后的特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，可以得到融合特征，基于融合特征进行图像重构，可以获得针对第一图像恢复后的、且图像质量高于第一图像和第二图像的目标图像。相较于传统的人工设计的网络，本申请通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，可以提取到关键信息表征方式下的、且效果更好的关键区域标示信息的特征，同时，通过对分辨率提升处理后的特征、以及多种关键信息表征方式分别对应的关键区域先验特征进行融合，可以得到更为丰富的融合特征，进而基于该融合特征可以重构出图像质量较高的目标图像，从而提升了恢复得到的图像质量。
在一个实施例中，对初始特征进行分辨率提升处理，并基于处理后的特征重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像，包括：通过由网络结构搜索处理得到的、且与第一图像匹配的上采样网络，对初始特征进行上采样处理，得到上采样特征；基于上采样特征重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像。
其中，上采样网络是上述分辨率提升网络中的其中一种。可以理解，分辨率提升网络还可以包括其他可以实现提升特征分辨率的网络，比如，向上卷积网络。上采样特征，是对初始特征进行上采样处理得到的特征，可以理解，上采样特征的分辨率高于初始特征的分辨率。
具体地，计算机设备可将初始特征，输入至由网络结构搜索处理得到的、且与第一图像匹配的上采样网络，以通过由网络结构搜索处理得到的、且与第一图像匹配的上采样网络，对初始特征进行上采样处理，输出上采样特征。进而，计算机设备可基于上采样特征，重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像。
在一个实施例中，计算机设备可通过由网络结构搜索处理得到的、且与第一图像匹配的上采样网络，对初始特征进行上采样处理，得到上采样特征，基于上采样特征重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像。进而，计算机设备可获取第二图像在多种关键信息表征方式下的关键区域标示信息，针对每种关键信息表征方式，通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取关键信息表征方式下的关键区域标示信息的特征，得到关键信息表征方式对应的关键区域先验特征。计算机设备可将上采样特征和多种关键信息表征方式分别对应的关键区域先验特征，输入至人工构造的特征融合网络，以通过人工构造的特征融合网络对上采样特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征，基于融合特征进行图像重构，得到针对第一图像恢复后的目标图像。
上述实施例中，通过由网络结构搜索处理得到的、且与第一图像匹配的上采样网络，对初始特征进行上采样处理，相较于传统的通过人工构造的特征处理网络，可以得到更丰富的上采样特征，基于更丰富的上采样特征，可以重构出图像质量更高的第二图像。
在一个实施例中，对处理后的特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征，包括：通过由网络结构搜索处理得到的、且与第一图像匹配的特征融合网络，对上采样特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征。
具体地，计算机设备可将上采样特征和多种关键信息表征方式分别对应的关键区域先验特征，输入至由网络结构搜索处理得到的、且与第一图像匹配的特征融合网络，以通过由网络结构搜索处理得到的、且与第一图像匹配的特征融合网络，对上采样特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征。
上述实施例中，通过由网络结构搜索处理得到的、且与第一图像匹配的特征融合网络，相较于传统的通过人工构造的特征融合网络，可以对上采样特征和多种关键信息表征方式分别对应的关键区域先验特征进行更好的特征融合，得到更为准确的融合特征，进而进一步提升恢复得到的图像的质量。
在一个实施例中，每种关键信息表征方式对应的先验特征提取网络属于已训练的图像质量恢复模型的子网络；已训练的图像质量恢复模型还包括上采样网络和特征融合网络；分辨率提升处理是由上采样网络执行的；融合特征是由特征融合网络得到的；得到已训练的图像质量恢复模型的步骤，包括：获取多个样本图像；多个样本图像与第一图像的图像质量相近；基于多个样本图像，在预设的网络结构搜索空间中进行网络结构搜索处理，并基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络；通过多个样本图像对初始上采样网络、各初始先验特征提取网络、以及初始特征融合网络的网络参数进行更新，得到上采样网络、与每种关键信息表征方式分别对应的先验特征提取网络、以及特征融合网络。
其中，样本图像，是在训练过程中用于训练图像质量恢复模型的图像，可以理解，样本图像是在训练过程中用于训练图像质量恢复模型的训练数据。可以理解，多个样本图像与第一图像的图像质量相近，是指多个样本图像与第一图像的图像质量都较低。初始上采样网络，是基于搜索到的网络结构构建的、且网络参数还需要进行更新的上采样网络。初始先验特征提取网络，是基于搜索到的网络结构构建的、且网络参数还需要进行更新的先验特征提取网络。初始特征融合网络，是基于搜索到的网络结构构建的、且网络参数还需要进行更新的特征融合网络。
具体地，计算机设备可获取与第一图像的图像质量相近的多个样本图像，并基于多个样本图像，在预设的网络结构搜索空间中进行网络结构搜索处理，得到搜索到的网络结构。进而，计算机设备可基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络。计算机设备可通过多个样本图像对初始上采样网络、各初始先验特征提取网络、以及初始特征融合网络的网络参数进行迭代更新，直至达到迭代停止条件，得到上采样网络、与每种关键信息表征方式分别对应的先验特征提取网络、以及特征融合网络。
可以理解，在预设的网络结构搜索空间中进行网络结构搜索处理，获取网络结构的过程，以及对基于网络结构构建得到的初始上采样网络、各初始先验特征提取网络、以及初始特征融合网络的网络参数进行更新的过程，都属于图像质量恢复模型的训练过程。
上述实施例中，通过多个样本图像，在预设的网络结构搜索空间中进行网络结构搜索处理，可以搜索到最优的、最适合对样本图像进行图像质量恢复的网络结构，基于搜索到的网络结构，可以构建得到最优的、最适合对样本图像进行图像质量恢复的初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络。进而，通过多个样本图像对初始上采样网络、各初始先验特征提取网络、以及初始特征融合网络的网络参数进行更新，可以得到图像质量恢复效果更好的上采样网络、与每种关键信息表征方式分别对应的先验特征提取网络、以及特征融合网络，进一步提升恢复后的图像的质量。
在一个实施例中，预设的网络结构搜索空间中包括依次相连的多个网络层；每个网络层中包括多个单元格；基于多个样本图像，在预设的网络结构搜索空间中进行网络结构搜索处理，并基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络，包括：在本轮迭代中，基于多个样本图像，从多个网络层中确定当前网络层，针对当前网络层中的每个单元格，确定单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征，并基于单元格与各关联单元格之间的路径权重因子，对各关联单元格的输出特征进行融合，得到单元格的输入特征；对单元格的输入特征进行相应特征处理，得到单元格的输出特征，并将单元格的输出特征向下一层网络层中与单元格具有路径约束关系的关联单元格输入；将下一层网络层作为当前网络层，返回针对当前网络层中的每个单元格，确定单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征的步骤以继续执行，直至在本轮遍历完每个网络层，得到本轮的输出结果；基于本轮的输出结果调整各路径权重因子，并将下一轮作为本轮，继续进行迭代，直至满足搜索停止条件，得到搜索到的网络结构，并基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络。
可以理解，网络层的数量可以表征图像质量恢复模型的网络深度，单元格是网络结构的基本组成单元。在先网络层，是指预设的网络结构搜索空间中的、且在当前网络层之前的网络层。路径约束关系，是用于表征相邻的两个网络层中单元格之间特征传递路径的约束关系。比如，第四层网络层中A单元格的输出特征仅可通过三条特征传递路径分别传输至第五层中的A1、A2和A3单元格，而没有特征传递路径可将A单元格的输出特征传递至B1、B2和B3单元格，则第四层网络层中A单元格与第五层中的A1、A2和A3单元格具有路径约束关系，而第四层网络层中A单元格与第五层中的B1、B2和B3单元格不具有路径约束关系。关联单元格，是相邻的两个网络层中具有路径约束关系的关联单元格。路径权重因子，是用于表征将图像特征从上一层网络层的单元格，输入至下一层网络层的各个关联单元格的概率的参数。
在一个实施例中，满足搜索停止条件具体可以是迭代搜索的次数达到预设的搜索次数，或者路径权重因子不再更新。
具体地，在本轮迭代中，计算机设备可基于多个样本图像，从多个网络层中确定当前网络层，针对当前网络层中的每个单元格，确定单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征，并基于上一轮迭代训练得到的单元格与各关联单元格之间的路径权重因子，对各关联单元格的输出特征进行融合，得到单元格的输入特征。计算机设备可对单元格的输入特征进行相应特征处理，得到单元格的输出特征，并将单元格的输出特征向下一层网络层中与单元格具有路径约束关系的关联单元格输入。计算机设备可将下一层网络层作为当前网络层，并返回针对当前网络层中的每个单元格，确定单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征的步骤以继续迭代执行，直至在本轮遍历完每个网络层，得到本轮的输出结果。进而，计算机设备可基于本轮的输出结果调整各路径权重因子，并将下一轮作为本轮，并返回在本轮迭代中，基于多个样本图像，从多个网络层中确定当前网络层，针对当前网络层中的每个单元格，确定单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征的步骤以迭代执行，直至满足搜索停止条件，得到搜索到的网络结构，并基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络。
可以理解，在满足搜索停止条件时，计算机设备可基于路径权重因子，从各个网络层中选择一个目标单元格，并基于所选择的目标单元格，确定搜索得到的网络结构。举例说明，从第一层网络层中选择的目标单元格的输出特征，可作为从第二层网络层中选择的目标单元格的输入特征，从第二层网络层中选择的目标单元格的输出特征，可作为从第三层网络层中选择的目标单元格的输入特征，以此类推，直至传递至预设的网络结构搜索空间中的多个网络层，计算机设备可将最后一层网络层中选择的目标单元格的输出特征，作为基于该网络结构生成得到的相应网络的输出。
在一个实施例中，在多个网络层中，每一层网络层可包括多个可选的上采样因子。举例说明，网络层数共包括6层，每一层网络层均可包括4个可选的上采样因子，即{1,2,4,8}。其中，上采样因子是将特征进行分辨率提升处理的因子，比如，若上采样因子取2，则表示将特征的分辨率提升2倍，若上采样因子取8，则表示将特征的分辨率提升8倍。
在一个实施例中，如图3所示，预设的网络结构搜索空间中包括依次相连的L个网络层；每个网络层中包括多个单元格，可以理解，图3中的每一个圆圈代表每一个单元格，每一列单元格代表一个网络层。每一层网络层均可包括4个可选的上采样因子，即{1,2,4,8}。为便于理解，现以第3层网络层作为当前网络层举例说明，针对第3层网络层中的单元格i，单元格i在上一层网络层(即第2层网络层)中具有路径约束关系的关联单元格为q1、q2和q3，单元格i的的下一层网络层(即第4层网络层)中与单元格i具有路径约束关系的关联单元格为j1、j2和j3。针对第3层网络层中的单元格i，计算机设备可确定单元格i在第2层网络层中具有路径约束关系的关联单元格q1、q2和q3的输出特征，并基于单元格i与各关联单元格q1、q2和q3之间的路径权重因子，对各关联单元格q1、q2和q3的输出特征进行融合，得到单元格i的输入特征。计算机设备可对单元格i的输入特征进行相应特征处理，得到单元格i的输出特征，并将单元格i的输出特征向第4层网络层中与单元格i具有路径约束关系的关联单元格j1、j2和j3输入，通过不断进行迭代，直至满足搜索停止条件，可以得到搜索到的网络结构，可以理解，确定网络结构需要在每一个网络层中确定一个作为该网络结构的基本组成单元的单元格，每层选出的单元格所形成的路径即为网络结构。
上述实施例中，通过多个样本图像，可在预设的网络结构搜索空间中进行多轮次的迭代处理，在每一轮迭代过程中，可基于每一轮的输出结果实现对各单元格与单元格之间的路径权重因子的更新，在满足搜索停止条件时，可以得到搜索到的最优的网络结构。基于搜索到的最优的网络结构，可以构建最优的初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络，从而通过最优的初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网对图像进行质量恢复，可以提升恢复得到的图像的质量。
在一个实施例中，每个单元格中包括依次相连的多个特征处理块；对单元格的输入特征进行相应特征处理，得到单元格的输出特征，包括：确定单元格中各特征处理块对应的候选操作的操作权重因子；基于单元格的输入特征确定各特征处理块的输入特征，并将特征处理块的输入特征分别执行各个候选操作，得到特征处理块分别对应于各候选操作的输出特征；将各个特征处理块对应于各候选操作的输出特征按照各候选操作的操作权重因子进行融合，得到特征处理块的输出特征；将单元格中各个特征处理块的输出特征融合，得到单元格的输出特征；基于本轮的输出结果调整各路径权重因子，并将下一轮作为本轮，继续进行迭代，包括：基于本轮的输出结果调整各路径权重因子和各操作权重因子，并将下一轮作为本轮，继续进行迭代。
其中，候选操作，是作为候选的、且对特征进行相应特征处理的操作。候选操作的操作权重因子，是用于表征通过该候选操作对特征进行相应特征处理的概率的参数。
具体地，计算机设备可基于上一轮训练的输出结果，确定单元格中各特征处理块对应的候选操作的操作权重因子。计算机设备可基于单元格的输入特征确定各特征处理块的输入特征，并将特征处理块的输入特征分别执行各个候选操作，得到特征处理块分别对应于各候选操作的输出特征。计算机设备可将各个特征处理块对应于各候选操作的输出特征按照各候选操作的操作权重因子进行融合，得到特征处理块的输出特征。计算机设备可将单元格中各个特征处理块的输出特征进行特征融合，得到单元格的输出特征。计算机设备可基于本轮的输出结果调整各路径权重因子，并将下一轮作为本轮，继续进行迭代，包括：基于本轮的输出结果调整各路径权重因子和各操作权重因子，并将下一轮作为本轮，并返回在本轮迭代中，基于多个样本图像，从多个网络层中确定当前网络层，针对当前网络层中的每个单元格，确定单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征的步骤以迭代执行，直至满足搜索停止条件，得到搜索到的网络结构，并基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络。
在一个实施例中，计算机设备可将单元格的输入特征，直接作为各特征处理块的输入特征。
在一个实施例中，候选操作具体可以包括3*3卷积、5*5卷积、7*7卷积和跳接等特征操作的至少一种。
上述实施例中，在每一轮迭代过程中，可基于每一轮的输出结果实现对各单元格与单元格之间的路径权重因子、以及各候选操作的操作权重因子的更新，在满足搜索停止条件时，可以得到搜索到的最优的网络结构。基于搜索到的最优的网络结构，可以构建最优的初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络，从而通过最优的初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网对图像进行质量恢复，可以提升恢复得到的图像的质量。
在一个实施例中，基于单元格的输入特征确定各特征处理块的输入特征，包括：针对单元格中的每一个特征处理块，将单元格的输入特征、以及特征处理块在单元格中的在先特征处理块的输出特征，作为特征处理块的输入特征；在先特征处理块，是单元格的各个特征处理块中位于特征处理块之前的特征处理块。
具体地，针对单元格中的每一个特征处理块，计算机设备可将单元格的输入特征、以及特征处理块在单元格中的在先特征处理块的输出特征，一起作为特征处理块的输入特征。
在一个实施例中，如图4所示，单元格403的输入特征，包括单元格403所在网络层的上一层网络层中单元格401的输出特征、以及单元格401所在网络层的上一层网络层中单元格402的输出特征。单元格403中包括特征处理块1、特征处理块2和特征处理块3。计算机设备可将单元格403中特征处理块1、特征处理块2和特征处理块3的输出特征进行串接，得到单元格403的输出特征。针对单元格403中的每一个特征处理块，将单元格403的输入特征、以及特征处理块在单元格403中的在先特征处理块的输出特征，作为该特征处理块的输入特征。为便于理解，现以单元格403中的特征处理块2举例说明，单元格403中的特征处理块2的输入特征，包括单元格403的输入特征(即，单元格401的输出特征②和单元格402的输出特征③)、以及特征处理块2在单元格403中的在先特征处理块的输出特征(即，特征处理块1的输出特征①)。
上述实施例中，通过将单元格的输入特征、以及特征处理块在单元格中的在先特征处理块的输出特征一起作为特征处理块的输入特征，可以使得特征处理块的输入特征更为丰富，从而保证特征处理块所属单元格的输出特征更为准确。
在一个实施例中，一个单元格的输入特征，可包括该单元格在预设数量的、且预设层数的在先网络层中具有路径约束关系的关联单元格的输出特征。
在一个实施例中，一个单元格的输入特征可以包括该单元格在上一层网络层中具有路径约束关系的关联单元格的输出特征、该上一层网络层的再上一层网络层中具有路径约束关系的关联单元格的输出特征。一个单元格的输出特征，可以是将单元格中各个特征处理块的输出特征进行串接之后的特征。可以理解，本实施例仅为示例说明，并不对向该单元格输入特征的在先单元格的数量进行具体限定。其中，在先单元格，是该单元格所在网络层之前的网络层中的单元格。
在一个实施例中，一个单元格的输出特征可以通过以下公式表示：
其中，Cell表示单元格，Hl表示第1层单元格的输出特征，Hl-1表示l-1层单元格的输出特征，Hl-2表示表示l-2层单元格的输出特征，Concat表示串接函数，B表示单元格中特征处理块的总数量，表示第1层单元格中的第i个特征处理块的输出特征。
在一个实施例中，针对单元格中的每一个特征处理块，将该单元格的上一层网络层中关联单元格的输出特征、该上一层网络层的再上一层网络层中关联单元格的输出特征、以及特征处理块在单元格中的所有在先特征处理块的输出特征，作为特征处理块的输入特征。
在一个实施例中，单元格中的每一个特征处理块的输入特征可通过以下公式表示：
其中，表示第1层单元格中的第i个特征处理块的输入特征。
在一个实施例中，单元格中的每一个特征处理块的输出特征可通过以下公式表示：
其中，xj表示第i个特征处理块的第j个输入特征，Oj→i(xj)表示对第i个特征处理块的第j个输入特征执行候选操作。
在一个实施例中，可将Oj→i进行以下定义：
其中，表示包括各候选操作o的操作集合，o(xj)表示对第i个特征处理块的第j个输入特征执行候选操作o，/>表示候选操作o的操作权重因子。
在一个实施例中，在网络结构搜索处理过程中，针对每一层网络层中的每一个单元格，该单元格的输入特征，可能是上一层网络层中与该单元格分辨率相同的关联单元格的输出特征，也可能是比该单元格分辨率高出2倍的关联单元格的输出特征，还可能是比该单元格分辨率低2倍的关联单元格的输出特征。
在网络结构搜索处理过程中，通过前向传播可将每一个单元格的输出特征进行如下描述：
其中，s表示上采样因子，a表示每个单元格的超参数，该超参数可通过人为设定，β表示单元格与各关联单元格之间的路径权重因子。路径权重因子β可被归一化为：
其中，表示针对任意的s和任意的l，该归一化公式都适用。
在一个实施例中，目标图像是通过已训练的图像质量恢复模型输出得到；得到已训练的图像质量恢复模型的步骤，包括：获取样本图像；样本图像包括第一样本图像和与第一样本图像内容相同的第二样本图像；第二样本图像的图像质量高于第一样本图像；第一样本图像包括第一单因素样本图像和第一多因素样本图像；第一单因素样本图像，是分别基于多个不同单因素各自生成的第一样本图像；第一多因素样本图像，是基于多个不同单因素共同生成的第一样本图像；通过样本图像对待训练的图像质量恢复模型进行训练，得到已训练的图像质量恢复模型；已训练的图像质量恢复模型，包括每种关键信息表征方式对应的先验特征提取网络。
可以理解，第一样本图像，是在图像质量恢复模型训练过程中的、且用于作为待恢复的图像。第二样本图像，是在图像质量恢复模型训练过程中的、且用于作为目标恢复的图像，可以理解，我们希望第一样本图像通过图像质量恢复模型的图像质量恢复之后的图像的质量，接近第二样本图像的图像质量。单因素，是指由单个因素造成图像质量低的因素。多因素，是指由多个单个因素一同造成图像质量低的因素。
具体地，计算机设备可获取样本图像，并通过获取的样本图像对待训练的图像质量恢复模型进行迭代训练，即不断更新图像质量恢复模型的模型参数，直至达到迭代停止条件，得到已训练的图像质量恢复模型，其中，已训练的图像质量恢复模型，包括每种关键信息表征方式对应的先验特征提取网络。
在一个实施例中，达到迭代停止条件可以是迭代的次数达到预设迭代次数，还可以是图像质量恢复模型的模型参数不再更新。
在一个实施例中，造成图像质量低下的因素具体可以包括模糊、噪声、低分辨率和压缩等中的至少一种。
在一个实施例中，计算机设备可从第一多因素样本图像中提取得到多因素特征，多因素特征可通过以下公式提取得到：
Zfull＝Fφ(Ifull)
其中，Zfull表示多因素特征，Ifull表示第一多因素样本图像，Fφ()表示多因素特征提取网络。
在一个实施例中，第一多因素样本图像可以通过多个不同单因素共同生成得到。可以理解，第一多因素样本图像中的多因素特征可通过多个不同单因素特征叠加得到，多因素特征可通过如下公式表示：
Zfull≈Zblur+Znoise+Zlr+Zjpeg
其中，Zblur表示模糊因素特征，Znoise表示噪声因素特征，Zlr表示低分辨率因素特征，Zjpeg表示压缩因素特征。
在一个实施例中，待训练的图像质量恢复模型从第一单因素样本图像中学习到单因素特征，并从第一多因素样本图像中学习到多因素特征。待训练的图像质量恢复模型学习特征的过程可通过以下公式描述：
Zfull，Zsingle＝Fφ(Ifull，Isingle)
其中，Isingle表示各个第一单因素样本图像，Zsingle表示各个单因素特征。
可以理解，本申请待训练的图像质量恢复模型可在训练过程中，同时学习到多因素特征和各个不同的单因素特征。
上述实施例中，通过第一单因素样本图像和第一多因素样本图像对待训练的图像质量恢复模型进行模型训练，可使得图像质量恢复模型在训练过程中同时学习到各个造成图像质量较低的单因素的特征，以及由多个因素叠加得到的造成图像质量较低的多因素的特征，使得训练得到的图像质量恢复模型可广泛适用于由各种因素导致的低质量图像的图像质量恢复。
在一个实施例中，通过样本图像对待训练的图像质量恢复模型进行训练，得到已训练的图像质量恢复模型，包括：将第一样本图像输入至待训练的图像质量恢复模型，以通过待训练的图像质量恢复模型对第一样本图像进行质量恢复，得到已恢复的图像；基于已恢复的图像与第二样本图像之间的差异，确定目标损失值；朝着使目标损失值减小的方向，对待训练的图像质量恢复模型进行迭代训练，直至达到迭代停止条件，得到已训练的图像质量恢复模型。
其中，已恢复的图像，是在对图像质量恢复模型进行模型训练的过程中，对作为训练数据的第一样本图像进行图像质量恢复得到的图像。目标损失值，是在对图像质量恢复模型进行模型训练的过程中，作为目标的损失值。
具体地，计算机设备可将第一样本图像输入至待训练的图像质量恢复模型，以通过待训练的图像质量恢复模型对第一样本图像进行质量恢复，得到已恢复的图像。计算机设备可确定已恢复的图像与第二样本图像之间的差异，并基于已恢复的图像与第二样本图像之间的差异，确定目标损失值。计算机设备可朝着使目标损失值减小的方向，对待训练的图像质量恢复模型进行迭代训练，直至达到迭代停止条件，得到已训练的图像质量恢复模型。
在一个实施例中，计算机设备可确定已恢复的图像与第二样本图像之间的像素差异，并基于已恢复的图像与第二样本图像之间的像素差异直接确定目标损失函数。
在一个实施例中，计算机设备可确定已恢复的图像的特征和第二样本图像的特征之间的特征差异，并基于已恢复的图像的特征和第二样本图像的特征之间的特征差异直接确定目标损失函数。
上述实施例中，通过已恢复的图像与第二样本图像之间的差异所确定目标损失值，实现对图像质量恢复模型的训练，可以提升已训练的图像质量恢复模型的图像质量恢复效果，从而获得质量更好的图像。
在一个实施例中，基于已恢复的图像与第二样本图像之间的差异，确定目标损失值，包括：基于已恢复的图像与第二样本图像之间的像素差异，确定第一损失值；分别提取已恢复的图像的第一特征和第二样本图像的第二特征；基于第一特征和第二特征之间的特征差异，确定第二损失值；基于第一损失值和第二损失值，确定目标损失值。
其中，第一损失值，是基于已恢复的图像与第二样本图像之间的像素差异确定得到的损失值。第二损失值，是基于已恢复的图像的特征和第二样本图像的特征之间的特征差异确定得到的损失值。第一特征，是从已恢复的图像中提取得到的特征。第二特征，是从第二样本图像中提取得到的特征。
具体地，计算机设备可确定已恢复的图像与第二样本图像之间的像素差异，并基于已恢复的图像与第二样本图像之间的像素差异，确定第一损失值。计算机设备可分别提取已恢复的图像的第一特征和第二样本图像的第二特征，并确定第一特征和第二特征之间的特征差异。进而，计算机设备可基于第一特征和第二特征之间的特征差异，确定第二损失值，并基于第一损失值和第二损失值，确定目标损失值。
在一个实施例中，目标损失值可通过目标损失函数确定得到，目标损失函数如下：
其中，表示目标损失值，/>表示第二样本图像，IHQ表示已恢复的图像，φ()表示预训练得到的特征提取网络，通过预训练得到的特征提取网络φ()可提取已恢复的图像的第一特征，以及提取第二样本图像的第二特征。λper表示预先设置的损失权重。
上述实施例中，通过基于已恢复的图像与第二样本图像之间的像素差异确定的第一损失值、以及基于第一特征和第二特征之间的特征差异确定的第二损失值，确定目标损失值，并基于目标损失值实现对图像质量恢复模型的训练，可以提升已训练的图像质量恢复模型的图像质量恢复效果，从而获得质量更好的图像，进一步提升恢复的图像的质量。
在一个实施例中，目标图像通过已训练的图像质量恢复模型输出得到；图像质量恢复模型包括初始特征提取网络；初始特征提取网络包括卷积层和残差层；残差层包括至少一个残差全连接单元；对待恢复的第一图像进行特征提取，得到第一图像的初始特征，包括：将待恢复的第一图像输入至卷积层，以通过卷积层对待恢复的第一图像进行卷积，得到卷积后的特征；将卷积后的特征输入至残差层，以通过残差层中的至少一个残差全连接单元对卷积后的特征进行处理，得到第一图像的初始特征。
其中，初始特征提取网络，是用于从待恢复的第一图像中提取初始特征的网络。残差全连接单元中包括多个卷积层、以及位于各个卷积层之间的激活层，每个残差全连接单元中的每个卷积层与其后面的所有卷积层相连。
具体地，计算机设备可获取待恢复的第一图像，并将待恢复的第一图像输入至卷积层，以通过卷积层对待恢复的第一图像进行卷积，得到卷积后的特征。进而，计算机设备可将卷积后的特征输入至残差层，以通过残差层中的至少一个残差全连接单元对卷积后的特征进行处理，得到第一图像的初始特征。
上述实施例中，通过卷积层对待恢复的第一图像进行卷积，可以得到卷积后的特征，进而通过残差层中的至少一个残差全连接单元对卷积后的特征进行处理，可以得到更丰富的第一图像的初始特征，基于第一图像的初始特征实现后续的图像质量恢复，可提升恢复后的图像的质量。
在一个实施例中，如图5所示，图像质量恢复模型可包括初始特征提取网络502、由网络结构搜索处理得到的上采样网络503、分割网络504a1、热度图生成网络504b1、字典信息提取网络504c1、由网络结构搜索处理得到的、且与每种关键信息表征方式分别对应的先验特征提取网络(即，先验特征提取网络504a2、先验特征提取网络504b2、以及先验特征提取网络504c2)、由网络结构搜索处理得到的特征融合网络505、以及对特征融合网络输出的融合特征进行特征处理的像素重建处理层、三个卷积层、三个残差单元、以及三个向上卷积层。其中，初始特征提取网络502中包括卷积层和残差层，残差层中包括三个残差全连接单元，每个残差全连接单元中包括五个卷积层a和四个激活层b，这五个卷积层a中的每一个卷积层a都和其后面的卷积层a进行相连。
参照图5，在训练图像质量恢复模型的过程中，计算机设备可通过第一多因素样本图像501a和多种第一单因素样本图像501b对图像质量恢复模型进行训练。
同样参照图5，在图像质量恢复模型训练完成、并实际应用过程中，计算机设备可获取待恢复的第一图像，并将待恢复的第一图像输入至初始特征提取网络502中，以通过初始特征提取网络502中的卷积层和残差层进行特征提取，以得到第一图像的初始特征。计算机设备可将第一图像的初始特征输入至上采样网络503，以通过上采样网络503对所述初始特征进行上采样处理，得到上采样特征。计算机设备可基于上采样特征重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像501c。计算机设备可通过分割网络504a1获取第二图像501c在第一表征方式下的关键区域分割图、通过热度图生成网络504b1获取在第二表征方式下的关键区域热度图、以及通过字典信息提取网络504c1获取在第三表征方式下的关键部件字典信息。计算机设备可通过与第一表征方式对应的先验特征提取网络504a2，提取第一表征方式下的关键区域标示信息的特征，得到第一表征方式对应的关键区域先验特征，通过与第二表征方式对应的先验特征提取网络504b2，提取第二表征方式下的关键区域标示信息的特征，得到第二表征方式对应的关键区域先验特征，通过与第三表征方式对应的先验特征提取网络504c2，提取第三表征方式下的关键区域标示信息的特征，得到第三表征方式对应的关键区域先验特征。计算机设备可通过特征融合网络505，对上采样特征、以及在第一表征方式、第二表征方式和第三表征方式下分别对应的关键区域先验特征进行融合，得到融合特征。进而，计算机设备可通过像素重建处理层、三个卷积层、三个残差单元、以及三个向上卷积层，对融合特征进行图像重构，得到针对第一图像恢复后的目标图像506。
如图6所示，在一个实施例中，提供了一种图像处理方法，该方法可应用于计算机设备，计算机设备可以是终端或服务器，由终端或服务器自身单独执行。可以理解，本申请的方法也可以通过终端和服务器之间的交互来实现。该方法具体包括以下步骤：
步骤602，获取多个样本图像；样本图像包括第一样本图像和与第一样本图像内容相同的第二样本图像；第二样本图像的图像质量高于第一样本图像；第一样本图像包括第一单因素样本图像和第一多因素样本图像；第一单因素样本图像，是分别基于多个不同单因素各自生成的第一样本图像；第一多因素样本图像，是基于多个不同单因素共同生成的第一样本图像。
步骤604，在本轮迭代中，基于多个样本图像，从预设的网络结构搜索空间的多个网络层中确定当前网络层；预设的网络结构搜索空间中包括依次相连的多个网络层；每个网络层中包括多个单元格；每个单元格中包括依次相连的多个特征处理块。
步骤606，针对当前网络层中的每个单元格，确定单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征。
步骤608，基于单元格与各关联单元格之间的路径权重因子，对各关联单元格的输出特征进行融合，得到单元格的输入特征。
步骤610，确定单元格中各特征处理块对应的候选操作的操作权重因子。
步骤612，针对单元格中的每一个特征处理块，将单元格的输入特征、以及特征处理块在单元格中的在先特征处理块的输出特征，作为特征处理块的输入特征。
步骤614，将特征处理块的输入特征分别执行各个候选操作，得到特征处理块分别对应于各候选操作的输出特征。
步骤616，将各个特征处理块对应于各候选操作的输出特征按照各候选操作的操作权重因子进行融合，得到特征处理块的输出特征。
步骤618，将单元格中各个特征处理块的输出特征融合，得到单元格的输出特征，并将单元格的输出特征向下一层网络层中与单元格具有路径约束关系的关联单元格输入。
步骤620，将下一层网络层作为当前网络层，返回针对当前网络层中的每个单元格，确定单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征的步骤以继续执行，直至在本轮遍历完每个网络层，得到本轮的输出结果。
步骤622，基于本轮的输出结果调整各路径权重因子和各操作权重因子，并将下一轮作为本轮，继续进行迭代，直至满足搜索停止条件，得到搜索到的网络结构。
步骤624，基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络。
步骤626，通过多个样本图像对初始上采样网络、各初始先验特征提取网络、以及初始特征融合网络的网络参数进行更新，得到上采样网络、与每种关键信息表征方式分别对应的先验特征提取网络、以及特征融合网络。
步骤628，对待恢复的第一图像进行特征提取，得到第一图像的初始特征。
步骤630，通过由网络结构搜索处理得到的、且与第一图像匹配的上采样网络，对初始特征进行上采样处理，得到上采样特征。
步骤632，基于上采样特征重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像；获取第二图像在多种关键信息表征方式下的关键区域标示信息。
在一个实施例中，在多种关键信息表征方式下的关键区域标示信息，包括在第一表征方式下的关键区域分割图、在第二表征方式下的关键区域热度图和在第三表征方式下的关键部件字典信息中的至少两种。
步骤634，针对每种关键信息表征方式，通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取关键信息表征方式下的关键区域标示信息的特征，得到关键信息表征方式对应的关键区域先验特征。
步骤636，通过由网络结构搜索处理得到的、且与第一图像匹配的特征融合网络，对上采样特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征。
步骤638，基于融合特征进行图像重构，得到针对第一图像恢复后的目标图像。
本申请还提供一种应用场景，该应用场景应用上述的图像处理方法。具体地，该图像处理方法可应用于人脸图像质量恢复的场景。计算机设备可获取多个样本人脸图像；样本人脸图像包括第一样本人脸图像和与第一样本人脸图像内容相同的第二样本人脸图像；第二样本人脸图像的人脸图像质量高于第一样本人脸图像；第一样本人脸图像包括第一单因素样本人脸图像和第一多因素样本人脸图像；第一单因素样本人脸图像，是分别基于多个不同单因素各自生成的第一样本人脸图像；第一多因素样本人脸图像，是基于多个不同单因素共同生成的第一样本人脸图像。在本轮迭代中，基于多个样本人脸图像，从预设的网络结构搜索空间的多个网络层中确定当前网络层；预设的网络结构搜索空间中包括依次相连的多个网络层；每个网络层中包括多个单元格；每个单元格中包括依次相连的多个特征处理块。针对当前网络层中的每个单元格，确定单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征。基于单元格与各关联单元格之间的路径权重因子，对各关联单元格的输出特征进行融合，得到单元格的输入特征。确定单元格中各特征处理块对应的候选操作的操作权重因子。针对单元格中的每一个特征处理块，将单元格的输入特征、以及特征处理块在单元格中的在先特征处理块的输出特征，作为特征处理块的输入特征。将特征处理块的输入特征分别执行各个候选操作，得到特征处理块分别对应于各候选操作的输出特征。将各个特征处理块对应于各候选操作的输出特征按照各候选操作的操作权重因子进行融合，得到特征处理块的输出特征。将单元格中各个特征处理块的输出特征融合，得到单元格的输出特征，并将单元格的输出特征向下一层网络层中与单元格具有路径约束关系的关联单元格输入。将下一层网络层作为当前网络层，返回针对当前网络层中的每个单元格，确定单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征的步骤以继续执行，直至在本轮遍历完每个网络层，得到本轮的输出结果。基于本轮的输出结果调整各路径权重因子和各操作权重因子，并将下一轮作为本轮，继续进行迭代，直至满足搜索停止条件，得到搜索到的网络结构。
计算机设备可基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络。通过多个样本人脸图像对初始上采样网络、各初始先验特征提取网络、以及初始特征融合网络的网络参数进行更新，得到上采样网络、与每种关键信息表征方式分别对应的先验特征提取网络、以及特征融合网络。
计算机设备可对待恢复的第一人脸图像进行特征提取，得到第一人脸图像的初始特征。通过由网络结构搜索处理得到的、且与第一人脸图像匹配的上采样网络，对初始特征进行上采样处理，得到上采样特征。基于上采样特征重构出具有第一人脸图像的人脸图像内容、且分辨率高于第一人脸图像的第二人脸图像；获取第二人脸图像在多种关键信息表征方式下的关键区域标示信息。针对每种关键信息表征方式，通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取关键信息表征方式下的关键区域标示信息的特征，得到关键信息表征方式对应的关键区域先验特征。通过由网络结构搜索处理得到的、且与第一人脸图像匹配的特征融合网络，对上采样特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征。基于融合特征进行人脸图像重构，得到针对第一人脸图像恢复后的目标人脸图像。
本申请还另外提供一种应用场景，该应用场景应用上述的图像处理方法。具体地，该图像处理方法可应用于动物图像质量恢复的场景、植物图像质量恢复的场景、人物图像质量恢复的场景、风景图像质量恢复的场景、以及建筑物图像质量恢复的场景。
举例说明，针对动物图像质量恢复的场景，通过本申请的图像处理方法，计算机设备可对待恢复的第一动物图像进行特征提取，得到第一动物图像的初始特征，将初始特征进行分辨率提升处理，可得到处理后的特征。基于初始特征构造第二动物图像，并对处理后的特征、以及多种关键信息表征方式分别对应的第二动物图像的关键区域先验特征进行融合，得到融合特征，进而基于融合特征重可以构出图像质量高于第一动物图像的目标动物图像，这样，可以提升经过图像质量恢复后的目标动物图像的图像质量。
应该理解的是，虽然上述各实施例的流程图中的各个步骤按照顺序依次显示，但是这些步骤并不是必然按照顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种图像处理装置700，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：
提取模块702，用于对待恢复的第一图像进行特征提取，得到第一图像的初始特征；
重构模块704，用于对初始特征进行分辨率提升处理，并基于处理后的特征重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像；
获取模块706，用于获取第二图像在多种关键信息表征方式下的关键区域标示信息；
提取模块702还用于针对每种关键信息表征方式，通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取关键信息表征方式下的关键区域标示信息的特征，得到关键信息表征方式对应的关键区域先验特征；
融合模块708，用于对处理后的特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征；
重构模块704还用于基于融合特征进行图像重构，得到针对第一图像恢复后的目标图像。
在一个实施例中，重构模块704还用于通过由网络结构搜索处理得到的、且与第一图像匹配的上采样网络，对初始特征进行上采样处理，得到上采样特征；基于上采样特征重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像。
在一个实施例中，融合模块708还用于通过由网络结构搜索处理得到的、且与第一图像匹配的特征融合网络，对上采样特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征。
在一个实施例中，在多种关键信息表征方式下的关键区域标示信息，包括在第一表征方式下的关键区域分割图、在第二表征方式下的关键区域热度图和在第三表征方式下的关键部件字典信息中的至少两种。
在一个实施例中，每种关键信息表征方式对应的先验特征提取网络属于已训练的图像质量恢复模型的子网络；已训练的图像质量恢复模型还包括上采样网络和特征融合网络；分辨率提升处理是由上采样网络执行的；融合特征是由特征融合网络得到的.参考图8，图像处理装置700还可以包括：
训练模块710，用于获取多个样本图像；多个样本图像与第一图像的图像质量相近；基于多个样本图像，在预设的网络结构搜索空间中进行网络结构搜索处理，并基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络；通过多个样本图像对初始上采样网络、各初始先验特征提取网络、以及初始特征融合网络的网络参数进行更新，得到上采样网络、与每种关键信息表征方式分别对应的先验特征提取网络、以及特征融合网络。
在一个实施例中，预设的网络结构搜索空间中包括依次相连的多个网络层；每个网络层中包括多个单元格；训练模块710还用于在本轮迭代中，基于多个样本图像，从多个网络层中确定当前网络层，针对当前网络层中的每个单元格，确定单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征，并基于单元格与各关联单元格之间的路径权重因子，对各关联单元格的输出特征进行融合，得到单元格的输入特征；对单元格的输入特征进行相应特征处理，得到单元格的输出特征，并将单元格的输出特征向下一层网络层中与单元格具有路径约束关系的关联单元格输入；将下一层网络层作为当前网络层，返回针对当前网络层中的每个单元格，确定单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征的步骤以继续执行，直至在本轮遍历完每个网络层，得到本轮的输出结果；基于本轮的输出结果调整各路径权重因子，并将下一轮作为本轮，继续进行迭代，直至满足搜索停止条件，得到搜索到的网络结构，并基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络。
在一个实施例中，每个单元格中包括依次相连的多个特征处理块；训练模块710还用于确定单元格中各特征处理块对应的候选操作的操作权重因子；基于单元格的输入特征确定各特征处理块的输入特征，并将特征处理块的输入特征分别执行各个候选操作，得到特征处理块分别对应于各候选操作的输出特征；将各个特征处理块对应于各候选操作的输出特征按照各候选操作的操作权重因子进行融合，得到特征处理块的输出特征；将单元格中各个特征处理块的输出特征融合，得到单元格的输出特征；基于本轮的输出结果调整各路径权重因子和各操作权重因子，并将下一轮作为本轮，继续进行迭代。
在一个实施例中，训练模块710还用于针对单元格中的每一个特征处理块，将单元格的输入特征、以及特征处理块在单元格中的在先特征处理块的输出特征，作为特征处理块的输入特征；在先特征处理块，是单元格的各个特征处理块中位于特征处理块之前的特征处理块。
在一个实施例中，目标图像是通过已训练的图像质量恢复模型输出得到；训练模块710还用于获取样本图像；样本图像包括第一样本图像和与第一样本图像内容相同的第二样本图像；第二样本图像的图像质量高于第一样本图像；第一样本图像包括第一单因素样本图像和第一多因素样本图像；第一单因素样本图像，是分别基于多个不同单因素各自生成的第一样本图像；第一多因素样本图像，是基于多个不同单因素共同生成的第一样本图像；通过样本图像对待训练的图像质量恢复模型进行训练，得到已训练的图像质量恢复模型；已训练的图像质量恢复模型，包括每种关键信息表征方式对应的先验特征提取网络。
在一个实施例中，训练模块710还用于将第一样本图像输入至待训练的图像质量恢复模型，以通过待训练的图像质量恢复模型对第一样本图像进行质量恢复，得到已恢复的图像；基于已恢复的图像与第二样本图像之间的差异，确定目标损失值；朝着使目标损失值减小的方向，对待训练的图像质量恢复模型进行迭代训练，直至达到迭代停止条件，得到已训练的图像质量恢复模型。
在一个实施例中，训练模块710还用于基于已恢复的图像与第二样本图像之间的像素差异，确定第一损失值；分别提取已恢复的图像的第一特征和第二样本图像的第二特征；基于第一特征和第二特征之间的特征差异，确定第二损失值；基于第一损失值和第二损失值，确定目标损失值。
在一个实施例中，目标图像通过已训练的图像质量恢复模型输出得到；图像质量恢复模型包括初始特征提取网络；初始特征提取网络包括卷积层和残差层；残差层包括至少一个残差全连接单元；提取模块702还用于将待恢复的第一图像输入至卷积层，以通过卷积层对待恢复的第一图像进行卷积，得到卷积后的特征；将卷积后的特征输入至残差层，以通过残差层中的至少一个残差全连接单元对卷积后的特征进行处理，得到第一图像的初始特征。
上述图像处理装置，通过对待恢复的第一图像进行特征提取，可以得到第一图像的初始特征，对初始特征进行分辨率提升处理，可以得到分辨率高于初始特征的处理后的特征，基于处理后的特征可以重构出具有第一图像的图像内容、且分辨率高于第一图像的第二图像。获取第二图像在多种关键信息表征方式下的关键区域标示信息，针对每种关键信息表征方式，通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，可以提取关键信息表征方式下的关键区域标示信息的特征，得到关键信息表征方式对应的关键区域先验特征，进而对处理后的特征和多种关键信息表征方式分别对应的关键区域先验特征进行融合，可以得到融合特征，基于融合特征进行图像重构，可以获得针对第一图像恢复后的、且图像质量高于第一图像和第二图像的目标图像。相较于传统的人工设计的网络，本申请通过关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，可以提取到关键信息表征方式下的、且效果更好的关键区域标示信息的特征，同时，通过对分辨率提升处理后的特征、以及多种关键信息表征方式分别对应的关键区域先验特征进行融合，可以得到更为丰富的融合特征，进而基于该融合特征可以重构出图像质量较高的目标图像，从而提升了恢复得到的图像质量。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9和图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：
对待恢复的第一图像进行特征提取，得到所述第一图像的初始特征；
对所述初始特征进行分辨率提升处理，并基于处理后的特征重构出具有所述第一图像的图像内容、且分辨率高于所述第一图像的第二图像；
获取所述第二图像在多种关键信息表征方式下的关键区域标示信息；
针对每种关键信息表征方式，通过所述关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取所述关键信息表征方式下的关键区域标示信息的特征，得到所述关键信息表征方式对应的关键区域先验特征；
对所述处理后的特征和所述多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征；
基于所述融合特征进行图像重构，得到针对第一图像恢复后的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述初始特征进行分辨率提升处理，并基于处理后的特征重构出具有所述第一图像的图像内容、且分辨率高于所述第一图像的第二图像，包括：
通过由网络结构搜索处理得到的、且与所述第一图像匹配的上采样网络，对所述初始特征进行上采样处理，得到上采样特征；
基于所述上采样特征重构出具有所述第一图像的图像内容、且分辨率高于所述第一图像的第二图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述处理后的特征和所述多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征，包括：
通过由网络结构搜索处理得到的、且与所述第一图像匹配的特征融合网络，对所述上采样特征和所述多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征。
4.根据权利要求1所述的方法，其特征在于，所述在多种关键信息表征方式下的关键区域标示信息，包括在第一表征方式下的关键区域分割图、在第二表征方式下的关键区域热度图和在第三表征方式下的关键部件字典信息中的至少两种。
5.根据权利要求1所述的方法，其特征在于，每种关键信息表征方式对应的先验特征提取网络属于已训练的图像质量恢复模型的子网络；所述已训练的图像质量恢复模型还包括上采样网络和特征融合网络；所述分辨率提升处理是由所述上采样网络执行的；所述融合特征是由所述特征融合网络得到的；得到所述已训练的图像质量恢复模型的步骤，包括：
获取多个样本图像；所述多个样本图像与所述第一图像的图像质量相近；
基于所述多个样本图像，在预设的网络结构搜索空间中进行网络结构搜索处理，并基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络；
通过所述多个样本图像对所述初始上采样网络、各所述初始先验特征提取网络、以及所述初始特征融合网络的网络参数进行更新，得到所述上采样网络、与每种关键信息表征方式分别对应的先验特征提取网络、以及所述特征融合网络。
6.根据权利要求5所述的方法，其特征在于，所述预设的网络结构搜索空间中包括依次相连的多个网络层；每个所述网络层中包括多个单元格；所述基于所述多个样本图像，在预设的网络结构搜索空间中进行网络结构搜索处理，并基于搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络，包括：
在本轮迭代中，基于所述多个样本图像，从所述多个网络层中确定当前网络层，针对所述当前网络层中的每个单元格，确定所述单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征，并基于所述单元格与各关联单元格之间的路径权重因子，对各关联单元格的输出特征进行融合，得到所述单元格的输入特征；
对所述单元格的输入特征进行相应特征处理，得到所述单元格的输出特征，并将所述单元格的输出特征向下一层网络层中与所述单元格具有路径约束关系的关联单元格输入；
将下一层网络层作为当前网络层，返回所述针对所述当前网络层中的每个单元格，确定所述单元格在至少部分在先网络层中具有路径约束关系的关联单元格的输出特征的步骤以继续执行，直至在本轮遍历完每个网络层，得到本轮的输出结果；
基于所述本轮的输出结果调整各所述路径权重因子，并将下一轮作为本轮，继续进行迭代，直至满足搜索停止条件，得到搜索到的网络结构，并基于所述搜索到的网络结构构建初始上采样网络、与每种关键信息表征方式分别对应的初始先验特征提取网络、以及初始特征融合网络。
7.根据权利要求6所述的方法，其特征在于，每个所述单元格中包括依次相连的多个特征处理块；所述对所述单元格的输入特征进行相应特征处理，得到所述单元格的输出特征，包括：
确定所述单元格中各特征处理块对应的候选操作的操作权重因子；
基于所述单元格的输入特征确定各特征处理块的输入特征，并将所述特征处理块的输入特征分别执行各个候选操作，得到所述特征处理块分别对应于各候选操作的输出特征；
将各个特征处理块对应于各候选操作的输出特征按照各候选操作的操作权重因子进行融合，得到所述特征处理块的输出特征；
将所述单元格中各个特征处理块的输出特征融合，得到所述单元格的输出特征；
所述基于所述本轮的输出结果调整各所述路径权重因子，并将下一轮作为本轮，继续进行迭代，包括：
基于所述本轮的输出结果调整各所述路径权重因子和各所述操作权重因子，并将下一轮作为本轮，继续进行迭代。
8.根据权利要求7所述的方法，其特征在于，所述基于所述单元格的输入特征确定各特征处理块的输入特征，包括：
针对所述单元格中的每一个特征处理块，将所述单元格的输入特征、以及所述特征处理块在所述单元格中的在先特征处理块的输出特征，作为所述特征处理块的输入特征；
所述在先特征处理块，是所述单元格的各个特征处理块中位于所述特征处理块之前的特征处理块。
9.根据权利要求1所述的方法，其特征在于，所述目标图像是通过已训练的图像质量恢复模型输出得到；得到所述已训练的图像质量恢复模型的步骤，包括：
获取样本图像；所述样本图像包括第一样本图像和与所述第一样本图像内容相同的第二样本图像；所述第二样本图像的图像质量高于所述第一样本图像；所述第一样本图像包括第一单因素样本图像和第一多因素样本图像；所述第一单因素样本图像，是分别基于多个不同单因素各自生成的第一样本图像；所述第一多因素样本图像，是基于所述多个不同单因素共同生成的第一样本图像；
通过所述样本图像对待训练的图像质量恢复模型进行训练，得到已训练的图像质量恢复模型；所述已训练的图像质量恢复模型，包括每种关键信息表征方式对应的先验特征提取网络。
10.根据权利要求9所述的方法，其特征在于，所述通过所述样本图像对待训练的图像质量恢复模型进行训练，得到已训练的图像质量恢复模型，包括
将所述第一样本图像输入至待训练的图像质量恢复模型，以通过所述待训练的图像质量恢复模型对所述第一样本图像进行质量恢复，得到已恢复的图像；
基于所述已恢复的图像与所述第二样本图像之间的差异，确定目标损失值；
朝着使所述目标损失值减小的方向，对所述待训练的图像质量恢复模型进行迭代训练，直至达到迭代停止条件，得到已训练的图像质量恢复模型。
11.根据权利要求10所述的方法，其特征在于，所述基于所述已恢复的图像与所述第二样本图像之间的差异，确定目标损失值，包括：
基于所述已恢复的图像与所述第二样本图像之间的像素差异，确定第一损失值；
分别提取所述已恢复的图像的第一特征和所述第二样本图像的第二特征；
基于所述第一特征和所述第二特征之间的特征差异，确定第二损失值；
基于所述第一损失值和所述第二损失值，确定目标损失值。
12.根据权利要求1至11中任一项所述的方法，其特征在于，所述目标图像通过已训练的图像质量恢复模型输出得到；所述图像质量恢复模型包括初始特征提取网络；所述初始特征提取网络包括卷积层和残差层；所述残差层包括至少一个残差全连接单元；所述对待恢复的第一图像进行特征提取，得到所述第一图像的初始特征，包括：
将待恢复的第一图像输入至所述卷积层，以通过所述卷积层对所述待恢复的第一图像进行卷积，得到卷积后的特征；
将所述卷积后的特征输入至所述残差层，以通过所述残差层中的所述至少一个残差全连接单元对所述卷积后的特征进行处理，得到所述第一图像的初始特征。
13.一种图像处理装置，其特征在于，所述装置包括：
提取模块，用于对待恢复的第一图像进行特征提取，得到所述第一图像的初始特征；
重构模块，用于对所述初始特征进行分辨率提升处理，并基于处理后的特征重构出具有所述第一图像的图像内容、且分辨率高于所述第一图像的第二图像；
获取模块，用于获取所述第二图像在多种关键信息表征方式下的关键区域标示信息；
所述提取模块还用于针对每种关键信息表征方式，通过所述关键信息表征方式对应的、且由网络结构搜索处理得到的先验特征提取网络，提取所述关键信息表征方式下的关键区域标示信息的特征，得到所述关键信息表征方式对应的关键区域先验特征；
融合模块，用于对所述处理后的特征和所述多种关键信息表征方式分别对应的关键区域先验特征进行融合，得到融合特征；
所述重构模块还用于基于所述融合特征进行图像重构，得到针对第一图像恢复后的目标图像。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
16.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202210126073.XA 2022-02-10 2022-02-10 图像处理方法、装置、设备、介质和计算机程序产品 Pending CN116630168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210126073.XA CN116630168A (zh) 2022-02-10 2022-02-10 图像处理方法、装置、设备、介质和计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210126073.XA CN116630168A (zh) 2022-02-10 2022-02-10 图像处理方法、装置、设备、介质和计算机程序产品

Publications (1)

Publication Number Publication Date
CN116630168A true CN116630168A (zh) 2023-08-22

Family

ID=87601345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210126073.XA Pending CN116630168A (zh) 2022-02-10 2022-02-10 图像处理方法、装置、设备、介质和计算机程序产品

Country Status (1)

Country Link
CN (1) CN116630168A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379597A (zh) * 2021-05-19 2021-09-10 宜宾电子科技大学研究院 人脸超分辨率重构方法
CN113658040A (zh) * 2021-07-14 2021-11-16 西安理工大学 一种基于先验信息和注意力融合机制的人脸超分辨方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379597A (zh) * 2021-05-19 2021-09-10 宜宾电子科技大学研究院 人脸超分辨率重构方法
CN113658040A (zh) * 2021-07-14 2021-11-16 西安理工大学 一种基于先验信息和注意力融合机制的人脸超分辨方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林杰;李如意;: "基于深度学习的图像识别处理", 网络安全技术与应用, no. 11, 15 November 2017 (2017-11-15) *

Similar Documents

Publication Publication Date Title
CN108230278B (zh) 一种基于生成对抗网络的图像去雨滴方法
CN109885709A (zh) 一种基于自编码预降维的图像检索方法、装置和存储介质
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN112200041A (zh) 视频动作识别方法、装置、存储介质与电子设备
CN110874575A (zh) 一种脸部图像处理方法及相关设备
Feng et al. Generative memory-guided semantic reasoning model for image inpainting
Hu et al. Dear-gan: Degradation-aware face restoration with gan prior
CN116958534A (zh) 一种图像处理方法、图像处理模型的训练方法和相关装置
CN113781324A (zh) 一种老照片修复方法
CN110135428A (zh) 图像分割处理方法和装置
CN110866866B (zh) 图像仿色处理方法、装置、电子设备及存储介质
She et al. Facial image inpainting algorithm based on attention mechanism and dual discriminators
Liao et al. TransRef: Multi-scale reference embedding transformer for reference-guided image inpainting
CN116258923A (zh) 图像识别模型训练方法、装置、计算机设备和存储介质
CN116630168A (zh) 图像处理方法、装置、设备、介质和计算机程序产品
CN113822790B (zh) 一种图像处理方法、装置、设备及计算机可读存储介质
Li et al. Semantic prior-driven fused contextual transformation network for image inpainting
CN111553961B (zh) 线稿对应色图的获取方法和装置、存储介质和电子装置
CN115115910A (zh) 图像处理模型的训练方法、使用方法、装置、设备及介质
CN114511024A (zh) 节点分类方法、装置、设备、介质和计算机程序产品
Guo et al. An Offline Assistance Tool for Visually Impaired People Based on Image Captioning
CN116645700B (zh) 特征提取模型处理方法、装置和特征提取方法、装置
Wu et al. Semantic image inpainting based on generative adversarial networks
US20230385992A1 (en) Generating modified digital images via image inpainting using multi-guided patch match and intelligent curation
CN117974707A (zh) 图像分割模型的训练方法、图像分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40091091

Country of ref document: HK