CN113256556A - 一种图像选择方法及装置 - Google Patents

一种图像选择方法及装置 Download PDF

Info

Publication number
CN113256556A
CN113256556A CN202110332938.3A CN202110332938A CN113256556A CN 113256556 A CN113256556 A CN 113256556A CN 202110332938 A CN202110332938 A CN 202110332938A CN 113256556 A CN113256556 A CN 113256556A
Authority
CN
China
Prior art keywords
image
candidate
processing model
weight
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110332938.3A
Other languages
English (en)
Inventor
马柯德
曹佩蓓
刘毅
邹学益
许松岑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110332938.3A priority Critical patent/CN113256556A/zh
Publication of CN113256556A publication Critical patent/CN113256556A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像选择方法，应用于人工智能领域，方法包括：获取多个候选图像，通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到每个候选图像对应的第一处理图像和第二处理图像，获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异，并根据图像质量差异，从多个候选图像中选择M个目标图像。本申请将各个候选图像对应的图像质量差异作为测试样本的选择依据，保证第一图像处理模型和第二图像处理模型在处理同一个测试样本时得到的输出图像之间的图像质量差异较大，从而帮图像质量评测人员更容易从主观上判断出第一图像处理模型和第二图像处理模型之间的性能优劣。

Description

一种图像选择方法及装置
技术领域
本申请涉及人工智能领域，尤其涉及一种图像选择方法及装置。
背景技术
人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
在进行图像处理模型的性能比较时，对于真实世界的对比测试场景，往往无法获得理想的参考图像。从而导致在评价模型的性能比较时，无法使用有参考质量评价指标(例如峰值信噪比(peak signal-to-noise ratio，PSNR)、结构相似性(structuralsimilarity，SSIM)等)进行客观评估。因此，往往仍需要专家进行主观的模型性能评估。
在进行主观的模型性能评估时，需要进行性能比较的模型需要处理同一张测试样本，然后基于处理结果来进行性能评估，然而现有技术并不能选择出能更准确地体现模型之间性能差异的测试样本。
发明内容
第一方面，本申请提供了一种图像选择方法，所述方法包括：
获取多个候选图像；
其中，可以获取到多个候选图像，以及需要进行性能比较的第一图像处理模型和第二图像处理模型，其中，第一图像处理模型和第二图像处理模型可以用于实现一个图像处理任务，图像增强任务例如可以是图像增强任务，多个候选图像可以是针对于图像增强任务的测试样本集。示例性的，图像增强任务为去雾，则多个候选图像可以是针对去雾场景的大规模测试样本集。
通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到所述每个候选图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务；所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；其中，所谓“处理”可以理解为模型的推理过程。
获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异，并根据所述图像质量差异，从所述多个候选图像中选择M个目标图像，所述M个目标图像用于作为所述第一图像处理模型和所述第二图像处理模型在进行性能比较时的测试样本。
其中，图像质量可以用于表征图像还原真实场景的程度，或者称之为图像的逼真度，图像越接近于真实场景，则图像的逼真度越高，进而图像质量越高；此外，图像质量还可以用于表征图像的可读懂性，可读懂性是指由图像能向人或机器提供信息的能力，它不仅与图像系统的应用要求有关，而且常常与人眼的主观感觉有关，可读懂性越高，图像质量越高。在一种实现中，用于评价图像质量的指标可以包括分辨率、色彩深度、图像失真等方面。
为了能够使得专家或其他人员可以更准确的进行第一图像处理模型和第二图像处理模型的性能比较，需要保证第一图像处理模型和第二图像处理模型在处理同一个测试样本时得到的输出图像之间的图像质量差异较大，进而可以很准确的基于输出图像的质量来确定出第一图像处理模型和第二图像处理模型之间的性能优劣。
本申请实施例将各个候选图像对应的图像质量差异作为测试样本的选择依据，保证第一图像处理模型和第二图像处理模型在处理同一个测试样本时得到的输出图像之间的图像质量差异较大，从而帮图像质量评测人员更容易从主观上判断出第一图像处理模型和第二图像处理模型之间的性能优劣。
在一种可能的实现中，所述根据所述图像质量差异，从所述多个候选图像中选择M个目标图像，包括：
根据每个候选图像对应的图像质量差异，从所述多个候选图像中选择对应的图像质量差异大于第一阈值的M个目标图像。
在一种实现中，可以从多个候选图像中选择对应的图像质量差异最大的M个目标图像。
本申请实施例可以保证第一图像处理模型和第二图像处理模型在处理同一个测试样本时得到的输出图像之间的图像质量差异较大，从而帮图像质量评测人员更容易从主观上判断出第一图像处理模型和第二图像处理模型之间的性能优劣。
在一种可能的实现中，所述方法还包括：
获取每个候选图像与所述多个候选图像中除自身之外的其他候选图像之间的图像内容差异；
所述根据所述图像质量差异，从所述多个候选图像中选择M个目标图像，包括：
根据每个候选图像对应的所述图像质量差异和所述图像内容差异，从所述多个候选图像中选择M个目标图像。
其中，图像内容差异可以指示图像中背景区域或前景区域中目标主体之间的差异。
以图像内容差异前景区域中目标主体之间的差异为例，包括人物的图像和包括非人的动物(或者没有生命的物体，例如建筑物等等)的图像之间的图像内容差异大于都包括人物的图像之间的图像内容差异，而包括不同人物的图像之间的图像内容差异大于包括同一个人物的图像之间的图像内容差异。
在一种可能的实现中，可以使用传统方法如尺度不变特征变换(scale-invariantfeature transform，SIFT)或卷积神经网络CNN来提取各个候选图像的图像特征，得到各个候选图像的图像特征向量，用于对图像内容进行表征，其中图像特征可以包括图像的颜色特征、纹理特征、形状特征和空间关系特征等。然后计算每个候选图像的图像特征向量与其他候选图像的图像特征向量之间的距离度量，距离度量可以表达出图像之间的内容差异，内容差异越大，则表示该候选图像的图像内容与其他候选图像差异越大。
应理解，距离度量也可以称为度量相似性，通过计算两个多维数据之间的距离度量，可以确定两个多维数据之间的相似度。一般地，两个多维数据之间的距离度量越小，两个多维数据之间的相似度就越高，差异度就越小；相反，两个多维数据之间的距离度量越大，两个多维数据之间的相似度就越小，差异度就越大。示例性地，该距离度量可以包括均方误差(Mean Squared Error，MES)距离、L1距离或均方误差MSE等距离。应理解，除了MES距离和L1距离之外，还可以是基于其他的距离度量来确定图像内容差异度，本实施例并不对距离度量的方式做具体限定。
本申请实施例将各个候选图像之间的图像内容差异作为测试样本的选择依据，可以挑选出内容差异更大的测试样本，进而可以保证测试样本的采样覆盖的场景足够全面，确保测试结果的可靠性。
在一种可能的实现中，所述根据每个候选图像对应的所述图像质量差异和所述图像内容差异，从所述多个候选图像中选择M个目标图像，包括：
根据每个候选图像对应的所述图像质量差异和所述图像内容差异，确定所述每个候选图像的被选择权重，所述被选择权重与所述图像质量差异以及所述图像内容差异正相关；
根据所述每个候选图像的被选择权重，从所述多个候选图像中选择被选择权重大于第二阈值的M个目标图像。
在一种实现中，可以从所述多个候选图像中选择被选择权重最大的所述M个目标图像。
在一种可能的实现中，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
其中，所述图像质量差异和所述图像内容差异所对应的权重可以由用户根据需要进行调节，具体取决于用户更关心质量差异，还是样本的多样性差异。
在一种可能的实现中，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
本申请实施例中，第一图像处理网络以及第二图像处理网络可以用于实现图像增强任务，所谓图像增强任务可以理解为用于增强视频的质量的任务，例如所述图像增强任务可以为视频去噪任务、视频去雾任务、超分辨率任务或高动态范围任务等等，这里并不限定。
第二方面，本申请提供了一种图像选择装置，所述装置包括：
获取模块，用于获取多个候选图像；
图像处理模块，用于通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到所述每个候选图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务；所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；
图像选择模块，用于获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异，并根据所述图像质量差异，从所述多个候选图像中选择M个目标图像，所述M个目标图像用于作为所述第一图像处理模型和所述第二图像处理模型在进行性能比较时的测试样本。
为了能够使得专家或其他人员可以更准确的进行第一图像处理模型和第二图像处理模型的性能比较，需要保证第一图像处理模型和第二图像处理模型在处理同一个测试样本时得到的输出图像之间的图像质量差异较大，进而可以很准确的基于输出图像的质量来确定出第一图像处理模型和第二图像处理模型之间的性能优劣。
本申请实施例将各个候选图像对应的图像质量差异作为测试样本的选择依据，保证第一图像处理模型和第二图像处理模型在处理同一个测试样本时得到的输出图像之间的图像质量差异较大，从而帮图像质量评测人员更容易从主观上判断出第一图像处理模型和第二图像处理模型之间的性能优劣。
在一种可能的实现中，所述图像选择模块，用于根据每个候选图像对应的图像质量差异，从所述多个候选图像中选择对应的图像质量差异大于第一阈值的M个目标图像。
本申请实施例可以保证第一图像处理模型和第二图像处理模型在处理同一个测试样本时得到的输出图像之间的图像质量差异较大，从而帮图像质量评测人员更容易从主观上判断出第一图像处理模型和第二图像处理模型之间的性能优劣。
在一种实现中，可以从多个候选图像中选择对应的图像质量差异最大的M个目标图像。
在一种可能的实现中，所述获取模块，用于获取每个候选图像与所述多个候选图像中除自身之外的其他候选图像之间的图像内容差异；
所述图像选择模块，用于根据每个候选图像对应的所述图像质量差异和所述图像内容差异，从所述多个候选图像中选择M个目标图像。
其中，图像内容差异可以指示图像中背景区域和/或前景区域中目标主体之间的差异。
以图像内容差异前景区域中目标主体之间的差异为例，包括人物的图像和包括非人的动物(或者没有生命的物体，例如建筑物等等)的图像之间的图像内容差异大于都包括人物的图像之间的图像内容差异，而包括不同人物的图像之间的图像内容差异大于包括同一个人物的图像之间的图像内容差异。
在一种可能的实现中，可以使用传统方法如尺度不变特征变换(scale-invariantfeature transform，SIFT)或卷积神经网络CNN来提取各个候选图像的图像特征，得到各个候选图像的图像特征向量，用于对图像内容进行表征，其中图像特征可以包括图像的颜色特征、纹理特征、形状特征和空间关系特征等。然后计算每个候选图像的图像特征向量与其他候选图像的图像特征向量之间的距离度量，距离度量可以表达出图像之间的内容差异，内容差异越大，则表示该候选图像的图像内容与其他候选图像差异越大。
应理解，距离度量也可以称为度量相似性，通过计算两个多维数据之间的距离度量，可以确定两个多维数据之间的相似度。一般地，两个多维数据之间的距离度量越小，两个多维数据之间的相似度就越高，差异度就越小；相反，两个多维数据之间的距离度量越大，两个多维数据之间的相似度就越小，差异度就越大。示例性地，该距离度量可以包括均方误差(Mean Squared Error，MES)距离、L1距离或均方误差MSE等距离。应理解，除了MES距离和L1距离之外，还可以是基于其他的距离度量来确定图像内容差异度，本实施例并不对距离度量的方式做具体限定。
本申请实施例将各个候选图像之间的图像内容差异作为测试样本的选择依据，可以挑选出内容差异更大的测试样本，进而可以保证测试样本的采样覆盖的场景足够全面，确保测试结果的可靠性。
在一种可能的实现中，所述图像选择模块，用于根据每个候选图像对应的所述图像质量差异和所述图像内容差异，确定所述每个候选图像的被选择权重，所述被选择权重与所述图像质量差异以及所述图像内容差异正相关；
根据所述每个候选图像的被选择权重，从所述多个候选图像中选择被选择权重大于第二阈值的M个目标图像。
在一种实现中，可以从所述多个候选图像中选择被选择权重最大的所述M个目标图像。
在一种可能的实现中，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
其中，所述图像质量差异和所述图像内容差异所对应的权重可以由用户根据需要进行调节，具体取决于用户更关心质量差异，还是样本的多样性差异。
在一种可能的实现中，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
本申请实施例中，第一图像处理网络以及第二图像处理网络可以用于实现图像增强任务，所谓图像增强任务可以理解为用于增强视频的质量的任务，例如所述图像增强任务可以为视频去噪任务、视频去雾任务、超分辨率任务或高动态范围任务等等，这里并不限定。
第三方面，本申请提供了一种图像选择方法，所述方法包括：
获取多个候选图像；
获取每个候选图像与所述多个候选图像中除自身之外的其他候选图像之间的图像内容差异；其中，图像内容差异可以指示图像中背景区域和/或前景区域中目标主体之间的差异。以图像内容差异前景区域中目标主体之间的差异为例，包括人物的图像和包括非人的动物(或者没有生命的物体，例如建筑物等等)的图像之间的图像内容差异大于都包括人物的图像之间的图像内容差异，而包括不同人物的图像之间的图像内容差异大于包括同一个人物的图像之间的图像内容差异。
根据每个候选图像对应的所述图像内容差异，从所述多个候选图像中选择M个目标图像。
本申请实施例将各个候选图像之间的图像内容差异作为测试样本的选择依据，可以挑选出内容差异更大的测试样本，进而可以保证测试样本的采样覆盖的场景足够全面，确保测试结果的可靠性。
在一种可能的实现中，所述根据每个候选图像对应的所述图像内容差异，从所述多个候选图像中选择M个目标图像，包括：
根据每个候选图像对应的所述图像内容差异，从所述多个候选图像中选择图像内容差异大于第三阈值的M个目标图像。
在一种可能的实现中，所述方法还包括：
通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到所述每个候选图像对应的第一处理图像和第二处理图像；
获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异；
所述根据每个候选图像对应的所述图像内容差异，从所述多个候选图像中选择M个目标图像，包括：
根据每个候选图像对应的所述图像质量差异和所述图像内容差异，从所述多个候选图像中选择M个目标图像。
在一种可能的实现中，所述根据每个候选图像对应的所述图像质量差异和所述图像内容差异，从所述多个候选图像中选择M个目标图像，包括：
根据每个候选图像对应的所述图像质量差异和所述图像内容差异，确定所述每个候选图像的被选择权重，所述被选择权重与所述图像质量差异以及所述图像内容差异正相关；
根据所述每个候选图像的被选择权重，从所述多个候选图像中选择被选择权重大于第二阈值的M个目标图像。
在一种可能的实现中，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
其中，所述图像质量差异和所述图像内容差异所对应的权重可以由用户根据需要进行调节，具体取决于用户更关心质量差异，还是样本的多样性差异。
在一种可能的实现中，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
本申请实施例中，第一图像处理网络以及第二图像处理网络可以用于实现图像增强任务，所谓图像增强任务可以理解为用于增强视频的质量的任务，例如所述图像增强任务可以为视频去噪任务、视频去雾任务、超分辨率任务或高动态范围任务等等，这里并不限定。
第四方面，本申请提供了一种图像选择装置，所述装置包括：
获取模块，用于获取多个候选图像；
获取每个候选图像与所述多个候选图像中除自身之外的其他候选图像之间的图像内容差异；
图像选择模块，用于根据每个候选图像对应的所述图像内容差异，从所述多个候选图像中选择M个目标图像。
本申请实施例将各个候选图像之间的图像内容差异作为测试样本的选择依据，可以挑选出内容差异更大的测试样本，进而可以保证测试样本的采样覆盖的场景足够全面，确保测试结果的可靠性。
在一种可能的实现中，所述图像选择模块，用于根据每个候选图像对应的所述图像内容差异，从所述多个候选图像中选择图像内容差异大于第三阈值的M个目标图像。
在一种可能的实现中，所述装置还包括：
图像处理模块，用于通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到所述每个候选图像对应的第一处理图像和第二处理图像；
所述获取模块，用于获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异；
所述图像选择模块，用于根据每个候选图像对应的所述图像质量差异和所述图像内容差异，从所述多个候选图像中选择M个目标图像。
在一种可能的实现中，所述图像选择模块，用于根据每个候选图像对应的所述图像质量差异和所述图像内容差异，确定所述每个候选图像的被选择权重，所述被选择权重与所述图像质量差异以及所述图像内容差异正相关；
根据所述每个候选图像的被选择权重，从所述多个候选图像中选择被选择权重大于第二阈值的M个目标图像。
在一种可能的实现中，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
在一种可能的实现中，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
第五方面，本申请实施例提供了一种模型测试方法，所述方法包括：
获取M个目标图像；
通过第一图像处理模型和第二图像处理模型分别处理每个目标图像，以得到所述每个目标图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务，所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；且所述每个目标图像对应的第一处理图像和第二处理图像之间的图像质量差异大于第一阈值；
获取模型测试结果，所述模型测试结果用于表示所述第一图像处理模型和所述第二图像处理模型之间的性能比较结果，所述模型测试结果为根据所述每个目标图像对应的第一处理图像和第二处理图像确定的。
本申请实施例，第一图像处理模型和第二图像处理模型在处理同一个目标图像时得到的输出图像之间的图像质量差异较大，从而帮图像质量评测人员更容易从主观上判断出第一图像处理模型和第二图像处理模型之间的性能优劣。
在一种可能的实现中，所述M个目标图像中每个目标图像的被选择权重大于第二阈值，所述每个目标图像的被选择权重与每个目标图像对应的所述图像质量差异以及图像内容差异正相关，其中，所述每个目标图像对应的图像内容差异用于表示每个目标图像与所述多个目标图像中除自身之外的其他目标图像之间的图像内容差异。
本申请实施例，各个目标图像之间的图像内容差异较大，也就是M个目标图像所覆盖的场景足够全面，确保了测试结果的可靠性。
在一种可能的实现中，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
在一种可能的实现中，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
第六方面，本申请实施例提供了一种模型测试装置，所述装置包括：
获取模块，用于获取M个目标图像；
图像处理模块，用于通过第一图像处理模型和第二图像处理模型分别处理每个目标图像，以得到所述每个目标图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务，所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；且所述每个目标图像对应的第一处理图像和第二处理图像之间的图像质量差异大于第一阈值；所述每个目标图像对应的第一处理图像和第二处理图像用于进行所述第一图像处理模型和所述第二图像处理模型之间的性能比较；
所述获取模块，还用于获取模型测试结果，所述模型测试结果用于表示所述第一图像处理模型和所述第二图像处理模型之间的性能比较结果，所述模型测试结果为根据所述每个目标图像对应的第一处理图像和第二处理图像确定的。
本申请实施例，第一图像处理模型和第二图像处理模型在处理同一个目标图像时得到的输出图像之间的图像质量差异较大，从而帮图像质量评测人员更容易从主观上判断出第一图像处理模型和第二图像处理模型之间的性能优劣。
在一种可能的实现中，所述M个目标图像中每个目标图像的被选择权重大于第二阈值，所述每个目标图像的被选择权重与每个目标图像对应的所述图像质量差异以及图像内容差异正相关，其中，所述每个目标图像对应的图像内容差异用于表示每个目标图像与所述多个目标图像中除自身之外的其他目标图像之间的图像内容差异。
本申请实施例，各个目标图像之间的图像内容差异较大，也就是M个目标图像所覆盖的场景足够全面，确保了测试结果的可靠性。
在一种可能的实现中，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
在一种可能的实现中，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
第七方面，本申请实施例提供了一种图像选择装置，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，以执行如上述第一方面、第二方面、第五方面以及任一可选的方法。
第八方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如上述第一方面、第二方面、第五方面以及任一可选的方法。
第九方面，本申请实施例提供了一种计算机程序，包括代码，当代码被执行时，用于实现上述第一方面、第二方面、第五方面以及任一可选的方法。
第十方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持执行设备或训练设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据；或，信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存执行设备或训练设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
本申请实施例提供了一种图像选择方法，其特征在于，所述方法包括：获取多个候选图像；通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到所述每个候选图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务；所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异，并根据所述图像质量差异，从所述多个候选图像中选择M个目标图像，所述M个目标图像用于作为所述第一图像处理模型和所述第二图像处理模型在进行性能比较时的测试样本。通过上述方式，将各个候选图像对应的图像质量差异作为测试样本的选择依据，保证第一图像处理模型和第二图像处理模型在处理同一个测试样本时得到的输出图像之间的图像质量差异较大，从而帮图像质量评测人员更容易从主观上判断出第一图像处理模型和第二图像处理模型之间的性能优劣。
此外，还将各个候选图像之间的图像内容差异作为测试样本的选择依据，可以挑选出内容差异更大的测试样本，进而可以保证测试样本的采样覆盖的场景足够全面，确保测试结果的可靠性。
附图说明
图1为人工智能主体框架的一种结构示意图；
图2为本申请实施例提供的一种应用场景的示意图；
图3为本申请实施例提供的一种应用场景的示意图；
图4为本申请实施例提供的卷积神经网络的示意图；
图5为本申请实施例提供的卷积神经网络的示意图；
图6为本申请实施例提供的一种系统的结构示意；
图7为本申请实施例提供的一种芯片的结构示意；
图8为本申请实施例提供的一种图像选择方法的示意；
图9为一种图像处理模型的结构示意；
图10a为本申请实施例提供的一种图像选择方法的示意；
图10b为本申请实施例提供的一种图像选择方法的示意；
图10c为目标图像在去雾效果的质量差异示意；
图10d为本申请实施例提供的一种模型测试方法的示意；
图11为本申请实施例提供的一种图像选择装置的示意；
图12为本申请实施例提供的一种图像选择装置的示意；
图13为本申请实施例提供的一种模型测试装置的示意；
图14为本申请实施例提供的图像处理装置的结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。
下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片，如中央处理器(centralprocessing unit，CPU)、网络处理器(neural-network processing unit，NPU)、图形处理器(英语：graphics processing unit，GPU)、专用集成电路(application specificintegrated circuit,ASIC)或现场可编程逻辑门阵列(field programmable gate array，FPGA)等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。
其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能交通、智能医疗、自动驾驶、智能城市等。
本申请实施例提供的图像选择方法，具体可以选择能够更准确的评估图像处理模型(例如本申请实施例中的第一图像处理模型和第二图像处理模型)之间的性能差异。
本申请实施例中的第一图像处理模型和第二图像处理模型可以应用在辅助驾驶、自动驾驶的智能车中，也可应用在智慧城市、智能终端等计算机视觉领域中的需要进行图像增强的领域。示例性的，第一图像处理模型和第二图像处理模型能够应用在视频流传输场景以及视频监控场景中。下面分别结合图2和图3对视频流传输场景和视频监控场景进行简单的介绍。
视频流传输场景：
例如，在使用智能终端(例如，手机、车、机器人、平板电脑、台式电脑、智能手表、虚拟现实VR、增强现实AR设备等等中)的客户端播放视频时，为了减少视频流的带宽需求，服务器可以通过网络向客户端传输经过下采样的、分辨率较低的低质量视频流。然后客户端可以利用训练后的第二视频处理网络对该低质量视频流中的图像进行增强。例如，对视频中的图像进行超分辨率、降噪等操作，最后向用户呈现高质量的图像。
视频监控场景：
在安防领域中，受限于监控相机安装位置、有限的存储空间等不利条件，部分视频监控的图像质量较差，这样会影响人或识别算法识别目标的准确性。因此，可以利用本申请实施例提供的训练后的第二视频处理网络将低质量的视频监控视频转化为高质量的高清视频，从而实现对监控图像中大量细节的有效恢复，为后续的目标识别任务提供更有效、更丰富的信息。
由于本申请实施例涉及大量神经网络的应用，为了便于理解，下面先对本申请实施例涉及的相关术语及神经网络等相关概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs(即输入数据)和截距1为输入的运算单元，该运算单元的输出可以为：
Figure BDA0002996952450000121
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取特征的方式与位置无关。卷积核可以以随机大小的矩阵的形式化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
CNN是一种非常常见的神经网络，下面结合图4重点对CNN的结构进行详细的介绍。如前文的基础概念介绍所述，卷积神经网络是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。
如图4所示，卷积神经网络(CNN)200可以包括输入层210，卷积层/池化层220(其中池化层为可选的)，以及全连接层(fully connected layer)230。
卷积层/池化层220：
卷积层：
如图4所示卷积层/池化层220可以包括如示例221-226层，举例来说：在一种实现中，221层为卷积层，222层为池化层，223层为卷积层，224层为池化层，225为卷积层，226为池化层；在另一种实现方式中，221、222为卷积层，223为池化层，224、225为卷积层，226为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。
下面将以卷积层221为例，介绍一层卷积层的内部工作原理。
卷积层221可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的特征图的尺寸也相同，再将提取到的多个尺寸相同的特征图合并形成卷积运算的输出。
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络200进行正确的预测。
当卷积神经网络200有多个卷积层的时候，初始的卷积层(例如221)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络200深度的加深，越往后的卷积层(例如226)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。
池化层：
由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在如图4中220所示例的221-226各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
全连接层230：
在经过卷积层/池化层220的处理后，卷积神经网络200还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层220只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络200需要利用全连接层230来生成一个或者一组所需要的类的数量的输出。因此，在全连接层230中可以包括多层隐含层(如图4所示的231、232至23n)，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等……
在全连接层230中的多层隐含层之后，也就是整个卷积神经网络200的最后层为输出层240，该输出层240具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络200的前向传播(如图4由210至240方向的传播为前向传播)完成，反向传播(如图4由240至210方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络200的损失，及卷积神经网络200通过输出层输出的结果和理想结果之间的误差。
需要说明的是，如图4所示的卷积神经网络200仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在，例如，仅包括图4中所示的网络结构的一部分，比如，本申请实施例中所采用的卷积神经网络可以仅包括输入层210、卷积层/池化层220和输出层240。
需要说明的是，如图4所示的卷积神经网络100仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在，例如，如图5所示的多个卷积层/池化层并行，将分别提取的特征均输入给全连接层230进行处理。
(3)深度神经网络
深度神经网络(Deep Neural Network，DNN)，也称多层神经网络，可以理解为具有很多层隐含层的神经网络，这里的“很多”并没有特别的度量标准。从DNN按不同层的位置划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：
Figure BDA0002996952450000151
其中，
Figure BDA0002996952450000152
是输入向量，
Figure BDA0002996952450000153
是输出向量，
Figure BDA0002996952450000154
是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量
Figure BDA0002996952450000155
经过如此简单的操作得到输出向量
Figure BDA0002996952450000156
由于DNN层数多，则系数W和偏移向量
Figure BDA0002996952450000157
的数量也就很多了。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为
Figure BDA0002996952450000158
上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就是：第L-1层的第k个神经元到第L层的第j个神经元的系数定义为
Figure BDA0002996952450000159
需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(4)超分辨率
超分辨率(Super Resolution，SR)是一种图像增强技术，给定一张或一组低分辨率的图像，通过学习图像的先验知识、图像本身的相似性、多帧图像信息互补等手段恢复图像的高频细节信息，生成较高分辨率的目标图像。超分辨率在应用中，按照输入图像的数量，可分为单帧图像超分辨率和视频超分辨率。超分辨率在高清电视、监控设备、卫星图像和医学影像等领域有重要的应用价值。
(5)降噪
图像在数字化和传输过程中常受到成像设备与外部环境的影响，导致图像包含噪声。减少图像中噪声的过程称为图像降噪，有时候也可称为图像去噪。
(6)图像特征
图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征等。
颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质；一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。
纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质；但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。
形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征，图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。
空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。通常空间位置信息可以分为两类：相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况，如上下左右关系等，后一种关系强调的是目标之间的距离大小以及方位。
需要说明的，上述列举的图像特征可以作为图像中具有的特征的一些举例，图像还可以具有其他特征，如更高层级的特征：语义特征，此处不再展开。
(7)图像/视频增强
图像/视频增强指的是对图像/视频所做的能够提高成像质量的动作。例如，增强处理包括超分、降噪、锐化或去马赛克等。
下面结合图6对本申请实施例提供的系统架构进行详细的介绍。图6为本申请一实施例提供的系统架构示意图。如图6所示，系统架构500包括执行设备510、训练设备520、数据库530、客户设备540、数据存储系统550以及数据采集系统560。
执行设备510包括计算模块511、I/O接口512、预处理模块513和预处理模块514。计算模块511中可以包括目标模型/规则501，预处理模块513和预处理模块514是可选的。
数据采集设备560用于采集训练数据。其中，视频样本可以为低质量图像，监督图像为在模型训练前预先获取的图像样本对应的高质量图像。图像样本例如可以是低分辨率的图像，监督图像为高分辨率图像；或者，图像样本例如可以是包含雾气或噪声的视频，监督图像为去除了雾气或噪声的图像。在采集到训练数据之后，数据采集设备560将这些训练数据存入数据库530，训练设备520基于数据库530中维护的训练数据训练得到目标模型/规则501。
上述目标模型/规则501(例如本申请实施例中的第一图像处理模型和第二图像处理模型)能够用于实现图像增强任务，即，将待处理图像输入该目标模型/规则501，即可得到处理后的增强图像(例如本申请实施例中的第一处理图像和第二处理图像)。需要说明的是，在实际应用中，数据库530中维护的训练数据不一定都来自于数据采集设备560的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备520也不一定完全基于数据库530维护的训练数据进行目标模型/规则501的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。
根据训练设备520训练得到的目标模型/规则501可以应用于不同的系统或设备中，如应用于图6所示的执行设备510，所述执行设备510可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备，车载终端等，还可以是服务器或者云端等。在图6中，执行设备510配置输入/输出(input/output，I/O)接口512，用于与外部设备进行数据交互，用户可以通过客户设备540向I/O接口512输入数据。
预处理模块513和预处理模块514用于根据I/O接口512接收到的输入数据(如本申请实施例中的多个候选图像)进行预处理。应理解，可以没有预处理模块513和预处理模块514或者只有的一个预处理模块。当不存在预处理模块513和预处理模块514时，可以直接采用计算模块511对输入数据进行处理。
在执行设备510对输入数据进行预处理，或者在执行设备510的计算模块511执行计算等相关的处理过程中，执行设备510可以调用数据存储系统550中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统550中。
最后，I/O接口512将处理结果，如处理后得到的增强图像(例如本申请实施例中的第一处理图像和第二处理图像)呈现给客户设备540，从而提供给用户。
值得说明的是，训练设备520可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则501，该相应的目标模型/规则501即可以用于实现图像增强任务，从而为用户提供所需的结果。
在图6所示情况下，用户可以手动给定输入数据(如本申请实施例中的多个候选图像)，该“手动给定输入数据”可以通过I/O接口512提供的界面进行操作。另一种情况下，客户设备540可以自动地向I/O接口512发送输入数据，如果要求客户设备540自动发送输入数据需要获得用户的授权，则用户可以在客户设备540中设置相应权限。用户可以在客户设备540查看执行设备510输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备540也可以作为数据采集端，采集如图所示输入I/O接口512的输入数据及输出I/O接口512的输出结果作为新的样本数据，并存入数据库530。当然，也可以不经过客户设备540进行采集，而是由I/O接口512直接将如图所示输入I/O接口512的输入数据及输出I/O接口512的输出结果，作为新的样本数据存入数据库530。
本申请实施例只可以基于第一处理图像和第二处理图像来从多个候选图像中选择作为评估模型性能的测试样本。
值得注意的是，图6仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图6中，数据存储系统550相对执行设备510是外部存储器，在其它情况下，也可以将数据存储系统550置于执行设备510中。
下面介绍本申请实施例提供的一种芯片硬件结构。
图7为本申请一实施例提供的芯片硬件结构图，该芯片包括神经网络处理器700。该芯片可以被设置在如图6所示的执行设备510中，用以完成计算模块511的计算工作。该芯片也可以被设置在如图6所示的训练设备520中，用以完成训练设备520的训练工作并输出目标模型/规则501。如图6所示的图像处理模型中各层的算法均可在如图7所示的芯片中得以实现。
神经网络处理器(neural processing unit，NPU)700作为协处理器挂载到主中央处理单元(host central processing unit，host CPU)上，由主CPU分配任务。NPU的核心部分为运算电路703，控制器704控制运算电路703提取存储器(权重存储器702或输入存储器701)中的数据并进行运算。
在一些实现中，运算电路703内部包括多个处理单元(process engine，PE)。在一些实现中，运算电路703是二维脉动阵列。运算电路703还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路703是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路703从权重存储器702中取矩阵B相应的数据，并缓存在运算电路703中每一个PE上。运算电路703从输入存储器701中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)708中。
向量计算单元707可以对运算电路703的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元707可以用于神经网络中非卷积/非FC层的网络计算，如池化(pooling)，批归一化(batch normalization)，局部响应归一化(local response normalization)等。
在一些实现中，向量计算单元707能将经处理的输出的向量存储到统一存储器706。例如，向量计算单元707可以将非线性函数应用到运算电路703的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元707生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路703的激活输入，例如用于在神经网络中的后续层中的使用。
统一存储器706用于存放输入数据以及输出数据。
权重数据直接通过存储单元访问控制器(direct memory access controller，DMAC)705将外部存储器中的输入数据搬运到输入存储器701和/或统一存储器706、将外部存储器中的权重数据存入权重存储器702，以及将统一存储器706中的数据存入外部存储器。
总线接口单元(bus interface unit，BIU)710，用于通过总线实现主CPU、DMAC和取指存储器709之间进行交互。
与控制器704连接的取指存储器(instruction fetch buffer)709，用于存储控制器704使用的指令。
控制器704，用于调用取指存储器709中缓存的指令，实现控制该运算加速器的工作过程。
一般地，统一存储器706、输入存储器701、权重存储器702以及取指存储器709均为片上(on-chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(double data rate synchronous dynamic random accessmemory，DDR SDRAM)、高带宽存储器(high bandwidth memory，HBM)或其他可读可写的存储器。
参照图8，图8为本申请实施例提供的一种图像选择方法的实施例示意，如图8示出的那样，本申请实施例提供的一种图像选择方法包括：
801、获取多个候选图像。
本申请实施例中，可以获取到多个候选图像，以及需要进行性能比较的第一图像处理模型和第二图像处理模型，其中，第一图像处理模型和第二图像处理模型可以用于实现一个图像处理任务，图像增强任务例如可以是图像增强任务，多个候选图像可以是针对于图像增强任务的测试样本集。示例性的，图像增强任务为去雾，则多个候选图像可以是针对去雾场景的大规模测试样本集。
本申请实施例中，第一图像处理网络以及第二图像处理网络可以用于实现图像增强任务，所谓图像增强任务可以理解为用于增强视频的质量的任务，例如所述图像增强任务可以为视频去噪任务、视频去雾任务、超分辨率任务或高动态范围任务等等，这里并不限定。
应理解，第一图像处理网络和第二图像处理网络为用于实现相同图像处理任务的模型，本申请并不限定图像处理任务的具体类型。以图像增强任务为超分辨率任务为例，接下来描述第一图像处理网络以及第二图像处理网络的网络结构的一种示意。
参照图9，图9为一种图像处理模型的结构示意，如图9所示，待处理图像可以是低分辨率图像(low resolution，LR)，低分辨率图像帧经过特征提取模块处理后可以得到图像特征，之后特征图可以经过多个基本单元的处理，其中基本单元可以是通过神经网络的基本操作将基本模块进行连接得到的一种网络结构，上述网络结构可以包含预先设定好的卷积神经网络中的基础运算或者基础运算的组合，这些基础运算或者基础运算的组合可以统称为基本操作。例如，基本操作可以是指卷积操作，池化操作，残差连接等，通过基本操作可以使得各个基本模块之间进行连接，从而得到基本单元的网络结构。非线性变换部分用于将待输入图像的图像特征进行变换，将图像特征从映射至高维特征空间，通常情况下映射后的高维空间更易于重建超分图像；重建部分用于将非线性变化部分输出的图像特征进行上采样和卷积处理，得到待输入图像对应的超分辨率图像(high resolution，LR，HR)。
802、通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到所述每个候选图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务；所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的。
本申请实施例中，可以通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到所述每个候选图像对应的第一处理图像和第二处理图像，其中，所谓“处理”可以理解为模型的推理过程。
本申请实施例中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务，以第一图像处理网络以及第二图像处理网络用于实现图像增强任务为例，则第一处理图像为各个候选图像经过第一图像处理网络进行图像增强后得到的增强图像，第二处理图像为各个候选图像经过第二图像处理网络进行图像增强后得到的增强图像。
以图像增强任务为去雾为例，则第一处理图像和第二处理图像为去雾后的候选图像。
本申请实施例中，可以依次遍历并处理多个候选图像的每个候选图像，或者并行处理多个候选图像，以得到每个候选图像对应的第一处理图像和第二处理图像，本申请实施例并不限定第一图像处理模型和第二图像处理模型在处理候选图像时的时序先后顺序。
803、获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异，并根据所述图像质量差异，从所述多个候选图像中选择M个目标图像，所述M个目标图像用于作为所述第一图像处理模型和所述第二图像处理模型在进行性能比较时的测试样本。
为了能够使得专家或其他人员可以更准确的进行第一图像处理模型和第二图像处理模型的性能比较，需要保证第一图像处理模型和第二图像处理模型在处理同一个测试样本时得到的输出图像之间的图像质量差异较大，进而可以很准确的基于输出图像的质量来确定出第一图像处理模型和第二图像处理模型之间的性能优劣。
其中，图像质量可以用于表征图像还原真实场景的程度，或者称之为图像的逼真度，图像越接近于真实场景，则图像的逼真度越高，进而图像质量越高；此外，图像质量还可以用于表征图像的可读懂性，可读懂性是指由图像能向人或机器提供信息的能力，它不仅与图像系统的应用要求有关，而且常常与人眼的主观感觉有关，可读懂性越高，图像质量越高。在一种实现中，用于评价图像质量的指标可以包括分辨率、色彩深度、图像失真等方面。
接下来描述如何获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异：
在一种实现中，可以基于非卷积神经网络的方式计算图像质量差异，例如PSNR、SSIM等方法，或者也可以基于卷积神经网络的方式计算图像质量差异，例如学习感知图像块相似度(learned perceptual image patch similarity，LPIPS)，DISTS等等。
本申请实施例中，以每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异作为测试样本选择时的因素，从多个候选样本中选择用于作为所述第一图像处理模型和所述第二图像处理模型在进行性能比较时的测试样本。
具体的，在一种实现时，可以根据每个候选图像对应的图像质量差异，从所述多个候选图像中选择对应的图像质量差异大于第一阈值的M个目标图像。也就是说，每个候选图像可以计算得到一个对应的图像质量差异，通过各个候选图像对应的图像质量差异之间的大小比较，从多个候选图像中选择M个目标图像。
在一种实现中，可以从多个候选图像中选择对应的图像质量差异最大的M个目标图像。
参照图10a和图10b，图10a和图10b为本申请实施例中一种图像选择方法的流程示意，针对于多个候选图像，第一图像处理模型和第二图像处理模型分别处理每个候选图像，进而得到每个候选图像对应的第一处理图像和第二处理图像，基于第一处理图像和第二处理图像之间的图像质量差异来选择哪些候选图像作为进行模型性能测试所需要的目标图像。如图10a所示，针对于图10a示出的候选图像，由于其对应的第一处理图像(图10a中靠右上的图像)和第二处理图像(图10a中靠右下的图像)之间的图像质量差异较大(具体的，图10a中的第一处理图像相比第二处理图像中的树干和树叶的纹理细节更丰富，清晰度更多，且背景区域的树丛亮度更高，纹理细节更丰富)，进而可以作为用于进行模型性能测试时的测试样本。如图10b所示，针对于图10b示出的候选图像，由于其对应的第一处理图像(图10b中靠右上的图像)和第二处理图像(图10b中靠右下的图像)之间的图像质量差异较小，进而不可以作为用于进行模型性能测试时的测试样本。
在一种实现中，除了将图像质量差异作为测试样本的选择因素，还可以将候选图像之间的图像内容差异作为测试样本的选择因素。
为了能够保证在进行模型性能比较时所采用的测试样本可以覆盖较多的场景，在测试样本覆盖的场景足够全面的情况下，可以确保后续的测试结果的可靠性。其中，所谓测试样本覆盖的场景足够全面也可以理解为各个测试样本之间的图像内容差异较大，例如每个测试样本都包括不同的目标对象，例如测试样本A包括人物，测试样本B包括狗，测试样本C包括猫等等。
具体的，本申请实施例中，可以获取每个候选图像与所述多个候选图像中除自身之外的其他候选图像之间的图像内容差异，并根据每个候选图像对应的所述图像质量差异和所述图像内容差异，从所述多个候选图像中选择M个目标图像。
其中，图像内容差异可以指示图像中背景区域和/或前景区域中目标主体之间的差异。
以图像内容差异前景区域中目标主体之间的差异为例，包括人物的图像和包括非人的动物(或者没有生命的物体，例如建筑物等等)的图像之间的图像内容差异大于都包括人物的图像之间的图像内容差异，而包括不同人物的图像之间的图像内容差异大于包括同一个人物的图像之间的图像内容差异。
接下来描述如何计算每个候选图像与所述多个候选图像中除自身之外的其他候选图像之间的图像内容差异：
在一种可能的实现中，可以使用传统方法如尺度不变特征变换(scale-invariantfeature transform，SIFT)或卷积神经网络CNN来提取各个候选图像的图像特征，得到各个候选图像的图像特征向量，用于对图像内容进行表征。然后计算每个候选图像的图像特征向量与其他候选图像的图像特征向量之间的距离度量，距离度量可以表达出图像之间的内容差异，内容差异越大，则表示该候选图像的图像内容与其他候选图像差异越大。
应理解，距离度量也可以称为度量相似性，通过计算两个多维数据之间的距离度量，可以确定两个多维数据之间的相似度。一般地，两个多维数据之间的距离度量越小，两个多维数据之间的相似度就越高；相反，两个多维数据之间的距离度量越大，两个多维数据之间的相似度就越小。示例性地，该距离度量可以包括均方误差(Mean Squared Error，MES)距离、L1距离或均方误差MSE等距离。应理解，除了MES距离和L1距离之外，还可以是基于其他的距离度量来确定图像内容差异度，本实施例并不对距离度量的方式做具体限定。
接下来介绍一种基于CNN来提取各个候选图像的图像特征的特征提取网络的结构示意：
在一种可选的实现中，特征提取网络可以包括主干网络backbone、特征金字塔网络(feature pyramid network，FPN)，主干网络backbone用于接收输入的图片，并对输入的图片进行卷积处理，输出对应所述图片的具有不同分辨率的特征图；也就是说输出对应所述图片的不同大小的特征图。主干网络可以对输入的图片进行一系列的卷积处理，得到在不同的尺度下的特征图(feature map)。主干网络可以采用多种形式，比如视觉几何组(visual geometry group，VGG)、残差神经网络(residual neural network，resnet)、GoogLeNet的核心结构(Inception-net)等。
FPN与主干网络backbone连接，FPN可以对主干网络backbone生成的多个不同分辨率的特征图进行卷积处理，来构造特征金字塔。
其中，特征金字塔输出的特征图可以作为各个候选图像的图像特征向量。
本申请实施例中可以根据每个候选图像对应的所述图像质量差异和所述图像内容差异，确定所述每个候选图像的被选择权重，所述被选择权重与所述图像质量差异以及所述图像内容差异正相关，其中，被选择权重用于作为测试样本的选择依据。具体的，可以根据所述每个候选图像的被选择权重，从所述多个候选图像中选择被选择权重大于第二阈值的M个目标图像。在一种实现中，可以从所述多个候选图像中选择被选择权重最大的所述M个目标图像。
在一种实现中，被选择权重可以为所述图像质量差异和所述图像内容差异的加权求和结果，也就是所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。其中，所述图像质量差异和所述图像内容差异所对应的权重可以由用户根据需要进行调节，具体取决于用户更关心质量差异，还是样本的多样性差异。
具体的，在选择目标图像的过程中，可以首先从多个候选图像中随机采样一个图像加入到测试图像的候选集中，并计算得到该候选图像对应的图像质量差异，之后再从多个候选图像中采样一个候选图像，加入到候选集中，并计算得到该候选图像对应的图像质量差异，以及该候选图像与已经加入到候选集中的候选图像之间的图像内容差异，进而得到该候选图像的被选择权重，之后再从多个候选图像中采样一个候选图像，加入到候选集中，并计算得到该候选图像对应的图像质量差异，以及该候选图像与已经加入到候选集中的两个候选图像之间的图像内容差异(具体可以是与候选集中的两个候选图像中的每个候选图像之间的图像内容差异的平均值)，进而得到该候选图像的被选择权重，以此类推，直到采样了M个候选图像，此时候选集中可以包括M个候选图像，且计算了M个候选图像中每个候选图像的被选择权重。之后继续从多个候选图像中随机采样一个图像，并计算得到该候选图像对应的图像质量差异，以及该候选图像与已经加入到候选集中的M个候选图像之间的图像内容差异(具体可以是与候选集中的M个候选图像中的每个候选图像之间的图像内容差异的平均值)，进而得到该候选图像的被选择权重，然后将这采样的M+1个候选图像的被选择权重进行排序，取最大的M个被选择权重作为新的候选集(也就是剔除了原本M个候选图像中的一个图像，或者不将最新采样的图像加进来)。以此类推，直到完成了全部候选图像的采样，此时候选集中的M个候选图像可以为选择出的M个目标图像，这M个目标图像中每个目标图像对应的图像质量差异较大，且图像之间的内容差异较大。
以第一图像处理模型和第二图像处理模型为Shao20算法和FFA-Net为例，如图10c所示，图10c为所选出来的目标图像在去雾效果上存在明显的质量差异，且图像内容的差异大(一个是建筑，一个是人像)，满足测试样本的选择需要。
在获取到用于作为所述第一图像处理模型和所述第二图像处理模型在进行性能比较时的测试样本的M个目标图像之后，所述第一图像处理模型和所述第二图像处理模型可以处理M个目标图像，专家可以对所述第一图像处理模型和所述第二图像处理模型的处理结果进行主观的质量评价，并基于主观质量评价结果来比较所述第一图像处理模型和所述第二图像处理模型之间的性能优劣。
应理解，在一些场景中，若只考虑测试样本之间的场景覆盖是否全面，则可以将各个候选图像之间的图像内容差异作为测试样本的选择依据，而不将图像质量差异作为测试样本的选择依据，具体的，可以获取多个候选图像，获取每个候选图像与所述多个候选图像中除自身之外的其他候选图像之间的图像内容差异，根据每个候选图像对应的所述图像内容差异，从所述多个候选图像中选择M个目标图像。
本申请实施例提供了一种图像选择方法，其特征在于，所述方法包括：获取多个候选图像；通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到所述每个候选图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务；所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异，并根据所述图像质量差异，从所述多个候选图像中选择M个目标图像，所述M个目标图像用于作为所述第一图像处理模型和所述第二图像处理模型在进行性能比较时的测试样本。通过上述方式，将各个候选图像对应的图像质量差异作为测试样本的选择依据，保证第一图像处理模型和第二图像处理模型在处理同一个测试样本时得到的输出图像之间的图像质量差异较大，从而帮图像质量评测人员更容易从主观上判断出第一图像处理模型和第二图像处理模型之间的性能优劣。
此外，还将各个候选图像之间的图像内容差异作为测试样本的选择依据，可以挑选出内容差异更大的测试样本，进而可以保证测试样本的采样覆盖的场景足够全面，确保测试结果的可靠性。
以上介绍了测试样本的选择过程，接下来结合选择出来的测试样本描述进行模型性能测试的过程。
参照图10d，图10d为本申请实施例提供的一种模型测试方法的流程示意，如图10d所示，方法包括：
1001、获取M个目标图像；
其中，M个目标图像为用于作为所述第一图像处理模型和所述第二图像处理模型在进行性能比较时的测试样本。
1002、通过第一图像处理模型和第二图像处理模型分别处理每个目标图像，以得到所述每个目标图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务，所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；且所述每个目标图像对应的第一处理图像和第二处理图像之间的图像质量差异大于第一阈值。
1003、获取模型测试结果，所述模型测试结果用于表示所述第一图像处理模型和所述第二图像处理模型之间的性能比较结果，所述模型测试结果为根据所述每个目标图像对应的第一处理图像和第二处理图像确定的。
在得到每个目标图像对应的第一处理图像和第二处理图像之后，模型测试人员可以基于每个目标图像对应的第一处理图像和第二处理图像，进行第一图像处理模型和所述第二图像处理模型之间的性能比较，并将模型性能比较结果反馈进行反馈，进而可以将模型性能比较结果作为获取模型测试结果。
本申请实施例，第一图像处理模型和第二图像处理模型在处理同一个目标图像时得到的输出图像之间的图像质量差异较大，从而帮图像质量评测人员更容易从主观上判断出第一图像处理模型和第二图像处理模型之间的性能优劣。
在一种可能的实现中，所述M个目标图像中每个目标图像的被选择权重大于第二阈值，所述每个目标图像的被选择权重与每个目标图像对应的所述图像质量差异以及图像内容差异正相关，其中，所述每个目标图像对应的图像内容差异用于表示每个目标图像与所述多个目标图像中除自身之外的其他目标图像之间的图像内容差异。
本申请实施例，各个目标图像之间的图像内容差异较大，也就是M个目标图像所覆盖的场景足够全面，确保了测试结果的可靠性。
在一种可能的实现中，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
在一种可能的实现中，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
参照图11，图11为本申请实施例提供的一种图像选择装置1100的结构示意，如图11所示，所述装置包括：
获取模块1101，用于获取多个候选图像；
图像处理模块1102，用于通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到所述每个候选图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务；所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；
图像选择模块1103，用于获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异，并根据所述图像质量差异，从所述多个候选图像中选择M个目标图像，所述M个目标图像用于作为所述第一图像处理模型和所述第二图像处理模型在进行性能比较时的测试样本。
在一种可能的实现中，所述图像选择模块1103，用于根据每个候选图像对应的图像质量差异，从所述多个候选图像中选择对应的图像质量差异大于第一阈值的M个目标图像。
在一种可能的实现中，所述获取模块，用于获取每个候选图像与所述多个候选图像中除自身之外的其他候选图像之间的图像内容差异；
所述图像选择模块，用于根据每个候选图像对应的所述图像质量差异和所述图像内容差异，从所述多个候选图像中选择M个目标图像。
在一种可能的实现中，所述图像选择模块1103，用于根据每个候选图像对应的所述图像质量差异和所述图像内容差异，确定所述每个候选图像的被选择权重，所述被选择权重与所述图像质量差异以及所述图像内容差异正相关；
根据所述每个候选图像的被选择权重，从所述多个候选图像中选择被选择权重大于第二阈值的M个目标图像。
在一种可能的实现中，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
在一种可能的实现中，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
参照图12，图12为本申请实施例提供的一种图像选择装置1200的结构示意，如图12所示，所述装置1200包括：
获取模块1201，用于获取多个候选图像；
获取每个候选图像与所述多个候选图像中除自身之外的其他候选图像之间的图像内容差异；
图像选择模块1202，用于根据每个候选图像对应的所述图像内容差异，从所述多个候选图像中选择M个目标图像。
在一种可能的实现中，所述图像选择模块1202，用于根据每个候选图像对应的所述图像内容差异，从所述多个候选图像中选择图像内容差异大于第三阈值的M个目标图像。
在一种可能的实现中，所述装置还包括：
图像处理模块，用于通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到所述每个候选图像对应的第一处理图像和第二处理图像；
所述获取模块，用于获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异；
所述图像选择模块，用于根据每个候选图像对应的所述图像质量差异和所述图像内容差异，从所述多个候选图像中选择M个目标图像。
在一种可能的实现中，所述图像选择模块，用于根据每个候选图像对应的所述图像质量差异和所述图像内容差异，确定所述每个候选图像的被选择权重，所述被选择权重与所述图像质量差异以及所述图像内容差异正相关；
根据所述每个候选图像的被选择权重，从所述多个候选图像中选择被选择权重大于第二阈值的M个目标图像。
在一种可能的实现中，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
在一种可能的实现中，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
参照图13，图13为本申请实施例提供的一种模型测试装置1300的结构示意，如图13所示，所述装置1300包括：
获取模块1301，用于获取M个目标图像；
图像处理模块1302，用于通过第一图像处理模型和第二图像处理模型分别处理每个目标图像，以得到所述每个目标图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务，所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；且所述每个目标图像对应的第一处理图像和第二处理图像之间的图像质量差异大于第一阈值；所述每个目标图像对应的第一处理图像和第二处理图像用于进行所述第一图像处理模型和所述第二图像处理模型之间的性能比较。
所述获取模块1301，还用于获取模型测试结果，所述模型测试结果用于表示所述第一图像处理模型和所述第二图像处理模型之间的性能比较结果，所述模型测试结果为根据所述每个目标图像对应的第一处理图像和第二处理图像确定的。
在一种可能的实现中，所述M个目标图像中每个目标图像的被选择权重大于第二阈值，所述每个目标图像的被选择权重与每个目标图像对应的所述图像质量差异以及图像内容差异正相关，其中，所述每个目标图像对应的图像内容差异用于表示每个目标图像与所述多个目标图像中除自身之外的其他目标图像之间的图像内容差异。
在一种可能的实现中，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
在一种可能的实现中，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
接下来介绍本申请实施例提供的一种图像处理装置，请参阅图14，图14为本申请实施例提供的图像处理装置的一种结构示意图，图像处理装置1400具体可以表现为手机、平板、笔记本电脑、智能穿戴设备、服务器等，此处不做限定。其中，图像处理装置1400可以执行图8以及图10a对应的实施例中描述的图像选择方法、以及图10d对应的实施例中描述的模型测试方法。具体的，图像处理装置1400包括：接收器1401、发射器1402、处理器1403和存储器1404(其中图像选择装置1400中的处理器1403的数量可以一个或多个，图14中以一个处理器为例)，其中，处理器1403可以包括应用处理器14031和通信处理器14032。在本申请的一些实施例中，接收器1401、发射器1402、处理器1403和存储器1404可通过总线或其它方式连接。
存储器1404可以包括只读存储器和随机存取存储器，并向处理器1403提供指令和数据。存储器1404的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器1404存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
处理器1403控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1403中，或者由处理器1403实现。处理器1403可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1403中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1403可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器、以及视觉处理器(vision processing unit，VPU)、张量处理器(tensorprocessing unit，TPU)等适用于AI运算的处理器，还可进一步包括专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1403可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1404，处理器1403读取存储器1404中的信息，结合其硬件完成上述方法的步骤。
接收器1401可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器1402可用于通过第一接口输出数字或字符信息；发射器1402还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1402还可以包括显示屏等显示设备。执行设备可以执行图8以及图10a对应的实施例中描述的图像选择方法、以及图10d对应的实施例中描述的模型测试方法。
本申请实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述执行设备所执行的步骤，或者，使得计算机执行如前述训练设备所执行的步骤。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述执行设备所执行的步骤，或者，使得计算机执行如前述训练设备所执行的步骤。
本申请实施例提供的执行设备、训练设备或终端设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述实施例描述的数据处理方法，或者，以使训练设备内的芯片执行上述实施例描述的数据处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (23)

1.一种图像选择方法，其特征在于，所述方法包括：
获取多个候选图像；
通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到所述每个候选图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务；所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；
获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异，并根据所述图像质量差异，从所述多个候选图像中选择M个目标图像，所述M个目标图像用于作为所述第一图像处理模型和所述第二图像处理模型在进行性能比较时的测试样本。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像质量差异，从所述多个候选图像中选择M个目标图像，包括：
根据每个候选图像对应的图像质量差异，从所述多个候选图像中选择对应的图像质量差异大于第一阈值的M个目标图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取每个候选图像与所述多个候选图像中除自身之外的其他候选图像之间的图像内容差异；
所述根据所述图像质量差异，从所述多个候选图像中选择M个目标图像，包括：
根据每个候选图像对应的所述图像质量差异和所述图像内容差异，从所述多个候选图像中选择M个目标图像。
4.根据权利要求3所述的方法，其特征在于，所述根据每个候选图像对应的所述图像质量差异和所述图像内容差异，从所述多个候选图像中选择M个目标图像，包括：
根据每个候选图像对应的所述图像质量差异和所述图像内容差异，确定所述每个候选图像的被选择权重，所述被选择权重与所述图像质量差异以及所述图像内容差异正相关；
根据所述每个候选图像的被选择权重，从所述多个候选图像中选择被选择权重大于第二阈值的M个目标图像。
5.根据权利要求3或4所述的方法，其特征在于，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
6.根据权利要求1至5任一所述的方法，其特征在于，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
7.一种模型测试方法，其特征在于，所述方法包括：
获取M个目标图像；
通过第一图像处理模型和第二图像处理模型分别处理每个目标图像，以得到所述每个目标图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务，所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；且所述每个目标图像对应的第一处理图像和第二处理图像之间的图像质量差异大于第一阈值；
获取模型测试结果，所述模型测试结果用于表示所述第一图像处理模型和所述第二图像处理模型之间的性能比较结果，所述模型测试结果为根据所述每个目标图像对应的第一处理图像和第二处理图像确定的。
8.根据权利要求7所述的方法，其特征在于，所述M个目标图像中每个目标图像的被选择权重大于第二阈值，所述每个目标图像的被选择权重与每个目标图像对应的所述图像质量差异以及图像内容差异正相关，其中，所述每个目标图像对应的图像内容差异用于表示每个目标图像与所述多个目标图像中除自身之外的其他目标图像之间的图像内容差异。
9.根据权利要求8所述的方法，其特征在于，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
10.根据权利要求7至9任一所述的方法，其特征在于，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
11.一种图像选择装置，其特征在于，所述装置包括：
获取模块，用于获取多个候选图像；
图像处理模块，用于通过第一图像处理模型和第二图像处理模型分别处理每个候选图像，以得到所述每个候选图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务；所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；
图像选择模块，用于获取每个候选图像对应的第一处理图像和第二处理图像之间的图像质量差异，并根据所述图像质量差异，从所述多个候选图像中选择M个目标图像，所述M个目标图像用于作为所述第一图像处理模型和所述第二图像处理模型在进行性能比较时的测试样本。
12.根据权利要求11所述的装置，其特征在于，所述图像选择模块，用于根据每个候选图像对应的图像质量差异，从所述多个候选图像中选择对应的图像质量差异大于第一阈值的M个目标图像。
13.根据权利要求11所述的装置，其特征在于，所述获取模块，用于获取每个候选图像与所述多个候选图像中除自身之外的其他候选图像之间的图像内容差异；
所述图像选择模块，用于根据每个候选图像对应的所述图像质量差异和所述图像内容差异，从所述多个候选图像中选择M个目标图像。
14.根据权利要求13所述的装置，其特征在于，所述图像选择模块，用于根据每个候选图像对应的所述图像质量差异和所述图像内容差异，确定所述每个候选图像的被选择权重，所述被选择权重与所述图像质量差异以及所述图像内容差异正相关；
根据所述每个候选图像的被选择权重，从所述多个候选图像中选择被选择权重大于第二阈值的M个目标图像。
15.根据权利要求13或14所述的装置，其特征在于，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
16.根据权利要求11至15任一所述的装置，其特征在于，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
17.一种模型测试装置，其特征在于，所述装置包括：
获取模块，用于获取M个目标图像；
图像处理模块，用于通过第一图像处理模型和第二图像处理模型分别处理每个目标图像，以得到所述每个目标图像对应的第一处理图像和第二处理图像；其中，所述第一图像处理模型和所述第二图像处理模型用于实现相同的图像处理任务，所述第一处理图像为经过所述第一图像处理模型处理得到的，所述第二处理图像为经过所述第二图像处理模型处理得到的；且所述每个目标图像对应的第一处理图像和第二处理图像之间的图像质量差异大于第一阈值；
所述获取模块，还用于获取模型测试结果，所述模型测试结果用于表示所述第一图像处理模型和所述第二图像处理模型之间的性能比较结果，所述模型测试结果为根据所述每个目标图像对应的第一处理图像和第二处理图像确定的。
18.根据权利要求17所述的装置，其特征在于，所述M个目标图像中每个目标图像的被选择权重大于第二阈值，所述每个目标图像的被选择权重与每个目标图像对应的所述图像质量差异以及图像内容差异正相关，其中，所述每个目标图像对应的图像内容差异用于表示每个目标图像与所述多个目标图像中除自身之外的其他目标图像之间的图像内容差异。
19.根据权利要求18所述的装置，其特征在于，所述被选择权重为第一权重和第二权重的加和结果，所述第一权重为所述图像质量差异与对应权重的乘积，所述第二权重为所述图像内容差异与对应权重的乘积。
20.根据权利要求17至19任一所述的装置，其特征在于，所述第一图像处理模型和所述第二图像处理模型用于实现图像增强任务。
21.一种图像选择装置，其特征在于，所述装置包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至10任一所述的方法。
22.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或多个指令，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机实施权利要求1至10任一所述的方法。
23.一种计算机产品，包括代码，其特征在于，在所述代码被执行时用于实现如权利要求1至10任一所述的方法。
CN202110332938.3A 2021-03-29 2021-03-29 一种图像选择方法及装置 Pending CN113256556A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110332938.3A CN113256556A (zh) 2021-03-29 2021-03-29 一种图像选择方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110332938.3A CN113256556A (zh) 2021-03-29 2021-03-29 一种图像选择方法及装置

Publications (1)

Publication Number Publication Date
CN113256556A true CN113256556A (zh) 2021-08-13

Family

ID=77181221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110332938.3A Pending CN113256556A (zh) 2021-03-29 2021-03-29 一种图像选择方法及装置

Country Status (1)

Country Link
CN (1) CN113256556A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663963A (zh) * 2022-05-24 2022-06-24 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663963A (zh) * 2022-05-24 2022-06-24 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、装置、存储介质及电子设备
CN114663963B (zh) * 2022-05-24 2022-09-27 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN110378381B (zh) 物体检测方法、装置和计算机存储介质
WO2021043168A1 (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN110532871B (zh) 图像处理的方法和装置
CN112308200B (zh) 神经网络的搜索方法及装置
WO2021043112A1 (zh) 图像分类方法以及装置
CN110222717B (zh) 图像处理方法和装置
CN111402130B (zh) 数据处理方法和数据处理装置
CN111291809B (zh) 一种处理装置、方法及存储介质
CN112236779A (zh) 基于卷积神经网络的图像处理方法和图像处理装置
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
WO2022134971A1 (zh) 一种降噪模型的训练方法及相关装置
CN111401517B (zh) 一种感知网络结构搜索方法及其装置
US20220148291A1 (en) Image classification method and apparatus, and image classification model training method and apparatus
CN110222718B (zh) 图像处理的方法及装置
CN113705769A (zh) 一种神经网络训练方法以及装置
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN113066017B (zh) 一种图像增强方法、模型训练方法及设备
CN113011562A (zh) 一种模型训练方法及装置
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN113065645B (zh) 孪生注意力网络、图像处理方法和装置
US20220157046A1 (en) Image Classification Method And Apparatus
CN111797882A (zh) 图像分类方法及装置
CN111695673A (zh) 训练神经网络预测器的方法、图像处理方法及装置
WO2022111387A1 (zh) 一种数据处理方法及相关装置
CN112464930A (zh) 目标检测网络构建方法、目标检测方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination