CN115187569A - 一种图像质量评估模型训练方法、装置、设备及介质 - Google Patents

一种图像质量评估模型训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN115187569A
CN115187569A CN202210883110.1A CN202210883110A CN115187569A CN 115187569 A CN115187569 A CN 115187569A CN 202210883110 A CN202210883110 A CN 202210883110A CN 115187569 A CN115187569 A CN 115187569A
Authority
CN
China
Prior art keywords
training
target
meta
quality prediction
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210883110.1A
Other languages
English (en)
Inventor
马骏
杨涛
杨钰群
杜天昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xinlianxin Technology Development Co ltd
Original Assignee
Beijing Xinlianxin Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xinlianxin Technology Development Co ltd filed Critical Beijing Xinlianxin Technology Development Co ltd
Priority to CN202210883110.1A priority Critical patent/CN115187569A/zh
Publication of CN115187569A publication Critical patent/CN115187569A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像质量评估模型训练方法、装置、设备及介质，该方法包括：将采集到的包含目标对象的多个待选样本图像分为训练样本集、测试样本集和元训练集；构建初始评估模型；将任一目标批次元训练集对应的独立模型参数替换初始评估模型的初始模型参数，并使用目标批次元训练集对该初始评估模型进行训练，得到各个批次元训练集对应调整后的过程模型参数；根据各个过程模型参数匹配的权值，计算得到目标模型参数，并在满足预设的收敛条件时，使用测试样本集对包含目标模型参数的目标评估模型进行验证，达到预设训练要求后，完成训练。本申请方法在持续训练的过程中不会遗忘较先进行训练的样本特征，泛化能力强，准确度高。

Description

一种图像质量评估模型训练方法、装置、设备及介质
技术领域
本申请涉及图像质量评估技术领域，具体而言，涉及一种图像质量评估模型训练方法、装置、设备及介质。
背景技术
图像质量指人们对一幅图像视觉感受的主观评价。通常认为图像质量指被测图像(即目标图像)相对于标准图像(即原图像)在人眼视觉系统中产生误差的程度。图像质量又可分为图像逼真度和图像可懂度。图像逼真度描述所处理的图像和原始图像之间的偏离程度；而图像可懂度则表示人或机器能从图像中抽取有关特征信息的程度。
随着互联网和信息技术的发展，图像质量评估已成为各种计算机视觉和图像处理应用的一个重要方面，如图像识别、传输、增强等。现有的图像质量评估模型在不断学习的时候，在多次学习之后，会对之前的学习的内容遗忘，以至于最后得到了训练模型的泛化能力不足，精确度低，不能满足目前对于图像质量的高要求。
发明内容
有鉴于此，本申请的目的在于提供一种图像质量评估模型训练方法、装置、设备及介质，通过本申请方式训练得到的图像质量评估模型泛化能力强、准确度高。
第一方面，本申请实施例提供了一种图像质量评估模型训练方法，所述方法包括：
将采集到的包含目标对象的多个待选样本图像分为训练样本集和测试样本集；其中，所述训练样本集包括随机数量批次的元训练集；各个批次所述元训练集对应有独立模型参数；
构建初始评估模型；所述初始评估模型包含有初始模型参数，用于对应图像的质量进行预测，得到质量预测分数；
将任一目标批次所述元训练集对应的独立模型参数替换所述初始评估模型的初始模型参数，并使用目标批次所述元训练集对该初始评估模型进行训练，得到各个批次所述元训练集对应调整后的过程模型参数；
根据各个所述过程模型参数匹配的权值，计算得到目标模型参数，并在满足预设的收敛条件时，使用测试样本集对包含所述目标模型参数的目标评估模型进行验证，达到预设训练要求后，完成训练。
在本申请一些技术方案中，上述待选样本图像还对应有主观意见分数，所述独立模型参数包括独立质量预测头参数；所述方法还包括：
将采集到的包含目标对象的多个待选样本图像和每个所述待选样本图像的主观意见分数分为所述训练样本集和所述测试样本集；
构建包含初始特征提取器参数和初始质量预测头参数的初始评估模型和所述初始评估模型对应关于主观意见分数与质量预测分数的损失函数；
基于各个批次所述元训练集、该批次所述元训练集的所述独立质量预测头参数和损失函数，分别对包含所述初始特征提取器参数的所述初始评估模型进行训练，得到各个批次所述元训练集对应调整后的过程质量预测头参数和所有批次所述元训练集训练得到的目标特征提取器参数；
根据各个所述过程质量预测头参数匹配的权值，计算得到目标质量预测头参数，进而得到包含目标特征提取器参数和目标质量预测头参数的目标评估模型。
在本申请一些技术方案中，通过以下方式得到所述训练样本集、测试样本集和元训练集：
根据所述目标对象的属性类型对所述待选样本图像和该待选样本图像的主观意见分数进行分组，得到多组待选样本集；
将所述待选样本集中的部分样本集作为所述训练样本集，并将剩余部分样本集作为所述测试样本集；
根据所述训练样本集中每张样本图像包含所述目标对象的清晰程度，将所述训练样本集分为多组所述元训练集。
在本申请一些技术方案中，上述损失函数为所述主观意见分数和所述质量预测分数之差绝对值的和。
在本申请一些技术方案中，通过以下方式得到所述过程质量预测头参数：
使用任一目标独立质量预测头参数替换所述初始评估模型中的所述初始质量预测头参数，得到过程评估模型；
将与所述目标独立质量预测头参数对应目标批次所述元训练集输入到所述过程评估模型中，得到所述过程评估模型输出目标批次元训练集的质量预测分数；
根据目标批次元训练集的质量预测分数和损失函数，得到所述过程质量预测头参数。
在本申请一些技术方案中，上述根据目标批次元训练集的质量预测分数和损失函数，得到所述过程质量预测头参数，包括：
根据目标批次元训练集的质量预测分数和所述损失函数，计算得到目标批次元训练集的质量预测损失值；
根据目标批次元训练集的质量预测损失值对所述目标独立质量预测头参数进行权值更新，得到所述过程质量预测头参数。
在本申请一些技术方案中，通过以下方式设置目标批次所述元训练集的独立质量预测头参数：
若所述目标批次为第一批次，所述目标批次所述元训练集的独立质量预测头参数为预先设置的；
若所述目标批次为非第一批次，所述目标批次所述元训练集的独立质量预测头参数是根据前一批次所述元训练集的独立质量预测头参数设置的。
第二方面，本申请实施例提供了一种图像质量评估模型训练装置，所述装置包括：
分类模块，用于将采集到的包含目标对象的多个待选样本图像分为训练样本集和测试样本集；其中，所述训练样本集包括随机数量批次的元训练集；各个批次所述元训练集对应有独立模型参数；
构建模块，用于构建初始评估模型；所述初始评估模型包含有初始模型参数，用于对应图像的质量进行预测，得到质量预测分数；
训练模块，用于将任一目标批次所述元训练集对应的独立模型参数替换所述初始评估模型的初始模型参数，并使用目标批次所述元训练集对该初始评估模型进行训练，得到各个批次所述元训练集对应调整后的过程模型参数；
完成模块，用于根据各个所述过程模型参数匹配的权值，计算得到目标模型参数，并在满足预设的收敛条件时，使用测试样本集对包含所述目标模型参数的目标评估模型进行验证，达到预设训练要求后，完成训练。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像质量评估模型训练方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的图像质量评估模型训练方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请方法包括将采集到的包含目标对象的多个待选样本图像分为训练样本集和测试样本集；其中，所述训练样本集包括随机数量批次的元训练集；各个批次所述元训练集对应有独立模型参数；构建初始评估模型；所述初始评估模型包含有初始模型参数，用于对应图像的质量进行预测，得到质量预测分数；将任一目标批次所述元训练集对应的独立模型参数替换所述初始评估模型的初始模型参数，并使用目标批次所述元训练集对该初始评估模型进行训练，得到各个批次所述元训练集对应调整后的过程模型参数；根据各个所述过程模型参数匹配的权值，计算得到目标模型参数，并在满足预设的收敛条件时，使用测试样本集对包含所述目标模型参数的目标评估模型进行验证，达到预设训练要求后，完成训练。本申请方法训练得到的图像质量评估模型，对所有的训练样本会有很好的记忆性，在持续训练的过程中不会遗忘较先进行训练的样本特征，泛化能力强，准确度高。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种图像质量评估模型训练方法的流程示意图；
图2示出了本申请实施例所提供的一种对待选样本图像划分的示意图；
图3示出了本申请实施例所提供的一种图像质量评估模型训练装置示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
图像质量指人们对一幅图像视觉感受的主观评价。通常认为图像质量指被测图像(即目标图像)相对于标准图像(即原图像)在人眼视觉系统中产生误差的程度。图像质量又可分为图像逼真度和图像可懂度。图像逼真度描述所处理的图像和原始图像之间的偏离程度；而图像可懂度则表示人或机器能从图像中抽取有关特征信息的程度。
随着互联网和信息技术的发展，图像质量评估已成为各种计算机视觉和图像处理应用的一个重要方面，如图像识别、传输、增强等。现有的图像质量评估模型在不断学习的时候，在多次学习之后，会对之前的学习的内容遗忘，以至于最后得到了训练模型的泛化能力不足，精确度低，不能满足目前对于图像质量的高要求。
基于此，本申请实施例提供了一种图像质量评估模型训练方法、装置、设备及介质，下面通过实施例进行描述。
图1示出了本申请实施例所提供的一种图像质量评估模型训练方法的流程示意图，其中，该方法包括步骤S101-S104；具体的：
S101、将采集到的包含目标对象的多个待选样本图像分为训练样本集和测试样本集；其中，所述训练样本集包括随机数量批次的元训练集；各个批次所述元训练集对应有独立模型参数；
S102、构建初始评估模型；所述初始评估模型包含有初始模型参数，用于对应图像的质量进行预测，得到质量预测分数；
S103、将任一目标批次所述元训练集对应的独立模型参数替换所述初始评估模型的初始模型参数，并使用目标批次所述元训练集对该初始评估模型进行训练，得到各个批次所述元训练集对应调整后的过程模型参数；
S104、根据各个所述过程模型参数匹配的权值，计算得到目标模型参数，并在满足预设的收敛条件时，使用测试样本集对包含所述目标模型参数的目标评估模型进行验证，达到预设训练要求后，完成训练。
本申请方法训练得到的图像质量评估模型，对所有的训练样本会有很好的记忆性，在持续训练的过程中不会遗忘较先进行训练的样本特征，泛化能力强，准确度高。
下面对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
S101、将采集到的包含目标对象的多个待选样本图像分为训练样本集和测试样本集；其中，所述训练样本集包括随机数量批次的元训练集；各个批次所述元训练集对应有独立模型参数。
本申请针对目标对象进行拍摄得到多个待选样本图像，这里的目标对象包括具体的人体、物体等。例如，目标对象为病灶，即目标对象是人体或者动物体上发生病变的部分。且本申请中的待选样本图像为对目标对象拍摄直接得到的自然图像。自然图像表征拍摄之后没有进行任何处理的图像。
为了对后续的模型进行训练，本申请将多个待选样本图像分为了训练样本集和测试样本集。训练样本集和测试样本集中都包含有多张待选样本图像。
在得到了待选样本图像之后，本申请还为待选样本图像设置了主观意见分数，这里的主观意见分数是由人工评估得到。具体的可以是多个专家成员分别给出自己针对该待选样本图像质量的一个评估分数，之后，综合所有专家成员的评估分数，计算得到该待选样本图像的主观意见分数。由于本申请中的待选样本图像还设置了主观意见评估分数，所以本申请在对待选样本图像进行划分的时候，还对该待选样本图像对应的主观意见分数也同时进行划分。即本申请中的训练样本集和测试样本集中不仅包括有待选样本图像还包含有该待选样本图像对应的主观意见分数。
为了提高训练效果，本申请又将训练样本集分为了元训练集。本申请在划分元训练集的时候，是从训练样本集中进行随机不放回取出的。即在训练样本集中取出随机数量的待选样本图像和该待选样本图像对应的主观意见分数作为一个批次的元训练集，即得到随机数量批次的所述元训练集。
本申请实施例中，作为一可选实施例，在对待选样本图像进行划分的过程如图2所示，包括步骤S201-S203：
S201、根据所述目标对象的属性类型对所述待选样本图像和该待选样本图像的主观意见分数进行分组，得到多组待选样本集；
S202、将所述待选样本集中的部分样本集作为所述训练样本集，并将剩余部分样本集作为所述测试样本集；
S203、根据所述训练样本集中每张样本图像包含所述目标对象的清晰程度，将所述训练样本集分为多组所述元训练集。
本申请根据目标对象的属性类型进行分组，目标对象为病灶的时候，将包含相同类型病灶的待选样本图像和该待选样本图像的主观意见分数分为一组。例如，根据病灶感染位置进行分类，感染胳膊和感染腿部的待选样本图像分为两组。在得到了多组待选样本集之后，根据训练的需要待选样本集中选出部分样本集作为训练样本集，其余部分为测试样本集。在具体实施的时候，训练样本集的数量一般要大于测试样本集的数量。在得到了训练样本集之后，为了能够进一步的提高模型的精确度，本申请还对训练样本集进行了区分。根据训练样本集中每张样本图像包含目标对象区域的清晰程度，将训练样本集分为了多组元训练集。例如，感染腿部的多张样本图像，感染区域的清洗程度分为了一级清晰、二级清晰和三级清晰，则将这些样本图像分为三组元训练集。
本申请实施例中，作为一可选实施例，获取维度为N幅合成失真的图像及每幅图像的主观意见分数，并将N幅图像依据病灶类型划分成T组D＝{D1,D2,…,Dt,…,DT}，并将D中M组图像及其对应的主观意见分数组成训练样本集Dtr，将D中剩余图像及其对应的主观意见分数组成测试样本集Dte，然后依据图像中病灶区域的P种清晰程度将训练样本集Dtr划分成Π组元训练集
Figure BDA0003764969310000101
其中，Dt表示元学习过程中的第t组图像，M≥T/2，T≥3，Π＝M×P，P＞3。
S102、构建初始评估模型；所述初始评估模型用于对应图像的质量进行预测，得到质量预测分数。
构建初始评估模型，通过上述的各个批次的元训练集对该初始评估模型进行训练得到目标评估模型。本申请中的初始评估模型包括图像特征提取子网络和图像质量预测子网络。具体的构建过程如下所示：
构建包含顺次连接的图像特征提取子网络R和图像质量预测子网络M的无参考图像质量评价网络模型Y；图像特征提取子网络R包含多个顺次连接的残差单元，每个残差单元包括多个卷积层、多个激活层和一个批量归一化层，且残差单元的输入与该残差单元中最后一个卷积层的输出的和作为最后一个激活层的输入，M包括多个并行排布的全连接层；
图像特征提取子网络R，其包含的残差单元的个数为4个，残差单元分为第1残差单元，第2残差单元，第3残差单元，第4残差单元；每个残差单元均由1个卷积层、1个批量归一化层、1个激活层、一个卷积层和一个ReLU激活层串联组成，每个残差单元的输入与该残差单元中最后一个卷积层的输出的和作为最后一个ReLU激活层的输入；每个残差单元的第1个卷积层和第2个卷积层的卷积核个数分别设置为(32,64)、(128，256)、(512,256)、(128,64),每个残差单元的第1个卷积层和第2个卷积层的卷积核大小个数都设置为(1×1，3×3)，每个残差单元的第1个和第2个卷积层的卷积步长分别设置为1，2。
图像质量预测子网络M包含的全连接层的个数为5，其具体结构为：全局池化层→第1全连接层→第2全连接层→第3全连接层→第4全连接层→第5全连接层，串联的全连接层长度分别为112、56、28、14和1。
本申请中的初始评估模型包含了图像特征提取子网络和图像质量预测子网络，所以初始评估模型就包含了初始特征提取器参数和初始质量预测头参数。为了通过对初始评估模型训练得到的目标评估模型有更强的泛化能力，本申请为各个批次的元训练集设置了独立模型参数。通过不同批次的元训练集对应使用不同的独立模型参数进行训练，能够提高模型的泛化能力。如果各个批次的元训练集均使用初始评估模型的初始模型参数进行训练的话，较后输入的元训练集的特征在训练的过程中会淹没较前输入如的元训练集的特征。
本申请在设置独立模型参数的时候，为线性层的图像质量预测子网络设置了独立质量预测头参数，对于图像特征提取子网络的没有进行设置。也就是说，本申请中的立模型参数包括独立质量预测头参数。
通过以下方式设置目标批次所述元训练集的独立质量预测头参数：
若所述目标批次为第一批次，所述目标批次所述元训练集的独立质量预测头参数为预先设置的；
若所述目标批次为非第一批次，所述目标批次所述元训练集的独立质量预测头参数是根据前一批次所述元训练集的独立质量预测头参数设置的。
为了保证模型训练的效果，本申请还构建了初始评估模型对应关于主观意见分数与质量预测分数的损失函数，所述损失函数为所述主观意见分数和所述质量预测分数之差绝对值的和。
本申请实施例中，作为一可选实施例，定义无参考图像质量评价网络模型Y的损失函数L：
Figure BDA0003764969310000121
其中，L表示质量预测损失函数，Qi表示第i个训练样本对应的主观意见分数，Qpred,i表示训练集中第i个训练样本对应的质量预测分数，Σ表示求和操作。
S103、将任一目标批次所述元训练集对应的独立模型参数替换所述初始评估模型的初始模型参数，并使用目标批次所述元训练集对该初始评估模型进行训练，得到各个批次所述元训练集对应调整后的过程模型参数。
本申请在得到了各个批次元训练集和该批次元训练集的独立模型参数之后，使用各个批次元训练集分贝对初始评估模型进行训练。具体的，在多个批次元训练集中选择任意一个批次作为目标批次。将目标批次元训练集对应的独立模型参数替换初始评估模型包含的初始模型参数，然后使用目标批次的元训练集对包含独立模型参数的初始评估模型进行训练，得到各个批次元训练集对初始评估模型训练后的过程模型参数。
进一步的，基于各个批次所述元训练集、该批次所述元训练集的所述独立质量预测头参数和损失函数，分别对包含所述初始特征提取器参数的所述初始评估模型进行训练，得到各个批次所述元训练集对应调整后的过程质量预测头参数和所有批次所述元训练集训练得到的目标特征提取器参数。
本申请的初始评估模型主要包含了初始特征提取器参数和初始质量预测头参数，本申请对于这两个参数的训练方式是不同的。针对初始特征提取器参数，本申请是用所有批次的元训练集对其进行训练，得到训练后得到的目标特征提取器参数。针对初始质量预测头参数，本申请为最后得到了模型能够有很强的泛化能力，没有直接对初始评估模型包含的初始质量预测头参数进行训练，而是对不同批次的元训练集设置了独立质量预测头参数，进行训练，得到训练后的目标质量预测头参数。
具体的训练过程为，使用任一目标独立质量预测头参数替换所述初始评估模型中的所述初始质量预测头参数，得到过程评估模型；将与所述目标独立质量预测头参数对应目标批次所述元训练集输入到所述过程评估模型中，得到所述过程评估模型输出目标批次元训练集的质量预测分数；根据目标批次元训练集的质量预测分数和所述损失函数，计算得到目标批次元训练集的质量预测损失值；根据目标批次元训练集的质量预测损失值对所述目标独立质量预测头参数进行权值更新，得到所述过程质量预测头参数。
本申请针对不同批次的元训练集设置独立质量预测头参数，并使用独立质量预测头参数替换初始评估模型中的初始质量预测头参数构成过程评估模型。将不同批次元训练集输入到过程评估模型中，得到过程模型输出的各个批次元训练集的质量预测分数。将质量预测分数带入到损失函数中，计算得到各个批次元训练集的质量预测损失值。通过计算质量预测损失值对独立质量预测头参数的偏导，再依据梯度下降法和预设的优化函数进行反向传到，对独立质量预测头参数进行权值更新，得到过程质量预测头参数。
S104、根据各个所述过程模型参数匹配的权值，计算得到目标模型参数，并在满足预设的收敛条件时，使用测试样本集对包含所述目标模型参数的目标评估模型进行验证，达到预设训练要求后，完成训练。
在得到了各个批次元训练集的过程模型参数之后，为各个过程模型参数匹配对应的权值。根据各个过程模型参数和该过程模型参数对应的权值进行求和，得到目标模型参数。将目标模型参数替换初始评估模型中的初始模型参数，即可得到目标评估模型。
在目标评估模型达到预设的收敛条件的时候，即完成了本次的训练过程。在完成一次训练过程之后，使用测试样本集对目标评估模型进行验证。将测试样本集中的样本图像输入到目标评估模型中，得到目标评估模型输出的测试样本集的质量预测分数。将测试样本集的质量预测分数与测试样本集的主观意见分数带入到损失函数中，计算得到测试样本集的损失值。若损失值在预设的范围区间内，完成训练，否则再次进行训练。
进一步的，在得到了各个批次元训练集的过程质量预测头参数之后，为各个批次的过程质量预测头参数匹配权值。根据各个过程质量预测头参数和该过程质量预测头参数的权值，计算得到目标质量预测头参数。将目标特征提取器参数和目标质量预测头参数替换初始评估模型中的初始特征提取参数和初始质量预测头参数得到目标评估模型。
本申请实施例中，作为一可选实施例，对基于元学习的无参考图像质量评价网络模型Y进行迭代训练：
(3a)初始化迭代次数为k，最大迭代次数为K，K＞20，当前无参考图像质量评价网络模型为Yt，Yt的参数Φt为包含特征提取器参数
Figure BDA0003764969310000141
及质量预测头参数θt，并令t＝1；
(3b)令k＝1；
(3c)将从Π组元训练集
Figure BDA0003764969310000142
中随机不放回选取N组元训练集，并为每一组元训练集设置独立质量预测头参数
Figure BDA0003764969310000143
1≤n≤N，令
Figure BDA0003764969310000144
的初始值为θt，此时得到对于应第n个元训练集的网络模型Yn,t的参数Φn,t，
Figure BDA0003764969310000145
(3d)利用Φn,t获取第n组图像质量预测得分，采用损失函数L，第一步通过每个质量预测分数和对应主观意见的损失值Ln,t，然后计算Ln,t对Φn,t的偏导
Figure BDA0003764969310000146
再依据梯度下降法，结合Adam优化函数进行反向传播，对Φn,t进行权值更新得到更新结果
Figure BDA0003764969310000147
(3e)判断n＝N是否成立，若是，加权所有
Figure BDA0003764969310000148
获得Φt的更新结果
Figure BDA0003764969310000149
Figure BDA00037649693100001410
否则，n＝n+1，并执行步骤(3d)；
(3e)判断k＝K是否成立，若是，得到训练好的基于元学习的无参考图像质量评价网络模型Yt *，否则，k＝k+1，并执行步骤(3c)；
(4)获取无参考图像质量评价结果：
将测试样本集Dte作为训练好的基于元学习的无参考图像质量评价网络模型Yt *的输入进行前向推理，得到每个测试样本的质量预测分数。
图3示出了本申请实施例所提供的一种图像质量评估模型训练装置的结构示意图，所述装置包括：
分类模块，用于将采集到的包含目标对象的多个待选样本图像分为训练样本集和测试样本集；其中，所述训练样本集包括随机数量批次的元训练集；各个批次所述元训练集对应有独立模型参数；
构建模块，用于构建初始评估模型；所述初始评估模型包含有初始模型参数，用于对应图像的质量进行预测，得到质量预测分数；
训练模块，用于将任一目标批次所述元训练集对应的独立模型参数替换所述初始评估模型的初始模型参数，并使用目标批次所述元训练集对该初始评估模型进行训练，得到各个批次所述元训练集对应调整后的过程模型参数；
完成模块，用于根据各个所述过程模型参数匹配的权值，计算得到目标模型参数，并在满足预设的收敛条件时，使用测试样本集对包含所述目标模型参数的目标评估模型进行验证，达到预设训练要求后，完成训练。
所述待选样本图像还对应有主观意见分数，所述独立模型参数包括独立质量预测头参数；
分类模块，用于将采集到的包含目标对象的多个待选样本图像和每个所述待选样本图像的主观意见分数分为所述训练样本集和所述测试样本集；
构建模块，用于构建包含初始特征提取器参数和初始质量预测头参数的初始评估模型和所述初始评估模型对应关于主观意见分数与质量预测分数的损失函数；
训练模块，用于基于各个批次所述元训练集、该批次所述元训练集的所述独立质量预测头参数和损失函数，分别对包含所述初始特征提取器参数的所述初始评估模型进行训练，得到各个批次所述元训练集对应调整后的过程质量预测头参数和所有批次所述元训练集训练得到的目标特征提取器参数；
完成模块，用于根据各个所述过程质量预测头参数匹配的权值，计算得到目标质量预测头参数，进而得到包含目标特征提取器参数和目标质量预测头参数的目标评估模型。
通过以下方式得到所述训练样本集、测试样本集和元训练集：
根据所述目标对象的属性类型对所述待选样本图像和该待选样本图像的主观意见分数进行分组，得到多组待选样本集；
将所述待选样本集中的部分样本集作为所述训练样本集，并将剩余部分样本集作为所述测试样本集；
根据所述训练样本集中每张样本图像包含所述目标对象的清晰程度，将所述训练样本集分为多组所述元训练集。
所述损失函数为所述主观意见分数和所述质量预测分数之差绝对值的和。
通过以下方式得到所述过程质量预测头参数：
使用任一目标独立质量预测头参数替换所述初始评估模型中的所述初始质量预测头参数，得到过程评估模型；
将与所述目标独立质量预测头参数对应目标批次所述元训练集输入到所述过程评估模型中，得到所述过程评估模型输出目标批次元训练集的质量预测分数；
根据目标批次元训练集的质量预测分数和损失函数，得到所述过程质量预测头参数。
所述根据目标批次元训练集的质量预测分数和损失函数，得到所述过程质量预测头参数，包括：
根据目标批次元训练集的质量预测分数和所述损失函数，计算得到目标批次元训练集的质量预测损失值；
根据目标批次元训练集的质量预测损失值对所述目标独立质量预测头参数进行权值更新，得到所述过程质量预测头参数。
通过以下方式设置目标批次所述元训练集的独立质量预测头参数：
若所述目标批次为第一批次，所述目标批次所述元训练集的独立质量预测头参数为预先设置的；
若所述目标批次为非第一批次，所述目标批次所述元训练集的独立质量预测头参数是根据前一批次所述元训练集的独立质量预测头参数设置的。
如图4所示，本申请实施例提供了一种电子设备，用于执行本申请中的图像质量评估模型训练方法，该设备包括存储器、处理器、总线及存储在该存储器上并可在该处理器上运行的计算机程序，其中，上述处理器执行上述计算机程序时实现上述的图像质量评估模型训练方法的步骤。
具体地，上述存储器和处理器可以为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机程序时，能够执行上述的图像质量评估模型训练方法。
对应于本申请中的图像质量评估模型训练方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的图像质量评估模型训练方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述的图像质量评估模型训练方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像质量评估模型训练方法，其特征在于，所述方法包括：
将采集到的包含目标对象的多个待选样本图像分为训练样本集和测试样本集；其中，所述训练样本集包括随机数量批次的元训练集；各个批次所述元训练集对应有独立模型参数；
构建初始评估模型；所述初始评估模型包含有初始模型参数，用于对应图像的质量进行预测，得到质量预测分数；
将任一目标批次所述元训练集对应的独立模型参数替换所述初始评估模型的初始模型参数，并使用目标批次所述元训练集对该初始评估模型进行训练，得到各个批次所述元训练集对应调整后的过程模型参数；
根据各个所述过程模型参数匹配的权值，计算得到目标模型参数，并在满足预设的收敛条件时，使用测试样本集对包含所述目标模型参数的目标评估模型进行验证，达到预设训练要求后，完成训练。
2.根据权利要求1所述的方法，其特征在于，所述待选样本图像还对应有主观意见分数，所述独立模型参数包括独立质量预测头参数；所述方法还包括：
将采集到的包含目标对象的多个待选样本图像和每个所述待选样本图像的主观意见分数分为所述训练样本集和所述测试样本集；
构建包含初始特征提取器参数和初始质量预测头参数的初始评估模型和所述初始评估模型对应关于主观意见分数与质量预测分数的损失函数；
基于各个批次所述元训练集、该批次所述元训练集的所述独立质量预测头参数和损失函数，分别对包含所述初始特征提取器参数的所述初始评估模型进行训练，得到各个批次所述元训练集对应调整后的过程质量预测头参数和所有批次所述元训练集训练得到的目标特征提取器参数；
根据各个所述过程质量预测头参数匹配的权值，计算得到目标质量预测头参数，进而得到包含目标特征提取器参数和目标质量预测头参数的目标评估模型。
3.根据权利要求2所述的方法，其特征在于，通过以下方式得到所述训练样本集、测试样本集和元训练集：
根据所述目标对象的属性类型对所述待选样本图像和该待选样本图像的主观意见分数进行分组，得到多组待选样本集；
将所述待选样本集中的部分样本集作为所述训练样本集，并将剩余部分样本集作为所述测试样本集；
根据所述训练样本集中每张样本图像包含所述目标对象的清晰程度，将所述训练样本集分为多组所述元训练集。
4.根据权利要求2所述的方法，其特征在于，所述损失函数为所述主观意见分数和所述质量预测分数之差绝对值的和。
5.根据权利要求2所述的方法，其特征在于，通过以下方式得到所述过程质量预测头参数：
使用任一目标独立质量预测头参数替换所述初始评估模型中的所述初始质量预测头参数，得到过程评估模型；
将与所述目标独立质量预测头参数对应目标批次所述元训练集输入到所述过程评估模型中，得到所述过程评估模型输出目标批次元训练集的质量预测分数；
根据目标批次元训练集的质量预测分数和损失函数，得到所述过程质量预测头参数。
6.根据权利要求5所述的方法，其特征在于，所述根据目标批次元训练集的质量预测分数和损失函数，得到所述过程质量预测头参数，包括：
根据目标批次元训练集的质量预测分数和所述损失函数，计算得到目标批次元训练集的质量预测损失值；
根据目标批次元训练集的质量预测损失值对所述目标独立质量预测头参数进行权值更新，得到所述过程质量预测头参数。
7.根据权利要求2所述的方法，其特征在于，通过以下方式设置目标批次所述元训练集的独立质量预测头参数：
若所述目标批次为第一批次，所述目标批次所述元训练集的独立质量预测头参数为预先设置的；
若所述目标批次为非第一批次，所述目标批次所述元训练集的独立质量预测头参数是根据前一批次所述元训练集的独立质量预测头参数设置的。
8.一种图像质量评估模型训练装置，其特征在于，所述装置包括：
分类模块，用于将采集到的包含目标对象的多个待选样本图像分为训练样本集和测试样本集；其中，所述训练样本集包括随机数量批次的元训练集；各个批次所述元训练集对应有独立模型参数；
构建模块，用于构建初始评估模型；所述初始评估模型包含有初始模型参数，用于对应图像的质量进行预测，得到质量预测分数；
训练模块，用于将任一目标批次所述元训练集对应的独立模型参数替换所述初始评估模型的初始模型参数，并使用目标批次所述元训练集对该初始评估模型进行训练，得到各个批次所述元训练集对应调整后的过程模型参数；
完成模块，用于根据各个所述过程模型参数匹配的权值，计算得到目标模型参数，并在满足预设的收敛条件时，使用测试样本集对包含所述目标模型参数的目标评估模型进行验证，达到预设训练要求后，完成训练。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的图像质量评估模型训练方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的图像质量评估模型训练方法的步骤。
CN202210883110.1A 2022-07-26 2022-07-26 一种图像质量评估模型训练方法、装置、设备及介质 Pending CN115187569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210883110.1A CN115187569A (zh) 2022-07-26 2022-07-26 一种图像质量评估模型训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210883110.1A CN115187569A (zh) 2022-07-26 2022-07-26 一种图像质量评估模型训练方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115187569A true CN115187569A (zh) 2022-10-14

Family

ID=83521492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210883110.1A Pending CN115187569A (zh) 2022-07-26 2022-07-26 一种图像质量评估模型训练方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115187569A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502959A (zh) * 2023-06-21 2023-07-28 南京航空航天大学 一种基于元学习的产品制造质量预测方法
CN117158890A (zh) * 2023-04-04 2023-12-05 深圳市中医院 一种基于分段脑龄模型的脑龄预测方法及相关装置
CN117197613A (zh) * 2023-09-07 2023-12-08 上海乐元素世界科技有限公司 一种训练图像质量预测模型、图像质量预测的方法及装置
CN117689611A (zh) * 2023-08-02 2024-03-12 上海荣耀智慧科技开发有限公司 质量预测网络模型生成方法、图像处理方法及电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117158890A (zh) * 2023-04-04 2023-12-05 深圳市中医院 一种基于分段脑龄模型的脑龄预测方法及相关装置
CN116502959A (zh) * 2023-06-21 2023-07-28 南京航空航天大学 一种基于元学习的产品制造质量预测方法
CN116502959B (zh) * 2023-06-21 2023-09-08 南京航空航天大学 一种基于元学习的产品制造质量预测方法
CN117689611A (zh) * 2023-08-02 2024-03-12 上海荣耀智慧科技开发有限公司 质量预测网络模型生成方法、图像处理方法及电子设备
CN117689611B (zh) * 2023-08-02 2024-07-05 上海荣耀智慧科技开发有限公司 质量预测网络模型生成方法、图像处理方法及电子设备
CN117197613A (zh) * 2023-09-07 2023-12-08 上海乐元素世界科技有限公司 一种训练图像质量预测模型、图像质量预测的方法及装置
CN117197613B (zh) * 2023-09-07 2024-04-09 上海乐元素世界科技有限公司 一种训练图像质量预测模型、图像质量预测的方法及装置

Similar Documents

Publication Publication Date Title
CN115187569A (zh) 一种图像质量评估模型训练方法、装置、设备及介质
CN109740617A (zh) 一种图像检测方法及装置
CN113486981A (zh) 基于多尺度特征注意力融合网络的rgb图像分类方法
CN114387207B (zh) 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型
CN110543916B (zh) 一种缺失多视图数据的分类方法及系统
CN113033587B (zh) 图像识别结果评估方法、装置、电子设备及存储介质
CN111160229A (zh) 基于ssd网络的视频目标检测方法及装置
CN113222123A (zh) 模型训练方法、装置、设备及计算机存储介质
CN109242141B (zh) 一种商品库存数量的预测方法及装置
CN114140463A (zh) 一种焊接缺陷识别方法、装置、设备及存储介质
CN112950570A (zh) 一种结合深度学习与密集连续中心点的裂纹检测方法
CN114187261A (zh) 一种基于多维注意力机制的无参考立体图像质量评价方法
CN111724370A (zh) 一种基于不确定性和概率的多任务无参考图像质量评估方法及系统
CN112084825B (zh) 烹饪评价方法、烹饪推荐方法、计算机设备及存储介质
CN112348808A (zh) 屏幕透图检测方法及装置
CN110942034A (zh) 用于检测多类型深度网络生成图像的方法、系统、装置
CN112766419A (zh) 一种基于多任务学习的图像质量评估方法及装置
CN115346091B (zh) 一种Mura缺陷图像数据集的生成方法和生成装置
CN117058079A (zh) 基于改进ResNet模型的甲状腺显像图像自动诊断方法
CN116844008A (zh) 一种注意力机制引导的内容感知无参考图像质量评价方法
CN115346125A (zh) 一种基于深度学习的目标检测方法
CN116186384A (zh) 一种基于物品隐含特征相似度的物品推荐方法及系统
Khan et al. Evaluating quantitative metrics of tone-mapped images
CN113469977B (zh) 一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质
CN116156151A (zh) 针对智能感知系统的测试方法、系统、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination