CN117437211A - 一种基于双偏置校准学习的低成本图像质量评价方法 - Google Patents

一种基于双偏置校准学习的低成本图像质量评价方法 Download PDF

Info

Publication number
CN117437211A
CN117437211A CN202311546553.2A CN202311546553A CN117437211A CN 117437211 A CN117437211 A CN 117437211A CN 202311546553 A CN202311546553 A CN 202311546553A CN 117437211 A CN117437211 A CN 117437211A
Authority
CN
China
Prior art keywords
image quality
bias
quality evaluation
module
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311546553.2A
Other languages
English (en)
Inventor
吴庆波
王雷
李宏亮
孟凡满
邱荷茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202311546553.2A priority Critical patent/CN117437211A/zh
Publication of CN117437211A publication Critical patent/CN117437211A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

该发明公开了一种基于双偏置校准学习的低成本图像质量评价方法，属于图像处理领域的图像质量评估(Image Quality Assessment,IQA)领域。本发明创建了一个名为门控双偏置校准(GDBC)的模块，将双偏置表示为两个参数未知的潜在变量，包括LC‑MOS和LA‑MOS之间的主观偏置以及从LC‑MOS和LA‑MOS学习到的IQA模型之间的模型偏置；通过基于期望最大化的迭代优化，联合估计双偏置的参数，并通过门控双偏置校准(GDBC)模块自适应地抑制LC‑MOS的误导；对IQA数据集的理论分析和广泛实验，验证了所提出的GDBC方法的有效性，当每张图像可用的意见分数很少时，比如最少一人标注时，该方法仍然保证了最先进的性能。

Description

一种基于双偏置校准学习的低成本图像质量评价方法
技术领域
本发明属于图像处理领域的图像质量评估(Image Quality Assessment,IQA)领域。图像质量评估在评价和指导图像算法的设计方面起着重要的作用。
技术背景
在图像质量评估领域，基于学习的图像质量评估(IQA)模型在可靠的主观质量标签的帮助下获得了令人印象深刻的性能，其中人类平均意见得分(MOS)是最受欢迎的选择。然而，考虑到个体注释者的主观偏见，劳动力丰富的MOS(LA-MOS)通常需要大量收集来自多个注释者对每个图像的意见分数，这显着增加了学习成本；目前还没有专门为低成本MOS(LC-MOS)设计的鲁棒的IQA模型。现有的基于学习的质量评估模型都是在可靠的平均意见得分(MOS)的理想场景下设计的，每张图像MOS的收集至少需要15个标注人员，标注价格和时间成本高昂。
发明内容
本发明为一种低成本带噪分数下进行图像质量评估方法，主要包含偏置更新、门控模块、模型更新；由图1给出了所提出的GDBC的体系结构。
技术方案如下：一种基于双偏置校准学习的低成本图像质量评价方法，该方法包括图像质量评价模块和门控双偏执校准模块，所述图像质量评价模块中包括：图像质量评估模型、图像质量评估模型的预测得分计算模块；所述门控双偏执校准模块中包括：图像质量评价模块的拟合误差计算模块、主观偏置计算模块、图像质量评估模型更新参数计算模块；
步骤1：将图像和带噪标签输入图像质量评价模块，门控双偏执校准模块总初始化主观偏置；
步骤2：图像质量评估模型的预测得分计算模块根据当前图像质量评估模型计算出图像质量评估模型的预测得分ft(xi)，并且将计算记过输入给主观偏置计算模块；ft(xi)表示图像经过神经网络后的输出值，ft可以是训练过程中的t次迭代后的任意的图像质量评价网络；
步骤3：带噪标签输入图像质量评价模块的拟合误差计算模块，图像质量评价模块的拟合误差计算模块中首先计算出图像质量评价模块的偏置然后根据偏置/>计算拟合误差，并将计算结果输入给主观偏置计算模块；
其中，其中i表示第i幅图像，t表示模型训练的第t个时刻，yi η表示带噪声的标签，η表示标签y是带噪的标识，ft(xi)表示模型预测得分；
拟合误差为矩阵C的1范数||C||1，矩阵C由图像质量评价模块在相邻th次迭代中的拟合误差组成，
步骤4：主观偏置计算模块根据输入，计算当前图像质量评估模型的主观偏置，然后将计算记过输入给图像质量评估模型更新参数计算模块；
其中，主观偏置的计算方法为：
其中，α表示插值参数，∈表示预先设置的门限参数；
步骤5：图像质量评估模型更新参数计算模块计算当前图像质量评估模型的更新参数θ，然后当前图像质量评估模型根据得到的更新参数进行参数更新；
其中，参数θ梯度更新方向为；
其中表示对θ求梯度；
步骤6：如果更新后的图像质量评估模型不符合要求，则返回步骤2。
进一步的，计算预测得分ft(xi)和主观偏置时，采用联合计算的方式，使如下目标函数最小；
其中n代表所有样本的数量，表示对带噪意见得分进行偏置为/>的修正，/>表示MSE损失函数。
在本发明中，提出了一种基于双偏置(包括主观偏置和模型偏置)迭代优化的校准方法，用于最少一人标注的低成本带噪分数实际场景，学习可靠的图像质量评价模型，从而显着降低学习成本。实验证实了该方法的有效性。
附图说明
图1为本发明方法示意图。
图2为本发明方法的计算拓扑结构图。
图3为本发实验结果效果图。
具体实施方式
具体实施时，训练集为随机获取的图像质量评估数据集中的图片，训练集标签分为两种情况一种是LC-MOS，为带噪得分为通过采样有限的人类意见得分，比如说一个评分；一种情况是所有采样得分的得到的LA-MOS。测试集为和训练集不重合内容的图片，测试集得分为多个采样的平均意见得分。我们对多个流行的图像质量评价模型进行测试，发现在LC-MOS上训练的模型相对于在LA-MOS训练的模型都有性能退化。在LC-MOS下，我们将多个流行的图像质量评价模型与本文提出的训练策略进行结合，得到了更好的性能表现，这些模型分别是ResNet，NIMA，DBCNN，和HyperIQA。我们用三个指标来衡量图像质量评估模型的效果，分别是皮尔逊线性相关系数(PLCC)、斯皮尔曼等级相关系数(SRCC)[53]以及肯德尔等级相关系数(KRCC)。我们在四个流行的IQA数据集上进行实验。分别是自然失真数据集KONIQ，LIVEC和人工失真数据集VCL，CSIQ。
实际实施训练使用pytorch工具实现，一次性输入batch size为16的图片，迭代50个epoch，优化器选择Adam优化器，得到最终结果将α设置为0.9，最佳学习率为通过网格搜索创建并通过余弦退火调度。在训练和推理过程中，我们进行缩放和居中从原始图像中裁剪320×320×3个子图像，无需改变它们的纵横比。所有实验均在配备单个NVIDIA GeForceRTX 3090GPU的工作站进行。
实验结果见图3，其中Δ表示相对提升，下标LA，LC分别表示用LA-MOS、训练还是LC-MOS训练的,表中给出的都是测试集的指标。LC-MOS选择最低成本的情况，使用一个主观标注评分。
实验结果证明了本发明的方法确实显著降低了成本，并且保证了一定的性能。
本发明创建了一个名为门控双偏置校准(GDBC)的模块，将双偏置表示为两个参数未知的潜在变量，包括LC-MOS和LA-MOS之间的主观偏置以及从LC-MOS和LA-MOS学习到的IQA模型之间的模型偏置；通过基于期望最大化的迭代优化，联合估计双偏置的参数，并通过门控双偏置校准(GDBC)模块自适应地抑制LC-MOS的误导；对IQA数据集的理论分析和广泛实验，验证了所提出的GDBC方法的有效性，当每张图像可用的意见分数很少时，比如最少一人标注时，该方法仍然保证了最先进的性能。
在偏置更新步骤中，通过EM算法最大化步骤(M步骤)中获得主观偏置的更新参数，即其中/>表示模型偏置，其中yi η表示LC-MOS,ft(xi)表示模型预测得分；/>表示下一时刻估计的主观偏置，由当前主观偏置/>模型偏置/>和插值参数α共同决定；
进一步发展了“门控模块”，本身就比较准确的标签进行反复迭代更新可能会导致过度调整。为了解决这个问题，通过测量相邻迭代中IQA模型学习的误差来开发门控双偏置校准(GDBC)模块，即
其中表示IQA模型在相邻th迭代中的拟合误差，主观偏置校准仅在相邻迭代的l范数超过阈值th∈时才进行。
最后，我们的模型更新的学习目标是最小化下面的损失函数：
其中n代表所有样本的数量，ft(xi)表示模型输出，表示对带噪意见得分进行偏置为/>的修正，/>表示MSE损失函数。

Claims (2)

1.一种基于双偏置校准学习的低成本图像质量评价方法，该方法包括图像质量评价模块和门控双偏执校准模块，所述图像质量评价模块中包括：图像质量评估模型、图像质量评估模型的预测得分计算模块；所述门控双偏执校准模块中包括：图像质量评价模块的拟合误差计算模块、主观偏置计算模块、图像质量评估模型更新参数计算模块；
步骤1：将图像和带噪标签输入图像质量评价模块，门控双偏执校准模块总初始化主观偏置；
步骤2：图像质量评估模型的预测得分计算模块根据当前图像质量评估模型计算出图像质量评估模型的预测得分ft(xi)，并且将计算记过输入给主观偏置计算模块；ft(xi)表示图像经过神经网络后的输出值，ft可以是训练过程中的t次迭代后的任意的图像质量评价网络；
步骤3：带噪标签输入图像质量评价模块的拟合误差计算模块，图像质量评价模块的拟合误差计算模块中首先计算出图像质量评价模块的偏置然后根据偏置/>计算拟合误差，并将计算结果输入给主观偏置计算模块；
其中，其中i表示第i幅图像，t表示模型训练的第t个时刻，yi η表示带噪声的标签，η表示标签y是带噪的标识，ft(xi)表示模型预测得分；
拟合误差为矩阵C的1范数||C||1，矩阵C由图像质量评价模块在相邻th次迭代中的拟合误差组成，
步骤4：主观偏置计算模块根据输入，计算当前图像质量评估模型的主观偏置，然后将计算记过输入给图像质量评估模型更新参数计算模块；
其中，主观偏置的计算方法为：
其中，α表示插值参数，∈表示预先设置的门限参数；
步骤5：图像质量评估模型更新参数计算模块计算当前图像质量评估模型的更新参数θ，然后当前图像质量评估模型根据得到的更新参数进行参数更新；
其中，参数θ梯度更新方向为；
其中表示对θ求梯度；
步骤6：如果更新后的图像质量评估模型不符合要求，则返回步骤2。
2.如权利要求1所述的一种基于双偏置校准学习的低成本图像质量评价方法，其特征在于，计算预测得分ft(xi)和主观偏置时，采用联合计算的方式，使如下目标函数最小；
其中n代表所有样本的数量，表示对带噪意见得分进行偏置为/>的修正，表示MSE损失函数。
CN202311546553.2A 2023-11-20 2023-11-20 一种基于双偏置校准学习的低成本图像质量评价方法 Pending CN117437211A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311546553.2A CN117437211A (zh) 2023-11-20 2023-11-20 一种基于双偏置校准学习的低成本图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311546553.2A CN117437211A (zh) 2023-11-20 2023-11-20 一种基于双偏置校准学习的低成本图像质量评价方法

Publications (1)

Publication Number Publication Date
CN117437211A true CN117437211A (zh) 2024-01-23

Family

ID=89555125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311546553.2A Pending CN117437211A (zh) 2023-11-20 2023-11-20 一种基于双偏置校准学习的低成本图像质量评价方法

Country Status (1)

Country Link
CN (1) CN117437211A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016123815A1 (zh) * 2015-02-03 2016-08-11 深圳大学 基于pet/ct图像质量客观算法的评价方法及系统
US20180232878A1 (en) * 2017-02-13 2018-08-16 Siemens Healthcare Gmbh Image Quality Assessment System And Method
CN110516716A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于多分支相似度网络的无参考图像质量评价方法
CN113657380A (zh) * 2021-08-17 2021-11-16 福州大学 融合多模态注意力机制的图像美学质量评价方法
US20230018499A1 (en) * 2021-07-12 2023-01-19 Lightlab Imaging, Inc. Deep Learning Based Approach For OCT Image Quality Assurance
CN117078656A (zh) * 2023-09-04 2023-11-17 厦门大学 一种新型基于多模态提示学习的无监督图像质量评估方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016123815A1 (zh) * 2015-02-03 2016-08-11 深圳大学 基于pet/ct图像质量客观算法的评价方法及系统
US20180232878A1 (en) * 2017-02-13 2018-08-16 Siemens Healthcare Gmbh Image Quality Assessment System And Method
CN110516716A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于多分支相似度网络的无参考图像质量评价方法
US20230018499A1 (en) * 2021-07-12 2023-01-19 Lightlab Imaging, Inc. Deep Learning Based Approach For OCT Image Quality Assurance
CN113657380A (zh) * 2021-08-17 2021-11-16 福州大学 融合多模态注意力机制的图像美学质量评价方法
CN117078656A (zh) * 2023-09-04 2023-11-17 厦门大学 一种新型基于多模态提示学习的无监督图像质量评估方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUE CAO, ET AL.: "Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment", 《ARXIV》, 19 April 2022 (2022-04-19) *
吴庆波: "高效视频编码及其感知质量评价理论与方法研究", 《中国博士学位论文全文数据库》, 15 July 2016 (2016-07-15) *
程晓梅;沈远彤;: "双目标的CNN无参考图像质量评价方法", 《计算机工程与应用》, no. 9, 22 February 2019 (2019-02-22) *

Similar Documents

Publication Publication Date Title
CN112800876B (zh) 一种用于重识别的超球面特征嵌入方法及系统
CN111681209B (zh) 卵裂球分裂状态智能检测系统
CN111353533B (zh) 基于多任务学习的无参考图像质量评价方法及系统
CN110120064A (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN111984817B (zh) 一种基于自注意力机制加权的细粒度图像检索方法
CN116486224A (zh) 一种基于改进U-Net的换热器管口图像识别算法
CN114881286A (zh) 一种基于深度学习的短时降水预测方法
CN117315380B (zh) 一种基于深度学习的肺炎ct图像分类方法及系统
CN114201632A (zh) 一种面向多标记目标检测任务的标签带噪数据集扩增方法
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN116958548A (zh) 基于类别统计驱动的伪标签自蒸馏语义分割方法
CN117437211A (zh) 一种基于双偏置校准学习的低成本图像质量评价方法
CN115511798A (zh) 一种基于人工智能技术的肺炎分类方法及装置
CN112785559B (zh) 基于深度学习的多个异构模型相互组合的骨龄预测方法
CN114120359A (zh) 一种基于堆叠沙漏网络的群养猪体尺测量方法
CN113139464A (zh) 一种电网故障检测方法
CN112950655A (zh) 基于深度学习的土地利用信息自动提取方法
CN111179224A (zh) 一种基于联合学习的航拍图像修复质量的无参考评价方法
CN110598978A (zh) 一种基于股票金融时间序列的技术指标处理方法
CN116993694B (zh) 一种基于深度特征填充的无监督宫腔镜图像异常检测方法
CN117314755B (zh) 一种基于跨模态图像生成的多视角植株生成方法和装置
CN116012388B (zh) 急性缺血性脑卒中三维医学影像分割方法及成像方法
CN110751632B (zh) 基于卷积神经网络的多尺度图像质量检测方法
US20240005483A1 (en) Method of training a machine learning model, method of assessing ultrasound measurement data, method of determining information about an anatomical feature, ultrasound system
CN117290673A (zh) 一种基于多模型融合的船舶能耗高精度预测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination