CN117437211A - 一种基于双偏置校准学习的低成本图像质量评价方法 - Google Patents
一种基于双偏置校准学习的低成本图像质量评价方法 Download PDFInfo
- Publication number
- CN117437211A CN117437211A CN202311546553.2A CN202311546553A CN117437211A CN 117437211 A CN117437211 A CN 117437211A CN 202311546553 A CN202311546553 A CN 202311546553A CN 117437211 A CN117437211 A CN 117437211A
- Authority
- CN
- China
- Prior art keywords
- image quality
- bias
- quality evaluation
- module
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000001303 quality assessment method Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims 1
- 238000002372 labelling Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
该发明公开了一种基于双偏置校准学习的低成本图像质量评价方法,属于图像处理领域的图像质量评估(Image Quality Assessment,IQA)领域。本发明创建了一个名为门控双偏置校准(GDBC)的模块,将双偏置表示为两个参数未知的潜在变量,包括LC‑MOS和LA‑MOS之间的主观偏置以及从LC‑MOS和LA‑MOS学习到的IQA模型之间的模型偏置;通过基于期望最大化的迭代优化,联合估计双偏置的参数,并通过门控双偏置校准(GDBC)模块自适应地抑制LC‑MOS的误导;对IQA数据集的理论分析和广泛实验,验证了所提出的GDBC方法的有效性,当每张图像可用的意见分数很少时,比如最少一人标注时,该方法仍然保证了最先进的性能。
Description
技术领域
本发明属于图像处理领域的图像质量评估(Image Quality Assessment,IQA)领域。图像质量评估在评价和指导图像算法的设计方面起着重要的作用。
技术背景
在图像质量评估领域,基于学习的图像质量评估(IQA)模型在可靠的主观质量标签的帮助下获得了令人印象深刻的性能,其中人类平均意见得分(MOS)是最受欢迎的选择。然而,考虑到个体注释者的主观偏见,劳动力丰富的MOS(LA-MOS)通常需要大量收集来自多个注释者对每个图像的意见分数,这显着增加了学习成本;目前还没有专门为低成本MOS(LC-MOS)设计的鲁棒的IQA模型。现有的基于学习的质量评估模型都是在可靠的平均意见得分(MOS)的理想场景下设计的,每张图像MOS的收集至少需要15个标注人员,标注价格和时间成本高昂。
发明内容
本发明为一种低成本带噪分数下进行图像质量评估方法,主要包含偏置更新、门控模块、模型更新;由图1给出了所提出的GDBC的体系结构。
技术方案如下:一种基于双偏置校准学习的低成本图像质量评价方法,该方法包括图像质量评价模块和门控双偏执校准模块,所述图像质量评价模块中包括:图像质量评估模型、图像质量评估模型的预测得分计算模块;所述门控双偏执校准模块中包括:图像质量评价模块的拟合误差计算模块、主观偏置计算模块、图像质量评估模型更新参数计算模块;
步骤1:将图像和带噪标签输入图像质量评价模块,门控双偏执校准模块总初始化主观偏置;
步骤2:图像质量评估模型的预测得分计算模块根据当前图像质量评估模型计算出图像质量评估模型的预测得分ft(xi),并且将计算记过输入给主观偏置计算模块;ft(xi)表示图像经过神经网络后的输出值,ft可以是训练过程中的t次迭代后的任意的图像质量评价网络;
步骤3:带噪标签输入图像质量评价模块的拟合误差计算模块,图像质量评价模块的拟合误差计算模块中首先计算出图像质量评价模块的偏置然后根据偏置/>计算拟合误差,并将计算结果输入给主观偏置计算模块;
其中,其中i表示第i幅图像,t表示模型训练的第t个时刻,yi η表示带噪声的标签,η表示标签y是带噪的标识,ft(xi)表示模型预测得分;
拟合误差为矩阵C的1范数||C||1,矩阵C由图像质量评价模块在相邻th次迭代中的拟合误差组成,
步骤4:主观偏置计算模块根据输入,计算当前图像质量评估模型的主观偏置,然后将计算记过输入给图像质量评估模型更新参数计算模块;
其中,主观偏置的计算方法为:
其中,α表示插值参数,∈表示预先设置的门限参数;
步骤5:图像质量评估模型更新参数计算模块计算当前图像质量评估模型的更新参数θ,然后当前图像质量评估模型根据得到的更新参数进行参数更新;
其中,参数θ梯度更新方向为;
其中表示对θ求梯度;
步骤6:如果更新后的图像质量评估模型不符合要求,则返回步骤2。
进一步的,计算预测得分ft(xi)和主观偏置时,采用联合计算的方式,使如下目标函数最小;
其中n代表所有样本的数量,表示对带噪意见得分进行偏置为/>的修正,/>表示MSE损失函数。
在本发明中,提出了一种基于双偏置(包括主观偏置和模型偏置)迭代优化的校准方法,用于最少一人标注的低成本带噪分数实际场景,学习可靠的图像质量评价模型,从而显着降低学习成本。实验证实了该方法的有效性。
附图说明
图1为本发明方法示意图。
图2为本发明方法的计算拓扑结构图。
图3为本发实验结果效果图。
具体实施方式
具体实施时,训练集为随机获取的图像质量评估数据集中的图片,训练集标签分为两种情况一种是LC-MOS,为带噪得分为通过采样有限的人类意见得分,比如说一个评分;一种情况是所有采样得分的得到的LA-MOS。测试集为和训练集不重合内容的图片,测试集得分为多个采样的平均意见得分。我们对多个流行的图像质量评价模型进行测试,发现在LC-MOS上训练的模型相对于在LA-MOS训练的模型都有性能退化。在LC-MOS下,我们将多个流行的图像质量评价模型与本文提出的训练策略进行结合,得到了更好的性能表现,这些模型分别是ResNet,NIMA,DBCNN,和HyperIQA。我们用三个指标来衡量图像质量评估模型的效果,分别是皮尔逊线性相关系数(PLCC)、斯皮尔曼等级相关系数(SRCC)[53]以及肯德尔等级相关系数(KRCC)。我们在四个流行的IQA数据集上进行实验。分别是自然失真数据集KONIQ,LIVEC和人工失真数据集VCL,CSIQ。
实际实施训练使用pytorch工具实现,一次性输入batch size为16的图片,迭代50个epoch,优化器选择Adam优化器,得到最终结果将α设置为0.9,最佳学习率为通过网格搜索创建并通过余弦退火调度。在训练和推理过程中,我们进行缩放和居中从原始图像中裁剪320×320×3个子图像,无需改变它们的纵横比。所有实验均在配备单个NVIDIA GeForceRTX 3090GPU的工作站进行。
实验结果见图3,其中Δ表示相对提升,下标LA,LC分别表示用LA-MOS、训练还是LC-MOS训练的,表中给出的都是测试集的指标。LC-MOS选择最低成本的情况,使用一个主观标注评分。
实验结果证明了本发明的方法确实显著降低了成本,并且保证了一定的性能。
本发明创建了一个名为门控双偏置校准(GDBC)的模块,将双偏置表示为两个参数未知的潜在变量,包括LC-MOS和LA-MOS之间的主观偏置以及从LC-MOS和LA-MOS学习到的IQA模型之间的模型偏置;通过基于期望最大化的迭代优化,联合估计双偏置的参数,并通过门控双偏置校准(GDBC)模块自适应地抑制LC-MOS的误导;对IQA数据集的理论分析和广泛实验,验证了所提出的GDBC方法的有效性,当每张图像可用的意见分数很少时,比如最少一人标注时,该方法仍然保证了最先进的性能。
在偏置更新步骤中,通过EM算法最大化步骤(M步骤)中获得主观偏置的更新参数,即其中/>表示模型偏置,其中yi η表示LC-MOS,ft(xi)表示模型预测得分;/>表示下一时刻估计的主观偏置,由当前主观偏置/>模型偏置/>和插值参数α共同决定;
进一步发展了“门控模块”,本身就比较准确的标签进行反复迭代更新可能会导致过度调整。为了解决这个问题,通过测量相邻迭代中IQA模型学习的误差来开发门控双偏置校准(GDBC)模块,即
其中表示IQA模型在相邻th迭代中的拟合误差,主观偏置校准仅在相邻迭代的l范数超过阈值th∈时才进行。
最后,我们的模型更新的学习目标是最小化下面的损失函数:
其中n代表所有样本的数量,ft(xi)表示模型输出,表示对带噪意见得分进行偏置为/>的修正,/>表示MSE损失函数。
Claims (2)
1.一种基于双偏置校准学习的低成本图像质量评价方法,该方法包括图像质量评价模块和门控双偏执校准模块,所述图像质量评价模块中包括:图像质量评估模型、图像质量评估模型的预测得分计算模块;所述门控双偏执校准模块中包括:图像质量评价模块的拟合误差计算模块、主观偏置计算模块、图像质量评估模型更新参数计算模块;
步骤1:将图像和带噪标签输入图像质量评价模块,门控双偏执校准模块总初始化主观偏置;
步骤2:图像质量评估模型的预测得分计算模块根据当前图像质量评估模型计算出图像质量评估模型的预测得分ft(xi),并且将计算记过输入给主观偏置计算模块;ft(xi)表示图像经过神经网络后的输出值,ft可以是训练过程中的t次迭代后的任意的图像质量评价网络;
步骤3:带噪标签输入图像质量评价模块的拟合误差计算模块,图像质量评价模块的拟合误差计算模块中首先计算出图像质量评价模块的偏置然后根据偏置/>计算拟合误差,并将计算结果输入给主观偏置计算模块;
其中,其中i表示第i幅图像,t表示模型训练的第t个时刻,yi η表示带噪声的标签,η表示标签y是带噪的标识,ft(xi)表示模型预测得分;
拟合误差为矩阵C的1范数||C||1,矩阵C由图像质量评价模块在相邻th次迭代中的拟合误差组成,
步骤4:主观偏置计算模块根据输入,计算当前图像质量评估模型的主观偏置,然后将计算记过输入给图像质量评估模型更新参数计算模块;
其中,主观偏置的计算方法为:
其中,α表示插值参数,∈表示预先设置的门限参数;
步骤5:图像质量评估模型更新参数计算模块计算当前图像质量评估模型的更新参数θ,然后当前图像质量评估模型根据得到的更新参数进行参数更新;
其中,参数θ梯度更新方向为;
其中表示对θ求梯度;
步骤6:如果更新后的图像质量评估模型不符合要求,则返回步骤2。
2.如权利要求1所述的一种基于双偏置校准学习的低成本图像质量评价方法,其特征在于,计算预测得分ft(xi)和主观偏置时,采用联合计算的方式,使如下目标函数最小;
其中n代表所有样本的数量,表示对带噪意见得分进行偏置为/>的修正,表示MSE损失函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311546553.2A CN117437211B (zh) | 2023-11-20 | 2023-11-20 | 一种基于双偏置校准学习的低成本图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311546553.2A CN117437211B (zh) | 2023-11-20 | 2023-11-20 | 一种基于双偏置校准学习的低成本图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117437211A true CN117437211A (zh) | 2024-01-23 |
CN117437211B CN117437211B (zh) | 2024-07-30 |
Family
ID=89555125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311546553.2A Active CN117437211B (zh) | 2023-11-20 | 2023-11-20 | 一种基于双偏置校准学习的低成本图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117437211B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016123815A1 (zh) * | 2015-02-03 | 2016-08-11 | 深圳大学 | 基于pet/ct图像质量客观算法的评价方法及系统 |
US20180232878A1 (en) * | 2017-02-13 | 2018-08-16 | Siemens Healthcare Gmbh | Image Quality Assessment System And Method |
CN108615231A (zh) * | 2018-03-22 | 2018-10-02 | 浙江科技学院 | 一种基于神经网络学习融合的全参考图像质量客观评价方法 |
CN110516716A (zh) * | 2019-08-05 | 2019-11-29 | 西安电子科技大学 | 基于多分支相似度网络的无参考图像质量评价方法 |
CN113657380A (zh) * | 2021-08-17 | 2021-11-16 | 福州大学 | 融合多模态注意力机制的图像美学质量评价方法 |
US20230018499A1 (en) * | 2021-07-12 | 2023-01-19 | Lightlab Imaging, Inc. | Deep Learning Based Approach For OCT Image Quality Assurance |
CN116830126A (zh) * | 2020-11-23 | 2023-09-29 | 深透医疗公司 | 自动化医学图像质量控制系统 |
CN117078656A (zh) * | 2023-09-04 | 2023-11-17 | 厦门大学 | 一种新型基于多模态提示学习的无监督图像质量评估方法 |
-
2023
- 2023-11-20 CN CN202311546553.2A patent/CN117437211B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016123815A1 (zh) * | 2015-02-03 | 2016-08-11 | 深圳大学 | 基于pet/ct图像质量客观算法的评价方法及系统 |
US20180232878A1 (en) * | 2017-02-13 | 2018-08-16 | Siemens Healthcare Gmbh | Image Quality Assessment System And Method |
CN108615231A (zh) * | 2018-03-22 | 2018-10-02 | 浙江科技学院 | 一种基于神经网络学习融合的全参考图像质量客观评价方法 |
CN110516716A (zh) * | 2019-08-05 | 2019-11-29 | 西安电子科技大学 | 基于多分支相似度网络的无参考图像质量评价方法 |
CN116830126A (zh) * | 2020-11-23 | 2023-09-29 | 深透医疗公司 | 自动化医学图像质量控制系统 |
US20230018499A1 (en) * | 2021-07-12 | 2023-01-19 | Lightlab Imaging, Inc. | Deep Learning Based Approach For OCT Image Quality Assurance |
CN113657380A (zh) * | 2021-08-17 | 2021-11-16 | 福州大学 | 融合多模态注意力机制的图像美学质量评价方法 |
CN117078656A (zh) * | 2023-09-04 | 2023-11-17 | 厦门大学 | 一种新型基于多模态提示学习的无监督图像质量评估方法 |
Non-Patent Citations (3)
Title |
---|
YUE CAO, ET AL.: "Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment", 《ARXIV》, 19 April 2022 (2022-04-19) * |
吴庆波: "高效视频编码及其感知质量评价理论与方法研究", 《中国博士学位论文全文数据库》, 15 July 2016 (2016-07-15) * |
程晓梅;沈远彤;: "双目标的CNN无参考图像质量评价方法", 《计算机工程与应用》, no. 9, 22 February 2019 (2019-02-22) * |
Also Published As
Publication number | Publication date |
---|---|
CN117437211B (zh) | 2024-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112800876B (zh) | 一种用于重识别的超球面特征嵌入方法及系统 | |
CN111353533B (zh) | 基于多任务学习的无参考图像质量评价方法及系统 | |
CN111681209B (zh) | 卵裂球分裂状态智能检测系统 | |
CN111984817B (zh) | 一种基于自注意力机制加权的细粒度图像检索方法 | |
CN117315380B (zh) | 一种基于深度学习的肺炎ct图像分类方法及系统 | |
CN114881286A (zh) | 一种基于深度学习的短时降水预测方法 | |
CN116486224A (zh) | 一种基于改进U-Net的换热器管口图像识别算法 | |
CN114201632B (zh) | 一种面向多标记目标检测任务的标签带噪数据集扩增方法 | |
CN117934489A (zh) | 基于残差和金字塔切分注意力的眼底硬渗出物分割方法 | |
CN117290673A (zh) | 一种基于多模型融合的船舶能耗高精度预测系统 | |
CN117437211B (zh) | 一种基于双偏置校准学习的低成本图像质量评价方法 | |
CN116912570A (zh) | 一种yolo算法模型训练方法、目标检测方法、芯片及机器人 | |
CN116958548A (zh) | 基于类别统计驱动的伪标签自蒸馏语义分割方法 | |
CN116229330A (zh) | 一种视频有效帧的确定方法、系统、电子设备及存储介质 | |
CN115511798A (zh) | 一种基于人工智能技术的肺炎分类方法及装置 | |
CN112785559B (zh) | 基于深度学习的多个异构模型相互组合的骨龄预测方法 | |
CN115034314A (zh) | 一种系统故障检测方法、装置、移动终端及存储介质 | |
CN113139464A (zh) | 一种电网故障检测方法 | |
CN112950655A (zh) | 基于深度学习的土地利用信息自动提取方法 | |
CN111179224A (zh) | 一种基于联合学习的航拍图像修复质量的无参考评价方法 | |
CN110598978A (zh) | 一种基于股票金融时间序列的技术指标处理方法 | |
CN116993694B (zh) | 一种基于深度特征填充的无监督宫腔镜图像异常检测方法 | |
CN118097197B (zh) | 一种图像识别神经网络模型的匹配方法 | |
CN117314755B (zh) | 一种基于跨模态图像生成的多视角植株生成方法和装置 | |
CN118072115B (zh) | 一种医学细胞检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |