CN112419270A - 元学习下的无参考图像质量评价方法、装置及计算机设备 - Google Patents

元学习下的无参考图像质量评价方法、装置及计算机设备 Download PDF

Info

Publication number
CN112419270A
CN112419270A CN202011323518.0A CN202011323518A CN112419270A CN 112419270 A CN112419270 A CN 112419270A CN 202011323518 A CN202011323518 A CN 202011323518A CN 112419270 A CN112419270 A CN 112419270A
Authority
CN
China
Prior art keywords
quality
image
learning
image set
meta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011323518.0A
Other languages
English (en)
Other versions
CN112419270B (zh
Inventor
王妙辉
黄亦婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011323518.0A priority Critical patent/CN112419270B/zh
Publication of CN112419270A publication Critical patent/CN112419270A/zh
Application granted granted Critical
Publication of CN112419270B publication Critical patent/CN112419270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种元学习下的无参考图像质量评价方法、装置、计算机设备及存储介质，其中该方法包括：获取输入的训练图像集；分别提取所述图像集中图像的边缘特征图、局部纹理特征图及视觉敏感度分布示意图；将所述训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图作为六个质量相关任务的数据集，利用元学习框架学习质量先验模型；获取输入的目标任务图像集；利用所述目标任务图像集对所述质量先验模型进行微调训练，得到最终的质量评价模型。本发明利用元学习方法通过多个质量相关的任务学到一个鲁棒的质量先验模型，再输入少量目标质量评价任务的标注样本进行微调训练得到最终的质量评价模型，能够快速地实现泛化。

Description

元学习下的无参考图像质量评价方法、装置及计算机设备
技术领域
本发明涉及图像质量评价技术领域，特别是涉及一种元学习下的无参考图像质量评价方法、装置、计算机设备及存储介质。
背景技术
图像是人们日常生活获取信息的重要载体，图像在获取、压缩和传输等过程中会引入各种不同类型的失真。图像质量客观评价方法可以自动地对图像质量进行评价，同时保持与人眼感知的一致性，在众多图像驱动相关系统的设计与优化中有重要的应用价值。
目前，客观质量评价依据对参考图像的依赖程度可以分为：全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。全参考图像质量评价是在能获取参考图像全部信息的情况下，根据参考图像和失真图像之间的差异来衡量失真图像的质量。半参考图像质量评价是在只考虑部分参考图像信息的情况下来衡量失真图像的质量。无参考图像质量评价是在没有任何参考图像信息的情况下来衡量失真图像的质量。虽然根据应用情况不同，这三种客观评价方法都有其研究的意义和价值，但在大部分实际应用场景中往往无法获取参考图像的信息。因此，无参考图像质量评价具有更高的实际应用价值与研究价值。
具体地，无参考图像质量评价方法主要可以分为两类，分别为面向特定失真类型的方法和通用型方法，由于面向特定失真的方法应用范围比较局限，所以通用型方法的需求更为显著，且更受关注。同时，通用型方法又可以分为基于自然场景统计的方法，基于人眼视觉模型的方法和基于学习的方法。
在现有技术中，由于实际应用中图像类型以及失真类型呈现多样化特性，且各种不同的图像类型和失真类型之间存在较大差异，使得通用型的图像质量评价模型构建极具挑战。图像质量评价模型的可扩展性是待改善的问题也是目前关注的热点。由于质量评价数据库的数据标注成本过高，图像质量评价是典型的小样本学习问题。而现有的直接利用深度卷积神经网络构建的图像质量评价模型容易出现过拟合问题，导致模型的可扩展性不理想。
发明内容
基于此，有必要针对上述技术问题，提供一种元学习下的无参考图像质量评价方法、装置、计算机设备及存储介质。
一种元学习下的无参考图像质量评价方法，所述方法包括：
获取输入的训练图像集；
分别提取所述图像集中图像的边缘特征图、局部纹理特征图及视觉敏感度分布示意图；
将所述训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图作为六个质量相关任务的数据集，利用元学习框架学习质量先验模型；
获取输入的目标任务图像集；
利用所述目标任务图像集对所述质量先验模型进行微调训练，得到最终的质量评价模型。
在其中一个实施例中，所述分别提取所述图像集中图像的边缘特征图、局部纹理特征图及视觉敏感度分布示意图的步骤包括：
通过采用多角度滤波器提取所述图像集中图像的边缘特征；
根据周围像素与中心像素的大小关系通过多尺度融合的方式提取所述图像集中图像的局部纹理特征；
通过保留图像中的高频信息检测所述图像集中图像的视觉敏感度分布。
在其中一个实施例中，所述通过采用多角度滤波器提取所述图像集中图像的边缘特征的步骤还包括：
定义两个角度分别为0°和90°的滤波器卷积核Kx和Ky，所述滤波器卷积核的尺寸为7×7；
利用所述滤波器卷积核分别与输入图像进行卷积运算，得到图像对应角度下的边缘特征图Gx和Gy；
通过以下计算方式结合多个方向的边缘特征：
Figure BDA0002793636250000031
其中，
Figure BDA0002793636250000037
和
Figure BDA0002793636250000038
表示边缘特征图Gx和Gy的均值，min{·}表示对图中每个对应位置的像素值进行取最小值操作。
在其中一个实施例中，所述根据周围像素与中心像素的大小关系通过多尺度融合的方式提取所述图像集中图像的局部纹理特征的步骤包括：
计算所述图像集中图像的局部纹理特征TM；
Figure BDA0002793636250000032
Figure BDA0002793636250000033
Figure BDA0002793636250000034
Figure BDA0002793636250000035
其中，K为领域像素点个数，R为半径，LBP′K,R为局部二值模式的变形，α，β，γ为三个比例因子，其数值根据K1，K2，K3以及R1，R2，R3的大小进行具体设置以控制不同尺度对融合结果的影响程度，JNDc为中心像素点对应的恰可察觉失真估计值；
恰可察觉失真的度量方法如下：
Figure BDA0002793636250000036
其中，G表示每个像素点对应的梯度值，
Figure BDA0002793636250000039
表示每个像素点在5x5窗口内的平均亮度值，T作为可见性阈值设置为128，参数l1，l2，l3，l4用来控制背景亮度与可见性阈值的关系，分别设置为-16，2，3/128，6，JND即为每个像素点对应的恰可察觉失真估计值。
在其中一个实施例中，所述通过保留图像中的高频信息检测所述图像集中图像的视觉敏感度分布的步骤包括：
计算所述图像集中图像的视觉敏感度分布示意图SM；
Figure BDA0002793636250000041
其中，YNorm为对所述图像进行亮度分量归一化后的结果，
Figure BDA0002793636250000043
表示YNorm的均值，LP(a,b)为a×b大小的低通滤波器，
Figure BDA0002793636250000042
表示卷积运算，F{·}和F-1{·}表示傅里叶变换及其反变换。
在其中一个实施例中，所述将所述训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图作为六个质量相关任务的数据集，利用元学习框架学习质量先验模型的步骤还包括：
将所述训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图六个质量相关任务的数据集构成元训练集；
将所述元训练集划分支持集和查询集，并利用两层梯度下降方法学习质量先验模型。
在其中一个实施例中，在所述将所述元训练集划分支持集和查询集，并利用两层梯度下降方法学习质量先验模型的步骤之后还包括：
利用输入的少量目标质量评价任务的标注样本对所述质量先验模型进行微调得到最终的质量评价模型；
输出所述质量评价模型。
一种元学习下的无参考图像质量评价装置，所述装置包括：
第一获取模块，所述第一获取模块用于获取输入的训练图像集；
特征提取模块，所述特征提取模块用于分别提取所述图像集中图像的边缘特征图、局部纹理特征图及视觉敏感度分布示意图；
模型学习模块，所述模型学习模块用于将所述训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图作为六个质量相关任务的数据集，利用元学习框架学习质量先验模型；
第二获取模块，所述第二获取模块用于获取输入的目标任务图像集；
模型微调模块，所述模型微调模块用于利用所述目标任务图像集对所述质量先验模型进行微调训练，得到最终的质量评价模型。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项方法的步骤。
上述元学习下的无参考图像质量评价方法、装置、计算机设备及存储介质，提出了三种符合人眼视觉特性的与图像质量紧密相关的特征表示方法，包括一种多方向的滤波核提取图像的边缘特征，一种多尺度融合的图像纹理特征表示，以及一种视觉敏感度分布的检测方法。此外，本发明为了解决通用型图像质量评价模型的可扩展性问题，利用元学习方法先通过多个质量相关的任务学到一个鲁棒的质量先验模型，再输入少量目标质量评价任务的标注样本进行微调训练得到最终的质量评价模型，能够快速地实现泛化。
附图说明
图1为一个实施例中元学习下的无参考图像质量评价方法的流程示意图；
图2为一个实施例中元学习下的无参考图像质量评价方法的整体构思示意图；
图3为另一个实施例中元学习下的无参考图像质量评价方法的流程示意图；
图4为再一个实施例中元学习下的无参考图像质量评价方法的流程示意图；
图5为一个实施例中定义的两个不同角度的滤波器卷积核的示意图；
图6为一个实施例中定义的低通滤波核的示意图；
图7为一个实施例中深度回归网络的构造示意图；
图8为一个实施例中元学习下的无参考图像质量评价装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种元学习下的无参考图像质量评价方法，该方法包括：
步骤102，获取输入的训练图像集；
步骤104，分别提取图像集中图像的边缘特征图、局部纹理特征图及视觉敏感度分布示意图；
步骤106，将训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图作为六个质量相关任务的数据集，利用元学习框架学习质量先验模型；
步骤108，获取输入的目标任务图像集；
步骤110，利用目标任务图像集对质量先验模型进行微调训练，得到最终的质量评价模型。
目前，现有的直接利用深度卷积神经网络构建的图像质量评价模型容易出现过拟合问题，导致模型的可扩展性不理想。因此，在本实施例中提出一种元学习下的无参考图像质量评价方法，旨在利用元学习方法解决通用型图像质量评价模型的可扩展性问题。通过多个相关任务在基于梯度优化的元学习框架下学习到鲁棒的图像质量先验模型，把质量先验模型看作预训练模型，再输入少量目标质量评价任务的标注样本进行微调训练，可以实现快速泛化。
该方法的整体构思流程如图2所示，包括：首先，输入训练集图像。然后，分别提取图像特征生成五类特征图，包括边缘、纹理、亮度、色度及视觉敏感度分布。接着，将输入的训练图像集和获得的五类特征图作为六个质量相关任务，利用元学习框架学习质量先验模型。最后，输入目标任务图像集，并利用该目标任务图像集对质量先验模型进行微调，得到最终的质量评价模型。该方法的具体实现步骤如下：
首先，获取输入的训练图像集，并分别提取图像集中图像的边缘特征、局部纹理特征及视觉敏感度分布。
在一个实施例中，如图3所示，提供了一种元学习下的无参考图像质量评价方法，该方法中分别提取图像集中图像的边缘特征图、局部纹理特征图及视觉敏感度分布示意图的步骤包括：
步骤302，通过采用多角度滤波器提取图像集中图像的边缘特征；
步骤304，根据周围像素与中心像素的大小关系通过多尺度融合的方式提取图像集中图像的局部纹理特征；
步骤306，通过保留图像中的高频信息检测图像集中图像的视觉敏感度分布。
在本实施例中，提出了一种多方向的滤波核对输入的图像进行边缘特征提取，通过利用一个多角度的滤波器来提取图像的边缘信息。具体地，滤波器角度分别选用了0°，90°两个角度，滤波核的尺寸为7×7。定义的滤波器卷积核如下图5所示。利用图5所展示的2个滤波核分别与输入图像进行卷积运算，可以获得图像不同角度下的边缘特征图。
Figure BDA0002793636250000071
Figure BDA0002793636250000072
其中，I表示输入的图像，
Figure BDA0002793636250000073
表示卷积运算，Kx和Ky分别表示角度取0°和90°的滤波核，Gx和Gy表示得到的对应角度下的边缘特征图。
通过以下计算方式结合多个方向的边缘特征：
Figure BDA0002793636250000074
其中，
Figure BDA0002793636250000075
和
Figure BDA0002793636250000076
表示边缘特征图Gx和Gy的均值，min{·}表示对图中每个对应位置的像素值进行取最小值操作。
在本实施例中，还提出了一种多尺度融合的图像纹理特征表示，考虑到人眼不同视场下的感知能力，根据周围像素与中心像素的大小关系并采用多尺度融合的方式提取图像局部纹理特征。
Figure BDA0002793636250000081
Figure BDA0002793636250000082
Figure BDA0002793636250000083
Figure BDA0002793636250000084
其中，K为领域像素点个数，R为半径，LBP′K,R为局部二值模式(LBP)的变形，α，β，γ为三个比例因子，其数值根据K1，K2，K3以及R1，R2，R3的大小进行具体设置以控制不同尺度对融合结果的影响程度，JNDc为中心像素点对应的恰可察觉失真(JND)估计值，TM即为本发明定义的多尺度融合的图像局部纹理特征表示。
恰可察觉失真(JND)的度量方法如下：
Figure BDA0002793636250000085
其中，G表示每个像素点对应的梯度值，
Figure BDA0002793636250000088
表示每个像素点在5x5窗口内的平均亮度值，T作为可见性阈值设置为128，参数l1，l2，l3，l4用来控制背景亮度与可见性阈值的关系，分别设置为-16，2，3/128，6。JND即为每个像素点对应的恰可察觉失真估计值。
在本实施例中还提出了一种符合人眼视觉特性的视觉敏感度分布检测，该方法通过保留图像中的高频信息，检测图像的视觉敏感度分布。
Figure BDA0002793636250000086
其中，YNorm为对所述图像进行亮度分量归一化后的结果，
Figure BDA0002793636250000089
表示YNorm的均值，F{·}和F-1{·}表示傅里叶变换及其反变换，
Figure BDA0002793636250000087
表示卷积运算，LP(a,b)为a×b大小的低通滤波器，在一个具体的实施例中，定义了尺寸为7×7的低通滤波核如图6所示。SM即为检测的视觉敏感度分布示意图。
在上述的特征提取完成后，将输入的训练图像集和获得的边缘特征、纹理特征、视觉敏感度分布，再加上图像的亮度和色度共五类特征图作为六个质量相关任务(训练图像的主观质量分数同时作为其对应特征图的标签)，利用基于梯度优化的元学习框架学习不同图像属性与图像质量的联系以及多个任务之间的共享先验知识，得到质量先验模型。
最后，用目标任务的图像集对先验模型进行微调，得到最终的质量评估模型。由于基于优化的元学习方法能够灵活地应用于使用随机梯度下降法的任何深度网络，因此在本实施例中为目标任务设计了一个深度回归网络，该深度回归网络的示意图如图7所示。
在上述实施例中，提出了三种符合人眼视觉特性的与图像质量紧密相关的特征表示方法，包括一种多方向的滤波核提取图像的边缘特征，一种多尺度融合的图像纹理特征表示，以及一种视觉敏感度分布的检测方法。此外，本实施例中为了解决通用型图像质量评价模型的可扩展性问题，利用元学习方法先通过多个质量相关的任务学到一个鲁棒的质量先验模型，再输入少量目标质量评价任务的标注样本进行微调训练得到最终的质量评价模型，能够快速地实现泛化。
在一个实施例中，如图4所示，提供了一种元学习下的无参考图像质量评价方法，该方法中将训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图作为六个质量相关任务的数据集，利用元学习框架学习质量先验模型的步骤还包括：
步骤402，将训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图六个质量相关任务的数据集构成元训练集；
步骤404，将元训练集划分支持集和查询集，并利用两层梯度下降方法学习质量先验模型；
步骤406，利用输入的少量目标质量评价任务的标注样本对质量先验模型进行微调得到最终的质量评价模型；
步骤408，输出质量评价模型。
具体地，在本实施例中提出了将各类特征图作为多个任务输入元学习器训练质量先验模型，然后再用目标任务的图像集对先验模型进行微调，得到最终的质量评估模型，具体的算法框架主要由以下两步骤组成：
步骤4.1：由上述的六个质量相关任务的数据集构成元训练集，该训练集又分为两类：支持集和查询集。为了达到在支持集学到的质量模型可以在查询集上也表现良好，在本实施例中利用两层梯度下降方法来学习质量先验模型。
步骤4.2：利用目标无参考图像质量评价任务的少量数据样本对质量先验模型进行微调以获得最终的质量评价模型。
在本实施例中，为解决通用型图像质量评价模型的可扩展性问题，利用元学习方法，先通过多个质量相关的任务学到一个鲁棒的质量先验模型，再输入少量目标质量评价任务的标注样本进行微调训练，能够快速地实现泛化。
在一个实施例中，如图8所示，提供了一种元学习下的无参考图像质量评价装置800，该装置包括：
第一获取模块801，用于获取输入的训练图像集；
特征提取模块802，用于分别提取图像集中图像的边缘特征图、局部纹理特征图及视觉敏感度分布示意图；
模型学习模块803，用于将所述训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图作为六个质量相关任务的数据集，利用元学习框架学习质量先验模型；
第二获取模块804，用于获取输入的目标任务图像集；
模型微调模块805，用于利用所述目标任务图像集对所述质量先验模型进行微调训练，得到最终的质量评价模型。
在一个实施例中，特征提取模块802还用于：通过采用多角度滤波器提取所述图像集中图像的边缘特征；根据周围像素与中心像素的大小关系通过多尺度融合的方式提取所述图像集中图像的局部纹理特征；通过保留图像中的高频信息检测所述图像集中图像的视觉敏感度分布。
在一个实施例中，模型学习模块803还用于：将所述训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图六个质量相关任务的数据集构成元训练集；将所述元训练集划分支持集和查询集，并利用两层梯度下降方法学习质量先验模型。
在一个实施例中，模型微调模块805还用于：利用输入的少量目标质量评价任务的标注样本对所述质量先验模型进行微调得到最终的质量评价模型；输出所述质量评价模型。
关于元学习下的无参考图像质量评价装置的具体限定可以参见上文中对于元学习下的无参考图像质量评价方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机设备，其内部结构图可以如图9所示。该计算机设备包括通过装置总线连接的处理器、存储器以及网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置、计算机程序和数据库。该内存储器为非易失性存储介质中的操作装置和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种元学习下的无参考图像质量评价方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以上各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种元学习下的无参考图像质量评价方法，所述方法包括：
获取输入的训练图像集；
分别提取所述图像集中图像的边缘特征图、局部纹理特征图及视觉敏感度分布示意图；
将所述训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图作为六个质量相关任务的数据集，利用元学习框架学习质量先验模型；
获取输入的目标任务图像集；
利用所述目标任务图像集对所述质量先验模型进行微调训练，得到最终的质量评价模型。
2.根据权利要求1所述的元学习下的无参考图像质量评价方法，其特征在于，所述分别提取所述图像集中图像的边缘特征图、局部纹理特征图及视觉敏感度分布示意图的步骤包括：
通过采用多角度滤波器提取所述图像集中图像的边缘特征；
根据周围像素与中心像素的大小关系通过多尺度融合的方式提取所述图像集中图像的局部纹理特征；
通过保留图像中的高频信息检测所述图像集中图像的视觉敏感度分布。
3.根据权利要求2所述的元学习下的无参考图像质量评价方法，其特征在于，所述通过采用多角度滤波器提取所述图像集中图像的边缘特征的步骤还包括：
定义两个角度分别为0°和90°的滤波器卷积核Kx和Ky，所述滤波器卷积核的尺寸为7×7；
利用所述滤波器卷积核分别与输入图像进行卷积运算，得到图像对应角度下的边缘特征图Gx和Gy；
通过以下计算方式结合多个方向的边缘特征：
Figure FDA0002793636240000011
其中，
Figure FDA0002793636240000021
和
Figure FDA0002793636240000022
表示边缘特征图Gx和Gy的均值，min{·}表示对图中每个对应位置的像素值进行取最小值操作。
4.根据权利要求2所述的元学习下的无参考图像质量评价方法，其特征在于，所述根据周围像素与中心像素的大小关系通过多尺度融合的方式提取所述图像集中图像的局部纹理特征的步骤包括：
计算所述图像集中图像的局部纹理特征TM；
Figure FDA0002793636240000023
Figure FDA0002793636240000024
Figure FDA0002793636240000025
Figure FDA0002793636240000026
其中，K为领域像素点个数，R为半径，LBP′K,R为局部二值模式的变形，α，β，γ为三个比例因子，其数值根据K1，K2，K3以及R1，R2，R3的大小进行具体设置以控制不同尺度对融合结果的影响程度，JNDc为中心像素点对应的恰可察觉失真估计值；
恰可察觉失真的度量方法如下：
Figure FDA0002793636240000027
其中，G表示每个像素点对应的梯度值，
Figure FDA0002793636240000028
表示每个像素点在5x5窗口内的平均亮度值，T作为可见性阈值设置为128，参数l1，l2，l3，l4用来控制背景亮度与可见性阈值的关系，分别设置为-16，2，3/128，6，JND即为每个像素点对应的恰可察觉失真估计值。
5.根据权利要求2所述的元学习下的无参考图像质量评价方法，其特征在于，所述通过保留图像中的高频信息检测所述图像集中图像的视觉敏感度分布的步骤包括：
计算所述图像集中图像的视觉敏感度分布示意图SM；
Figure FDA0002793636240000031
其中，YNorm为对所述图像进行亮度分量归一化后的结果，
Figure FDA0002793636240000032
表示YNorm的均值，LP(a,b)为a×b大小的低通滤波器，
Figure FDA0002793636240000033
表示卷积运算，F{·}和F-1{·}表示傅里叶变换及其反变换。
6.根据权利要求1所述的元学习下的无参考图像质量评价方法，其特征在于，所述将所述训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图作为六个质量相关任务的数据集，利用元学习框架学习质量先验模型的步骤还包括：
将所述训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图六个质量相关任务的数据集构成元训练集；
将所述元训练集划分支持集和查询集，并利用两层梯度下降方法学习质量先验模型。
7.根据权利要求6所述的元学习下的无参考图像质量评价方法，其特征在于，在所述将所述元训练集划分支持集和查询集，并利用两层梯度下降方法学习质量先验模型的步骤之后还包括：
利用输入的少量目标质量评价任务的标注样本对所述质量先验模型进行微调得到最终的质量评价模型；
输出所述质量评价模型。
8.一种元学习下的无参考图像质量评价装置，其特征在于，所述装置包括：
第一获取模块，所述第一获取模块用于获取输入的训练图像集；
特征提取模块，所述特征提取模块用于分别提取所述图像集中图像的边缘特征图、局部纹理特征图及视觉敏感度分布示意图；
模型学习模块，所述模型学习模块用于将所述训练图像集、边缘特征图、局部纹理特征图、视觉敏感度分布示意图、亮度图及色度图作为六个质量相关任务的数据集，利用元学习框架学习质量先验模型；
第二获取模块，所述第二获取模块用于获取输入的目标任务图像集；
模型微调模块，所述模型微调模块用于利用所述目标任务图像集对所述质量先验模型进行微调训练，得到最终的质量评价模型。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202011323518.0A 2020-11-23 2020-11-23 元学习下的无参考图像质量评价方法、装置及计算机设备 Active CN112419270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011323518.0A CN112419270B (zh) 2020-11-23 2020-11-23 元学习下的无参考图像质量评价方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011323518.0A CN112419270B (zh) 2020-11-23 2020-11-23 元学习下的无参考图像质量评价方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN112419270A true CN112419270A (zh) 2021-02-26
CN112419270B CN112419270B (zh) 2023-09-26

Family

ID=74778744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011323518.0A Active CN112419270B (zh) 2020-11-23 2020-11-23 元学习下的无参考图像质量评价方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN112419270B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269734A (zh) * 2021-05-14 2021-08-17 成都市第三人民医院 一种基于元学习特征融合策略的肿瘤图像检测方法及装置
CN115187519A (zh) * 2022-06-21 2022-10-14 上海市计量测试技术研究院 图像质量评价方法、系统及计算机可读介质
CN115457614A (zh) * 2021-05-20 2022-12-09 马上消费金融股份有限公司 一种图像质量评价方法、模型训练方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233297A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 数据集的构建方法、移动终端、可读存储介质
CN110728656A (zh) * 2019-09-06 2020-01-24 西安电子科技大学 基于元学习的无参考图像质量数据处理方法、智能终端
CN111507426A (zh) * 2020-04-30 2020-08-07 中国电子科技集团公司第三十八研究所 基于视觉融合特征的无参考图像质量分级评价方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233297A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 数据集的构建方法、移动终端、可读存储介质
CN110728656A (zh) * 2019-09-06 2020-01-24 西安电子科技大学 基于元学习的无参考图像质量数据处理方法、智能终端
CN111507426A (zh) * 2020-04-30 2020-08-07 中国电子科技集团公司第三十八研究所 基于视觉融合特征的无参考图像质量分级评价方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡晋滨;柴雄力;邵枫;: "基于伪参考图像深层特征相似性的盲图像质量评价", 光电子・激光, no. 11, pages 66 - 75 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269734A (zh) * 2021-05-14 2021-08-17 成都市第三人民医院 一种基于元学习特征融合策略的肿瘤图像检测方法及装置
CN115457614A (zh) * 2021-05-20 2022-12-09 马上消费金融股份有限公司 一种图像质量评价方法、模型训练方法及装置
CN115187519A (zh) * 2022-06-21 2022-10-14 上海市计量测试技术研究院 图像质量评价方法、系统及计算机可读介质

Also Published As

Publication number Publication date
CN112419270B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
WO2021000524A1 (zh) 孔位保护门检测方法、装置、计算机设备和存储介质
CN112419270A (zh) 元学习下的无参考图像质量评价方法、装置及计算机设备
CN110349145B (zh) 缺陷检测方法、装置、电子设备以及存储介质
US9396403B2 (en) Method of vehicle identification and a system for vehicle identification
CN111368758B (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN109410192B (zh) 一种多纹理分级融合的织物缺陷检测方法及其装置
CN110059700B (zh) 图像摩尔纹识别方法、装置、计算机设备及存储介质
CN110059666B (zh) 一种注意力检测方法及装置
CN114066857A (zh) 红外图像质量评价方法、装置、电子设备及可读存储介质
CN108664839B (zh) 一种图像处理方法和设备
CN110956628B (zh) 图片等级分类方法、装置、计算机设备和存储介质
Chen et al. Blind quality index for tone-mapped images based on luminance partition
CN111507426A (zh) 基于视觉融合特征的无参考图像质量分级评价方法及装置
CN111598889A (zh) 均压环倾斜故障的识别方法、装置、计算机设备
CN111553431A (zh) 图片清晰度检测方法、装置、计算机设备及存储介质
CN113781393B (zh) 屏幕缺陷检测方法、装置、设备及存储介质
CN108257117B (zh) 图像曝光度的评测方法及装置
CN112330648B (zh) 基于半监督学习的无参考图像质量评价方法及装置
CN116740728B (zh) 一种用于晶圆读码器动态获取方法和系统
Bahrami et al. Efficient image sharpness assessment based on content aware total variation
CN111612732A (zh) 图像质量评估方法、装置、计算机设备及存储介质
CN114897885B (zh) 一种红外图像质量综合评价系统和方法
CN109685757B (zh) 一种基于灰度差分统计的无参考图像质量评价方法及系统
CN115457614A (zh) 一种图像质量评价方法、模型训练方法及装置
CN112581461A (zh) 基于生成网络的无参考图像质量评价方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant