CN113066065B - 无参考图像质量检测方法、系统、终端及介质 - Google Patents

无参考图像质量检测方法、系统、终端及介质 Download PDF

Info

Publication number
CN113066065B
CN113066065B CN202110335896.9A CN202110335896A CN113066065B CN 113066065 B CN113066065 B CN 113066065B CN 202110335896 A CN202110335896 A CN 202110335896A CN 113066065 B CN113066065 B CN 113066065B
Authority
CN
China
Prior art keywords
convolution
hadamard
quality detection
channel
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110335896.9A
Other languages
English (en)
Other versions
CN113066065A (zh
Inventor
杨晓东
刘立庄
韩振奇
赵丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Advanced Research Institute of CAS
Original Assignee
Shanghai Advanced Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Advanced Research Institute of CAS filed Critical Shanghai Advanced Research Institute of CAS
Priority to CN202110335896.9A priority Critical patent/CN113066065B/zh
Publication of CN113066065A publication Critical patent/CN113066065A/zh
Application granted granted Critical
Publication of CN113066065B publication Critical patent/CN113066065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明的无参考图像质量检测方法、系统、终端及介质，通过将所述待评价图像输入至经过训练的无参考图像质量检测模型，以获得所述待评价图像的质量检测结果；其中模型由骨干网络模型和双通道卷积网络模型级联组成，该模型结构不仅能够充分挖掘图像特征还充分融合了多层次的语义特征，增强了特征表达的多样性以及特征的自适应性。本发明的方案提取的质量特征更加有效，主客观一致性更加优越，模型泛化能力更强，在预测准确率和复杂度上也能够较好地平衡，进而解决现有技术中在模型复杂度适中的前提下，无法提高质量分数预测的准确性的问题。

Description

无参考图像质量检测方法、系统、终端及介质
技术领域
本申请涉及客观图像质量评价技术领域，尤其涉及无参考图像质量检测方法、系统、终端及介质。
背景技术
随着人类对高质量图像的需求日益紧迫，客观图像质量评价的研究日趋重要。图像在产生、传输、处理和存储的过程中会产生各种失真，会极大地影响观察者的主观舒适度和其他视觉任务的准确率。根据参考标准图像的程度，客观图像质量评价方法可分为三种：全参考型、半参考型和无参考型。由于实际场景的参考图像较难获取，无参考方法为主要研究方向。无参考方法是学习待评价图像本身特征到主观质量的映射关系，不利用参考图像的任何信息，面临失真复杂性和内容依赖性的挑战。对于自然统计特征的研究，有空域熵和梯度、频域熵和小波域等特征，例如BIQ、NIQE、BRISQUE和SSEQ等方法，典型的是高阶统计量聚合方法HOSA，其性能在传统方法中具有竞争力。基于深度学习的评价方法研究，一般是利用其他任务的深层语义特征作为先验知识辅助学习，典型图像质量评价的卷积网络模型有DeepBIQ，RankIQA，BPSQM，MetaIQA，HyperIQA，Koncept512，LineartyIQA等方法，其中LineartyIQA性能较好，设计了NINLoss取主客观分数归一化的差值范数，能够加快收敛，但模型复杂度过高。自然统计特征方法有局限性且准确率低，深度学习方法虽然性能提升较大，但多数的质量特征表达还不够充分有效。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供无参考图像质量检测方法、系统、终端及介质，解决现有技术中在模型复杂度适中的前提下，无法提高质量分数预测的准确性的问题。
为实现上述目标及其他相关目标，本申请提供一种无参考图像质量检测方法，包括：获取待评价图像；将所述待评价图像输入至经过训练的无参考图像质量检测模型，以获得所述待评价图像的质量检测结果；其中，所述图像质量评价模型的网络结构包括：相互级联的骨干网络结构以及双通道卷积网络结构；所述骨干网络结构用于对输入的待评价图像提取图像质量特征，并输出特征图；所述双通道卷积网络结构用于对输入的特征图进行双通道卷积计算，并输出对应所述特征图的质量检测结果。
于本申请的一或多个实施例中，所述无参考图像质量检测模型的训练过程包括：利用训练数据集训练所述无参考图像质量检测模型；其中，所述训练数据集包括：一或多个样本图像以及对应各样本图像的质量评价标签；并且其中，所述质量评价标签包括：质量评价等级和/或主观质量得分。
于本申请的一或多个实施例中，所述双通道卷积网络结构包括：密集哈达玛卷积通道，用于对输入的特征图进行密集哈达玛卷积计算，并输出获得第一特征向量；多层卷积通道，用于对输入的特征图进行多层卷积计算，并输出获得第二特征向量；融合结构，连接所述密集哈达玛卷积通道以及多层卷积通道，用于将所述第一特征向量以及第二特征向量进行多维拼接，并映射获得质量检测结果。
于本申请的一或多个实施例中，所述密集哈达玛卷积通道包含依次连接的全局平均池化层、3个全连接层和用于密集哈达玛卷积的密集哈达玛卷积模块；其中，所述密集哈达玛卷积模块包括：至少一个对应一变换权重的哈达玛卷积层，用于通过哈达玛乘积对由所述全连接层输出的特征向量进行权重变换。
于本申请的一或多个实施例中，所述密集哈达玛卷积模块包括：依次连接的三个Dendrite Net层，用于对所述全连接输出的特征向量依次进行对应各Dendrite Net层的三个权重矩阵的变换，以输出所述第一特征向量。
于本申请的一或多个实施例中，骨干网络结构包括：Inception-Resnet-v2深度网络模型，其包含依次连接的Stem模块、Inception-Resnet模块以及Reduction模块。
于本申请的一或多个实施例中，多层卷积通道包括：依次级联的3个卷积层和全局平均池化层。
为实现上述目标及其他相关目标，本申请提供一种无参考图像质量检测系统，包括：采集模块，用于获取待评价图像；质量评价模块，连接所述采集模块，用于将所述待评价图像输入至经过由一或多个样本图像以及对应各样本图像的质量评价标签构成的训练数据集训练的无参考图像质量检测模型，以获得所述待评价图像的质量检测结果；其中，所述图像质量评价模型的网络结构包括：相互级联的骨干网络结构以及双通道卷积网络结构；所述骨干网络结构用于对输入的待评价图像提取图像质量特征，并输出特征图；所述双通道卷积网络结构用于对输入的特征图进行双通道卷积计算，并输出对应所述特征图的质量检测结果；并且其中，所述双通道卷积网络结构包括：密集哈达玛卷积通道，用于对输入的特征图进行密集哈达玛卷积计算，并输出获得第一特征向量；多层卷积通道，用于对输入的特征图进行多层卷积计算，并输出获得第二特征向量；融合结构，连接所述密集哈达玛卷积通道以及多层卷积通道，用于将所述第一特征向量以及第二特征向量进行多维拼接，并映射获得质量检测结果。
为实现上述目标及其他相关目标，本申请提供一种无参考图像质量检测终端，包括：一或多个存储器及一或多个处理器；所述一或多个存储器，用于存储计算机程序；所述一或多个处理器，连接所述存储器，用于运行所述计算机程序以执行所述的无参考图像质量检测方法。
为实现上述目标及其他相关目标，本申请提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被一个或多个处理器运行时执行所述的无参考图像质量检测方法。
如上所述，本申请的无参考图像质量检测方法、系统、终端及介质，通过将所述待评价图像输入至经过训练的无参考图像质量检测模型，以获得所述待评价图像的质量检测结果；其中模型由骨干网络模型和双通道卷积网络模型级联组成，该模型结构不仅能够充分挖掘图像特征还充分融合了多层次的语义特征，增强了特征表达的多样性以及特征的自适应性。本发明的方案提取的质量特征更加有效，主客观一致性更加优越，模型泛化能力更强，在预测准确率和复杂度上也能够较好地平衡。
附图说明
图1显示为本申请实施例中无参考图像质量检测方法的流程示意图。
图2显示为本申请实施例中无参考图像质量检测模型的结构示意图。
图3显示为本申请实施例中骨干网络结构的结构示意图。
图4显示为本申请实施例中密集哈达玛卷积模块的结构示意图。
图5显示为本申请实施例中无参考图像质量检测模型的结构示意图。
图6显示为本申请实施例中质量预测散点示意图。
图7显示为本申请实施例中无参考图像质量检测系统的结构示意图。
图8显示为本申请实施例中无参考图像质量检测方终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统，本说明书中的各项细节也可以基于不同观点与应用系统，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。
为了明确说明本申请，省略与说明无关的部件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。
在通篇说明书中，当说某部件与另一部件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。
当说某部件在另一部件“之上”时，这可以是直接在另一部件之上，但也可以在其之间伴随着其它部件。当对照地说某部件“直接”在另一部件“之上”时，其之间不伴随其它部件。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等描述。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
表示“下”、“上”等相对空间的术语可以为了更容易地说明在附图中图示的一部件相对于另一部件的关系而使用。这种术语是指，不仅是在附图中所指的意义，还包括使用中的装置的其它意义或作业。例如，如果翻转附图中的装置，曾说明为在其它部件“下”的某部件则说明为在其它部件“上”。因此，所谓“下”的示例性术语，全部包括上与下方。装置可以旋转90°或其它角度，代表相对空间的术语也据此来解释。
虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。
鉴于现有技术的缺失，通过将所述待评价图像输入至经过训练的无参考图像质量检测模型，以获得所述待评价图像的质量检测结果；其中模型由骨干网络模型和双通道卷积网络模型级联组成，该模型结构不仅能够充分挖掘图像特征还充分融合了多层次的语义特征，增强了特征表达的多样性以及特征的自适应性。本发明的方案提取的质量特征更加有效，主客观一致性更加优越，模型泛化能力更强，在预测准确率和复杂度上也能够较好地平衡，进而解决现有技术中在模型复杂度适中的前提下，无法提高质量分数预测的准确性的问题。
下面以附图为参考，针对本发明的实施例进行详细说明，以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现，并不限于此处说明的实施例。
如图1所示，展示本发明实施例中的无参考图像质量检测方法的流程示意图。
所述方法包括：
步骤S11：获取待评价图像；
可选的，所述图像可以为动态图像也可以为静态图片；获取图像的方式可以为通过通信连接的照相机、摄像头等设备拍摄后传入，或从存储有已经拍摄完成的待处理的图像的存储设备中获取。
步骤S12：将所述待评价图像输入至经过训练的无参考图像质量检测模型，以获得所述无参考图像质量检测模型输出的所述待评价图像的质量检测结果。
在本实施例中，如图2所示，所述图像质量评价模型的网络结构包括：相互级联的骨干网络结构21以及双通道卷积网络结构22；所述骨干网络结构21用于对输入的待评价图像提取图像质量特征，并输出特征图；所述双通道卷积网络结构22用于对输入的由所述骨干网络结构输出的包含图像质量特征的特征图进行双通道卷积计算，并输出对应所述特征图的质量检测结果。需要注意的是，所述图像质量特征包括但不仅限于亮度、色彩、均方根对比度、清晰度、图像比特率、分辨率和JPEG压缩质量特征。
可选的，所述无参考图像质量检测模型的训练过程包括：利用训练数据集训练所述无参考图像质量检测模型；其中，所述训练数据集包括：一或多个样本图像以及对应各样本图像的质量评价标签；并且其中，所述质量评价标签包括：质量评价等级和/或主观质量得分。上述训练数据集中最好包含有大量的样本，每个样本中均包含有一个样本图像和该样本图像对应的质量评价标签，该质量评价标签可以是一个向量，该向量中的每个元素代表该样本图像属于预设的多个质量等级、质量得分以及每个质量等级的概率值中的一种或多种。所述待评价图像的质量检测结果为客观质量结果，若预测获得的客观质量结果与所述主观质量标签越一致，则客观评价算法预测准确率越高，进而训练泛化能力强的模型至关重要。
在另一种实施方式中，所述训练数据集包括：训练集、验证集以及测试集，三个集合所包含的图片内容互相独立；训练方式包括：在对无参考图像质量检测模型进行机器学习训练的过程中，需要从训练数据集中选择样本构成训练集，再将该训练集中的样本图像输入至初始的无参考图像质量检测模型中，可以输出该样本图像的图像质量检测结果，进而通过该检测结果与该样本图像对应的质量评价标签计算得到损失值，基于损失值调整初始的无参考图像质量检测模型的网络参数，继续从训练集中选择样本输入至调整后的模型中，直到损失值收敛拟合达到标准，在模型训练后，再利用从训练数据集中选择样本构成测试集对模型进行测试。优选的，每步训练后在验证集上计算泛化能力参数值包括：损失量、皮尔森线性相关系数(PLCC)和斯皮尔曼秩相关系数(SROCC)中的一种或多种，并整个过程监控PLCC，保存最大值对应的模型以防止过拟合，使模型泛化能力达到最佳。
其中，泛化能力参数值损失量、皮尔森线性相关系数(PLCC)和斯皮尔曼秩相关系数(SROCC)的计算公式为以下：
主客观质量评价的一致程度可通过度量指标说明。皮尔森线性相关系数(PLCC)反映两变量或分布之间的相关性，计算公式如式(1)所示。
其中，N为测试图像个数，xi和表示第i幅图像的MOS和其样本均值，yi和/>表示第i幅图像的质量预测分数和其均值。PLCC取值范围[0,1]，越大表示图像质量的主客观评价越一致，客观评价算法预测准确率越高。
斯皮尔曼秩相关系数(SROCC)表示客观评价分数相对于真值分数的单调性，计算公式如式(2)所示。
其中，N表示测试图像的个数，rxi和ryi表示第i幅图像的主客观分数的分别排序位置，差值表征距离。SROCC取值范围[0,1]，取值越大表示单调性越好，反映主客观评价一致性越高。
损失量计算采用MSE损失函数，其表达式如式(3)所示。
其中，Q和分别为MOS和预测分数分布，qi和/>为第i张图片的分数，N为集合图片个数。
在一实施例中，为了尽量达到主客观的一致性，所述训练数据集采用KonIQ-10k数据集，其包含10,073个质量评分图像，每幅图像有可靠的质量评价等级和主观平均得分。数据集在七个指标分布上具有平衡性，分别是亮度、色彩、均方根对比度、清晰度、图像比特率、分辨率和JPEG压缩质量，其均与人类感知密切相关。所述KonIQ-10k数据集共有三个分辨率，分别是1024×768、512×384和224×224，最常用的是512×384分辨率。从规模和指标分布上看，KonIQ-10k有利于训练泛化性能更好的深度网络模型。优选的，骨干网络结构使用ImageNet预训练权值进行初始化提取分类特征作为先验，能够充分挖掘图像质量特征，减少卷积过程中信息的损失。
可选的，所述骨干网络结构21采用特征提取能力优秀的Inception-Resnet-v2模型，其ILSVRC的Top-1准确率高达80.4％，Inception-ResNet-v2的网络框架如图3所示，包含Stem模块、各种Inception-Resne模块和Reduction模块，不包含Average Pooling、Dropout和Softmax层，将提取的特征图直接输出到预测网络中，能够充分挖掘图像特征。骨干网络结构输入是三维的待评价图像，输出1536维特征图。
可选的，再参考图2，所述双通道卷积网络结构22包括：密集哈达玛卷积通道221，用于对输入的特征图进行密集哈达玛卷积计算，并输出获得第一特征向量；多层卷积通道222，用于对输入的特征图进行多层卷积计算，并输出获得第二特征向量；融合结构223，连接所述密集哈达玛卷积通道以及多层卷积通道，用于将所述第一特征向量以及第二特征向量进行多维拼接，并映射获得质量检测结果。以往的质量评估网络多数是特征提取和全连接，对特征图直接进行全局平均池化会造成特征的模糊，从而丢失部分信息。而双通道结构是将不同类型的特征相结合，增加了语义特征的多样性和完整性，相对于单通道评估网络，其增加了深度和宽度，使得特征表达更加高级。尤其是，所述密集哈达玛卷积通道采用密集哈达玛卷积，更精确地拟合特征映射函数。因此，双通道结构的评估网络更具有图像质量的辨别性。
在本实施例中，所述融合结构最后在维度上拼接以上两个通道的第一特征向量以及第二特征向量，再经过全连接层映射到质量分数。
可选的，再参考图2，所述密集哈达玛卷积通道221包含依次连接的用于池化的全局平均池化层2211、用于提取全局特征的3个全连接层(2212、2213以及2214)和用于密集哈达玛卷积并且连接在所述密集哈达玛卷积通道末端的密集哈达玛卷积模块2215；具体的，所述骨干网络结构输出的特征图依次首先通过全局池化层进行池化，再通过3个全连接层进行全局特征提取输出特征向量(由最后一层全连接层输出)，将该特征向量作为密集哈达玛卷积模块2215的输入。其中，所述密集哈达玛卷积模块2215包括：至少一个对应一变换权重的哈达玛卷积层22151，用于通过哈达玛乘积对由所述全连接层输出的特征向量进行权重变换，所述密集哈达玛卷积模块2215以输入作为权重，与每层特征映射做哈达玛积，其使用多特征融合和高级表达以更好地处理失真复杂度。在密集哈达玛卷积通道221中设计了密集哈达玛卷积模块2215，即通过哈达玛乘积的形式将低层神经元特征与高层神经元特征进行组合变换，引入了自注意力机制，实现特征的自适应性。输入的特征向量除了在密集哈达玛卷积模块2215中进行权重变换，还有一个恒等映射的连接到每层的输出，这点与残差模块结构十分相似，也同样使得深度质量评价网络易于训练和优化。不同的是，对于多层结构的密集哈达玛卷积模块2215不是模块的简单堆叠，每层输出都与原始输入融合。恒等映射的连接结构类似于DenseNet的密集连接，能够加强特征的传递，更有效地利用特征，所以称之为密集哈达玛卷积。对于前馈特征的融合方式，一般为通道维度上的连接或者空间位置的相加，本结构中则使用了哈达玛积，因此也可以将其理解为一种特殊的自注意力机制。
所述密集哈达玛卷积模块2215的每层前向传播表达式如式(4)。
Al＝Wl，l-1Al-1οX (4)
其中，X是模块整体的输入，Al-1和Al分别为第l层的输入和输出特征，Wl,l-1是第l-1到第l层的变换权重，运算符ο表示哈达玛积。
可选的，参考图2，所述密集哈达玛卷积模块包括：依次连接的三个Dendrite Net层22151，用于对所述全连接输出的特征向量依次进行对应各Dendrite Net层22151的三个权重矩阵的变换，以输出所述第一特征向量。
具体的，如图4所示，输入X是由最后一层全连接层输出的特征向量，经过三个Dendrite Net层输出为F(x)。X除了进行权重变换，还有一个恒等映射的连接到每层的输出。模块整体输出表达式如式(5)所示，输入X为3维特征向量。X依次经过三个权重矩阵(W10、W21和W32)的变换，每层输出都与X对应相乘。输出项是三个特征与权重的组合项，有单特征的高次幂项和多特征乘积项；组合项的权重系数较多，可使得特征学习更为灵活。而传统的多层感知机只有特征的一次项，输出是输入的线性叠加，特征表达形式较为局限。
密集哈达玛卷积模块2215模块的层数选为3可以使其能够精确拟合特征表达但不引入过高复杂度。
可选的，多层卷积通道222包括：依次级联的3个卷积层2221和全局平均池化层2222。具体的，由骨干网络输出的特征图经过3层卷积，再通过全局平均池化层进行池化则输出第二特征量。举例来说，卷积支路串联3层卷积，卷积核大小均为1×1，个数为512、256和128，特征图再经过全局平均池化层，输出128维特征向量。
为了更好的描述所述无参考图像质量检测方法，提供一具体实施例；
实施例1：无参考图像质量检测方法，所述方法包括：
步骤1：获取待评估图像；
步骤2：将所述待评估图像输入至经过训练的双通道密集哈达玛卷积图像质量评价模型，以获得所述待评估图像的质量评分数；
其中，如图5所示，双通道密集哈达玛卷积图像质量评价模型的结构包括：由骨干网络和分数评估网络级联组成。所述骨干网络，采用特征提取能力优秀的Inception-Resnet-v2网络，其ILSVRC的Top-1准确率高达80.4％，以ImageNet预训练权重提取分类特征作为先验，能够充分挖掘图像质量特征，减少卷积过程中信息的损失。Inception-ResNet-v2的网络框架包含Stem网络、各种Inception-Resnet和Reduction模块，不包含Average Pooling、Dropout和Softmax层，提取的特征图直接输出到预测网络中。在质量评估数据集上进行微调，以解决内容依赖性问题。网络输入是三维的待评估图像，输出1536维特征图。所述分数评估网络双通道结构由两个特征变换分支组成，骨干网络输出的特征图作为输入，接着流向两个支路。多层感知机支路包含全局平均池化、3层全连接层和密集哈达玛卷积模块，全连接层神经元个数分别为2048、1024、256，模块中的线性映射也用全连接层表示，神经元个数均为256，为使其能够精确拟合特征表达但不引入过高复杂度，通过哈达玛乘积的形式将低层神经元特征与高层神经元特征进行组合变换，包含3层DendriteNet层，连接在多层感知机分支末端；卷积支路串联3层卷积，卷积核大小均为1×1，个数为512、256和128，特征图再经过全局平均池化，输出128维特征向量。最后在维度上拼接以上两个通道的特征向量，为384维，经过全连接层映射到质量分数。
所述双通道密集哈达玛卷积图像质量评价模型的训练过程包括：
采用KonIQ-10k的训练集、验证集和测试集包含图像的个数分别为7058、1000和2015。实验中所有的模型都使用512×384分辨率数据集进行训练，标签采用MOS。选择Adam优化器，为使模型更快收敛，批次大小设置为16。骨干网络Inception-ResNet-v2使用ImageNet预训练权值进行初始化。学习率逐渐下降，第一阶段学习率为1e-4，训练40步；第二阶段学习率为1e-4/5，训练40步；第三阶段学习率为1e-4/10，训练20步。每步训练后在验证集上计算Loss、SROCC和PLCC，整个过程监控PLCC，保存最大值对应的模型以防止过拟合，使模型泛化能力达到最佳。模型的最终性能为测试集上评估的结果。实验使用NVIDIA RTX8000GPU和PyTorch深度学习框架。
在模型训练后，对模型进行测试。从KonIQ-10k测试集中随机挑选6幅图片，将无密集哈达玛卷积的单通道作为基准，和本发明的模型客观质量评分情况对比。从每幅图片的MOS、基准和本发明模型的预测分数来看，本发明的预测分数更接近MOS，在评价对比度、清晰度和色彩等方面，本模型的辨别能力更强，与主观评价指标的表现相对一致。
图6是基准和本模型的预测分布散点图，x轴为真值MOS，y轴为模型预测的MOS，每个点对应一幅图像，能够形象地表示主客观图像质量评价关系。观察得知，本模型的点更集中在对角线上，且分布更加密集；而基准模型的点整体分布偏于对角线，且低分阶段比较分散。本发明方法具有更好的主客观一致性。为了说明本发明方法的先进性，将其与目前性能较好的无参考图像质量评估方法对比。本发明方法的SROCC和PLCC分别达到0.922和0.938的性能，提出的模型在无参考图像评估中，优于传统方法和大部分深度学习模型，处于较为先进的水平。因此本发明提出的基于双通道密集哈达玛加权的质量评价网络，使得图像质量特征具有更高的辨别性。
在骨干网络相同的情况下，本发明网络相对于无密集哈达玛卷积的单通道和双通道网络结构、有密集哈达玛卷积的双通道结构，性能都有一定的提升。整体实验结果表明，与其他模型相比，SROCC和PLCC指标均处于较领先的地位，同时复杂度低于LineartyIQA模型。本发明提出的网络结构提取的质量特征更加有效，主客观一致性更加优越，模型泛化能力更强，在预测准确率和复杂度上也能够较好地平衡。
与上述实施例原理相似的是，本发明提供一种无参考图像质量检测系统。
以下结合附图提供具体实施例：
如图7展示本发明实施例中的一种无参考图像质量检测系统的结构示意图。
所述系统包括：
采集模块71，用于获取待评价图像；
质量评价模块72，连接所述采集模块，用于将所述待评价图像输入至经过由一或多个样本图像以及对应各样本图像的质量评价标签构成的训练数据集训练的无参考图像质量检测模型，以获得所述待评价图像的质量检测结果；
其中，所述图像质量评价模型的网络结构包括：相互级联的骨干网络结构以及双通道卷积网络结构；所述骨干网络结构用于对输入的待评价图像提取图像质量特征，并输出特征图；所述双通道卷积网络结构用于对输入的特征图进行双通道卷积计算，并输出对应所述特征图的质量检测结果；
并且其中，述双通道卷积网络结构包括：密集哈达玛卷积通道，用于对输入的特征图进行密集哈达玛卷积计算，并输出获得第一特征向量；多层卷积通道，用于对输入的特征图进行多层卷积计算，并输出获得第二特征向量；融合结构，连接所述密集哈达玛卷积通道以及多层卷积通道，用于将所述第一特征向量以及第二特征向量进行多维拼接，并映射获得质量检测结果。
需说明的是，应理解图7系统实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现；
例如各模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
需要注意的是，由于该无参考图像质量检测系统以及无参考图像质量检测模型三维实现原理已在前述实施例中进行了叙述，因此此处不作重复赘述。
如图8展示本发明实施例中的无参考图像质量检测终端80的结构示意图。
所述无参考图像质量检测终端80包括：存储器81及处理器82所述存储器81用于存储计算机程序；所述处理器82运行计算机程序实现如图1所述的无参考图像质量检测方法。
可选的，所述存储器81的数量均可以是一或多个，所述处理器82的数量均可以是一或多个，而图8中均以一个为例。
可选的，所述基于无参考图像质量检测终端80中的处理器82会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器81中，并由处理器82来运行存储在第一存储器81中的应用程序，从而实现如图1所述无参考图像质量检测方法中的各种功能。
可选的，所述存储器81，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器82，可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，所述处理器82可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现如图1所示的无参考图像质量检测方法。所述计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
综上所述，本申请的无参考图像质量检测方法、系统、终端及介质，通过将所述待评价图像输入至经过训练的无参考图像质量检测模型，以获得所述待评价图像的质量检测结果；其中模型由骨干网络模型和双通道卷积网络模型级联组成，该模型结构不仅能够充分挖掘图像特征还充分融合了多层次的语义特征，增强了特征表达的多样性以及特征的自适应性。本发明的方案提取的质量特征更加有效，主客观一致性更加优越，模型泛化能力更强，在预测准确率和复杂度上也能够较好地平衡，进而解决现有技术中在模型复杂度适中的前提下，无法提高质量分数预测的准确性的问题。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (7)

1.一种无参考图像质量检测方法，其特征在于，包括：
获取待评价图像；
将所述待评价图像输入至经过训练的无参考图像质量检测模型，以获得所述待评价图像的质量检测结果；
其中，所述无参考图像质量检测模型的网络结构包括：相互级联的骨干网络结构以及双通道卷积网络结构；所述骨干网络结构用于对输入的待评价图像提取图像质量特征，并输出特征图；所述双通道卷积网络结构用于对输入的特征图进行双通道卷积计算，并输出对应所述特征图的质量检测结果；
其中，所述双通道卷积网络结构包括：
密集哈达玛卷积通道，用于对输入的特征图进行密集哈达玛卷积计算，并输出获得第一特征向量；
多层卷积通道，用于对输入的特征图进行多层卷积计算，并输出获得第二特征向量；
融合结构，连接所述密集哈达玛卷积通道以及多层卷积通道，用于将所述第一特征向量以及第二特征向量进行多维拼接，并映射获得质量检测结果；
所述密集哈达玛卷积通道包含依次连接的全局平均池化层、3个全连接层和用于密集哈达玛卷积的密集哈达玛卷积模块；其中，所述密集哈达玛卷积模块包括：至少一个对应一变换权重的哈达玛卷积层，用于通过哈达玛乘积对由所述全连接层输出的特征向量进行权重变换；
所述密集哈达玛卷积模块包括：依次连接的三个Dendrite Net层，用于对所述全连接输出的特征向量依次进行对应各Dendrite Net层的三个权重矩阵的变换，以输出所述第一特征向量。
2.根据权利要求1中所述的无参考图像质量检测方法，其特征在于，所述无参考图像质量检测模型的训练过程包括：
利用训练数据集训练所述无参考图像质量检测模型；
其中，所述训练数据集包括：一或多个样本图像以及对应各样本图像的质量评价标签；
并且其中，所述质量评价标签包括：质量评价等级和/或主观质量得分。
3.根据权利要求1中所述的无参考图像质量检测方法，其特征在于，骨干网络结构包括：
Inception-Resnet-v2深度网络模型，其包含依次连接的Stem模块、Inception-Resnet模块以及Reduction模块。
4.根据权利要求1中所述的无参考图像质量检测方法，其特征在于，多层卷积通道包括：依次级联的3个卷积层和全局平均池化层。
5.一种无参考图像质量检测系统，其特征在于，包括：
采集模块，用于获取待评价图像；
质量评价模块，连接所述采集模块，用于将所述待评价图像输入至经过由一或多个样本图像以及对应各样本图像的质量评价标签构成的训练数据集训练的无参考图像质量检测模型，以获得所述待评价图像的质量检测结果；
其中，所述无参考图像质量检测模型的网络结构包括：相互级联的骨干网络结构以及双通道卷积网络结构；所述骨干网络结构用于对输入的待评价图像提取图像质量特征，并输出特征图；所述双通道卷积网络结构用于对输入的特征图进行双通道卷积计算，并输出对应所述特征图的质量检测结果；
并且其中，所述双通道卷积网络结构包括：密集哈达玛卷积通道，用于对输入的特征图进行密集哈达玛卷积计算，并输出获得第一特征向量；多层卷积通道，用于对输入的特征图进行多层卷积计算，并输出获得第二特征向量；融合结构，连接所述密集哈达玛卷积通道以及多层卷积通道，用于将所述第一特征向量以及第二特征向量进行多维拼接，并映射获得质量检测结果；所述密集哈达玛卷积通道包含依次连接的全局平均池化层、3个全连接层和用于密集哈达玛卷积的密集哈达玛卷积模块；其中，所述密集哈达玛卷积模块包括：至少一个对应一变换权重的哈达玛卷积层，用于通过哈达玛乘积对由所述全连接层输出的特征向量进行权重变换；所述密集哈达玛卷积模块包括：依次连接的三个Dendrite Net层，用于对所述全连接输出的特征向量依次进行对应各Dendrite Net层的三个权重矩阵的变换，以输出所述第一特征向量。
6.一种无参考图像质量检测终端，其特征在于，包括：一或多个存储器及一或多个处理器；
所述一或多个存储器，用于存储计算机程序；
所述一或多个处理器，连接所述存储器，用于运行所述计算机程序以执行如权利要求1至4中任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被一个或多个处理器运行时执行如权利要求1至4中任一项所述的方法。
CN202110335896.9A 2021-03-29 2021-03-29 无参考图像质量检测方法、系统、终端及介质 Active CN113066065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110335896.9A CN113066065B (zh) 2021-03-29 2021-03-29 无参考图像质量检测方法、系统、终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110335896.9A CN113066065B (zh) 2021-03-29 2021-03-29 无参考图像质量检测方法、系统、终端及介质

Publications (2)

Publication Number Publication Date
CN113066065A CN113066065A (zh) 2021-07-02
CN113066065B true CN113066065B (zh) 2023-08-04

Family

ID=76564351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110335896.9A Active CN113066065B (zh) 2021-03-29 2021-03-29 无参考图像质量检测方法、系统、终端及介质

Country Status (1)

Country Link
CN (1) CN113066065B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379733B (zh) * 2021-07-08 2022-06-17 湖南工商大学 无参考图像质量评价的分块标签权重度量方法及设备
CN113810683B (zh) * 2021-08-27 2023-07-18 南京信息工程大学 一种客观评估水下视频质量的无参考评价方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022469A (zh) * 2015-03-26 2016-10-12 国际商业机器公司 用于可伸缩神经突触网络的方法
CN108156440A (zh) * 2017-12-26 2018-06-12 重庆邮电大学 一种基于分块dct变换的三维视频深度图非编码传输方法
CN108596902A (zh) * 2018-05-04 2018-09-28 北京大学 基于选通卷积神经网络的多任务全参考图像质量评价方法
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统
CN110111304A (zh) * 2019-04-04 2019-08-09 天津大学 基于局部到全局特征回归的无参考立体图像质量评价方法
CN110443353A (zh) * 2019-07-16 2019-11-12 天津大学 一种基于短连接的挖掘特征之间隐含关系的神经网络
CN110516716A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于多分支相似度网络的无参考图像质量评价方法
CN111539428A (zh) * 2020-05-06 2020-08-14 中国科学院自动化研究所 基于多尺度特征整合和注意力机制的旋转目标检测方法
CN111915627A (zh) * 2020-08-20 2020-11-10 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 语义分割方法、网络、设备及计算机存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650301B2 (en) * 2014-05-08 2020-05-12 International Business Machines Corporation Utilizing a distributed and parallel set of neurosynaptic core circuits for neuronal computation and non-neuronal computation
US10990899B2 (en) * 2017-08-11 2021-04-27 Microsoft Technology Licensing, Llc Deep and wide machine learned model for job recommendation
CN108228703B (zh) * 2017-10-31 2020-05-08 北京市商汤科技开发有限公司 图像问答方法、装置、系统和存储介质
US10997690B2 (en) * 2019-01-18 2021-05-04 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022469A (zh) * 2015-03-26 2016-10-12 国际商业机器公司 用于可伸缩神经突触网络的方法
CN108156440A (zh) * 2017-12-26 2018-06-12 重庆邮电大学 一种基于分块dct变换的三维视频深度图非编码传输方法
CN108596902A (zh) * 2018-05-04 2018-09-28 北京大学 基于选通卷积神经网络的多任务全参考图像质量评价方法
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统
CN110111304A (zh) * 2019-04-04 2019-08-09 天津大学 基于局部到全局特征回归的无参考立体图像质量评价方法
CN110443353A (zh) * 2019-07-16 2019-11-12 天津大学 一种基于短连接的挖掘特征之间隐含关系的神经网络
CN110516716A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于多分支相似度网络的无参考图像质量评价方法
CN111539428A (zh) * 2020-05-06 2020-08-14 中国科学院自动化研究所 基于多尺度特征整合和注意力机制的旋转目标检测方法
CN111915627A (zh) * 2020-08-20 2020-11-10 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 语义分割方法、网络、设备及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DCN：双通道密集哈达玛卷积的画质评价网络;杨晓东 等;《计算机工程与应用》;第58卷(第21期);243-249 *

Also Published As

Publication number Publication date
CN113066065A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
Liu et al. Rankiqa: Learning from rankings for no-reference image quality assessment
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
Zhang et al. SOM: Semantic obviousness metric for image quality assessment
CN109063724B (zh) 一种增强型生成式对抗网络以及目标样本识别方法
CN110046550B (zh) 基于多层特征学习的行人属性识别系统及方法
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN113066065B (zh) 无参考图像质量检测方法、系统、终端及介质
CN112819910A (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN111860683B (zh) 一种基于特征融合的目标检测方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN112232300B (zh) 全局遮挡自适应的行人训练/识别方法、系统、设备及介质
CN110879982A (zh) 一种人群计数系统及方法
CN112465801B (zh) 一种分尺度提取掩码特征的实例分割方法
CN110929685A (zh) 基于混合特征金字塔和混合膨胀卷积的行人检测网络结构
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN108537235B (zh) 一种低复杂度尺度金字塔提取图像特征的方法
Nizami et al. No-reference image quality assessment using bag-of-features with feature selection
Golestaneh et al. No-reference image quality assessment via feature fusion and multi-task learning
CN114742985A (zh) 一种高光谱特征提取方法、装置及存储介质
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN114299358A (zh) 图像质量评估方法、装置、电子设备及机器可读存储介质
CN113901928A (zh) 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant