CN114119593B - 基于浅层与深度结构纹理特征的超分图像质量评价方法 - Google Patents

基于浅层与深度结构纹理特征的超分图像质量评价方法 Download PDF

Info

Publication number
CN114119593B
CN114119593B CN202111470801.0A CN202111470801A CN114119593B CN 114119593 B CN114119593 B CN 114119593B CN 202111470801 A CN202111470801 A CN 202111470801A CN 114119593 B CN114119593 B CN 114119593B
Authority
CN
China
Prior art keywords
texture
image
structural
neural network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111470801.0A
Other languages
English (en)
Other versions
CN114119593A (zh
Inventor
康波
周飞
陈绵毅
邱国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202111470801.0A priority Critical patent/CN114119593B/zh
Publication of CN114119593A publication Critical patent/CN114119593A/zh
Application granted granted Critical
Publication of CN114119593B publication Critical patent/CN114119593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于浅层与深度结构纹理特征的超分图像质量评价方法，本发明不仅在结构方面还在纹理方面提取了特征用于获取质量评价结果，能够提升超分图像质量评价结果的准确性。

Description

基于浅层与深度结构纹理特征的超分图像质量评价方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于浅层与深度结构纹理特征的超分图像质量评价方法。
背景技术
对低分辨率图像进行超分辨率处理，得到超分图像后，有时需要对生成的超分图像进行质量评价，目前，有很多全参考指标被用于超分质量评价，例如结构相似性(SSIM)评价算法、视觉信息保真度(VIF)评价算法、奇异值评价算法、超像素特征评价算法等，但是，虽然有各种各样的超分图像评价方法，但大多数的方法都着重于描述图像结构的退化，忽略了图像纹理，然而图像纹理在超分问题中非常重要，超分辨率的目的是回复图像的细节，一些特定的超分失真只会出现在超分图像的纹理部分。因此，采用现有的方法评价超分图像的视觉质量是不准确的。
因此，现有技术还有待改进和提高。
发明内容
针对现有技术的上述缺陷，本发明提供一种基于浅层与深度结构纹理特征的超分图像质量评价方法，旨在解决现有技术中超分图像质量评价结果不准确的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
本发明的第一方面，提供一种基于浅层与深度结构纹理特征的超分图像质量评价方法，所述方法包括：
对目标超分图像对应的低分辨率图像进行插值处理，得到插值图像，使得所述插值图像的分辨率与所述目标超分图像的分辨率一致，对所述插值图像进行结构纹理分解，得到第一结构分量，对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量；
根据所述第一结构分量和所述第二结构分量之间的结构分量方向相似性获取结构方向性特征，将所述第一结构分量和所述第二结构分量输入至第一神经网络，获取所述第一神经网络输出的结构高频特征，将所述第二纹理分量输入至第二神经网络，获取所述第二神经网络输出的纹理分布特征；
将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征；
将所述聚合特征输入至第三神经网络，获取所述第三神经网络的输出作为所述目标超分图像的质量评价结果。
所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其中，所述对所述插值图像进行结构纹理分解，得到第一结构分量，包括：
对所述插值图像进行结构纹理分解后得到的结构分量进行归一化处理，得到所述第一结构分量；
对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量，包括：
对所述目标超分图像进行结构纹理分解后得到的结构分量和纹理分量分别进行归一化处理，得到所述第二结构分量和所述第二纹理分量。
所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其中，所述将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征，包括：
通过统计各个像素点对应的所述结构方向性特征的值计将所述结构方向性特征聚合为第一全局特征；
通过空间池化分别将所述结构高频特征聚合和所述纹理分布特征聚合为第二全局特征和第三全局特征；
根据所述第一全局特征、所述第二全局特征和所述第三全局特征获取所述聚合特征。
所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其中，所述通过统计各个像素点对应的所述结构方向性特征的值计将所述结构方向性特征聚合为第一全局特征，包括：
根据每个像素点对应的所述结构方向性特征的值划分多个区间，每个所述区间对应一个特征值范围；
根据目标像素点对应的所述结构方向性特征的值将所述目标像素点归入所述多个区间中的目标区间；
统计每个所述区间内的像素点数量，对每个所述区间内的像素点数量进行归一化处理，得到所述第一全局特征。
所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其中，所述通过空间池化分别将所述结构高频特征聚合和所述纹理分布特征聚合为第二全局特征和第三全局特征，包括：
将所述结构高频特征/所述纹理分布特征作为目标特征，执行以下操作获取所述目标特征对应的目标全局特征作为所述第二全局特征/所述第三全局特征：
将所述目标特征在N个不同尺度上分别划分为M*a*a个块，其中，每个尺度对应的a值不同，获取每个块的均值，得到所述目标特征对应的均值特征图，获取每个块的标准差，得到所述目标特征对应的偏移特征图，所述均值特征图和所述偏移特征图的尺寸均为M*A，A为每个尺度对应的a值的和；
沿所述均值特征图的第二轴计算标准差，得到第一向量，沿所述偏移特征图的第二轴计算均值，得到第二向量；
将所述第一向量和所述第二向量连接得到所述目标特征对应的目标全局特征。
所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其中，所述对目标超分图像对应的低分辨率图像进行插值处理之前，包括：
基于多组第一训练数据对所述第一神经网络进行训练，其中，每组所述第一训练数据包括样本超分图像、样本超分图像对应的低分辨图像和样本超分图像对应的无失真参考图像，根据所述第一神经网络基于样本超分图像和对应的低分辨率图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的高频相似性计算得到所述第一神经网络的训练损失，更新所述第一神经网络的参数；
基于多组第二训练数据对所述第二神经网络进行训练，其中，每组所述第一训练数据包括样本超分图像和样本超分图像对应的无失真参考图像，根据所述第二神经网络基于样本超分图像输出的所述纹理分布特征与样本超分图像和对应的无失真参考图像之间的纹理相似性计算得到所述第二神经网络的训练损失，更新所述第二神经网络的参数；
基于多组第三训练数据对所述第三神经网络进行训练，其中，每组所述第三训练数据包括样本超分图像、样本超分图像对应的低分辨图像和样本超分图像对应的标注质量评价结果，根据所述第三神经网络基于样本超分图像和对应的低分辨率图像输出的质量评价结果与样本超分图像对应的标注质量评价结果计算得到所述第三神经网络的训练损失，更新所述第三神经网络的参数。
所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其中，所述根据所述第一神经网络基于样本超分图像和对应的低分辨率图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的高频相似性计算得到所述第一神经网络的训练损失，包括：
将所述第一神经网络输出的所述高频结构特征输入至第一预设卷积层；
根据一组具有不同标准差的高斯滤波器所确定的截止频率计算所述高频相似性；
根据所述第一预设卷积层的输出与所述高频相似性的差异计算得到所述第一神经网络的训练损失；
所述根据所述第二神经网络基于样本超分图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的纹理相似性计算得到所述第二神经网络的训练损失，包括：
将所述第二神经网络输出的所述纹理分布特征输入至第二预设卷积层；
基于多种描述符获取样本超分图像和对应的无失真参考图像的纹理描述子，根据所述纹理描述子得到所述纹理相似性；
根据所述第二预设卷积层的输出与所述纹理相似性的差异计算得到所述的第二神经网络的训练损失。
本发明的第二方面，提供一种基于浅层与深度结构纹理特征的超分图像质量评价装置，包括：
结构纹理分解模块，所述结构纹理分解模块用于对目标超分图像对应的低分辨率图像进行插值处理，得到插值图像，使得所述插值图像的分辨率与所述目标超分图像的分辨率一致，对所述插值图像进行结构纹理分解，得到第一结构分量，对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量；
局部特征提取模块，所述局部特征提取模块用于根据所述第一结构分量和所述第二结构分量之间的结构分量方向相似性获取结构方向性特征，将所述第一结构分量和所述第二结构分量输入至第一神经网络，获取所述第一神经网络输出的结构高频特征，将所述第二纹理分量输入至第二神经网络，获取所述第二神经网络输出的纹理分布特征；
特征聚合模块，所述特征聚合模块用于将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征；
质量评价模块，所述质量评价模块用于将所述聚合特征输入至第三神经网络，获取所述第三神经网络的输出作为所述目标超分图像的质量评价结果。
本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的分类方法的步骤。
本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的分类方法的步骤。
与现有技术相比，本发明提供了一种基于浅层与深度结构纹理特征的超分图像质量评价方法，所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，对目标超分图像对应的低分辨率图像进行插值处理，将插值图像和目标超分图像进行结构纹理分解，处理结构方向性特征之外，还基于第一神经网络和第二神经网络分别获取结构高频特征和纹理分布特征，将结构方向性特征、结构高频特征和纹理分布特征进行聚合，根据聚合特征输入至第三神经网络获取质量评价结果。本发明不仅在结构方面还在纹理方面提取了特征用于获取质量评价结果，能够提升超分图像质量评价结果的准确性。
附图说明
图1为本发明提供的基于浅层与深度结构纹理特征的超分图像质量评价方法的实施例的流程图；
图2为本发明提供的基于浅层与深度结构纹理特征的超分图像质量评价方法的实施例的整体框架图；
图3为本发明提供的基于浅层与深度结构纹理特征的超分图像质量评价方法的实施例中聚合特征的获取过程图；
图4为本发明提供的基于浅层与深度结构纹理特征的超分图像质量评价方法的实施例中第一神经网络的结构示意图；
图5为本发明提供的基于浅层与深度结构纹理特征的超分图像质量评价方法的实施例中空间池化过程的示意图；
图6为本发明提供的基于浅层与深度结构纹理特征的超分图像质量评价装置的实施例的结构原理图；
图7为本发明提供的终端的实施例的原理示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的基于浅层与深度结构纹理特征的超分图像质量评价方法，可以应用于具有计算能力的终端中，终端可以执行本发明提供的基于浅层与深度结构纹理特征的超分图像质量评价方法获取目标超分图像的质量评价结果，终端可以但不限于是各种计算机、移动终端、智能家电、可穿戴式设备等。
实施例一
如图1所示，所述基于浅层与深度结构纹理特征的超分图像质量评价方法的一个实施例中，包括步骤：
S100、对目标超分图像对应的低分辨率图像进行插值处理，得到插值图像，使得所述插值图像的分辨率与所述目标超分图像的分辨率一致，对所述插值图像进行结构纹理分解，得到第一结构分量，对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量。
所述目标超分图像是基于所述目标超分图像对应的低分辨率图像进行超分处理生成的，如图2所示，本实施例提供的超分图像质量评价方法中，首先根据所述目标超分图像和所述目标超分图像对应的低分辨率图像进行聚合特征提取，在根据提取出的聚合特征输出质量评价结果。
具体地，根据所述目标超分图像和所述目标超分图像对应的低分辨率图像进行聚合特征提取首先是对所述目标超分图像和所述目标超分图像对应的低分辨率图像进行结构纹理分解，得到所述第一结构分量、所述第二结构分量和所述第二纹理分量，再基于所述第一结构分量、所述第二结构分量和所述第二纹理分量进一步提取结构方向性特征、结构高频特征和纹理分布特征后再聚合。
由于所述目标超分图像和所述目标超分图像对应的低分辨率图像的尺寸不同，会影响后续的处理，因此，先对所述目标超分图像对应的低分辨率图像进行插值处理，生成一个与所述目标超分图像的分辨率相同的插值图像，插值可以是通过任意的一种插值方法实现。
所述对所述插值图像进行结构纹理分解，得到第一结构分量，包括：
对所述插值图像进行结构纹理分解后得到的结构分量进行归一化处理，得到所述第一结构分量；
对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量，包括：
对所述目标超分图像进行结构纹理分解后得到的结构分量和纹理分量分别进行归一化处理，得到所述第二结构分量和所述第二纹理分量。
如图3所示，对于所述目标超分图像Is对应的低分辨率图像Il进行插值后得到的插值图像Ib，进行结构纹理分解(STD)处理后，会被分解为两个互补的分量：结构分量Ibs和纹理分量Ibt，这两个分量的尺寸与所述目标超分图像的分辨率相同，对Ibs进行归一化处理，得到所述第一结构分量Jbs，对所述目标超分图像Is进行结构纹理分解(STD)处理后，会被分解为两个互补的分量：结构分量Iss和纹理分量Ist，这两个分量的尺寸与所述目标超分图像的分辨率相同，分别对Iss和Iss进行归一化处理，得到所述第二结构分量Jss和所述第二纹理分量Jst。
请再次参阅图1，本实施例提供的超分图像质量评价方法，还包括步骤：
S200、根据所述第一结构分量和所述第二结构分量之间的结构分量方向相似性获取结构方向性特征，将所述第一结构分量和所述第二结构分量输入至第一神经网络，获取所述第一神经网络输出的结构高频特征，将所述第二纹理分量输入至第二神经网络，获取所述第二神经网络输出的纹理分布特征。
如图3所示，通过三个分支来分别提取三种局部特征，分别为：方向分支go(·)、高频分支gh(·)和纹理分布分支gt(·)，这三个分支提取局部特征的过程可以表示为：
Fol＝go(Jbs,Jss)，
Fhl＝gh(Jbs,Jss；θh)，
Ftl＝gt(Jst；θt)。
其中，Fol是表征所述目标超分图像在结构方向上的失真程度的局部特征，Fhl是表征所述目标超分图像高频信息恢复程度的局部特征，Ftl是描述所述目标超分图像纹理分布情况的局部特征，θh和θt分别为所述第一神经网络用于输出所述结构高频特征部分的网络参数和所述第二神经网络中用于输出所述纹理分布特征部分的网络参数。
超分图像上的一些失真在结构分量上表现明显，比如锯齿状失真，锯齿的出现源于混叠，这回破坏结构边缘的方向，通过方向分支go(·)来计算得到结构方向特征Fol，它能够表示超分图像在结构方向的局部失真程度。基于所述插值图像，无需依靠深度网络来学习局部的失真情况，可直接计算所述插值图像的所述第一结构分量和所述目标超分图像的所述第二结构分量之间的方向相似性来量化局部方向失真的程度，得到所述结构方向特征。
超分的目的是恢复低分辨率图像中丢失的高频信息，为了量化超分图像中高频信息的恢复程度，在本实施例中，设计了高频分支提取结构高频特征Fhl，为了得到Fhl，有一个简单的方法是通过比较所述第二结构分量和所述第一结构分量的边缘强度来计算他们之间的增益，但是这种方式难以量化过度锐化的边缘，为了避免该问题，在本实施例中，采用深度神经网络来预测超分图像与其对应的高清无损图像之间的高频相似性，得到Fhl。具体地，将所述第一结构分量和所述第二结构分量输入至第一神经网络，获取所述第一神经网络输出的结构高频特征。如图4所示，所述第一神经网络中可以共包括16个卷积层，两个输入，即所述第一结构分量和所述第二结构分量在输入至所述第一神经网络后，开始先被连接起来，之后通过3个卷积块、5个残差块(每个残差块包括2个卷积层)和3个卷积块的级联提取得到所述结构高频特征，即最后一个卷积块的输出为所述结构高频特征，所述结构高频。这些块中的所有内核大小都被设置为3x3。除了超分图像结构分量上会出现失真，一些失真还会影响图像的纹理部分，例如基于深度学习的超分方法会引入棋盘格纹理和假纹理，如果超分图像与其对应的无失真高清图像具有相同的纹理模式，那么该超分图像具有较高的质量。在本实施例中，通过纹理分布分支gt(·)来提取纹理分布特征Ftl，基于所述目标超分图像提取的Ftl能够描述所述目标超分图像相对于无失真高清图像的纹理模式的局部变化。具体地，通过所述第二神经网络来提取所述纹理分布特征，所述第二神经网络的结构可以与所述第一神经网络的结构一致，即通过多个卷积块和残差块提取所述纹理分布特征。
可以理解的是，所述第一神经网络和所述第二神经网络的结构并不限于上面的说明，本领域技术人员可以选择其他的结构，例如选择不同的卷积层数、不同的残差块个数以及不同的核尺寸等。
所述第一神经网络和所述第二神经网络的训练过程将在后文被说明。
在获取到所述结构方向性特征、所述结构高频特征和所述纹理分布特征后，本实施例提供的超分图像质量评价方法，还包括步骤：
S300、将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征。
具体地，所述将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征，包括：
S310、通过统计各个像素点对应的所述结构方向性特征的值计将所述结构方向性特征聚合为第一全局特征；
S320、通过空间池化分别将所述结构高频特征聚合和所述纹理分布特征聚合为第二全局特征和第三全局特征；
S330、根据所述第一全局特征、所述第二全局特征和所述第三全局特征获取所述聚合特征。
在本实施例中，先对每种局部特征进行聚合，下面对三种局部特征的局部过程进行说明：
对于所述结构方向性特征，由于所述结构方向性特征是通过计算所述目标超分图像结构分量和所述插值图像结构分量的方向相似性得到，因此，所述结构方向性特征中包括每个像素点位置对应的特征值，每个像素点位置对应的特征值是根据所述目标超分图像中该像素点位置上的结构分量和所述插值图像中该像素点位置上的结构分量的方向相似性得到的。因此，所述结构方向性特征中的元素值范围为0～1，1表示所述目标超分图像中一个像素点位置上的局部方向与所述目标超分图像中该像素点位置上的局部方向完全一致。在本实施例中，所述通过统计各个像素点对应的所述结构方向性特征的值计将所述结构方向性特征聚合为第一全局特征，包括：
根据每个像素点对应的所述结构方向性特征的值划分多个区间，每个所述区间对应一个特征值范围；
根据目标像素点对应的所述结构方向性特征的值将所述目标像素点归入所述多个区间中的目标区间；
统计每个所述区间内的像素点数量，对每个所述区间内的像素点数量进行归一化处理，得到所述第一全局特征。
在本实施例中，利用非均匀量化的频率直方图将像素级特征Fol聚合为图像级特征向量fog作为所述第一全局特征。具体地，在划分区间时可以根据区间内的像素点的密度进行划分，发明人观察后发现，Fol中90％以上的像素点对应的特征值超过0.9，也就是说，大多数超分图像没有严重的方向失真，为了减少特征聚合量化过程中的信息损失，在失真集中的部分设置更多的区间划分数量，在失真系数的部分分配更少的划分区间。而区间的划分个数等于最终得到的所述第一全局特征的维度，根据所述第一全局特征的维度设置以及像素点对应的所述结构方向性特征的值的分布密度来划分区间。例如，所述第一全局特征的维度为64时，划分64个区间，0.9以下的值很少，因此，可以在区间[0,0.9]内划分9个均匀的区间，在区间[0.9,1]中划分55个均匀区间。
划分区间后，统计每个区间内的像素点数量，这样就会形成一个维度为区间总数的向量，该向量中每个元素的值为每个区间内的像素点数量，可以直接将该向量作为所述第一全局特征，或者对该向量中的元素进行归一化处理后的结果作为所述第一全局特征。
对于所述结构高频特征和所述纹理分布特征，由于二者均是通过深度神经网络提取得到的，因此采用统计的方式没有意义，本实施例中，采用空间池化的方式分别将所述结构高频特征聚合和所述纹理分布特征聚合为第二全局特征和第三全局特征。具体包括：
将所述结构高频特征/所述纹理分布特征作为目标特征，执行以下操作获取所述目标特征对应的目标全局特征作为所述第二全局特征/所述第三全局特征：
将所述目标特征在N个不同尺度上分别划分为M*a*a个块，其中，每个尺度对应的a值不同，获取每个块的均值，得到所述目标特征对应的均值特征图，获取每个块的标准差，得到所述目标特征对应的偏移特征图，所述均值特征图和所述偏移特征图的尺寸均为M*A，A为每个尺度对应的a值的和；
沿所述均值特征图的第二轴计算标准差，得到第一向量，沿所述偏移特征图的第二轴计算均值，得到第二向量；
将所述第一向量和所述第二向量连接得到所述目标特征对应的目标全局特征。
所述结构高频特征和所述纹理分布特征的聚合过程是一致的，下面以所述结构高频特征为例进行说明。
对于所述结构高频特征Fhl∈RM×H×W，H和W分别为所述超分图像的高和宽，M为正整数，M为所述第一全局特征的维度的一半。首先将所述结构高频特征在N个不同尺度上划分为多个块，每个尺度上划分为M*a*a个块，如图5所示，以N＝3为例，在第三层，a可以取4，那么所述结构高频特征被划分为M*4*4块，在第二层，a取2，所述结构高频特征被划分为M*2*2个块，在第三层，a取1，所述结构高频特征被划分为M*1*1个块。随后，获取每个块的均值，那么可以得到一个大小为M*(4*4+2*2+1*1)，即M*21的平均特征图。获取每个块的标准差，也可以得到一个大小为M*21的偏移特征图。为了降低特征维数，便于后续的计算，对于大小为M*21的平均特征图，通过沿第二轴计算标准差，也就是说，将大小为M*21的平均特征图看成是M行21列组成的矩阵，对属于同一列的数值求标准差，那么就会得到一个大小为M*1的向量，将该向量作为所述第一向量。对于大小为M*21的偏移特征图，通过沿第二轴计算均值，也就是说，将大小为M*21的偏移特征图看成是M行21列组成的矩阵，对属于同一列的数值求均值，那么就会得到一个大小为M*1的向量，将该向量作为所述第二向量。将所述第一向量和所述第二向量连接，就会得到大小为64*1的特征向量作为所述结构高频特征对应的所述第二全局特征。
在得到所述第一全局特征、所述第二全局特征和所述第三全局特征之后，将所述第一全局特征、所述第二全局特征和所述第三全局特征进行白化并连接后，得到所述聚合特征。
请再次参阅图1，本实施提供的超分图像质量评价方法，还包括步骤：
S400、将所述聚合特征输入至第三神经网络，获取所述第三神经网络的输出作为所述目标超分图像的质量评价结果。
所述第三神经网络可以是一个简单的神经网络gr(·)，可以只包含三个全连接的层，每个全连接层后面都有一个激活函数，前两层后的激活函数为整流线性单元(ReLU)，后一层为sigmoid函数。当然，可以理解的是，本领域技术人员可以采用其他的神经网络架构构建所述第三神经网络。
为了学习所述第三神经网络的参数，使用多组第三训练数据训练对所述第三神经网络进行训练，每组所述第三训练数据包括样本超分图像、样本超分图像对应的低分辨率图像和样本超分图像对应的标注质量评价结果，所述第三神经网络的训练目标是样本超分图像对应的标注质量评价结果，所述第三神经网络的训练损失可以根据所述第三神经网络基于样本超分图像和对应的低分辨率图像输出的质量评价结果和样本超分图像对应的标注质量评价结果之间的差异获取。在更新所述第三神经网络的参数时，可以同时更新所述第一神经网络和所述第二神经网络的参数，即，根据所述第三神经网络基于样本超分图像和对应的低分辨率图像输出的质量评价结果和样本超分图像对应的标注质量评价结果之间的差异获取所述第一神经网络、所述第二神经网络和所述第三神经网络的共同训练损失，对所述第一神经网络、所述第二神经网络和所述第三神经网络的参数进行同步更新，即进行端到端的训练。但是，由于现有的最大的超分图像质量评价数据库只包含1620个标注数据，即该数据库中只有1620个超分图像存在标注的质量评价结果，且所述第一神经网络和所述第二神经网络的可学习参数数量巨大，所述第三神经网络的科学系参数数量很少，因此，如果实行端到端的训练，会不可避免地产生过度拟合。为了克服标记数据的不足，同时充分利用深度神经网络的表征能力来学习与质量相关的感知特征。可以先通过样本超分图像和样本超分图像与对应的高清无损失图像来训练所述第一神经网络和所述第二神经网络，再基于训练后的所述第一神经网络和所述第二神经网络进行所述第三神经网络的训练，同时所述第一神经网络和所述第二神经网络的参数在所述第三神经网络的训练过程中进行微调。即，所述对目标超分图像对应的低分辨率图像进行插值处理之前，包括：
基于多组第一训练数据对所述第一神经网络进行训练，其中，每组所述第一训练数据包括样本超分图像、样本超分图像对应的低分辨图像和样本超分图像对应的无失真参考图像，根据所述第一神经网络基于样本超分图像和对应的低分辨率图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的高频相似性计算得到所述第一神经网络的训练损失，更新所述第一神经网络的参数；
基于多组第二训练数据对所述第二神经网络进行训练，其中，每组所述第一训练数据包括样本超分图像和样本超分图像对应的无失真参考图像，根据所述第二神经网络基于样本超分图像输出的所述纹理分布特征与样本超分图像和对应的无失真参考图像之间的纹理相似性计算得到所述第二神经网络的训练损失，更新所述第二神经网络的参数；
基于多组第三训练数据对所述第三神经网络进行训练，其中，每组所述第三训练数据包括样本超分图像、样本超分图像对应的低分辨图像和样本超分图像对应的标注质量评价结果，根据所述第三神经网络基于样本超分图像和对应的低分辨率图像输出的质量评价结果与样本超分图像对应的标注质量评价结果计算得到所述第三神经网络的训练损失，更新所述第三神经网络的参数。
具体地，在进行所述第一神经网络的训练时，所述根据所述第一神经网络基于样本超分图像和对应的低分辨率图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的高频相似性计算得到所述第一神经网络的训练损失，包括：
将所述第一神经网络输出的所述高频结构特征输入至第一预设卷积层；
根据一组具有不同标准差的高斯滤波器所确定的截止频率计算所述高频相似性；
根据所述第一预设卷积层的输出与所述高频相似性的差异计算得到所述第一神经网络的训练损失。
在训练所述第一神经网络时，将样本超分图像和对应的低分辨率图像采用步骤S100-S200中同样的处理，得到所述第一神经网络输出的所述高频结构特征，将所述高频结构特征输入至第一预设卷积层(如图4中的ConvBlock7)，如图4所示，将所述第一预设卷积层的输出与样本超分图像和其对应的无失真参考图像之间的高频相似性Hc来获取所述第一神经网络的训练损失以更新所述第一神经网络的参数。
为了考虑多个截止频率的相似性，采用一组具有不同标准差的高斯滤波器来获取样本超分图像和其对应的无失真参考图像之间的高频相似性Hc。Hc可以表示为：
其中，表示基于标准差σi的高斯滤波器所确定的机制频率计算得到的样本超分图像和对应的无失真参考图像之间的高频相似图，n为标准差的数量。
所述第一神经网络的训练损失可以是所述第一预设卷积层的输出与所述高频相似性之间的范数。可以用公式表示为：
其中，θh表示所述第一神经网络的参数，θc表示所述第一预设卷积层的参数，gh(Jbs(y),Jss(y)；θh)表示所述第一神经网络的参数为θh时基于第y个所述第一训练数据的输出，Jbs(y)和Jss(y)分别根据表示第y个所述第一训练数据中的样本超分图像和对应的低分辨率图像基于步骤S100得到的第一结构分量和第二结构分量，gc(gh(Jbs(y),Jss(y)；θh)；θc)表示所述第一预设卷积层的参数为θc时基于第y个所述第一训练数据的输出，Hc(y)表示第y个所述第一训练数据中的样本超分图像与对应的高清无失真图像之间的高频相似性，Nh表示所述第一训练数据的数量。
所述根据所述第二神经网络基于样本超分图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的纹理相似性计算得到所述第二神经网络的训练损失，包括：
将所述第二神经网络输出的所述纹理分布特征输入至第二预设卷积层；
基于多种描述符获取样本超分图像和对应的无失真参考图像的纹理描述子，根据所述纹理描述子得到所述纹理相似性；
根据所述第二预设卷积层的输出与所述纹理相似性的差异计算得到所述的第二神经网络的训练损失。
所述第二神经网络的学习目标是样本超分图像与对应的高清无失真图像的纹理相似性，在本实施例中，利用样本超分图像的纹理描述子与该样本超分图像对应的高清无失真图像的纹理描述子的内积计算得到二者之间的纹理相似性。
在一种可能的实现方式中，可以采用多种描述符计算得到的描述子来获取所述纹理相似性，例如尺度不变特征变换(SIFT)描述符，局部二值模式(LBP)描述符以及梯度方向直方图描述符(HOG)，每种描述符可以计算得到一种描述子。所述纹理相似性的公式可以表示为：
Tc＝concat(Td1,...,Tdj,...,Tdm)
其中，Tc为所述纹理相似性，Tdj表示基于第j种描述符提取的样本超分图像的纹理描述子和该样本超分图像对应的高清图像的纹理描述子的内积，m为描述符的种类数量。
根据所述第二预设卷积层的输出与所述纹理相似性的差异计算所述第二神经网络的训练损失，所述第二预设卷积层的输出与所述纹理相似性的差异可以通过二者之间的范数来量化。
在通过上述训练方式对所述第一神经网络和所述第二神经网络进行训练直至所述第一神经网络和所述第二神经网络的参数进行收敛后，采用训练后的所述第一神经网络和所述第二神经网络进行所述第三神经网络的训练，在训练所述第三神经网络的过程中，所述第一神经网络和所述第二神经网络的参数可以微调。
所述第三神经网络的参数更新过程可以用公式表示为：
其中，θr表示所述第三神经网络的参数，gr(fg(x)；θr)表示所述第三神经网络在参数为θr时基于第x个所述第三训练数据的输出，fg(x)表示根据第x个所述第三训练数据中的样本超分图像和对应的低分辨率图像根据步骤S100-S300得到的所述聚合特征，q(x)表示第x个所述第三训练数据中的标注质量评价结果，Nd表示训练批次中所述第三训练数据的数量。
综上所述，本实施例提供一种基于浅层与深度结构纹理特征的超分图像质量评价方法，对目标超分图像对应的低分辨率图像进行插值处理，将插值图像和目标超分图像进行结构纹理分解，处理结构方向性特征之外，还基于第一神经网络和第二神经网络分别获取结构高频特征和纹理分布特征，将结构方向性特征、结构高频特征和纹理分布特征进行聚合，根据聚合特征输入至第三神经网络获取质量评价结果，不仅在结构方面还在纹理方面提取了特征用于获取质量评价结果，能够提升超分图像质量评价结果的准确性。
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
实施例二
基于上述实施例，本发明还相应提供了一种基于浅层与深度结构纹理特征的超分图像质量评价装置，如图6所示，所述基于浅层与深度结构纹理特征的超分图像质量评价装置包括：
结构纹理分解模块，所述结构纹理分解模块用于对目标超分图像对应的低分辨率图像进行插值处理，得到插值图像，使得所述插值图像的分辨率与所述目标超分图像的分辨率一致，对所述插值图像进行结构纹理分解，得到第一结构分量，对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量，具体如实施例一中所述；
局部特征提取模块，所述局部特征提取模块用于根据所述第一结构分量和所述第二结构分量之间的结构分量方向相似性获取结构方向性特征，将所述第一结构分量和所述第二结构分量输入至第一神经网络，获取所述第一神经网络输出的结构高频特征，将所述第二纹理分量输入至第二神经网络，获取所述第二神经网络输出的纹理分布特征，具体如实施例一中所述；
特征聚合模块，所述特征聚合模块用于将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征，具体如实施例一中所述；
质量评价模块，所述质量评价模块用于将所述聚合特征输入至第三神经网络，获取所述第三神经网络的输出作为所述目标超分图像的质量评价结果，具体如实施例一中所述。
实施例三
基于上述实施例，本发明还相应提供了一种终端，如图7所示，所述终端包括处理器10以及存储器20。图7仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于浅层与深度结构纹理特征的超分图像质量评价程序30，该基于浅层与深度结构纹理特征的超分图像质量评价程序30可被处理器10所执行，从而实现本申请中基于浅层与深度结构纹理特征的超分图像质量评价方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述超分图像质量评价方法等。
在一实施例中，当处理器10执行所述存储器20中基于浅层与深度结构纹理特征的超分图像质量评价程序30时实现以下步骤：
对目标超分图像对应的低分辨率图像进行插值处理，得到插值图像，使得所述插值图像的分辨率与所述目标超分图像的分辨率一致，对所述插值图像进行结构纹理分解，得到第一结构分量，对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量；
根据所述第一结构分量和所述第二结构分量之间的结构分量方向相似性获取结构方向性特征，将所述第一结构分量和所述第二结构分量输入至第一神经网络，获取所述第一神经网络输出的结构高频特征，将所述第二纹理分量输入至第二神经网络，获取所述第二神经网络输出的纹理分布特征；
将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征；
将所述聚合特征输入至第三神经网络，获取所述第三神经网络的输出作为所述目标超分图像的质量评价结果。
其中，所述对所述插值图像进行结构纹理分解，得到第一结构分量，包括：
对所述插值图像进行结构纹理分解后得到的结构分量进行归一化处理，得到所述第一结构分量；
对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量，包括：
对所述目标超分图像进行结构纹理分解后得到的结构分量和纹理分量分别进行归一化处理，得到所述第二结构分量和所述第二纹理分量。
其中，所述将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征，包括：
通过统计各个像素点对应的所述结构方向性特征的值计将所述结构方向性特征聚合为第一全局特征；
通过空间池化分别将所述结构高频特征聚合和所述纹理分布特征聚合为第二全局特征和第三全局特征；
根据所述第一全局特征、所述第二全局特征和所述第三全局特征获取所述聚合特征。
其中，所述通过统计各个像素点对应的所述结构方向性特征的值计将所述结构方向性特征聚合为第一全局特征，包括：
根据每个像素点对应的所述结构方向性特征的值划分多个区间，每个所述区间对应一个特征值范围；
根据目标像素点对应的所述结构方向性特征的值将所述目标像素点归入所述多个区间中的目标区间；
统计每个所述区间内的像素点数量，对每个所述区间内的像素点数量进行归一化处理，得到所述第一全局特征。
其中，所述通过空间池化分别将所述结构高频特征聚合和所述纹理分布特征聚合为第二全局特征和第三全局特征，包括：
将所述结构高频特征/所述纹理分布特征作为目标特征，执行以下操作获取所述目标特征对应的目标全局特征作为所述第二全局特征/所述第三全局特征：
将所述目标特征在N个不同尺度上分别划分为M*a*a个块，其中，每个尺度对应的a值不同，获取每个块的均值，得到所述目标特征对应的均值特征图，获取每个块的标准差，得到所述目标特征对应的偏移特征图，所述均值特征图和所述偏移特征图的尺寸均为M*A，A为每个尺度对应的a值的和；
沿所述均值特征图的第二轴计算标准差，得到第一向量，沿所述偏移特征图的第二轴计算均值，得到第二向量；
将所述第一向量和所述第二向量连接得到所述目标特征对应的目标全局特征。
其中，所述对目标超分图像对应的低分辨率图像进行插值处理之前，包括：
基于多组第一训练数据对所述第一神经网络进行训练，其中，每组所述第一训练数据包括样本超分图像、样本超分图像对应的低分辨图像和样本超分图像对应的无失真参考图像，根据所述第一神经网络基于样本超分图像和对应的低分辨率图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的高频相似性计算得到所述第一神经网络的训练损失，更新所述第一神经网络的参数；
基于多组第二训练数据对所述第二神经网络进行训练，其中，每组所述第一训练数据包括样本超分图像和样本超分图像对应的无失真参考图像，根据所述第二神经网络基于样本超分图像输出的所述纹理分布特征与样本超分图像和对应的无失真参考图像之间的纹理相似性计算得到所述第二神经网络的训练损失，更新所述第二神经网络的参数；
基于多组第三训练数据对所述第三神经网络进行训练，其中，每组所述第三训练数据包括样本超分图像、样本超分图像对应的低分辨图像和样本超分图像对应的标注质量评价结果，根据所述第三神经网络基于样本超分图像和对应的低分辨率图像输出的质量评价结果与样本超分图像对应的标注质量评价结果计算得到所述第三神经网络的训练损失，更新所述第三神经网络的参数。
其中，所述根据所述第一神经网络基于样本超分图像和对应的低分辨率图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的高频相似性计算得到所述第一神经网络的训练损失，包括：
将所述第一神经网络输出的所述高频结构特征输入至第一预设卷积层；
根据一组具有不同标准差的高斯滤波器所确定的截止频率计算所述高频相似性；
根据所述第一预设卷积层的输出与所述高频相似性的差异计算得到所述第一神经网络的训练损失；
所述根据所述第二神经网络基于样本超分图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的纹理相似性计算得到所述第二神经网络的训练损失，包括：
将所述第二神经网络输出的所述纹理分布特征输入至第二预设卷积层；
基于多种描述符获取样本超分图像和对应的无失真参考图像的纹理描述子，根据所述纹理描述子得到所述纹理相似性；
根据所述第二预设卷积层的输出与所述纹理相似性的差异计算得到所述的第二神经网络的训练损失。
实施例四
本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于浅层与深度结构纹理特征的超分图像质量评价方法的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于浅层与深度结构纹理特征的超分图像质量评价方法，其特征在于，所述方法包括：
对目标超分图像对应的低分辨率图像进行插值处理，得到插值图像，使得所述插值图像的分辨率与所述目标超分图像的分辨率一致，对所述插值图像进行结构纹理分解，得到第一结构分量，对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量；
根据所述第一结构分量和所述第二结构分量之间的结构分量方向相似性获取结构方向性特征，将所述第一结构分量和所述第二结构分量输入至第一神经网络，获取所述第一神经网络输出的结构高频特征，将所述第二纹理分量输入至第二神经网络，获取所述第二神经网络输出的纹理分布特征；
将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征；
将所述聚合特征输入至第三神经网络，获取所述第三神经网络的输出作为所述目标超分图像的质量评价结果。
2.根据权利要求1所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其特征在于，所述对所述插值图像进行结构纹理分解，得到第一结构分量，包括：
对所述插值图像进行结构纹理分解后得到的结构分量进行归一化处理，得到所述第一结构分量；
对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量，包括：
对所述目标超分图像进行结构纹理分解后得到的结构分量和纹理分量分别进行归一化处理，得到所述第二结构分量和所述第二纹理分量。
3.根据权利要求1所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其特征在于，所述将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征，包括：
通过统计各个像素点对应的所述结构方向性特征的值计将所述结构方向性特征聚合为第一全局特征；
通过空间池化分别将所述结构高频特征聚合和所述纹理分布特征聚合为第二全局特征和第三全局特征；
根据所述第一全局特征、所述第二全局特征和所述第三全局特征获取所述聚合特征。
4.根据权利要求3所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其特征在于，所述通过统计各个像素点对应的所述结构方向性特征的值计将所述结构方向性特征聚合为第一全局特征，包括：
根据每个像素点对应的所述结构方向性特征的值划分多个区间，每个所述区间对应一个特征值范围；
根据目标像素点对应的所述结构方向性特征的值将所述目标像素点归入所述多个区间中的目标区间；
统计每个所述区间内的像素点数量，对每个所述区间内的像素点数量进行归一化处理，得到所述第一全局特征。
5.根据权利要求3所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其特征在于，所述通过空间池化分别将所述结构高频特征聚合和所述纹理分布特征聚合为第二全局特征和第三全局特征，包括：
将所述结构高频特征/所述纹理分布特征作为目标特征，执行以下操作获取所述目标特征对应的目标全局特征作为所述第二全局特征/所述第三全局特征：
将所述目标特征在N个不同尺度上分别划分为M*a*a个块，其中，每个尺度对应的a值不同，获取每个块的均值，得到所述目标特征对应的均值特征图，获取每个块的标准差，得到所述目标特征对应的偏移特征图，所述均值特征图和所述偏移特征图的尺寸均为M*A，A为每个尺度对应的a值的和；
沿所述均值特征图的第二轴计算标准差，得到第一向量，沿所述偏移特征图的第二轴计算均值，得到第二向量；
将所述第一向量和所述第二向量连接得到所述目标特征对应的目标全局特征。
6.根据权利要求1所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其特征在于，所述对目标超分图像对应的低分辨率图像进行插值处理之前，包括：
基于多组第一训练数据对所述第一神经网络进行训练，其中，每组所述第一训练数据包括样本超分图像、样本超分图像对应的低分辨图像和样本超分图像对应的无失真参考图像，根据所述第一神经网络基于样本超分图像和对应的低分辨率图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的高频相似性计算得到所述第一神经网络的训练损失，更新所述第一神经网络的参数；
基于多组第二训练数据对所述第二神经网络进行训练，其中，每组所述第一训练数据包括样本超分图像和样本超分图像对应的无失真参考图像，根据所述第二神经网络基于样本超分图像输出的所述纹理分布特征与样本超分图像和对应的无失真参考图像之间的纹理相似性计算得到所述第二神经网络的训练损失，更新所述第二神经网络的参数；
基于多组第三训练数据对所述第三神经网络进行训练，其中，每组所述第三训练数据包括样本超分图像、样本超分图像对应的低分辨图像和样本超分图像对应的标注质量评价结果，根据所述第三神经网络基于样本超分图像和对应的低分辨率图像输出的质量评价结果与样本超分图像对应的标注质量评价结果计算得到所述第三神经网络的训练损失，更新所述第三神经网络的参数。
7.根据权利要求6所述的基于浅层与深度结构纹理特征的超分图像质量评价方法，其特征在于，所述根据所述第一神经网络基于样本超分图像和对应的低分辨率图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的高频相似性计算得到所述第一神经网络的训练损失，包括：
将所述第一神经网络输出的所述高频结构特征输入至第一预设卷积层；
根据一组具有不同标准差的高斯滤波器所确定的截止频率计算所述高频相似性；
根据所述第一预设卷积层的输出与所述高频相似性的差异计算得到所述第一神经网络的训练损失；
所述根据所述第二神经网络基于样本超分图像输出的所述高频结构特征与样本超分图像和对应的无失真参考图像之间的纹理相似性计算得到所述第二神经网络的训练损失，包括：
将所述第二神经网络输出的所述纹理分布特征输入至第二预设卷积层；
基于多种描述符获取样本超分图像和对应的无失真参考图像的纹理描述子，根据所述纹理描述子得到所述纹理相似性；
根据所述第二预设卷积层的输出与所述纹理相似性的差异计算得到所述的第二神经网络的训练损失。
8.一种基于浅层与深度结构纹理特征的超分图像质量评价装置，其特征在于，包括：
结构纹理分解模块，所述结构纹理分解模块用于对目标超分图像对应的低分辨率图像进行插值处理，得到插值图像，使得所述插值图像的分辨率与所述目标超分图像的分辨率一致，对所述插值图像进行结构纹理分解，得到第一结构分量，对所述目标超分图像进行结构纹理分解，得到第二结构分量和第二纹理分量；
局部特征提取模块，所述局部特征提取模块用于根据所述第一结构分量和所述第二结构分量之间的结构分量方向相似性获取结构方向性特征，将所述第一结构分量和所述第二结构分量输入至第一神经网络，获取所述第一神经网络输出的结构高频特征，将所述第二纹理分量输入至第二神经网络，获取所述第二神经网络输出的纹理分布特征；
特征聚合模块，所述特征聚合模块用于将所述结构方向性特征、所述结构高频特征和所述纹理分布特征进行聚合，得到聚合特征；
质量评价模块，所述质量评价模块用于将所述聚合特征输入至第三神经网络，获取所述第三神经网络的输出作为所述目标超分图像的质量评价结果。
9.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述权利要求1-7任一项所述的基于浅层与深度结构纹理特征的超分图像质量评价方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任一项所述的基于浅层与深度结构纹理特征的超分图像质量评价方法的步骤。
CN202111470801.0A 2021-12-03 2021-12-03 基于浅层与深度结构纹理特征的超分图像质量评价方法 Active CN114119593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111470801.0A CN114119593B (zh) 2021-12-03 2021-12-03 基于浅层与深度结构纹理特征的超分图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111470801.0A CN114119593B (zh) 2021-12-03 2021-12-03 基于浅层与深度结构纹理特征的超分图像质量评价方法

Publications (2)

Publication Number Publication Date
CN114119593A CN114119593A (zh) 2022-03-01
CN114119593B true CN114119593B (zh) 2024-04-02

Family

ID=80366765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111470801.0A Active CN114119593B (zh) 2021-12-03 2021-12-03 基于浅层与深度结构纹理特征的超分图像质量评价方法

Country Status (1)

Country Link
CN (1) CN114119593B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020062901A1 (zh) * 2018-09-28 2020-04-02 深圳大学 一种超分辨率图像的图像质量分析方法及系统
CN113436167A (zh) * 2021-06-25 2021-09-24 湖南工商大学 基于深度学习和视觉感知的无参考彩色图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635141B (zh) * 2019-01-29 2021-04-27 京东方科技集团股份有限公司 用于检索图像的方法、电子设备和计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020062901A1 (zh) * 2018-09-28 2020-04-02 深圳大学 一种超分辨率图像的图像质量分析方法及系统
CN113436167A (zh) * 2021-06-25 2021-09-24 湖南工商大学 基于深度学习和视觉感知的无参考彩色图像质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种失真模糊图像的无参考质量评价方法;付燕;解丹婷;;科学技术与工程;20140218(第05期);全文 *

Also Published As

Publication number Publication date
CN114119593A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN115861135B (zh) 一种应用于箱体全景探测的图像增强及识别方法
Manap et al. Non-distortion-specific no-reference image quality assessment: A survey
CN104008538B (zh) 基于单张图像超分辨率方法
CN110717354A (zh) 基于半监督k-svd与多尺度稀疏表示的超像元分类方法
CN111723860A (zh) 一种目标检测方法及装置
CN103456022B (zh) 一种高分辨率遥感图像特征匹配方法
WO2020062360A1 (zh) 一种图像融合分类的方法及装置
Pintea et al. Resolution learning in deep convolutional networks using scale-space theory
CN110570440A (zh) 一种基于深度学习边缘检测的图像自动分割方法及装置
CN104732546B (zh) 区域相似性和局部空间约束的非刚性sar图像配准方法
US20150348248A1 (en) Information processing apparatus, system, method, and medium storing program
CN106934398B (zh) 基于超像素聚类和稀疏表示的图像去噪方法
CN112419270B (zh) 元学习下的无参考图像质量评价方法、装置及计算机设备
CN113066030B (zh) 一种基于空谱融合网络的多光谱图像全色锐化方法及系统
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
Ahmed et al. PIQI: perceptual image quality index based on ensemble of Gaussian process regression
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN113963009B (zh) 基于可形变划块的局部自注意力的图像处理方法和系统
CN117746079B (zh) 一种高光谱图像的聚类预测方法、系统、存储介质及设备
CN114119593B (zh) 基于浅层与深度结构纹理特征的超分图像质量评价方法
CN104268535B (zh) 一种二维图像的特征提取方法
He et al. Fast image quality assessment via supervised iterative quantization method
CN110889456B (zh) 基于神经网络的共生矩阵特征提取方法、装置、存储介质及终端
CN113962897A (zh) 基于序列遥感影像的调制传递函数补偿方法及装置
CN114078245A (zh) 一种图像处理方法及图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant