CN109410177B - 一种超分辨率图像的图像质量分析方法及系统 - Google Patents

一种超分辨率图像的图像质量分析方法及系统 Download PDF

Info

Publication number
CN109410177B
CN109410177B CN201811140284.9A CN201811140284A CN109410177B CN 109410177 B CN109410177 B CN 109410177B CN 201811140284 A CN201811140284 A CN 201811140284A CN 109410177 B CN109410177 B CN 109410177B
Authority
CN
China
Prior art keywords
image
super
source reference
resolution
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811140284.9A
Other languages
English (en)
Other versions
CN109410177A (zh
Inventor
周飞
姚荣国
谢锐涛
刘博智
邱国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201811140284.9A priority Critical patent/CN109410177B/zh
Publication of CN109410177A publication Critical patent/CN109410177A/zh
Priority to PCT/CN2019/088478 priority patent/WO2020062901A1/zh
Application granted granted Critical
Publication of CN109410177B publication Critical patent/CN109410177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种超分辨率图像的图像质量分析方法及系统，通过获取源参考图像和获取与所述源参考图像内容和像素个数均相同的超分辨率图像；分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；将三个池化分数相融合得到图像质量分析值。本发明在超分辨率图像上的分析比现有的图像质量分析方法更加客观准确，为监控领域、卫星图像以及医学影像中对低分辨图像进行重建后得到的超分辨率图像质量进行分析提供了重要的应用价值。

Description

一种超分辨率图像的图像质量分析方法及系统
技术领域
本发明涉及数字图像处理及计算机视觉技术领域，尤其涉及的是一种超分辨率图像的图像质量分析方法及系统。
背景技术
图像超分辨率是图像处理领域中的一个重要研究课题，通过对图像进行超分辨率处理，可以提高图像的分辨率，使得图像更为清晰，其在图像重建中具有较多重要应用，例如：
(1)在数字电视(DTV)向高清晰度电视(HDTV)过度阶段，仅有部分电视节目会以HDTV的形式播出，不少节目采用的是DTV的形式。因此，可以利用超分辨率重建技术将DTV信号转化为与HDTV接收机相匹配的信号，提高电视节目的兼容性；
(2)在采集军事与气象遥感图像时，由于受到成像条件与成像系统分辨率的限制，不可能获得清晰度很高的图像,而通过利用超分辨率重建技术，在不改变卫星图像探测系统的前提下，可实现高于系统分辨率的图像观测；
(3)在医学成像系统中(如CT、MRI和超声波仪器等)，可以用超分辨率重建技术来提高图像质量，对病变目标进行仔细地检测；
(4)在银行、证劵等部门的安全监控系统中，当有异常情况发生后，可对监控录像进行超分辨率重建，提高图像要害部分的分辨率，从而为事件的处理提供重要的线索；
(5)可以将超分辨率重建技术用于图像压缩。平时存储或传输低分辨率的图像信息，当有不同需要时，再利用超分辨率重构技术获得不同分辨率的图像和视频。
随着深度学习的不断发展，图像超分辨率处理技术也在不断前进，已经出现了很多研究成果。然而，对于超分辨图像质量分析仍然面临着巨大挑战。由于人的视觉感知存在差异，对图像质量的主观评价标准参差不齐，亟需一种客观准确的超分辨率图像质量分析方法，建立图像质量的客观评判标准，以此来推动图像超分辨率技术的不断发展。
目前已经出现了许多图像质量分析的方法，如PSNR算法(Peak Signal toNoiseRatio，峰值信噪比)，MOS算法(Mean Opinion Scores，主观质量评分)以及SSIM算法(Structural SIMilarity，图像相似度)等。为了分析高光谱图像的质量，还提出了一个多元SSIM，将多光谱像素作为一个多元向量。除了在SSIM中使用的平均值、方差和协方差外，图像质量分析利用到许多其他特征和信息。比如信息保真度准则及视觉信息保真度，将参考图像与失真图像之间的相互信息作为视觉质量计算。
因为图像结构特征在视觉感观中占主导地位，许多现有的全参考图像质量方法强调图像结构失真的重要性。然而对于超分辨率图像来说，图像细节同样重要。另外，对于一些超分辨率图像里面存在的虚假纹理，现有的图像质量分析方法没有进行考虑。因此现有的这些图像质量分析方法并不适合于超分辨率图像的图像质量分析。
因此，现有技术有待于进一步的改进。
发明内容
鉴于上述现有技术中的不足之处，本发明的目的在于提供一种超分辨率图像的图像质量分析方法及系统，克服现有技术中缺乏针对超分辨率图像的质量分析方法的缺陷。
本发明提供的第一实施例为一种超分辨率图像的质量分析方法，其中，包括步骤：
获取源参考图像和获取与所述源参考图像内容和像素个数均相同的超分辨率图像；
分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；
对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；
将三个池化分数相融合得到图像质量分析值。
可选的，分解出所述源参考图像和超分辨图像纹理分量的步骤包括：
分别计算超分辨率图像和源参考图像中每个像素的统计特征向量，将计算出的统计特征向量分别与各自的2范数相比，将相比之后，计算得到的比值做内积，得到内积值；
将超分辨率图像和源参考图像的纹理分量分成多个图像块，计算超分辨率图像和源参考图像两个图像中相同大小图像块的方差值，并获取两个方差值中的最大值；
将所述内积值、所述方差值中的最大值和预设第一调整因子相结合计算纹理分量。
可选的，所述分别计算超分辨率图像和源参考图像中每个像素的统计特征向量步骤包括：
使用方向梯度直方图算法、尺度不变特征匹配算法或者局部二值模式算法获取超分辨率图像和源参考图像中每个像素的统计特征向量。
可选的，分解出所述源参考图像和超分辨图像结构分量的步骤包括：
将超分辨率图像和源参考图像分成多个图像块；
计算每个图像块的主方向和所述主方向的内积并取绝对值，得到内积值；
计算超分辨率图像和源参考图像在结构分量中每个像素的归一化的梯度幅度；
将所述内积值、所述梯度幅度值和预设第二调整因子相结合，得到所述结构分量。
可选的，将所述源参考图像和超分辨图像分解成高频分量的步骤包括：
计算源参考图像和超分辨图像的高频能量向量做内积，将内积的值与所述高频能量向量的2范数之比作为高频分量。
可选的，将所述源参考图像和超分辨图像分解成高频分量的步骤包括：
计算源参考图像和超分辨图像的高频能量向量，将所述高频能量向量与所述高频能量向量的2范数之积作为高频分量。
可选的，所述高频能量的计算公式为：
Figure BDA0001815653470000041
其中，j是像素的位置索引，N(i)是像素i的相邻像素，NN是相邻像素的数目，s是结构分量，sσ是s通过一个方差为σ的高斯卷积核卷积得到，sσ代表了s的低频部分。
可选的，所述对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数的步骤还包括：
对所述纹理分量、结构分量和高频分量进行加权平均。
可选的，所述将三个池化分数相融合得到图像质量分析值的步骤包括：
所述图像质量分析值如下公式计算得到：
Figure BDA0001815653470000042
其中，p为图像质量分析值，α>0且β>0，α和β为调整影系数；pt,ps,ph分别为所述纹理分量、结构分量和高频分量的加权平均值。
本发明提供的第二实施例为一种超分辨率图像的质量分析系统，其中，包括：
图像信息获取模块，用于获取源参考图像和获取与所述源参考图像的内容和像素个数均相同的超分辨率图像；
图像分量分解模块，用于分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；
池化处理模块，用于对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；
分值融合模块，用于将三个池化分数相融合得到图像质量分析值。
有益效果，本发明提供了一种超分辨率图像的图像质量分析方法及系统，通过获取源参考图像和获取与所述源参考图像内容和像素个数均相同的超分辨率图像；分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；将三个池化分数相融合得到图像质量分析值。在超分辨率图像上的测试，本发明比现有的图像质量分析方法更贴近人类视觉评判机制，且客观实验数据优胜于现有的图像质量分析方法。为监控领域、卫星图像以及医学影像中对低分辨图像进行重建后得到的超分辨率图像质量进行分析提供了重要的应用价值。
附图说明
图1是本发明所提供的一种超分辨率图像的图像质量分析方法的步骤流程图；
图2是本发明提供的所述超分辨率图像的图像质量分析系统的原理结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
本发明提供的第一实施例为一种超分辨率图像的质量分析方法，如图1所示，包括步骤：
步骤S1、获取源参考图像和获取与所述源参考图像内容和像素个数均相同的超分辨率图像。
源参考图像和超分辨率图像之间具有相同的内容和像素个数，将超分辨率图像与源参考图像相对比，得到该超分辨率图像的质量分析值。因此本步骤中首先得到需要进行比对的超分辨率图像及其源参考图像。
步骤S2、分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量。
分别分解出源参考图像和超分辨率图像的纹理分量、结构分量和高频分量，依次对两个图像的这三个分量进行比对，根据三个分量的比对结果，得到质量分析结果。
步骤S3、对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数。
步骤S4、将三个池化分数相融合得到图像质量分析值。
具体的，本步骤中所述将三个池化分数相融合得到图像质量分析值的步骤包括：利用如下所述图像质量分析值如下公式计算得到图像质量分析值：
Figure BDA0001815653470000061
其中，p为图像质量分析值，α>0且β>0，α和β为调整影系数；pt,ps,ph分别为所述纹理分量、结构分量和高频分量的加权平均值。
当分别从源参考图像和超分辨率图像中分解出纹理分量、结构分量和高频分量后，对三个分量进行池化处理，再将池化分数相融合得到超分辨率图像的质量分析值。
上述步骤S2中包括分别将源参考图像和超分辨率图片分解成纹理分量和结构分量，并分别从源参考图像和超分辨率图片中提取出高频分量，分别对各个分量进行图像质量比较。
具体的，分解出所述源参考图像和超分辨图像纹理分量的步骤包括：
分别计算超分辨率图像和源参考图像中每个像素的统计特征向量，将计算出的统计特征向量分别与各自的2范数相比，将相比之后，计算得到的比值做内积，得到内积值；
将超分辨率图像和源参考图像的纹理分量分成多个图像块，计算超分辨率图像和源参考图像两个图像中相同大小图像块的方差值，并获取两个方差值中的最大值；
将所述内积值、所述方差值中的最大值和预设第一调整因子相结合计算纹理分量。
上述分解出图像纹理分量的方法可以通过如下实施例实现
纹理分量使用统计特征，比如使用SIFT直方图统计特征来描述纹理特征。给定源参考图像r和与其相同内容和相同像素个数的超分辨率图像u，设纹理分量表示为Mt，对图像u和r中的第i个像素有：
Figure BDA0001815653470000071
其中||·||2代表2范数，<·,·>代表内积运算，fr(i)和fu(i)分别是超分辨率图像r和源参考图像u在第i个像素上的统计特征向量，Kt是适应性变量由公式(2)得到：
Figure BDA0001815653470000072
其中tr(i)和tu(i)分别是超分辨率图像r和源参考图像u的纹理分量中以第i个像素为中心的图像块，这两个图像块是相同大小。Ct是一个正常量用来调整Kt的范围。var(·)用来表示计算其参数的方差，max(·,·)表示返回其参数的最大值。通过公式(1)和(2)可以计算得到纹理分量Mt,容易证明Mt的范围是0到1。
此外，所述分别计算超分辨率图像和源参考图像中每个像素的统计特征向量步骤包括：使用方向梯度直方图算法、尺度不变特征匹配算法或者局部二值模式算法获取超分辨率图像和源参考图像中每个像素的统计特征向量。
本发明所述方法中计算统计特征来计算纹理分量，实际计算统计特征的方法还可以是HOG算法，HOG算法可以提取3780维的向量，作为计算纹理分量中的统计特征向量。SIFT算法，SIFT算法可以提取128维的向量，作为计算纹理分量中的统计特征向量。LBP算法，使用LBP特征谱的统计直方图作为统计特征向量。还有基于直方图的统计特征等。可以想到的是，所述的HOG算法,SIFT算法,LBP算法，基于直方图统计等方法提取的统计特征向量任意组合，组合向量也可以作为计算纹理分量中的统计特征向量。
进一步的，分解出所述源参考图像和超分辨图像结构分量的步骤包括：
将超分辨率图像和源参考图像分成多个图像块；
计算每个图像块的主方向和所述主方向的内积并取绝对值，得到内积值；
计算超分辨率图像和源参考图像在结构分量中每个像素的归一化的梯度幅度；
将所述内积值、所述梯度幅度值和预设第二调整因子相结合，得到所述结构分量。
具体的，本实施例中以结构分量使用梯度特征进行的分解，其详细内容如下：
设结构分量表示为Ms，计算图像结构分量中主方向梯度，需要先计算图像中每个图像块的主方向，图像块的主方向由半正定矩阵J得到：
Figure BDA0001815653470000081
其中，i是图像块的中心像素，gx和gy分别是该图像块中横轴和纵轴的梯度向量。J有两个特征值和两个特征向量，较小的特征值对应的特征向量即是该图像块梯度主方向。
Figure BDA0001815653470000082
其中|·|代表返回绝对值。nr(i)和nu(i)是归一化的特征向量，它们分别是超分辨率图像r和源参考图像u在结构分量中的第i个像素的主方向。同样Ms的范围也是0到1，公式(4)中Ks定义如下：
Figure BDA0001815653470000091
其中，gmr(i)和gmu(i)分别表示超分辨率图像r和源参考图像u在结构分量中的第i个像素的归一化的梯度幅度。Cs是一个正常量用来调整Ks的范围。
上述步骤中计算图像块的主方向梯度来计算结构分量，实际计算结构分量还可以通过相对总变差方法从纹理分量中提取得到，使用可迭代的滚动指导滤波器也可以获得结构分量。实际在计算结构分量中主方向梯度的时候，还可以使用canny算子，sobel算子等，并且所述的图像块的大小可以是可变的。
进一步的，分别将所述源参考图像和超分辨图像分解成高频分量的步骤包括：
计算源参考图像和超分辨图像的高频能量向量做内积，将内积的值与所述高频能量向量的2范数之比作为高频分量。
进一步的，将所述源参考图像和超分辨图像分解成高频分量的步骤包括：
计算源参考图像和超分辨图像的高频能量向量，将所述高频能量向量与所述高频能量向量的2范数之积作为高频分量。
下面，以高频分量使用不同频段的特征为实施例，对其分解方法做进一步的解析。
设高频分量表示为Mh，高频分量由公式(7)获得。计算高频分量之前要先比较超分辨率图像r和源参考图像u的高频能量，高频能量计算由公式(6)得到。
Figure BDA0001815653470000101
其中j是位置索引，N(i)是像素i的相邻像素，NN是相邻像素的数目，s是结构分量。sσ是s通过一个方差为σ的高斯卷积核卷积得到，sσ代表了s的低频部分。
Figure BDA0001815653470000102
其中，hr和hu分别是超分辨率图像r和源参考图像u由公式(6)计算得到的高频能量。Ch是一个正常量，用以避免分母过小造成的不稳定性。
上述方法中使用高斯卷积核来计算高频分量，实际计算高频分量还可以使用不同频段特征的方法。如下高频能量计算公式：
Figure BDA0001815653470000103
其中h(i)表示第i个像素的高频能量，它是一个向量，k可取(2,3，4...)，不同的高斯卷积核卷积相减得到不同频段的频率分量，其组合而成的向量作为高频能量h。
高频能量h是一个向量，则计算高频分量的公式如下：
Figure BDA0001815653470000104
其中2倍的超分辨率图像和源参考图像的高频能量向量做内积，与各自的高频能量向量的2范数之比作为超分辨率图像质量分析的高频分量，Ch是一个正常数，用来避免分母过小产生的不稳定性。实际上高频能量向量还可以取各自的范数后再相乘作为高频能量的特征，可以取其他任意范数情况。
通过上述公式(1)至(7)，分解出源参考图像和超分辨率图像的纹理分量、结构分量和高频分量。下面对分解出的三个分量对进行处理。
所述对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数的步骤还包括：
对所述纹理分量、结构分量和高频分量进行加权平均。
具体的，对三个分量进行处理的步骤包括：
需要将这三个分量分别进行池化，池化后得到的分数最终融合得到对超分辨率图像r和源参考图像u的分析分数。
池化纹理分量、结构分量和高频分量需要加权平均，加权平均公式如下:
Figure BDA0001815653470000111
其中，N是图像像素的数目，q∈{t,s,h}分别表示纹理分量、结构分量和高频分量的索引，pq代表三个分量的池化分数，wq是每个分量里每个像素的权重，wq由公式(9)至(11)计算后的结果得到。
Figure BDA0001815653470000112
Figure BDA0001815653470000113
Figure BDA0001815653470000114
其中，tr(i)和tu(i)与公式(2)相同计算，gmr(i)和gmu(i)与公式(5)相同计算，hr(i)和hu(i)与公式(6)相同计算。公式(9)至(11)中分母的设置是为了归一化。
最后融合三个分量池化后的分数得到p，p由公式(10)计算得到：
Figure BDA0001815653470000115
其中，α>0且β>0，α和β是为了调整不同分量在融合过程中的影响程度。pt,ps,ph分别由公式(8)计算得到。通过比较结构分量和纹理分量的平均强度可以获得β的值，如公式(13)：
Figure BDA0001815653470000121
其中，s和t分别是图像结构分量和纹理分量的强度。mean(·)为求均值函数，log(·)为取对数函数。β的值大于1，在获得β时使用了Weber-Fechner法则，也可以使用穷举法获得β。
至此，我们已经得到了超分辨图像u相对于源参考图像r的图像质量分析的分数p。
具体的，在上述方法的基础上，对上述方法还可以有一下改进或者替换方法：
本发明在使用结构纹理分解时，使用了TV-L1模型优化公式：
Figure BDA0001815653470000122
其中λ是拉格朗日乘子系数，u是纹理分量，BV是巴拿赫空间，Ω是图片的一个区域，f是一张图片。实际上还可以使用Meyer,Vese-Osher等其他优化模型。
本发明中计算适应性变量Kt是实际上还可以是如下三种公式：
Figure BDA0001815653470000123
其中，mean(.)表示求均值函数。
Figure BDA0001815653470000124
其中，|.|表示取绝对值。
Figure BDA0001815653470000125
其中，||.||表示取2范数。实际上还可以是其他范数情况。
本发明中计算β的公式实际上还可以是如下两种公式：
Figure BDA0001815653470000131
其中var(.)代表求方差函数。
Figure BDA0001815653470000132
其中sum(.)代表求和函数。计算β实际上还可以是求和函数和求方差函数的结合。较佳的，β使用穷举法计算的值为3.9709。
本发明使用结构纹理分解方法，实现了在超分辨率图片上进行图像视觉质量分析。对将源参考图像恢复到超分辨率图像后的质量分析提供了更加客观的分析方法，避免了主观上评价超分辨率图像质量的盲目性。为监控领域、卫星图像以及医学影像中对低分辨图像进行重建后得到的超分辨率图像质量进行分析提供了重要的应用价值。由于超分辨率重建技术在一定条件下，可以克服图像系统内在分辨率的限制，提高被处理图像的分辨率，因而在视频、遥感、医学和安全监控等领域具都有十分重要的应用。
本发明提供的第二实施例为一种超分辨率图像的质量分析系统，如图2所示，包括：
图像信息获取模块310，用于获取源参考图像和获取与所述源参考图像的内容和像素个数均相同的超分辨率图像；其功能如步骤S1所述。
图像分量分解模块320，用于分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；其功能如步骤S2所述。
池化处理模块330，用于对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；其功能如步骤S3所述。
分值融合模块340，用于将三个池化分数相融合得到图像质量分析值。其功能如步骤S4所述。
本发明所公开的方法及系统中不同方式获得纹理分量、结构分量、高频分量可任意组合。
本发明提供了一种超分辨率图像的图像质量分析方法及系统，通过获取源参考图像和获取与所述源参考图像内容和像素个数均相同的超分辨率图像；分别分解出所述源参考图像和超分辨率图像的纹理分量，结构分量和高频分量；对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；将三个池化分数相融合得到图像质量分析值。在超分辨率图像上的测试，本发明比现有的图像质量分析方法更贴近人类视觉评判机制，且客观实验数据优胜于现有的图像质量分析方法。本发明可以应用于其他上采样图像以及现有的许多图像数据库。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种超分辨率图像的质量分析方法，其特征在于，包括：
获取源参考图像和获取与所述源参考图像内容和像素个数均相同的超分辨率图像；
分别分解出所述源参考图像和超分辨率图像的纹理分量、结构分量和高频分量；
分解出所述源参考图像和超分辨图像纹理分量的步骤包括：
分别计算超分辨率图像和源参考图像中每个像素的统计特征向量，将计算出的统计特征向量分别与各自的2范数相比，将相比之后，计算得到的比值做内积，得到内积值；
将超分辨率图像和源参考图像的纹理分量分成多个图像块，计算超分辨率图像和源参考图像两个图像中相同大小图像块的方差值，并获取两个方差值中的最大值；
将所述内积值、所述方差值中的最大值和预设第一调整因子相结合计算纹理分量；
对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；
将三个池化分数相融合得到图像质量分析值。
2.根据权利要求1所述的超分辨率图像的质量分析方法，其特征在于，所述分别计算超分辨率图像和源参考图像中每个像素的统计特征向量步骤包括：
使用方向梯度直方图算法、尺度不变特征匹配算法或者局部二值模式算法获取超分辨率图像和源参考图像中每个像素的统计特征向量。
3.根据权利要求1所述的超分辨率图像的质量分析方法，其特征在于，分解出所述源参考图像和超分辨图像结构分量的步骤包括：
将超分辨率图像和源参考图像分成多个图像块；
计算每个图像块的主方向和所述主方向的内积并取绝对值，得到内积值；
计算超分辨率图像和源参考图像在结构分量中每个像素的归一化的梯度幅度；
将所述内积值、所述梯度幅度和预设第二调整因子相结合，得到所述结构分量。
4.根据权利要求1所述的超分辨率图像的质量分析方法，其特征在于，将所述源参考图像和超分辨图像分解成高频分量的步骤包括：
计算源参考图像和超分辨图像的高频能量向量做内积，将内积的值与所述高频能量向量的2范数之比作为高频分量。
5.根据权利要求1所述的超分辨率图像的质量分析方法，其特征在于，将所述源参考图像和超分辨图像分解成高频分量的步骤包括：
计算源参考图像和超分辨图像的高频能量向量，将所述高频能量向量与所述高频能量向量的2范数之积作为高频分量。
6.根据权利要求4或5所述的超分辨率图像的质量分析方法，其特征在于，所述高频能量的计算公式为：
Figure FDA0003473410070000021
其中，j是像素的位置索引，N(i)是像素i的相邻像素，NN是相邻像素的数目，s是结构分量，sσ是s通过一个方差为σ的高斯卷积核卷积得到，sσ代表了s的低频部分。
7.根据权利要求1所述的超分辨率图像的质量分析方法，其特征在于，所述对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数的步骤还包括：
对所述纹理分量、结构分量和高频分量进行加权平均。
8.根据权利要求7所述的超分辨率图像的质量分析方法，其特征在于，所述将三个池化分数相融合得到图像质量分析值的步骤包括：
所述图像质量分析值由如下公式计算得到：
Figure FDA0003473410070000022
其中，p为图像质量分析值，α>0且β>0，α和β为调整系数；Pt、Ps、Ph分别为所述纹理分量、结构分量和高频分量的加权平均值。
9.一种超分辨率图像的质量分析系统，其特征在于，包括：
图像信息获取模块，用于获取源参考图像和获取与所述源参考图像的内容和像素个数均相同的超分辨率图像；
图像分量分解模块，用于分别分解出所述源参考图像和超分辨率图像的纹理分量、结构分量和高频分量；
分解出所述源参考图像和超分辨图像纹理分量具体为：
分别计算超分辨率图像和源参考图像中每个像素的统计特征向量，将计算出的统计特征向量分别与各自的2范数相比，将相比之后，计算得到的比值做内积，得到内积值；
将超分辨率图像和源参考图像的纹理分量分成多个图像块，计算超分辨率图像和源参考图像两个图像中相同大小图像块的方差值，并获取两个方差值中的最大值；
将所述内积值、所述方差值中的最大值和预设第一调整因子相结合计算纹理分量；
池化处理模块，用于对分解出的所述纹理分量、结构分量和高频分量分别进行池化，得到与三个分量相对应的三个池化分数；分值融合模块，用于将三个池化分数相融合得到图像质量分析值。
CN201811140284.9A 2018-09-28 2018-09-28 一种超分辨率图像的图像质量分析方法及系统 Active CN109410177B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811140284.9A CN109410177B (zh) 2018-09-28 2018-09-28 一种超分辨率图像的图像质量分析方法及系统
PCT/CN2019/088478 WO2020062901A1 (zh) 2018-09-28 2019-05-27 一种超分辨率图像的图像质量分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811140284.9A CN109410177B (zh) 2018-09-28 2018-09-28 一种超分辨率图像的图像质量分析方法及系统

Publications (2)

Publication Number Publication Date
CN109410177A CN109410177A (zh) 2019-03-01
CN109410177B true CN109410177B (zh) 2022-04-01

Family

ID=65466480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811140284.9A Active CN109410177B (zh) 2018-09-28 2018-09-28 一种超分辨率图像的图像质量分析方法及系统

Country Status (2)

Country Link
CN (1) CN109410177B (zh)
WO (1) WO2020062901A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410177B (zh) * 2018-09-28 2022-04-01 深圳大学 一种超分辨率图像的图像质量分析方法及系统
CN110555823B (zh) * 2019-04-11 2023-04-07 江南大学 一种基于tvl结构纹理分解的图像融合质量评价方法
CN110211193B (zh) * 2019-05-17 2020-08-04 山东财经大学 三维ct层间图像插值修复与超分辨处理方法及装置
CN110415242B (zh) * 2019-08-02 2020-05-19 中国人民解放军军事科学院国防科技创新研究院 一种基于参考图像的超分辨倍率评价方法
CN111598779B (zh) * 2020-05-14 2023-07-14 Oppo广东移动通信有限公司 图像超分辨率处理方法和装置、电子设备及存储介质
CN113298764B (zh) * 2021-05-11 2022-06-14 合肥富煌君达高科信息技术有限公司 基于图像噪声分析的高速相机成像质量分析方法
CN113436077A (zh) * 2021-07-28 2021-09-24 山东大学 边缘保持的高光谱图像超分辨率重建方法及系统
CN113705632A (zh) * 2021-08-11 2021-11-26 扬州大学 一种直肠癌mri图像分类方法、装置、电子设备和存储介质
JP2024537815A (ja) * 2021-09-30 2024-10-16 北京大学 画像処理のためのシステム及び方法
CN114119593B (zh) * 2021-12-03 2024-04-02 深圳大学 基于浅层与深度结构纹理特征的超分图像质量评价方法
CN116740777B (zh) * 2022-09-28 2024-07-05 荣耀终端有限公司 人脸质量检测模型的训练方法及其相关设备
CN116091747B (zh) * 2023-04-10 2023-06-16 山东省地质矿产勘查开发局第五地质大队（山东省第五地质矿产勘查院） 一种测绘成果的验证方法及系统
CN118115495B (zh) * 2024-04-23 2024-07-09 武汉大学 一种结合排序学习的超分辨率图像质量评价方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250013A (ja) * 2010-05-25 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> 画質評価方法、画質評価装置、及びプログラム
CN102436655A (zh) * 2011-09-02 2012-05-02 清华大学 一种基于svd的超分辨率重建图像质量评价方法
CN104021523A (zh) * 2014-04-30 2014-09-03 浙江师范大学 一种基于边缘分类的图像超分辨率放大的新方法
CN106709945A (zh) * 2017-01-09 2017-05-24 方玉明 一种对于超分辨率图像的质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410177B (zh) * 2018-09-28 2022-04-01 深圳大学 一种超分辨率图像的图像质量分析方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250013A (ja) * 2010-05-25 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> 画質評価方法、画質評価装置、及びプログラム
CN102436655A (zh) * 2011-09-02 2012-05-02 清华大学 一种基于svd的超分辨率重建图像质量评价方法
CN104021523A (zh) * 2014-04-30 2014-09-03 浙江师范大学 一种基于边缘分类的图像超分辨率放大的新方法
CN106709945A (zh) * 2017-01-09 2017-05-24 方玉明 一种对于超分辨率图像的质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Single-Image Super-Resolution Based on Compact KPCA Coding and Kernel Regression;Fei Zhou等;《IEEE SIGNAL PROCESSING LETTERS》;20150331;第22卷(第3期);第336-340页 *
基于ARM嵌入式的超分辨率视频图像复原研究;邱文胜;《中国优秀硕士学位论文全文数据库信息科技辑》;20151215(第12期);第I138-759页 *

Also Published As

Publication number Publication date
WO2020062901A1 (zh) 2020-04-02
CN109410177A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109410177B (zh) 一种超分辨率图像的图像质量分析方法及系统
Wang et al. Information content weighting for perceptual image quality assessment
Manap et al. Non-distortion-specific no-reference image quality assessment: A survey
Zheng et al. An advanced image fusion algorithm based on wavelet transform: incorporation with PCA and morphological processing
CN108765359B (zh) 一种基于jskf模型和nsct技术的高光谱遥感影像与全色图像的融合方法
Saha et al. Utilizing image scales towards totally training free blind image quality assessment
Wee et al. Image quality assessment by discrete orthogonal moments
Ding et al. Image quality assessment using directional anisotropy structure measurement
CN111539331B (zh) 一种基于脑机接口的视觉图像重建系统
CN108053396B (zh) 一种多失真图像质量的无参考评价方法
CN105007488A (zh) 基于变换域和空间域的通用无参考图像质量评价方法
Zhang et al. An algorithm for no-reference image quality assessment based on log-derivative statistics of natural scenes
CN110570395B (zh) 基于空谱联合协同表示的高光谱异常检测方法
Moorthy et al. Visual perception and quality assessment
CN112184672A (zh) 一种无参考图像质量评价方法及系统
Rajevenceltha et al. A novel approach for image focus measure
Jin et al. Perceptual Gradient Similarity Deviation for Full Reference Image Quality Assessment.
CN108682005B (zh) 基于协方差矩阵特征的半参考3d合成图像质量评价方法
CN108629771B (zh) 一种具有尺度鲁棒性的图像质量盲评价方法
Morzelona Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model
Yu et al. Fractional-order differentiation based sparse representation for multi-focus image fusion
Ma et al. No-reference image quality assessment based on multi-task generative adversarial network
Lu et al. A no-reference image quality assessment approach based on steerable pyramid decomposition using natural scene statistics
Aishwarya et al. Contrast Enhanced Multi-Modal Image Fusion using Top hat transform and Sparse Dictionary
CN111325720B (zh) 一种多视觉特征集成的无参考超分辨图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant