CN112819822A - 基于多重曲率张量稀疏分解的无参考图像清晰度评价方法 - Google Patents

基于多重曲率张量稀疏分解的无参考图像清晰度评价方法 Download PDF

Info

Publication number
CN112819822A
CN112819822A CN202110226210.2A CN202110226210A CN112819822A CN 112819822 A CN112819822 A CN 112819822A CN 202110226210 A CN202110226210 A CN 202110226210A CN 112819822 A CN112819822 A CN 112819822A
Authority
CN
China
Prior art keywords
tensor
image
curvature
sparse
decomposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110226210.2A
Other languages
English (en)
Inventor
毛凌航
汪斌
陈淑聪
姜飞龙
徐翘楚
李兴隆
张奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing University
Original Assignee
Jiaxing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing University filed Critical Jiaxing University
Priority to CN202110226210.2A priority Critical patent/CN112819822A/zh
Publication of CN112819822A publication Critical patent/CN112819822A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/64Analysis of geometric attributes of convexity or concavity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多重曲率张量稀疏分解的无参考图像清晰度评价方法,该方法首先提取图像的多重曲率,并用多重曲率组合成曲率张量;然后利用张量分解稀疏系数能量与图像清晰度正向相关的特性,采用多重曲率特征学习得到张量字典;最后利用图像灰度的方差与图像清晰度的反向相关的特性,用图像灰度的方差来表征图像复杂度,采用张量分解稀疏系数能量与图像灰度方差的比值作为最终的图像清晰度评价标准,得到的客观清晰度评价结果值越大,图像越清晰。本发明充分利用图像的多重曲率特征,避免采用单一梯度特征带来的清晰度评价精度不高的缺点,分解得到的稀疏系数更能表征图像结构和清晰度特征,提高了图像清晰度评价精度。

Description

基于多重曲率张量稀疏分解的无参考图像清晰度评价方法
技术领域
本发明属于图像处理领域,尤其涉及一种基于多重曲率张量稀疏分解的无参考图像清晰度评价方法。
背景技术
图像质量评价是图像处理领域的关键问题,图像质量评价方法根据是否有人的参与可分成主观图像质量评价方法和客观图像质量评价方法。主观图像质量评价方法由人对图像进行打分,评价结果精确,但评价过程复杂,耗时时间长,难以得到实时应用。客观图像质量评价方法无需人的参与,通过特定的计算机算法自动预测图像质量,根据是否使用原始无失真图像作为参考图像,可将图像质量评价方法分成全参考图像质量评价方法,半参考图像质量评价方法和无参考图像质量评价方法。全参考图像质量评价算法使用参考图像的所有信息预测图像质量,半参考图像质量评价方法采用参考图像的部分信息进行图像质量预测,无参考图像质量评价方法不使用参考图像的任何信息进行图像质量评价。传统的全参考图像质量评价方法采用均方误差(Mean Square Error,MSE)或峰值信噪比(PeakSignal to Noise Ratio,PSNR)进行图像质量评价,该方法物理意义明确,算法简单,但存在与人眼主观视觉特性不匹配等缺点。针对传统全参考图像质量评价方法以上缺点,Wang提出一种基于结构相似度(structural similarity index,SSIM)的全参考图像质量评价模型,但SSIM对模糊图像评价效果不太理想,特别是对于严重模糊的图像评价效果与主观视觉感受不符。当前的无参考图像质量评价方法可以分成基于特定失真类型的方法和通用型方法,基于特定失真类型的方法主要面向特定失真类型,如清晰度、块效应、噪声等;而通用型方法对所有失真类型进行图像质量评价。本发明涉及一种无参考图像清晰度评价方法。
图像清晰度主要和模糊失真相关,图像模糊是一种主要的图像失真,模糊失真主要由图像压缩、摄像机运动、目标运动或摄像机聚焦不良引起,针对图像模糊度评价,李雷达[中国专利公开号CN104134204A]提出一种基于稀疏分解的无参考图像模糊度评价方法,该方法将图像分块后,对图像块进行稀疏分解得到稀疏系数,采用稀疏系数能量进行模糊度评价;Mahdi[Mahdi S.Hosseini,Yueyang Zhang,Konstantinos N.Plataniotis,Encoding Visual Sensitivity by MaxPol Convolution Filters for Image SharpnessAssessment,IEEE Transactions on Image Processing,2019.]采用卷积滤波器模拟人眼视觉特性,并采用有限长单位冲激响应(Finite Impulse Response,FIR)滤波器的线性组合对图像进行滤波提取特征进行清晰度评价;Yaoqing Li[Yaoqing Li,Zhaoyang Wang,Guangzhe Dai,Shibin Wu,Shaode Yu,Yaoqin Xie,Evaluation of realistic blurringimage quality by using a shallow convolutional neural network,2017,IEEEInternational Conference on Information and Automation,853-857.]采用卷积神经网络检测图像边缘强度进行图像清晰度评价;以上方法把图像作为二维矩阵进行处理,提取的大多是一阶图像特征。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于多重曲率张量稀疏分解的无参考图像清晰度评价方法。本发明的预测效果相对于现有技术更精确。
本发明的目的是通过以下技术方案来实现的:一种基于多重曲率张量稀疏分解的无参考图像清晰度评价方法,包括以下步骤:
(1)输入彩色失真图像,并转换成灰度图像I;
(2)计算一阶梯度:用水平梯度算子GX和垂直梯度算子GY分别对步骤(1)得到的灰度图像I进行卷积,得到水平梯度图像IX和垂直梯度图像IY
(3)计算二阶梯度:分别采用水平梯度算子GX对水平梯度图像IX进行卷积,垂直梯度算子GY对水平梯度图像IX进行卷积,和垂直梯度算子GY对垂直梯度图像IY进行卷积,得到二阶水平梯度图像IXX、二阶对角梯度图像IXY和二阶垂直梯度图像IYY
(4)计算多重曲率Z1~Z8:根据步骤(2)~(3)得到的水平梯度图像IX、垂直梯度图像IY、二阶水平梯度图像IXX、二阶对角梯度图像IXY和二阶垂直梯度图像IYY,计算得到一般曲率Z1、高斯曲率Z2、极大曲率Z3、极小曲率Z4、最大正曲率Z5、最小负曲率Z6、倾向曲率Z7和走向曲率Z8
(5)将步骤(4)得到的多重曲率Z1~Z8组成大小为W×H×8的曲率张量;其中,W和H为灰度图像I的宽度和高度;将其划分成多个P×P×8的曲率张量块,从中取K个组成曲率张量集χ={X1,X2,...,XK};
(6)对步骤(5)得到的曲率张量集χ进行张量字典学习,得到张量字典集D;
(7)对待评价图像依次执行步骤(1)~(5),得到待评价灰度图像Ix和M个大小为P×P×8待评价图像曲率张量块;并将待评价图像曲率张量块基于步骤(6)得到的张量字典集D进行稀疏张量分解,得到稀疏系数向量;
(8)对步骤(7)得到的第m个待评价图像曲率张量块的稀疏系数向量ωm进行规范化处理得到规范化稀疏系数向量τm,公式如下:
Figure BDA0002956366490000031
其中,τm,l为规范化稀疏系数向量τm的第l个元素,1≤m≤M,1≤l≤L;L为稀疏系数向量ωm中元素的个数;ωm,l为稀疏系数向量ωm的第l个元素;μm和σm为稀疏系数向量ωm的均值和方差;
(9)根据步骤(8)得到的规范化稀疏系数向量τm计算待评价图像的规范化稀疏系数能量E,公式如下:
Figure BDA0002956366490000032
Figure BDA0002956366490000033
其中,Em为第m个待评价图像曲率张量块的规范化稀疏系数能量;
(10)计算待评价图像的客观清晰度评价结果C,公式如下:
Figure BDA0002956366490000034
其中,ψ为待评价灰度图像Ix的方差。
进一步地,所述步骤(2)中,所述水平梯度算子
Figure BDA0002956366490000035
所述垂直梯度算子
Figure BDA0002956366490000036
进一步地,所述步骤(4)中,所述多重曲率Z1~Z8通过下式计算得到:
Figure BDA0002956366490000037
Figure BDA0002956366490000038
Figure BDA0002956366490000039
Figure BDA00029563664900000310
Figure BDA00029563664900000311
Figure BDA0002956366490000041
Figure BDA0002956366490000042
Figure BDA0002956366490000043
其中,
Figure BDA0002956366490000044
T=IXY;U=IX;V=IY
进一步地,所述步骤(6)包括以下子步骤:
(6.1)初始化张量字典集D={D1,D2,···,DL},其中Dl为D中第l个字典原子;
(6.2)基于当前的张量字典集D,对曲率张量集χ进行稀疏张量分解,得到稀疏系数矩阵A;
(6.3)根据步骤(6.2)得到的稀疏系数矩阵A,更新张量字典集D;
(6.4)重复执行步骤(6.2)~(6.3)进行Ω次张量字典学习,得到的张量字典集D;其中Ω为预设的学习次数。
进一步地,所述步骤(6.2)的系数张量分解包括以下子步骤:
(6.2.1)对张量字典集D进行CP分解,公式如下:
Figure BDA0002956366490000045
其中,
Figure BDA0002956366490000049
为向量外积操作;标量λl为分解系数;
Figure BDA0002956366490000046
分别为CP分解在Dl的第一维度、第二维度和第三维度得到的向量;
(6.2.2)初始化误差张量Δ=Xk,初始化迭代次数u=0,初始化字典候选集
Figure BDA0002956366490000047
其中Xk为曲率张量集χ的第k个元素;
(6.2.3)将误差张量Δ映射到每个字典原子Dl上得到L个映射结果,公式如下:
Figure BDA0002956366490000048
其中,ql是Dl对应的映射结果,其中1≤l≤L;×1、×2、×3分别表示张量在第一维度、第二维度、第三维度的外积;
(6.2.4)将步骤(6.2.3)得到的最大的映射结果对应的字典原子添加到字典候选集Dasr中;
(6.2.5)将步骤(6.2.4)得到的字典候选集Dasr组成张量Φ,用下式更新稀疏系数向量αk
Figure BDA0002956366490000051
其中,×4表示张量在第四维度的外积;
(6.2.6)根据下式更新误差张量Δ和迭代次数u:
Δ=Xk-Φ×4αk
u=u+1
(6.2.7)当迭代次数u≥U且|Δ|<ε,则保存稀疏系数αk,退出循环;否则转到步骤(6.2.3)循环迭代;其中,|·|为求张量范数操作,U为预设迭代次数,ε为预设误差张量阈值;
(6.2.8)重复执行步骤(6.2.2)~(6.2.7),误差张量Δ遍历K个曲率张量块X1,X2,...,XK得到K个稀疏系数向量αk,作为稀疏系数矩阵A={α12,...,αK}的列向量。
进一步地,所述步骤(6.3)包括以下子步骤:
(6.3.1)将稀疏系数矩阵A中非零的元素αk,l对应的曲率张量块,组成曲率张量集χl,其中,l为曲率张量集中张量个数;其中,αk,l表示第k个曲率张量块Xk在第l个字典原子Dl上的稀疏系数;
(6.3.2)提取稀疏系数矩阵A的第l列得到稀疏系数向量αl,计算字典原子Dl的残差张量Λl,其中,αl为列向量,采用公式如下:
Λl=χl-D×4A+Dl×4αl
其中,×4为张量在第四维度的外积;
(6.3.3)对步骤(6.3.2)得到的残差张量Λl进行CP分解,公式如下:
Figure BDA0002956366490000052
其中,
Figure BDA0002956366490000053
为向量外积操作,·为相乘操作,标量νl为分解系数;ηl、βl、γl和δl为CP分解得到的向量;
(6.3.4)更新字典原子Dl和对应的稀疏系数向量αl,公式如下:
Figure BDA0002956366490000054
αl=νl·δl
(6.3.5)重复步骤(6.3.1)到步骤(6.3.4),直到张量字典集D中的L个字典原子全部更新完毕。
进一步地,所述稀疏张量分解采用多候选集正交匹配追踪方法。
进一步地,所述待评价灰度图像Ix的方差ψ由下式得到:
Figure BDA0002956366490000061
Figure BDA0002956366490000062
其中,W和H为待评价灰度图像Ix的宽度和高度,w和h为待评价灰度图像Ix的行索引和列索引,ρ为待评价灰度图像Ix的均值。
本发明的有益效果是:本发明提取梯度和多重曲率组成多重曲率张量,对多重曲率张量采用张量学习得到张量字典,利用张量字典对失真图像的多重曲率张量进行张量稀疏分解得到稀疏分解系数,并采用稀疏系数提取出特征进行图像清晰度评价。该方法充分利用图像的多重曲率特征,避免采用单一梯度特征带来的清晰度评价精度不高的缺点,分解得到的稀疏系数更能表征图像结构和清晰度特征,提高了图像清晰度评价精度。
附图说明
图1为基于多重曲率张量稀疏分解的无参考图像清晰度评价方法流程图。
具体实施方式
本发明采用美国德州Texas大学奥斯汀分校的LIVE数据库作为实验数据库,LIVE数据库包括145幅模糊失真图像,同时LIVE数据库提供了每一幅图像的主观差分平均意见分值(Difference Mean Opinion Score,DMOS),以下结合附图和实施例对本发明详细说明。
本发明一种基于多重曲率张量稀疏分解的无参考图像清晰度评价方法的流程如图1所示,具体为:
步骤(1):取出LIVE图像数据库中的145幅模糊失真图像作为输入图像集,将输入图像集随机分成训练图像集和测试图像集,其中80%的图像作为训练图像集,20%的图像作为测试图像集。
步骤(2):从训练图像集中取出单幅彩色图像,将彩色图像转换成灰度图像I。
步骤(3):计算出灰度图像I的一阶梯度,计算过程如下:
步骤(3.1):构建水平梯度算子
Figure BDA0002956366490000063
和垂直梯度算子
Figure BDA0002956366490000064
步骤(3.2):用水平梯度算子GX和垂直梯度算子GY分别对灰度图像I进行卷积,得到水平梯度图像
Figure BDA0002956366490000065
和垂直梯度图像
Figure BDA0002956366490000066
其中,
Figure BDA0002956366490000067
为卷积运算。
步骤(4):计算出灰度图像I的二阶梯度,计算过程如下:
步骤(4.1):采用水平梯度算子GX对水平梯度图像IX进行卷积,得到二阶水平梯度图像
Figure BDA0002956366490000071
步骤(4.2):采用垂直梯度算子GY对水平梯度图像IX进行卷积,得到二阶对角梯度图像
Figure BDA0002956366490000072
步骤(4.3):采用垂直梯度算子GY对垂直梯度图像IY进行卷积,得到二阶垂直梯度图像
Figure BDA0002956366490000073
步骤(5):计算灰度图像I的多重曲率Z1~Z8,计算过程如下:
步骤(5.1):计算曲率辅助变量H、S、T、U和V,采用标记公式如下:
Figure BDA0002956366490000074
T=IXY;U=IX;V=IY
步骤(5.2):计算一般曲率Z1,计算公式如下:
Figure BDA0002956366490000075
步骤(5.3):计算高斯曲率Z2,计算公式如下:
Figure BDA0002956366490000076
步骤(5.4):计算极大曲率Z3和极小曲率Z4,计算公式如下:
Figure BDA0002956366490000077
Figure BDA0002956366490000078
步骤(5.5):计算最大正曲率Z5和最小负曲率Z6,计算公式如下:
Figure BDA0002956366490000079
Figure BDA00029563664900000710
步骤(5.6):计算倾向曲率Z7,计算公式如下:
Figure BDA00029563664900000711
步骤(5.7):计算走向曲率Z8,计算公式如下:
Figure BDA0002956366490000081
步骤(6):将多重曲率按Z1~Z8的顺序组成灰度图像I的曲率张量J∈RW×H×8,将曲率张量J在一维和二维方向等分成不重叠、大小为P×P×8的曲率张量块Q,其中,R表示实数,W和H为灰度图像I的宽度和高度,P为曲率张量块Q的高度或宽度,P取值为8。
步骤(7):将从训练图像集中处理得到的曲率张量块Q组成曲率张量块集,从曲率张量块集中随机取出K个曲率张量块Xk,其中Xk∈RP×P×8,1≤k≤K,其中K为曲率张量块总个数,K取值为1000;对K个曲率张量块Xk组成的曲率张量集χ进行张量字典学习,得到张量字典D,具体步骤如下:
步骤(7.1):输入曲率张量集χ={X1,X2,...,XK},其中Xk为第k个曲率张量块,1≤k≤K。
步骤(7.2):采用matlab tensor toolbox的tenrand函数随机初始化张量字典D={D1,D2,...,Dl,...,DL},其中Dl为第l个字典原子,1≤l≤L,L为张量字典集D中字典个数,L取值为256。
步骤(7.3):基于当前的张量字典集D,采用多候选集正交匹配追踪(Multi-candidate Orthogonal Matching Pursuit,MOMP)方法对K个曲率张量块X1,X2,...,XK进行稀疏张量分解,得到α12,...,αK,并组合成稀疏系数矩阵A,包含以下子步骤:
(7.3.1):采用matlab tensor toolbox里cp-als函数将张量字典集D中的每个字典原子Dl进行CP分解(Canonical Polyadic Decomposition),分解结果公式表示如下:
Figure BDA0002956366490000082
其中,
Figure BDA0002956366490000086
为向量外积操作;标量λl为分解系数;
Figure BDA0002956366490000083
Figure BDA0002956366490000084
分别为CP分解在Dl张量的第一维度、第二维度和第三维度得到的向量。
(7.3.2):初始化误差张量Δ=Xk,初始化迭代次数u=0,初始化字典候选集Dasr=φ,其中φ为空集。
(7.3.3):将误差张量Δ映射到张量字典集中的每个字典原子Dl上,得到L个映射结果ql,映射公式如下:
Figure BDA0002956366490000085
其中,×1、×2、×3分别表示张量在第一维度、第二维度、第三维度的乘积。
(7.3.4):将步骤(7.3.3)得到的最大的映射结果qp对应的字典原子Dp添加到字典候选集Dasr中。
(7.3.5):用步骤(7.3.4)得到的字典候选集Dasr组成张量Φ,用于更新稀疏系数向量αk,采用公式如下:
Figure BDA0002956366490000091
其中,×4表示张量在第四维度的乘积;αk中有L个元素,其中第l个元素αk,l表示第k个曲率张量块Xk在第l个字典原子Dl上的稀疏系数。
(7.3.6)根据下式更新误差张量Δ和迭代次数u:
Δ=Xk-Φ×4αk
u=u+1
(7.3.7)当迭代次数u≥U且|Δ|<ε,则保存稀疏系数αk,退出循环;否则转到步骤(7.3.3)循环迭代;其中,|·|为求张量范数操作,预设迭代次数U和预设误差张量阈值ε根据经验值设定,U取值为10000,ε取值为10-3
(7.3.9)执行步骤(7.3.2)~(7.3.7)对K个曲率张量块X1,X2,...,XK进行张量稀疏分解,得到稀疏系数向量αk(k=1~K),作为稀疏系数矩阵A的列向量,组合公式如下:
A={α12,...,αK}
步骤(7.4):根据步骤(7.2)计算得到的稀疏系数矩阵A,更新张量字典D,具体步骤如下:
步骤(7.4.1):统计曲率张量集χ={X1,X2,...,XK}中在第l个字典原子Dl上稀疏系数不为零的曲率张量,即非零αk,l对应的曲率张量块,组成曲率张量子集χl,同时提取稀疏系数矩阵A的第l列得到稀疏系数向量αl,αl为列向量。
步骤(7.4.2):计算第l个字典原子Dl的残差张量Λl,计算公式如下:
Λl=χl-D×4A+Dl×4αl
其中,×4为张量在第四维度的外积。
步骤(7.4.3)对步骤(7.4.2)得到的残差张量Λl进行CP分解,分解公式如下:
Figure BDA0002956366490000092
其中,
Figure BDA0002956366490000093
为向量外积操作,·为相乘操作,标量νl为分解系数;ηl、βl、γl和δl为CP分解得到的向量。
步骤(7.4.4)根据步骤(7.4.3)的分解结果,更新第l个字典原子Dl和对应的稀疏系数向量αl,更新公式如下:
Figure BDA0002956366490000101
αl=νl·δl
其中,
Figure BDA0002956366490000102
为向量外积操作,·为相乘操作。
步骤(7.4.5):重复步骤(7.4.1)到步骤(7.4.4),直到张量字典D中的L个字典原子全部更新完毕。
步骤(7.5):重复执行步骤(7.3)~(7.4)进行Ω次张量字典学习,输出训练得到的张量字典D;其中Ω设为1000。
步骤(8):从测试图像集中取出测试图像,按步骤(2)~(6)的操作得到测试图像的灰度图像Ix,并将其划分成M个大小为P×P×8测试图像曲率张量块。
步骤(9):将第m个测试图像张量块基于步骤(7)学习得到的张量字典D采用多候选集正交匹配追踪(MOMP)方法进行稀疏张量分解,得到稀疏系数向量ωm
步骤(10):将第m个测试图像张量块的稀疏系数向量ωm进行规范化处理,具体步骤如下:
步骤(10.1):计算得到稀疏系数向量ωm的均值μm和方差σm,计算公式如下:
Figure BDA0002956366490000103
Figure BDA0002956366490000104
其中,L为稀疏系数向量ωm中元素的个数,ωm,l为稀疏系数向量ωm的第l个元素。
步骤(10.2):对稀疏系数向量ωm进行规范化处理,得到规范化稀疏系数向量τm,采用公式如下:
Figure BDA0002956366490000105
其中,τm,l为规范化稀疏系数向量τm的第l个元素。
步骤(11):计算出第m个测试图像张量块的规范化稀疏系数能量Em,计算公式如下:
Figure BDA0002956366490000111
步骤(12):将第m个测试图像张量块相加,得到整幅图像的规范化稀疏系数能量E,采用公式如下:
Figure BDA0002956366490000112
步骤(13):计算出整幅测试图像灰度图像Ix取值的方差ψ,采用公式如下:
Figure BDA0002956366490000113
Figure BDA0002956366490000114
其中,W和H为灰度图像Ix的宽度和高度,w和h为灰度图像Ix的行索引和列索引,ρ为图像的灰度取值均值,ψ为图像的灰度取值方差。
步骤(14):计算得到测试图像的客观清晰度评价结果C,计算公式如下:
Figure BDA0002956366490000115
本发明首先提取图像的多重曲率,并用多重曲率组合成曲率张量,克服了采用梯度向量特征带来的过于单一和向量化分析带来的破坏图像结构特征的缺点;然后利用张量分解稀疏系数能量与图像清晰度正向相关的特性,采用多重曲率特征学习得到张量字典;最后利用图像灰度的方差与图像清晰度的反向相关的特性,用图像灰度的方差来表征图像复杂度,克服了图像复杂度对稀疏稀疏能量的影响,采用张量分解稀疏系数能量与图像灰度方差的比值作为最终的图像清晰度评价标准,得到的客观清晰度评价结果C值越大,图像越清晰。该方法考虑了图像的多重张量对清晰度的影响,同时采用张量字典方法得到稀疏系数,并用张量稀疏系数能量衡量图像清晰度,同时采用图像方差对张量稀疏系数能量进行规整化,将张量稀疏系数能量与图像方差比值作为客观图像清晰度评价结果,提高了图像清晰度评价精度。

Claims (8)

1.一种基于多重曲率张量稀疏分解的无参考图像清晰度评价方法,其特征在于,包括以下步骤:
(1)输入彩色失真图像,并转换成灰度图像I。
(2)计算一阶梯度:用水平梯度算子GX和垂直梯度算子GY分别对步骤(1)得到的灰度图像I进行卷积,得到水平梯度图像IX和垂直梯度图像IY
(3)计算二阶梯度:分别采用水平梯度算子GX对水平梯度图像IX进行卷积,垂直梯度算子GY对水平梯度图像IX进行卷积,和垂直梯度算子GY对垂直梯度图像IY进行卷积,得到二阶水平梯度图像IXX、二阶对角梯度图像IXY和二阶垂直梯度图像IYY
(4)计算多重曲率Z1~Z8:根据步骤(2)~(3)得到的水平梯度图像IX、垂直梯度图像IY、二阶水平梯度图像IXX、二阶对角梯度图像IXY和二阶垂直梯度图像IYY,计算得到一般曲率Z1、高斯曲率Z2、极大曲率Z3、极小曲率Z4、最大正曲率Z5、最小负曲率Z6、倾向曲率Z7和走向曲率Z8等。
(5)将步骤(4)得到的多重曲率Z1~Z8组成大小为W×H×8的曲率张量;其中,W和H为灰度图像I的宽度和高度;将其划分成多个P×P×8的曲率张量块,从中取K个组成曲率张量集χ={X1,X2,...,XK};
(6)对步骤(5)得到的曲率张量集χ进行张量字典学习,得到张量字典集D;
(7)对待评价图像依次执行步骤(1)~(5),得到待评价灰度图像Ix和M个大小为P×P×8待评价图像曲率张量块;并将待评价图像曲率张量块基于步骤(6)得到的张量字典集D进行稀疏张量分解,得到稀疏系数向量;
(8)对步骤(7)得到的第m个待评价图像曲率张量块的稀疏系数向量ωm进行规范化处理得到规范化稀疏系数向量τm,公式如下:
Figure FDA0002956366480000011
其中,τm,l为规范化稀疏系数向量τm的第l个元素,1≤m≤M,1≤l≤L;L为稀疏系数向量ωm中元素的个数;ωm,l为稀疏系数向量ωm的第l个元素;μm和σm为稀疏系数向量ωm的均值和方差;
(9)根据步骤(8)得到的规范化稀疏系数向量τm计算待评价图像的规范化稀疏系数能量E,公式如下:
Figure FDA0002956366480000021
Figure FDA0002956366480000022
其中,Em为第m个待评价图像曲率张量块的规范化稀疏系数能量;
(10)计算待评价图像的客观清晰度评价结果C,公式如下:
Figure FDA0002956366480000023
其中,ψ为待评价灰度图像Ix的方差。
2.根据权利要求1所述基于多重曲率张量稀疏分解的无参考图像清晰度评价方法,其特征在于,所述步骤(2)中,所述水平梯度算子
Figure FDA0002956366480000024
所述垂直梯度算子
Figure FDA0002956366480000025
3.根据权利要求1所述基于多重曲率张量稀疏分解的无参考图像清晰度评价方法,其特征在于,所述步骤(4)中,所述多重曲率Z1~Z8通过下式计算得到:
Figure FDA0002956366480000026
Figure FDA0002956366480000027
Figure FDA0002956366480000028
Figure FDA0002956366480000029
Figure FDA00029563664800000210
Figure FDA00029563664800000211
Figure FDA00029563664800000212
Figure FDA0002956366480000031
其中,
Figure FDA0002956366480000032
T=IXY;U=IX;V=IY
4.根据权利要求1所述基于多重曲率张量稀疏分解的无参考图像清晰度评价方法,其特征在于,所述步骤(6)包括以下子步骤:
(6.1)初始化张量字典集D={D1,D2,···,DL},其中Dl为D中第l个字典原子;
(6.2)基于当前的张量字典集D,对曲率张量集χ进行稀疏张量分解,得到稀疏系数矩阵A;
(6.3)根据步骤(6.2)得到的稀疏系数矩阵A,更新张量字典集D;
(6.4)重复执行步骤(6.2)~(6.3)进行Ω次张量字典学习,得到的张量字典集D;其中Ω为预设的学习次数。
5.根据权利要求4所述基于多重曲率张量稀疏分解的无参考图像清晰度评价方法,其特征在于,所述步骤(6.2)的系数张量分解包括以下子步骤:
(6.2.1)对张量字典集D进行CP分解,公式如下:
Figure FDA0002956366480000033
其中,
Figure FDA0002956366480000034
为向量外积操作;标量λl为分解系数;
Figure FDA0002956366480000035
分别为CP分解在Dl的第一维度、第二维度和第三维度得到的向量;
(6.2.2)初始化误差张量Δ=Xk,初始化迭代次数u=0,初始化字典候选集
Figure FDA0002956366480000036
其中Xk为曲率张量集χ的第k个元素;
(6.2.3)将误差张量Δ映射到每个字典原子Dl上得到L个映射结果,公式如下:
Figure FDA0002956366480000037
其中,ql是Dl对应的映射结果,其中1≤l≤L;×1、×2、×3分别表示张量在第一维度、第二维度、第三维度的外积;
(6.2.4)将步骤(6.2.3)得到的最大的映射结果对应的字典原子添加到字典候选集Dasr中;
(6.2.5)将步骤(6.2.4)得到的字典候选集Dasr组成张量Φ,用下式更新稀疏系数向量αk
Figure FDA0002956366480000038
其中,×4表示张量在第四维度的外积;
(6.2.6)根据下式更新误差张量Δ和迭代次数u:
Δ=Xk-Φ×4αk
u=u+1
(6.2.7)当迭代次数u≥U且|Δ|<ε,则保存稀疏系数αk,退出循环;否则转到步骤(6.2.3)循环迭代;其中,|·|为求张量范数操作,U为预设迭代次数,ε为预设误差张量阈值;
(6.2.8)重复执行步骤(6.2.2)~(6.2.7),误差张量Δ遍历K个曲率张量块X1,X2,...,XK得到K个稀疏系数向量αk,作为稀疏系数矩阵A={α12,...,αK}的列向量。
6.根据权利要求4所述基于多重曲率张量稀疏分解的无参考图像清晰度评价方法,其特征在于,所述步骤(6.3)包括以下子步骤:
(6.3.1)将稀疏系数矩阵A中非零的元素αk,l对应的曲率张量块,组成曲率张量集χl,其中,l为曲率张量集中张量个数;其中,αk,l表示第k个曲率张量块Xk在第l个字典原子Dl上的稀疏系数;
(6.3.2)提取稀疏系数矩阵A的第l列得到稀疏系数向量αl,计算字典原子Dl的残差张量Λl,其中,αl为列向量,采用公式如下:
Λl=χl-D×4A+Dl×4αl
其中,×4为张量在第四维度的外积;
(6.3.3)对步骤(6.3.2)得到的残差张量Λl进行CP分解,公式如下:
Figure FDA0002956366480000041
其中,
Figure FDA0002956366480000043
为向量外积操作,·为相乘操作,标量νl为分解系数;ηl、βl、γl和δl为CP分解得到的向量;
(6.3.4)更新字典原子Dl和对应的稀疏系数向量αl,公式如下:
Figure FDA0002956366480000042
αl=νl·δl
(6.3.5)重复步骤(6.3.1)到步骤(6.3.4),直到张量字典集D中的L个字典原子全部更新完毕。
7.根据权利要求1或4所述基于多重曲率张量稀疏分解的无参考图像清晰度评价方法,其特征在于,所述稀疏张量分解采用多候选集正交匹配追踪方法。
8.根据权利要求1所述基于多重曲率张量稀疏分解的无参考图像清晰度评价方法,其特征在于,所述待评价灰度图像Ix的方差ψ由下式得到:
Figure FDA0002956366480000051
Figure FDA0002956366480000052
其中,W和H为待评价灰度图像Ix的宽度和高度,w和h为待评价灰度图像Ix的行索引和列索引,ρ为待评价灰度图像Ix的均值。
CN202110226210.2A 2021-03-01 2021-03-01 基于多重曲率张量稀疏分解的无参考图像清晰度评价方法 Withdrawn CN112819822A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110226210.2A CN112819822A (zh) 2021-03-01 2021-03-01 基于多重曲率张量稀疏分解的无参考图像清晰度评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110226210.2A CN112819822A (zh) 2021-03-01 2021-03-01 基于多重曲率张量稀疏分解的无参考图像清晰度评价方法

Publications (1)

Publication Number Publication Date
CN112819822A true CN112819822A (zh) 2021-05-18

Family

ID=75862639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110226210.2A Withdrawn CN112819822A (zh) 2021-03-01 2021-03-01 基于多重曲率张量稀疏分解的无参考图像清晰度评价方法

Country Status (1)

Country Link
CN (1) CN112819822A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810616A (zh) * 2021-09-27 2021-12-17 季华实验室 光圈焦距调整方法、系统、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810616A (zh) * 2021-09-27 2021-12-17 季华实验室 光圈焦距调整方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108932705B (zh) 一种基于矩阵变量变分自编码器的图像处理方法
CN112818764B (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN108289222B (zh) 一种基于结构相似度映射字典学习的无参考图像质量评价方法
CN105513026B (zh) 一种基于图像非局部相似的压缩感知重构方法
CN108154499B (zh) 一种基于k-svd学习字典的机织物纹理瑕疵检测方法
CN109671029B (zh) 基于伽马范数最小化的图像去噪方法
CN109003265B (zh) 一种基于贝叶斯压缩感知的无参考图像质量客观评价方法
CN108491868A (zh) 一种基于k-means聚类和字典学习的图像处理方法及装置
CN108399620B (zh) 一种基于低秩稀疏矩阵分解的图像质量评价方法
CN108038503B (zh) 一种基于k-svd学习字典的机织物纹理表征方法
CN105761251A (zh) 一种基于低秩和结构稀疏的视频前景背景分离方法
CN105260998A (zh) 基于mcmc采样和阈值低秩逼近的图像去噪方法
CN107154064B (zh) 基于深度稀疏编码的自然图像压缩感知重建方法
CN112700389B (zh) 一种活性污泥微生物彩色显微图像去噪方法
CN102722892A (zh) 基于低秩矩阵分解的sar图像变化检测方法
CN110992292A (zh) 一种增强型低秩稀疏分解模型医学ct图像去噪方法
CN110705343A (zh) 一种结构不相干投影字典对学习的人脸识别方法及系统
CN111147863B (zh) 基于张量的视频快照压缩成像恢复方法
Tang et al. Image denoising via graph regularized K-SVD
CN109741258B (zh) 基于重建的图像超分辨率方法
CN112819822A (zh) 基于多重曲率张量稀疏分解的无参考图像清晰度评价方法
CN108596906B (zh) 一种基于稀疏局部保持投影的全参考屏幕图像质量评价方法
CN113810683A (zh) 一种客观评估水下视频质量的无参考评价方法
CN105069427A (zh) 一种基于改进的稀疏编码的虹膜识别方法及装置
CN109741313B (zh) 独立成分分析和卷积神经网络的无参考图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210518

WW01 Invention patent application withdrawn after publication