CN111612741A - 一种基于失真识别的精确无参考图像质量评价方法 - Google Patents
一种基于失真识别的精确无参考图像质量评价方法 Download PDFInfo
- Publication number
- CN111612741A CN111612741A CN202010321334.4A CN202010321334A CN111612741A CN 111612741 A CN111612741 A CN 111612741A CN 202010321334 A CN202010321334 A CN 202010321334A CN 111612741 A CN111612741 A CN 111612741A
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- quality
- distortion
- sharpness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 230000006835 compression Effects 0.000 claims description 21
- 238000007906 compression Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000001228 spectrum Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 10
- 238000013209 evaluation strategy Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于失真识别的精确无参考图像质量评价方法。本发明方法首先对待评价图像进行失真信息的精准分类，然后再根据具体类型特征进行有针对性的评价，在分类工作上，使用Inception‑Resnet‑v2神经网络训练分类器，进行失真分类，输出类型标签；最后根据步骤(2)输出的类型标签进行对应的评价工作。本发明方法设计了一个新的开放式的评估策略，通过模拟人的主观评价逻辑，设计出先分类再评价的模型，间接的解决了通用模型中公共特征难设计的问题，在评价精度上相比于其他同类型的方法也会更高。
Description
技术领域
本发明涉及图像质量评价领域，具体的说提出了一种基于准确失真识别的无参考质量评价方法。
背景技术
数字图像在我们的生活中无处不在，它主要是通过数字设备和应用程序在我们的生活中传播，如高清电视、视频聊天或互联网视频流等。但是在经过传播的过程中，图像的质量基本都有一定的损失。例如曝光时间、光敏度、光圈和透镜等的限制都会影响成像质量，最终导致感知的视觉质量变差。在一般的实际场景中，图像的视觉质量主要是由人来评价的，这种主观质量评价的方式也被认为是最准确和最可靠的评估方法。然而在实验中收集主观分数是相当费力和昂贵的，因此如何设计出一个客观模型来对图像进行准确地质量评价成为图像处理领域中的一个研究热点。
一般情况下，客观的IQA方法可分为全参考质量评价(FR-IQA)、部分参考质量评价(RR-IQA)和无参考质量评价(NR-IQA)。FR-IQA方法基于原始图像的完全可达性，并将其作为参考来评估失真图像与原始图像的偏差程度。最先进的FR-IQA方法包括SSIM，MSSSIM，FSIM，VIF和GMSD。RR-IQA方法是通过提取参考图像的部分信息来预测目标图像的质量。然而在大多数情况下，原始图像信息是未知的，因此没有参考图像参与的NR-IQA方法是课题未来发展的方向。在本发明中，我们研究的重点也是在NR上。
早期的NR-IQA方法主要是针对于具体失真类型的畸变，如模糊、噪声、块状等。因为图像的失真类型是已知的，研究人员能够设计专门的方法来精确地估计图像质量。但是由于只能处理一种类型的失真，因此其应用范围受到限制。为了更好地适应需求，我们需要在不知道图像失真类型的前提下开发出通用的NR-IQA方法，以此对图像质量进行评估。
发明内容
本发明的目的是针对现有的技术问题，提供一种基于失真识别的精确无参考图像质量评价方法。通过一种基于图像失真类型的通用质量评价模型，解决多失真场景的评价问题。
本发明提供了一种全新的开放式的评估策略，命名为基于失真识别的精确无参考图像质量评价(DIQM)。不同与往常的方法，我们将整个框架细分为分类模型和评价模型，即先对待评价图像进行失真信息的精准分类，然后再根据具体类型特征进行有针对性的评价，整个过程如图1所示。
在分类工作上，我们使用的是性能非常强的Inception-Resnet-v2 网络，它使得我们的分类效果有了显著的提高，经过初步实验可知，不同类型的分类精度可以达到95％及以上，因此我们在后续的评价工作中不需要再通过对各种类型的评价工作进行加权的方式得到最后的质量分数。可以在精确分类的基础上实现精确评价。
在评价工作中，我们是根据之前的评价工作进行改进。在这里我们并没有再调用神经网络来协助我们进行评价，因为这样可以在减少整个模型中的计算成本的同时，也可以规避主观分数的加入。这样使得整个过程与生产实际情况更加贴近，整体的泛化能力更强。
一种基于失真识别的精确无参考图像质量评价方法，步骤如下：
步骤(1)、图像数据预处理；
步骤(2)、使用Inception-Resnet-v2神经网络训练分类器，进行失真分类，输出类型标签；
步骤(3)、根据步骤(2)输出的类型标签进行对应的评价工作。
步骤(1)、数据预处理。首先，根据数据库提供的图片信息按照不同的失真类型对每一张图片进行类型标注，然后将需要训练的图像分割成256*256的大小，再通过平移和旋转操作扩充数据集。
步骤(2)、使用Inception-Resnet-v2神经网络训练分类器，进行失真分类，输出类型标签。整个Inception-ResNet-v2网络由Stem、 Reduction、Inception-Resnet模块组成。将预处理后的256*256的图像块作为网络的输入层输入，然后传入Stem层。Stem层输出384个卷积核，大小为35*35。然后再接入Inception-Resnet模块，模块包括 Inception-Resnet-A层、Inception-Resnet-B层、Inception-Resnet-C层。在每一个Inception-Resnet层中都会添加了一个残差通道，使得在反复优化的过程中允许参数跳过Inception-Resnet层而不进行处理，每个Inception-Resnet层将重复多次来帮助优化。值得注意的是，每一个Inception-Resnet模块后增加一个Reduction模块，以此来帮助减少卷积核的大小，增加训练时的步长和卷积核数以获得更抽象的特征。在最后一个Inception-Resnet-C之后再接上一个平均池化层(Average Pooling)，以此通过保持模型的不变性和通过采样减少参数来提高模型的泛化能力。在平均池化层之后再连接Dropout层。在模型训练过程中，Dropout层会随机丢失部分神经单元，提高模型的泛化能力。 Inception-Resnet-v2模型的dropout随机损失率设置为0.8，保证丢失 20％的连接节点和参数。最后，通过一个Softmax分类函数输出所学习的失真分类，分类的类别定义为：
其中，i为当前失真类型的标签，n为研究失真类型的总数，yi表示当前失真类型的分布概率。然后采用交叉熵损失函数来训练神经网络，定义为：
其中，pi是指示变量，当预测值与标准值相同时取1，不同时则取0。
整个过程如图2所示。
步骤(3)、具体失真类型的评价。根据步骤(2)输出的类型标签进行对应的评价工作。
(1)噪声估计。假设图像中的噪声是高斯白噪声(WN)，假定噪声模型在像素域的表达式为Y＝X+N，其中X是原始图像，N是添加噪声，Y是其相应的噪声图像，X和N是相互独立的关系，那么在变化域中可以得到y＝x+n，其中y，x和n是变换域中对应的Y，X和 N。值得注意的是，只要保证前后的变换域一致，n就会和N拥有一样的方差。在图像变换系数中，高阶统计量如峰度，在不同频率指数下拥有不变性，利用这一点就可以对噪声进行估计。
峰值的关系式可以被定义如下：
累积量与中心矩之间也存在一定的关系：k4(·)＝μ4(· )-3σ4(·)和μ4(·)＝(K(·)+3)σ4(·)，然后可以得到：
然后再将σ2(y)＝σ2(x)+σ2(n)代入上式可以得到：
通过上述关系，使得我们能够用噪声n和噪声图像y的方差来量化原始信号和被噪声污染后的信号的峰值之间的关系。
然后使用二维随机酉变换来对噪声进行评价。首先，先使用QR 分解得到k×k的随机矩阵C。然后再利用公式V＝diag(R)提取到上三角矩阵V的对角元素，并使用公式γ＝V/|V|对其进行标准化。由此可以得到一个新的上三角矩阵R′＝diag(V′)和随机酉变化矩阵 T＝QR′，从公式TTT＝(QR′)TQR′＝R′TR′＝Ik中可见T的归一性，其中R′是对角矩阵的归一化元素。最后进行二维随机归一化B＝TATT，可以得到矩阵B。
最后通过求解以下约束非线性规划问题就可以估计出噪声的方差：
(2)锐度评估。为了表征图像的清晰度，采用两个有效的特征进行锐度评估，即相位一致性PC和小波系数的对数能量。
首先，采用Peter Kovesi提出的关于使用Gabor小波计算的方式来计算PC特征：
其中U(l)和ε是一个小的正常数，用于整式避免被零除。L表示应从U(l)中减去的总噪声影响，(·)+表示不允许函数之间的差变为负数。“o”表示方向上的索引，加权函数W(l)定义为：
其中c是滤波器响应扩展的截止值，低于此值将对PC值进行抑制，g是控制截止值清晰度的增益因子。s(l)的扩散函数由下式给出：
其中M是标度的总数，Amax(l)是在l处具有最大响应的滤波器对的幅度。通过在获得的图像的PC图上进行的百分比合并策略评估图像的清晰度，如下所示：
其中A表示从PC透视图得出的图像的清晰度，a，b是PC图的像素位置，Ω包含S中1％最大值的所有位置，Z计数Ω中的位置数。
其次，计算小波系数的对数能量以评估清晰度。首先通过9/7 DWT过滤器将图像分解为子波子带，分别为SLHt，SHLt和SHHt，t＝ 1，2，3。选择HH子带来评估图像的清晰度。HH子带的对数能量可以计算为：
其中Nt是每个HH子带中系数的数目，d，f是图的像素位置，然后通过小波系数的对数能量得出的图像清晰度可以推导为：
最后，图像的整体清晰度等级定义为：
使用获得的清晰度水平
来量化图像质量。
(3)JPEG压缩损失评价。为了测量因jpeg压缩而损坏的图像质量，采用一个有效的伪结构相似性模型(PSS)，通过该模型计算出失真图像和最失真图像的伪结构之间的相似性(MDI)。
首先，定义图像的MDI，为了生成MDI，通过JPEG压缩将输入的失真图像最大程度地压缩。使用MATLAB R2014a中的imwrite 函数作为编码器。“质量”参数设置为0，表示最严重的压缩，然后计算伪角。
为了表示图像结构，提取图像角点，如果检测到的角分布在8× 8块的角处，则将它们视为伪角。否则，它们被视为普通角落。将图像S＝(aov)k×c的伪角映射定义为G＝(gov)k×c，其中k，c表示图像的高度和宽度，o，v表示图像的像素位置。G中的元素定义为：
其中aov是一个转折点，mod表示余数运算。使用Shi和Tomasi 的最小特征值方法来提取图像中的角点。
将Gd＝(gdov)k×c和Gm＝(gmov)k×c表示为扭曲的伪角图像和 MDI分别失真。为了计算失真图像和MDI之间的相似度，定义Gf＝ (gfov)k×c，Gd＝(gdov)k×c，Gm＝(gmov)k×c：
Gf＝(gfov)k×c＝(gdov*gmov)k×c
随着失真变大，Gd与Gm变得更加相似。分别计算Gf和Gm中的伪角数：
Vf＝∑o，vgfov，Vm＝∑o，vgmov
其中Vf表示gf的重叠伪角数，而Vm表示gm的伪角数。最后计算Vf和Vm之间的比率以表征失真图像的块状程度，公式如下：
其中H表示失真图像的块状程度，H的数值越高，图像显示出块状性越明显，图像的质量也就越低。
(4)JPEG2000压缩损失评价。JPEG2000压缩图像中的主要失真是尖锐区域(例如边缘，轮廓)周围的模糊和环形伪影。首先分离图像中总是出现振铃伪影的边缘或近边缘区域。
为了找到边缘的位置，通过在两个阈值(低0.1，高0.4)上对图像应用Canny边缘检测器来执行边缘检测，从而生成二进制边缘图E，其中s，r表示图E的像素位置。具体地，当E(s，r)属于边缘点时， E(s，r)＝1。否则，E(s，r)＝0。然后将每个边缘点E(s，r)扩展到17×17的正方形，以生成扩展的地图D来定位边缘和附近边缘区域。假设D(s，r)表示D中的像素，则D(s，r)定义为：
D(s+Δx，r+Δy)＝1，if E(s，r)＝1
其中-8≤Δx，Δy≤8。失真图像F的边缘或近边缘区域可以通过以下方式计算：
其中R指边缘或近边缘区域，
是指逐元素的乘法。
为了评估边缘和近边缘区域的质量，遵循引入的思想，即通过幅度谱的局部斜率对边缘/近边缘区域的清晰度指数进行加权，并通过局部RMS对比度的平方根。将图像的边缘和近边缘区域划分为32×32个色块，两个连续色块之间有75％的重叠。
要计算补丁p的幅度谱局部斜率，计算p的2D-DFT，用yp(z，θ) 表示，其中z是径向频率，θ是方向。在DFT之前应用Hanning窗口以消除边缘效应。
所有方向Zp(z，θ)的总幅度谱计算如下：
zp(z，θ)＝∑θ|yp(z，θ)|
然后，通过以-αlnz+lnβ表示的直线的斜率来估算p的幅度谱的斜率，最适合p.αp总大小Zp(z，θ)的自然对数的方法如下：
补丁p的RMS对比度定义为：
ρp＝σp/μp
其中ρp给出p的RMS对比度，μp和σp表示p的均值和标准差。
可以通过幅度谱的局部斜率和局部RMS对比度的平方根加权p 的清晰度水平来评估补丁p的质量：
其中Qp是指补丁p的质量。slp是估算的清晰度级别。Qp越大，补丁p的质量越好。对所有面片的质量进行平均，以定义边缘和近边缘区域的质量：
其中QR表示边缘和近边缘区域的质量，K表示补丁数量。
最后，结合整个失真图像的清晰度水平以及图像边缘和近边缘区域的质量来估计图像质量：
P＝slI×QR
其中P是图像I的质量得分。
本发明有益效果如下：
本发明采取针对现有的无参考质量评价通用模型难设计的问题，设计了一个新的开放式的评估策略，通过模拟人的主观评价逻辑，设计出先分类再评价的模型，间接的解决了通用模型中公共特征难设计的问题，在评价精度上相比于其他同类型的方法也会更高。
附图说明
图1为本发明流程图；
图2为步骤(2)的具体流程图。
具体实施方式
以下结合附图对本发明内容进行进一步描述。
一般情况下，无参考图像质量评价的难点在于因为对图像失真信息掌握不够从而具有盲目性和低效率。为了解决这一难题，本发明提出了一种新的评价策略，分为失真识别和有针对性的质量评估这两步。在第一步，我们使用Inception-Resnet-v2神经网络训练一个分类器，将图像中可能的失真分为四种最常见的失真类型:高斯噪声、高斯模糊、jpeg压缩、jpeg2000压缩。在第二步中，在确定了图像的失真类型之后，我们设计了具体的方法来量化图像的失真程度，从而可以更准确地评价图像的质量。我们在LIVE、TID2013、CSIQ和Waterloo Exploration databases上进行的初步的实验表明：我们的失真分类准确率高于95％，优于目前最先进的失真分类方法，评价准确也比同类型的方法高。
图1为本发明流程图；
一种基于失真识别的精确无参考图像质量评价方法，具体步骤如下：
步骤(1)、数据预处理。首先，根据数据库提供的图片信息按照不同的失真类型对每一张图片进行类型标注，然后将需要训练的图像分割成256*256的大小，再通过平移和旋转操作扩充数据集。
步骤(2)、使用Inception-Resnet-v2神经网络训练分类器。整个 Inception-ResNet-v2网络由Stem、Reduction、Inception-Resnet模块组成。将预处理后的256*256的图像块作为网络的输入层输入，然后传入Stem层，其功能类似于大多数CNN模型的卷积核池操作。Stem 层输出384个卷积核，大小为35*35。在这一层中，采用大量的小卷积核和小步骤使得尽可能提取到多的图像特征。然后再接入 Inception-Resnet模块，模块包括Inception-Resnet-A层、 Inception-Resnet-B层、Inception-Resnet-C层。在每一个Inception-Resnet层中都会添加了一个残差通道，使得在反复优化的过程中允许参数跳过Inception-Resnet层而不进行处理，可以在减少梯度消失出现的同时，也能在反向传播过程中扩展模型的深度，每个 Inception-Resnet层将重复多次来帮助优化。值得注意的是，每一个 Inception-Resnet模块后增加一个Reduction模块，以此来帮助减少卷积核的大小，增加训练时的步长和卷积核数以获得更抽象的特征。在最后一个Inception-Resnet-C之后再接上一个平均池化层(Average Pooling)，以此通过保持模型的不变性和通过采样减少参数来提高模型的泛化能力。在平均池化层之后再连接Dropout层。在模型训练过程中，Dropout层会随机丢失部分神经单元，提高模型的泛化能力。 Inception-Resnet-v2模型的dropout随机损失率设置为0.8，保证丢失 20％的连接节点和参数。最后，通过一个Softmax分类函数输出所学习的失真分类，分类的类别定义为：
其中，i为当前失真类型的标签，n为研究失真类型的总数，yi表示当前失真类型的分布概率。然后采用交叉熵损失函数来训练神经网络，定义为：
其中，pi是指示变量，当预测值与标准值相同时取1，不同时则取0。
整个过程如图2所示。
步骤(3)、具体失真类型的评价。这里我们暂时研究的只有4种失真类型Wn、Blur、Jpeg、Jpeg2K，具体来说是根据步骤(2)输出的类型标签进行对应的评价工作。
(1)噪声估计。假设图像中的噪声是高斯白噪声(WN)，因为它是我们遇到的最典型的噪声之一。假定噪声模型在像素域的表达式为 Y＝X+N，其中X是原始图像，N是添加噪声，Y是其相应的噪声图像，X和N是相互独立的关系，那么在变化域中可以得到y＝x+n，其中y，x和n是变换域中对应的Y，X和N。值得注意的是，只要保证前后的变换域一致，n就会和N拥有一样的方差。在图像变换系数中，高阶统计量如峰度，在不同频率指数下拥有不变性，利用这一点就可以对噪声进行估计。
峰值的关系式可以被定义如下：
累积量与中心矩之间也存在一定的关系：k4(·)＝μ4(· )-3σ4(·)和μ4(·)＝(K(·)+3)σ4(·)，然后可以得到：
然后我们再将σ2(y)＝σ2(x)+σ2(n)代入上式可以得到：
通过上述关系，使得我们能够用噪声n和噪声图像y的方差来量化原始信号和被噪声污染后的信号的峰值之间的关系。
然后，我们使用了二维随机酉变换来对噪声进行评价。首先，先使用QR分解得到k×k的随机矩阵C。然后再利用公式V＝diag(R) 提取到上三角矩阵V的对角元素，并使用公式γ＝V/|V|对其进行标准化。由此可以得到一个新的上三角矩阵R′＝diag(V′)和随机酉变化矩阵T＝QR′，从公式TTT＝(QR′)TQR′＝R′TR′＝Ik中可见T的归一性，其中R′是对角矩阵的归一化元素。最后进行二维随机归一化B＝TATT，可以得到矩阵B。
最后通过求解以下约束非线性规划问题就可以估计出噪声的方差：
(2)锐度评估。为了表征图像的清晰度，采用两个有效的特征进行锐度评估，即相位一致性(PC)和小波系数的对数能量。一方面， PC功能定义了一种与哺乳动物视觉系统一致的结构提取方式，这充分表明了图像的清晰度。另一方面，与具有平滑或模糊图像的图像相比，更清晰的图像包含更多的高频成分，这激发了我们表征小波系数的对数能量以进行清晰度评估。
首先，采用Peter Kovesi提出的关于使用Gabor小波计算的方式来计算PC特征：
其中U(l)和ε是一个小的正常数，用于整式避免被零除。L表示应从U(l)中减去的总噪声影响，(·)+表示不允许函数之间的差变为负数。“o”表示方向上的索引，加权函数W(l)定义为：
其中c是滤波器响应扩展的截止值，低于此值将对PC值进行抑制，g是控制截止值清晰度的增益因子。s(l)的扩散函数由下式给出：
其中M是标度的总数，Amax(l)是在l处具有最大响应的滤波器对的幅度。通过在获得的图像的PC图上进行的百分比合并策略评估图像的清晰度，如下所示：
其中A表示从PC透视图得出的图像的清晰度，a，b是PC图的像素位置，Ω包含S中1％最大值的所有位置，Z计数Ω中的位置数。
其次，计算小波系数的对数能量以评估清晰度。首先通过9/7 DWT过滤器将图像分解为子波子带，分别为SLHt，SHLt和SHHt，t＝ 1，2，3。选择HH子带来评估图像的清晰度。HH子带的对数能量可以计算为：
其中Nt是每个HH子带中系数的数目，d，f是图的像素位置，然后通过小波系数的对数能量得出的图像清晰度可以推导为：
最后，图像的整体清晰度等级定义为：
使用获得的清晰度水平
来量化图像质量。
(3)JPEG压缩损失评价。为了测量因jpeg压缩而损坏的图像质量，采用一个有效的伪结构相似性模型(PSS)，通过该模型计算出失真图像和最失真图像的伪结构之间的相似性(MDI)。PSS的原理在于伪结构通常在JPEG压缩期间引入。图像固有结构和伪结构易于区分，因为伪结构仅存在于由JPEG压缩生成的块边界处。随着程度的增加，失真图像和MDI的伪结构将越来越相似。因此，失真图像的伪结构与MDI之间的相似性可以很好地指示图像的压缩程度。
首先，定义图像的MDI，它的质量最差，并且是直接从失真的图像生成的。为了生成MDI，通过JPEG压缩将输入的失真图像最大程度地压缩。使用MATLAB R2014a中的imwrite函数作为编码器。“质量”参数设置为0，表示最严重的压缩，然后计算伪角。Corner 是各种计算机视觉应用程序中经常使用的图像功能，例如运动检测和视频跟踪。它可以用来表示图像结构。角也与遮挡伪像高度相关。在相关论文中，作者发现自然图像中的角分布不规则。在JPEG图像中，由于JPEG压缩引入了块状性，因此在块边界处更经常发现角。在他们的工作中，作者提议使用正角(即伪角)的比率来描述块状伪像。
为了表示图像结构，提取图像角点，它是计算机视觉中经常使用的特征，并且与块状伪像高度相关。自然图像中的角倾向于不规则地分布。但是，它们倾向于出现在由JPEG压缩生成的块边界处。来自图像内容的真实结构和由块状性引入的人工伪结构被叠加在JPEG压缩图像中。但是可以根据其规律性来区分它们。如果检测到的角分布在8×8块的角处，则将它们视为伪角。否则，它们被视为普通角落。将图像S＝(aov)k×c的伪角映射定义为G＝(gov)k×c，其中k，c表示图像的高度和宽度，o，v表示图像的像素位置。G中的元素定义为：
其中aov是一个转折点，mod表示余数运算。使用Shi和Tomasi 的最小特征值方法来提取图像中的角点。
将Gd＝(gdov)k×c和Gm＝(gmov)k×c表示为扭曲的伪角图像和 MDI分别失真。为了计算失真图像和MDI之间的相似度，定义Gf＝ (gfov)k×c，Gd＝(gdov)k×c，Gm＝(gmov)k×c：
Gf＝(gfov)k×c＝(gdov*gmov)k×c
通过实验发现，畸变图和MDI都存在伪角，同时在更多失真的图像中有更多重叠的伪角。这意味着随着失真变大，Gd与Gm变得更加相似。分别计算Gf和Gm中的伪角数：
Vf＝∑o，vgfov，Vm＝∑o，vgmov
其中Vf表示gf的重叠伪角数，而Vm表示gm的伪角数。最后计算Vf和Vm之间的比率以表征失真图像的块状程度，公式如下：
其中H表示失真图像的块状程度，H的数值越高，图像显示出块状性越明显，图像的质量也就越低。
(4)JPEG2000压缩损失评价。JPEG2000压缩图像中的主要失真是尖锐区域(例如边缘，轮廓)周围的模糊和环形伪影。一方面，为了测量模糊水平，我们推导了等式中定义的清晰度指数。因此，我们采用我们提出的清晰度指标来测量JPEG2000压缩图像的模糊。另一方面，为了表征图像的振铃伪影，我们需要首先分离图像中总是出现振铃伪影的边缘或近边缘区域。
为了找到边缘的位置，通过在两个阈值(低0.1，高0.4)上对图像应用Canny边缘检测器来执行边缘检测，从而生成二进制边缘图E，其中s，r表示图E的像素位置。具体地，当E(s，r)属于边缘点时， E(s，r)＝1。否则，E(s，r)＝0。然后将每个边缘点E(s，r)扩展到17×17的正方形，以生成扩展的地图D来定位边缘和附近边缘区域。假设D(s，r)表示D中的像素，则D(s，r)定义为：
D(s+Δx，r+Δy)＝1，ifE(s，r)＝1
其中-8≤Δx，Δy≤8。失真图像F的边缘或近边缘区域可以通过以下方式计算：
其中R指边缘或近边缘区域，
是指逐元素的乘法。
为了评估边缘和近边缘区域的质量，遵循引入的思想，即通过幅度谱的局部斜率对边缘/近边缘区域的清晰度指数进行加权，并通过局部RMS对比度的平方根。将图像的边缘和近边缘区域划分为32×32个色块，两个连续色块之间有75％的重叠。
要计算补丁p的幅度谱局部斜率，计算p的2D-DFT，用yp(z，θ) 表示，其中z是径向频率，θ是方向。在DFT之前应用Hanning窗口以消除边缘效应。
所有方向Zp(z，θ)的总幅度谱计算如下：
zp(z，θ)＝∑θ|yp(z，θ)|
然后，通过以-αlnz+lnβ表示的直线的斜率来估算p的幅度谱的斜率，最适合p.αp总大小Zp(z，θ)的自然对数的方法如下：
补丁p的RMS对比度定义为：
ρp＝σp/μp
其中ρp给出p的RMS对比度，μp和σp表示p的均值和标准差。
可以通过幅度谱的局部斜率和局部RMS对比度的平方根加权p 的清晰度水平来评估补丁p的质量：
其中Qp是指补丁p的质量。slp是估算的清晰度级别。Qp越大，补丁p的质量越好。对所有面片的质量进行平均，以定义边缘和近边缘区域的质量：
其中QR表示边缘和近边缘区域的质量，K表示补丁数量。
最后，结合整个失真图像的清晰度水平以及图像边缘和近边缘区域的质量来估计图像质量：
P＝slI×QR
其中P是图像I的质量得分。
Claims (4)
1.一种基于失真识别的精确无参考图像质量评价的方法，其特征在于，步骤如下：
步骤(1)、图像数据预处理；
步骤(2)、使用Inception-Resnet-v2神经网络训练分类器，进行失真分类，输出类型标签；
步骤(3)、根据步骤(2)输出的类型标签进行对应的评价工作。
2.根据权利要求1所述的一种基于失真识别的精确无参考图像质量评价的方法，其特征在于，步骤(1)数据预处理具体操作如下；
首先，根据数据库提供的图片信息按照不同的失真类型对每一张图片进行类型标注，然后将需要训练的图像分割成256*256的大小，再通过平移和旋转操作扩充数据集。
3.根据权利要求2所述的一种基于失真识别的精确无参考图像质量评价的方法，其特征在于，步骤(2)使用Inception-Resnet-v2神经网络训练分类器，进行失真分类，输出类型标签，具体操作如下；
整个Inception-ResNet-v2网络由Stem、Reduction、Inception-Resnet模块组成；将预处理后的256*256的图像块作为网络的输入层输入，然后传入Stem层；Stem层输出384个卷积核，大小为35*35；然后再接入Inception-Resnet模块，模块包括Inception-Resnet-A层、Inception-Resnet-B层、Inception-Resnet-C层；在每一个Inception-Resnet层中都会添加了一个残差通道，使得在反复优化的过程中允许参数跳过Inception-Resnet层而不进行处理，每个Inception-Resnet层将重复多次来帮助优化；值得注意的是，每一个Inception-Resnet模块后增加一个Reduction模块，以此来帮助减少卷积核的大小，增加训练时的步长和卷积核数以获得更抽象的特征；在最后一个Inception-Resnet-C之后再接上一个平均池化层Average Pooling，以此通过保持模型的不变性和通过采样减少参数来提高模型的泛化能力；在平均池化层之后再连接Dropout层；在模型训练过程中，Dropout层会随机丢失部分神经单元，提高模型的泛化能力；Inception-Resnet-v2模型的dropout随机损失率设置为0.8，保证丢失20％的连接节点和参数；最后，通过一个Softmax分类函数输出所学习的失真分类，分类的类别定义为：
其中，i为当前失真类型的标签，n为研究失真类型的总数，yi表示当前失真类型的分布概率；然后采用交叉熵损失函数来训练神经网络，定义为：
其中，pi是指示变量，当预测值与标准值相同时取1，不同时则取0。
4.根据权利要求3所述的一种基于失真识别的精确无参考图像质量评价的方法，其特征在于，步骤(3)具体失真类型的评价，根据步骤(2)输出的类型标签进行对应的评价工作，具体操作如下；
(1)噪声估计；假设图像中的噪声是高斯白噪声WN，假定噪声模型在像素域的表达式为Y＝X+N，其中X是原始图像，N是添加噪声，Y是其相应的噪声图像，X和N是相互独立的关系，那么在变化域中可以得到y＝x+n,其中y,x和n是变换域中对应的Y，X和N；值得注意的是，只要保证前后的变换域一致，n就会和N拥有一样的方差；在图像变换系数中，高阶统计量如峰度，在不同频率指数下拥有不变性，利用这一点就可以对噪声进行估计；
峰值的关系式可以被定义如下：
累积量与中心矩之间也存在一定的关系：k4(·)＝μ4(·)-3σ4(·)和μ4(·)＝(K(·)+3)σ4(·)，然后可以得到：
然后再将σ2(y)＝σ2(x)+σ2(n)代入上式可以得到：
通过上述关系，使得能够用噪声n和噪声图像y的方差来量化原始信号和被噪声污染后的信号的峰值之间的关系；
然后使用二维随机酉变换来对噪声进行评价；首先，先使用QR分解得到k×k的随机矩阵C；然后再利用公式V＝diag(R)提取到上三角矩阵V的对角元素，并使用公式γ＝V/|V|对其进行标准化；由此可以得到一个新的上三角矩阵R′＝diag(V′)和随机酉变化矩阵T＝QR′，从公式TTT＝(QR′)TQR′＝R′TR′＝Ik中可见T的归一性，其中R′是对角矩阵的归一化元素；最后进行二维随机归一化B＝TATT，可以得到矩阵B；
最后通过求解以下约束非线性规划问题就可以估计出噪声的方差：
(2)锐度评估；为了表征图像的清晰度，采用两个有效的特征进行锐度评估，即相位一致性PC和小波系数的对数能量；
首先，采用PeterKovesi提出的关于使用Gabor小波计算的方式来计算PC特征:
其中U(l)和ε是一个小的正常数，用于整式避免被零除；L表示应从U(l)中减去的总噪声影响，(·)+表示不允许函数之间的差变为负数；“o”表示方向上的索引，加权函数W(l)定义为：
其中c是滤波器响应扩展的截止值，低于此值将对PC值进行抑制，g是控制截止值清晰度的增益因子；s(l)的扩散函数由下式给出：
其中M是标度的总数，Amax(l)是在l处具有最大响应的滤波器对的幅度；通过在获得的图像的PC图上进行的百分比合并策略评估图像的清晰度，如下所示：
其中A表示从PC透视图得出的图像的清晰度，a，b是PC图的像素位置，Ω包含S中l％最大值的所有位置，Z计数Ω中的位置数；
其次，计算小波系数的对数能量以评估清晰度；首先通过9/7DWT过滤器将图像分解为子波子带，分别为SLHt，SHLt和SHHt，t＝1，2，3；选择HH子带来评估图像的清晰度；HH子带的对数能量可以计算为：
其中Nt是每个HH子带中系数的数目，d，f是图的像素位置，然后通过小波系数的对数能量得出的图像清晰度可以推导为：
最后，图像的整体清晰度等级定义为：
使用获得的清晰度水平
来量化图像质量；
(3)JPEG压缩损失评价；为了测量因jpeg压缩而损坏的图像质量，采用一个有效的伪结构相似性模型PSS，通过该模型计算出失真图像和最失真图像的伪结构之间的相似性MDI；
首先，定义图像的MDI，为了生成MDI，通过JPEG压缩将输入的失真图像最大程度地压缩；使用MATLAB R2014a中的imwrite函数作为编码器；“质量”参数设置为0，表示最严重的压缩，然后计算伪角；
为了表示图像结构，提取图像角点，如果检测到的角分布在8×8块的角处，则将它们视为伪角；否则，它们被视为普通角落；将图像S＝(aov)k×c的伪角映射定义为G＝(gov)k×c，其中k，c表示图像的高度和宽度，o，v表示图像的像素位置；G中的元素定义为：
其中aov是一个转折点，mod表示余数运算；使用Shi和Tomasi的最小特征值方法来提取图像中的角点；
将Gd＝(gdov)k×c和Gm＝(gmov)k×c表示为扭曲的伪角图像和MDI分别失真；为了计算失真图像和MDI之间的相似度，定义Gf＝(gfov)k×c,Gd＝(gdov)k×c,Gm＝(gmov)k×c：
Gf＝(gfov)k×c＝(gdov*gmov)k×c
随着失真变大，Gd与Gm变得更加相似；分别计算Gf和Gm中的伪角数：
Vf＝∑o，vgfov，Vm＝∑o，vgmov
其中Vf表示gf的重叠伪角数，而Vm表示gm的伪角数；最后计算Vf和Vm之间的比率以表征失真图像的块状程度，公式如下：
其中H表示失真图像的块状程度，H的数值越高，图像显示出块状性越明显，图像的质量也就越低；
(4)JPEG2000压缩损失评价；JPEG2000压缩图像中的主要失真是尖锐区域周围的模糊和环形伪影；首先分离图像中总是出现振铃伪影的边缘或近边缘区域；
为了找到边缘的位置，通过在两个阈值：低0.1，高0.4；上对图像应用Canny边缘检测器来执行边缘检测，从而生成二进制边缘图E，其中s，r表示图E的像素位置；具体地，当E(s，r)属于边缘点时，E(s，r)＝1；否则，E(s，r)＝0；然后将每个边缘点E(s，r)扩展到17×17的正方形，以生成扩展的地图D来定位边缘和附近边缘区域；假设D(s，r)表示D中的像素，则D(s，r)定义为：
D(s+Δx，r+Δy)＝1，if E(s，r)＝1
其中-8≤Δx，Δy≤8；失真图像F的边缘或近边缘区域可以通过以下方式计算：
其中R指边缘或近边缘区域，
是指逐元素的乘法；
为了评估边缘和近边缘区域的质量，遵循引入的思想，即通过幅度谱的局部斜率对边缘/近边缘区域的清晰度指数进行加权，并通过局部RMS对比度的平方根；将图像的边缘和近边缘区域划分为32×32个色块，两个连续色块之间有75％的重叠；
要计算补丁p的幅度谱局部斜率，计算p的2D-DFT，用yp(z，θ)表示，其中z是径向频率，θ是方向；在DFT之前应用Hanning窗口以消除边缘效应；
所有方向Zp(z，θ)的总幅度谱计算如下：
zp(z，θ)＝∑θ|yp(z，θ)|
然后，通过以-αlnz+lnβ表示的直线的斜率来估算p的幅度谱的斜率，最适合p.αp总大小Zp(z，θ)的自然对数的方法如下：
补丁p的RMS对比度定义为：
ρp＝σp/μp
其中ρp给出ρ的RMS对比度，μp和σp表示p的均值和标准差；
可以通过幅度谱的局部斜率和局部RMS对比度的平方根加权p的清晰度水平来评估补丁p的质量：
其中Qp是指补丁p的质量；slp是估算的清晰度级别；Qp越大，补丁p的质量越好；对所有面片的质量进行平均，以定义边缘和近边缘区域的质量：
其中QR表示边缘和近边缘区域的质量，K表示补丁数量；
最后，结合整个失真图像的清晰度水平以及图像边缘和近边缘区域的质量来估计图像质量：
P＝slI×QR
其中P是图像I的质量得分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010321334.4A CN111612741B (zh) | 2020-04-22 | 2020-04-22 | 一种基于失真识别的精确无参考图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010321334.4A CN111612741B (zh) | 2020-04-22 | 2020-04-22 | 一种基于失真识别的精确无参考图像质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111612741A true CN111612741A (zh) | 2020-09-01 |
| CN111612741B CN111612741B (zh) | 2023-11-03 |
Family
ID=72197607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010321334.4A Active CN111612741B (zh) | 2020-04-22 | 2020-04-22 | 一种基于失真识别的精确无参考图像质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612741B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561890A (zh) * | 2020-12-18 | 2021-03-26 | 深圳赛安特技术服务有限公司 | 图像清晰度的计算方法、装置和计算机设备 |
| CN113592807A (zh) * | 2021-07-28 | 2021-11-02 | 北京世纪好未来教育科技有限公司 | 一种训练方法、图像质量确定方法及装置、电子设备 |
| CN114549402A (zh) * | 2022-01-05 | 2022-05-27 | 江苏海洋大学 | 一种不需要参考图像的水下图像质量比较方法 |
| CN114926459A (zh) * | 2022-06-21 | 2022-08-19 | 上海市计量测试技术研究院 | 图像质量评价方法、系统及计算机可读介质 |
| CN115456962A (zh) * | 2022-08-24 | 2022-12-09 | 中山大学中山眼科中心 | 一种基于卷积神经网络的脉络膜血管指数预测方法和装置 |
| CN117687554A (zh) * | 2023-12-11 | 2024-03-12 | 上海梅斯医药科技有限公司 | 基于视觉模拟评分的标尺元件灵活配置系统及方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651829A (zh) * | 2016-09-23 | 2017-05-10 | 中国传媒大学 | 一种基于能量和纹理分析的无参考图像客观质量评价方法 |
| US20170177975A1 (en) * | 2015-12-21 | 2017-06-22 | Ningbo University | Image quality objective evaluation method based on manifold feature similarity |
| CN107770517A (zh) * | 2017-10-24 | 2018-03-06 | 天津大学 | 基于图像失真类型的全参考图像质量评价方法 |
| CN108053396A (zh) * | 2017-12-15 | 2018-05-18 | 中国矿业大学 | 一种多失真图像质量的无参考评价方法 |
| CN108304882A (zh) * | 2018-02-07 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种图像分类方法、装置及服务器、用户终端、存储介质 |
| US20180260793A1 (en) * | 2016-04-06 | 2018-09-13 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
| US20180286032A1 (en) * | 2017-04-04 | 2018-10-04 | Board Of Regents, The University Of Texas System | Assessing quality of images or videos using a two-stage quality assessment |
| CN109949264A (zh) * | 2017-12-20 | 2019-06-28 | 深圳先进技术研究院 | 一种图像质量评价方法、设备及存储设备 |
| US20190236454A1 (en) * | 2018-01-24 | 2019-08-01 | Wai Kit Ricky FOK | Parallel residual neural network architecture and system and method for training a residual neural network |
| CN110415207A (zh) * | 2019-04-30 | 2019-11-05 | 杭州电子科技大学 | 一种基于图像失真类型的图像质量评估的方法 |
| US20190362484A1 (en) * | 2018-05-24 | 2019-11-28 | Tfi Digital Media Limited | Patch selection for neural network based no-reference image quality assessment |
-
2020
- 2020-04-22 CN CN202010321334.4A patent/CN111612741B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170177975A1 (en) * | 2015-12-21 | 2017-06-22 | Ningbo University | Image quality objective evaluation method based on manifold feature similarity |
| US20180260793A1 (en) * | 2016-04-06 | 2018-09-13 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
| CN106651829A (zh) * | 2016-09-23 | 2017-05-10 | 中国传媒大学 | 一种基于能量和纹理分析的无参考图像客观质量评价方法 |
| US20180286032A1 (en) * | 2017-04-04 | 2018-10-04 | Board Of Regents, The University Of Texas System | Assessing quality of images or videos using a two-stage quality assessment |
| CN107770517A (zh) * | 2017-10-24 | 2018-03-06 | 天津大学 | 基于图像失真类型的全参考图像质量评价方法 |
| CN108053396A (zh) * | 2017-12-15 | 2018-05-18 | 中国矿业大学 | 一种多失真图像质量的无参考评价方法 |
| CN109949264A (zh) * | 2017-12-20 | 2019-06-28 | 深圳先进技术研究院 | 一种图像质量评价方法、设备及存储设备 |
| US20190236454A1 (en) * | 2018-01-24 | 2019-08-01 | Wai Kit Ricky FOK | Parallel residual neural network architecture and system and method for training a residual neural network |
| CN108304882A (zh) * | 2018-02-07 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种图像分类方法、装置及服务器、用户终端、存储介质 |
| US20190362484A1 (en) * | 2018-05-24 | 2019-11-28 | Tfi Digital Media Limited | Patch selection for neural network based no-reference image quality assessment |
| CN110415207A (zh) * | 2019-04-30 | 2019-11-05 | 杭州电子科技大学 | 一种基于图像失真类型的图像质量评估的方法 |
Non-Patent Citations (3)
| Title |
|---|
| 丰明坤: "基于视觉感知与学习的图像质量评价", 浙江科技学院学报 * |
| 温洪发: "视觉显著性检测综述", 杭州电子科技大学学报（自然科学版） * |
| 胡晋滨;柴雄力;邵枫;: "基于伪参考图像深层特征相似性的盲图像质量评价", 光电子・激光, no. 11 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561890A (zh) * | 2020-12-18 | 2021-03-26 | 深圳赛安特技术服务有限公司 | 图像清晰度的计算方法、装置和计算机设备 |
| CN113592807A (zh) * | 2021-07-28 | 2021-11-02 | 北京世纪好未来教育科技有限公司 | 一种训练方法、图像质量确定方法及装置、电子设备 |
| CN113592807B (zh) * | 2021-07-28 | 2024-04-09 | 北京世纪好未来教育科技有限公司 | 一种训练方法、图像质量确定方法及装置、电子设备 |
| CN114549402A (zh) * | 2022-01-05 | 2022-05-27 | 江苏海洋大学 | 一种不需要参考图像的水下图像质量比较方法 |
| CN114926459A (zh) * | 2022-06-21 | 2022-08-19 | 上海市计量测试技术研究院 | 图像质量评价方法、系统及计算机可读介质 |
| CN115456962A (zh) * | 2022-08-24 | 2022-12-09 | 中山大学中山眼科中心 | 一种基于卷积神经网络的脉络膜血管指数预测方法和装置 |
| CN115456962B (zh) * | 2022-08-24 | 2023-09-29 | 中山大学中山眼科中心 | 一种基于卷积神经网络的脉络膜血管指数预测方法和装置 |
| CN117687554A (zh) * | 2023-12-11 | 2024-03-12 | 上海梅斯医药科技有限公司 | 基于视觉模拟评分的标尺元件灵活配置系统及方法 |
| CN117687554B (zh) * | 2023-12-11 | 2024-05-28 | 上海梅斯医药科技有限公司 | 基于视觉模拟评分的标尺元件灵活配置系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111612741B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612741B (zh) | 一种基于失真识别的精确无参考图像质量评价方法 | |
| US10339643B2 (en) | Algorithm and device for image processing | |
| Shen et al. | Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images | |
| US10963993B2 (en) | Image noise intensity estimation method, image noise intensity estimation device, and image recognition device | |
| CN108090886B (zh) | 一种高动态范围红外图像的显示与细节增强方法 | |
| CN109978854B (zh) | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 | |
| CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| CN110782413B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN113610862B (zh) | 一种屏幕内容图像质量评估方法 | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| Wang et al. | Gradient-based no-reference image blur assessment using extreme learning machine | |
| Gu et al. | Structural similarity weighting for image quality assessment | |
| Anjum et al. | Recapture detection technique based on edge-types by analysing high-frequency components in digital images acquired through LCD screens | |
| Feng et al. | Low-light image enhancement algorithm based on an atmospheric physical model | |
| Singh et al. | Visibility enhancement and dehazing: Research contribution challenges and direction | |
| Pandey et al. | A fast and effective vision enhancement method for single foggy image | |
| Gupta et al. | Fast single image haze removal method for inhomogeneous environment using variable scattering coefficient | |
| CN111047618A (zh) | 基于多尺度的无参考屏幕内容图像质量评估方法 | |
| Hassanpour et al. | A novel image structural similarity index considering image content detectability using maximally stable extremal region descriptor | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| Karthikeyan et al. | Energy based denoising convolutional neural network for image enhancement | |
| Bahrami et al. | Efficient image sharpness assessment based on content aware total variation | |
| Malik et al. | A low light natural image statistical model for joint contrast enhancement and denoising | |
| He et al. | A night low‐illumination image enhancement model based on small probability area filtering and lossless mapping enhancement | |
| CN110633705A (zh) | 一种低照度成像车牌识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |