CN110599439A - 用于训练神经网络的图像块的选择方法及图像质量评价方法 - Google Patents

用于训练神经网络的图像块的选择方法及图像质量评价方法 Download PDF

Info

Publication number
CN110599439A
CN110599439A CN201810798523.3A CN201810798523A CN110599439A CN 110599439 A CN110599439 A CN 110599439A CN 201810798523 A CN201810798523 A CN 201810798523A CN 110599439 A CN110599439 A CN 110599439A
Authority
CN
China
Prior art keywords
image
neural network
image block
blocks
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810798523.3A
Other languages
English (en)
Inventor
布礼文
刘孟洋
袁耀辉
李宇明
徐叙远
周昶
黄汉华
刘健威
陆瀚东
张学坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eye Opening Live Broadcast Technology Holding Co ltd
Original Assignee
Tfi Digital Media Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tfi Digital Media Ltd filed Critical Tfi Digital Media Ltd
Publication of CN110599439A publication Critical patent/CN110599439A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于训练神经网络进行图像质量评价的图像块的选择方法及使用经训练的神经网络进行图像质量评价方法。该图像块的选择方法包括接收输入图像并从输入图像提取一个或多个图像块。测量提取的图像块的矩。根据测量的矩决定接受还是拒绝所提取的图像块。提取更多的图像块直到所接受提取图像块的最小数量为Nmin。或者，调整选择标准，直到所接受的提取图像块达到最小数量。将所述选择的图像块输入到具有对应输入图像的图像质量评分的神经网络中，并且利用图像块和图像质量评分来训练神经网络。还提供了一种使用如上所述经训练的神经网络进行图像质量评价的方法。

Description

用于训练神经网络的图像块的选择方法及图像质量评价方法
技术领域
本发明涉及用于训练神经网络和通过神经网络使用高方差图像块评价图像质量的图像块的选择。
背景技术
在过去的三十年中，由于多媒体和网络技术的快速发展，数字图像数据量一直处于爆炸式增长。每小时都有大量数字图像生成，使图像质量评价(IQA)成为学术和行业调查的热门课题。根据对参考图像的依赖性，IQA方法通常分为3类：全参考IQA(FR-IQA)，部分参考IQA(RR-IQA)和无参考IQA(NR-IQA)。FR-IQA和RR-IQA假定全部或部分参考图像信息可用，并在参考图像和测试图像之间进行比较。PSNR，SSIM，FSIM，IFC和VIF是众所周知的FR-IQA算法。然而，由于并不总是有参考图像可用，所以NR-IQA在实际应用中更加理想；许多NR-IQA算法也已经开发出来了。第一代这些算法用于为某些特定的失真类型进行校准，如JPEG，JPEG2000和H.264/AVC。这些算法很难推广到其他新的失真类型。第二代NR-IQA算法专注于自然场景统计(NSS)的研究，并使用人工设计特征(handcrafted features)来捕捉影响图像质量的相关因素。常见的基于NSS的算法有DIIVINE，BLIINDS-II和BRISQUE。
近年来，深度学习被证明在各种问题上表现良好。深度学习的兴起也将NR-IQA的发展作为一种数据驱动方法发生了革命性的变化，它直接从原始图像块中学习区别特征。CORNIA和CNN-NRIQA首先使用这种方法。CORNIA旨在使用无监督特征学习直接从原始图像像素训练图像表示内核，而CNN-NRIQA使用卷积神经网络(CNN)将特征学习和回归整合到一个优化过程中。
康(Kang)等人在2014年计算机视觉和模式识别(CVPR)中“用于无参考图像质量评价的卷积神经网络”第1733-1740页描述了CNN在NR-IQA的应用。在文中，康等人提出了一个非常有意义的框架并取得了优异的成果。这种方法主要处理小图像块(如32×32像素)，整个图像质量评分是小测试块的平均预测评分。然而，康的CNN-NRIQA网络只包含一个较浅的卷积层。因此，后来的研究人员使用224×224像素大小的完整图像来训练具有多层的深度CNN，用于处理有关小图像块不能与人类感知匹配所带来的问题。其他研究人员应用现有的深度CNN来微调参数。此外，针对每个图像块做权重调整的小图像块CNN已经被提出了。最近，一种基于CNN的前置视觉显著图(pre-SM)的NR-IQA方法被提出。结果表明，使用快速显著图(SM，saliency map)模型，显著区域图像块的预测误差平均低于同质等同区域。基于这个结果，pre-SM算法自适应地将CNN计算应用于图像块并且为整个评分评价中的显著块赋予更高的权重。这种技术可以通过主动质量评分获得高精准度。然而，即使使用快速SM模型，在图像质量评价过程中也需要SM计算。
因此，图像质量评价需要改进，特别地，用于学习图像质量评价的神经网络的训练输入需要改进。
发明内容
本发明公开了一种图像块选择方法，用于图像质量评价的神经网络训练。该方法包括：接收输入图像并从输入图像中提取一个或多个图像块；测量提取图像块的矩(moment)；根据测量的矩决定接受还是拒绝所提取的图像块；提取更多的图像块直到被接受的提取图像块达到最小数量Nmin；或者，调整选择标准，直到被接受的提取图像块达到最小数量。
将所述选择的图像块输入到具有对应输入图像的图像质量评分(image qualityscore)的神经网络中，并且利用图像块和图像质量评分来训练神经网络。
本发明还提供了一种使用经训练神经网络进行图像质量评价的方法，包括接收输入图像并从输入图像中选择图像块用于评价。通过从输入图像提取一个或多个图像块，测量被提取图像块的矩，并根据测量的方差(the measured variance)和被提取图像块的位置决定接受或拒绝被提取的图像块，从而进行图像块的选择。然后根据测量的矩确定所接受图像块的一个或多个权重。重复图像块选择过程，直到接受足够多的提取图像块为止，并根据需要调整设置。成功条件是：所有接受的图像块的矩大于矩阈值；接受的图像块的数量大于最小数量阈值。将选择的图像块输入到经训练的神经网络中以获得所述选择图像块的图像质量评分。根据所述选择图像块的图像质量评分和相应的权重来确定输入图像的图像质量评分。
本发明还提供了一种在图像块选择过程中调整参数的方法：选择初始步长作为提取的图像块的初始最小可能距离；按此步长扫描图像，基于方差阈值(the thresholdvariance)Tvar筛选出N个图像块；如果N不大于或等于最小图像块数(Nmin)，则以减小的步长重复扫描，直到N大于或等于Nmin。
附图说明
图1为一种实施例的神经网络总结构示意图；
图2为一种实施例的图像块质量评分预测误差与图像块方差的散点图；
图3为一种实施例的图像及其相应的图像块方差和质量评分预测误差；
图4为一种实施例的不同阈值下的基于方差阈值的图像块采样示意图；
图5为一种实施例的LCC，SROCC和NRT的质量评分估计与不同的图像块方差阈值的关系示意图；
图6为一种实施例的LCC，SROCC和NRT的质量评分估计与不同Nmin图像块的关系示意图。
具体实施方式
在以下描述中，通过经训练的神经网络来训练用于图像质量评价和评价方法的神经网络的图像块选择过程的方法和系统作为优选实施例进行阐述。对于本领域技术人员来说显而易见的是，在不脱离本发明的范围和精神的情况下，可以对实施方式进行增加和/或替换的修改。为了不模糊本发明，可以省略具体细节；然而，撰写本公开旨在使本领域技术人员能够在不需要过多实验的情况下实践本文的教导。
在一个实施例中，用于训练神经网络以进行图像质量评价的图像块选择方法包括：输入图像；从输入图像中随机提取一个或多个图像块；测量提取的图像块的矩；根据测量的矩决定接受或拒绝所提取的图像块；重复图像块选择过程，直到接受足够多的提取图像块为止，并根据需要调整设置。在图像块选择过程之后，将所提取的图像块以来自输入图像的相应图像质量评分输入到神经网络中，然后用图像块和相应的图像质量评分训练神经网络。
在基于神经网络的NR-IQA中，小图像块用于训练神经网络。在以前的方法中，在训练期间从训练图像随机采样图像块，其中质量标签被设置为源图像的评分，而且，每个图像块都被视为一个独立的样本。训练结束后，神经网络用于估算从测试图像中扫描出的各个图像块的评分。整个图像质量评分基于来自测试图像的采样图像块的预测评分的加权和。因此，最终评分的精准度高度依赖于单个图像块的质量评分估计。
在进行本发明时，发明人确认使用小图像块的主要缺点，是每个图像块并不具有相同的信息量。通常，与包含强边缘或复杂纹理的非同质图像块相比，来自平坦或光滑区域的同质图像块具有相对较低的精准度。这是因为在大多数真实世界的图像中，高质量和低质量图像的同质区域通常非常相似。因此，非常相似的同质图像块可能同时来自高质量图像和低质量图像。因此，在神经网络训练过程中，类似的同质图像块具有相对较高的机会被分配非常不同的质量标签。这些低质量的训练数据会在训练过程中混淆网络。另外，经训练的网络对于同质图像块质量的评分估计也是不可靠的。
基于发明人的这一发现，本发明确定使用图像块的矩，特别是二阶的矩(themoment of the second order)，即图像块的方差作为用于执行图像块质量评分预测误差分析的同质性指标。像素方差是每个像素相对于相邻像素或中心像素变化的程度的量度，并给出所传递的信息量的指标。图像块方差定义为RGB颜色通道中选定图像块的平均像素值方差，可以表示为
其中varR(P)，varG(P)和varB(P)分别是RGB颜色通道中像素值的方差。使用图像块方差作为同质性指标的原因是因为同质图像块通常在像素值中具有非常低的方差。
所述选择的神经网络使用公式(1)对所述选择的数据进行训练。如图1所示的所述选择的神经网络是卷积神经网络，也可以使用其他类型的神经网络。特别地，所述选择卷积神经网络是基于CNN的NR-IQA网络。图1所示的网络包括12个卷积层，每2个卷积层之间具有最大池(max-pooling)。除最后一个全连接层之外，所有层都由ReLU激活功能激活。所有卷积层都使用补零(Zero-padding)和3×3内核。在第11层后按照0.5的比率加入丢弃正则化(Dropout regularization)，并且为ADAM优化器按照0.0001的学习率使用MAE损失函数。
用于图像块选择的图像取自LIVE数据库。LIVE数据库中80％的图像用于训练，其余20％用于测试。另外，我们对测试集的70,650个图像块进行了密集采样，进行质量评分预测误差分析。图2示出这些图像块在图像质量评分预测误差方面相对于图像块方差的散点图。容易观察到，对于质量评分估计，方差非常低的图像块的预测误差不可靠，因为它们的预测误差广泛摊开分布；相反，方差高的图像块的预测误差分布在预测误差较低的区域上。
为了进一步呈现这个现象，图3示出来自测试集的两个图像及其相应的图像块方差和质量评分预测误差如。这两个图像的同质区域具有非常低的图像块方差，其对应于图3(b)和图3(e)的黑色区域。图3(b)和3(e)的黑色区域对应于(correspond to)图3(c)和3(f)中所示的亮色区域。这表明同质区域产生相对较高的预测误差。这些例子进一步表明，图像块方差低的图像块对于估计整个图像质量评分是不可靠的。因此，除了使用方差较高的训练图像块外，整体图像质量评分也应偏向于方差较高的图像块。
基于上述发现，避免在神经网络训练和质量评分估计期间使用同质图像块。为了提高传统的基于CNN的NR-IQA的性能，本申请提出使用方差阈值来避免在神经网络训练和图像质量估计中使用这些低质量数据。另外，还提出使用基于方差的加权来计算整个图像质量评分。
图像块采样方法基于方差阈值。为了避免同质图像块用于神经网络训练，本发明修改了图像块采样策略。该方法包括：输入M个训练图像；从输入的训练图像中随机采样一个m×m的图像块；基于公式(1)计算图像块方差；选择一个大于预定义方差阈值(Tvar)的图像块；保留选定的图像块和相应的图像评分；重复图像块采样过程，直到足够的图像块(N)被采样；并将所有M*N个选择的图像块和相应评分提供给CNN模型用于训练。在实验中，LIVE数据库用于训练选定的CNN模型。M被设置为32并且N被设置为32，以便平衡每个阶段(epoch)的图像块数量和LIVE数据库中的数据丰富度。
图4给出了基于实验中的不同方差阈值的采样结果。图中的每个点代表图像块的中心点。点的不同形状表示不同方差阈值的结果。三角形表示没有设置方差阈值，可以观察到这些图像块是均匀分布的，并且许多图像块来自同质区域。当差异阈值增加时，采样的图像块倾向于聚集在边缘或纹理区域的非同质区域上。但是，对于较大的方差阈值，图像块将集中在特殊区域，如星形和菱形点所示。仅选择这些非常高的方差区域可能会破坏CNN模型的性能，因为将仅选择来自有限区域的训练图像块，并且在采样过程期间可能丢失许多信息。因此，较低的方差阈值也会被选择。
在一个实施例中，使用经训练神经网络进行图像质量评价的方法包括：输入图像；从输入图像中提取一个或多个图像块；测量被提取图像块的方差；根据测量的方差和被提取图像块的位置决定接受或拒绝被提取的图像块；重复该过程直到接受足够的被提取图像块为止，并在必要时调整设置；根据测量的方差值确定被接受图像块的一个或多个权重；将选定的图像块输入到经训练的神经网络中并获得图像块的图像质量评分；根据图像块评分和相应的权重计算图像评分。
在不使用来自同质区域的不可靠数据训练神经网络时，为了质量评分估计，也避免使用来自测试图像的同质图像块。但是，这可能不如以往按照相同的方差阈值Tvar从测试图像筛选出图像块那样直接。这是因为使用固定的采样步长来对具有大部分同质区域的一些测试图像进行采样，不能获得足够的图像块筛选出测试图像块。因此，提出了采用初始步长(Sinit)和测试图像块最小数量(Nmin)筛选出测试图像块的自适应步长方法。也就是说，基于在神经网络训练中使用的相同Tvar，最初测试图像使用初始步长扫描以从测试图像筛选出n个图像块。在初始扫描之后，确定n是否足够大以用于图像质量估计。如果n大于或等于Nmin，则质量评分评估将使用这n个图像块开始。但是，如果n低于Nmin，则可以再次扫描测试图像，步长减半，使得从测试图像筛选出更多图像块。图像块筛选过程可以重复进行，直到n大于或等于Nmin或步长减少到1。通过适当选择参数Tvar、Sinit和Nmin，始终可以筛选出足够的图像块用于质量评分计算。这是因为大多数现实世界的图像都包含足够多用于质量评价的非同质区域。
除了避免将同质图像块用于质量评分估计之外，基于如图3所示的预测误差特性，本发明还会偏向于具有较高方差的图像块的预测评分。这是因为高方差图像块更稳健，预测误差相对较低。因此，对于计算最终图像质量评分，可以使用图像块方差的加权平均值。对于使用自适应步长图像块筛选方法从测试图像获得的n个非同质图像块{P1，P2，...，Pn}，整体图像质量评分Q由以下计算得到
其中Qj和varave(Pj)分别是预测质量评分和Pj的图像块方差。这种简单的加权平均可以使最终质量得分偏向于具有较高方差的图像块的预测得分。这可以提高基于CNN的NR-IQA的稳健性(robustness)。
如图1所示的基于CNN的NR-IQA网络，是使用Keras和TensorFlow作为后端与LIVE数据库中的测试图像实现的。LIVE数据库包含808个图像，随机选择80％的图像构建训练集，其余20％用于测试集。图1的卷积神经网络基于上述图像块采样策略训练1500个时间段(epochs)。在NR-IQA中，性能是通过质量评分与主观测试结果的相关程度来评价的，因此，LCC(Linear Correlation Coefficient，线性相关系数)和SROCC(Spearman Rank OrderCorrelation Coefficient，斯皮尔曼等级相关系数)用作性能指标。首先确定基于训练数据集的方差阈值和测试图像块最小数量如何影响用于参数选择的质量评分估计。假设训练集表示真实世界的图像特征，对比其他常见的方法，测试集用于评价本发明的性能。
图像块方差阈值(Tvar)是本发明方法的重要参数，其决定了用于神经网络训练和质量评分估计的非同质图像块的复杂性。首先根据LCC，SROCC和评分估算的计算时间来确定此参数如何影响质量评分估计性能。这些结果如图5所示，Tvar的范围在0.0到0.010之间。当只有Tvar固定的各种不同设置下，LCC和SROCC曲线是最高值。这两条曲线的趋势表明，LCC和SROCC都随着更高的Tvar而提高，但对于Tvar大于0.010的提高不明显。这符合观察结果，即具有非常低的图像块方差的同质图像块不可靠，导致更高的预测误差。因此，不能采用非常低的Tvar，因为太小的Tvar不能过滤出同质图像块。基于这个观察，Tvar被选择为高于0.001。但是，太高的Tvar值会滤除太多的图像块，因为某些有用的非同质图像块可能会被移除。方差阈值高的另一个缺点是评分估计过程的计算要求较高。这是因为较高的Tvar会导致更密集的图像块采样(小步长)，以便获得足够数量的用于评分估计的图像块。质量评分估计针对不同Tvar的NRT(Normalized Run Time，归一化运行时间)也显示在图5中，这表明随着Tvar的高于0.005，NRT显着增加。基于这些结果，Tvar选择为0.005。然而，可以理解的是，Tvar可以选择为其他值，这由图像块采样选择的图像集和其他系统因素来决定。
另一个重要参数是测试图像块的最小数量(Nmin)。太少的测试图像块会导致不可靠的质量评分估计，而太多的测试图像块会显着增加计算需求。因此分析了Nmin如何影响LCC，SROCC和质量评分估算的计算时间方面的质量评分评价性能。这些结果如图6所示，Nmin从1到1024，其中Nmin＝2x。基于LCC和SROCC的曲线，发现Nmin较大时，精准度较好，但是对于大于64(＝26)的Nmin，这些提升变得不太显著。但是，质量评分估算运行时间也随着Nmin增加而增加，尤其是对于大于128(＝27)的Nmin。为了实现合理的低计算需求以及高精准度，选择Nmin＝128个图像块作为本发明方法的另一个主要设置。然而，可以理解的是，可以根据所述选择的计算要求和期望的精准度来选择更多或更少的图像块。
为了在一个不失真的具体设置中评价本发明的方法，选择了LIVE数据库的五种失真类型。该方法的关键参数是Tvar＝0.005，Nmin＝128和Sinit＝128。表1显示了针对五种失真类型的LCC和SROCC的实验结果：JPEG2000压缩(JP2K)、JPEG压缩(JPEG)、WN(White Noise，白噪声)、BLUR(Gaussian Blur，高斯滤波)和FF(Fast Fading，快速衰落)。，本发明的方法将与以下方法相比：FSIM的FR-IQA方法，两种基于非CNN的NR-IQA方法(DIIVINE和CORNIA)以及两种现有技术的基于CNN的NR-IQA方法(Kang和Pre-SM)。本发明的方法基于具有一种特定类型的失真图像来评价。如表1所示，本发明方法优于所有前述这些方法，除了JPEG失真方法，及略低于Kang和Pre-SM方法。此外，本方法对于WN失真方面取得优异结果(大于或等于0.99)和JP2K失真方面取得突出表现。另外，表2列出并比较了本发明的方法与3种常用的FR-IQA方法(PSNR，SSIM和FSIM)，4种基于非CNN的NR-IQA方法(DIIVINE，BLIINDS-II，BRISQUE和CORNIA)和8种CNN基于NR-IQA的方法。就所有比较方法中的LCC和SROCC而言，本发明的方法实现了最高的预测精准度。这些结果表明，去除同质图像块和基于方差加权的质量评分估计可以显着提高基于神经网络的NR-IQA性能。
表1
表2
方法 LCC SROCC
PSNR 0.868 0.873
SSIM 0.913 0.906
FSIM 0.960 0.964
DIIVINE 0.916 0.917
BLIINDS-II 0.930 0.931
BRISQUE 0.940 0.942
CORNIA 0.942 0.935
Kang 0.953 0.956
Li 0.956 0.935
VeNICE 0.960 0.950
Sun 0.958 0.959
Bosse 0.972 0.960
Pan 0.969 0.968
Zuo 0.967 0.964
Pre-SM 0.978 0.974
本发明 0.987 0.976
如上所示，对于基于CNN的NR-IQA神经网络，图像块方差低的小图像块对于训练和最终质量评分估计是不可靠的。另外，图像块方差高更有可能获得更高的预测精准度。基于这些新发现，本发明使用一个低图像块方差阈值来避免神经网络训练和质量评分估计中的同质图像块。为了提高(bias)方差高的图像块的测试评分，也可以使用基于方差的加权平均值来计算最终图像质量评分。测试结果表明，采用新的图像块方差方法可以在NR-IQA的LIVE数据库上实现最好的效果。此外，使用图像块方差作为同质性指标的预测误差特性的效果可用于其他基于神经网络的NR-IQA方法。也就是说，有可能以许多不同的方式利用这个特性来改进神经网络训练过程以及最终图像质量评分计算。
以上公开的和其他的特征和功能或其替代方式中的各种可以被组合成许多其他不同的系统或应用。本领域技术人员随后可以做出各种目前无法预料的或未预料到的替代方案，修改，变化或改进，其中的每一个也旨在被所公开的实施例所涵盖。

Claims (10)

1.一种用于训练神经网络进行图像质量评价的图像块的选择方法，其特征在于，包括：
a)接收输入图像；
b)从输入图像中提取一个或多个图像块；
c)测量所提取图像块的矩；
d)根据选择矩阵决定接受或拒绝所提取的所述图像块，其中所述选择矩阵包括所述测量的矩；
e)提取更多的图像块直到所接受的所述提取图像块达到最小数量Nmin，或者重新配置所述选择矩阵，直到所接受的所述提取图像块达到所述最小数量。
2.如权利要求1所述的用于训练神经网络进行图像质量评价的图像块的选择方法，其特征在于，所述提取的图像块是从所述输入图像中的随机位置或预定位置抽取。
3.如权利要求1所述的用于训练神经网络进行图像质量评价的图像块的选择方法，其特征在于，所测量的图像块的矩是二阶的，即图像块的方差，所述图像块的方差根据以下公式表示为所述图像块中三个通道的加权平均像素值差异：
varave(P)＝[w1*var1(P)+w2*var2(P)+w3*var3(P)]/(w1+w2+w3)。
4.如权利要求1所述的用于训练神经网络进行图像质量评价的图像块的选择方法，其特征在于，每个被接受图像块的矩大于阈值Tvar。
5.一种使用经训练的神经网络进行图像质量评价方法，其特征在于，包括：
接收输入图像；
从所述输入图像中选择图像块用于评价，包括：
a)从所述输入图像中提取一个或多个图像块；
b)测量所述提取的图像块的矩和位置；
c)根据选择矩阵决定接受或拒绝所述提取的图像块，其中所述选择矩阵包括所测量的所述提取的图像块的矩和位置；
d)提取更多的图像块直到所接受的所述提取图像块的最小数量为Nmin，或者重新配置所述选择矩阵，直到所接受的提取图像块达到所述最小数量；
e)根据所测量的矩确定所接受的图像块的一个或多个权重；
将所选择的图像块输入到神经网络中以获得所选择的图像块的图像质量评分；
根据所选择的图像块的所述图像质量评分和相应的权重来计算所述输入图像的图像质量评分。
6.如权利要求5所述的使用经训练的神经网络进行图像质量评价方法，其特征在于，从所述输入图像中的随机位置或预定位置提取所述图像块。
7.如权利要求5所述的使用经训练的神经网络进行图像质量评价方法，其特征在于，所测量的图像块的矩是二阶的，即图像块的方差，所述图像块的方差根据以下公式表示为所述图像块中三个通道的加权平均像素值差异：
varave(P)＝[w1*var1(P)+w2*var2(P)+w3*var3(P)]/(w1+w2+w3)。
8.如权利要求5所述的使用经训练的神经网络进行图像质量评价方法，其特征在于，
如果满足以下条件，则完成图像块选择过程：
a)每个被接受的所述图像块的矩大于阈值Tvar；
b)所选取接受的图像块的数量大于或等于预定义的用于测试的图像块所需的最小数量Nmin。
9.如权利要求5所述的使用经训练的神经网络进行图像质量评价方法，其特征在于，
重新配置所述选择矩阵的步骤包括：
a)选择一个初始步长作为初始距离Sinit，用于从所述输入图像提取用于测试的图像块；
b)以初始步长扫描图像，并基于阈值Tvar筛选出n个图像块；
c)如果n小于Nmin，则减小步长值并重复扫描，直到n大于或等于Nmin，或步长值等于1。
10.如权利要求5所述的使用经训练的神经网络进行图像质量评价方法，其特征在于，通过以下方式针对n个所述选择的图像块{P1，P2，...，Pn}确定质量评分Q：
其中Qj和varave(Pj)分别是Pj的预测质量评分和图像块方差。
CN201810798523.3A 2018-05-24 2018-07-19 用于训练神经网络的图像块的选择方法及图像质量评价方法 Pending CN110599439A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/987,930 US10789696B2 (en) 2018-05-24 2018-05-24 Patch selection for neural network based no-reference image quality assessment
US15/987930 2018-05-24

Publications (1)

Publication Number Publication Date
CN110599439A true CN110599439A (zh) 2019-12-20

Family

ID=68614736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810798523.3A Pending CN110599439A (zh) 2018-05-24 2018-07-19 用于训练神经网络的图像块的选择方法及图像质量评价方法

Country Status (2)

Country Link
US (1) US10789696B2 (zh)
CN (1) CN110599439A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820515A (zh) * 2022-04-26 2022-07-29 渭南日报社印刷厂 基于通道注意力的无参考型图像质量评价方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091268A2 (en) * 2015-09-25 2017-06-01 Board Of Regents, The University Of Texas System Measurement of non-uniformity noise
BR112020007105A2 (pt) * 2017-10-09 2020-09-24 The Board Of Trustees Of The Leland Stanford Junior University método para treinar um dispositivo de diagnóstico por imagem para realizar uma imagem para diagnóstico médico com uma dose reduzida de agente de contraste
CN111127587B (zh) * 2019-12-16 2023-06-23 杭州电子科技大学 一种基于对抗生成网络的无参考图像质量地图生成方法
CN111127460B (zh) * 2019-12-31 2022-06-14 福州大学 一种基于块连接的图像显示适应评估方法
US20210233259A1 (en) * 2020-01-28 2021-07-29 Ssimwave Inc. No-reference visual media assessment combining deep neural networks and models of human visual system and video content/distortion analysis
CN111612741B (zh) * 2020-04-22 2023-11-03 杭州电子科技大学 一种基于失真识别的精确无参考图像质量评价方法
CN111583213B (zh) * 2020-04-29 2022-06-07 西安交通大学 一种基于深度学习和无参考质量评价的图像生成方法
CN111652854B (zh) * 2020-05-13 2022-08-26 中山大学 一种基于图像高频信息的无参考图像质量评价方法
US20210406681A1 (en) * 2020-06-26 2021-12-30 GE Precision Healthcare LLC Learning loss functions using deep learning networks
CN112184672A (zh) * 2020-09-30 2021-01-05 上海大学 一种无参考图像质量评价方法及系统
CN112330613B (zh) * 2020-10-27 2024-04-12 深思考人工智能科技(上海)有限公司 一种细胞病理数字图像质量的评价方法及系统
CN113409248A (zh) * 2021-05-13 2021-09-17 杭州电子科技大学 一种面向夜间图像的无参考质量评价方法
CN113436167B (zh) * 2021-06-25 2022-04-26 湖南工商大学 基于深度学习和视觉感知的无参考彩色图像质量评价方法
CN113379733B (zh) * 2021-07-08 2022-06-17 湖南工商大学 无参考图像质量评价的分块标签权重度量方法及设备
CN113469998B (zh) * 2021-07-21 2022-10-18 西安邮电大学 基于主观和客观特征融合的全参考图像质量评价方法
CN113554570B (zh) * 2021-08-04 2023-12-19 西安交通大学 一种基于深度学习的双域ct图像环状伪影去除方法
CN114862762B (zh) * 2022-04-11 2024-09-06 苏州工业园区智在天下科技有限公司 人体扫描图像的质量评估方法及其装置
CN117115149B (zh) * 2023-10-20 2024-02-06 北京邮电大学 图像质量评估方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322489A1 (en) * 2009-06-18 2010-12-23 Omisa Inc. System and method for image segmentation
US20180047159A1 (en) * 2015-03-02 2018-02-15 Medizinische Universität Wien Computerized device and method for processing image data
CN107909565A (zh) * 2017-10-29 2018-04-13 天津大学 基于卷积神经网络的立体图像舒适度评价方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090315910A1 (en) * 2008-06-20 2009-12-24 University Of Delaware Systems and methods for obtaining an image alpha matte
US9235929B2 (en) * 2012-05-23 2016-01-12 Glasses.Com Inc. Systems and methods for efficiently processing virtual 3-D data
US9122960B2 (en) * 2012-11-30 2015-09-01 Adobe Systems Incorporated Patch size adaptation for image enhancement
AU2012268846A1 (en) * 2012-12-21 2014-07-10 Canon Kabushiki Kaisha Optimal patch ranking for coordinate transform estimation of microscope images from sparse patch shift estimates
AU2013254920A1 (en) * 2013-11-07 2015-05-21 Canon Kabushiki Kaisha 3D microscope calibration
JP2016178477A (ja) * 2015-03-20 2016-10-06 株式会社リコー カラーパッチ欠陥判定装置、色処理装置、画像検査装置、カラーパッチ欠陥判定プログラム及びカラーパッチ欠陥判定方法
KR102346522B1 (ko) * 2015-09-10 2022-01-03 삼성전자주식회사 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
US10699151B2 (en) * 2016-06-03 2020-06-30 Miovision Technologies Incorporated System and method for performing saliency detection using deep active contours
KR102648770B1 (ko) * 2016-07-14 2024-03-15 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
WO2018052586A1 (en) * 2016-09-14 2018-03-22 Konica Minolta Laboratory U.S.A., Inc. Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
CN110073404B (zh) * 2016-10-21 2023-03-21 南坦生物组学有限责任公司 数字组织病理学和显微解剖
US10423855B2 (en) * 2017-03-09 2019-09-24 Entit Software Llc Color recognition through learned color clusters
US10572979B2 (en) * 2017-04-06 2020-02-25 Pixar Denoising Monte Carlo renderings using machine learning with importance sampling
CN107330439B (zh) * 2017-07-14 2022-11-04 腾讯科技（深圳）有限公司 一种图像中物体姿态的确定方法、客户端及服务器
CN111417961B (zh) * 2017-07-14 2024-01-12 纪念斯隆-凯特林癌症中心 弱监督的图像分类器
US10891715B2 (en) * 2017-09-22 2021-01-12 Continental Automotive Systems, Inc. Deep neural network for image enhancement
US11120551B2 (en) * 2017-11-27 2021-09-14 Rensselaer Polytechnic Institute Training a CNN with pseudo ground truth for CT artifact reduction
JP7030493B2 (ja) * 2017-11-30 2022-03-07 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR102314703B1 (ko) * 2017-12-26 2021-10-18 에스케이하이닉스 주식회사 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법
CN108564035B (zh) * 2018-04-13 2020-09-25 杭州睿琪软件有限公司 识别单据上记载的信息的方法及系统
US10956785B2 (en) * 2018-04-27 2021-03-23 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for selecting candidates for annotation for use in training classifiers

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322489A1 (en) * 2009-06-18 2010-12-23 Omisa Inc. System and method for image segmentation
US20180047159A1 (en) * 2015-03-02 2018-02-15 Medizinische Universität Wien Computerized device and method for processing image data
CN107909565A (zh) * 2017-10-29 2018-04-13 天津大学 基于卷积神经网络的立体图像舒适度评价方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820515A (zh) * 2022-04-26 2022-07-29 渭南日报社印刷厂 基于通道注意力的无参考型图像质量评价方法

Also Published As

Publication number Publication date
US10789696B2 (en) 2020-09-29
US20190362484A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
CN110599439A (zh) 用于训练神经网络的图像块的选择方法及图像质量评价方法
Kim et al. Deep learning of human visual sensitivity in image quality assessment framework
Kang et al. Simultaneous estimation of image quality and distortion via multi-task convolutional neural networks
Gu et al. No-reference quality assessment of screen content pictures
KR102449841B1 (ko) 타겟의 검측 방법 및 장치
CN104978715B (zh) 一种基于滤波窗口及参数自适应的非局部均值图像去噪方法
Po et al. A novel patch variance biased convolutional neural network for no-reference image quality assessment
Sim et al. MaD-DLS: mean and deviation of deep and local similarity for image quality assessment
CN106651899B (zh) 基于Adaboost的眼底图像微动脉瘤检测系统
CN107633520A (zh) 一种基于深度残差网络的超分辨率图像质量评估方法
CN110232670B (zh) 一种基于高低频分离的图像视觉效果增强的方法
CN107680077A (zh) 一种基于多阶梯度特征的无参考图像质量评价方法
CN108664839B (zh) 一种图像处理方法和设备
CN110070539A (zh) 基于信息熵的图像质量评价方法
Kim et al. Multiple level feature-based universal blind image quality assessment model
CN111047543A (zh) 图像增强方法、装置和存储介质
CN110458792B (zh) 人脸图像质量的评价方法及装置
CN109685772A (zh) 一种基于配准失真表示的无参照立体图像质量评估方法
Pan et al. Exploiting neural models for no-reference image quality assessment
CN116309178A (zh) 一种基于自适应注意力机制网络的可见光图像去噪方法
CN108614998A (zh) 一种单像素红外目标检测方法
CN114820394A (zh) 一种基于稳健参数估计的图像噪点滤波方法及装置
Yang et al. EHNQ: Subjective and objective quality evaluation of enhanced night-time images
CN115457029B (zh) 一种基于感知特征的水下图像质量测量方法
CN116402715A (zh) 一种亮度掩模引导的多注意力机制的水下图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020091

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20210106

Address after: Ruizhida Enterprise Service Center, 2 wickhans reef, Road Town, Tortura Island, vg1110, British Virgin Islands

Applicant after: Eye opening live broadcast technology Holding Co.,Ltd.

Address before: Room 521, innovation centre, 72 Tat Chee Road, Kowloon Tong, Hong Kong, China

Applicant before: TFI Digital Media Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination