CN107636690B - 基于卷积神经网络的全参考图像质量评估 - Google Patents

基于卷积神经网络的全参考图像质量评估 Download PDF

Info

Publication number
CN107636690B
CN107636690B CN201680032412.0A CN201680032412A CN107636690B CN 107636690 B CN107636690 B CN 107636690B CN 201680032412 A CN201680032412 A CN 201680032412A CN 107636690 B CN107636690 B CN 107636690B
Authority
CN
China
Prior art keywords
image
normalized
reference image
distorted
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680032412.0A
Other languages
English (en)
Other versions
CN107636690A (zh
Inventor
徐迅
叶鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107636690A publication Critical patent/CN107636690A/zh
Application granted granted Critical
Publication of CN107636690B publication Critical patent/CN107636690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

实施例一般涉及提供用于评估失真图像相对于参考图像的图像质量的系统和方法。在一个实施例中，所述系统包括接受失真图像和参考图像作为输入并且提供图像质量的度量作为输出的卷积神经网络。在另一个实施例中，所述方法包括向被配置为处理失真图像和参考图像并且提供图像质量的度量作为输出的卷积神经网络输入失真图像和参考图像。

Description

基于卷积神经网络的全参考图像质量评估
相关申请的交叉引用
本申请要求2015年6月5日提交的名称为“FULL REFERENCE IMAGE QUALITYASSESSMENT BASED ON CONVOLUTIONAL NEURAL NETWORK”的美国专利申请14/732,518的优先权，为了所有目的将该申请由此通过引用并入本文，如同在本申请中完整阐述一样。
背景技术
随着数字图像设备和通信技术的发展和普及，数字图像对于信息表示和通信已经变得越来越重要。在数字图像的生命周期中，所述数字图像可以在各个阶段降级，并且这种质量降级可导致在后续阶段的应用中的失败。因此在多个图像处理系统和视频处理系统中保持和监视图像质量很重要，这种图像质量评估(IQA)的主要目标是预测由观看者所感知的视觉质量。图像质量测量可用于将感知失真的依赖性评估为诸如传输速率的参数的函数，并且用于选择图像增强方法的最优参数。虽然可以在实验室设置中进行主观测试以执行IQA，这种测试是昂贵和耗时的，并且不能用于实时系统和自动系统中。因此，开发客观的IQA度量以自动地和高效地测量图像质量的可能性受到很大关注。
全参考IQA(FR-IQA)模型将来自失真图像和对应的原始参考图像二者的信息用于估计视觉质量。诸如均方误差(MSE)或峰值信噪比(PSNR)的常规FR-IQA度量直接地测量在空间域中失真图像和参考图像之间的逐像素差异。这些类型的度量测量信号保真度，但是通常与人类感知的相关性差，当噪声不是加性噪声时尤其如此。
已经采取了两种类型的方法来开发与人类感知更一致的感知视觉质量度量(PVQM)：自下而上的方法和自上而下的方法。自下而上的方法尝试通过模拟相关心理物理特性和生理特性(包括对比敏感度、亮度适应、各种掩蔽效应等)，对人类视觉系统(HVS)的视觉途径中的各个处理阶段进行建模。然而，鉴于我们对这些特性以及它们在最终感知上的组合影响的知识有限，HVS太过复杂以致不能以此方式准确地对它进行建模。
最近的研究工作已经针对自上而下的框架，其通过结合来自各个来源的知识(诸如自然图像的统计特性)以及看起来由HVS处理图像失真的过程中的数据来对输入-输出关系进行建模。多数最新FR-IQA方法属于这一类别，并且一些，诸如结构相似度(SSIM)索引和它的变体(包括多尺度SSIM(MS-SSIM)和信息加权SSIM(IW-SSIM))、特征相似度(FSIM)索引和梯度大小相似度偏差(GMSD)已经有了成功的测量，从而表明诸如平均强度、强度标准差、相位一致性和梯度大小的低级别视觉特征是有效的质量指示符。然而，这些低级别线索在不同的失真类别中可能不能均匀地良好工作。因此，对应的FR测量的性能在不同类型的失真中可能改变很大。
因此，需要一种评估图像质量的改进方法，所述改进方法在不同类型的失真中与人类感知很一致，但是也是客观的、由可测量数据驱动的以及高效的。对于采用卷积神经网络(ConvNet)来应用基于学习的方法已经做出了一些努力，但是这些努力被局限于参考图像不可用于质量估计的情况，即用于无参考IQA(NR-IQA)。因此仍然需要探索和开发这种方法对FR-IQA的应用，其中对应的成对的参考图像和失真图像可用于分析。
发明内容
实施例一般涉及提供用于评估失真图像相对于参考图像的图像质量的系统和方法。在一个实施例中，所述系统包括接受失真图像和参考图像作为输入并且提供图像质量的度量作为输出的卷积神经网络。在另一个实施例中，所述方法包括向被配置为处理失真图像和参考图像并且提供图像质量的度量作为输出的卷积神经网络输入失真图像和参考图像。
在又一个实施例中，提供了一种用于训练卷积神经网络以评估失真图像相对于参考图像的图像质量的方法。所述方法包括：对于卷积神经网络，选择初始网络参数集作为当前网络参数集；对于多对图像中的每对，每对由失真图像和对应的参考图像组成，通过卷积神经网络来处理该对图像以提供计算的相似度得分度量Sc；以及基于对于该对图像的失真得分度量S与预期的相似度得分度量Sp的比较来调节当前网络参数集的网络参数中的一个或多个；其中预期的相似度得分度量Sp由人类感知提供。
通过参考本说明书的剩余部分和附图，可以实现对本文公开的特定实施例的本质和优点的进一步理解。
附图说明
图1示意性地示出了根据一个实施例的用于评估失真图像相对于参考图像的图像质量的系统的使用。
图2示出了根据一个实施例的用于评估失真图像相对于参考图像的图像质量的系统的架构。
图3示出了用于评估失真图像相对于参考图像的图像质量的分层系统的一个实现方式。
图4是示出了根据一个实施例的用于评估失真图像相对于参考图像的图像质量的方法的步骤的流程图。
图5示出了根据一个实施例的训练卷积神经网络用以评估失真图像相对于参考图像的图像质量的方法。
图6示出了根据一个实施例的训练卷积神经网络用以评估失真图像相对于参考图像的图像质量的方法的步骤的流程图。
具体实施方式
图1示意性地示出了根据一个实施例的用于评估失真图像102相对于参考图像104的图像质量的系统100的使用。系统100包括互连的模块或层的网络，参照图2将在下面进一步描述，所述模块或层体现经训练的FR-IQA模型。来自失真图像102和参考图像104中的每个的图像数据被馈送到系统100，该系统继而产生指示很可能由观看者所感知的失真图像102的质量的输出度量106。
图2示出了根据一个实施例的可以用于评估失真图像212相对于参考图像214的图像质量的系统200的架构的示意图。系统200包括多个层，即层201至207。将系统200视为两级系统可能是有帮助的，其中第一级由层201至205组成，统一向由层206和207组成的第二级提供数据。可以认为这个第二级是“标准”神经网络，而第一级和第二级的组合使得系统200成为卷积神经网络。
来自失真图像212和参考图像214的图像数据被馈送到输入层201，它用以将两个图像数据集归一化，从而提供归一化的失真图像和归一化的参考图像。来自归一化的失真图像和归一化的参考图像的图像数据被馈送到卷积层202，它用以利用多个(N1个)滤波器对归一化的失真图像和归一化的参考图像中的每个做卷积，并且对每个图像的每个像素应用平方激活函数，以提供N1对特征映射。每对特征映射包含一个经滤波的归一化的失真图像以及一个对应的经滤波和归一化的参考图像。
来自N1对特征映射的图像数据被馈送到线性组合层203，所述线性组合层203计算对应于失真图像212的N1个特征映射的N2个线性组合以及对应于参考图像214的对应的N1个特征映射的N2个线性组合，从而提供N2对组合的特征映射。每对组合的特征映射包含经滤波的归一化的失真图像的一个组合以及经滤波和归一化的参考图像的一个对应组合。
相似度计算层204作用于来自从线性组合层203接收到的N2对组合的特征映射的数据以计算N2个相似度映射。每个相似度映射是基于来自一对组合的特征映射的对应像素块的数据来计算的，其中每个相似度映射对应于N2对组合的特征映射中的不同的一对。
来自相似度映射的数据被馈送到池化层205，所述池化层205对N2个相似度映射中的每一个应用平均池化以提供N2个相似度输入值。N2个相似度输入值被馈送到全连接层206，所述全连接层206在N2个相似度输入值上操作以提供M个隐藏节点值，其中M为大于N2的整数。通过线性回归层207将M个隐藏节点值映射到单个输出节点。输出节点处的值是图像质量的度量，其基于系统200的训练来指示很可能由观看者所感知的失真图像202的质量。
可以选择神经网络200的一些超参数以确定适于特定图像评估应用的具体不同的架构或实现方式。一个超参数是在原始的失真图像和参考图像中的像素块的大小。其他超参数包括用于卷积层中的滤波器的大小(就像素的数量而言)、用于卷积层中的滤波器的数量N1、用于卷积层中的激活函数、在线性组合层中计算的线性组合的数量N2、在全连接层中的隐藏节点的数量M以及在相似度计算层中用于计算相似度的公式。此外，在一些实施例中，可以存在多于一个卷积层、多于一个线性组合层以及多于一个全连接层；使用的相应的数量为附加超参数。
图3示出了已经被发现适于执行本申请的图像质量评估的卷积神经网络的一个具体实现方式，其示出了32x32-7x7x10-1x1x10-800-1结构。每层的细节解释如下：
输入层由2个32x32灰度图像块组成：失真图像块ldis及其参考块lref。两个块均经由线性变换函数f(x)＝(x-128)/128*1.6进行归一化。
在卷积层中，对失真和图像块应用10个7x7线性滤波器
Figure BDA0001492387540000051
以提供分别对于失真图像和参考图像的经滤波的特征映射
Figure BDA0001492387540000052
和
Figure BDA0001492387540000053
其中
Figure BDA0001492387540000054
并且
Figure BDA0001492387540000055
在其他实施例中，依据感兴趣的低级别特征的最小尺寸，可以使用小于或大于7x7的滤波器。类似地，在一些实施例中，依据所涉及的失真的复杂性，可以使用少于或多于10个滤波器。在这一层中对每个图像块的每个像素应用平方激活函数。
在线性组合层中，计算由卷积层生成的经滤波的特征映射的线性组合。
Figure BDA0001492387540000056
Figure BDA0001492387540000057
在相似度计算层中，在来自对应的失真块和参考块的组合的特征映射之间以逐点(即，逐像素)的方式计算相似度：
Figure BDA0001492387540000061
其中Sk为第k个相似度映射并且C为小的正常数。
在池化层中，对每个相似度映射应用平均池化。池化层的输出表示为
Figure BDA0001492387540000062
因此
Figure BDA0001492387540000063
池化层提供10个维度(dim)的池化相似度作为对全连接层的输入。在多于10个滤波器用于卷积层的情况下，产生多于10个经滤波的特征映射，以此类推，经池化的相似度输入将会存在对应的更大维度。
在全连接层中，输入相似度密集地连接到800个隐藏节点。修正线性单元(ReLU)(f(x)＝max(x,0))被用作隐藏节点上的激活函数。将全连接层中的权重表示为Wa(i，j)(i＝1，...，10；j＝1，...，800)，全连接层的输出为:
Figure BDA0001492387540000064
其中bj为偏置项(bias term)。应当注意在一些实施例中激活函数可以包括其他非线性操作。
在线性回归层中，800个隐藏节点被映射到单个输出节点。如果在线性回归层中的权重描述为W4(i)(i＝1，...，800)，则网络的输出为：
Figure BDA0001492387540000065
其中b为偏置项。
图4是示出了根据一个实施例的用于评估失真图像相对于参考图像的图像质量的方法400的步骤的流程图。在步骤402中，接收失真图像和参考图像(例如，可以是来自失真视频流和参考视频流的对应帧)作为对经训练的卷积神经网络的输入。在步骤404中，通过经训练的卷积神经网络来处理失真图像和参考图像。在步骤406中，在失真图像和参考图像上操作的经训练的神经网络的输出被提供为失真图像的图像质量的度量。
图5示出了根据一个实施例的用以评估失真图像相对于参考图像的图像质量的训练卷积神经网络模型500的方法。为模型选择初始网络参数集，并且具有由人类观看者确定的预期的或预测的相似度得分度量S的对应的一对失真图像(502)和参考图像(504)被提供为对网络的输入。在成本模块506处将由网络提供的相似度得分度量S’与预测得分度量S相比较，并且响应于该比较，调节模型500的一个或多个参数，从而更新模型。随后通过网络500使用经调节的参数来处理第二对失真图像和参考图像，在产生的第二个得分度量和对这第二对图像的预期的得分度量做出比较，并且可以作为响应做出进一步调节。按照需要对于训练图像对的可用集重复该过程，直到设置了最终的模型参数并且模型网络被认为是经过训练的。
图6是示出了根据一个实施例的训练卷积神经网络以用于评估失真图像相对于参考图像的图像质量的方法600的步骤的流程图。在步骤606中，接收一对失真图像和参考图像(总共可用的T对中的第i对)并且将其输入到网络，所述网络特征在于使用之前选择的参数集。在步骤604中，通过该网络处理失真图像和参考图像。在步骤606中，根据由卷积神经网络计算的输出相似度得分Sc与由人类观看者所感知的对于该对图像的预测的相似度得分Sp之间的比较，使用目标函数来调节网络参数。在步骤608中，确定尚未被处理的其他的成对训练图像是否可用。如果可用，通过步骤602和604处理一对这种训练图像，并且在步骤606中进一步调节网络参数，并且在步骤608中对所有的成对训练图像是否已经被处理做出进一步确定。当在步骤608中确定了所有训练图像已经被处理时，神经网络可以被视为是经过训练的。在一些情况下，训练图像可以不止一次被馈送到网络以改进训练。训练图像的处理顺序可以是随机的。
在一个实施例中，目标函数用于对进行网络训练，准确地确定在方法600的步骤606中如何调节模型参数，例如，与标准中使用的∈-SVR(支持向量回归)相同。令(Iref(n)，Idis(n))表示一对输入块，yn表示计算的相似度得分度量(可替代地被称为地面实况质量得分(ground truth quality score))，并且f(Iref(n)，Idis(n)；W)表示利用网络参数W对于输入对的预测的相似度得分度量，目标函数可以写作：
Figure BDA0001492387540000081
其中定义L∈如下：
Figure BDA0001492387540000082
其中∈为可以被调节的小的正常数，并且n为训练样本的数量。通过使用随机梯度下降(SGD)执行反向传播可以对网络进行训练。
可以使用正则化方法以避免过度训练神经网络。在一个实施例中，正则化方法包括在目标函数中添加线性回归层中的权重的L2范数。这是对于正则化的广泛使用的方法，例如这种方法已经用于SVM(支持向量机)中。具体地，目标函数可以被修改为：
Figure BDA0001492387540000083
其中λ1为小的正常数。
在一些实施例中，在线性组合层中的输入节点和输出节点的连接是受约束的，所以多数输出节点仅连接一小组输入节点(例如，在N1＝10的情况下，不是所有10个输入节点)。这一约束可以通过添加稀疏二进制掩码Wmask来实现，其中如果Wmask(k,i)＝0，则我们强制
Figure BDA0001492387540000084
必须为零。可以随机选择连接的模式。已经发现在一个特定实施例中有用的掩码可以被定义如下：
Figure BDA0001492387540000085
本文描述的实施例提供了各种益处。具体地，使用在实时系统和自动系统中易于实现的系统和方法，实施例使得在对应的成对的参考图像和失真图像可用于分析的应用中能够评估图像质量，并且产生在不同类型的失真中与人类感知很一致的结果。本发明提供了一种用于自动图像质量评估的“端到端”解决方案，接受一对参考图像和失真图像作为输入，并且提供有意义的图像质量度量作为输出。
虽然已经关于描述的特定实施例进行了描述，但是这些特定实施例仅仅是说明性的而非限制性的。
可以使用包括C、C++、Java、汇编语言等任何合适的编程语言用以实现特定实施例的例程。可以采用不同的编程技术，诸如面向过程的或面向对象的。例程可以在单个处理设备或多个处理器上执行。虽然可以以具体顺序呈现步骤、操作或计算，但是可以在不同的特定实施例中这一顺序被改变。在一些特定实施例中，在本说明书中顺序示出的多个步骤可以被同时执行。
特定实施例可以在由指令执行系统、装置、系统或设备使用或者与指令执行系统、设备、系统或设备结合使用的计算机可读存储介质中实现。特定实施例可以以控制逻辑的形式在软件或硬件或二者的组合中实现。控制逻辑在被一个或多个处理器执行时可操作用以执行在特定实施例中描述的步骤。
可以通过使用被编程的通用数字计算机、通过使用专用集成电路、可编程逻辑器件、现场可编程门阵列、光学、化学、生物学、量子或纳米工程系统、部件和机制来实现特定实施例。一般来说，特定实施例的功能可以通过本领域已知的任何方式来实现。可以使用分布式、联网系统、部件和/或电路。数据的通信或传输可以是有线的、无线的或可以通过任何其他方式。
也应当理解，附图/图中所示的元件中的一个或多个元件也可以以更分离更集成的方式实现，或者甚至在某些情况下被移除或呈现为不可操作的，如根据一个具体应用是有用的。实现可以存储在机器可读介质中以允许计算机执行上述任何方法的程序或代码也在本发明的精神和范围内。
“处理器”包括处理数据、信号或其他信息的任何合适的硬件和/或软件系统、机制或部件。处理器可以包括具有通用中央处理器、多处理单元、用于实现功能的专用电路或其他系统的系统。处理不需要局限于地理位置，或者具有时间限制。例如，处理器可以“实时”、“脱机”、以“批量模式”等执行其功能。可以通过不同的(或相同的)处理系统在不同的时间和不同的位置执行处理的部分。处理系统的示例可以包括服务器、客户端、最终用户设备、路由器、交换机、联网存储等。计算机可以是与存储器进行通信的任何处理器。存储器可以是任何合适的处理器可读存储介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁盘或光盘、或者适于存储用于由处理器执行的指令的其他有形介质。
如在本文描述和贯穿整个权利要求中所使用的，除非上下文另有明确规定，否则“一”、“一个”和“所述”包括复数引用。此外，如在本文描述和贯穿整个权利要求中所使用的，除非上下文另有明确规定，否则“在…中”的含义包括“在…中”和“在…上”。
因此，虽然本文已经描述了特定实施例，但是在上述公开中旨在包括一定范围的修改、各种变化以及替换，并且应当理解，在一些实例中，在不脱离所阐述的范围和精神的情况下，将采用特定实施例的一些特征而不相应地使用其他特征。因此，可以做出许多修改以使具体情况或材料适应于基本范围和精神。

Claims (15)

1.一种用于评估失真图像相对于参考图像的图像质量的系统，所述系统包括：
接受所述失真图像和所述参考图像作为输入并且提供图像质量的度量作为输出的卷积神经网络；
其中所述卷积神经网络包括多个层；
其中所述多个层包括：
输入层，被配置为将归一化函数应用到构成所述失真图像和所述参考图像中的每一个的图像块，以提供归一化的失真图像和归一化的参考图像；以及
卷积层，被配置为用N1个滤波器对所述归一化的失真图像和所述归一化的参考图像中的每一个做卷积，以提供N1对特征映射，每对包含一个经滤波的归一化的失真图像和一个对应的经滤波和归一化的参考图像，其中N1为大于1的整数。
2.如权利要求1所述的系统，其中所述多个层进一步包括：
线性组合层，被配置为计算从所述归一化的失真图像和所述归一化的参考图像中的每一个提供的N1个特征映射的N2个线性组合，提供N2对组合的特征映射，每对包含经滤波的归一化的失真图像的一个组合以及经滤波和归一化的参考图像的一个对应组合，其中N2为大于1的整数；
相似度计算层，被配置为计算N2个相似度映射，每个相似度映射基于来自所述N2对组合的特征映射中的不同的一个的对应像素；
池化层，被配置为对所述N2个相似度映射中的每一个应用平均池化以提供N2个相似度输入值。
3.如权利要求2所述的系统，其中所述多个层进一步包括：
全连接层，被配置为作用于所述N2个相似度输入值上以提供M个隐藏节点值，其中M为大于N2的整数；以及
线性回归层，被配置为将所述M个隐藏节点值映射到单个输出节点以提供图像质量的所述度量。
4.如权利要求3所述的系统，其中N1＝N2，并且N1＝10。
5.如权利要求3所述的系统，其中M＝800。
6.如权利要求1所述的系统，其中在由所述卷积层将N1对特征映射提供给所述多个层中的任何后续层之前，在N1对特征映射的每个节点处应用平方激活函数。
7.一种用于评估失真图像相对于参考图像的图像质量的方法，所述方法包括：
向被配置为处理所述失真图像和所述参考图像并且提供图像质量的度量作为输出的卷积神经网络输入所述失真图像和所述参考图像；
其中由所述卷积神经网络执行的所述处理包括：
将归一化函数应用到构成所述失真图像和所述参考图像中的每一个的图像块，以提供归一化的失真图像和归一化的参考图像；以及
用N1个滤波器对所述归一化的失真图像和所述归一化的参考图像中的每一个做卷积，以提供N1对特征映射，每对包含一个经滤波的归一化的失真图像和一个对应的经滤波和归一化的参考图像，其中N1为大于1的整数。
8.如权利要求7所述的方法，进一步包括：
计算从所述归一化的失真图像和所述归一化的参考图像中的每一个提供的N1个特征映射的N2个线性组合，提供N2对组合的特征映射，每对包含经滤波的归一化的失真图像的一个组合以及经滤波和归一化的参考图像的一个对应组合；
计算N2个相似度映射，每个相似度映射基于来自N2对组合的特征映射中的不同的一个的对应像素；以及
对所述N2个相似度映射中的每一个应用平均池化以提供N2个相似度输入值。
9.如权利要求8所述的方法，进一步包括：
向全连接层输入所述N2个相似度输入值以提供M个隐藏节点值，其中M为大于N2的整数；以及
通过回归层映射所述M个隐藏节点值以提供图像质量的所述度量。
10.如权利要求9所述的方法，其中M＝800。
11.一种训练卷积神经网络以评估失真图像相对于参考图像的图像质量的方法，所述方法包括：
对于所述卷积神经网络，选择初始网络参数集作为当前网络参数集；
对于多对图像中的每对，每对由失真图像和对应的参考图像组成，通过所述卷积神经网络来处理该对图像以提供计算的相似度得分度量Sc；以及
基于对于该对的失真得分度量S与预期的相似度得分度量Sp的比较来调节所述当前网络参数集的网络参数中的一个或多个；
其中所述预期的相似度得分度量Sp由人类感知提供；
其中所述卷积神经网络包括多个层；
其中所述多个层包括：
输入层，被配置为将归一化函数应用到构成所述失真图像和所述参考图像中的每一个的图像块，以提供归一化的失真图像和归一化的参考图像；以及
卷积层，被配置为用N1个滤波器对所述归一化的失真图像和所述归一化的参考图像中的每一个做卷积，以提供N1对特征映射，每对包含一个经滤波的归一化的失真图像和一个对应的经滤波和归一化的参考图像，其中N1为大于1的整数。
12.如权利要求11所述的方法，其中每对图像包括失真图像块ldis和参考图像块lref，并且其中处理该对图像包括使该对图像传递通过所述卷积神经网络，并且通过将支持向量回归SVR目标函数应用到多个图像块而将产生的所述失真得分度量S与所述预期的相似度得分度量Sp相比较。
13.如权利要求12所述的方法，其中所述SVR目标函数为：
Figure FDA0002988094010000031
其中定义L∈如下：
Figure FDA0002988094010000032
其中∈为能够被调节的小的正常数，并且n为训练样本的数量。
14.如权利要求11所述的方法，进一步包括使用随机梯度下降(SGD)来执行反向传播。
15.如权利要求11所述的方法，其中通过所述卷积神经网络处理该对图像包括计算从每对失真参考图像生成的特征映射的线性组合以提供组合的特征映射，并且其中计算所述线性组合包括使用稀疏二进制掩码，以约束向所述计算输入的所述特征映射与从所述计算输出的所述组合的特征映射之间的连接。
CN201680032412.0A 2015-06-05 2016-06-03 基于卷积神经网络的全参考图像质量评估 Active CN107636690B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/732,518 2015-06-05
US14/732,518 US9741107B2 (en) 2015-06-05 2015-06-05 Full reference image quality assessment based on convolutional neural network
PCT/US2016/035868 WO2016197026A1 (en) 2015-06-05 2016-06-03 Full reference image quality assessment based on convolutional neural network

Publications (2)

Publication Number Publication Date
CN107636690A CN107636690A (zh) 2018-01-26
CN107636690B true CN107636690B (zh) 2021-06-22

Family

ID=57441857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680032412.0A Active CN107636690B (zh) 2015-06-05 2016-06-03 基于卷积神经网络的全参考图像质量评估

Country Status (6)

Country Link
US (1) US9741107B2 (zh)
EP (1) EP3292512B1 (zh)
JP (1) JP6544543B2 (zh)
KR (1) KR101967089B1 (zh)
CN (1) CN107636690B (zh)
WO (1) WO2016197026A1 (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734567B2 (en) * 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
US10410330B2 (en) * 2015-11-12 2019-09-10 University Of Virginia Patent Foundation System and method for comparison-based image quality assessment
US10356343B2 (en) * 2016-03-18 2019-07-16 Raytheon Company Methods and system for geometric distortion correction for space-based rolling-shutter framing sensors
US10043240B2 (en) 2016-04-14 2018-08-07 Microsoft Technology Licensing, Llc Optimal cropping of digital image based on professionalism score of subject
US9904871B2 (en) * 2016-04-14 2018-02-27 Microsoft Technologies Licensing, LLC Deep convolutional neural network prediction of image professionalism
US10043254B2 (en) 2016-04-14 2018-08-07 Microsoft Technology Licensing, Llc Optimal image transformation based on professionalism score of subject
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US10360494B2 (en) * 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
US10834406B2 (en) * 2016-12-12 2020-11-10 Netflix, Inc. Device-consistent techniques for predicting absolute perceptual video quality
US11113800B2 (en) 2017-01-18 2021-09-07 Nvidia Corporation Filtering image data using a neural network
US11537869B2 (en) * 2017-02-17 2022-12-27 Twitter, Inc. Difference metric for machine learning-based processing systems
WO2018152741A1 (en) * 2017-02-23 2018-08-30 Nokia Technologies Oy Collaborative activation for deep learning field
CN106920215B (zh) * 2017-03-06 2020-03-27 长沙全度影像科技有限公司 一种全景图像配准效果的检测方法
CN108304755B (zh) * 2017-03-08 2021-05-18 腾讯科技（深圳）有限公司 用于图像处理的神经网络模型的训练方法和装置
CN107103331B (zh) * 2017-04-01 2020-06-16 中北大学 一种基于深度学习的图像融合方法
WO2018186991A1 (en) * 2017-04-04 2018-10-11 Board Of Regents, The University Of Texas System Assessing quality of images or videos using a two-stage quality assessment
US10699160B2 (en) * 2017-08-23 2020-06-30 Samsung Electronics Co., Ltd. Neural network method and apparatus
CN107644415B (zh) * 2017-09-08 2019-02-22 众安信息技术服务有限公司 一种文本图像质量评估方法及设备
CN107705299B (zh) * 2017-09-25 2021-05-14 安徽睿极智能科技有限公司 基于多属性特征的图像质量分类方法
CN107679490B (zh) * 2017-09-29 2019-06-28 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
US10540589B2 (en) * 2017-10-24 2020-01-21 Deep North, Inc. Image quality assessment using similar scenes as reference
CN108171256A (zh) * 2017-11-27 2018-06-15 深圳市深网视界科技有限公司 人脸图像质评模型构建、筛选、识别方法及设备和介质
US10740659B2 (en) * 2017-12-14 2020-08-11 International Business Machines Corporation Fusing sparse kernels to approximate a full kernel of a convolutional neural network
CN108074239B (zh) * 2017-12-30 2021-12-17 中国传媒大学 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN108335289A (zh) * 2018-01-18 2018-07-27 天津大学 一种全参考融合的图像客观质量评价方法
US10887602B2 (en) 2018-02-07 2021-01-05 Netflix, Inc. Techniques for modeling temporal distortions when predicting perceptual video quality
US10721477B2 (en) * 2018-02-07 2020-07-21 Netflix, Inc. Techniques for predicting perceptual video quality based on complementary perceptual quality models
CN108389192A (zh) * 2018-02-11 2018-08-10 天津大学 基于卷积神经网络的立体图像舒适度评价方法
US11216698B2 (en) * 2018-02-16 2022-01-04 Spirent Communications, Inc. Training a non-reference video scoring system with full reference video scores
US10916003B2 (en) * 2018-03-20 2021-02-09 Uber Technologies, Inc. Image quality scorer machine
CN108259893B (zh) * 2018-03-22 2020-08-18 天津大学 基于双流卷积神经网络的虚拟现实视频质量评价方法
CN108875904A (zh) * 2018-04-04 2018-11-23 北京迈格威科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
US11436717B2 (en) 2018-04-04 2022-09-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
CN108648180B (zh) * 2018-04-20 2020-11-17 浙江科技学院 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法
CN108596890B (zh) * 2018-04-20 2020-06-16 浙江科技学院 一种基于视觉测量率自适应融合的全参考图像质量客观评价方法
CN108596902B (zh) * 2018-05-04 2020-09-08 北京大学 基于选通卷积神经网络的多任务全参考图像质量评价方法
CN108665460B (zh) * 2018-05-23 2020-07-03 浙江科技学院 基于组合神经网络和分类神经网络的图像质量评价方法
KR102184755B1 (ko) 2018-05-31 2020-11-30 서울대학교 산학협력단 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법
CN108986075A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种优选图像的判断方法及装置
CN109360183B (zh) * 2018-08-20 2021-05-11 中国电子进出口有限公司 一种基于卷积神经网络的人脸图像质量评估方法和系统
US11704791B2 (en) * 2018-08-30 2023-07-18 Topcon Corporation Multivariate and multi-resolution retinal image anomaly detection system
JP6925474B2 (ja) * 2018-08-31 2021-08-25 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム
JP6697042B2 (ja) * 2018-08-31 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、固体撮像方法及びプログラム
JP7075012B2 (ja) * 2018-09-05 2022-05-25 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US11055819B1 (en) * 2018-09-27 2021-07-06 Amazon Technologies, Inc. DualPath Deep BackProjection Network for super-resolution
CN111105357B (zh) * 2018-10-25 2023-05-02 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
US11132586B2 (en) * 2018-10-29 2021-09-28 Nec Corporation Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos
CN109685772B (zh) * 2018-12-10 2022-06-14 福州大学 一种基于配准失真表示的无参照立体图像质量评估方法
US11557107B2 (en) 2019-01-02 2023-01-17 Bank Of America Corporation Intelligent recognition and extraction of numerical data from non-numerical graphical representations
CN109801273B (zh) * 2019-01-08 2022-11-01 华侨大学 一种基于极平面线性相似度的光场图像质量评价方法
US10325179B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
CN109871780B (zh) * 2019-01-28 2023-02-10 中国科学院重庆绿色智能技术研究院 一种人脸质量判决方法、系统及人脸识别方法、系统
WO2020165848A1 (en) * 2019-02-14 2020-08-20 Hatef Otroshi Shahreza Quality assessment of an image
US11405695B2 (en) 2019-04-08 2022-08-02 Spirent Communications, Inc. Training an encrypted video stream network scoring system with non-reference video scores
CN110033446B (zh) * 2019-04-10 2022-12-06 西安电子科技大学 基于孪生网络的增强图像质量评价方法
KR102420104B1 (ko) * 2019-05-16 2022-07-12 삼성전자주식회사 영상 처리 장치 및 그 동작방법
US11521011B2 (en) 2019-06-06 2022-12-06 Samsung Electronics Co., Ltd. Method and apparatus for training neural network model for enhancing image detail
CN110517237B (zh) * 2019-08-20 2022-12-06 西安电子科技大学 基于膨胀三维卷积神经网络的无参考视频质量评价方法
CN110766657B (zh) * 2019-09-20 2022-03-18 华中科技大学 一种激光干扰图像质量评价方法
US10877540B2 (en) 2019-10-04 2020-12-29 Intel Corporation Content adaptive display power savings systems and methods
CN110751649B (zh) * 2019-10-29 2021-11-02 腾讯科技（深圳）有限公司 视频质量评估方法、装置、电子设备及存储介质
CN110796651A (zh) * 2019-10-29 2020-02-14 杭州阜博科技有限公司 图像质量的预测方法及装置、电子设备、存储介质
KR102395038B1 (ko) * 2019-11-20 2022-05-09 한국전자통신연구원 기계 학습 기반 특징과 지식 기반 특징을 이용한 비디오 화질 자동 측정 방법 및 이를 위한 장치
CN111127587B (zh) * 2019-12-16 2023-06-23 杭州电子科技大学 一种基于对抗生成网络的无参考图像质量地图生成方法
CN111192258A (zh) * 2020-01-02 2020-05-22 广州大学 一种图像质量评估方法及装置
CN111524123B (zh) 2020-04-23 2023-08-08 北京百度网讯科技有限公司 用于处理图像的方法和装置
CN111833326B (zh) * 2020-07-10 2022-02-11 深圳大学 图像质量评价方法、装置、计算机设备及存储介质
US11616959B2 (en) 2020-07-24 2023-03-28 Ssimwave, Inc. Relationship modeling of encode quality and encode parameters based on source attributes
US11341682B2 (en) * 2020-08-13 2022-05-24 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
KR20220043764A (ko) 2020-09-29 2022-04-05 삼성전자주식회사 비디오 품질 평가 방법 및 장치
CN112419242B (zh) * 2020-11-10 2023-09-15 西北大学 基于自注意力机制gan网络的无参考图像质量评价方法
CN112330650A (zh) * 2020-11-12 2021-02-05 李庆春 一种检索视频质量评价方法
CN112784698A (zh) * 2020-12-31 2021-05-11 杭州电子科技大学 基于深层次时空信息的无参考视频质量评价方法
CN112700425B (zh) * 2021-01-07 2024-04-26 云南电网有限责任公司电力科学研究院 一种用于电力设备x射线图像质量的判定方法
US11521639B1 (en) 2021-04-02 2022-12-06 Asapp, Inc. Speech sentiment analysis using a speech sentiment classifier pretrained with pseudo sentiment labels
US20240046440A1 (en) * 2021-04-14 2024-02-08 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Image data quality evaluation method and apparatus, terminal device, and readable storage medium
US11763803B1 (en) 2021-07-28 2023-09-19 Asapp, Inc. System, method, and computer program for extracting utterances corresponding to a user problem statement in a conversation between a human agent and a user
CN113505854B (zh) * 2021-07-29 2023-08-15 济南博观智能科技有限公司 一种人脸图像质量评价模型构建方法、装置、设备及介质
KR20230073871A (ko) * 2021-11-19 2023-05-26 삼성전자주식회사 영상 처리 장치 및 그 동작 방법
CN114332088B (zh) * 2022-03-11 2022-06-03 电子科技大学 一种基于运动估计的全参考视频质量评估方法
CN117152092B (zh) * 2023-09-01 2024-05-28 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102497576A (zh) * 2011-12-21 2012-06-13 浙江大学 基于Gabor特征互信息的全参考图像质量评价方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA05004956A (es) * 2002-11-06 2005-09-20 Agency Science Tech & Res Un metodo para generar un mapa de significancia orientado a la calidad, para valorar la calidad de una imagen o video.
EP1727088A1 (en) * 2005-05-25 2006-11-29 Thomson Licensing Method for assessing image quality
CN100588271C (zh) 2006-08-08 2010-02-03 安捷伦科技有限公司 基于分组度量和图像度量两者测量视频质量的系统和方法
JP2010521272A (ja) * 2007-03-16 2010-06-24 エスティーアイ・メディカル・システムズ・エルエルシー 標準化された撮像データを実現するために撮像デバイスに自動品質フィードバックを与える方法
KR101092650B1 (ko) * 2010-01-12 2011-12-13 서강대학교산학협력단 양자화 코드를 이용한 화질 평가 방법 및 장치
RU2431889C1 (ru) * 2010-08-06 2011-10-20 Дмитрий Валерьевич Шмунк Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
US8942512B2 (en) * 2011-12-24 2015-01-27 Ecole De Technologie Superieure Methods and systems for processing a first image with reference to a second image
CN104350746A (zh) * 2012-05-31 2015-02-11 汤姆逊许可公司 基于局部幅度和相位谱的图像质量测量
WO2014094313A1 (en) 2012-12-21 2014-06-26 Thomson Licensing Video quality model, method for training a video quality model, and method for determining video quality using a video quality model

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102497576A (zh) * 2011-12-21 2012-06-13 浙江大学 基于Gabor特征互信息的全参考图像质量评价方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Blind Image Quality Assessment via Deep Learning》;WeiLong Hou等;《IEEE Transactions on Neural Networks and Learning Systems》;20150601;第26卷(第6期);第Ⅰ-Ⅳ节，图1 *
《Convolutional Neural Networks for No-Reference Image Quality Assessment》;Le Kang 等;《CVPR2014》;20140623;第3节 *
《Speeding up Convolutional Neural Networks with Low Rank Expansions》;Max Jaderberg 等;《arXiv》;20140515;第2节 *
WeiLong Hou等.《Blind Image Quality Assessment via Deep Learning》.《IEEE Transactions on Neural Networks and Learning Systems》.2015,第26卷(第6期), *

Also Published As

Publication number Publication date
KR20180004208A (ko) 2018-01-10
KR101967089B1 (ko) 2019-04-08
JP6544543B2 (ja) 2019-07-17
WO2016197026A1 (en) 2016-12-08
EP3292512B1 (en) 2021-01-20
US20160358321A1 (en) 2016-12-08
EP3292512A4 (en) 2019-01-02
EP3292512A1 (en) 2018-03-14
US9741107B2 (en) 2017-08-22
JP2018516412A (ja) 2018-06-21
CN107636690A (zh) 2018-01-26

Similar Documents

Publication Publication Date Title
CN107636690B (zh) 基于卷积神经网络的全参考图像质量评估
US20200293892A1 (en) Model test methods and apparatuses
Li et al. No-reference image quality assessment with deep convolutional neural networks
CN108197652B (zh) 用于生成信息的方法和装置
CN104217216A (zh) 生成检测模型的方法和设备、用于检测目标的方法和设备
CN111275660B (zh) 一种平板显示器缺陷检测方法及装置
CN113379071B (zh) 一种基于联邦学习的噪声标签修正方法
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
US20220164995A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN116543433A (zh) 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置
CN108257117B (zh) 图像曝光度的评测方法及装置
CN112085668B (zh) 一种基于区域自适应自监督学习的图像色调映射的方法
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN117319223A (zh) 一种基于数字孪生技术的领导驾驶舱可视化方法及系统
CN115457015A (zh) 一种基于视觉交互感知双流网络的图像无参考质量评估方法及装置
CN115457614B (zh) 一种图像质量评价方法、模型训练方法及装置
CN115565010A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN115222691A (zh) 图像缺陷检测方法、系统及相关装置
CN113313021A (zh) 一种基于低质量影像识别的深度学习模型构建方法
CN113269710A (zh) 一种基于目标检测的aau施工工艺检测系统
Merzougui Multi-measures fusion based on multi-objective genetic programming for full-reference image quality assessment
Barri et al. Data-driven modules for objective visual quality assessment focusing on benchmarking and SLAs
KR102613633B1 (ko) 진단 키트의 검사 결과를 판독하는 ai 모델 학습 장치 및 그 동작 방법
Yin Multipurpose image quality assessment for both human and computer vision systems via convolutional neural network
Cloramidina et al. High Dynamic Range (HDR) Image Quality Assessment: A Survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant