CN106355195B - 用于测量图像清晰度值的系统及其方法 - Google Patents

用于测量图像清晰度值的系统及其方法 Download PDF

Info

Publication number
CN106355195B
CN106355195B CN201610702576.1A CN201610702576A CN106355195B CN 106355195 B CN106355195 B CN 106355195B CN 201610702576 A CN201610702576 A CN 201610702576A CN 106355195 B CN106355195 B CN 106355195B
Authority
CN
China
Prior art keywords
image
value
predictor
feature extractor
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610702576.1A
Other languages
English (en)
Other versions
CN106355195A (zh
Inventor
余绍德
江帆
陈璐明
姬治华
伍世宾
谢耀钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201610702576.1A priority Critical patent/CN106355195B/zh
Priority to PCT/CN2016/096658 priority patent/WO2018035794A1/zh
Publication of CN106355195A publication Critical patent/CN106355195A/zh
Application granted granted Critical
Publication of CN106355195B publication Critical patent/CN106355195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于测量图像清晰度值的系统及其方法。所述测量图像清晰度值的方法包括：利用图像特征提取器对图像进行卷积处理，以在所述图像的局部提取得到第一特征图像；利用图像特征提取器对卷积处理得到的第一特征图像进行降采样处理，以得到分辨率较低的第二特征图像；利用图像特征提取器对降采样处理后的第二特征图像进行列变换，以得到单列特征向量；利用预测器对所述单列特征向量进行清晰度值的计算，以得到图像的清晰度值。本发明可以快速测量图像的清晰度值，其训练的难度低，用到的参数少、测量得到的清晰度值准确高且实时性强，能够广泛运用于光学成像系统和医学成像系统中。

Description

用于测量图像清晰度值的系统及其方法
技术领域
本发明属于图像处理技术领域，具体地讲，涉及一种用于测量图像清晰度值的系统。
背景技术
随着生活节奏的加快以及无线网络和手机的大量普及，图像成为我们信息获取和交流的重要手段。由于在手机拍摄过程中，相机的晃动、目标的相对运动、相机的自身质量等，导致图像的清晰度会有不同，而图像清晰度是用户最直观的感受，更关系到用户对图像的信息获取和场景解释，是图像质量的一个关键因素。目前无参考图像清晰度度量方法存在以下问题：(1)图像清晰度度量的精度不高；(2)需要用到大量实验数据进行参数选取，其计算量大可能无法应用在现实图片中；(3)试验在LIVE数据库上进行，扩展性差；(4)图像清晰度度量的方法复杂、测量时耗时较长。
因此，现有技术还有待于改进和发展。
发明内容
为了解决上述现有技术中存在的问题，本发明的目的在于提供一种参数少、计算量小、易训练、精度高、速度快的用于测量图像清晰度值的系统及其方法。
本发明提供了一种测量图像清晰度值的方法，所述方法包括：
利用图像特征提取器对图像进行卷积处理，以在所述图像的局部提取得到第一特征图像；
利用图像特征提取器对卷积处理得到的第一特征图像进行降采样处理，以得到分辨率较低的第二特征图像；
利用图像特征提取器对降采样处理后的第二特征图像进行列变换，以得到单列特征向量；
利用预测器对所述单列特征向量进行清晰度值的计算，以得到图像的清晰度值。
进一步地，利用多个卷积核对图像进行卷积处理，其计算公式如下：
Figure BDA0001087017510000022
其中，Xi为接收到的待测图像，i表示所在层数，k为卷积核，Mj为输入层的感受野，B为偏置项，f为激活函数。
进一步地，所述降采样处理用于降低模型的空间分辨率，并消除偏移和图像扭曲，进行降采样处理的计算公式为：
Wj=f(βjp(yj))，
其中，p为采样函数，β为权重系数。
进一步地，所述预测器对图像进行清晰度值计算的公式为：
Figure BDA0001087017510000021
其中，Xi，Y为样本观测值，σ为光滑因子，n为样本数目。
进一步地，在利用图像特征提取器对图像进行卷积处理之前，还包括：
对图像特征提取器进行训练，以使图像特征提取器能够对图像进行卷积、降采样处理，从而得到单列特征向量；
对预测器进行训练，以使所述预测器能够对所述单列特征向量进行运算处理，从而得到图像的清晰度值。
进一步地，在对图像特征提取器和预测器进行训练后，还包括验证所述图像特征提取器配合所述预测器测量得到的清晰度值，验证所述图像特征提取器配合所述预测器测量得到的清晰度值的方法包括：
将参考图像输入训练后的图像特征提取器，所述图像特征提取器对所述参考图像进行特征提取并且得到单列参考特征向量；
训练后的预测器输入所述单列参考特征向量，并进行运算以得到参考图像的清晰度参考值；
根据计算得到的清晰度参考值和所述参考图像的主观清晰度值，计算皮尔逊线性相关参数(LCC)和斯皮尔逊排序先后相关参数(SROCC)；
判断所述皮尔逊线性相关参数(LCC)的值是否大于或等于第一门限值、且所述斯皮尔逊排序先后相关参数(SROCC)的值是否大于或等于第二门限值；若是，则图像特征提取器和预测器训练完毕；若否，则图像特征提取器和预测器未训练完毕，继续训练图像特征提取器和预测器。
进一步地，所述皮尔逊线性相关参数(LCC)和斯皮尔逊排序先后相关参数(SROCC)的公式为：
Figure BDA0001087017510000031
Figure BDA0001087017510000032
其中，n为样本数，
Figure BDA0001087017510000033
分别为{x1,x2,…,xn}和{y1,y2,…,yn}的均值，σx，σy分别为它们的标准差，rxi，ryi分别为xi和yi在各自数据序列中的排序位置。
进一步地，对图像特征提取器进行训练的方法包括：
初始化，输入训练集至图像特征提取器；
计算图像特征提取器的平均平方误差；
判断所述平均平方误差是否收敛；若所述平均平方误差收敛，则训练结束；若否，则计算残差；
将残差进行逐层反向传递，以得到每层的残差值；
更新权值和偏置项的参数值。
进一步地，计算图像特征提取器模型的平均平方误差和残差的公式为：
Figure BDA0001087017510000034
Figure BDA0001087017510000035
其中，其中，m为每批样本数，y为样本标签，nl是指输出层，y为样本标签，a为输出值，f为激活函数，z为输出层上层神经元。
进一步地，计算每层残差值的公式为：
δ(l)=((W(l))Tδ(l+1))·f′(z(l))，
其中，W(l)是第l层的权值。
进一步地，所述“更新权值和偏置项的参数值”的计算公式为：
Figure BDA0001087017510000041
Figure BDA0001087017510000042
其中，
Figure BDA0001087017510000043
是第l层的偏置项，α是学习率。
进一步地，对预测器进行训练的方法包括：
将训练集输入到训练完毕的图像特征提取器中，以得到所述训练集的局部的单列特征向量；
根据所述训练集的单列特征向量和标签，以得到因变量对自变量的回归值。
本发明还提供了一种用于测量图像清晰度值的系统，用上述的测量图像清晰度值的方法来测量图像的清晰度值，所述系统包括：
图像特征提取器，被构造为：接收图像；在所述图像的局部提取得到第一特征图像；对提取到的第一特征图像进行模糊处理，以得到分辨率较低的第二特征图像；对处理得到的第二特征图像变换为单列特征向量；
预测器，被构造为：对所述单列特征向量进行计算打分，以得到图像的清晰度值。
本发明的有益效果：本发明提供的用于测量图像清晰度值的系统及其方法能够利用图像特征提取器对待测图像进行快速的卷积、降采样处理以得到单列特征向量，利用预测器对单列特征向量进行运算处理以得到图像的清晰度值。本发明的用于测量图像清晰度值的系统在训练结束后可以快速测量图像的清晰度值，其训练的难度低，用到的参数少、测量得到的清晰度值准确高且实时性强，能够广泛运用于光学成像系统和医学成像系统中。
附图说明
通过结合附图进行的以下描述，本发明的实施例的上述和其它方面、特点和优点将变得更加清楚，附图中：
图1是本发明实施例用于测量图像清晰度值的系统的较佳实施方式的模块图；
图2是本发明实施例用于测量图像清晰度值的系统在工作状态时的示意图；
图3是本发明实施例测量图像清晰度值的方法的流程图；
图4是本发明实施例对图像特征提取器进行训练的方法的流程图；
图5是本发明实施例对预测器进行训练的方法的流程图；
图6是本发明实施例验证测量得到的清晰度值是否准确的方法的流程图。
具体实施方式
以下，将参照附图来详细描述本发明的实施例。然而，可以以许多不同的形式来实施本发明，并且本发明不应该被解释为限制于这里阐述的具体实施例。相反，提供这些实施例是为了解释本发明的原理及其实际应用，从而本领域的其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改。相同的标号在整个说明书和附图中可用来表示相同的元件。
目前的图像清晰度值的测量方法主要分为有参考(有感官认为的最优的图像质量作为对比)、半参考(有感官认为的最优的图像的部分信息来作为对比)和无参考(无任何要评测图像的直接或间接信息)三类。本发明实施例是基于无参考图像清晰度测量的原理，来实现对图像清晰度值的测量。
另外，本发明还基于深度学习的原理，来实现对图像清晰度值的测量。深度学习通过对样本图像进行逐层特征变化，将样品在原空间的特征表示变换到新的特征空间，自动学习得到层次化的特征，减少手动参数选取和特征选择，从而更有利于分类或特征的可视化，同时可以很好地避免人工设定特征造成的局限，大大地提高图像清晰度测量的精度和效率。
图1是本发明实施例用于测量图像清晰度值的系统的较佳实施方式的模块图。图2是本发明实施例用于测量图像清晰度值的系统在工作状态时的示意图。
参照图1和图2，根据本发明实施例的用于测量图像清晰度值的系统包括：图像特征提取器10、预测器20、训练器30、验证器40。
图像特征提取器10包括图像接收模块11、卷积模块12、降采样模块13、变换处理模块14。所述图像接收模块10被构造为接收图像。所述卷积模块12被构造为在所述图像的局部提取得到第一特征图像；所述降采样模块13被构造为对卷积处理得到的第一特征图像进行降采样处理，以得到分辨率较低的第二特征图像；所述变换处理模块14被构造为对所述降采样模块13处理得到的第二特征图像变换为单列特征向量。
在本实施例中，所述单列特征向量具体为一个200维的向量。但本发明并不限制于此。
在本实施例中，图像特征提取器10优选由卷积神经网络配置形成，卷积神经网络简称为CNN。图像特征提取器10可具体被配置为FPGA电路、芯片，但本发明并不限制于此。
预测器20包括运算处理模块21。所述运算处理模块21被构造为对所述单列特征向量进行计算打分，以得到图像的清晰度值。
所述运算处理模块21具体包括求和层211和输出层212。具体地，预测器20还包括输入层22、模式层23，输入层22被构造为将图像特征提取器10得到的单列特征向量传递给模式层22；输入层22包括多个第一神经元，第一神经元的个数与图像特征提取器10从图像中提取的单列特征向量的维数相等。所述模式层23被构造为一一对应所述单列特征向量中的每一样本数据，模式层23也包括多个第二神经元，第二神经元的数目与第一神经单元的数目相等。求合层211只包括两个第三神经元，求和层211与模式层23全连接，并且求和层211与模式层23之间进行运算(如下公式所示)，输出层212通过计算求和层211的两个输出商数，得到最终的图像的清晰度值。所述预测器20对图像进行清晰度值计算的公式为：
Figure BDA0001087017510000061
其中，Xi，Y为样本观测值，σ为光滑因子，n为样本数目。
为了降低训练的难度，提高运算的速度，快速测量图像的清晰度值，所述预测器20优选由广义回归神经网络配置形成。预测器20可具体被配置为FPGA电路、芯片，但本发明并不限制于此。广义回归神经网络简称为GRNN，英文全称为General regression neuralnetwork。广义回归神经网络(General regression neural network)是人工神经网络的一种变化形式，具有很强的非线性映射与泛化能力，适用于小样本数据。但本发明并不限制与此，例如，作为本发明的另一实施例，所述预测器20也可以为支持向量回归。支持向量回归简称为SVR，英文全称为Support vector regression。
所述训练器30被构造为对图像特征提取器10和预测器20训练，以使图像特征提取器10和预测器20能够自动学习得到层次化的特征，从而实现基于深度学习的无参考图像清晰度值的测量，得到待测图像精确的清晰度值。具体地，所述训练器被构造为对图像特征提取器进行训练，以使图像特征提取器能够对图像进行卷积、降采样处理，从而得到单列特征向量。所述训练器还被构造为对预测器进行训练，以使所述预测器能够对所述单列特征向量进行运算处理，从而得到图像的清晰度值。训练器30可具体被配置为FPGA电路、芯片，但本发明并不限制于此。
所述验证器40被构造为验证所述图像特征提取器10配合所述预测器测量20得到的清晰度值。更具体地，验证器40被构造为验证所述图像特征提取器10配合所述预测器测量20得到的清晰度值是否精确或准确。验证器40可具体被配置为FPGA电路、芯片，但本发明并不限制于此。
本发明实施例的用于测量图像清晰度值的系统可以集成到机器系统中，对获取的图像进行打分，判定机器系统的成像能力，包括但不限于光学成像系统，还可能包括医学成像系统。
具体地，作为本发明的另一实施例，所述用于测量图像清晰度值的系统可以运用于摄像装置中。在该实施例中，摄像装置能够连拍多张照片，用于测量图像清晰度值的系统分别测量出连拍的多张照片的清晰度值，摄像装置被配置为比较多个清晰度值的大小，从而输出最大清晰度值对应的照片(也就是质量最高的照片)。由此可见，将测量图像清晰度值的系统运用于摄像装置中，可以为用户输出拍照质量更高的照片。
更进一步地，作为本发明的又一实施例，所述用于测量图像清晰度值的系统也可以运用于评判图像质量的装置中。在该实施例中，用于测量图像清晰度值的系统测量出待测图像的清晰度值。设定一个参考阈值。所述用于评判图像质量的装置被配置为将待测图像的清晰度值与参考阈值进行比较，当所述清晰度值大于所述参考阈值时，判定所述图像的清晰度为清晰；当所述清晰度值小于所述参考阈值时，判定所述图像的清晰度为不清晰。
本发明还提供了该系统测量图像清晰度值的方法。本发明实施例的系统测量图像清晰度值的方法可以被集成到一些图像增强算法中，进行算法的参数优化等应用。
图3是本发明实施例测量图像清晰度值的方法的流程图。具体地，一并参照图1、图2和图3，结合上述用于测量图像清晰度值的系统，所述测量图像清晰度值的方法具体包括：
在操作210中，对图像特征提取器10进行训练，以使图像特征提取器10能够对图像依次进行卷积、降采样处理，从而得到单列特征向量。在这里，利用训练器30对图像特征提取器10进行训练。需要说明的是，在本实施例的系统框架中，有且仅有一个特征层。
图4是本发明实施例对图像特征提取器进行训练的方法的流程图。具体地，参照图4，对图像特征提取器10进行训练的方法具体包括以下操作：
在操作211中，初始化，输入训练集至图像特征提取器。具体地，初始化所有的卷积核权值与偏置顶，同时输入训练集样本图像至图像特征提取器10中。在这里，训练集包括具有精确清晰度值的图像样本。
在操作212中，计算图像特征提取器10的平均平方误差。具体地，对图像样本数据进行计算得到输出值O，再将输出值O与样本标签y进行计算，可得到模型误差值E。通过误差值判断图像特征提取器10模型是否收敛，若收敛，则训练结束；若未收敛，则继续计算输出层的残差。计算图像特征提取器10模型的平均平方误差和残差的具体公式为：
Figure BDA0001087017510000081
Figure BDA0001087017510000082
其中，其中，m为每批样本数，y为样本标签，nl是指输出层，y为样本标签，a为输出值，f为激活函数，z为输出层上层神经元。
在操作213中，将残差进行逐层反向传递，以得到每层的残差值。每层的残差值表明了该节点对最终输出值的残差产生了相应的影响。计算每层残差值的公式为：
δ(l)=((W(l))Tδ(l+1))·f′(z(l))，
其中，W(l)是第l层的权值。
在操作214中，根据各层残差计算公式更新权值和偏置项的参数值。所述“更新权值和偏置项的参数值”的计算公式为：
Figure BDA0001087017510000083
Figure BDA0001087017510000091
其中，
Figure BDA0001087017510000092
是第l层的偏置项，α是学习率。
在操作220中，对预测器20进行训练，以使预测器20能够对所述单列特征向量进行运算处理，从而得到图像的清晰度值。在这里，利用训练器30对预测器20进行训练。
图5是本发明实施例对预测器进行训练的方法的流程图。具体地，参照图5，所述对预测器20进行训练的方法包括以下操作：
在操作221中，将训练集输入到训练完毕的图像特征提取器10中，以得到所述训练集的单列特征向量。具体地，所述单列特征向量为一个200维的向量。
在操作222中，根据所述训练集的单列特征向量和标签，以计算得到因变量对自变量的回归值。
在操作230中，在对图像特征提取器10和预测器20进行训练后，还包括验证所述图像特征提取器10配合所述预测器20测量得到的清晰度值是否准确。在这里，利用验证器40来验证所述图像特征提取器10配合所述预测器20测量得到的清晰度值是否准确。
图6是本发明实施例验证测量得到的清晰度值是否准确的方法的流程图。具体地，参照图6，所述验证所述图像特征提取器10配合所述预测器20测量得到的清晰度值是否准确的方法具体包括以下操作：
在操作231中，将参考图像输入训练后的图像特征提取器10，所述图像特征提取器10对所述参考图像进行特征提取并且得到单列参考特征向量。
在操作232中，训练后的预测器20输入所述单列参考特征向量，并进行运算以得到参考图像的清晰度参考值。
在操作233中，根据计算得到的清晰度参考值和所述参考图像的主观清晰度值，计算皮尔逊线性相关参数(LCC)和斯皮尔逊排序先后相关参数(SROCC)；所述皮尔逊线性相关参数(LCC)和斯皮尔逊排序先后相关参数(SROCC)的计算公式为：
Figure BDA0001087017510000093
Figure BDA0001087017510000101
其中，n为样本数，
Figure BDA0001087017510000102
分别为{x1,x2,…,xn}和{y1,y2,…,yn}的均值，σx，σy分别为它们的标准差，rxi，ryi分别为xi和yi在各自数据序列中的排序位置。
需要说明的是，皮尔逊线性相关参数LCC(Pearson linear correlationcoefficient，LCC)用于度量预测结果的准确性。斯皮尔逊排序先后相关参数SROCC(Pearson rank-order correlation coefficient，SROCC)用于度量预测结果的单调性。
在操作234中，判断所述皮尔逊线性相关参数(LCC)的值是否大于或等于第一门限值、且所述斯皮尔逊排序先后相关参数(SROCC)的值是否大于或等于第二门限值；若是，则图像特征提取器和预测器训练完毕，能够得到精确的清晰度值；若否，则图像特征提取器和预测器未训练好，继续训练图像特征提取器和预测器。
所述第一门限值可以为0.8、0.9、0.91、0.92。优选地，在本实施例中，所述第一门限值优选为0.9。所述第二门限值也可以为0.8、0.9、0.91、0.92。优选地，在本实施例中，所述第二门限值优选为0.9。当然本发明并不限制于此，所述第一门限值和第二门限值可以根据实际情况作适当地更改。
需要说明的是，上述“对图像特征提取器10进行训练”、“对预测器20进行训练”、“验证所述图像特征提取器10配合所述预测器20测量得到的清晰度值是否准确”的方法操作是在构建测量图像清晰度值的系统时需要进行的操作，并不是每次测量图像清晰度值都要先进行上述操作。当测量图像清晰度值的系统训练、验证完毕后，相当于完成了系统的训练、学习过程。因此，在以后测量图像清晰度值时，可以实现无参考图像的清晰度值测量，并且能大大地提高测量的速度和准确率。所述测量图像清晰度值的操作具体如下：
继续参照图1、图2和图3，在操作240中，利用图像特征提取器10对图像进行卷积处理，以在所述图像的局部提取得到第一特征图像。具体地，利用图像接收模块11接收待测图像，利用卷积模块12对待测图像进行卷积处理。在这里，图像接收模块11直接输入待测图像，无需对待测图像进行过多的预处理，提高了工作效率。具体地，利用多个卷积核k对图像进行卷积处理，其计算公式如下：
Figure BDA0001087017510000103
其中，Xi为接收到的待测图像，l表示所在层数，k为卷积核，Mj为输入层的感受野，B为偏置项，f为激活函数。在这里，所述卷积核的个数优选为8个，但本发明并不限制于此。
在操作250中，利用图像特征提取器10对卷积处理得到的局部的第一特征图像进行降采样处理，以得到第二特征图像。具体地，利用降采样模块13对卷积处理得到的局部的第一特征图像进行降采样处理。所述降采样处理用于降低模型的空间分辨率，并消除偏移和图像扭曲。进行降采样处理的计算公式为：
Wj=f(βjp(yj))，
其中，p为采样函数，β为权重系数。
在操作260中，利用图像特征提取器10对降采样处理后的第二特征图像进行变换，以得到单列特征向量。在这里，经过多次卷积与降采样操作后，可以得到若干幅特征图像(特征向量)，将所有的特征向量变换为一列的单列特征向量。具体地，利用变换处理模块14对降采样处理后的第二特征图像进行变换。
在操作270中，利用预测器20输入所述单列特征向量，并对所述单列特征向量计算，以得到图像的清晰度值。在这里，利用运算处理模块21对所述单列特征向量进行图像清晰度值的计算。具体地，输入单列特征向量至输入层22，输入层22将图像特征提取器10得到的单列特征向量传递给模式层22，所述模式层23与所述单列特征向量中的每一样本数据一一对应，和层211与模式层23全连接，并且求和层211与模式层23之间进行运算(如下“所述预测器20对图像进行清晰度值计算的公式”所示)，输出层212通过计算求和层211的两个输出商数，得到最终的图像的清晰度值。所述预测器20对图像进行清晰度值计算的公式为：
Figure BDA0001087017510000111
其中，Xi，Y为样本观测值，σ为光滑因子，n为样本数目。
优选地，在本发明实施例中，用于测量图像清晰度值的系统及方法的参数具体为：(1)接收到的待测图像提取图像块个数为200；(2)接收到的待测图像块的尺寸为[16 16]；(3)卷积核的尺寸为[7 7]；(4)卷积核的个数为8；(5)迭代次数为120次；(6)广义回归神经网络的泛化参数为0.01；(6)验证参数为1.8，所述验证参数用于网络学习优劣的选取。当然本发明并不限制于此。
由于皮尔逊线性相关参数(LCC)和斯皮尔逊排序先后相关参数(SROCC)的取值范围为0～1，皮尔逊线性相关参数(LCC)和斯皮尔逊排序先后相关参数(SROCC)的取值越大，说明测量图像清晰度值的系统的精度越高、性能越优。
皮尔逊线性相关参数LCC对比结果如表1所示。请参照表1，无论是在LIVE，CSIQ库上，还是在TID2008和TID2013库上，本实施例提出的图像特征提取器10为卷积神经网络(CNN)、预测器20为广义回归神经网络(GRNN)的系统(CNN-GRNN)能够有效地预测图像的敏锐度。同样地，本发明的另一实施例提出的图像特征提取器10为卷积神经网络(CNN)、预测器20为支持向量回归(SVR)的系统(CNN-SVR)也能够达到同样的技术效果。尤其在CSIQ，TID2008和TID2013库上，广义回归神经网络构成的系统(CNN-GRNN)和支持向量回归构成的系统(CNN-SVR)比其它三个算法构成的系统测量出来的清晰度值都更加可靠(大致高0.05到0.16)，更加有效和准确。
斯皮尔逊排序先后相关参数SROCC对比结果如表2所示。请参照表2，无论是在LIVE，CSIQ库上，还是在TID2008和TID2013库上，图像特征提取器10为卷积神经网络(CNN)、预测器20为广义回归神经网络(GRNN)的系统(CNN-GRNN)和图像特征提取器10为卷积神经网络(CNN)、预测器20为支持向量回归(SVR)构成的方案都优于其它方案。更进一步地，广义回归神经网络构成的系统(CNN-GRNN)和支持向量回归构成的系统(CNN-SVR)在TID2008和TID2013库上的准确性和有效性更高。
表1皮尔逊线性相关参数LCC测试结果
Figure BDA0001087017510000121
表2斯皮尔逊排序先后相关参数SROCC测试结果
Figure BDA0001087017510000131
综上所述，根据本发明的实施例，所述测量图像清晰度值的方法能够利用特征提取器对待测图像进行快速的卷积、降采样处理得到单列特征向量，利用预测器对单列特征向量进行快速计算以得到图像的清晰度值。本发明的用于测量图像清晰度值的系统在训练结束后可以快速测量图像的清晰度值，其训练的难度低，用到的参数少、测量得到的清晰度值准确高且实时性强，能够广泛运用于光学成像系统和医学成像系统中。
虽然已经参照特定实施例示出并描述了本发明，但是本领域的技术人员将理解：在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在此进行形式和细节上的各种变化。

Claims (6)

1.一种测量图像清晰度值的方法，其特征在于，包括：
利用图像特征提取器对图像进行卷积处理，以在所述图像的局部提取得到第一特征图像；
利用图像特征提取器对卷积处理得到的第一特征图像进行降采样处理，以得到分辨率较低的第二特征图像；
经过多次卷积与降采样处理后得到多个第二特征图像；
利用图像特征提取器对所有降采样处理后的第二特征图像进行列变换，以得到一列的单列特征向量；
利用预测器对所述单列特征向量进行清晰度值的计算，以得到图像的清晰度值。
2.根据权利要求1所述的测量图像清晰度值的方法，其特征在于，在利用图像特征提取器对图像进行卷积处理之前，还包括：
对图像特征提取器进行训练，以使图像特征提取器能够对图像进行卷积、降采样处理，从而得到单列特征向量；
对预测器进行训练，以使所述预测器能够对所述单列特征向量进行运算处理，从而得到图像的清晰度值。
3.根据权利要求2所述的测量图像清晰度值的方法，其特征在于，在对图像特征提取器和预测器进行训练后，还包括验证所述图像特征提取器配合所述预测器测量得到的清晰度值，验证所述图像特征提取器配合所述预测器测量得到的清晰度值的方法包括：
将参考图像输入训练后的图像特征提取器，所述图像特征提取器对所述参考图像进行特征提取并且得到单列参考特征向量；
训练后的预测器输入所述单列参考特征向量，并进行运算以得到参考图像的清晰度参考值；
根据计算得到的清晰度参考值和所述参考图像的主观清晰度值，计算皮尔逊线性相关参数(LCC)和斯皮尔逊排序先后相关参数(SROCC)；
判断所述皮尔逊线性相关参数(LCC)的值是否大于或等于第一门限值、且所述斯皮尔逊排序先后相关参数(SROCC)的值是否大于或等于第二门限值；若是，则图像特征提取器和预测器训练完毕；若否，则图像特征提取器和预测器未训练完毕，继续训练图像特征提取器和预测器。
4.根据权利要求2所述的测量图像清晰度值的方法，其特征在于，对图像特征提取器进行训练的方法包括：
初始化，输入训练集至图像特征提取器；
计算图像特征提取器的平均平方误差；
判断所述平均平方误差是否收敛；若所述平均平方误差收敛，则训练结束；若否，则计算残差；
将残差进行逐层反向传递，以得到每层的残差值；
更新权值和偏置项的参数值。
5.根据权利要求2所述的测量图像清晰度值的方法，其特征在于，对预测器进行训练的方法包括：
将训练集输入到训练完毕的图像特征提取器中，以得到所述训练集的局部的单列特征向量；
根据所述训练集的单列特征向量和标签，以得到因变量对自变量的回归值。
6.一种用于测量图像清晰度值的系统，用权利要求1至5任一项所述的测量图像清晰度值的方法来测量图像的清晰度值，其特征在于，所述系统包括：
图像特征提取器，被构造为：接收图像；在所述图像的局部提取得到第一特征图像；对提取到的第一特征图像进行模糊处理，以得到分辨率较低的第二特征图像；对处理得到的第二特征图像变换为单列特征向量；
预测器，被构造为：对所述单列特征向量进行计算打分，以得到图像的清晰度值。
CN201610702576.1A 2016-08-22 2016-08-22 用于测量图像清晰度值的系统及其方法 Active CN106355195B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610702576.1A CN106355195B (zh) 2016-08-22 2016-08-22 用于测量图像清晰度值的系统及其方法
PCT/CN2016/096658 WO2018035794A1 (zh) 2016-08-22 2016-08-25 用于测量图像清晰度值的系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610702576.1A CN106355195B (zh) 2016-08-22 2016-08-22 用于测量图像清晰度值的系统及其方法

Publications (2)

Publication Number Publication Date
CN106355195A CN106355195A (zh) 2017-01-25
CN106355195B true CN106355195B (zh) 2021-04-23

Family

ID=57844657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610702576.1A Active CN106355195B (zh) 2016-08-22 2016-08-22 用于测量图像清晰度值的系统及其方法

Country Status (2)

Country Link
CN (1) CN106355195B (zh)
WO (1) WO2018035794A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874957A (zh) * 2017-02-27 2017-06-20 苏州大学 一种滚动轴承故障诊断方法
CN110443881B (zh) * 2019-05-29 2023-07-07 重庆交通大学 桥面形态变化识别桥梁结构损伤的cnn-grnn方法
CN111191629B (zh) * 2020-01-07 2023-12-15 中国人民解放军国防科技大学 一种基于多目标的图像能见度检测方法
CN111242911A (zh) * 2020-01-08 2020-06-05 来康科技有限责任公司 一种基于深度学习算法确定图像清晰度的方法及系统
CN111368875B (zh) * 2020-02-11 2023-08-08 浙江昕微电子科技有限公司 基于stacking无参考型超分辨图像质量评价方法
CN111798414A (zh) * 2020-06-12 2020-10-20 北京阅视智能技术有限责任公司 显微图像的清晰度确定方法、装置、设备及存储介质
CN111885297B (zh) * 2020-06-16 2022-09-06 北京迈格威科技有限公司 图像清晰度的确定方法、图像对焦方法及装置
CN112330666B (zh) * 2020-11-26 2022-04-29 成都数之联科技股份有限公司 基于改进孪生网络的图像处理方法及系统及装置及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310486A (zh) * 2013-06-04 2013-09-18 西北工业大学 大气湍流退化图像重建方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009023828A1 (en) * 2007-08-15 2009-02-19 Indiana University Research & Technology Corporation System and method for measuring clarity of images used in an iris recognition system
CN101426134A (zh) * 2007-11-01 2009-05-06 上海杰得微电子有限公司 用于视频编解码的硬件装置及方法
CN101872424B (zh) * 2010-07-01 2013-03-27 重庆大学 基于Gabor变换最优通道模糊融合的人脸表情识别方法
CN101996406A (zh) * 2010-11-03 2011-03-30 中国科学院光电技术研究所 无参考结构清晰度图像质量评价方法
CN102393960A (zh) * 2011-06-29 2012-03-28 南京大学 一种图像的局部特征描述方法
CN102881010B (zh) * 2012-08-28 2015-03-11 北京理工大学 基于人眼视觉特性的融合图像感知清晰度评价方法
US9325985B2 (en) * 2013-05-28 2016-04-26 Apple Inc. Reference and non-reference video quality evaluation
CN103761521A (zh) * 2014-01-09 2014-04-30 浙江大学宁波理工学院 一种基于局部二值模式的显微图像清晰度测量方法
US9384422B2 (en) * 2014-04-04 2016-07-05 Ebay Inc. Image evaluation
CN104134204B (zh) * 2014-07-09 2017-04-19 中国矿业大学 一种基于稀疏表示的图像清晰度评价方法和装置
CN104902267B (zh) * 2015-06-08 2017-02-01 浙江科技学院 一种基于梯度信息的无参考图像质量评价方法
CN105740894B (zh) * 2016-01-28 2020-05-29 北京航空航天大学 一种高光谱遥感图像的语义标注方法
CN105809704B (zh) * 2016-03-30 2019-03-15 北京小米移动软件有限公司 识别图像清晰度的方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310486A (zh) * 2013-06-04 2013-09-18 西北工业大学 大气湍流退化图像重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FSIM: A Feature Similarity Index for Image Quality Assessment;Lin Z.等;《IEEE Transactions on Image Processing》;20110831;第20卷(第8期);第2378-2386页 *
一种无参考监控视频图像清晰度评价方法;邱铭杰 等;《华东理工大学学报（自然科学版）》;20140831;第40卷(第4期);第465-468页 *

Also Published As

Publication number Publication date
CN106355195A (zh) 2017-01-25
WO2018035794A1 (zh) 2018-03-01

Similar Documents

Publication Publication Date Title
CN106355195B (zh) 用于测量图像清晰度值的系统及其方法
Lopez et al. Deep single image camera calibration with radial distortion
CN106920215B (zh) 一种全景图像配准效果的检测方法
US10614337B2 (en) Information processing apparatus and information processing method
CN106910192B (zh) 一种基于卷积神经网络的图像融合效果评估方法
JP7028333B2 (ja) 照明条件の設定方法、装置、システム及びプログラム並びに記憶媒体
CN109522850B (zh) 一种基于小样本学习的动作相似度评估方法
Wang et al. Image quality assessment based on local linear information and distortion-specific compensation
CN109598220A (zh) 一种基于多元输入多尺度卷积的人数统计方法
CN110879982A (zh) 一种人群计数系统及方法
CN112052868A (zh) 模型训练方法、图像相似度度量方法、终端及存储介质
CN112561807B (zh) 一种基于卷积神经网络的端到端径向畸变校正方法
CN112258537B (zh) 一种基于卷积神经网络的监督暗视觉图像边缘检测方法
CN107644203B (zh) 一种形状自适应分类的特征点检测方法
Su et al. Blind natural image quality prediction using convolutional neural networks and weighted spatial pooling
CN106682604B (zh) 一种基于深度学习的模糊图像检测方法
CN112396167A (zh) 一种外观相似度与空间位置信息融合的回环检测方法
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
CN114913086B (zh) 基于生成对抗网络的人脸图像质量增强方法
CN114419716B (zh) 一种人脸图像面部关键点标定的校准方法
CN116051421A (zh) 基于多维度的内窥镜图像质量评价方法、装置、设备及介质
CN113298098B (zh) 基础矩阵估计方法及相关产品
CN115661094A (zh) 基于改进yolox模型的工业瑕疵检测方法
CN115331021A (zh) 基于多层特征自身差异融合的动态特征提取与描述方法
CN111612766B (zh) 图像质量评价方法、装置和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170125

Assignee: Guangdong Henghui Survey and Mapping Engineering Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980037198

Denomination of invention: System and method for measuring image clarity value

Granted publication date: 20210423

License type: Common License

Record date: 20230628

Application publication date: 20170125

Assignee: Guangdong Wuji Construction Engineering Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980037195

Denomination of invention: System and method for measuring image clarity value

Granted publication date: 20210423

License type: Common License

Record date: 20230628

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170125

Assignee: Dongguan Hezhi Intelligent Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980040928

Denomination of invention: System and method for measuring image clarity value

Granted publication date: 20210423

License type: Common License

Record date: 20230831

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170125

Assignee: Dongguan Shangyi Trading Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980041613

Denomination of invention: System and method for measuring image clarity value

Granted publication date: 20210423

License type: Common License

Record date: 20230912

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170125

Assignee: SHENZHEN HUAYUNXINCHUANG TECHNOLOGY CO.,LTD.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980043793

Denomination of invention: System and method for measuring image clarity value

Granted publication date: 20210423

License type: Common License

Record date: 20231018

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170125

Assignee: SHENZHEN BUTT JOINT PLATFORM TECHNOLOGY DEVELOPMENT CO.,LTD.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044059

Denomination of invention: System and method for measuring image clarity value

Granted publication date: 20210423

License type: Common License

Record date: 20231023