CN110400335A - 基于深度学习的纹理图像质量估计方法 - Google Patents

Abstract

本发明基于深度学习的纹理图像质量估计方法，包括以下步骤：步骤1：样本采集：采集将进行质量评价的纹理图像；步骤2：样本处理与标注；步骤3：建立深度学习网络，步骤4：为两种深度学习网络编码相应样本以便输入网络，设置网络的每一层属性、参数及训练停止条件，开始训练；步骤5：给出质量估计：利用学习到的深度网络对待处理纹理图像进行预测，直接输出得到其质量等级预测图像。本发明方法不需要对原始纹理图像做预处理，利用深度学习算法对图像进行学习和归纳，得到高分类精度的深度网络，从而对输入图像的每一局部块进行预测，组合预测结果，得到最后的质量图和方向场估计图。

Description

基于深度学习的纹理图像质量估计方法

技术领域

本发明涉及纹理图像质量估计领域，特别涉及一种基于深度学习的纹理图像质量估计方法。

背景技术

纹理是图像的重要特征和属性，是区分不同物体和进行图像分析的重要依据。图像的纹理在图像的采集过程中极易受到成像器件的噪声、光路和成像对象本身条件的影响，造成伪影、模糊、信息缺失等低质量图像情况。低质量纹理图像的可用信息较少，但却存在较多的干扰和错误信息，通常应避免进入后续处理阶段，或者对其进行质量增强之后再进入后续处理。纹理图像的质量估计是对纹理的清晰度评价，纹理清晰局部可标示较高的质量值，而纹理模糊、缺失区域赋予低质量值。其意义在于指导后续处理将质量值较高区域作为识别和分析的重点区域，这样可有效避免低质量区域所带来的误导，提高分析和识别的正确率，并节省计算。所以质量估计是图像预处理的重要步骤，对图像后期的增强、识别和分析都具有重要的参考价值。

目前用于纹理质量估计的方法主要有：基于图像的局部梯度的估计方法、基于纹理脊谷线清晰度的估计方法、基于频域分析的估计方法，也有专家提出基于局部均值、方差、一致性、能量集中度等特征的估计方法以及使用方向、频率、能量等特征结合机器学习进行估计的方法。这些方法都有其优点，但同时也存在着不足，其主要原因在于单一的分析方法很难给出全面准确的纹理质量评价指标，而多种分析方法的结合又往往很难做到完美融合，基于特征和机器学习的方法其特征的计算也较为复杂。

发明内容

本发明的目的是针对上述现有技术存在的缺陷，提供一种基于深度学习的纹理图像质量估计方法，该方法不需要对原始纹理图像做预处理，利用深度学习算法对图像进行学习和归纳，得到高分类精度的深度网络，从而对输入图像的每一局部块进行预测，组合预测结果，得到最后的质量图和方向场估计图。

本发明为实现上述目的采用的技术方案是：基于深度学习的纹理图像质量估计方法，包括以下步骤：

步骤1：样本采集：采集将进行质量评价的纹理图像，包括待分析处理的目标纹理区域前景和非目标纹理区域的背景；

步骤2：样本处理与标注：通过下面两种方法的任一种方法进行，方法一：从纹理图像中分别采集m×m的纹理前景图p例和背景图n例作为训练样本，m是样本的归一化尺寸，单位是像素，其中前景图像是指包含目标纹理的图像区域，背景图是指非目标纹理的任何其他图像区域；方法二：为每张纹理图像建立与其具有相同尺寸的标注图像，标注图像具有多级取值，分别表示对应的纹理图像像素为中心的局部区域的质量等级；

步骤3：建立深度学习网络：根据步骤2所选方法分别按照下面两种方法进行，方法-：对于步骤2中利用方法一得到的标注样本，建立二分类深度学习网络；方法二：对于步骤2中利用方法二得到的标注样本，建立端到端分类器，对图像每一像素点进行质量值等级预测；

步骤4：为两种深度学习网络编码相应样本以便输入网络，设置网络的每一层属性、参数及训练停止条件，开始训练；

步骤5：给出质量估计：利用学习到的深度网络对待处理纹理图像进行预测，对于步骤3选用方法二得到的网络，可以直接输出得到其质量等级预测图像；对于步骤3选用方法一得到的二分类器网络，还需要经过步骤5.1-5.4的处理；

步骤5.1：初始化质量图；

步骤5.2：从纹理图像左上角开始，依次取m×m的图像块，作为深度网络的输入，相邻图像块的重叠区域为m/a；

步骤5.3：处理识别结果：若某m×m图像块识别为前景，则对应的质量图m×m区域均加1，若识别为背景，则相应区域加0；

步骤5.4：最终叠加得到质量图，质量图中的最大值为a²*x，其中a是平移系数，控制取样窗口每次移动的像素大小，x为质量图填充的非零比例系数。

本发明基于深度学习的纹理图像质量估计方法具有如下有益效果：本发明提出了一种利用深度学习算法解决纹理图像质量估计的方法，深度学习具有自主总结提取强可分性特征的能力，在图像分类应用中表现出明显优势，本发明将纹理图像质量估计问题转化为图像识别问题，利用深度学习在图像分类中的高精准特点，实现了纹理图像的质量估计。

下面结合附图和实施例对本发明基于深度学习的纹理图像质量估计方法作进一步的说明。

附图说明

图1是本发明基于深度学习的纹理图像质量估计方法的图像分块示意图；

图2是本发明基于深度学习的纹理图像质量估计方法中基于深度学习的二分类器学习示意图；

图3是本发明基于深度学习的纹理图像质量估计方法中基于深度学习网络的质量估计示意图(方法一)；

图4是本发明基于深度学习的纹理图像质量估计方法中质量图的最大值分布示意图；

图5是本发明基于深度学习的纹理图像质量估计方法中基于深度学习网络的质量估计示意图(方法二)。

具体实施方式

本发明基于深度学习的纹理图像质量估计方法，如图1至5所示，本实施例以指纹图像为对象，说明基于深度学习的纹理图像质量估计方法。具体实施方式如下：

本发明基于深度学习的纹理图像质量估计方法，对于方法一：包括以下步骤：

步骤1：样本采集：采集将进行质量评价的纹理图像，包括待分析处理的目标纹理区域前景和非目标纹理区域的背景。本实施例，利用NIST SD4/27和FVC等指纹数据库生成指纹前景和背景样本数据；前景样本的生成方法是，人工截取64×64的有效指纹区域，或利用现成的指纹分割算法，截取64×64的指纹区域，再进行人工删除非指纹样本；同理，人工截取或使用算法生成背景样本数据。

步骤2：样本处理与标注：从纹理图像中分别采集m×m的纹理前景图p例和背景图n例作为训练样本，m是样本的归一化尺寸，单位是像素，其中前景图像是指包含目标纹理的图像区域，背景图是指非目标纹理的任何其他图像区域，将前景样本和背景样本分别标注为1、-1。

步骤3：建立深度学习网络，建立二分类深度学习网络，本实施例为建立LeNet卷积神经网络，如图2所示，调用Caffe深度学习框架搭建LeNet深度学习网络，分别设置数据层、卷积层、池化层、内积层、激活层等参数。

步骤4：为两种深度学习网络编码相应样本以便输入网络，设置网络的每一层属性、参数及训练停止条件，开始训练；本实施例将图像文件及其对应标注写入文本文件，并转化成深度网络能高效处理的数据格式(如mdb格式)，设定学习率、动量因子、最大迭代次数等参数，将样本数据输入深度网络，调整得到分类准确率0.99以上的网络。

步骤5：给出质量估计：利用学习到的深度网络对待处理纹理图像进行预测，按图1方式，将待处理图像进行分块，并预测每一图像块的类别，具体方法如图4所示，得到二分类器网络，之后还需要经过步骤5.1-5.4的处理。

步骤5.1：初始化质量图为0；

步骤5.2：如图1所示，从纹理图像左上角开始，依次取m×m像素的图像块，作为深度网络的输入，相邻取样图像块的平移距离为m/a像素，m是取样图像块的尺寸，单位为像素，a是控制平移的大小；在本实施例，m＝64，a＝4，从指纹图像左上角开始，依次取64×64像素的图像块，作为神经网络的输入数据，相邻图像块的偏移为64/4＝16像素。

步骤5.3：处理识别结果：若某m×m图像块识别为目标纹理区域前景，则对应的质量图m×m区域均加1，若识别为非目标纹理区域的背景，则相应区域加0，m是取样图像块的尺寸，在本实施例，m＝64，若某64×64图像块识别为1(前景)，则在质量图相应的64×64区域均加1，若识别为背景，则该区域加0。

步骤5.4：如图3所示，最终叠加得到质量图，质量图中的最大值为a²*x，其中a是平移系数，控制取样窗口每次移动的像素大小，x为质量图填充的非零比例系数，x可置为1；在本实施例，依次历遍整图，最终得到叠加的质量图，其最大值分布如图4所示，本实施例中质量图的最大值为4²＝16。

本发明基于深度学习的纹理图像质量估计方法，对于方法二：包括以下步骤：

步骤1：样本采集：采集将进行质量评价的纹理图像，包括待分析处理的目标纹理区域前景和非目标纹理区域的背景；本实施例是基于NIST SD4/27和FVC等指纹数据库，

步骤2：样本处理与标注：为每张纹理图像建立与其具有相同尺寸的标注图像，标注图像即Mask图，标注图像(Mask图像)具有多级取值，分别表示对应的纹理图像像素为中心的局部区域的质量等级；本实施例，由人工或使用算法标注，生成与指纹图像对应的质量等级图像，以64×64为处理窗，计算处理窗内的方向一致性强度，计算如下：

①求图像微分：

②计算并构建结构张量

③结构张量T是对称阵，具有2个特征值：

④求一致性强度：

其中，f(x,y)为图像(x,y)处像素；一致性强度coherence∈[0,1]，可将其区间均分为4级，0表示非目标纹理的背景，1表示低质量区域，2表示中等质量区域，3表示高质量区域。

步骤3：建立深度学习网络(如：FCN网络)，建立端到端分类器，对图像每一像素点进行质量值等级预测。

步骤4：为两种深度学习网络编码相应样本以便输入网络，设置网络的每一层属性、参数及训练停止条件，开始训练；设置网络的层属性、层数量、学习因子等参数，输入样本及标注数据进行网络训练，使其准确率达到0.99以上。

步骤5：给出质量估计：如图5所示，利用学习到的深度网络对待处理纹理图像进行预测，将待质量估计的图像输入深度网络，预测得到质量等级预测图像。

以上实施例仅为本发明的较佳实施例，本发明并不限于上述实施例列举的形式，凡在本发明的精神和原则之内所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (1)

1.基于深度学习的纹理图像质量估计方法，其特征在于，包括以下步骤：

步骤1：样本采集：采集将进行质量评价的纹理图像，包括待分析处理的目标纹理区域前景和非目标纹理区域的背景；

步骤2：样本处理与标注：通过下面两种方法的任一种方法进行，方法一：从纹理图像中分别采集m×m的纹理前景图p例和背景图n例作为训练样本，m是样本的归一化尺寸，单位是像素，其中前景图像是指包含目标纹理的图像区域，背景图是指非目标纹理的任何其他图像区域；方法二：为每张纹理图像建立与其具有相同尺寸的标注图像，标注图像具有多级取值，分别表示对应的纹理图像像素为中心的局部区域的质量等级；

步骤3：建立深度学习网络：根据步骤2所选方法分别按照下面两种方法进行，方法-：对于步骤2中利用方法一得到的标注样本，建立二分类深度学习网络；方法二：对于步骤2中利用方法二得到的标注样本，建立端到端分类器，对图像每一像素点进行质量值等级预测；

步骤4：为两种深度学习网络编码相应样本以便输入网络，设置网络的每一层属性、参数及训练停止条件，开始训练；

步骤5：给出质量估计：利用学习到的深度网络对待处理纹理图像进行预测，对于步骤3选用方法二得到的网络，可以直接输出得到其质量等级预测图像；对于步骤3选用方法一得到的二分类器网络，还需要经过步骤5.1-5.4的处理；

步骤5.1：初始化质量图；

步骤5.2：从纹理图像左上角开始，依次取m×m的图像块，作为深度网络的输入，相邻图像块的重叠区域为m/a；

步骤5.3：处理识别结果：若某 m×m图像块识别为前景，则对应的质量图m×m区域均加1，若识别为背景，则相应区域加0；

步骤5.4：最终叠加得到质量图，质量图中的最大值为a²*x，其中a是平移系数，控制取样窗口每次移动的像素大小，x为质量图填充的非零比例系数。