CN110378307A - 基于深度学习的纹理图像方向场估计方法 - Google Patents

Abstract

本发明基于深度学习的纹理图像方向场估计方法，包括以下步骤：步骤1：样本采集：采集将进行方向场评价的纹理图像；步骤2：样本处理与标注，将纹理方向离散为N个方向，分别为各个方向采集纹理子图像，作为训练样本：步骤3：建立深度学习网络；步骤4：准备输入样本并编码标签，同时设置训练参数进行训练；步骤5：给出方向场估计。本发明方法将纹理的方向场估计问题转化为纹路图像的识别问题，利用深度学习算法对图像的纹理特征进行学习和归纳，得到高分类精度的深度网络，通过对输入局部图像的块进行方向预测，最终得到整个纹理图像的方向场。

Description

基于深度学习的纹理图像方向场估计方法

技术领域

本发明涉及纹理图像方向场估计领域，特别涉及一种基于深度学习的纹理图像方向场估计方法。

背景技术

图像纹理的方向表征了同一灰度强度或颜色延展的角度或趋势，是纹理的基本属性，对于图像的分析和识别具有重要参考价值，通常是图像增强、图像特征提取、图像识别等的前置处理，一直以来都是图像处理中的研究热点。

图像的方向场估计是图像预处理阶段的重要步骤，对图像后期的增强、分析和识别都具有重要的参考价值。目前最为常用的方向场估计方法是基于纹理图像的局部水平、垂直差分信息进行梯度的方向计算，并以此方向的垂直方向作为该局部或局部中心点的方向。该方法对于清晰纹理区域具有较好的估计效果，且计算速度快，但对于有干扰纹理或纹理信息缺失的区域容易得到错误的结果。基于局部图像方向投影分析的方法在一定程度上可以对抗干扰纹理和纹理缺失的影响，但这种方法对于纹理方向转变的区域很难分析得到正确的结果。基于方向相关特征参数结合机器识别的方法是一种有别于传统图像处理的新思路，但目前该类方法设计的特征参数通常较多，计算复杂，且无法保证其可分性，得到的效果仍有很大提升空间。所以，对于纹理方向场的估计目前仍然没有在鲁棒性和实时性同时得到满足的方法。

发明内容

本发明的目的是针对上述现有技术存在的缺陷，提供一种基于深度学习的纹理图像方向场估计方法，该方法不需要对原始纹理图像做预处理，将纹理的方向场估计问题转化为纹路图像的识别问题，利用深度学习算法对图像的纹理特征进行学习和归纳，得到高分类精度的深度网络，通过对输入局部图像的块进行方向预测，并最终组合得到整个纹理图像的方向场。

本发明为实现上述目的采用的技术方案是：基于深度学习的纹理图像方向场估计方法，包括以下步骤：

步骤1：样本采集：采集将进行方向场评价的纹理图像，包括待分析处理的目标纹理区域前景和非目标纹理区域的背景；

步骤2：样本处理与标注：通过下面两种方法的任一种方法进行，方法一：将纹理方向离散为N个方向，分别为各个方向采集m×m尺寸的纹理子图像p_n例，作为训练样本；方法二，将纹理方向场离散为N个方向，建立与纹理图像具有相同尺寸的方向图，方向图以N个不同的值表示N个不同的离散方向，其中m为取样样本的像素尺寸：

步骤3：建立深度学习网络：根据步骤2所选方法分别按照下面两种方法进行，方法-：对于步骤2中利用方法一得到的标注样本，建立N分类深度学习网络；方法二：对于步骤2中利用方法二得到的标注样本，建立端到端分类器，实现像素的方向等级预测；

步骤4：为两种深度学习网络编码相应样本并作为网络输入，设置网络的每一层属性和参数，及训练停止条件等，开始训练；

步骤5：给出方向场估计：利用学习到的深度网络对待处理纹理图像块进行预测分类，对于步骤3选用方法二得到的网络，可以直接输出得到其方向场预测图像；对于对于步骤3选用方法一得到的二分类器网络，还需要经过步骤5.1-5.4的处理；

步骤5.1：初始化方向场图；

步骤5.2：从纹理图像左上角开始，设定取样窗口为m×m像素，每次平移[m/a]，依次取图像块作为分类器输入，其中a是平移系数，控制取样窗口每次移动的像素大小；

步骤5.3：分类每一图像块，方法是：将m×m图像块输入深度分类网络，若预测结果为类别k，则赋值方向标注图相应区域的中心[m/a]×[m/a]区域为k。

步骤5.4：最终将方向标注图转化为相应的方向图。

本发明基于深度学习的纹理图像方向场估计方法具有如下有益效果：本发明提出了一种利用深度学习算法解决纹理图像方向场估计的方法，将传统的纹理方向估计问题转化为图像分类问题，为此类问题的解决提供了新思路；该方法不需要对原始纹理图像做预处理，将纹理的方向场估计问题转化为纹路图像的识别问题，利用深度学习算法对图像的纹理特征进行学习和归纳，得到高分类精度的深度网络，通过对输入局部图像的块进行方向预测，并最终组合得到整个纹理图像的方向场。

下面结合附图和实施例对本发明基于深度学习的纹理图像方向场估计方法作进一步的说明。

附图说明

图1是本发明基于深度学习的纹理图像方向场估计方法的图像分块示意图；

图2是本发明基于深度学习的纹理图像方向场估计方法中基于深度学习的方向分类器学习示意图；

图3是本发明基于深度学习的纹理图像方向场估计方法中基于深度学习网络的方向场估计示意图(方法一)；

图4是本发明基于深度学习的纹理图像方向场估计方法中基于深度学习网络的方向场估计示意图(方法二)；

图5是纹理方向划分示意图。

具体实施方式

本发明基于深度学习的纹理图像方向场估计方法，如图1至4所示，本实施例以指纹图像为例，说明具体实施方式：

本发明基于深度学习的纹理图像方向场估计方法，对于方法一：包括以下步骤：

步骤1：样本采集：采集将进行方向场评价的纹理图像，包括待分析处理的目标纹理区域前景和非目标纹理区域的背景；本实施例，利用NIST SD4/27和FVC等指纹数据库，分别采集64×64的指纹前景和背景样本，其中首先将0°～360°的方向区间压缩和均匀离散，由于一般情况只关心指纹的纹理角度，并不关心起止的指向，所以方向区间压缩为[-90°～90°)，即可覆盖所有可能的角度，然后，指纹方向离散为[-90,-67.5,-45,-22.5,0,22.5,45,67.5]八个方向，对每个方向采集相应纹理取向范围的子图像样本数据分别为4000例，同样对于非指纹背景图像也采集4000例，前景样本由纹理取向较为明显的样本组成；背景样本，要求不包括明显指纹区域。

步骤2：样本处理与标注：将纹理方向离散为N个方向，分别为各个方向采集m×m尺寸的纹理子图像p_n例，作为训练样本，对于N，设定纹理方向范围为[-90°～90°)，不在此范围的方向可以通过角的变换公式变换到此范围，如当纹理取向θ∈[90°，270°)时，通过θ＝θ-180°将其变换至区间[-90°～90°)；将此方向范围均匀划分为N个小区间，则每个小区间大小为180°/N，N越大方向离散的精度越大，N可根据需要设定，示意图如图5所示；其中m为取样样本的像素尺寸，单位为像素，建议取值[32,64]；在本实施例，样本标注的具体方法是：

步骤2.1：设定纹理取向的有效范围为[-90°～90°)，若纹理取向θ∈[90°，270°)时，通过θ＝θ-180°将其变换至区间[-90°～90°)；

步骤2.2：均匀分割[-90°～90°)为8个区间，并定义每个区间的取值依次为θ_k＝-90,-67.5,-45,-22.5,0,22.5,45,67.5，k＝1,2,...,8，对8个方向值依次标注为其下标k；

步骤2.3：基于样本梯度信息计算样本的方向，其计算公式如下：

①

②方向：

其中，为图像(u,v)处的水平梯度和垂直梯度，用下式求解，

其中f(x,y)为(x,y)处像素；w取值为64，与样本尺寸一致，θ为样本方向。步骤2.4：按照邻近原则，将样本标注为其纹理方向θ最接近的方向标注，如θ＝23°，则该样本标注为6。

步骤2.5：人工检查方向标注，剔除或改正标注明显错误的样本。

步骤3：建立深度学习网络：建立N分类深度学习网络；在本实施例如图2所示，学习9类深度分类网络，调用Caffe深度学习框架搭建LeNet深度学习网络；

步骤4：为两种深度学习网络编码相应样本并作为网络输入，设置网络的每一层属性和参数，及训练停止条件等，开始训练，本实施例将图像文件及其对应标注写入文本文件，并转化成深度网络能高效处理的.mdb数据格式，设置相应的分类类别数为9，输入图像归一化尺寸为64×64，动量因子0.9，最大迭代次数2000等参数，启用GPU进行学习，训练得到最终准确率为99.1％。

步骤5：给出方向场估计：利用学习到的深度网络对待处理纹理图像块进行预测分类，本实施例如图3所示，利用训练好的深度分类网络对待处理指纹图像进行预测，所述步骤5的具体方法是：

步骤5.1：初始化方向场图：初始化方向标注图为0。

步骤5.2：从纹理图像左上角开始，设定取样窗口为m×m像素，每次平移[m/a]，依次取图像块作为分类器输入，其中a是平移系数，控制取样窗口每次移动的像素大小，a越大，窗口每次移动的像素越小，否则越大；在本实施例，从指纹图像左上角开始，依次取64×64尺寸的图像块，相邻图像块每次的偏移为64/4＝16像素；

步骤5.3：分类每一图像块，方法是：将m×m图像块输入深度分类网络，若预测结果为类别k，则赋值方向标注图相应区域的中心[m/a]×[m/a]区域为k。在本实施例中，m＝64，a＝4，将64×64图像块输入深度分类网络，若预测结果为类别k，则赋值方向标注图相应区域的中心16×16区域为k。

步骤5.4：最终将方向标注图转化为相应的方向图。

本发明基于深度学习的纹理图像方向场估计方法，对于方法二：包括以下步骤：

步骤1：样本采集：采集将进行方向场评价的纹理图像，包括待分析处理的目标纹理区域前景和非目标纹理区域的背景；本实施例，由基于NIST SD4/27和FVC等指纹数据库等，取整张图像作为样本。

步骤2：样本处理与标注：将纹理方向场离散为N个方向，建立与纹理图像具有相同尺寸的方向图，方向图以N个不同的值表示N个不同的离散方向：本实施例，以64×64尺寸为处理窗逐像素移动计算其中心点方向：

①

②中心像素点的方向：

其中，为图像(u,v)处的水平梯度和垂直梯度，用下式求解，

其中f(x,y)为(x,y)处像素，θ为样本方向。

③根据θ所处的[0°，45°)、[45°，90°)、[90°，135°)、[135°，180°)区间，分别标注为1、2、3、4，背景用0标注。

④同样用64×64尺寸的窗滑动处理标注图，统计窗内的离散方向直方图，若中心像素所属方向的直方图的值小于最大方向直方图值的0.2，则改用8×8窗口统计方向直方图，并赋值中心像素点的方向标注值为方向直方图中的最大值对应的方向。

步骤3：建立深度学习网络：建立端到端分类器，实现像素的方向等级预测，在本实施例调用Caffe深度学习框架建立FNC深度学习网络；

步骤4：为两种深度学习网络编码相应样本并作为网络输入，设置网络的每一层属性和参数，及训练停止条件等，开始训练；在本实施例，默认其重要参数，设定分割目标为5，设置迭代次数为5000，启用GPU进行学习。训练得到最终准确率为98.8％。

步骤5：给出方向场估计：利用学习到的深度网络对待处理纹理图像块进行预测分类，本实施例如图4所示，将待分割指纹图像输入训练好的深度网络，得到预测的方向场等级预测图像。

以上实施例仅为本发明的较佳实施例，本发明并不限于上述实施例列举的形式，凡在本发明的精神和原则之内所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (1)

1.基于深度学习的纹理图像方向场估计方法，其特征在于，包括以下步骤：

步骤1：样本采集：采集将进行方向场评价的纹理图像，包括待分析处理的目标纹理区域前景和非目标纹理区域的背景；

步骤2：样本处理与标注：通过下面两种方法的任一种方法进行，方法一：将纹理方向离散为N个方向，分别为各个方向采集m×m尺寸的纹理子图像p _n 例，作为训练样本；方法二，将纹理方向场离散为N个方向，建立与纹理图像具有相同尺寸的方向图，方向图以N个不同的值表示N个不同的离散方向，其中m为取样样本的像素尺寸：

步骤3：建立深度学习网络：根据步骤2所选方法分别按照下面两种方法进行，方法-：对于步骤2中利用方法一得到的标注样本，建立N分类深度学习网络；方法二：对于步骤2中利用方法二得到的标注样本，建立端到端分类器，实现像素的方向等级预测；

步骤4：为两种深度学习网络编码相应样本并作为网络输入，设置网络的每一层属性和参数，及训练停止条件等，开始训练；

步骤5：给出方向场估计：利用学习到的深度网络对待处理纹理图像块进行预测分类，对于步骤3选用方法二得到的网络，可以直接输出得到其方向场等级预测图像；对于对于步骤3选用方法一得到的二分类器网络，还需要经过步骤5.1-5.4的处理；

步骤5.1：初始化方向场图；

步骤5.2：从纹理图像左上角开始，设定取样窗口为m×m像素，每次平移[m/a]，依次取图像块作为分类器输入，其中a是平移系数，控制取样窗口每次移动的像素大小；

步骤5.3：分类每一图像块，方法是：将m×m图像块输入深度分类网络，若预测结果为类别k，则赋值方向标注图相应区域的中心[m/a]×[m/a]区域为k。

步骤5.4：最终将方向标注图转化为相应的方向图。