CN106529490B - 基于稀疏自编码码本实现笔迹鉴别的系统及方法 - Google Patents
基于稀疏自编码码本实现笔迹鉴别的系统及方法 Download PDFInfo
- Publication number
- CN106529490B CN106529490B CN201611029775.7A CN201611029775A CN106529490B CN 106529490 B CN106529490 B CN 106529490B CN 201611029775 A CN201611029775 A CN 201611029775A CN 106529490 B CN106529490 B CN 106529490B
- Authority
- CN
- China
- Prior art keywords
- sample
- handwriting
- coding
- handwriting sample
- sparse self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012795 verification Methods 0.000 title abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 23
- 102100029768 Histone-lysine N-methyltransferase SETD1A Human genes 0.000 claims description 18
- 101000865038 Homo sapiens Histone-lysine N-methyltransferase SETD1A Proteins 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 238000003064 k means clustering Methods 0.000 claims description 13
- 101150117538 Set2 gene Proteins 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000654 additive Substances 0.000 claims description 5
- 230000000996 additive effect Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 abstract description 4
- 210000004027 cell Anatomy 0.000 description 12
- 230000004913 activation Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 235000006629 Prosopis spicigera Nutrition 0.000 description 1
- 240000000037 Prosopis spicigera Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
- G06V30/347—Sampling; Contour coding; Stroke extraction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明的基于稀疏自编码码本实现笔迹鉴别的系统及方法,包括图像预处理模块,用以对查询笔迹样本和参考笔迹样本图像进行预处理;参数学习模块,用以根据稀疏自编码和聚类方法来获得权重和码本的参数;特征提取模块,用以根据权重和码本来提取查询笔迹样本和参考笔迹样本图像的特征;距离计算模块,用以最终获得查询笔迹样本书写者的候选列表。采用该系统及方法,利用稀疏自编码来提取图像特征,对所获得的特征间距离进行比较排序,即可实现笔记鉴别,无需对原始笔记图像进行文本分割,相较以往的方法更简洁,对多语种的笔迹鉴别鲁棒性强。
Description
技术领域
本发明涉及计算机视觉技术领域,特别涉及笔记鉴别技术领域,具体是指一种基于智能策略实现主动加载内容的对等网络系统及方法。
背景技术
笔迹鉴别技术目的在于自动鉴别书写人的身份。由于笔迹鉴别在诸如司法、文物鉴别等领域有很广泛的应用,该技术越来越受到学术与工业方面的关注。
笔迹识别一般分为笔迹鉴别和笔迹校验。笔迹鉴别是指在已有参考笔迹样本的情况下,确定查询笔迹样本书写人的身份,而笔迹校验目的在于判断两份笔迹样本是否为同一人所写;笔迹识别还被分为文本相关的和文本无关的两类,文本相关是指书写人被要求书写一些指定内容,而文本无关是指对书写内容不作任何要求;另外,文本识别还被分为在线和离线的,离线文本识别只有笔迹图片,而在线文本识别除了笔迹图片,另外提供书写速度、轨迹、压力等等信息。本发明是一种离线文本无关的笔迹鉴别方法。
现有的计算机自动笔迹鉴别方法一般先提取笔迹样本图片的特征,再进行分类。其中基于码本的特征提取方法在近几年的研究中取得了很好的鉴别效果,其方法为首先使用不同的纹理分割算法来提取纹理图像块,从而生成码本;再通过码本来获得笔迹样本的纹理特征;最后通过比较纹理特征之间的距离来获得候选书写者名单。
现有的技术中,在生成码本之前,大部分需要进行文本分割,文本分割的好坏直接会影响到鉴别效果;另外,现有的码本对多语种的鲁棒性不高,即无法利用同一个码本来对不同的语种笔迹提取特征。文本分割和码本鲁棒性不高都会对该技术的实际应用效果产生影响,故现有的技术还需要有待改进的地方。
发明内容
本发明的目的是克服了上述现有技术的缺点,提供了一种基于稀疏自编码码本实现笔迹鉴别的系统及方法。
为了实现上述目的,本发明的基于稀疏自编码码本实现笔迹鉴别的系统及方法如下:
该计算机软件系统中基于稀疏自编码码本实现笔迹鉴别的系统,包括:
图像预处理模块,用以对查询笔迹样本和参考笔迹样本图像进行预处理,得到两者的二值化图像;
参数学习模块,用以根据稀疏自编码和k-means聚类方法来获得权重和码本的参数;
特征提取模块,用以根据权重和码本来提取查询笔迹样本和参考笔迹样本图像的特征;
距离计算模块,用以计算查询笔迹样本特征与参考笔迹样本特征之间的距离,并比较排序,最终获得查询笔迹样本书写者的候选列表。
该利用上述系统基于稀疏自编码码本实现笔迹鉴别的方法,包括以下步骤:
(1)对查询笔迹样本和参考笔迹样本图像进行预处理,得到两者的二值化图像;
(2)根据稀疏自编码和k-means聚类方法来获得权重和码本的参数;
(3)根据权重和码本来提取查询笔迹样本和参考笔迹样本图像的特征;
(4)计算查询笔迹样本特征与参考笔迹样本特征之间的距离,并比较排序,最终获得查询笔迹样本书写者的候选列表。
较佳地,所述的步骤(1)包括以下步骤:
(1-1)对所述灰度笔迹样本通过OTSU进行二值化,得到笔迹样本的二值化图像;
(1-2)对所述二值化图像进行去噪处理。
较佳地,所述步骤(2)包括以下步骤:
(2-1)设定一个固定大小的窗口,通过该窗口在所述每张参考笔迹样本的二值化图像中随机选取一定数量的第一子块Set 1样本集,作为训练稀疏自编码模型权重的样本集;
(2-2)采用稀疏自编码模型,将网络模型参数随机初始化;
(2-3)根据所述的第一子块Set 1样本集对稀疏自编码模型进行训练,得到权重参数;
(2-4)通过所述的窗口在每张参考笔迹样本的二值化图像中随机选取一定数量的第二子块Set 2样本集,该样本集数量需远大于第一子块Set 1样本集的数量;
(2-5)将所述的第二子块Set 2样本集作为稀疏自编码模型的前向输入,使用训练得到的权重参数,得到隐含层输出;
(2-6)对所述的隐含层输出采用k-means聚类算法,得到码本。
更佳地,所述的采用稀疏自编码模型为单隐含层的稀疏自编码模型或多隐含层的稀疏自编码模型。
更佳地,所述的将网络模型参数随机初始化,具体包括以下步骤:
(2-2-1)随机初始化网络权重参数,输入层和隐含层对应的权重参数矩阵W1和隐含层和输出层对应的权重参数矩阵W2为:
W1=rand(-r,r)hiddensize*visiblesize,
W2=rand(-r,r)visiblesize*hiddensize,
其中hiddensize表示稀疏自编码网络隐含层的个数,visiblesize表示输入层的个数,rand(-r,r)m*n表示大小为m*n的随机矩阵,其各个元素均为定值,且各个元素的值的取值范围为(-r,r),并且,当r取由上述对r进行求取的公式计算得出的值时能够使得训练过程更快收敛;
(2-2-2)初始化网络加性偏置参数,其中隐含层对应的偏置参数矩阵b1为零矩阵,大小为hiddensize*1,输出层对应的偏置参数矩阵b2为零矩阵,大小为visiblesize*1。
更佳地,所述的步骤(2-3)包括以下步骤:
(2-3-1)将第一子块Set 1样本集转化为一维向量作为稀疏自编码模型的输入,计算输出值:
其中sl表示第l层的单元数目,且不包含偏置项;表示第l层第i个单元的输出值且f表示一非线性激活函数sigmoid函数且f(x)=1/(1+e-x),且集合I={x(1),x(2),...,x(m)}表示第一子块Sct 1样本集,表示第l层第j个单元与第l+1层第i个单元之间的连接参数,表示第l+1层第i单元的偏置项,表示第l+1层第i单元输入加权和,该加权和包括偏置项。
(2-3-2)根据以下公式计算隐藏神经元j的平均激活度:
其中,aj(x(i))表示给定一个输入x(i),自编码神经网络隐藏神经元j的激活度,进一步,表示隐藏神经元j的平均激活度,其中,m为所述的第一子块Set 1样本集的数量。
根据以下公式计算惩罚因子使得平均激活度接近期望激活度ρ,ρ为稀疏性参数,接近于0,惩罚因子为:
根据以下公式计算稀疏自编码模型的损失函数:
其中hW,b(x(i))表示输入为x(i)时的输出,该输出包含参数W,b,y(i)表示输出值,y(i)=x(i),即输出值y(i)与输入值x(i)相同;λ表示权重衰减系数;β表稀疏值惩罚项的权重;sl表示第l层的单元数目,该单元数目不包含偏置项;
(2-3-3)使用梯度下降法更新稀疏自编码网络的权重参数和加性偏置参数,误差从网络的高层向底层反向传播,计算输出层,即第三层的每个输出单元i的残差:
其中,表示第l层的每个节点i的残差,其中,y是y(i)的矩阵表示,y=x,yi是y矩阵中输出单元下标为i的单个值;
计算隐含层,即第二层的每个输出单元i的残差:
其中,表示第2层第i个单元与第3层第j个单元之间的连接参数;
其中,稀疏自编码权重参数的更新公式为:
稀疏自编码偏置参数的更新公式为:
更佳地,所述的步骤(2-6)包括以下步骤:
(x1,x2,...,xn)表示隐含层输出,表示初始的k个均值点,算法按照以下两个步骤循环交替进行,并且,这一算法将在对观测的分配不再变化时收敛,循环结束时的集合就是所需的码本:
(2-6-1)分配:将每个观测值xp分配到聚类中
(2-6-2)更新:计算上一步得到聚类中每一聚类观测值的图心,作为新的均值点
继续步骤(2-6-1)。
较佳地,所述的步骤(3)包括以下步骤:
(3-1)对每一个查询笔迹样本或参考笔迹样本二值化图像,利用与步骤(2-1)中大小相同的窗口提取足够多的子块,展开为一维长向量,作为稀疏自编码的输入;
(3-2)x1,x2,...,xj表示稀疏自编码的输入,a1,a2,...,ai表示隐含层的输出,n表示输入的个数,则,根据以下公式计算隐含层的输出:
f(x)=1/(1+e-x),
(3-3)计算所述隐含层输出与码本k个中心之间的距离,将其归类为距离最近的那个中心,统计每个中心所得的频数,即为该笔迹样本的特征。
较佳地,所述的查询笔迹样本特征与参考笔迹样本特征之间的距离包括:
欧式距离,曼哈顿距离,加权欧式距离和加权曼哈顿距离,其中加权欧式距离和加权曼哈顿距离分别为:
其中,v1和v2代表两特征向量,v1i和v2i代表某一维度中的元素,σi表示第i维向量的方差。
采用了该发明中的基于稀疏自编码码本、离线文本无关的笔记鉴别方法,该方法无需对文本进行分割,并且码本鲁棒性强,该方法在实际应用中更加灵活、方便,具有更广泛的应用范围。
附图说明
图1为本发明的基于稀疏自编码码本实现笔迹鉴别的方法的流程图。
图2为本发明的稀疏自编码模型图以及权值可视化图。
图3为本发明的利用稀疏自编码提取码本的流程图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
该计算机软件系统中基于稀疏自编码码本实现笔迹鉴别的系统,包括:
图像预处理模块,用以对查询笔迹样本和参考笔迹样本图像进行预处理,得到两者的二值化图像;
参数学习模块,用以根据稀疏自编码和k-means聚类方法来获得权重和码本的参数;
特征提取模块,用以根据权重和码本来提取查询笔迹样本和参考笔迹样本图像的特征;
距离计算模块,用以计算查询笔迹样本特征与参考笔迹样本特征之间的距离,并比较排序,最终获得查询笔迹样本书写者的候选列表。
还包括一种利用上述系统基于稀疏自编码码本实现笔迹鉴别的方法,包括以下步骤:
(1)对查询笔迹样本和参考笔迹样本图像进行预处理,得到两者的二值化图像;
(2)根据稀疏自编码和k-means聚类方法来获得权重和码本的参数;
(3)根据权重和码本来提取查询笔迹样本和参考笔迹样本图像的特征;
(4)计算查询笔迹样本特征与参考笔迹样本特征之间的距离,并比较排序,最终获得查询笔迹样本书写者的候选列表。
在一种较佳的实施方式中,所述的步骤(1)包括以下步骤:
(1-1)对所述灰度笔迹样本通过OTSU进行二值化,得到笔迹样本的二值化图像;
(1-2)对所述二值化图像进行去噪处理。
在一种较佳的实施方式中,所述步骤(2)包括以下步骤:
(2-1)设定一个固定大小的窗口,通过该窗口在所述每张参考笔迹样本的二值化图像中随机选取一定数量的第一子块Set 1样本集,作为训练稀疏自编码模型权重的样本集;
(2-2)采用稀疏自编码模型,将网络模型参数随机初始化;
(2-3)根据所述的第一子块Set 1样本集对稀疏自编码模型进行训练,得到权重参数;
(2-4)通过所述的窗口在每张参考笔迹样本的二值化图像中随机选取一定数量的第二子块Set 2样本集,该样本集数量需远大于第一子块Set 1样本集的数量;
(2-5)将所述的第二子块Set 2样本集作为稀疏自编码模型的前向输入,使用训练得到的权重参数,得到隐含层输出;
(2-6)对所述的隐含层输出采用k-means聚类算法,得到码本。
在一种更佳的实施方式中,所述的采用稀疏自编码模型为单隐含层的稀疏自编码模型或多隐含层的稀疏自编码模型。
在一种更佳的实施方式中,所述的将网络模型参数随机初始化,具体包括以下步骤:
(2-2-1)随机初始化网络权重参数,输入层和隐含层对应的权重参数矩阵W1和隐含层和输出层对应的权重参数矩阵W2为:
W1=rand(-r,r)hiddensize*visiblesize,
W2=rand(-r,r)visiblesize*hiddensize,
其中hiddensize表示稀疏自编码网络隐含层的个数,visiblesize表示输入层的个数,rand(-r,r)m*n表示大小为m*n的随机矩阵,其各个元素均为定值,且各个元素的值的取值范围为(-r,r),并且,当r取由上述对r进行求取的公式计算得出的值时能够使得训练过程更快收敛;
(2-2-2)初始化网络加性偏置参数,其中隐含层对应的偏置参数矩阵b1为零矩阵,大小为hiddensize*1,输出层对应的偏置参数矩阵b2为零矩阵,大小为visiblesize*1。
在一种更佳的实施方式中,所述的步骤(2-3)包括以下步骤:
(2-3-1)将第一子块Set 1样本集转化为一维向量作为稀疏自编码模型的输入,计算输出值:
其中sl表示第l层的单元数目(不包含偏置项)。表示第l层第i个单元的输出值且f表示一非线性激活函数sigmoid函数且f(x)=1/(1+e-x),且集合I={x1,x2,...,xm}表示第一子块Set 1样本集,表示第l层第j个单元与第l+1层第i个单元之间的连接参数,表示第l+1层第i单元的偏置项,表示第l+1层第i单元输入加权和,该加权和包括偏置项。
(2-3-2)根据以下公式计算隐藏神经元j的平均激活度:
其中,aj(x(i))表示给定一个输入x(i),自编码神经网络隐藏神经元j的激活度,进一步,表示隐藏神经元j的平均激活度,其中,m为所述的第一子块Set 1样本集的数量。
根据以下公式计算惩罚因子使得平均激活度接近期望激活度ρ,ρ为稀疏性参数,接近于0,惩罚因子为:
根据以下公式计算稀疏自编码模型的损失函数:
其中hW,b(x(i))表示输入为x(i)时的输出,该输出包含参数W,b,y(i)表示输出值,y(i)=x(i),即输出值y(i)与输入值x(i)相同;λ表示权重衰减系数;β表稀疏值惩罚项的权重;sl表示第l层的单元数目,该单元数目不包含偏置项;
(2-3-3)使用梯度下降法更新稀疏自编码网络的权重参数和加性偏置参数,误差从网络的高层向底层反向传播,计算输出层,即第三层的每个输出单元i的残差:
其中,表示第l层的每个节点i的残差,其中,y是y(i)的矩阵表示,y=x,yi是y矩阵中输出单元下标为i的单个值;
计算隐含层,即第二层的每个输出单元i的残差:
其中,表示第2层第i个单元与第3层第j个单元之间的连接参数;
其中,稀疏自编码权重参数的更新公式为:
稀疏自编码偏置参数的更新公式为:
在一种更佳的实施方式中,所述的步骤(2-6)包括以下步骤:
(x1,x2,...,xn)表示隐含层输出,表示初始的k个均值点,算法按照以下两个步骤循环交替进行,并且,这一算法将在对观测的分配不再变化时收敛,循环结束时的集合就是所需的码本:
(2-6-1)分配:将每个观测值xp分配到聚类中
(2-6-2)更新:计算上一步得到聚类中每一聚类观测值的图心,作为新的均值点
继续步骤(2-6-1)。
在一种较佳的实施方式中,所述的步骤(3)包括以下步骤:
(3-1)对每一个查询笔迹样本或参考笔迹样本二值化图像,利用与步骤(2-1)中大小相同的窗口提取足够多的子块,展开为一维长向量,作为稀疏自编码的输入;
(3-2)x1,x2,...,xj表示稀疏自编码的输入,a1,a2,...,ai表示隐含层的输出,n表示输入的个数,则,根据以下公式计算隐含层的输出:
f(x)=1/(1+e-x),
(3-3)计算所述隐含层输出与码本k个中心之间的距离,将其归类为距离最近的那个中心,统计每个中心所得的频数,即为该笔迹样本的特征。
在一种较佳的实施方式中,所述的查询笔迹样本特征与参考笔迹样本特征之间的距离包括:
欧式距离,曼哈顿距离,加权欧式距离和加权曼哈顿距离,其中加权欧式距离和加权曼哈顿距离分别为:
其中,v1和v2代表两特征向量,v1i和v2i代表某一维度中的元素,σi表示第i维向量的方差。
参见图1,为了实现上述目的,本发明的基于稀疏自编码码本的笔记鉴别系统包括:
图像预处理模块,用以对查询笔迹样本和参考笔迹样本图像进行预处理,得到两者的二值化图像;
参数学习模块,用以利用稀疏自编码和k-means聚类方法来获得权重和码本的参数;
特征提取模块,用以利用权重和码本来提取查询笔迹样本和参考笔迹样本图像的特征;
距离计算模块,计算查询笔迹样本特征与参考笔迹样本特征之间的距离,并比较排序,最终获得查询笔迹样本书写者的候选列表。
为了实现这种笔记鉴别方法,下面以一具体实施例详细描述。
首先,图像预处理模块;
101:收集多个笔迹样本,其中每位书写者均有两份内容不同的笔迹样本,一份作为参考笔迹样本,另一份作为查阅笔迹样本。
102:对所有的笔迹样本进行OTSU二值化,得到其二值化图像。
103:若笔迹样本中有噪声信息,比如其它非笔迹像素信息,包括花纹、图片、格线和印刷字符等等,可以采用连通域算法或者人工去除。
其次,参数学习模块;
201:设定一个固定大小的窗口,窗口越小,包含的信息越少,不利于提取笔迹特征;窗口越大,包含结构信息太多,同样妨碍提取笔迹特征,本发明对窗口大小从11*11到39*39情况均做了详细的实验,得到其首选和前10选的鉴别准确率。
确定窗口大小后,利用该窗口在所述每张参考笔迹样本二值化图中随机选取n个子块Set 1样本集,作为训练稀疏自编码模型权重的样本集。
202:采用稀疏自编码模型,随机初始化网络模型参数。其中隐含层的个数在本实例中均定为75,输入层的个数则随窗口大小变化。
203:利用所述Set 1样本集对稀疏自编码模型进行训练,得到权重参数。本实例中稀疏性参数取0.1;权重衰减系数取3e-3;稀疏值惩罚项的权重取3。
204:利用所述窗口在每张参考笔迹样本二值化图中随机选取N个的子块Set 2,在本实例中对N的大小做了详细的实验,得出N只需不小于3000,该方法就能得到很好地鉴别率的结论。
205:将所述Set 2样本集作为稀疏自编码模型的前向输入,使用训练得到的权重参数,得到隐含层输出。
206:对所述隐含层输出采用k-means聚类算法,得到码本。在本实例中,在每个笔迹样本特征中随机选取14个特征向量作为聚类中心,共取得聚类中心k大约4000个。
再次,特征提取模块;
301:对每一个查询笔迹样本或参考笔迹样本二值化图像,利用与步骤(2-1)中大小相同的窗口提取N个子块,展开为一维长向量,作为稀疏自编码的输入。
302:计算隐含层输出与码本k个中心之间的距离,将其归类为距离最近的那个中心,统计每个中心所得的频数,即为该笔迹样本的特征。
最后,距离计算模块;
401:计算查询笔迹样本特征与参考笔迹样本特征之间的距离,并比较排序,最终获得查询笔迹样本书写者的候选列表。所采用的距离计算方法有:欧式距离,曼哈顿距离,加权欧式距离,加权曼哈顿距离。
采用了该发明中的基于稀疏自编码码本、离线文本无关的笔记鉴别方法,该方法无需对文本进行分割,并且码本鲁棒性强,该方法在实际应用中更加灵活、方便,具有更广泛的应用范围。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以做出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。
Claims (7)
1.一种计算机软件系统中基于稀疏自编码码本实现笔迹鉴别的系统,其特征在于,所述的系统包括:
图像预处理模块,用以对查询笔迹样本和参考笔迹样本图像进行预处理,得到两者的二值化图像;
参数学习模块,用以根据稀疏自编码和k-means聚类方法来获得权重和码本的参数;
特征提取模块,用以根据权重和码本来提取查询笔迹样本和参考笔迹样本图像的特征;
距离计算模块,用以计算查询笔迹样本特征与参考笔迹样本特征之间的距离,并比较排序,最终获得查询笔迹样本书写者的候选列表;
基于稀疏自编码码本进行笔迹鉴别操作,其中,所述的笔迹鉴别操作进行以下处理:
(1)对查询笔迹样本和参考笔迹样本图像进行预处理,得到两者的二值化图像;
(2)根据稀疏自编码和k-means聚类方法来获得权重和码本的参数,具体包括以下步骤:
(2-1)设定一个固定大小的窗口,通过该窗口在每张参考笔迹样本的二值化图像中随机选取一定数量的第一子块Set1样本集,作为训练稀疏自编码模型权重的样本集;
(2-2)采用稀疏自编码模型,将网络模型参数随机初始化;
(2-3)根据所述的第一子块Set1样本集对稀疏自编码模型进行训练,得到权重参数;
(2-4)通过所述的窗口在每张参考笔迹样本的二值化图像中随机选取一定数量的第二子块Set2样本集,该样本集数量需远大于第一子块Set1样本集的数量;
(2-5)将所述的第二子块Set2样本集作为稀疏自编码模型的前向输入,使用训练得到的权重参数,得到隐含层输出;
(2-6)对所述的隐含层输出采用k-means聚类算法,得到码本;
(3)根据权重和码本来提取查询笔迹样本和参考笔迹样本图像的特征;
(4)计算查询笔迹样本特征与参考笔迹样本特征之间的距离,并比较排序,最终获得查询笔迹样本书写者的候选列表。
2.一种利用权利要求1所述的系统实现基于稀疏自编码码本实现笔迹鉴别的方法,其特征在于,所述的方法包括以下步骤:
(1)对查询笔迹样本和参考笔迹样本图像进行预处理,得到两者的二值化图像;
(2)根据稀疏自编码和k-means聚类方法来获得权重和码本的参数,具体包括以下步骤:
(2-1)设定一个固定大小的窗口,通过该窗口在所述每张参考笔迹样本的二值化图像中随机选取一定数量的第一子块Set1样本集,作为训练稀疏自编码模型权重的样本集;
(2-2)采用稀疏自编码模型,将网络模型参数随机初始化;
(2-3)根据所述的第一子块Set1样本集对稀疏自编码模型进行训练,得到权重参数;
(2-4)通过所述的窗口在每张参考笔迹样本的二值化图像中随机选取一定数量的第二子块Set2样本集,该样本集数量需远大于第一子块Set1样本集的数量;
(2-5)将所述的第二子块Set2样本集作为稀疏自编码模型的前向输入,使用训练得到的权重参数,得到隐含层输出;
(2-6)对所述的隐含层输出采用k-means聚类算法,得到码本;
(3)根据权重和码本来提取查询笔迹样本和参考笔迹样本图像的特征;
(4)计算查询笔迹样本特征与参考笔迹样本特征之间的距离,并比较排序,最终获得查询笔迹样本书写者的候选列表。
3.根据权利要求2所述的基于稀疏自编码码本实现笔迹鉴别的方法,其特征在于,所述的步骤(1)包括以下步骤:
(1-1)对笔迹样本进行灰度化,对进行灰度化后的笔迹样本通过OTSU进行二值化,得到笔迹样本的二值化图像;
(1-2)对所述二值化图像进行去噪处理。
4.根据权利要求2所述的基于稀疏自编码码本实现笔迹鉴别的方法,其特征在于,所述的采用稀疏自编码模型为单隐含层的稀疏自编码模型或多隐含层的稀疏自编码模型。
5.根据权利要求2所述的基于稀疏自编码码本的笔迹鉴别的方法,其特征在于,所述的将网络模型参数随机初始化,具体包括以下步骤:
(2-2-1)随机初始化网络权重参数,输入层和隐含层对应的权重参数矩阵W1和隐含层和输出层对应的权重参数矩阵W2为:
W1=rand(-r,r)hiddensize*visiblesize,
W2=rand(-r,r)visiblesize*hiddensize,
其中hiddensize表示稀疏自编码网络隐含层的个数,visiblesize表示输入层的个数,rand(-r,r)m*n表示大小为m*n的随机矩阵,其各个元素均为定值,且各个元素的值的取值范围为(-r,r),并且,当r取由上述对r进行求取的公式计算得出的值时能够使得训练过程更快收敛;
(2-2-2)初始化网络加性偏置参数,其中隐含层对应的偏置参数矩阵b1为零矩阵,大小为hiddensize*1,输出层对应的偏置参数矩阵b2为零矩阵,大小为visiblesize*1。
6.根据权利要求2所述的基于稀疏自编码码本实现笔迹鉴别的方法,其特征在于,所述的步骤(3)包括以下步骤:
(3-1)对每一个查询笔迹样本或参考笔迹样本二值化图像,利用与权利要求2中大小相同的窗口提取足够多的子块,展开为一维长向量,作为稀疏自编码的输入;
(3-2)x1,x2,…,xj表示稀疏自编码的输入,a1,a2,…,ai表示隐含层的输出,n表示输入的个数,则,根据以下公式计算隐含层的输出:
f(x)=1/(1+e-x),
(3-3)计算所述隐含层输出与码本k个中心之间的距离,将其归类为距离最近的那个中心,统计每个中心所得的频数,即为该笔迹样本的特征。
7.根据权利要求2所述的基于稀疏自编码码本实现笔迹鉴别的方法,其特征在于,所述的查询笔迹样本特征与参考笔迹样本特征之间的距离包括:
欧式距离,曼哈顿距离,加权欧式距离和加权曼哈顿距离,其中加权欧式距离和加权曼哈顿距离分别为:
其中,v1和v2代表两特征向量,v1i和v2i代表某一维度中的元素,σi表示第i维向量的方差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611029775.7A CN106529490B (zh) | 2016-11-15 | 2016-11-15 | 基于稀疏自编码码本实现笔迹鉴别的系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611029775.7A CN106529490B (zh) | 2016-11-15 | 2016-11-15 | 基于稀疏自编码码本实现笔迹鉴别的系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106529490A CN106529490A (zh) | 2017-03-22 |
CN106529490B true CN106529490B (zh) | 2019-10-18 |
Family
ID=58353191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611029775.7A Active CN106529490B (zh) | 2016-11-15 | 2016-11-15 | 基于稀疏自编码码本实现笔迹鉴别的系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106529490B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108461091A (zh) * | 2018-03-14 | 2018-08-28 | 南京邮电大学 | 面向家居环境的智能哭声检测方法 |
KR20220169231A (ko) * | 2021-06-18 | 2022-12-27 | 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. | 핸드라이팅 텍스트에 기초하여 구별된 작성자의 파일을 생성 |
CN113762629B (zh) * | 2021-09-10 | 2024-07-02 | 南京机电职业技术学院 | 基于改进ae的运动员最佳负荷力量预测方法 |
CN113610065B (zh) * | 2021-10-09 | 2022-05-20 | 北京世纪好未来教育科技有限公司 | 笔迹识别方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101452532A (zh) * | 2008-12-18 | 2009-06-10 | 清华大学 | 一种文本无关笔迹鉴别的方法和装置 |
CN104680180A (zh) * | 2015-03-09 | 2015-06-03 | 西安电子科技大学 | 基于k均值和稀疏自编码的极化sar图像分类方法 |
CN104915676A (zh) * | 2015-05-19 | 2015-09-16 | 西安电子科技大学 | 基于深层特征学习和分水岭的sar图像分类 |
WO2016089978A2 (en) * | 2014-12-02 | 2016-06-09 | Fair Isaac Corporation | Auto-encoder enhanced self-diagnostic components for model monitoring |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8209080B2 (en) * | 2009-04-27 | 2012-06-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | System for determining most probable cause of a problem in a plant |
US9432671B2 (en) * | 2014-05-22 | 2016-08-30 | Xerox Corporation | Method and apparatus for classifying machine printed text and handwritten text |
-
2016
- 2016-11-15 CN CN201611029775.7A patent/CN106529490B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101452532A (zh) * | 2008-12-18 | 2009-06-10 | 清华大学 | 一种文本无关笔迹鉴别的方法和装置 |
WO2016089978A2 (en) * | 2014-12-02 | 2016-06-09 | Fair Isaac Corporation | Auto-encoder enhanced self-diagnostic components for model monitoring |
CN104680180A (zh) * | 2015-03-09 | 2015-06-03 | 西安电子科技大学 | 基于k均值和稀疏自编码的极化sar图像分类方法 |
CN104915676A (zh) * | 2015-05-19 | 2015-09-16 | 西安电子科技大学 | 基于深层特征学习和分水岭的sar图像分类 |
Non-Patent Citations (4)
Title |
---|
A Novel Efficient Method for Training Sparse Auto-Encoders;Yuxi Luo 等;《2013 6th International Congress on Image and Signal Processing》;20131231;全文 * |
k-Sparse Autoencoders;Alireza Makhzani 等;《arXiv:1312.5663v2》;20140322;全文 * |
K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation;Michal Aharon 等;《IEEE Transactions on Signal Processing》;20061130;第54卷(第11期);全文 * |
基于自动编码器的短文本特征提取及聚类研究;刘勘 等;《北京大学学报(自然科学版)》;20150331;第51卷(第2期);参见第283-285页第2部分 * |
Also Published As
Publication number | Publication date |
---|---|
CN106529490A (zh) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Afzal et al. | Cutting the error by half: Investigation of very deep cnn and advanced training strategies for document image classification | |
CN111079639B (zh) | 垃圾图像分类模型构建的方法、装置、设备及存储介质 | |
Girsang | Literature study of convolutional neural network algorithm for batik classification | |
CN107169504B (zh) | 一种基于扩展非线性核残差网络的手写字符识别方法 | |
CN112528928B (zh) | 一种基于自注意力深度网络的商品识别方法 | |
US20200134382A1 (en) | Neural network training utilizing specialized loss functions | |
CN106529490B (zh) | 基于稀疏自编码码本实现笔迹鉴别的系统及方法 | |
Anand et al. | Real time noisy dataset implementation of optical character identification using CNN | |
US11715288B2 (en) | Optical character recognition using specialized confidence functions | |
Laishram et al. | Simulation and modeling of handwritten Meitei Mayek digits using neural network approach | |
CN110414587A (zh) | 基于渐进学习的深度卷积神经网络训练方法与系统 | |
Sen et al. | Face recognition using deep convolutional network and one-shot learning | |
Hefny et al. | Online signature verification using deep learning and feature representation using Legendre polynomial coefficients | |
CN116110089A (zh) | 一种基于深度自适应度量学习的面部表情识别方法 | |
Abir et al. | Bangla handwritten character recognition with multilayer convolutional neural network | |
CN108229505A (zh) | 基于fisher多级字典学习的图像分类方法 | |
Das et al. | Writer independent offline signature recognition using ensemble learning | |
Kumar et al. | Siamese based Neural Network for Offline Writer Identification on word level data | |
CN112613341A (zh) | 训练方法及装置、指纹识别方法及装置、电子设备 | |
Aniket et al. | Handwritten Gujarati script recognition with image processing and deep learning | |
Nugraha et al. | Offline signature identification using deep learning and Euclidean distance | |
Pramadi et al. | Flowers identification using first-order feature extraction and multi-SVM Classifier | |
Subrahmanyam et al. | A Robust Zonal Fractal Dimension Method for the Recognition of Handwritten Telugu Digits | |
Suteja | Application of Neural Network in Letter Recognition Using the Perceptron Method | |
Bappy et al. | Bangla Handwritten Numeral Recognition using Deep Convolutional Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |