CN112766082A

CN112766082A - 基于宏微观特征的中文文本笔迹鉴别方法、装置及存储介质

Info

Publication number: CN112766082A
Application number: CN202011643169.0A
Authority: CN
Inventors: 毕胜; 肖畅; 薄睿智
Original assignee: Dalian Maritime University
Current assignee: Dalian Maritime University
Priority date: 2020-12-30
Filing date: 2020-12-30
Publication date: 2021-05-07
Anticipated expiration: 2040-12-30
Also published as: CN112766082B

Abstract

本发明提供一种基于宏微观特征的中文文本笔迹鉴别方法、装置及存储介质。方法包括：获取笔迹检材的图像数据，并对所述图像数据进行预处理，从而得到预处理图像；对所述预处理图像分别进行纹理特征提取和滑块特征提取；对所述纹理特征提取和滑块特征提取进行特征融合获取检材的样本特征；计算样本特征与特征数据库中的特征数据的相似度数据，并根据所述相似度数据获取鉴别结果。本发明利用特征构造的方法，只需要少量的样本即可，弥补了深度学习方法上需要大量的数据集进行训练的弊端。

Description

基于宏微观特征的中文文本笔迹鉴别方法、装置及存储介质

技术领域

本发明涉及笔迹鉴别技术领域，具体而言，尤其涉及一种基于宏微观特征的中文文本笔迹鉴别方法、装置及存储介质。

背景技术

现有的笔迹鉴别技术，主要包括传统特征提取方法和深度学习网络特征提取方法。针对传统方法，一般基于单一类型的纹理特征进行分析，即便结合多尺度小波的纹理特征也不能改变同一类型特征导致的局限性，结果不具有很强表现能力。而笔画结构特征在获取的时候对文本的行分割和字符分割及字符的笔画或轮廓提取质量要求高，难以达到最优状态。而基于深度学习方法，提取特征需要大量样本的进行训练，而文本样本采集具有较大困难，不能达到实际使用需求。

发明内容

本发明提供了一种基于宏微观特征的中文文本笔迹鉴别方法、装置及存储介质。利用融合特征构造的方法，不仅提高了鉴别准确性，而且只需要少量的样本，克服了深度学习方法需要大量的数据集进行训练的问题。

本发明采用的技术手段如下：

一种基于宏微观特征的中文文本笔迹鉴别方法，包括：

获取笔迹检材的图像数据，并对所述图像数据进行预处理，从而得到预处理图像；

对所述预处理图像分别进行纹理特征提取和滑块特征提取；

对所述纹理特征提取和滑块特征提取进行特征融合获取检材的样本特征；

计算样本特征与特征数据库中的特征数据的相似度数据，并根据所述相似度数据获取鉴别结果。进一步地，对所述预处理图像进行纹理特征提取，包括：

基于所述预处理图像构建多层高斯金字塔，提取高斯金字塔的各层图像；

计算各层图像的LBP特征；

将各层LBP特征进行直接拼接得到纹理特征。进一步地，对所述预处理图像进行滑块特征提取，包括：

对所述预处理图像进行边缘提取，从而获得边缘图像；

构建一定尺寸的滑块，以像素为单位，利用滑块遍历所述边缘图像直至确定目标区域，所述目标区域为滑块中心像素满足预设条件时确定的滑块区域；

此时，计算当前滑块的中心点曲率和当前滑块边缘两端像素点坐标约束对；

基于所有符合要求的中心点曲率和当前滑块边缘两端像素点坐标约束对数据获取滑块特征。

进一步地，所述样本特征与特征数据库中的特征数据的相似度数据，为样本特征与特征数据库中的特征数据的卡方距离。

进一步地，该方法还包括根据所有正确识别的次数与总识别次数的百分比对鉴别结果进行评价的步骤。

进一步地，还包括将检材的样本特征保存至特征数据库的步骤。

本发明还提供了一种基于宏微观特征的中文文本笔迹鉴别装置，包括：

预处理模块，用于获取笔迹检材的图像数据，并对所述图像数据进行预处理，从而得到预处理图像；

特征提取模块，用于对所述预处理图像分别进行纹理特征提取和滑块特征提取；

特征融合模块，用于对所述纹理特征提取和滑块特征提取进行特征融合获取检材的样本特征；

鉴别模块，用于计算样本特征与特征数据库中的特征数据的相似度数据，并根据所述相似度数据获取鉴别结果。

进一步地，所述特征提取模块包括：

纹理特征提取单元，用于基于所述预处理图像构建多层高斯金字塔，提取高斯金字塔的各层图像，计算各层图像的LBP特征，将各层LBP特征进行直接拼接得到纹理特征；

滑块特征提取单元，用于对所述预处理图像进行边缘提取，从而获得边缘图像，构建一定尺寸的滑块，以像素为单位，利用滑块遍历所述边缘图像直至确定目标区域，所述目标区域为滑块中心像素满足预设条件时确定的滑块区域，计算当前滑块的中心点曲率和当前滑块边缘两端像素点坐标约束对，基于所有符合要求的中心点曲率和当前滑块边缘两端像素点坐标约束对数据获取滑块特征。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如上述任一项所述的基于宏微观特征的中文文本笔迹鉴别方法。

较现有技术相比，本发明具有以下优点：

1、本发明利用传统人为构造特征的方法，只需要少量的样本即可，弥补了深度学习方法上需要大量的数据集进行训练。

2、本发明的滑块微笔画伪结构特征避免了笔画结构特征中文本行分割和字符分割的不好现象带来的较低的准确率。

3、本发明利用纹理特征和滑块微笔画结构特征融合相比单一的类型的特征具有更强表现能力

4、本发明利用加权特征融合算法提高了检索的准确率。

基于上述理由本发明可在笔记鉴别领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中中文文本笔迹鉴别方法流程图。

图2为高斯金字塔示意图。

图3为LBP特征提取示意图。

图4为本发明实施例中边缘识别结果示意图。

图5为本发明实施例中滑块特征提取示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

一种基于宏微观特征的中文文本笔迹鉴别方法，其特征在于，包括：

对所述预处理图像分别进行纹理特征提取和滑块特征提取；

计算样本特征与特征数据库中的特征数据的相似度数据，并根据所述相似度数据获取鉴别结果。

基于上述方案，优选地，对所述图像数据进行预处理，从而得到预处理图像，包括：通过图像输入设备获取检材图像。图像输入设备优选300dpi的扫描仪其扫描的是彩色图像和灰度图像。

进一步地，预处理还包括祛除背景的步骤，比如横线的我们进行去除横线预处理，对于无约束无背景图像我们直接对采集的灰度图像进行处理。

此外，预处理还包括对检材图像进行二值化处理后，进行基于Canny算法的边缘提取，提取的边缘图像用于提取滑块结构特征。

基于上述方案，优选地，对所述预处理图像进行纹理特征提取，包括：

基于所述预处理图像构建多层高斯金字塔，提取高斯金字塔的各层图像。图像金字塔，如图2所示，是图像中多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。高斯金字塔是通过高斯平滑和亚采样获得一系列下采样图像，也就是说第K层高斯金字塔通过平滑、亚采样就可以获得K+1层高斯图像，高斯金字塔包含了一系列低通滤波器，其截至频率从上一层到下一层是以因子2逐渐增加。左边为高斯卷积核，右边为图像金字塔的形象说明，图像金字塔中所有图像来源于同一张原始图像，通过多次向下采样获得，直到达到某个终止条件，本实施例优选采集三个分辨率的图像终止。

计算各层图像的LBP特征。假设I(x,y)为原始图像，我们进行高斯下采样得到图像L(x,y)：

L(x,y,σ)＝G(x,y,σ)^*I(x,y)

本实施例中构建三个尺度的高斯金字塔，得到三幅图像分别为I0,I1,I2，然后对三个尺度的图像分别求LBP特征。具体地，LBP(Local Binary Pattern，局部二值模式)是一种用来描述图像局部纹理特征的算子；它具有旋转不变性和灰度不变性等显著的优点

原始的LBP算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。用数学语言表示即：

其中(xc,yc)是中心像素，ic是灰度值，ip是相邻像素的灰度值，s是一个符号函数，x是ip-ic的值。

这样，3*3邻域内的8个点经比较可产生8位二进制数，最后将8位二进制数转换为十进制数即LBP码，共256种，即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。

例如，窗口大小为3*3，中心像素为100，领域像素大于100的赋值1，小于100的赋值0，如图3所示。基于上述方法，分别求得三幅多尺度图像的LBP特征，对应为：

LBP_1,LBP_2,LBP_3，其中LBP_n(n＝1,2,3),都是256的维度,即LBP_n＝[x0,x1,x2,.....,x255]，将上述LBP_n(n＝1，2，3)直接进行拼接，得到的纹理特征，记为F0，其LBP_res＝[LBP_1,LBP_2,LBP_3]，特征维度为256*3。

基于上述方案，优选地，对所述预处理图像进行滑块特征提取。本实施例中提出的滑块伪结构特征，本质是微小的边缘笔画结构，根据滑块中笔画的中心点曲率和滑块中边缘笔画两端点组成的坐标对来表述笔画结构信息。利用统计的数学知识描述特征。具体包括：

对所述预处理图像进行边缘提取，从而获得边缘图像，如图4所示，边缘是255的白色像素，背景是0的黑色像素。

构建一定尺寸的滑块，以像素为单位，利用滑块遍历所述边缘图像直至确定目标区域，所述目标区域为滑块中心像素满足预设条件时确定的滑块区域。具体地，本实施例中，以像素为单位，取滑块大小为7*7。

当中心点处的像素值为I(3,3)＝255的时候，我们计算当前滑块的中心点曲率和当前滑块边缘两端像素点坐标约束对。可见，所有约束坐标对的种类数

为了方便我们记作为Qn＝x，x是第n种坐标对出现的次数，其中n的取值是1～276。这里用文本的边缘图像中的一个字来做描述，如图5所示。

表1 7*7滑块

(0,0)	(0,1)	(0,2)	(0,3)	(0,4)	(0,5)	(0,6)
							(1,0)		(1,6)
(2,0)						(2,6)
							(3,0)	(3,3)	(3,6)
(4,0)						(4,6)
							(5,0)		(5,6)
(6,0)	(6,1)	(6,2)	(6,3)	(6,4)	(6,5)	(6,6)

这小段边缘的端点约束坐标就是{(6,1),(6,4)}，因而用滑块去遍历整幅图像，将每一种坐标对Qn进行计数累加，同时记录总次数为Q_sum，最后用总次数对每种坐标对进行归一化，从而得到概率密度。

P＝Qn/Q_sum，n＝1,2,3,....,496

将其得到的特征记录为第一滑块F1。

根据以下公式计算中心点处曲率：

其中Ux为x方向的梯度，Uy为y方向的梯度，Uxx是Ux一阶偏导在x方向上的梯度，Uxy—是Ux一阶偏导在y方向上的梯度，Uyx是Uy一阶偏导在x方向上的梯度，Uyy是Uy一阶偏导在y方向的梯度。

然后将曲率值映射到0～255的取值范围，使用公式，

取值为H(3,3)处的值，中心点处曲率的可能取值是0-255，记为Hn，其中n的取值代表可能出现的256种情况，即n＝0,1,2,....,255，即是H0代表曲率值为0出现的次数。

用滑块去遍历整幅边缘图像，统计每种曲率特征值出现的次数，最后用总的次数H_sum去归一化，求得每种特征的概率密度K＝Hn/H_sum，将次特征记作第二滑块特征F2，其维度是256维。

基于上述方案，优选地，对所述纹理特征提取和滑块特征提取进行特征融合获取检材的样本特征，包括：首先将不同分辨率的LBP特征是直接拼接融合构成的多分辨率LBP特征作为纹理特征，然后将纹理特征和滑块伪结构特征进行加权融合拼接，，构成最终的样本特征。本实施例中，将上面得到的F0,F1,F2三组特征，根据以下公式进行加权融合拼接：

F＝(w0*F0+w1*F2)+F1

其中w0,w1是权重值，加号代表的拼接，样本特征的最终维度为256+256*3+276＝1300维。

基于上述方案，优选地，所述样本特征与特征数据库中的特征数据的相似度数据，为样本特征与特征数据库中的特征数据的卡方距离。具体地，根据以下公式，计算卡方距离：

其中，V1i和V2i分别表示v1和v2的各维元素，N表示向量维数。V1是检材的特征，V2是数据库样本中的特征将检材和数据库中的所有样本求一个卡方距离，卡方距离越小表示越相似。本实施例给出笔迹样本数据库中进行检索得到最具有可能性的前1或者前5样本人作为鉴别结果。

基于上述方案，优选地，该方法还包括根据所有正确识别的次数与总识别次数的百分比对鉴别结果进行评价的步骤，以及将检材的样本特征保存至特征数据库的步骤。

具体地，笔迹识别任务中常用的评价指标是soft-topk，当每次识别前k个最相似的类中包含有与目标类一致的类，我们将其定义为一次正确识别，则Top-k表示为所有正确识别的次数与总识别次数的百分比。

进一步地，所述特征提取模块包括：

对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种基于宏微观特征的中文文本笔迹鉴别方法，其特征在于，包括：

对所述预处理图像分别进行纹理特征提取和滑块特征提取；

2.根据权利要求1所述的基于宏微观特征的中文文本笔迹鉴别方法，其特征在于，对所述预处理图像进行纹理特征提取，包括：

计算各层图像的LBP特征；

将各层LBP特征进行直接拼接得到纹理特征。

3.根据权利要求1所述的基于宏微观特征的中文文本笔迹鉴别方法，其特征在于，对所述预处理图像进行滑块特征提取，包括：

对所述预处理图像进行边缘提取，从而获得边缘图像；

4.根据权利要求1所述的基于宏微观特征的中文文本笔迹鉴别方法，其特征在于，所述样本特征与特征数据库中的特征数据的相似度数据，为样本特征与特征数据库中的特征数据的卡方距离。

5.根据权利要求1所述的基于宏微观特征的中文文本笔迹鉴别方法，其特征在于，该方法还包括根据所有正确识别的次数与总识别次数的百分比对鉴别结果进行评价的步骤。

6.根据权利要求1所述的基于宏微观特征的中文文本笔迹鉴别方法，其特征在于，还包括将检材的样本特征保存至特征数据库的步骤。

7.一种基于宏微观特征的中文文本笔迹鉴别装置，其特征在于，包括：

8.根据权利要求7所述的基于宏微观特征的中文文本笔迹鉴别装置，其特征在于，所述特征提取模块包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如权利要求1-6任一项所述的基于宏微观特征的中文文本笔迹鉴别方法。