CN115620312A - 跨模态字符笔迹验证方法、系统、设备及存储介质 - Google Patents

Abstract

本发明公开一种跨模态可辨识单字字符的笔迹验证方法，涉及电子签名技术领域，获取签署人的在线电子书写字符数据、纸质书写字符数据关联书写者身份标识，构建包括训练集、验证集和测试集的数据库；对深度学习神经网络进行模型训练和模型验证，利用训练集数据优化网络模型，采用字符空间注意力机制参考标准样本，学习标准样本的独有写法或重要写法，捕捉字符关键差异和特有共性，获取多模态字符图像的书写者笔迹特征向量，通过笔迹特征向量的损失函数优化得到笔迹识别模型；经过验证的笔迹识别模型采集在线手写字符数据集，获取待验证字符及笔迹特征进行相似度计算，综合判断验证签署人身份。

Description

跨模态字符笔迹验证方法、系统、设备及存储介质

技术领域

本发明涉及在线手写电子笔迹验证技术领域，特别涉及一种跨模态字符笔迹验证方法、系统、设备及存储介质。

背景技术

无纸化进程的推进以及触摸移动端和电子书写设备的普及，在线手写出现在人们生活的方方面面，基于在线笔迹的验证、识别也受到专业人士的广泛关注。尤其随着人工智能和深度学习技术的发展，通过搭建卷积神经网络对在线笔迹图像建模或者通过循环神经网络对在线时序数据建模，一方面，可以通过表征学习方法学习每个用户特有的个性化笔迹表征，再利用表征相似度进行笔迹验证。另一方面，可以通过构建比对样本对进行对比学习，学习正负样本对的差异进行笔迹验证。但是，上述方案基本上均是将整个笔迹数据作为输入，比如，在进行手写电子签名验证时，将整个手写电子签名作为建模对象。这种情况往往存在签字差异导致字符与字符之间难以对齐的问题，同时，在实际业务应用中，只对笔迹相似度进行了限制，而未对各字符做可辨识的限制，往往存在艺术字体、乱涂乱画等多种情况造成无法辨识的问题，影响签署内容的质量和有效性。

公开号CN201310405207.2，名称“一种基于字符的在线笔迹认证的模板扩充方法”的中国发明专利申请，公开了一种在线测试笔迹与注册笔迹比对和模板自动扩充机制，当注册笔迹与测试笔迹比对通过时，将书写的未注册字符进行自动注册，完全依赖于算法比对结果，没有对书写的未注册字符进行内容校验，存在导致注册数据被污染的风险。公开号CN202111540184.7名称“基于通道注意力机制的签名鉴别系统及方法”的中国发明专利申请，通过直接将整个签名图片像素反转并拼接为多通道网络输入，利用通道注意力机制模型结合交叉熵损失函数进行二分类。由于签名笔迹图像过于稀疏，背景占据比例非常大，多通道笔迹很难进行对齐，卷积运算难以学到对应笔画的细粒度信息。公开号CN201611122474.9名称“离线手写签名鉴别方法及系统”的中国发明专利申请，公开了一种离线手写签名鉴别方法及系统，通过对离线签名进行二值化、剪切边界、大小归一化、倾斜矫正和缩距等预处理，再对剪切边界的灰度图像提取脉冲耦合神经网络特征，对归一化的灰度图像提取纹理特征包括局部二值模式特征和灰度共生矩阵特征，对归一化的二值图像提取低阶矩特征。再对整个签名图像的这些特征进行降维。得到特征维数较低的特征向量后，计算之间的距离，估算其相似度，通过阈值法判断其真伪，或者直接使用分类器对其进行训练和预测。发明通过传统图像处理与手工特征进行笔迹比对，往往存在泛化性差，准确率低的问题。

发明内容

本发明针对现有技术中通常以整个签名作为建模对象，笔迹很难进行对齐，签名数据容易被污染等，导致签名识别验证准确性不高等问题提出一种基于可辨识单字字符的在线笔迹验证技术，目的在于规范在线手写汉字的可辨识性，并在此基础上进行单个字符的笔迹验证，最后通过多个字符综合判断得到最终笔迹身份认证结果。

本发明解决上述技术问题的技术方案是，采用单字字符采集，可以有效避免签署过程中的连笔、简写、艺术签等情况，通过引入字符识别模块规范在线手写内容，实现签署字符内容可辨识，由此，提供一种跨模态可辨识单字字符的笔迹验证方法，获取电子签名笔迹图像、电子化的纸质签名图像、在线书写字符笔迹，关联签署用户身份标识存入数据库进行笔迹注册；对数据库中数据预处理，清洗异常数据、消除纸质数据与电子数据的差异，预处理后的数据回显成多维度的字符轨迹图像，或直接将序列特征组合为二维序列；回显字符轨迹图像、二维序列、纸质签名图像作为训练集样本输入深度学习神经模型进行训练，采用字符空间注意力机制参考标准样本，学习标准样本的独有写法或重要写法，捕捉字符关键差异和特有共性，获取多模态字符图像的书写者笔迹特征向量，通过笔迹特征向量的损失函数优化得到笔迹识别模型；利用验证集统计验证笔迹识别模型确定最终单字字符识别模型，单字字符识别模型根据在线手写字符数据集进行相似度计算，综合判断验证签署人身份。

进一步优选，根据签署人、签署设备或介质的不同分类对注册的数据划分训练集、验证集和测试集，确定正、负样本，训练集中同一人签署的相同内容的字符为正样本，同一人签署的不同内容字符和其他人签署的相同内容字符作为负样本。

进一步优选，所述预处理包括，剔除轨迹坐标越界、时间戳倒流、点位长度过短、签署时间过短、签署方向异常的数据，去除重复点位、野点、离群点，修复笔触状态、压力值，统一笔迹采样率，对电子化的纸质手写字符数据进行去噪、二值化和细化处理；所述回显成字符轨迹图像包括，根据字符轨迹信息和生成的笔迹特征联合回显成多维度的字符图像，统一缩放为由特征维度决定的固定尺寸，二维序列为【序列长度*特征维度】。

进一步优选，骨干特征提取网络包括：两路多级空间注意力模块分别通过过渡层和密集连接模块级联，其中一路以训练集中字符样本作为输入，另一路以该字符样本内容对应的标准样本作为输入，根据字符样本和标准样本处理获得各级的特征差异权重，对各级特征差异权重的特征合并输入1*1卷积层获取多模态字符图像的书写者笔迹特征向量。

进一步优选，骨干特征提取网络学习手写汉字笔迹特征，对于不同人书写的同一个字，骨干特征提取网络关注标准样本与在线手写字符的差异，根据多分支分类函数输出不同书写人的概率，通过分类函数训练书写者分类器，针对每一个汉字建一个书写者分类器，或多个汉字共用一个书写者分类器。

进一步优选，以训练集中字符样本输入表征网络的特征图feature map上实现一层或多层的特征向量运算，通过一个表征网络训练不同汉字的标准写法，使得该表征网络具备提取标准汉字写法的特征向量，将标准写法的特征向量与具有风格化的训练集样本输入骨干特征提取网络，根据不同用户手写字符与标准汉字写法的差异化信息，获得不同书写者多模态字符图像的书写者笔迹特征向量。

进一步优选，通过书写者笔迹特征向量的损失函数优化骨干特征提取网络，减少类内向量角度，增加类间向量角度，得到字符笔迹识别模型，根据公式：

计算损失函数loss。其中，N表示训练样本个数，m表示角度间隔参数，θ_j表示第j个样本特征向量间的角度，s表示特征缩放因子。

进一步优选，利用验证集统计验证笔迹识别模型的验证效果，利用验证集中的正负样本构建比对样本对，通过AUC指标为每个单字字符赋予不同的权重，计算样本对之间的特征相似度，统计并拟合每个多模态字符不同相似度下对应的准确率，准确率达到阈值的笔迹识别模型为最终单字识别模型，其中，根据公式：

计算字符对(A_i,B_i)的相似度P，其中，AUC_i表示测试集中对单字字符i对应的AUC评价指标，N表示注册的签名或者文本行个数，prob(A_i,B_i)表示i字符对(A_i,B_i)的相似度对应拟合的概率值。

第二方面，本发明提出一种跨模态可辨识单字字符的笔迹验证系统，包括：笔迹注册模块，数据预处理模块，模型训练模块，笔迹识别模块，数据校验模块，特征提取模块，单字字符识别模型，笔迹注册模块，用于获取签署人的在线签字页面书写字符及笔迹数据、纸质书写字符数据关联书写者身份标识进行笔迹注册；预处理模块，用于对数据库中数据预处理，清洗异常数据、消除纸质数据与电子数据的差异，预处理后的数据回显成多维度的字符轨迹图像，或直接将序列特征组合为二维序列；模型训练模块，利用回显字符轨迹图像、二维序列、纸质签名图像作为训练集样本输入深度学习神经模型进行训练，采用字符空间注意力机制参考标准样本，学习标准样本的独有写法或重要写法，特征提取模块捕捉字符关键差异和特有共性，获取多模态字符图像的书写者笔迹特征向量，通过笔迹特征向量的损失函数优化得到笔迹识别模型；数据校验模块利用验证集统计验证笔迹识别模型确定最终单字字符识别模型，单字字符识别模型根据在线手写字符数据集进行相似度计算，综合判断验证签署人身份。

进一步优选，单字字符识别模型包括：卷积层、最大池化层、多级空间注意力模块、特征合并模块、1*1卷积层，各级空间注意力模块之间通过过渡层和密集连接模块进行连接，单字字符样本和标准字符样本通过卷积层、最大池化层输入多级空间注意力模块，通过每级空间注意力模块依次获得各级特征差异权重，对各级特差异权重通过特征合并输入1*1卷积层输出特征向量，特征向量选择再接多层感机优化，优化类别损失函数。

第三方面，本发明提出一种电子设备，包括：一个或多个处理器，存储器，一个或多个应用程序，其被存储在所述存储器中并被配置为由所述一个或多个处理器加载和运行以便执行上面所述的跨模态可辨识单字字符的笔迹验证方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上面步骤所述的跨模态可辨识单字字符的笔迹验证方法。

为了实现手写笔迹内容的可辨识性，并对手写笔迹进行比对验证，进而进行身份验证。本发明提供一种基于可辨识单字字符的笔迹验证方法，通过对在线签署内容和笔迹采集形式进行限定以及对采集内容的可识别约束，保证字符的可辨识性。采集电子手写字符、字符轨迹、纸质字符电子图像，并结合字符OCR算法，基于多模态字符采用字符空间注意力机制参考标准样本，学习标准样本的独有写法或重要写法，捕捉字符关键差异和特有共性，获取多模态字符图像的书写者笔迹特征向量，模型采用密集连具备高层语义信息和低层细节注意的能力，获得更好的表征能力，消除了背景的干扰和笔迹稀疏的问题，解决了整个签名或者多个签字无法进行中心对齐，容易受到字符间间隔背景干扰等问题，通过综合单字字符笔迹比对，可以有效提升对整体签名或签署内容笔迹比对精度和效果。

附图说明

图1所示为本发明单字笔迹验证方法流程示意图；

图2为本发明字符笔迹注册流程示意图；

图3为实施例之一的骨干网络结构示意图；

图4分区域字符采集页面示意图。

具体实施方式

为了便于清楚地理解本发明，使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述，应当理解，实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

签署设备在线手写签署页面为可采集单个手写字符或字符可拆分的形式，包括但不限于单屏单字签署、分区域签署或切字算法获得，并且系统知晓手写字符内容。利用字符识别算法对手写输入的字符进行校验，判断签署内容是否为预设字符。训练基于图像的单字笔迹分类或表征网络模型，优化分类损失，更新网络权重，使同人同字的样本在向量空间聚合，其它样本拉远；利用已训练网络提取字符表征，对比留样字符和验证字符的表征向量相似度，进行验证，判断是否为同一人书写的字符；综合各字符比对结果，得出手写文本行笔迹验证结果。

如图1所示为本发明单字笔迹验证方法流程示意图，包括，笔迹注册模块，笔迹识别模块，数据校验模块，数据预处理模块，内容校验模块，特征提取模块，在线手写字符数据集获取模块，笔迹注册模块获取在线书写字符及笔迹关联用户进行注册，笔迹识别模块提取待验证字符及笔迹，对注册字符及笔迹、待验证字符及笔迹进行数据校验，预处理，内容校验后利用训练优化后的笔迹特征提取模型提取用户笔迹特征；获取大量在线手写字符数据集，通过模型训练和模型验证构建单字字符笔迹识别模型，单字字符笔迹识别模型根据注册字符及笔迹特征、待验证字符及笔迹特征进行相似度计算，综合判断验证签名或者文本行是否为同一人书写。

笔迹注册，签字页面书写的字符通过内容校验后，提交文本字符和签署用户唯一标识到数据库进行笔迹注册。如图2为字符笔迹注册流程示意图。包括：字符采集，笔迹注册，判断采集获取的是否为有效数据，如是有效数据，对数据预处理并识别字符，判断是否为预设字符，如是预设字符，注册成功。

具体可为，数据采集模块支持系统采集单个手写字符，获取电子签名笔迹图像、电子化的纸质签名图像或在线字符笔迹信息，关联签署用户唯一标识并存入数据库，用于后面的笔迹比对需要。在线字符笔迹信息包括：如笔画轨迹坐标(x,y)、笔触状态s、压力P和时间戳T等字符笔迹信息。签署设备中电子签名签署页面包括但不限于单屏单字书写、分区单字书写、或完整采集再切分等可采集完整单个字符的签署形式。笔迹注册模块根据预先设定的文本内容，根据标准字符提示在签字页面进行字符的书写，通过内容校验后，提交文本字符和签署用户唯一标识到数据库进行笔迹注册。

内容校验可采用字符识别模型对采集的单个字符进行字符内容识别，或针对内容设置超过指定相似度为通过内容校验。以识别概率最大对应的汉字字符为识别结果，比较识别内容是否为预设字符内容，若是，则校验通过完成提交；若不是，则提示书写者重新书写该内容。

构建数据库，以不同书写者书写的相同和不同字符作为不同类别构建数据集，为了兼容纸质签名数据与电子签名数据的跨模态比对，获取同一签署人相同内容的在线电子书写字符数据、纸质书写字符数据，关联书写者身份标识构建数据集。除了采集的在线手写字符数据，进一步融入电子化的纸质手写字符数据进行构建，并以类别划分训练集、验证集和测试集，可根据签署人及签署设备或介质的不同分类划分训练集、验证集和测试集。训练集中，同一人签署的相同内容的字符为正样本，同一人签署的其他内容字符和其他人签署的相同内容字符作为负样本。

预处理模块对数据库中数据进行预处理，进行有效性清洗，清洗异常数据，剔除包括：轨迹坐标越界、时间戳倒流、点位长度过短、签署时间过短、签署方向异常等异常数据；重复点位去除、修复笔触状态、修复压力值、去除野点、离群点以及统一笔迹采样率；对电子化的纸质手写字符数据进行去噪、二值化和细化处理等预处理，消除纸质数据与电子数据的差异。

预处理后的数据回显成多维度的字符轨迹图像，或不回显为字符轨迹图像，直接将序列特征组合为二维序列。字符图像特征包括：可以直接作用于对应的笔画轨迹上；另一种方式也可以不回显为轨迹图像，形成如【序列长度*特征维度】的二维序列(即图像)。如将预处理后的数据根据手写字符轨迹信息和由其它纸质电子图像生成的笔迹特征联合回显成多维度的字符图像，并统一缩放为由特征维度决定的固定尺寸(如128x128x n，其中，n为包括：速度、加速度、角速度、压力、或其它高阶特征的特征维度)。

建立包括骨干特征提取网络和损失函数网络的深度学习神经网络，利用训练集多模态数据优化网络模型，训练集样本数据为同一个人相同汉字互为正样本，其它为负样本。对于预处理后的多模态数据，输入回显图像与预处理纸质图像作为训练集样本输入骨干特征提取网络网络模型，模型训练的目的是拉进正样本距离，增大负样本距离。

骨干特征提取网络结构可以为vggse、resnet、densenet或自定义网络等卷积网络结构，骨干特征提取网络学习手写汉字笔迹特征，对于不同人书写的同一个字，骨干特征提取网络注意力模块关注标准字与手写字的差异，全连接层和多分支分类函数输出不同书写人的概率，通过分类函数构建网络训练书写者分类器进行分类，可以针对每一个汉字建一个网络训练书写者分类器，也可以多个汉字共用一个网络训练书写者分类器。由于汉字种类较多，为了增大不同汉字的类内区分能力，可以采用汉字内容作为空间注意力机制。

本实施例骨干特征提取网络结构采用字符空间注意力机制，可以让网络参考标准样本，学习样本的独有写法或重要写法，捕捉字符关键差异和特有共性，密集连接模块合并函数concat连接多个数组汇聚了多层特征，同时具备高层语义信息和低层细节注意的能力，可以获得更好的表征能力。

如图3为本发明实施例中的骨干特征提取网络结构示意图，两路多级空间注意力机制模块分别通过通过过渡层和密集连接模块级联，其中一路以训练集中字符样本作为输入，另一路以该训练集字符样本内容对应的标准样本作为输入，对字符样本和标准样本进行处理获得各级的特征差异权重。如图中左边输入的单字字符为训练集样本，右边输入的标准样本为该训练集样本内容对应的标准样本，标准样本可以由平均或指定等方式得到。

具体为，骨干特征提取网络包括：卷积层、最大池化层、多级空间注意力模块、特征合并模块、1*1卷积层、各级空间注意力模块之间通过过渡层和密集连接模块进行连接，训练集正、负样本和标准字符输入卷积层，通过最大池化层处理，再通过多级空间注意力模块、过渡层、密集连接模块获取各级的特征差异权重，对各级过渡层输出的特征合并输入1*1卷积层获取多模态字符图像的书写者笔迹特征向量。

字符空间注意力机制的另一种实现方式为：在以训练集中字符样本作为输入一路表征网络的特征图feature map上直接实现一层或多层的特征向量运算，该特征向量是针对不同汉字字符网络学习得到，可通过单独一个子网络训练不同汉字的标准写法，使得该子网络具备提取标准汉字写法的特征向量，提取出标准写法字符向量，将提取的标准写法向量作用于输入具有风格化的训练集样本，根据不同用户的手写字符与标准汉字写法的差异化信息，获得不同书写者多模态字符图像的书写者笔迹特征向量。

基于骨干特征提取网络输出的特征，通过特定维度的数字化向量进行表示，表征书写人的笔迹信息，可选择再接多层感机优化，进行迭代训练和验证，优化类别损失函数，损失函数可以采用的方式如contrastive loss(对比损失)、softmax loss(交叉熵损失)、triplet loss(三元组损失)。

本发明实施例采用18层残差网络附加角裕度(Additive Angular Margin，)损失ArcFace函数，作为学习笔迹特征向量的损失函数，来优化骨干特征提取网络减少类内向量角度，增加类间向量角度。具体为，根据公式：

计算作为损失函数loss。其中，N表示训练样本个数，m表示角度间隔参数，θ_j表示第j个类别的角度，s表示特征缩放因子，y_i表示样本i输出的类别，n表示类别数。

利用训练集样本和验证集样本数据对骨干特征提取网络进行迭代训练，并通过损失函数计算模型预测与正式标签的误差，优化网络模型参数，得到字符笔迹识别模型，提取笔迹特征向量，使同类别的手写字符特征向量间角度更小，不同类别间提取的特征向量夹角更大。

通过对骨干特征提取网络训练的多模态样本字符分类模型权重，得到字符特征向量表示，由于字符笔迹识别模型的类别以人和字进行设置，所以输出的多模态字符特征向量具有书写人的习惯信息，可以用欧式、余弦或其他向量度量方式计算相似性。根据损失函数的约束，同一类别之间向量夹角越小，不同类别之间向量夹角越大。

本实施例通过余弦相似度比较两个字符向量的相似程度，根据预先设定的相似度阈值判定两个相同内容的字符是否为同一个人书写，

根据公式：

计算两个字符的余弦相似度，其中A，B表示两个字符通过笔迹识别模型提取的特征向量，A_i，B_i表示对应特征向量(A，B)的第i个元素值。n表示向量的长度，||A||表示向量A的模长。

利用验证集统计已训练后得到的笔迹识别模型对各不同书写方式、不同介质上获取汉字字符的测试效果如准确率或错误率eer等，以及各汉字在各阈值分段下的准确率、AUC指标等。利用验证集中的正负样本构建比对样本对，计算样本对之间的特征相似度，统计并拟合每个多模态字符不同相似度下对应的准确率。针对签名或者签署文本行，通过各个字符的比对结果，综合各个字符的相似度，得到最终签名或者文本行的比对结果。统计方式包括但不限于投票法、平均法、加权判别法等。本实施例以综合判别方法为例对字符进行比对。根据公式：

计算字符对(A_i,B_i)的相似度P，其中，AUC_i表示测试集中对单字字符i对应的AUC评价指标，N表示注册的签名或者文本行个数，prob(A_i,B_i)表示i字符对(A_i,B_i)的相似度对应拟合的概率值。

通过AUC指标为每个单字字符赋予不同的权重，充分考虑了单字字符复杂度对整体签名或者文本行比对的不同影响。其中，prob(A_i,B_i)可以通过在验证集不同阈值下的精度统计而来，也可以通过sigmoid函数转换而来。如采用sigmoid函数转换，可根据公式：

计算拟合的概率值prob(A_i,B_i)，其中similarity表示字符对(A_i,B_i)的相似度，threshold表示单字字符i对应的距离阈值。

如图4所示为区域字符采集页面示意图。为了进行基于上述可辨识字符的笔迹比对，系统在采集手写字符数据时，签署页面须可采集单个手写字符或采集字符可拆分的形式，包括但不限于单屏单字签署、分区域签署或切字算法获得等。图4为其中一种分区域签署的方式，通过米字格限制书写区域，即每个字符只可在米字格区域进行书写，提取每个米字格内单个字符进行后续内容校验和单个字符笔迹比对。

Claims (12)

1.一种跨模态可辨识单字字符的笔迹验证方法，其特征在于，获取电子签名笔迹图像、电子化的纸质签名图像、在线书写字符笔迹，关联签署用户身份标识存入数据库进行笔迹注册；对数据库中数据预处理，清洗异常数据、消除纸质数据与电子数据的差异，预处理后的数据回显成多维度的字符轨迹图像，或直接将序列特征组合为二维序列；回显字符轨迹图像、二维序列、纸质签名图像作为训练集样本输入深度学习神经模型进行训练，采用字符空间注意力机制参考标准样本，学习标准样本的独有写法或重要写法，捕捉字符关键差异和特有共性，获取多模态字符图像的书写者笔迹特征向量，通过笔迹特征向量的损失函数优化得到笔迹识别模型；利用验证集统计验证笔迹识别模型确定最终单字字符笔迹识别模型，单字字符笔迹识别模型根据在线手写字符数据集进行相似度计算，综合判断验证签署人身份。

2.根据权利要求1所述的方法，其特征在于，根据签署人、签署设备或介质的不同分类对注册的数据划分训练集、验证集和测试集，确定正、负样本，训练集中同一人签署的相同内容的字符为正样本，同一人签署的不同内容字符和其他人签署的相同内容字符作为负样本。

3.根据权利要求1所述的方法，其特征在于，所述预处理包括，剔除轨迹坐标越界、时间戳倒流、点位长度过短、签署时间过短、签署方向异常的数据，去除重复点位、野点、离群点，修复笔触状态、压力值，统一笔迹采样率，对电子化的纸质手写字符数据进行去噪、二值化和细化处理；所述回显成字符轨迹图像包括，根据字符轨迹信息和生成的笔迹特征联合回显成多维度的字符图像，统一缩放为由特征维度决定的固定尺寸，二维序列为【序列长度*特征维度】。

4.根据权利要求1-3其中之一所述的方法，其特征在于，骨干特征提取网络包括：两路多级空间注意力模块分别通过过渡层和密集连接模块级联，其中一路以训练集中字符样本作为输入，另一路以该字符样本内容对应的标准样本作为输入，根据字符样本和标准样本处理获得各级的特征差异权重，对各级特征差异权重的特征合并输入1*1卷积层获取多模态字符图像的书写者笔迹特征向量。

5.根据权利要求4所述的方法，其特征在于，骨干特征提取网络学习手写汉字笔迹特征，对于不同人书写的同一个字，骨干特征提取网络关注标准样本与在线手写字符的差异，根据多分支分类函数输出不同书写人的概率，通过分类函数训练书写者分类器，针对每一个汉字建一个书写者分类器，或多个汉字共用一个书写者分类器。

6.根据权利要求1-3其中之一所述的方法，其特征在于，以训练集中字符样本输入表征网络的特征图feature map上实现一层或多层的特征向量运算，通过一个表征网络训练不同汉字的标准写法，使得该表征网络具备提取标准汉字写法的特征向量，将标准写法的特征向量与具有风格化的训练集样本输入骨干特征提取网络，根据不同用户手写字符与标准汉字写法的差异化信息，获得不同书写者多模态字符图像的书写者笔迹特征向量。

7.根据权利要求1-3、5其中之一所述的方法，其特征在于，通过书写者笔迹特征向量的损失函数优化骨干特征提取网络，减少类内向量角度，增加类间向量角度，得到字符笔迹识别模型，根据公式：

计算损失函数loss。其中，N表示训练样本个数，m表示角度间隔参数，θ_j表示第j个样本特征向量间的角度，s表示特征缩放因子。

8.根据权利要求1-3、5其中之一所述的方法，其特征在于，利用验证集统计验证笔迹识别模型的验证效果，利用验证集中的正负样本构建比对样本对，通过AUC指标为每个单字字符赋予不同的权重，计算样本对之间的特征相似度，统计并拟合每个多模态字符不同相似度下对应的准确率，准确率达到阈值的笔迹识别模型为最终单字识别模型，其中，根据公式：

计算字符对(A_i,B_i)的相似度P，其中，AUC_i表示测试集中对单字字符i对应的AUC评价指标，N表示注册的签名或者文本行个数，prob(A_i,B_i)表示i字符对(A_i,B_i)的相似度对应拟合的概率值。

9.一种跨模态可辨识单字字符的笔迹验证系统，其特征在于，包括：笔迹注册模块，数据预处理模块，模型训练模块，笔迹识别模块，数据校验模块，特征提取模块，单字字符识别模型，笔迹注册模块，用于获取签署人的在线签字页面书写字符及笔迹数据、纸质书写字符数据关联书写者身份标识进行笔迹注册；预处理模块，用于对数据库中数据预处理，清洗异常数据、消除纸质数据与电子数据的差异，预处理后的数据回显成多维度的字符轨迹图像，或直接将序列特征组合为二维序列；模型训练模块，利用回显字符轨迹图像、二维序列、纸质签名图像作为训练集样本输入深度学习神经模型进行训练，采用字符空间注意力机制参考标准样本，学习标准样本的独有写法或重要写法，特征提取模块捕捉字符关键差异和特有共性，获取多模态字符图像的书写者笔迹特征向量，通过笔迹特征向量的损失函数优化得到笔迹识别模型；数据校验模块利用验证集统计验证笔迹识别模型确定最终单字字符识别模型，单字字符识别模型根据在线手写字符数据集进行相似度计算，综合判断验证签署人身份。

10.根据权利要求9所述的系统，其特征在于，单字字符识别模型包括：卷积层、最大池化层、多级空间注意力模块、特征合并模块、1*1卷积层，各级空间注意力模块之间通过过渡层和密集连接模块进行连接，密集连接模块合并函数concat汇聚多层特征，单字字符样本和标准字符样本通过卷积层、最大池化层输入多级空间注意力模块，通过每级空间注意力模块依次获得各级特征差异权重，对各级特差异权重通过特征合并输入1*1卷积层输出特征向量，特征向量选择再接多层感机优化，优化类别损失函数。

11.一种电子设备，其特征在于，包括：一个或多个处理器，存储器，一个或多个应用程序，其被存储在所述存储器中并被配置为由所述一个或多个处理器加载和运行以便执行权利要求1-8其中之一所述的跨模态可辨识单字字符的笔迹验证方法。

12.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的权利要求1-8其中之一所述的跨模态可辨识单字字符的笔迹验证方法。

Images