CN114220178A - 基于通道注意力机制的签名鉴别系统及方法 - Google Patents
基于通道注意力机制的签名鉴别系统及方法 Download PDFInfo
- Publication number
- CN114220178A CN114220178A CN202111540184.7A CN202111540184A CN114220178A CN 114220178 A CN114220178 A CN 114220178A CN 202111540184 A CN202111540184 A CN 202111540184A CN 114220178 A CN114220178 A CN 114220178A
- Authority
- CN
- China
- Prior art keywords
- signature
- image
- writing
- attention mechanism
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 claims abstract description 47
- 238000005070 sampling Methods 0.000 claims abstract description 23
- 238000011176 pooling Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 50
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 17
- 238000007781 pre-processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明请求保护一种基于注意力机制的签名鉴别系统及方法，涉及计算机图像处理识别技术领域，将收集到的电子签名笔迹数据结合坐标，压力与时间信息转换为签名图像，对数据集中的正写与仿写签名数据经过动态采样组合配对为图片对后进一步数据增强再将图片对进行拼接组合作为最终的输入图像，经过普通卷积层、通道注意力卷积层、池化层的相互作用，得到正写签名与仿写签名对或正写签名与正写签名对的综合特征向量表示，再结合通道注意力机制对该综合特征向量在不同维度进行特征加权，最后利用全连接分类器对加权特征向量进行二分类真伪鉴别。本发明可广泛应用于电子签名笔迹识别。
Description
技术领域
本发明涉及计算机模式识别技术领域，具体是一种基于卷积神经网络的电子签名鉴别方法，对电子签名图像进行鉴别判断是否为同一人签署。
背景技术
签名笔迹鉴别是通过对留样签名笔迹信息与待测试签名笔迹信息进行相似度度量，以验证测试签名的真实性。其在司法鉴定、合同签署等多个领域有广泛应用。对于笔迹签名鉴别，根据使用数据的不同，可分为在线笔迹鉴别与离线笔迹鉴别。在线笔迹鉴别使用序列数据，而离线笔迹鉴别使用图像数据。早期的离线笔迹鉴别研究工作集中于通过手工提取特征来比较两个签名之间的距离，进行验证是否为同一人签名，例如签名高度，宽度，区域位置，文字倾斜程度与连笔程度。提取图像特征很容易受到噪声的影响，无法捕捉几何变换，难以表征签名风格和签名笔划结构等的有效信息，效率低，准确度差。近年来深度学习大力发展，也被应用于笔迹签名鉴别之中，由于其自主学习、自动提取特征的优势，取得了比图片提取特征更好的效果。
公开号CN 110399815 A，发明名称“一种基于VGG16的CNN-SVM手写签名识别方法”利用改进的VGG模型，对签名图像分别提取特征并分类。标签化处理手写签名图像数据集；对数据集依次通过图像灰度化、二值化和尺寸归一化进行预处理；采用数据集ImageNet训练神经网络模型VGG16得到权重集；将权重集迁移至CNN并训练，得到初始特征矩阵；将初始特征矩阵经过PCA降维后输入SVM进行训练，得到手写签名图像识别结果。
公开号CN110399815，发明名称“一种提高电子签名识别准率的电子签名认证方法及设备”基于卷积神经网络，对签名图像分别提取特征并分类。公开一种提高电子签名识别准率的电子签名认证方法，在所述签名轨迹图层上根据所述签名轨迹的坐标信息还原签名轨迹；新建签名压力图层，从压力信息中获取压力值，然后在所述签名压力图层上，在与所述签名轨迹的坐标信息相对应的像素点上设置该压力值；合并签名轨迹图层和签名压力图层，生成一特征图；将特征图输入训练好的卷积神经网络，通过卷积神经网络将该特征图与该签名的签名模板图进行字迹比对，输出认证结果。同时提取签名字迹特征和签名时笔迹压力值特征，并通过卷积神经网络识别，大大提高了识别准确率。
上述技术主要是对签名图像分别提取特征并分类，通过训练获得的特征图签名模板比对，对签名进行识别。签名鉴别的难点在于：其一，签名风格变化多样程度高，差异性比较大，而签名信息由于书写人所处的环境不同、书写介质不同、书写姿势不同等因素，差异过大；其二，签名图像有效区域过小，笔迹信息占整个签名图像的很小部分区域，特征稀疏；其三，签名图像的数据增强手段较少，不同于其他分类任务的图像，签名笔迹图像为单通道图，而且背景区域过大，常用的改变颜色的数据增强等方式难以有效。
发明内容
本发明针对签名风格差异较大，签名图像有效区域过小导致的特征稀疏等问题，提出一种基于通道注意力机制的电子签名笔迹鉴别方法，能够极大提高在线签名笔迹鉴别比对的效率和准确率。
本发明解决上述技术问题的技术方案是，提出一种基于通道注意力机制的卷积神经网络的签名鉴别系统，包括：图像采样配对组合部分、图像像素反转拼接部分、数据集、通道注意力机制模型、全连接分类器，图像采样配对组合部分对数据集中的正写与仿写签名笔迹序列数据转换为签名图像数据，动态采样组合配对为签名图片对；图像像素反转拼接部分将签名图片对进行拼接组合输入通道注意力机制模型；通道注意力机制模型处理经过拼接组合的签名图片对得到正写签名与仿写签名对，或正写签名与正写签名对的综合特征向量，对该综合特征向量在不同维度进行特征加权，全连接分类器对加权特征向量进行二分类真伪鉴别。
作为进一步优化，图像配对部分将正写/仿写签名的笔迹序列数据结合坐标、压力、时间信息转换为对应的签名图像数据。
作为进一步优化，采用训练集作为训练样本对通道注意力机制模型进行训练，在每次向通道注意力机制模型输入签名图像，进行数据采样及配对时交换正写样本与随机选取对应配对样本顺序，每个训练轮次的样本有不同组合，且在随机配对中进行随机的签名数据像素翻转及通道置换，按设定概率同时水平方向或垂直方向翻转正写图像及其对应的配对图像。
作为进一步优化，利用损失函数对带有通道注意力机制模块的深层卷积神经网络进行训练，采用带动量的随机梯度下降方式及逆行参数优化，直到训练过程中目标优化损失函数值下降到预定值，获得最优参数构建全连接分类器。
作为进一步优化，将正写图像与对应配对图像在通道上进行拼接，按设定概率交换正写图像与其对应拼接签名图像在拼接组合时的上下关系，签字图像变成W*H*2，组成签名图像对。反转图像像素，将黑底白字的组合签名图像对，反转像素为白底黑字的新组合图像对，并将新组合图像对拼接在黑底白字的组合签名图像对通道上，签字图像成W*H*4。
作为进一步优化，基于通道注意力机制模型结合交叉熵二分类层构成深层卷积神经网络，其中，通道注意力机制模块将输入的特征图进行全局平均池化得到特征向量，全连接层进行通道降维得到降维特征向量，修正线性单元对降维特征向量进行非线性映射，全连接层进行通道升维得到升维特征向量，激活函数层根据升维特征向量确定对应通道的权重，将各通道权重与特征图的对应元素相乘，卷积和池化层根据通道注意力机制模块输出的特征图提取特征，经过两次注意力连接卷积及池化层的循环后再进行全连接层特征映射得到输入图像样本的特征表示。
本发明还请求保护一种基于通道注意力机制的卷积神经网络的签名鉴别方法，包括步骤：将正写/仿写签名的笔迹序列数据转换为签名图像数据，分为训练集和测试集存入数据集，动态采样配对获得签名图像对；对签名图像对进行拼接组合输入通道注意力机制模型进行处理，得到正写签名与仿写签名对，以及正写签名与正写签名对的综合特征向量，对综合特征向量在不同维度进行特征加权，利用全连接分类器对加权特征向量进行二分类真伪鉴别。
作为进一步优化，采用训练集作为训练样本对通道注意力机制模型进行训练，在每次向通道注意力机制模型输入签名图像，进行数据采样及配对时交换正写样本与随机选取对应配对样本顺序，每个训练轮次的样本有不同组合，且在随机配对中进行随机数据增强，按设定概率同时水平方向或垂直方向翻转正写图像及其对应的配对图像。
作为进一步优化，利用损失函数对带有通道注意力机制模块的深层卷积神经网络进行训练，采用带动量的随机梯度下降方式及逆行参数优化，直到训练过程中目标优化损失函数值下降到预定值，获得最优参数构建全连接分类器。
作为进一步优化，将正写图像与对应配对图像在通道上进行拼接，按设定概率交换正写图像与其对应拼接签名图像在拼接组合时的上下关系，签字图像变成W*H*2，组成签名图像对。反转图像像素，将黑底白字的组合签名图像对，反转像素为白底黑字的新组合图像对，并将新组合图像对拼接在黑底白字的组合签名图像对通道上，签字图像成W*H*4。
作为进一步优化，通道注意力机制模块将输入的特征图进行全局平均池化得到特征向量，全连接层进行通道降维得到降维特征向量，修正线性单元对降维特征向量进行非线性映射，全连接层进行通道升维得到升维特征向量，激活函数层根据升维特征向量确定对应通道的权重，将各通道权重与特征图的对应元素相乘，卷积和池化层根据通道注意力机制模块输出的特征图提取特征，经过两次注意力连接卷积及池化层的循环后再进行全连接层特征映射得到输入图像样本的特征表示。
本发明在于其训练过程中采用的在线动态采样及数据增强方式。训练过程中的每轮epoch在进行数据采样及配对时，不按固定的顺序配对，而是采用在线随机动态采样方式，即每个训练轮次的样本不重复，每个训练轮次的样本有不同的组合，且在随机配对中进行随机的签名数据像素翻转及通道置换，进一步丰富了训练样本的多样性，同时使用这种采样方式，还可以获得更多的负样本类型，使得正负样本类别平衡，加强模型对负样本的分辨效果。数据增强时使用随机翻转图像的方式，可进行数据增加，产生更多的数据分布，使模型的泛化能力更强；使用交换正写样本与其随机选取的对应配对样本顺序的方式，可以消除输入模型数据的顺序影响，减小对固定顺序后产生的噪声的影响；使用反转图像像素之后的图像，能够让模型更加关注图像的笔迹区域，主要因为签名图像的有效信息过于稀疏，反转像素之后能够让模型更关注有用的笔划信息。利用通道注意力结构能够让模型更关注两张输入图像的差异，去分析作用更大的地方，即可增强正写图像之间的联系，又能够加强正写图像与仿写图像之间的差异。总而言之，本发明能够极大地增加模型的泛化能力，使模型的识别准确率大大提高。此外采用通道拼接组合后的图像作为数据输入，相比于正写样本与其对应选取配对样本分别提取特征向量之后进行度量的方法，能够加快签名对比算法的速度，并且在卷积模块之中引入注意力机制，对特征图进行度量，而不局限于对特征向量进行度量，进一步丰富了签名样本之间的比较手段。
附图说明
图1本发明整体架构示意图。
具体实施方式
以下结合附图和具体实例对本发明的实施作详细说明。
如图1所示是本发明的整体架构示意图，一种基于注意力卷积神经网络的电子签名笔迹鉴别系统，包括：图像配对部分、图像拼接部分、数据集、通道注意力机制模型、全连接分类器，图像配对部分结合图像采样配对组合、图像像素反转拼接的数据预处理，以及结合通道注意力机制模型的卷积层、池化层、注意力层，图像采样配对组合部分将采集的电子签名数据结合对应的坐标，压力与时间信息转换为原始签名图像，融合原始签名图像数据对数据集中的正写签名数据与对应仿写签名数据进行数据预处理、动态采样配对以及数据增强等操作获得图像对；然后图像拼接部分对图像像素反转拼接对图像对进行拼接组合作为通道注意力机制模型的输入，通道注意力机制模型中的普通卷积层、通道注意力卷积层、池化层对输入信息进行相关处理，得到正写签名与仿写签名对，以及正写签名与正写签名对的综合特征向量，通道注意力机制模型对上述综合特征向量在不同维度进行特征加权，最后利用全连接分类器对加权特征向量进行二分类真伪鉴别。
为便于对上述技术方案的理解，以下举例具体说明相关具体实施方案：
构建数据集。通过数据采集设备采集不同人的正写签名笔迹及其对应仿写签名笔迹，被采集人需在不同设备上使用不同方式正写自己的签名，仿写人在不同设备上(如签字板，手机及平板)使用不同书写方式(签字笔或手写)对正写签名进行仿写，并将采集正写/仿写电子签名获取的电子序列数据结合笔划点坐标、压力与时间信息转换得到对应签名图像数据，进行训练集与测试集的划分，如可按照7：3比例将上述获得的签名图像数据划分训练集与测试集。
为统一训练集数据，提高训练速度和效率，对训练数据预处理。进行训练数据预处理的目的是为了统一训练集的输入尺寸、分布等，进一步增强样本的丰富性和扩充样本量，目前主要采用包括统一签名图像大小、在线动态数据采样及配对、反转图像像素拼接等方法对签名图像数据进行预处理。具体为：
1)统一图像大小。可采用双线性插值的方式将所有签名图像全部缩放至宽*高*通道(W*H*1)的图像大小格式，如本实施例中可设置W为256，H为160，通道为单通道；
2)在线动态数据采样及配对。在每次向通道注意力机制模型输入签名图像时，不使用固定的配对方式，而是视源动态随机的配对方式，进一步扩大训练过程中数据的多样性，如可采用根据设定概率配对，配对方式可先选取一张正写样本，然后按设定概率(如经验值0.9)随机选取对应签署人的正写样本或仿写样本；同时在动态加载训练数据时，可按设定概率(如经验值0.9)同时翻转正写图像及其对应随机选取的配对图像，图像翻转方式可根据设定概率选择水平方向或垂直方向翻转；最后再将正写图像与对应配对图像在图像通道上进行上下拼接配对，正写签名在上，对应配对签名在下，可按设定概率可随机交换正写图像与其对应配对签名图像在拼接组合时的上下关系，签字图像变成W*H*2，组成签名图像对。
3)反转图像像素拼接。为了使将要训练的网络模型更加关注于笔画信息而不是背景信息，将原本为黑底白字的组合图像对，反转像素为白底黑字的新组合图像对，并将新组合图像对拼接在原黑底白字的组合图像对的通道上，通道上方为原组合图像对，下方为新组合图像对，则签字图像变成W*H*4。
模型构建与测试。
1)网络模型构建。将经过上述数据预处理后的尺寸为W*H*4的签名图像经过卷积和池化层处理后，原始图像尺寸会变化为新的W1*H1*C(实际过程中经过卷积和池化特征提取后，W1和H1会比原输入的W和H要小，通道C会增加)，然后将此特征图输入通道注意力机制模块。通道注意力机制的作用是给每个通道分配不同的权重，让网络关注重要的特征，抑制不重要的特征，主要流程为：将输入的W1*H1*C大小的特征图进行全局平均池化得到大小为1*1*C的特征向量，再通过一个全连接层进行通道降维，得到大小为1*1*C/4的新特征向量，经过修正线性单元(ReLu)进行非线性映射后，再通过一个全连接层进行通道升维，将特征向量变换为1*1*C，最后再将此特征向量经过一个Sigmoid激活函数层得到对应通道的权重系数，此系数表示了各通道在整个特征图的重要程度，将各通道对应权重与一开始输入注意力机制模块的特征图的对应元素相乘，最终即得到经过通道注意力之后的特征图。将经过注意力机制模块后的特征图再经过卷积和池化层进一步进行特征提取，经过两次注意力连接卷积及池化层的循环操作后再进行全连接层特征映射得到最终的输入图像样本的特征表示，再连接softmax交叉熵二分类层即构成了最终的网络结构。
2)模型训练及验证。
利用损失函数对带有通道注意力机制模块的深层卷积神经网络进行训练，可采用传统的交叉熵分类损失函数对模型进行训练，参数优化器对模块训练参数进行迭代更新，采用带动量的随机梯度下降方式(SGD)及逆行参数优化，直到训练过程中目标优化损失函数值下降到预定值后方终止迭代更新，获得最优参数得到训练好的模型作为签名识别模型。
将数据库中签名测试数据集输入签名识别模型进行测试，将测试集中经过数据预处理的正写样本与测试样本(测试样本可为正写样本或仿写样本)输入签名识别模型，测试样本的处理与训练样本的预处理稍有不同，训练数据需要经过一些动态采样及随机数据增强(如图像翻转等)操作加强丰富样本的多样性，而测试数据则不需要进行动态采样及数据增强操作，当前测试数据只需要进行上述的统一图像大小，全部图像正写与测试样本的一对一配对以及图像像素反转拼接的操作，其输入模型的大小也为统一的W*H*4四通道图像。预处理后的图像通过训练好的模型测试之后会输出一个是否为同一人书写的相似度得分。根据相似度与预先设置的阈值比较判定输入签字识别模型的签名图像与样本图像是否为同一人签署(如相似度大于0.5则确认为同一人签署)。
为了验证本发明的效果，根据获取的实际数据，包括：原本为正样本预测为正样本的数量TP，原本为负样本预测为负样本的数量TN，原本为负样本预测为正样本的数量FP，原本为正样本预测为负样本的数量FN，根据如下公式计算召回率(Recall)，精准率(Precision)以及准确率(Accuracy)对构建好的测试集进行综合评估。
Recall＝TP/(TP+FN)
Precision＝TP/(TP+FP)
Accuracy＝(TP+TN)/(TP+TN+FP+FN)
目前通过本发明模型及方法，在已开源的SVC2004数据集上进行测试，Recall约为0.95，Precision约为0.93，Accuracy约为0.94，在实际场景采集的跨设备及跨书写方式数据集上综合的Accuracy约为0.89，这个结果在实际产品应用中也体现了较为精准的判别准确率和良好的用户体验。
本发明先将收集到的电子签名数据结合采集到的坐标，压力与时间信息先转换为签名图像，然后对数据集中的正写与仿写签名数据经过动态采样两两组合配对为图片对后进一步数据增强再将图片对进行拼接组合作为最终的输入图像，经过普通卷积层、通道注意力卷积层、池化层的相互作用，得到正写签名与仿写签名对或正写签名与正写签名对的综合特征向量表示，再结合通道注意力机制对该综合特征向量在不同维度进行特征加权，最后利用全连接分类器对加权特征向量进行二分类真伪鉴别。本发明可广泛应用于电子签名笔迹识别。
Claims (10)
1.一种基于通道注意力机制的卷积神经网络的签名鉴别系统，其特征在于，包括：图像配对部分、图像拼接部分、数据集、通道注意力机制模型、全连接分类器，图像配对部分对数据集中的正写与仿写签名笔迹序列数据转换为签名图像数据，动态采样随机组合配对为正写签名与正写签名图片对或正写签名与仿写签名图片对；图像拼接部分将签名图片对进行像素反转后在通道上拼接组合输入通道注意力机制模型；通道注意力机制模型处理经过拼接组合的签名图片对得到对应综合特征向量，对该综合特征向量在不同维度进行特征加权，全连接分类器对加权特征向量进行二分类真伪鉴别。
2.根据权利要求1所述的系统，其特征在于，采用训练集作为训练样本对通道注意力机制模型进行训练，在每次向通道注意力机制模型输入签名图像，进行数据采样及配对时交换正写样本与随机选取对应配对样本顺序，每个训练轮次的样本有不同组合，且在随机配对中进行随机数据增强，按设定概率同时水平方向或垂直方向翻转正写图像及其对应的配对图像。
3.根据权利要求1所述的系统，其特征在于，利用损失函数对带有通道注意力机制模型的深层卷积神经网络进行训练，采用带动量的随机梯度下降方式及逆行参数优化，直到训练过程中目标优化损失函数值下降到预定值，获得最优参数构建全连接分类器。
4.根据权利要求3所述的系统，其特征在于，基于通道注意力机制模型结合交叉熵二分类层构成深层卷积神经网络，其中，通道注意力机制模块将输入的特征图进行全局平均池化得到特征向量，全连接层进行通道降维得到降维特征向量，修正线性单元对降维特征向量进行非线性映射，全连接层进行通道升维得到升维特征向量，激活函数层根据升维特征向量确定对应通道的权重，将各通道权重与特征图的对应元素相乘，卷积和池化层根据通道注意力机制模块输出的特征图提取特征，经过两次注意力连接卷积及池化层的循环后再进行全连接层特征映射得到输入图像样本的特征表示。
5.一种基于通道注意力机制的卷积神经网络的签名鉴别方法，其特征在于，包括步骤：对数据集中的正写与仿写签名笔迹序列数据转换为签名图像数据，动态采样组合配对为签名图片对；将签名图片对进行拼接组合输入通道注意力机制模型；通道注意力机制模型处理经过拼接组合的签名图片对得到正写签名与仿写签名对，或正写签名与正写签名对的综合特征向量，对该综合特征向量在不同维度进行特征加权，全连接分类器对加权特征向量进行二分类真伪鉴别。
6.根据权利要求5所述的方法，其特征在于，采用训练集作为训练样本对通道注意力机制模型进行训练，在每次向通道注意力机制模型输入签名图像，进行数据采样及配对时交换正写样本与随机选取对应配对样本顺序，每个训练轮次的样本有不同组合，且在随机配对中进行随机数据增强，按设定概率同时水平方向或垂直方向翻转正写图像及其对应的配对图像。
7.根据权利要求5所述的方法，其特征在于，利用损失函数对带有通道注意力机制模块的深层卷积神经网络进行训练，采用带动量的随机梯度下降方式及逆行参数优化，直到训练过程中目标优化损失函数值下降到预定值，获得最优参数构建全连接分类器。
8.根据权利要求5-7其中之一所述的方法，其特征在于，随机选取对应签署人的正写样本或仿写样本，在动态加载训练数据时，按设定概率同时翻转正写图像及其对应随机选取的配对图像，根据设定概率选择水平方向或垂直方向翻转；将正写图像与对应配对图像在通道上进行拼接，按设定概率交换正写图像与其对应配对签名图像在拼接组合时的上下关系，签字图像变成W*H*2，组成签名图像对。
9.根据权利要求5-7所述的方法，其特征在于，反转图像像素，将黑底白字的组合签名图像对，反转像素为白底黑字的新组合图像对，并将新组合图像对拼接在黑底白字的组合签名图像对通道上，签字图像成W*H*4。
10.根据权利要求5-7所述的方法，其特征在于，通道注意力机制模型将输入的特征图进行全局平均池化得到特征向量，全连接层进行通道降维得到降维特征向量，修正线性单元对降维特征向量进行非线性映射，全连接层进行通道升维得到升维特征向量，激活函数层根据升维特征向量确定对应通道的权重，将各通道权重与特征图的对应元素相乘，卷积和池化层根据通道注意力机制模块输出的特征图提取特征，经过两次注意力连接卷积及池化层的循环后再进行全连接层特征映射得到输入图像样本的特征表示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111540184.7A CN114220178A (zh) | 2021-12-16 | 2021-12-16 | 基于通道注意力机制的签名鉴别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111540184.7A CN114220178A (zh) | 2021-12-16 | 2021-12-16 | 基于通道注意力机制的签名鉴别系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114220178A true CN114220178A (zh) | 2022-03-22 |
Family
ID=80702792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111540184.7A Pending CN114220178A (zh) | 2021-12-16 | 2021-12-16 | 基于通道注意力机制的签名鉴别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114220178A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115966029A (zh) * | 2023-03-09 | 2023-04-14 | 珠海金智维信息科技有限公司 | 一种基于注意力机制的离线签名认证方法及系统 |
| CN117475519A (zh) * | 2023-12-26 | 2024-01-30 | 厦门理工学院 | 基于孪生网络与多重通道融合的脱机笔迹鉴别方法 |
| CN118038087A (zh) * | 2024-02-22 | 2024-05-14 | 蚂蚁云创数字科技（北京）有限公司 | 图像处理方法及装置 |
| CN118314410A (zh) * | 2024-06-11 | 2024-07-09 | 济南大学 | 一种基于特征注意力的旋转鲁棒三维模型分类方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344856A (zh) * | 2018-08-10 | 2019-02-15 | 华南理工大学 | 一种基于多层判别式特征学习的脱机签名鉴别方法 |
| CN110659599A (zh) * | 2019-09-19 | 2020-01-07 | 安徽七天教育科技有限公司 | 一种基于扫描试卷的离线笔迹鉴定系统以及使用方法 |
| CN111046774A (zh) * | 2019-12-06 | 2020-04-21 | 国网湖北省电力有限公司电力科学研究院 | 一种基于卷积神经网络的中文签名笔迹鉴定方法 |
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN113239840A (zh) * | 2021-05-24 | 2021-08-10 | 中国农业银行股份有限公司 | 字迹鉴定方法、装置、设备和存储介质 |
| CN113779643A (zh) * | 2021-09-24 | 2021-12-10 | 重庆傲雄在线信息技术有限公司 | 基于预训练技术的签名笔迹识别系统、方法及存储介质 |
-
2021
- 2021-12-16 CN CN202111540184.7A patent/CN114220178A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344856A (zh) * | 2018-08-10 | 2019-02-15 | 华南理工大学 | 一种基于多层判别式特征学习的脱机签名鉴别方法 |
| CN110659599A (zh) * | 2019-09-19 | 2020-01-07 | 安徽七天教育科技有限公司 | 一种基于扫描试卷的离线笔迹鉴定系统以及使用方法 |
| CN111046774A (zh) * | 2019-12-06 | 2020-04-21 | 国网湖北省电力有限公司电力科学研究院 | 一种基于卷积神经网络的中文签名笔迹鉴定方法 |
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN113239840A (zh) * | 2021-05-24 | 2021-08-10 | 中国农业银行股份有限公司 | 字迹鉴定方法、装置、设备和存储介质 |
| CN113779643A (zh) * | 2021-09-24 | 2021-12-10 | 重庆傲雄在线信息技术有限公司 | 基于预训练技术的签名笔迹识别系统、方法及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115966029A (zh) * | 2023-03-09 | 2023-04-14 | 珠海金智维信息科技有限公司 | 一种基于注意力机制的离线签名认证方法及系统 |
| CN115966029B (zh) * | 2023-03-09 | 2023-11-07 | 珠海金智维信息科技有限公司 | 一种基于注意力机制的离线签名认证方法及系统 |
| CN117475519A (zh) * | 2023-12-26 | 2024-01-30 | 厦门理工学院 | 基于孪生网络与多重通道融合的脱机笔迹鉴别方法 |
| CN117475519B (zh) * | 2023-12-26 | 2024-03-12 | 厦门理工学院 | 基于孪生网络与多重通道融合的脱机笔迹鉴别方法 |
| CN118038087A (zh) * | 2024-02-22 | 2024-05-14 | 蚂蚁云创数字科技（北京）有限公司 | 图像处理方法及装置 |
| CN118314410A (zh) * | 2024-06-11 | 2024-07-09 | 济南大学 | 一种基于特征注意力的旋转鲁棒三维模型分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109993160B (zh) | 一种图像矫正及文本与位置识别方法及系统 | |
| CN114220178A (zh) | 基于通道注意力机制的签名鉴别系统及方法 | |
| CN108564129B (zh) | 一种基于生成对抗网络的轨迹数据分类方法 | |
| CN112801146B (zh) | 一种目标检测方法及系统 | |
| Kussul et al. | Improved method of handwritten digit recognition tested on MNIST database | |
| CN109033954A (zh) | 一种基于机器视觉的空中手写识别系统及方法 | |
| CN104205126A (zh) | 对手写字符的无旋转识别 | |
| CN109446873A (zh) | 手写字体识别方法、系统以及终端设备 | |
| CN109299663A (zh) | 手写字体识别方法、系统以及终端设备 | |
| CN107491729B (zh) | 基于余弦相似度激活的卷积神经网络的手写数字识别方法 | |
| CN113361666B (zh) | 一种手写字符识别方法、系统及介质 | |
| CN111325190A (zh) | 一种表情识别方法、装置、计算机设备及可读存储介质 | |
| CN113239807B (zh) | 训练票据识别模型和票据识别的方法和装置 | |
| CN114092938B (zh) | 图像的识别处理方法、装置、电子设备及存储介质 | |
| CN113688821A (zh) | 一种基于深度学习的ocr文字识别方法 | |
| CN115620312A (zh) | 跨模态字符笔迹验证方法、系统、设备及存储介质 | |
| CN116645683A (zh) | 基于提示学习的签名笔迹鉴别方法、系统及存储介质 | |
| CN112651399B (zh) | 检测倾斜图像中同行文字的方法及其相关设备 | |
| Verma et al. | Enhanced character recognition using surf feature and neural network technique | |
| CN115601843A (zh) | 基于双流网络的多模态签名笔迹鉴别系统及方法 | |
| CN110210410B (zh) | 一种基于图像特征的手写数字识别方法 | |
| Alqudah et al. | Shift and scale invariant recognition of printed numerals | |
| CN113362249A (zh) | 文字图像合成方法、装置、计算机设备及存储介质 | |
| Sneha et al. | Deep learning based application in identifying originality of the hand written document using convolution neural network | |
| CN110443255A (zh) | 用于图像特征提取的松弛局部保持性回归方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |