CN113095156B - 一种基于逆灰度方式的双流网络签名鉴定方法及装置 - Google Patents

一种基于逆灰度方式的双流网络签名鉴定方法及装置 Download PDF

Info

Publication number
CN113095156B
CN113095156B CN202110308815.6A CN202110308815A CN113095156B CN 113095156 B CN113095156 B CN 113095156B CN 202110308815 A CN202110308815 A CN 202110308815A CN 113095156 B CN113095156 B CN 113095156B
Authority
CN
China
Prior art keywords
signature
network
input
signature image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110308815.6A
Other languages
English (en)
Other versions
CN113095156A (zh
Inventor
张翔宇
房城
黄柳玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Xinxin Information Technology Co ltd
Original Assignee
Xi'an Xinxin Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Xinxin Information Technology Co ltd filed Critical Xi'an Xinxin Information Technology Co ltd
Priority to CN202110308815.6A priority Critical patent/CN113095156B/zh
Publication of CN113095156A publication Critical patent/CN113095156A/zh
Application granted granted Critical
Publication of CN113095156B publication Critical patent/CN113095156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Abstract

本发明提供的一种基于逆灰度方式的双流网络签名鉴定方法及装置，通过获取待输入签名图像；对待输入签名图像进行逆灰度预处理，以减少待输入签名图像中的噪声干扰；将待输入签名图像输入训练好的特征提取网络，获得多个特征向量；将多个特征向量依次输入预先训练好的全卷积二分类网络中，获得多个签名鉴定结果；基于多个签名鉴定结果的损失函数，确定所述待测签名图像中的签名是否为真实签名。本发明采用逆灰度数据处理方式，使得特征提取网络更关注笔迹本身的特征而非背景特征，同时使用签名特征的多尺度融合方式，减少了网络参数。采取加权投票产生鉴定结果进而确定总损失函数，使得鉴定结果更加合理准确，提升笔迹鉴定的准确率。

Description

一种基于逆灰度方式的双流网络签名鉴定方法及装置
技术领域
本发明属于图像识别处理领域，具体涉及一种基于逆灰度方式的双流网络签名鉴定方法及装置。
背景技术
签名鉴定，是通过手写签名信息来确认书写者身份的一种文件检验技术，与人脸识别、指纹识别和虹膜识别隶属鉴定中的一种方式。签名鉴定系统需要完成输入真实签名与待鉴定签名图像，系统经过笔迹风格，笔画细节等特征分析输入材料书写人的身份信息，从而确定是否存在伪造签名行为。
最近几年，随着深度学习的进一步发展，极大地推动了人工智能的研究与实际应用，为人类带来了极大的便利和促进人类社会发展。签名鉴定作为人工智能的研究热点之一，在这次的技术浪潮中得到进一步地发展，并且部分技术已经应用于我们的实际生活中。在司法鉴定领域，签名信息是一份有效的司法依据。
早期的研究者通过手工提取的特征对笔画走势、墨迹晕散范围、字迹连贯程度等维度提取相关笔迹的高层特征，但是这种基于手工特征的笔迹鉴定算法准确率难以达到实际应用标准。2015年Yang等人首次提出了拆解笔画部首对汉字签名进行特征提取的方式，通过随机的拆除字符中的少量笔画，将属于同一组字迹的图像集合输入到卷积神经网络中进行学习训练，可以抑制人为签名的随机性干扰，待检测签名与图像库比对得到最终的笔迹鉴定结果。Xing等人于2016年提出一种多流网络结构来解决签名鉴定问题，通过切分签名图像，逐个提取字符特征，并通过用fisher vector进行局部编码，整合得到全局编码，以此利用该特征即可得到笔迹鉴定网络的最终结果。
现有技术的上述方法鉴定效果对于数据数量以及质量要求较高，且当笔迹图像的特征较为稀疏时，其鉴定效果实时性较差且鲁棒性不高。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于逆灰度方式的双流网络签名鉴定方法及装置。本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明提供的一种基于逆灰度方式的双流网络签名鉴定方法包括：
获取待输入签名图像；
其中，所述待输入签名图像包括原签名图像以及待测签名图像；
对所述待输入签名图像进行逆灰度预处理，以减少所述待输入签名图像中的噪声干扰；
将所述待输入签名图像输入训练好的特征提取网络中的上层子网络，以使所述上层子网络对所述待输入签名图像进行特征提取以及特征的多尺度融合，将逆灰度预处理之后的待输入签名图像输入至训练好的特征提取网络中的下层子网络，以使所述下层子网络对逆灰度预处理之后的待输入签名图像进行特征提取以及特征的多尺度融合，获得多个特征向量；
其中，所述特征提取网络为孪生结构，所述上层子网络与所述下层子网络之间共享权值；
将多个特征向量依次输入预先训练好的全卷积二分类网络中，获得多个签名鉴定结果；
基于多个签名鉴定结果的损失函数，确定所述待测签名图像中的签名是否为真实签名。
优选的，所述对所述待输入签名图像进行逆灰度预处理，以减少所述待输入签名图像中的噪声干扰包括：
对所述待输入签名图像缩放为统一尺寸；
对统一尺寸的待输入签名图像进行逐像素逆灰度处理；
对逐像素逆灰度处理之后的待输入签名图像进行中值滤波，以减少所述待输入签名图像中的噪声干扰。
优选的，所述对统一尺寸的待输入签名图像进行逐像素逆灰度处理包括：
使用像素反操作表达式对统一尺寸的待输入签名图像进行逐像素逆灰度处理；
所述像素反操作表达式为：R＝{255-pn|n∈I}
其中，I表示待输入签名图像，R表示逆灰度后的结果，n表示待输入签名图像中像素点的标签，p表示像素点的像素值。
优选的，所述上层子网络以及下层子网络包括注意力模块，该注意力模块采用残差模型的调节方式进行特征的多尺度融合。
优选的，多个特征向量分别为：原签名与待测签名特征融合的第一融合特征向量、逆灰度的原签名与逆灰度的待测签名特征融合的第二融合特征向量、逆灰度的待测签名特征与原签名特征融合的第三融合特征向量，以及逆灰度的原签名与待测签名特征融合的第四融合特征向量。
优选的，所述基于所述签名鉴定结果的损失函数，确定所述待测签名图像中的签名是否为真实签名包括：
将第一特征向量的第一鉴定结果、第二融合特征向量的第二鉴定结果、第三融合特征向量的第三鉴定结果以及第四融合特征向量的第四鉴定结果的损失函数进行加权求和，得到总损失函数；
在所述第一鉴定结果、第二鉴定结果、第三鉴定结果以及第四鉴定结果中选择使所述总损失函数最小的鉴定结果，确定为所述待测签名图像的签名鉴定结果；
基于所述待测签名图像的签名鉴定结果，确定所述待测签名图像中的签名是否为真实签名。
优选的，所述总损失函数的表达式为：
Figure BDA0002988865740000041
其中，L表示总损失函数，y表示待输入签名图像中的一对图像是否为同一人的签名，y＝0表示不同人，y＝1表示同一人，
Figure BDA0002988865740000042
表示第i鉴定结果，
Figure BDA0002988865740000043
取值为0到1的小数，αi为不同图像对的权值参数。
优选的，所述训练好的特征提取网络通过以下步骤训练获得：
步骤a：获取训练数据集；
其中，所述训练数据集包括多个样本，每个样本为一对图像，每一对图像包括原签名图像以及待测签名图像；
步骤b：对所述每个样本进行逆灰度预处理；
步骤c：针对一个样本，将该样本输入预设的特征提取网络上层子网络中，以使所述上层子网络对所述样本进行特征提取以及特征的多尺度融合，将逆灰度预处理之后的样本输入至训练好的特征提取网络中的下层子网络，以使所述下层子网络对逆灰度预处理之后的样本进行特征提取以及特征的多尺度融合，获得多个特征向量；
其中，所述预设的特征提取网络为孪生结构，所述上层子网络与所述下层子网络之间共享权值；
步骤d：将多个特征向量依次输入预设的全卷积二分类网络中，获得多个签名鉴定结果；
步骤e：基于多个签名鉴定结果的损失函数，计算总损失函数；
步骤f：调整所述预设的特征提取网络中各层的权值以及所述预设的全全卷积二分类网络的权值，并重复步骤c至步骤e直至达到训练截止条件，获得训练好的特征提取网络以及训练好的全卷积二分类网路；
其中，训练截止条件为所述总损失函数最小或者达到训练次数。
第二方面，本发明提供的一种基于逆灰度方式的双流网络签名鉴定装置包括：
获取模块，用于获取待输入签名图像；
其中，所述待输入签名图像包括原签名图像以及待测签名图像；
处理模块，用于对所述待输入签名图像进行逆灰度预处理，以减少所述待输入签名图像中的噪声干扰；
特征提取模块，用于将所述待输入签名图像输入所述训练好的特征提取网络中的上层子网络，以使所述上层子网络对所述待输入签名图像进行特征提取以及特征的多尺度融合，将逆灰度预处理之后的待输入签名图像输入至训练好的特征提取网络中的下层子网络，以使所述下层子网络对逆灰度预处理之后的待输入签名图像进行特征提取以及特征的多尺度融合，获得多个特征向量；
其中，所述特征提取网络为孪生结构，所述上层子网络与所述下层子网络之间共享权值；
鉴定模块，用于将多个特征向量依次输入预先训练好的全卷积二分类网络中，获得多个签名鉴定结果；
确定模块，用于基于多个签名鉴定结果的损失函数，确定所述待测签名图像中的签名是否为真实签名。
优选的，所述处理模块，具体用于：
对所述待输入签名图像缩放为统一尺寸；
对统一尺寸的待输入签名图像进行逐像素逆灰度处理；
对逐像素逆灰度处理之后的待输入签名图像进行中值滤波，以减少所述待输入签名图像中的噪声干扰。
本发明提供的一种基于逆灰度方式的双流网络签名鉴定方法及装置，通过获取待输入签名图像；对待输入签名图像进行逆灰度预处理，以减少待输入签名图像中的噪声干扰；将待输入签名图像输入训练好的特征提取网络，获得多个特征向量；将多个特征向量依次输入预先训练好的全卷积二分类网络中，获得多个签名鉴定结果；基于多个签名鉴定结果的损失函数，确定所述待测签名图像中的签名是否为真实签名。本发明采用逆灰度数据处理方式，使得特征提取网络更关注笔迹本身的特征而非背景特征，同时使用签名特征的多尺度融合方式，减少了网络参数。采取加权投票产生鉴定结果进而确定总损失函数，使得鉴定结果更加合理准确，提升笔迹鉴定的准确率。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于逆灰度方式的双流网络签名鉴定方法的流程示意图；
图2是实签名与逆灰度签名的对比图；
图3是基于逆灰度方式的双流网络签名鉴定方法过程示意图；
图4是特征网络结构图；
图5是注意力模块在子网络中的示意图；
图6是对待输入签名图像进行逆灰度预处理的过程示意图；
图7是本发明实施例提供的一种基于逆灰度方式的双流网络签名鉴定装置的结构图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
如图1所示，本发明提供的一种基于逆灰度方式的双流网络签名鉴定方法，包括：
S1，获取待输入签名图像；
其中，待输入签名图像包括原签名图像以及待测签名图像；
S2，对待输入签名图像进行逆灰度预处理，以减少待输入签名图像中的噪声干扰；
参考图2，图2中左侧为原签名图像，即真实签名图像，图2右侧为逆灰度签名。逆灰度可以减少背景特征对于笔迹本身的影响，使得后续在鉴定过程中，网络模型更加关注笔迹本身的特征而非背景特征。
S3，将待输入签名图像输入训练好的特征提取网络中的上层子网络，以使上层子网络对待输入签名图像进行特征提取以及特征的多尺度融合，将逆灰度预处理之后的待输入签名图像输入至训练好的特征提取网络中的下层子网络，以使下层子网络对逆灰度预处理之后的待输入签名图像进行特征提取以及特征的多尺度融合，获得多个特征向量；
其中，特征提取网络为孪生结构，上层子网络与下层子网络之间共享权值；上层子网络以及下层子网络包括注意力模块，该注意力模块采用残差模型的调节方式进行特征的多尺度融合。多个特征向量分别为：原签名与待测签名特征融合的第一融合特征向量、逆灰度的原签名与逆灰度的待测签名特征融合的第二融合特征向量、逆灰度的待测签名特征与原签名特征融合的第三融合特征向量，以及逆灰度的原签名与待测签名特征融合的第四融合特征向量。
S4，将多个特征向量依次输入预先训练好的全卷积二分类网络中，获得多个签名鉴定结果；
其中，签名鉴定结果为原签名与待测签名是否为同一人的笔迹。
参考图3，图3为本发明提供的一种基于逆灰度方式的双流网络签名鉴定方法过程示意图，真实签名以及待测签名输入上层子网络，逆灰度的待测签名以及逆灰度的真实签名输入下层子网络，经过特征提取以及多尺度特征融合，得到4个特征向量输出。4个特征向量输入至全卷积二分类网络中，得到鉴定结果。
参考图4，孪生结构的特征提取网络的泛化能力更强。上层子网络以及下层子网络之间通过共享权值，特征提取网络具有较强的鲁棒性。、
参考图5，上层子网络与下层子网络包括注意力模块，注意力模块采取“残差模型”的跳接方式进行特征融合，使得最终的特征向量不会丢失浅层的细节信息。注意力模块可以进行1*1卷积操作，这样可以有效的降低参数量。
S5，基于多个签名鉴定结果的损失函数，确定待测签名图像中的签名是否为真实签名。
本发明提供的一种基于逆灰度方式的双流网络签名鉴定方法，通过获取待输入签名图像；对待输入签名图像进行逆灰度预处理，以减少待输入签名图像中的噪声干扰；将待输入签名图像输入训练好的特征提取网络，获得多个特征向量；将多个特征向量依次输入预先训练好的全卷积二分类网络中，获得多个签名鉴定结果；基于多个签名鉴定结果的损失函数，确定所述待测签名图像中的签名是否为真实签名。本发明采用逆灰度数据处理方式，使得特征提取网络更关注笔迹本身的特征而非背景特征，同时使用签名特征的多尺度融合方式，减少了网络参数。采取加权投票产生鉴定结果进而确定总损失函数，使得鉴定结果更加合理准确，提升笔迹鉴定的准确率。
实施例二
作为本发明一种可选的实施例，参考图6，对待输入签名图像进行逆灰度预处理，以减少待输入签名图像中的噪声干扰包括：
步骤a：对待输入签名图像缩放为统一尺寸；
步骤b：对统一尺寸的待输入签名图像进行逐像素逆灰度处理；
步骤c：对逐像素逆灰度处理之后的待输入签名图像进行中值滤波，以减少待输入签名图像中的噪声干扰。
由于纸张等外界噪声的影响，对逆灰度后的签名图像进行中值滤波操作，使得到的笔迹图像尽可能干净，减少噪声对模型的影响。
实施例三
作为本发明一种可选的实施例，对统一尺寸的待输入签名图像进行逐像素逆灰度处理包括：
使用像素反操作表达式对统一尺寸的待输入签名图像进行逐像素逆灰度处理；
像素反操作表达式为：R＝{255-pn|n∈I}
其中，I表示待输入签名图像，R表示逆灰度后的结果，n表示待输入签名图像中像素点的标签，p表示像素点的像素值。
实施例四
作为本发明一种可选的实施例，基于签名鉴定结果的损失函数，确定待测签名图像中的签名是否为真实签名包括：
步骤a：将第一特征向量的第一鉴定结果、第二融合特征向量的第二鉴定结果、第三融合特征向量的第三鉴定结果以及第四融合特征向量的第四鉴定结果的损失函数进行加权求和，得到总损失函数；
步骤b：在第一鉴定结果、第二鉴定结果、第三鉴定结果以及第四鉴定结果中选择使总损失函数最小的鉴定结果，确定为待测签名图像的签名鉴定结果；
总损失函数的表达式为：
Figure BDA0002988865740000101
其中，L表示总损失函数，y表示待输入签名图像中的一对图像是否为同一人的签名，y＝0表示不同人，y＝1表示同一人，
Figure BDA0002988865740000102
表示第i鉴定结果，
Figure BDA0002988865740000103
取值为0到1的小数，αi为不同图像对的权值参数。
步骤c：基于待测签名图像的签名鉴定结果，确定待测签名图像中的签名是否为真实签名。
实施例五
作为本发明一种可选的实施例，训练好的特征提取网络通过以下步骤训练获得：
步骤a：获取训练数据集；
其中，训练数据集包括多个样本，每个样本为一对图像，每一对图像包括原签名图像以及待测签名图像；
步骤b：对每个样本进行逆灰度预处理；
步骤c：针对一个样本，将该样本输入预设的特征提取网络上层子网络中，以使上层子网络对样本进行特征提取以及特征的多尺度融合，将逆灰度预处理之后的样本输入至训练好的特征提取网络中的下层子网络，以使下层子网络对逆灰度预处理之后的样本进行特征提取以及特征的多尺度融合，获得多个特征向量；
其中，预设的特征提取网络为孪生结构，上层子网络与下层子网络之间共享权值；
步骤d：将多个特征向量依次输入预设的全卷积二分类网络中，获得多个签名鉴定结果；
步骤e：基于多个签名鉴定结果的损失函数，计算总损失函数；
步骤f：调整预设的特征提取网络中各层的权值以及预设的全全卷积二分类网络的权值，并重复步骤c至步骤e直至达到训练截止条件，获得训练好的特征提取网络以及训练好的全卷积二分类网路；
其中，训练截止条件为总损失函数最小或者达到训练次数。
在此训练过程中，全卷积二分类网路与特征提取网络可以分开训练也可以一起训练，一起训练可以提高鉴定的准确性，提高两个网络之间适应性。
在CEDAR、BHSig-B、BHSig-H等数据集经过200次迭代的训练，签名鉴定网络已具有一定笔迹鉴定能力，在数据集上进行测试，结果表1所示：
表1多个笔迹鉴定算法的测试对比
模型 FRR FAR EER
Surroundness 8.67 8.42 7.53
Morphology 11.50 12.21 11.44
Double Stream 3.44 8.29 4.56
本发明 2.54 5.76 4.36
实施例六
如图7所示，本发明提供的一种基于逆灰度方式的双流网络签名鉴定装置，包括：
获取模块71，用于获取待输入签名图像；
其中，待输入签名图像包括原签名图像以及待测签名图像；
处理模块72，用于对待输入签名图像进行逆灰度预处理，以减少待输入签名图像中的噪声干扰；
特征提取模块73，用于将待输入签名图像输入训练好的特征提取网络中的上层子网络，以使上层子网络对待输入签名图像进行特征提取以及特征的多尺度融合，将逆灰度预处理之后的待输入签名图像输入至训练好的特征提取网络中的下层子网络，以使下层子网络对逆灰度预处理之后的待输入签名图像进行特征提取以及特征的多尺度融合，获得多个特征向量；
其中，特征提取网络为孪生结构，上层子网络与下层子网络之间共享权值；
鉴定模块74，用于将多个特征向量依次输入预先训练好的全卷积二分类网络中，获得多个签名鉴定结果；
确定模块75，用于基于多个签名鉴定结果的损失函数，确定待测签名图像中的签名是否为真实签名。
实施例七
作为本发明一种可选的实施例，处理模块，具体用于：
对待输入签名图像缩放为统一尺寸；
对统一尺寸的待输入签名图像进行逐像素逆灰度处理；
对逐像素逆灰度处理之后的待输入签名图像进行中值滤波，以减少待输入签名图像中的噪声干扰。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于逆灰度方式的双流网络签名鉴定方法，其特征在于，所述签名鉴定方法包括：
获取待输入签名图像；
其中，所述待输入签名图像包括原签名图像以及待测签名图像；
对所述待输入签名图像进行逆灰度预处理，以减少所述待输入签名图像中的噪声干扰；
将所述待输入签名图像输入训练好的特征提取网络中的上层子网络，以使所述上层子网络对所述待输入签名图像进行特征提取以及特征的多尺度融合，将逆灰度预处理之后的待输入签名图像输入至训练好的特征提取网络中的下层子网络，以使所述下层子网络对逆灰度预处理之后的待输入签名图像进行特征提取以及特征的多尺度融合，获得多个特征向量；
其中，所述特征提取网络为孪生结构，所述上层子网络与所述下层子网络之间共享权值；
将多个特征向量依次输入预先训练好的全卷积二分类网络中，获得多个签名鉴定结果；
基于多个签名鉴定结果的损失函数，确定所述待测签名图像中的签名是否为真实签名；
所述对待输入签名图像进行逆灰度预处理包括：
使用像素反操作表达式对待输入签名图像进行逐像素逆灰度处理；
所述像素反操作表达式为：R＝{255-pn|n∈I}；
其中，I表示待输入签名图像，R表示逆灰度后的结果，n表示待输入签名图像中像素点的标签，p表示像素点的像素值；
所述上层子网络以及下层子网络包括注意力模块，该注意力模块采用残差模型的调节方式进行特征的多尺度融合；多个特征向量分别为：原签名与待测签名特征融合的第一融合特征向量、逆灰度的原签名与逆灰度的待测签名特征融合的第二融合特征向量、逆灰度的待测签名特征与原签名特征融合的第三融合特征向量，以及逆灰度的原签名与待测签名特征融合的第四融合特征向量。
2.根据权利要求1所述的签名鉴定方法，其特征在于，所述对所述待输入签名图像进行逆灰度预处理，以减少所述待输入签名图像中的噪声干扰包括：
对所述待输入签名图像缩放为统一尺寸；
对统一尺寸的待输入签名图像进行逐像素逆灰度处理；
对逐像素逆灰度处理之后的待输入签名图像进行中值滤波，以减少所述待输入签名图像中的噪声干扰。
3.根据权利要求1所述的签名鉴定方法，其特征在于，所述基于所述签名鉴定结果的损失函数，确定所述待测签名图像中的签名是否为真实签名包括：
将第一特征向量的第一鉴定结果、第二融合特征向量的第二鉴定结果、第三融合特征向量的第三鉴定结果以及第四融合特征向量的第四鉴定结果的损失函数进行加权求和，得到总损失函数；
在所述第一鉴定结果、第二鉴定结果、第三鉴定结果以及第四鉴定结果中选择使所述总损失函数最小的鉴定结果，确定为所述待测签名图像的签名鉴定结果；
基于所述待测签名图像的签名鉴定结果，确定所述待测签名图像中的签名是否为真实签名。
4.根据权利要求3所述的签名鉴定方法，其特征在于，所述总损失函数的表达式为：
Figure FDA0003634583990000021
其中，L表示总损失函数，y表示待输入签名图像中的一对图像是否为同一人的签名，y＝0表示不同人，y＝1表示同一人，
Figure FDA0003634583990000022
表示第i鉴定结果，
Figure FDA0003634583990000023
取值为0到1的小数，αi为不同图像对的权值参数。
5.根据权利要求1所述的签名鉴定方法，其特征在于，所述训练好的特征提取网络通过以下步骤训练获得：
步骤a：获取训练数据集；
其中，所述训练数据集包括多个样本，每个样本为一对图像，每一对图像包括原签名图像以及待测签名图像；
步骤b：对所述每个样本进行逆灰度预处理；
步骤c：针对一个样本，将该样本输入预设的特征提取网络上层子网络中，以使所述上层子网络对所述样本进行特征提取以及特征的多尺度融合，将逆灰度预处理之后的样本输入至训练好的特征提取网络中的下层子网络，以使所述下层子网络对逆灰度预处理之后的样本进行特征提取以及特征的多尺度融合，获得多个特征向量；
其中，所述预设的特征提取网络为孪生结构，所述上层子网络与所述下层子网络之间共享权值；
步骤d：将多个特征向量依次输入预设的全卷积二分类网络中，获得多个签名鉴定结果；
步骤e：基于多个签名鉴定结果的损失函数，计算总损失函数；
步骤f：调整所述预设的特征提取网络中各层的权值以及所述预设的全卷积二分类网络的权值，并重复步骤c至步骤e直至达到训练截止条件，获得训练好的特征提取网络以及训练好的全卷积二分类网路；
其中，训练截止条件为所述总损失函数最小或者达到训练次数。
6.一种基于逆灰度方式的双流网络签名鉴定装置，其特征在于，所述签名鉴定装置包括：
获取模块，用于获取待输入签名图像；
其中，所述待输入签名图像包括原签名图像以及待测签名图像；
处理模块，用于对所述待输入签名图像进行逆灰度预处理，以减少所述待输入签名图像中的噪声干扰；
特征提取模块，用于将所述待输入签名图像输入训练好的特征提取网络中的上层子网络，以使所述上层子网络对所述待输入签名图像进行特征提取以及特征的多尺度融合，将逆灰度预处理之后的待输入签名图像输入至训练好的特征提取网络中的下层子网络，以使所述下层子网络对逆灰度预处理之后的待输入签名图像进行特征提取以及特征的多尺度融合，获得多个特征向量；
其中，所述特征提取网络为孪生结构，所述上层子网络与所述下层子网络之间共享权值；
鉴定模块，用于将多个特征向量依次输入预先训练好的全卷积二分类网络中，获得多个签名鉴定结果；
确定模块，用于基于多个签名鉴定结果的损失函数，确定所述待测签名图像中的签名是否为真实签名；
所述对待输入签名图像进行逆灰度预处理包括：
使用像素反操作表达式对待输入签名图像进行逐像素逆灰度处理；
所述像素反操作表达式为：R＝{255-pn|n∈I}
其中，I表示待输入签名图像，R表示逆灰度后的结果，n表示待输入签名图像中像素点的标签，p表示像素点的像素值；
所述上层子网络以及下层子网络包括注意力模块，该注意力模块采用残差模型的调节方式进行特征的多尺度融合；多个特征向量分别为：原签名与待测签名特征融合的第一融合特征向量、逆灰度的原签名与逆灰度的待测签名特征融合的第二融合特征向量、逆灰度的待测签名特征与原签名特征融合的第三融合特征向量，以及逆灰度的原签名与待测签名特征融合的第四融合特征向量。
7.根据权利要求6所述的签名鉴定装置，其特征在于，所述处理模块，具体用于：
对所述待输入签名图像缩放为统一尺寸；
对统一尺寸的待输入签名图像进行逐像素逆灰度处理；
对逐像素逆灰度处理之后的待输入签名图像进行中值滤波，以减少所述待输入签名图像中的噪声干扰。
CN202110308815.6A 2021-03-23 2021-03-23 一种基于逆灰度方式的双流网络签名鉴定方法及装置 Active CN113095156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110308815.6A CN113095156B (zh) 2021-03-23 2021-03-23 一种基于逆灰度方式的双流网络签名鉴定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110308815.6A CN113095156B (zh) 2021-03-23 2021-03-23 一种基于逆灰度方式的双流网络签名鉴定方法及装置

Publications (2)

Publication Number Publication Date
CN113095156A CN113095156A (zh) 2021-07-09
CN113095156B true CN113095156B (zh) 2022-08-16

Family

ID=76669280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110308815.6A Active CN113095156B (zh) 2021-03-23 2021-03-23 一种基于逆灰度方式的双流网络签名鉴定方法及装置

Country Status (1)

Country Link
CN (1) CN113095156B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113764045B (zh) * 2021-09-09 2022-05-06 东北林业大学 基于XGboost算法的DNA结合蛋白识别方法及相关产品
CN114241463A (zh) * 2021-11-12 2022-03-25 中国南方电网有限责任公司 签名验证方法、装置、计算机设备和存储介质
CN117475519B (zh) * 2023-12-26 2024-03-12 厦门理工学院 基于孪生网络与多重通道融合的脱机笔迹鉴别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894268A (zh) * 2010-07-16 2010-11-24 西安理工大学 一种可消除底单干扰的印鉴真伪识别方法
CN101911100A (zh) * 2008-01-09 2010-12-08 三菱电机株式会社 用于图像识别的基于特征的签名
US10037601B1 (en) * 2017-02-02 2018-07-31 International Business Machines Corporation Systems and methods for automatic detection of architectural distortion in two dimensional mammographic images

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3433795A4 (en) * 2016-03-24 2019-11-13 Ramot at Tel-Aviv University Ltd. METHOD AND SYSTEM FOR CONVERTING A TEXT IMAGE
CN106778586B (zh) * 2016-12-08 2020-11-17 武汉理工大学 离线手写签名鉴别方法及系统
CN109829427B (zh) * 2019-01-31 2022-05-17 福州大学 一种基于纯度检测和空间注意力网络的人脸聚类方法
CN109948783A (zh) * 2019-03-29 2019-06-28 中国石油大学(华东) 一种基于注意力机制的网络结构优化方法
CN110096977B (zh) * 2019-04-18 2021-05-11 中金金融认证中心有限公司 笔迹鉴定模型的训练方法及笔迹鉴定方法、设备和介质
US11195172B2 (en) * 2019-07-24 2021-12-07 Capital One Services, Llc Training a neural network model for recognizing handwritten signatures based on different cursive fonts and transformations
US11594074B2 (en) * 2019-09-10 2023-02-28 Amarjot Singh Continuously evolving and interactive Disguised Face Identification (DFI) with facial key points using ScatterNet Hybrid Deep Learning (SHDL) network
CN111046760B (zh) * 2019-11-29 2023-08-08 山东浪潮科学研究院有限公司 一种基于域对抗网络的笔迹鉴定方法
CN111046774A (zh) * 2019-12-06 2020-04-21 国网湖北省电力有限公司电力科学研究院 一种基于卷积神经网络的中文签名笔迹鉴定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911100A (zh) * 2008-01-09 2010-12-08 三菱电机株式会社 用于图像识别的基于特征的签名
CN101894268A (zh) * 2010-07-16 2010-11-24 西安理工大学 一种可消除底单干扰的印鉴真伪识别方法
US10037601B1 (en) * 2017-02-02 2018-07-31 International Business Machines Corporation Systems and methods for automatic detection of architectural distortion in two dimensional mammographic images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
中文离线签名验证算法的研究;贾昊丽;《中国优秀硕士学位论文全文数据库信息科技辑》;20190815(第08期);全文 *

Also Published As

Publication number Publication date
CN113095156A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN113095156B (zh) 一种基于逆灰度方式的双流网络签名鉴定方法及装置
Silva et al. An approach to iris contact lens detection based on deep image representations
Yang et al. Two-stage enhancement scheme for low-quality fingerprint images by learning from the images
He et al. Multi-patch convolution neural network for iris liveness detection
Svoboda et al. Generative convolutional networks for latent fingerprint reconstruction
CN111639558B (zh) 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法
Zois et al. A comprehensive study of sparse representation techniques for offline signature verification
El Khiyari et al. Age invariant face recognition using convolutional neural networks and set distances
CN111709313A (zh) 基于局部和通道组合特征的行人重识别方法
CN109145704B (zh) 一种基于人脸属性的人脸画像识别方法
Engin et al. Offline signature verification on real-world documents
US20220327189A1 (en) Personalized biometric anti-spoofing protection using machine learning and enrollment data
CN111259792A (zh) 基于dwt-lbp-dct特征的人脸活体检测方法
CN111666813B (zh) 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
Krichen et al. Specific texture analysis for iris recognition
Bharadi et al. Multi-modal biometric recognition using human iris and dynamic pressure variation of handwritten signatures
CN111753710A (zh) 一种应用于物流配送的细分类神经网络人脸识别方法
CN116206373A (zh) 活体检测方法、电子设备及存储介质
CN113269136B (zh) 一种基于triplet loss的离线签名验证方法
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
CN113657498B (zh) 生物特征提取方法、训练方法、认证方法、装置和设备
Jain et al. Natural scene statistics and CNN based parallel network for image quality assessment
Fariza et al. Mobile Based Offline Handwritten Signature Forgery Identification using Convolutional Neural Network
de Souza et al. Efficient width-extended convolutional neural network for robust face spoofing detection
SHARIFI Face anti-spoofing scheme using handcraft based and deep learning methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant