CN113269136B - 一种基于triplet loss的离线签名验证方法 - Google Patents

一种基于triplet loss的离线签名验证方法 Download PDF

Info

Publication number
CN113269136B
CN113269136B CN202110672891.5A CN202110672891A CN113269136B CN 113269136 B CN113269136 B CN 113269136B CN 202110672891 A CN202110672891 A CN 202110672891A CN 113269136 B CN113269136 B CN 113269136B
Authority
CN
China
Prior art keywords
signature
image
sample
training
triplet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110672891.5A
Other languages
English (en)
Other versions
CN113269136A (zh
Inventor
张小瑞
王营营
孙伟
宋爱国
刘佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202110672891.5A priority Critical patent/CN113269136B/zh
Publication of CN113269136A publication Critical patent/CN113269136A/zh
Application granted granted Critical
Publication of CN113269136B publication Critical patent/CN113269136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G06V40/37—Writer recognition; Reading and verifying signatures based only on signature signals such as velocity or pressure, e.g. dynamic signature recognition
    • G06V40/394—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G06V40/37—Writer recognition; Reading and verifying signatures based only on signature signals such as velocity or pressure, e.g. dynamic signature recognition
    • G06V40/382—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于triplet loss的离线签名验证方法，包括以下步骤：(1)获取待检测的签名数据集，划分数据集；(2)对签名图像进行预处理；(3)在训练集中进行训练；(4)通过验证集调整自定义分类器；(5)在测试集中进行测试。本发明首次将三元组训练的方式应用于签名认证问题，能够自动、准确、高效地完成签名认证任务；本发明对三元组进行了改进，驱使网络更好地关注在笔划部分提取信息，提高签名认证的精度；本发明提出的预处理程序只截取了图像中的签名部分，不仅提高了分类目标占据整幅图像的比例，还可以消除边缘部分的纸张杂质或墨点噪声。

Description

一种基于triplet loss的离线签名验证方法
技术领域
本发明涉及计算机视觉和模式识别技术，特别是一种基于triplet loss的离线签名验证方法。
背景技术
尽管高科技技术和应用主宰着我们的数字生活，但手写签名在全世界范围内仍然被政府、个人和法律机构视为最重要的行为生物特征，这主要是由于其简单性和唯一性。目前，签名认证依然是人们日常生活和工作中最广泛使用的生物认证技术之一。然而，签名认证任务一直是计算机视觉研究领域的一个挑战，这主要是由于以下原因：第一，相比于普通的图像分类，签名认证是个体级别的细粒度识别。第二，签名笔画通常非常细，并且图像的大部分是背景，签名图像包含更少的特征。第三，同一个人在不同时间段的签名也有很大不同，表现为高类内变化。
签名认证分为在线签名认证和离线签名认证两类。在线签名比离线签名有更明显的特征，因此它们更容易验证，然而，捕获在线签名的代价较高。离线签名很容易捕获并且不受获取条件的限制，但由于它们包含的特征数量有限往往很难验证。从使用方便程度角度来说，离线签名不受环境获取条件限制，使用更方便。从用户相关和用户无关角度来说，签名认证还可分为依赖于作者的签名认证和独立于作者的签名认证两类。若采用依赖于作者的方法则用于测试和训练的对象是相同的，从而可以利用作者的特定特征；若采用独立于作者的方法则用于训练和测试的对象是不同的，因此没有人的特定特征可以被利用。独立于作者的方法试图学习签名的有效表示来区分每个人，但是创建签名的通用区分表示是具有挑战性的。在真实世界的签名验证设置中，用户注册非常频繁。由于这个原因，依赖于作者的方法是不可行的。因此本发明对独立于作者的离线签名进行研究。
目前进行签名认证时多是利用普通深度学习图像分类的方法，这种方法对于传统的花鸟狗的大类别分类识别效果很好，但是签名认证属于个体级别的细粒度识别，因此普通深度学习方法对签名认证问题并不能取得很高的分类精度。triplet loss损失函数通常能比classification得到更好的feature，据测试至少比classification高10个百分点，因此更适用于细粒度识别。在进行签名认证时需要对每个用户的待检测签名和参考签名进行对比，然后判断这两张签名图像是否来自同一个人，这种情况使用普通深度学习图像分类的方法精度太低。
发明内容
发明目的：本发明的目的是提供一种能够自动、准确、高效地完成签名认证任务的基于triplet loss的离线签名验证方法。
技术方案：本发明所述的一种基于triplet loss的离线签名验证方法，包括以下步骤：
(1)获取待检测的签名数据集，将数据集划分为训练集、验证集和测试集；
(2)分别对划分后的各个数据集的签名图像进行预处理；
(3)在训练集中进行训练；
(4)通过验证集调整自定义分类器，得到训练完成的网络模型；
(5)在测试集中进行测试。
所述步骤(2)包括：
(2.1)对签名图像进行几何变换，通过转置、镜像、旋转、缩放四种几何变换，用于模拟图像采集系统的系统误差和仪器位置的随机误差；
(2.2)从整幅图像中将签名部分切割出来；
(2.3)对签名图像进行灰度化处理；
(2.4)对灰度化签名图像进行反转处理。
所述步骤(3)包括：
(3.1)加载EfficientNet-b0网络模型，使用该网络模型的参数作为初始参数来进行训练，其中EfficientNet-b0是EfficientNet系列其中的一个版本；
(3.2)采用online triplet mining三元组采集方式，每次minibatch开始的时候，EfficientNet-b0网络模型从训练集中抽样出一组签名图像组成valid triplet；
(3.3)提取三元组签名图像样本的特征向量，计算triplet loss损失，通过反向传播更新网络模型的参数；
(3.4)挑选下一批用于训练的三元组，在后续批次训练中使用hard triplet和semi-hard triplet训练；
(3.5)重复执行步骤(3.3)和(3.4)，直到训练集中所有图片迭代mepoch次结束训练，其中mepoch是指迭代的次数，可以自由调整，当精度达到预期时即可结束训练。
步骤(3.2)中所述valid triplet为满足下述条件的样本对：
<anchor,positive,negative>anchor,positive,negative∈[1,B]
将签名图像样本与它的反转图像共同组成valid triplet三元组中的一个元素，在本发明中anchor是指数据集中的一个签名图像样本与该样本的反转图像共同组成的样本对；positive是指与anchor样本具有相同标签的签名图像样本以及该样本的反转图像共同组成的样本对，即与anchor样本来自同一个作者的签名图像对；negative是指与anchor样本具有不同标签的签名图像样本以及该样本的反转图像共同组成的样本对，即与anchor样本来自不同作者的签名图像对；B是指签名图像样本的个数。
所述步骤(3.3)具体为：
在进行第一批次训练时，直接使用步骤(3.2)中挑选出来的valid triplet来进行训练，在提取embedding时采取Two Channel CNN，采用两个通道来提取签名样本图像与反转图像的embedding，把两个通道提取的embedding进行串联，计算签名图像的embedding之间的欧式距离，在得到签名样本对之间的欧式距离后，根据triplet loss损失函数计算损失通过反向传播来更新网络参数，在计算欧式距离时用到的距离公式如下：
其中d(x,y)是指两个样本对特征向量之间的欧式距离，x和y分别指两个样本对提取的特征向量，num是特征向量中元素的个数，k是元素索引，xk和yk分别是两个样本的特征向量中索引为k的元素的值；
在计算triplet loss损失时用到的损失函数如下所示：
L＝max(d(a,p)-d(a,n)+margin,0)
其中L是计算损失函数所得到的值，d(a,p)是指样本与正样本特征向量之间的欧式距离，d(a,n)是指样本与负样本特征向量之间的欧式距离，margin是人为规定的一个边界值，用来度量正负样本特征向量之间的距离差值的程度，本发明中取margin＝0.05。训练的目的是使损失尽可能小，最小化损失值L的目标是：使得d(a,p)接近0，d(a,n)>d(a,p)+margin。
所述步骤(3.4)具体为：
挑选下一批用于训练的三元组，在后续批次训练中使用hard triplet和semi-hard triplet训练，easy triplet、hard triplet、semi-hard triplet即为满足以下条件的valid triplet；
easy triplet：此时positive比negative接近anchor，并且距离差达到边界值，即d(a,n)-(d(a,p)+margin)≥0；
hard triplet：此时negative比positive更接近anchor,即d(a,n)<d(a,p)；
semi-hard triplet：此时negative比positive距离anchor更远，但是距离差没有达到一个margin。即d(a,n)-(d(a,p)+margin)<0并且d(a,n)≥d(a,p)；
其中d(a,n)是指样本与负样本特征向量之间的欧式距离，d(a,p)是指样本与正样本特征向量之间的欧式距离，margin是人为规定的一个边界值，用来度量正负样本特征向量之间的距离差值的程度。
所述步骤(4)包括：
(4.1)挑选测试集中的样本组成valid triplet，输入步骤(3)得到的网络模型，记录同类样本即来自同一作者的签名样本对特征向量之间的欧式距离，将所有距离累加求和，再除以样本对的对数，求出同类样本特征向量之间欧式距离的平均值，同理，求出异类样本即来自不同作者的签名样本对特征向量之间欧式距离的平均值，然后求这两个平均值的中间值作为判断是否是真实签名的判别距离，用于之后定义自定义分类器来进行预测；
(4.2)根据步骤(4.1)确定的判别距离得到自定义分类器，分类函数公式如下所示：
其中label是最后预测的标签值，当label＝1时即判断为真实签名，当label＝0时即判断为伪造签名，d(r,t)是指参考签名图像与待检测签名图像特征向量之间的欧式距离，r是指参考签名图像以及该图像的反转图像经过步骤(3)提取到的特征向量；t是待检测签名图像以及该图像的反转图像经过步骤(3)提取到的特征向量，s是上述步骤(4.1)确定的判别距离；
(4.3)将经过步骤(3)参数优化后得到的网络模型特征提取部分与步骤(4.2)中得到的分类器拼接得到完整的网络模型。
步骤(5)具体为：在测试集中随机挑选两个签名图像(参考签名图像与待检测签名图像)输入网络模型进行预测。查看分类器的最后输出结果，若网络最后输出结果为1则证明参考签名图像与待检测签名图像来自同一作者即为真实签名；若网络最后输出结果为0则证明参考签名图像与待检测签名图像来自不同作者即为伪造签名。
有益效果：与现有技术相比，本发明具有如下优点：
1、首次将三元组训练的方式应用于签名认证问题，将待检测签名、与待检测签名来自同一个作者的签名和伪造的签名三者共同组成一个三元组来提取图像表征进行训练，在表征空间，同一个人的签名图像的表征彼此接近，而不同人的签名图像的表征则能够被很好分隔；
2、对三元组进行了改进，并不仅仅用单一样本作为三元组的一个元素，而是将签名样本图像与该签名样本图像的反转图像组成的图像对共同作为三元组的一个元素，签名图像与反转后的签名图像的背景色不同，将不同背景色搭配的签名图片对输入网络学习，可以驱使网络更好地关注在笔划部分提取信息；
3、提出了一套完整有效地对签名图像进行预处理的程序，由于分类的目标占据整幅图像的比例比较重要，但签名部分往往只占据签名图像样本的较小一部分，因此，本预处理程序只截取了图像中的签名部分，不仅提高了分类目标占据整幅图像的比例，还可以消除边缘部分的纸张杂质或墨点噪声。
附图说明
图1为本发明的步骤流程图；
图2为签名认证算法框架图；
图3为签名图像分割图；
图4为EfficientNet-b0网络模型图；
图5为基于triplet loss的训练框架图；
图6为测试框架图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1和2所示，本发明所述的一种基于triplet loss的离线签名验证方法，包括如下步骤：
(1)获取待检测的签名数据集，将数据集划分为训练集、验证集和测试集。
本实施例所使用的签名图像数据来自于GPDS960GRAY数据集，该数据库包含真实签名和伪造签名的灰度版本，总共包含881个作者，21144个真实签名和26317个伪造品，总计47461个签名。在881位作者中挑选出704位作者，这704位作者的真实签名图像和伪造签名图像构成训练集；在剩下的177位作者中挑选出88位作者，这88位作者的真实签名图像和伪造图像构成验证集；最后剩下的89位作者的真实签名图像和伪造签名图像构成测试集。
在本实例中，采用了Tensorflow架构，结合python语言进行编程实验，Tensorflow使用图描述计算过程，通过构建和运行图即可实现对数据的计算。应用上述划分的训练集、验证集和测试集，分别用来训练、验证和测试分类器。
(2)分别对划分后的各个数据集的签名图像进行下述预处理步骤。
(2.1)对签名图像进行几何变换。
首先，对签名图像进行几何变换，通过转置、旋转、缩放三种几何变换，用于模拟图像采集系统的系统误差和仪器位置(成像角度、透视关系乃至镜头自身原因)的随机误差，另一方面可以用来扩充数据集。
首先对图像进行转置操作，将图像像素的x坐标和y坐标互换；第二，对图像进行旋转操作，以图像的中心为原点，旋转45度。第三，对图像进行缩放操作，图像x轴方向缩放比率是1.1，y轴方向缩放比率是1.1。
其中xnew，ynew分别指经过变换后图像的宽和高，xold和yold指变换前图像的宽和高，对签名图像同时进行1.1倍等比例放大。
(2.2)对签名图像进行分割。
由于签名的笔画可能只占据整个签名图像的很小一部分，而在利用深度学习提取图像特征进行图像分类时，分类的目标占据整幅图像的比例比较重要。因此从整幅图像中将签名部分切割出来就很关键。具体做法为标记出签名图像的上、下、左、右四个边界的坐标。其中h1、h2、w1、w2分别代表签名图像上、下、左、右边界的坐标。在h1、h2两处坐标处对签名图像进行水平切割；在w1、w2两处坐标处对签名图像进行垂直切割，切割效果如图3所示。将切割出的矩形作为分割处理后的签名图像，进行后续预处理。
(2.3)对签名图像进行灰度化处理。
按如下公式对RGB三分量进行加权平均来进行灰度转化。其中RGB是指图像中红、绿、蓝三个颜色通道。
Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)
其中Gray(i,j)是指坐标为(i,j)点的灰度值，i是指该像素点的横轴坐标，j是指该像素点的纵轴坐标，R(i,j)、G(i,j)、B(i,j)分别是指红、绿、蓝三个通道中坐标为(i,j)像素点的亮度值。
(2.4)对灰度化签名图像进行反转处理。
按如下公式将灰度图像进行反转处理(即由原来黑底白字转换成白底黑字)。
Gray(i,j)new＝255-Gray(i,j)
其中，Gray(i,j)new是指进行反转处理后坐标为(i,j)的像素点的灰度值，i是指该像素点的横轴坐标，j是指该像素点的纵轴坐标，Gray(i,j)是指灰度化图像中坐标为(i,j)的像素点的灰度值。
(3)在训练集中进行训练。加载EfficientNet-b0网络模型，用该网络模型的参数作为初始参数来提取经过预处理后的签名图像的特征。根据triplet loss损失函数，采用mini-batch gradient decent梯度下降法来更新网络模型的参数，直到训练集中的所有图片迭代mepoch次后结束训练，其中mepoch是指迭代的次数，可以自由调整，当精度达到预期时即可结束训练，训练流程如图5所示。网络模型的输入为步骤(3.2)中挑选出的validtriplet，网络模型的输出为提取到的签名图像以及其反转图像组合的特征向量。
(3.1)加载EfficientNet-b0网络模型，鉴于EfficientNet-b0网络在ImageNet数据集上的优异表现，本发明认为该网络能够提取到签名图像中具有差异性的特征，因此使用该网络模型的参数作为初始参数来进行训练，比采用随机参数开始训练网络模型收敛速度更快，也更容易达到更高的分类精度。本发明用到的网络模型如图4所示。
(3.2)挑选valid triplet。本发明中采用online triplet mining三元组采集方式。每次minibatch开始的时候，EfficientNet-b0会从训练集中抽样出一组签名图像组成valid triplet。
通常所谓valid triplet即为满足下述条件的样本对。
<anchor,positive,negative>anchor,positive,negative∈[1,B]
其中anchor是指数据集中的一个样本；positive是指与anchor样本具有相同标签的样本；negative是指与anchor样本具有不同标签的样本；B是指签名图像样本的个数。
本发明对valid triplet做出了一些改进，将签名图像样本与它的反转图像共同组成valid triplet三元组中的一个元素，在本发明中anchor是指数据集中的一个签名图像样本与该样本的反转图像共同组成的样本对；positive是指与anchor样本具有相同标签的签名图像样本以及该样本的反转图像共同组成的样本对(即与anchor样本来自同一个作者的签名图像对)；negative是指与anchor样本具有不同标签的签名图像样本以及该样本的反转图像共同组成的样本对(即与anchor样本来自不同作者的签名图像对)；B是指签名图像样本的个数。
签名图像与反转后的签名图像的背景色不同，将不同背景色搭配的签名图片对输入网络学习，可以驱使网络更好地关注在笔划部分提取信息。
(3.3)根据得到的三元组计算triplet loss损失，通过反向传播更新网络模型的参数。
在进行第一批次训练时，直接使用(3.2)步骤中挑选出来的valid triplet来进行训练。由于本发明对valid triplet做出了一些改进，将签名图像样本与它的反转图像共同组成valid triplet三元组中的一个元素，签名样本图像与它的反转图像的背景不同，因此在提取embedding(embedding即为特征表达)时采取了双通道卷积神经网络，通过卷积神经网络的两个通道来提取签名样本图像与反转图像embedding，将两个通道提取的embedding进行串联连接。计算这些签名图像在当时的网络模型中得到的embedding，保存在数组当中，根据得到的数组，计算签名图像的embedding之间的欧式距离，在得到签名样本对之间的欧式距离后，根据triplet loss损失函数计算损失通过反向传播来更新网络参数。
在计算欧式距离时用到的距离公式如下：
其中d(x,y)是指两个样本对特征向量之间的欧式距离，x和y分别指两个样本对提取的特征向量，num是特征向量中元素的个数，k是元素索引，xk和yk分别是两个样本的特征向量中索引为k的元素的值。
在计算triplet loss损失时用到的损失函数计算公式如下所示：
L＝max(d(a,p)-d(a,n)+margin,0)
其中L是计算损失函数所得到的值，d(a,p)是指样本与正样本特征向量之间的欧式距离，d(a,n)是指样本与负样本特征向量之间的欧式距离，margin是人为规定的一个边界值，用来度量正负样本特征向量之间的距离差值的程度，本发明中取margin＝0.05。训练的目的是使损失尽可能小，最小化损失值L的目标是：使得d(a,p)接近0，d(a,n)>d(a,p)+margin。
(3.4)挑选下一批用于训练的三元组，在后续批次训练中使用hard triplet和semi-hard triplet用于训练。easy triplet本身已经很容易分辨，对优化网络参数，因此本发明中不再对easy triplet进行训练。easy triplet、hard triplet、semi-hardtriplet即为满足以下条件的valid triplet。
easy triplet：此时positive比negative接近anchor，并且距离差达到边界值，即d(a,n)-(d(a,p)+margin)≥0
hard triplet:此时negative比positive更接近anchor,即d(a,n)<d(a,p)。
semi-hard triplet:此时negative比positive距离anchor更远，但是距离差没有达到一个margin。即d(a,n)-(d(a,p)+margin)<0并且d(a,n)≥d(a,p)。
其中d(a,n)是指样本与负样本特征向量之间的欧式距离，d(a,p)是指样本与正样本特征向量之间的欧式距离。margin是人为规定的一个边界值，用来度量正负样本特征向量之间的距离差值的程度，本发明中取margin＝0.05。
(3.5)重复执行(3.3)、(3.4)的步骤，直到训练集中所有图片迭代mepoch次结束训练其中mepoch是指迭代的次数，可以自由调整，当精度达到预期时即可结束训练，至此已经完成网络模型提取图像特征部分的参数优化的工作。
(4)通过验证集调整自定义分类器，得到训练完成的网络模型。
(4.1)挑选验证集中的样本组成valid triplet，输入步骤(3)得到的网络模型。记录同类样本即来自同一作者的签名样本对特征向量之间的欧式距离，将所有距离累加求和，再除以样本对的对数，求出同类样本特征向量之间欧式距离的平均值。同理，可以求出异类样本即来自不同作者的签名样本对特征向量之间欧式距离的平均值。然后求这两个平均值的中间值作为判断是否是真实签名的判别距离，用于之后定义自定义分类器来进行预测。
(4.2)根据上述步骤(4.1)确定的判别距离得到自定义分类器，分类函数公式如下所示：
其中label是最后预测的标签值，当label＝1时即判断为真实签名，当label＝0时即判断为伪造签名；d(r,t)是指参考签名图像与待检测签名图像特征向量之间的欧式距离，r是指参考签名图像以及该图像的反转图像经过步骤(3)提取到的特征向量；t是待检测签名图像以及该图像的反转图像经过步骤(3)提取到的特征向量；s是上述步骤(4.1)确定的判别距离。
(4.3)将经过步骤(3)参数优化后得到的网络模型特征提取部分与该步骤中得到的分类器拼接得到完整的网络模型。
(5)在测试集中进行测试。
在测试集中随机挑选两个签名图像(参考签名图像与待检测签名图像)输入网络模型进行预测。查看分类器的最后输出结果，若网络最后输出结果为1则证明参考签名图像与待检测签名图像来自同一作者即为真实签名；若网络最后输出结果为0则证明参考签名图像与待检测签名图像来自不同作者即为伪造签名。

Claims (5)

1.一种基于triplet loss的离线签名验证方法，其特征在于，包括以下步骤：
(1)获取待检测的签名数据集，将数据集划分为训练集、验证集和测试集；
(2)分别对划分后的各个数据集的签名图像进行预处理；
(3)在训练集中进行训练；
(3.1)加载EfficientNet网络模型，使用该网络模型的参数作为初始参数来进行训练；
(3.2)采用online triplet mining三元组采集方式，每次minibatch开始的时候，EfficientNet网络模型从训练集中抽样出一组签名图像组成valid triplet；所述validtriplet为满足下述条件的样本对：
<anchor,positive,negative>anchor,positive,negative∈[1,B]
将签名图像样本与它的反转图像共同组成valid triplet三元组中的一个元素，anchor是指数据集中的一个签名图像样本与该样本的反转图像共同组成的样本对；positive是指与anchor样本具有相同标签的签名图像样本以及该样本的反转图像共同组成的样本对，即与anchor样本来自同一个作者的签名图像对；negative是指与anchor样本具有不同标签的签名图像样本以及该样本的反转图像共同组成的样本对，即与anchor样本来自不同作者的签名图像对；B是指签名图像样本的个数；
(3.3)提取三元组签名图像样本的特征向量，计算triplet loss损失，通过反向传播更新网络模型的参数；
(3.4)挑选下一批用于训练的三元组，在后续批次训练中使用hard triplet和semi-hard triplet训练；
(3.5)重复执行步骤(3.3)和(3.4)，直到训练集中所有图片迭代mepoch次结束训练，其中mepoch是指迭代的次数，可以自由调整，当精度达到预期时即可结束训练；
(4)通过验证集调整自定义分类器，得到训练完成的网络模型；
(4.1)挑选测试集中的样本组成valid triplet，输入步骤(3)得到的网络模型，记录同类样本即来自同一作者的签名样本对特征向量之间的欧式距离，将所有距离累加求和，再除以样本对的对数，求出同类样本特征向量之间欧式距离的平均值，按照同样的计算方法，求出异类样本即来自不同作者的签名样本对特征向量之间欧式距离的平均值，然后求这两个平均值的中间值作为判断是否是真实签名的判别距离，用于之后定义自定义分类器来进行预测；
(4.2)根据步骤(4.1)确定的判别距离得到自定义分类器，分类函数公式如下所示：
其中label是最后预测的标签值，当label＝1时即判断为真实签名，当label＝0时即判断为伪造签名，d(r,t)是指参考签名图像与待检测签名图像特征向量之间的欧式距离，r是指参考签名图像以及该图像的反转图像经过步骤(3)提取到的特征向量；t是待检测签名图像以及该图像的反转图像经过步骤(3)提取到的特征向量，s是上述步骤(4.1)确定的判别距离；
(4.3)将经过步骤(3)参数优化后得到的网络模型特征提取部分与步骤(4.2)中得到的分类器拼接得到完整的网络模型；
(5)在测试集中进行测试。
2.根据权利要求1所述的方法，其特征在于，所述步骤(2)包括：
(2.1)对签名图像进行几何变换，通过转置、镜像、旋转、缩放四种几何变换，用于模拟图像采集系统的系统误差和仪器位置的随机误差；
(2.2)从整幅图像中将签名部分切割出来；
(2.3)对签名图像进行灰度化处理；
(2.4)对灰度化签名图像进行反转处理。
3.根据权利要求1所述的方法，其特征在于，所述步骤(3.3)具体为：
在进行第一批次训练时，使用步骤(3.2)中挑选出来的valid triplet来进行训练，在提取embedding时采取Two Channel CNN，采用两个通道来提取签名样本图像与反转图像的embedding，把两个通道提取的embedding进行串联，计算签名图像的embedding之间的欧式距离，在得到签名样本对之间的欧式距离后，根据triplet loss损失函数计算损失通过反向传播来更新网络参数，在计算欧式距离时用到的距离公式如下：
其中d(x,y)是指两个样本对特征向量之间的欧式距离，x和y分别指两个样本对提取的特征向量，num是特征向量中元素的个数，k是元素索引，xk和yk分别是两个样本的特征向量中索引为k的元素的值；
在计算triplet loss损失时用到的损失函数如下所示：
L＝max(d(a,p)-d(a,n)+margin,0)
其中L是计算损失函数所得到的值，d(a,p)是指样本与正样本特征向量之间的欧式距离，d(a,n)是指样本与负样本特征向量之间的欧式距离，margin是人为规定的用来度量正负样本特征向量之间的距离差值的程度的一个边界值，本方法中取margin＝0.05；训练的目的是使损失尽可能小，最小化损失值L的目标是：使得d(a,p)接近0，d(a,n)>d(a,p)+margin。
4.根据权利要求1所述的方法，其特征在于，所述步骤(3.4)具体为：
挑选下一批用于训练的三元组，在后续批次训练中使用hard triplet和semi-hardtriplet训练，easy triplet、hard triplet、semi-hard triplet即为满足以下条件的valid triplet；
easy triplet：此时positive比negative接近anchor，并且距离差达到边界值，即d(a,n)-(d(a,p)+margin)≥0；
hard triplet：此时negative比positive更接近anchor,即d(a,n)<d(a,p)；
semi-hard triplet：此时negative比positive距离anchor更远，但是距离差没有达到一个margin，即d(a,n)-(d(a,p)+margin)<0并且d(a,n)≥d(a,p)；
其中d(a,n)是指样本与负样本特征向量之间的欧式距离，d(a,p)是指样本与正样本特征向量之间的欧式距离，margin是人为规定的用来度量正负样本特征向量之间的距离差值的程度的一个边界值。
5.根据权利要求1所述的方法，其特征在于，步骤(5)具体为：在测试集中随机挑选两个签名图像，即参考签名图像与待检测签名图像，输入网络模型进行预测；查看分类器的最后输出结果，若网络最后输出结果为1则证明参考签名图像与待检测签名图像来自同一作者即为真实签名；若网络最后输出结果为0则证明参考签名图像与待检测签名图像来自不同作者即为伪造签名。
CN202110672891.5A 2021-06-17 2021-06-17 一种基于triplet loss的离线签名验证方法 Active CN113269136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110672891.5A CN113269136B (zh) 2021-06-17 2021-06-17 一种基于triplet loss的离线签名验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110672891.5A CN113269136B (zh) 2021-06-17 2021-06-17 一种基于triplet loss的离线签名验证方法

Publications (2)

Publication Number Publication Date
CN113269136A CN113269136A (zh) 2021-08-17
CN113269136B true CN113269136B (zh) 2023-11-21

Family

ID=77235268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110672891.5A Active CN113269136B (zh) 2021-06-17 2021-06-17 一种基于triplet loss的离线签名验证方法

Country Status (1)

Country Link
CN (1) CN113269136B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115966029B (zh) * 2023-03-09 2023-11-07 珠海金智维信息科技有限公司 一种基于注意力机制的离线签名认证方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529395A (zh) * 2016-09-22 2017-03-22 文创智慧科技（武汉）有限公司 基于深度置信网络和k均值聚类的签名图像鉴定方法
CN106778586A (zh) * 2016-12-08 2017-05-31 武汉理工大学 离线手写签名鉴别方法及系统
CN108463828A (zh) * 2016-04-07 2018-08-28 惠普发展公司，有限责任合伙企业 基于特征的签名认证
CN109918621A (zh) * 2019-02-18 2019-06-21 东南大学 基于数字指纹和语义特征的新闻文本侵权检测方法与装置
CN110008909A (zh) * 2019-04-09 2019-07-12 浩鲸云计算科技股份有限公司 一种基于ai的实名制业务实时稽核系统
CN110263659A (zh) * 2019-05-27 2019-09-20 南京航空航天大学 一种基于三元组损失和轻量级网络的指静脉识别方法及系统
WO2019183659A1 (de) * 2018-03-28 2019-10-03 Visualsearch Gmbh Inhaltsbasierte bildersuche
CN110825904A (zh) * 2019-10-24 2020-02-21 腾讯科技（深圳）有限公司 一种图像匹配方法、装置、电子设备和存储介质
CN110826380A (zh) * 2018-08-14 2020-02-21 上海汇付数据服务有限公司 一种异常签名的识别方法及其系统
CN112084470A (zh) * 2020-07-14 2020-12-15 深圳市能信安技术有限公司 用户身份认证方法、装置、用户终端及服务器
GB202017529D0 (en) * 2020-11-05 2020-12-23 Thales Holdings Uk Plc One shot learning for identifying data items similar to a query data item
CN112257792A (zh) * 2020-10-26 2021-01-22 东北农业大学 一种基于svm的实时视频目标动态分类方法
CN112528059A (zh) * 2021-02-08 2021-03-19 南京理工大学 基于深度学习的交通目标图像检索方法、装置及可读介质
EP3796234A1 (en) * 2019-08-28 2021-03-24 Tata Consultancy Services Limited Method and system for training a neural network for time series data classification

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10515295B2 (en) * 2017-10-27 2019-12-24 Adobe Inc. Font recognition using triplet loss neural network training

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108463828A (zh) * 2016-04-07 2018-08-28 惠普发展公司，有限责任合伙企业 基于特征的签名认证
CN106529395A (zh) * 2016-09-22 2017-03-22 文创智慧科技（武汉）有限公司 基于深度置信网络和k均值聚类的签名图像鉴定方法
CN106778586A (zh) * 2016-12-08 2017-05-31 武汉理工大学 离线手写签名鉴别方法及系统
WO2019183659A1 (de) * 2018-03-28 2019-10-03 Visualsearch Gmbh Inhaltsbasierte bildersuche
CN110826380A (zh) * 2018-08-14 2020-02-21 上海汇付数据服务有限公司 一种异常签名的识别方法及其系统
CN109918621A (zh) * 2019-02-18 2019-06-21 东南大学 基于数字指纹和语义特征的新闻文本侵权检测方法与装置
CN110008909A (zh) * 2019-04-09 2019-07-12 浩鲸云计算科技股份有限公司 一种基于ai的实名制业务实时稽核系统
CN110263659A (zh) * 2019-05-27 2019-09-20 南京航空航天大学 一种基于三元组损失和轻量级网络的指静脉识别方法及系统
EP3796234A1 (en) * 2019-08-28 2021-03-24 Tata Consultancy Services Limited Method and system for training a neural network for time series data classification
CN110825904A (zh) * 2019-10-24 2020-02-21 腾讯科技（深圳）有限公司 一种图像匹配方法、装置、电子设备和存储介质
CN112084470A (zh) * 2020-07-14 2020-12-15 深圳市能信安技术有限公司 用户身份认证方法、装置、用户终端及服务器
CN112257792A (zh) * 2020-10-26 2021-01-22 东北农业大学 一种基于svm的实时视频目标动态分类方法
GB202017529D0 (en) * 2020-11-05 2020-12-23 Thales Holdings Uk Plc One shot learning for identifying data items similar to a query data item
CN112528059A (zh) * 2021-02-08 2021-03-19 南京理工大学 基于深度学习的交通目标图像检索方法、装置及可读介质

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
A Comprehensive Study on Offline Signature Verification;Neha Sharma 等;《IRMAS 2021》;第1969卷(第2021期);1-18 *
Combining graph edit distance and triplet networks for offline signature verification;Paul Maergner 等;《Pattern Recognition Letters》;第124卷;527-533 *
Learning Metric Features for Writer-Independent Signature Verification using Dual Triplet Loss;Qian Wan 等;《2020 25th International Conference on Pattern Recognition》;3853-3859 *
Multi-Path Attention Inverse Discrimination Network for Offline Signature Verification;Xiaorui Zhang 等;《Intelligent Automation and Soft Computing》;第36卷(第03期);3057-3071 *
基于Faster-Rcnn的离线数学公式识别切割技术的研究与实现;杨明雄;《中国优秀硕士学位论文全文数据库信息科技辑》(第(2020)01期);I138-1827 *
基于二维HMM的中文离线签名认证系统;郜艳 等;《计算机工程》(第19期);139-140 *
基于改进算法的卷积神经网络的单人离线手写签名真伪鉴定;谢明风 等;《工业控制计算机》;第33卷(第12期);4-5 *
用于手写签名识别的演化超网络;王进 等;《重庆邮电大学学报(自然科学版)》;第30卷(第03期);399-407 *

Also Published As

Publication number Publication date
CN113269136A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN110363182B (zh) 基于深度学习的车道线检测方法
CN106778586B (zh) 离线手写签名鉴别方法及系统
CN101142584B (zh) 面部特征检测的方法
CN112580590A (zh) 一种基于多语义特征融合网络的指静脉识别方法
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN110991389B (zh) 判断目标行人在非重叠相机视角中出现的匹配方法
CN110909618B (zh) 一种宠物身份的识别方法及装置
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
US11194997B1 (en) Method and system for thermal infrared facial recognition
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN1975759A (zh) 一种基于结构主元分析的人脸识别方法
CN111274915B (zh) 一种指静脉图像的深度局部聚合描述子提取方法及系统
CN113221655B (zh) 基于特征空间约束的人脸欺骗检测方法
CN113095156B (zh) 一种基于逆灰度方式的双流网络签名鉴定方法及装置
CN109255336A (zh) 基于巡检机器人的避雷器识别方法
CN111832405A (zh) 一种基于hog和深度残差网络的人脸识别方法
CN114445879A (zh) 一种高精度人脸识别方法及人脸识别设备
CN111709305B (zh) 一种基于局部图像块的人脸年龄识别方法
CN111339932B (zh) 一种掌纹图像预处理方法和系统
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
CN107784263A (zh) 基于改进加速鲁棒特征的平面旋转人脸检测的方法
CN110188646B (zh) 基于梯度方向直方图与局部二值模式融合的人耳识别方法
CN113269136B (zh) 一种基于triplet loss的离线签名验证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant