CN110826380A

CN110826380A - 一种异常签名的识别方法及其系统

Info

Publication number: CN110826380A
Application number: CN201810922210.4A
Authority: CN
Inventors: 周晔; 穆海洁; 裔隽
Original assignee: Shanghai Remittance Data Service Co Ltd
Current assignee: Shanghai Remittance Data Service Co Ltd
Priority date: 2018-08-14
Filing date: 2018-08-14
Publication date: 2020-02-21

Abstract

本发明公开了一种异常签名的识别方法，包括以下步骤：对样本签名图片进行预处理并形成签名样本库；构建卷积神经网络模型，设置输入层、卷积层、池化层、全连接层和分类层，并设置卷积神经网络模型参数；对卷积神经网络模型进行调优；使用训练集样本训练卷积神经网络模型，使用测试集测试训练后卷积神经网络的准确性和稳定性。获取客户签名图像并进行预处理，将图像转换成相同大小的矩阵；调用调优后的卷积神经网络模型的输出分类模型对预处理后的客户签名图像数据进行判断，确定非正常签名，并将该签名图像数据加入签名样本库进行模型持续训练。本发明创新性地将计算机识别技术应用到非规范签名的识别当中，结合深度学习的方式，输出效果理想。

Description

一种异常签名的识别方法及其系统

技术领域

本发明涉及签名识别技术领域，尤其涉及一种异常签名的识别方法及其系统。

背景技术

用户签字，代表着用户本人主观确认行为，在各种业务环节都广泛的使用，有着极其重要的意义。然而，目前在整个获取用户签字留档过程中，对于用户签字内容的判别尚停留在人工鉴定和简单的数据指标筛选层面，前者需要耗费大量的人力资源，后者在判别的准确率上不尽如人意。而本发明主要识别用户签名过程中非正常签名，如画圈、画点和画线等随意涂画的现象。通过机器学习方式，来实现高准确率、高度自动化和智能化的签名识别，针对如收单业务需要用户签名确认交易的场景中，确认签名的有效性，以保证交易的合规性。

广义上，图像就是所有具有视觉效果的画面，包括纸介质上的、底片或照片上的、电视、投影仪或计算机屏幕上的画面。

一幅图像可以定义为一个二维函数f(x，y)，其中x和y是空间坐标，在任何一对空间坐标(x，y)处的幅值f称为图像在该点的强度或灰度。当x，y，f(x，y)是有限的离散数值时，该图像称为数字图像。数字图像由一个个元素组成，每个元素都有一个特定的位置和幅值，这些元素称为像素。

像素实质是一个物理尺寸单位。例如，17英寸大的电脑屏幕可以用800*1280个像素来显示图像，也可以用600*800个像素来显示，而前者画面看起来会更清晰，因为在相同大小的屏幕下，前者每一个像素所表示的物理尺寸更小，意味着画面更精细，分辨率更高。一幅图像可以用由像素组成的二维矩阵表示。

常见图像色彩模式包括：

位图模式：图像只有黑色和白色的像素，每个像素只有2个值可取。

灰度模式：使用256级灰度来表示像素，每个像素有一个0(黑)到255(白)之间的强度。

RGB模式：用红、绿、蓝三基色形成的三元组来表示像素，三元组的每个数值按照0(相应的基色在该像素中没有)到255(相应的基色在该像素中取得最大值)来表示。当三元组相等时，该像素产生灰色。

HSB模式：根据日常生活中人眼的视觉对色彩的观察制定的一套模式，最接近人类对色彩的辨认思考方式。所有像素用色彩的三个属性来描述：H(色相)从物体反射或透过物体传播的颜色；S(饱和度)颜色的强度或纯度，表示色相中灰色成份的比例；B(亮度)颜色的相对明暗程度。

目前针对鉴定用户签名是否为非正常签名，如画圈、画点、画线等随意涂画的现象，在交易过程中并未进行鉴定。而是在发生调单情况的时候将用户签名提取出来进行人工鉴定。另外一种方式，在智能POS机上，通过总结如画圈、画点和画线这种签名出现的像素点较少，从而设置一个屏幕中像素点出现的占比，设定阈值，如果低于某个阈值则怀疑用户进行了非正常签名。

人工审核的方式，在交易频发的时候，是不现实的，会降低交易的效率。而从业务方比如商户要求监控用户签名行为也不具有可行性，因为对于商户来说使得用户尽快完成交易，提高交易量才是商户的内在动机，并不会特别去规范用户的签名行为，因为发生拒付和调单的概率相对较低。计算像素占比并设置阈值，误判率很高，比如用户名字相对比较简单的情况下，比如叫“丁一”，则会误判。另外该方法容易被破解，比如乱涂增加像素占比，也为非正常签名但系统不能正常判断。

发明内容

本发明的目的是解决现有技术中的问题，提供一种将计算机识别(图像识别)技术应用到非规范签名的识别当中，结合深度学习的方式，有效防范此类签名带给交易的风险，更加灵活和可靠的异常签名识别方法。

本发明提供一种异常签名的识别方法，包括以下步骤：

步骤1：对样本签名图片进行预处理，将图像转换成相同大小的矩阵作为神经网络的输入数据形成签名样本库；

步骤2：构建卷积神经网络模型，设置输入层、卷积层、池化层、全连接层和分类层，并设置卷积神经网络模型参数；

步骤3：对步骤2中的卷积神经网络模型进行调优；将签名样本库分为训练集和测试集，使用训练集样本训练卷积神经网络模型，使用测试集测试训练后卷积神经网络的准确性和稳定性并调整步骤2中的分层结构及模型参数，获得调优卷积神经网络模型；

步骤4：获取客户签名图像并进行预处理，将图像转换成相同大小的矩阵；

步骤5：调用调优后的卷积神经网络模型的输出分类模型对预处理后的客户签名图像数据进行判断，确定是否为非正常签名，并将该签名图像数据加入签名样本库进行模型持续训练。

优选地，所述步骤1中的图片预处理过程包括：

将图片的好样本或坏样本的标签加入图片信息中。

优选地，所述相同大小的矩阵的像素尺寸为64*64，所述样本库好样本和坏样本的比例接近1∶1。

优选地，所述步骤2中所述的卷积神经网络模型参数主要包括：批次尺寸，训练步数，损失函数和优化器。

优选地，所述步骤5中的签名图像数据在加入签名样本库前进行压缩处理；在卷积神经网络模型调优过程中对该预处理数据进还原处理。

优选地，所述压缩处理过程包括：签名图像去除白边；签名图像大小压缩；添加数字签名；图片格式压缩。

优选地，所述还原处理过程包括：图像数据验签；图像格式还原；矩阵黑白通道统一化处理。

本发明提供一种异常签名异常签名的识别系统，包括：

签名样本库收集模块：用于对样本签名图片进行预处理，将图像转换成相同大小的矩阵作为神经网络的输入数据形成签名样本库；

卷积神经网络模型构建模块：用于构建卷积神经网络模型，设置输入层、卷积层、池化层、全连接层和分类层，并设置卷积神经网络模型参数；

卷积神经网络模型训练模块：用于对卷积神经网络模型进行调优；将签名样本库分为训练集和测试集，使用训练集样本训练卷积神经网络模型，使用测试集测试训练后卷积神经网络的准确性和稳定性并调整步骤2中的分层结构及模型参数，获得调优卷积神经网络模型；

客户签名图像收集处理模块：用于获取客户签名图像并进行预处理，获得压缩数据；

签名识别模块：用于调用调优后的卷积神经网络模型的输出分类模型对预处理后的客户签名图像数据进行判断，确定是否为非正常签名，并将签名图像资源加入签名样本库进行模型持续训练。

优选地：所述卷积神经网络模型训练模块具体用于持续优化，建立输出分类模型，用于判断待测签名是否为异常签名。

本发明的优点是：1，摈弃了原来耗费人力、效率低下、识别准确率低的人工和规则的方式，创新性地将计算机识别(图像识别)技术应用到非规范签名的识别当中，结合深度学习的方式，通过监督式学习，将输入的图片进行归类。一方面，一旦模型训练完成，标记样本仅需要少量的人工参与，模型进行自动更新和训练，降低了对于人的依赖；另一方面，系统能够随着收集的样本及数据的增加，针对新的不合规签名可以迭代式更新，防范此类签名带给交易的风险，更加灵活和可靠。2、模型训练过程总的图片预处理方式、图片尺寸、样本选择比例等较为合理，可以获得最优的训练效果。3、卷积神经网络模型的分层设置方式和参数设置较为合理，输出效果理想。

为了使本发明实现的技术手段、技术特征、发明目的与技术效果易于明白了解，下面结合具体图示，进一步阐述本发明。

附图说明

图1为本发明的逻辑流程图；

图2为本发明实施例中选取的好样本示例图；

图3为本发明实施例中选取的坏样本示例图；

图4为本发明实施例中卷积神经网络模型的分层示意图；

图5为本发明实施例中的数据压缩流程示意图；

图6为本发明实施例中的数据还原处理流程示意图。

具体实施方式

神经网络算法是一类模仿生物神经网络而构建的计算机算法的总称，由若干人工神经元结点(简称“神经元”)互联而成。神经元之间通过突触两两连接，突触记录了神经元间联系的强弱(权值)。人脑通过几十亿神经元和千万亿个突触对视觉、听觉等各类刺激物做出反应，而学习的过程，也就是神经元改变相互连接方式的过程，从而使得人类能对刺激做出合理的反应，神经网络即模拟了人脑神经工作的过程。

卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。

本发明将一种将计算机识别(图像识别)技术应用到非规范签名的识别当中，结合深度学习的方式，有效防范此类签名带给交易的风险。

本发明实施例的用于异常签名的识别方法流程如图1所示，整体分为相对独立的两个流程：在线验证流程和模型持续训练过程。

验证环节通过调用分类模型进行签名图像鉴定，并将签名图像资源入库以便作为训练集参与持续训练。持续训练环节则通过监督学习的方式，对签名样本库中的资源进行抽样标记，并重新还原图像进行持续训练以优化现有分类模型。供假签名识别系统调用验证。

一、模型训练流程

(一)样本准备和预处理

1、图像信息预处理

本发明的一个较佳实施例中将消费者的签名图片处理成64*64像素尺寸，单通道(L灰度模式)的图片存放在本地路径下，并将图片的标签(好样本/坏样本)也加入图片信息中。处理成统一尺寸是为了能够将每张图像转换成相同大小的矩阵作为神经网络的输入参数，而由于签名无须区分颜色，因此转成灰度模式(或位图模式)也可以帮助尽量降低维数。

本发明的一个较佳实施例中将如图2所示的好样本和如图3所示的坏样本的比例设置为接近1∶1，避免模型产生极端分类情况。

(二)卷积神经网络模型设置。

卷积神经网络(CNN)的基本结构包括输入层、卷积层(conv)、池化层(pooling)、全连接层、输出层(分类器)。网络的层数越多，需要计算的节点权重就越多，学习到的特征越多，越能处理复杂的任务。但相对应的，所需要的计算资源和训练时间也越多。

图像处理中，由于图像往往像素过多，如果放到神经网络中训练，将会导致计算量过于巨大。因此，必须首先减少输入到神经网络中的参数，而卷积神经网络通过卷积和池化操作能有效的做到这一点。

卷积：自然图像有其固有特性，也就是说，图像的一部分的统计特性与其他部分是一样的，这也意味着在图像一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。

当从一个大尺寸图像中随机选取一小块，比如说8x8作为样本，并且从这个小块样本中学习到了一些特征，这时我们可以把从这个8x8样本中学习到的特征作为探测器，应用到这个图像的任意地方中去。特别是，我们可以用从8x8样本中所学习到的特征跟原本的大尺寸图像作卷积，从而对这个大尺寸图像上的任一位置获得一个不同特征的激活值。

假设给定了r×c的大尺寸图像，将其定义为x_large。首先通过从大尺寸图像中抽取的a×b的小尺寸图像样本x_small训练稀疏自编码，计算f＝σ(W⁽¹⁾x_small+b⁽¹⁾)，其中σ是一个sigmoid型函数，得到了k个特征，其中W⁽¹⁾和b⁽¹⁾是可视层单元和隐含单元之间的权重和偏差值，对于每一个a×b大小的小图像x_s，计算出对应的值f_s＝σ(W⁽¹⁾x_s+b⁽¹⁾)，对这些值做卷积，就可以得到k×(r-a+1)×(c-b+1)个卷积后的特征的矩阵。

池化：通过卷积获得特征后，容易出现过拟合，且特征依然过多，通过池化的方法进一步减少特征值。池化的假设是，在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值(或最大值)。这些概要统计特征不仅具有低得多的维度(相比使用所有提取得到的特征)，同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化，有时也称为平均池化或者最大池化(取决于计算池化的方法)。

一般采用多层卷积+池化，然后使用全连接层(隐藏层)进行训练，多层卷积目的是一层卷积学到的特征往往是局部的，层数越高，学到的特征就越全局化。

本发明的一个较佳实施例中采用如图4所示的方式构建卷积神经网络模型，设置输入层、卷积层、池化层、全连接层和分类层，其中包括1个输入层、3个卷积层、2个池化层、一个全连接层、1个分类层；并设置卷积神经网络模型参数；

在确定了神经网络的结构之后，需要对算法的参数进行调优，观察不同参数条件下测试集的分类准确率和稳定性。在本发明一个较佳的实施例中利用人工选取的2，880个样本建立模型，对各个参数进行调优，经过大量实验调整的参数包括：

A：Batch_size批次尺寸：

Batch_size指的是一次使用多少量的样本输入到神经网络模型中，计算这个batch中所有样本的平均损失，batch_size的数量就是一次计算中所包含的样本数，显然这个参数会影响到模型的优化速度和程度。拿我们的例子说，因为我们的训练样本集是10000，测试样本集是2000，因此batch_size最好都是2000的因子，比如50、100、200等，能让2000整除，否则会浪费一些样本无法参与到计算中。

B：N_epoches训练步数

N_epoches指的是最大的训练步数，比如设成200，就表示训练将在遍历数据集200遍后结束。这个参数只用来控制训练结束的时间，需要根据训练过程中损失函数的下降情况来调整。比如说，如果设置最大训练步数为100，但观察到每一次遍历后测试集的准确率依然在不断上升，则说明模型还有继续提升的空间，可以将该参数设置的更大。

C：损失函数

损失函数loss function/objective function：衡量误差用的函数，常见的有MSE(均方误差)，Categorical_crossentropy(多标签交叉熵)等，是用来计算当前计算值对应实际值的误差。神经网络学习的目标就是将损失函数的值尽可能减小。尝试的损失函数包括：

●mean_squared_error或mse

●mean_absolute_error或mae

●mean_absolute_percentage_error或mape

●mean_squared_logarithmic_error或msle

●squared_hinge

●hinge

●poisson

●cosine_proximity

D：优化器

调节优化器是编译Keras模型必要的两个参数之一，通过调用优化器优化，就是通过增加数据量来进行cross_entropy最小化。有限实施例中尝试的优化器包括：

●SGD

●RMSprop

●Adagrad

●Adadelta

●Adam

●Adamax

●Nadam

●TFOptimizer

由于可调的参数过多，如果把所有可能的参数排列组合情况逐一实验将会耗费大量的时间。因此，在优选实施例中先将batch_size、n_epochs这两个参数固定，确定另两个参数的最优组合，再回过来对前两个参数进行调优。

本发明的一个优选实施例的具体模型参数设置如下：

#第一个卷积层，4个卷积核，每个卷积核大小5*5。1表示输入的图片的通道，灰度图为1通道。

#border_mode可以是valid或者full，#激活函数用tanh

#你还可以在model.add(Activation(’tanh’))后加上dropout的技巧：

model.add(Dropout(0.5))

model.add(Convolution2D(4，5，5，

border_mode＝’valid’，input_shape＝data.shape[-3：]))

model.add(Activation(’tanh’))

#第二个卷积层，8个卷积核，每个卷积核大小3*3。4表示输入的特征图个数，等于上一层的卷积核个数。

#激活函数用tanh

#采用maxpooling，poolsize为(2，2)

model.add(Convolution2D(8，3，3，border_mode＝’valid’))

model.add(Activation(’tanh’))

model.add(MaxPooling2D(pool_size＝(2，2)))

#第三个卷积层，16个卷积核，每个卷积核大小3*3

#激活函数用tanh

#采用maxpooling，poolsize为(2，2)

model.add(Convolution2D(16，3，3，border_mode＝’valid’))

model.add(Activation(’tanh’))

model.add(MaxPooling2D(pool_size＝(2，2)))

#全连接层，先将前一层输出的二维特征图flatten为一维的。

#Dense就是隐藏层。16就是上一层输出的特征图个数。4是根据每个卷积层计算出来的：(28-5+1)得到24，(24-3+1)/2得到11，(11-3+1)/2得到4

#全连接有128个神经元节点，初始化方式为normal

model.add(Flatten())

model.add(Dense(128，init＝’normal’))

model.add(Activation(’tanh’))

#Softmax分类，输出是3类别

model.add(Dense(3，init＝’normal’))

model.add(Activation(’softmax’))

#############

#开始训练模型

##############

#使用SGD+momentum

#model.compile里的参数loss就是损失函数(目标函数)

#sgd＝SGD(l2＝0.0，lr＝0.05，decay＝1e-6，momentum＝0.9，nesterov＝True)

sgd＝SGD(lr＝0.05，decay＝1e-6，momentum＝0.9，nesterov＝True)

model.compile(loss＝’categorical_crossentropy’，

optimizer＝sgd，metrics＝[″accuracy″])

#调用fit方法，就是一个训练过程.训练的epoch数设为10，batch_size为100.

#数据经过随机打乱shuffle＝True。verbose＝1，训练过程中输出的信息，0、1、2三种方式都可以，无关紧要。show_accuracy＝True，训练时每一个epoch都输出accuracy。

#validation_split＝0.2，将20％的数据作为验证集。

model.fit(data，label，batch_size＝100，

nb_epoch＝10，shuffle＝True，verbose＝1，validation_split＝0.2)

Train on 4791samples，validate on 1198samples

Epoch 1/10

4791/4791[＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝]-18s-loss：3.0481-acc：0.5690-val_loss：4.7762-val_acc：0.7037

Epoch 2/10

4791/4791[＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝]-17s-loss：4.6864-acc：0.7092-val_loss：4.7762-val_acc：0.7037

Epoch 3/10

Epoch 4/10

Epoch 5/10

4791/4791[＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝]-18s-loss：4.6864-acc：0.7092-val_loss：4.7762-val_acc：0.7037

Epoch 6/10

Epoch 7/10

Epoch 8/10

Epoch 9/10

Epoch 10/10

对比不同batch_size下的训练结果，每次随机选取样本进行训练，剩余样本用来验证，重复实验3次，分类准确率在较小范围间波动，模型分类的稳定性较好，实验结果如表1所示：

表1

通过大量实验，我们得到最优参数，最终的混淆矩阵如表2所示，总体准确率为93.8％。

表2

通过标记出分类错误的样本，发现模型误判(真签名被拒绝)集中在单个笔画简单的汉字上，如‘王’‘于’等，模型漏报(假签名被通过)集中在笔画较多的复杂图形上。考虑到好坏样本本身的图形特征，产生这样的结果也在可接受范围内。

二、在线验证流程

本发明的一个较佳实施例中，为最大限度的压缩签名图像，提升传输与存储效率，假签名识别系统在验证与持续训练过程中，分别对图像进行了预处理与还原处理。

首先将获取客户签名图像并进行预处理，将图像转换成相同大小的矩阵，需要验证的签名图像数据在加入签名样本库前进行压缩处理；在卷积神经网络模型调优过程中对该预处理数据进还原处理。之后调用调优后的卷积神经网络模型的输出分类模型对预处理后的客户签名图像数据进行判断，确定是否为非正常签名，并将该签名图像数据加入签名样本库进行模型持续训练。

其中压缩处理过程如图5所示，包括：签名图像去除白边；签名图像大小压缩；添加数字签名；图片格式压缩。

其中还原处理过程如图6所示，包括：图像数据验签；图像格式还原；矩阵黑白通道统一化处理。逆向图像预处理过程，并图像还原后，统一处理成64*64矩阵，送入机器学习引擎进行训练。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims

1.一种异常签名的识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的异常签名的识别方法，其特征在于，所述步骤1中的图片预处理过程包括：将图片的好样本或坏样本的标签加入图片信息中。

3.根据权利要求2所述的异常签名的识别方法，其特征在于，所述相同大小的矩阵的像素尺寸为64*64，所述样本库好样本和坏样本的比例接近1∶1。

4.根据权利要求1所述的异常签名的识别方法，其特征在于，所述步骤2中所述的卷积神经网络模型参数主要包括：批次尺寸，训练步数，损失函数和优化器。

5.根据权利要求1所述的异常签名的识别方法，其特征在于，所述步骤5中的签名图像数据在加入签名样本库前进行压缩处理；在卷积神经网络模型调优过程中对该预处理数据进还原处理。

6.根据权利要求6所述的异常签名的识别方法，其特征在于：所述压缩处理过程包括：签名图像去除白边；签名图像大小压缩；添加数字签名；图片格式压缩。

7.根据权利要求6所述的异常签名的识别方法，其特征在于：所述还原处理过程包括：图像数据验签；图像格式还原；矩阵黑白通道统一化处理。

8.一种异常签名的识别系统，其特征在于，包括：

9.根据权利要求8所述的异常签名的识别系统，其特征在于：所述卷积神经网络模型训练模块具体用于持续优化，建立输出分类模型，用于判断待测签名是否为异常签名。