CN114882599A - 基于双分支神经网络的离线手写签名分割系统和方法 - Google Patents

基于双分支神经网络的离线手写签名分割系统和方法 Download PDF

Info

Publication number
CN114882599A
CN114882599A CN202210622507.5A CN202210622507A CN114882599A CN 114882599 A CN114882599 A CN 114882599A CN 202210622507 A CN202210622507 A CN 202210622507A CN 114882599 A CN114882599 A CN 114882599A
Authority
CN
China
Prior art keywords
signature
feature
branch
network
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210622507.5A
Other languages
English (en)
Inventor
陈双浩
覃勋辉
刘科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Aos Online Information Technology Co ltd
Original Assignee
Chongqing Aos Online Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Aos Online Information Technology Co ltd filed Critical Chongqing Aos Online Information Technology Co ltd
Priority to CN202210622507.5A priority Critical patent/CN114882599A/zh
Publication of CN114882599A publication Critical patent/CN114882599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G06V40/33—Writer recognition; Reading and verifying signatures based only on signature image, e.g. static signature recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于双分支神经网络的离线手写签名分割方法，涉及电子签名识别技术，学习文档图像粗糙的语义信息，将文档图像划分区域，基于编码‑译码分支网络对签名图像进行分割，得到粗糙分割签名；推理签名边缘模糊区域的细节，继续进行特征编码，学习签名周围的边界细节，得到较精细分割签名；按照区域划分特征类别，自适应分配特征中心，使得属于相同类别的图像特征向所赋予的特征中心靠拢；签名空间结构捕获，生成对抗损失函数，对精细分割签名进行真假评估，愚弄双分支网络分割得到更高质量的签名输出。对签署在任意位置和复杂背景上，小尺寸电子签名能进行准确分割和识别。能应用于场景复杂性，背景模糊等情形的电子签名笔迹识别。

Description

基于双分支神经网络的离线手写签名分割系统和方法
技术领域
本发明涉及计算机信息处理技术领域，具体是一种手写电子签名分割识别方法。
背景技术
手写签名作为签署人特有的主动行为生物特征，其他人难以仿冒，与个人身份有效关联，是签署人显意识与潜意识的复合信息载体。因此，它构成了在多种应用中使用的替代身份验证，例如银行支票、合同、证书和法医学。在过去的十年中，手写签名验证技术的应用发展迅速，目前基于笔迹生物特征识别技术形成的原笔迹签名产品已广泛应用于金融、政务、司法、公共安全、民生等众多领域中。
公开号CN112070779B，名称为“一种基于卷积神经网络弱监督学习的遥感影像道路分割方法”，公开一种基于卷积神经网络弱监督学习的遥感影像道路分割方法。利用道路中心线数据所提供的稀疏监督信息，通过上下文感知的标签传播算法将语义特征由道路中心线向未标记像素传播，结合深度学习框架训练双分支编码-解码结构的卷积神经网络学习从遥感影像中预测道路路面数据。可适应不同尺度的遥感影像道路路面分割，利用语义信息由道路中心线向未标记像素传播的标签传播算法生成弱标签；构建一个双分支编码-解码结构的卷积神经网络模型，包括编码部分、解码部分以及它们之间的空洞卷积空间金字塔池化部分，其中解码部分包括语义分割分支和边缘检测分支两个子分支，用于获得语义分割图和边缘检测图，并利用边缘检测算子为训练集影像生成粗糙边缘，用以监督边缘检测分支辅助语义分割分支；将训练集影像输入到双分支编码-解码结构的卷积神经网络模型，根据弱标签、粗糙边缘以及输出的语义分割图和边缘检测图计算损失函数，通过反向传播实现模型在GPU上的训练，训练结束后将测试集影像输入训练好的模型中预测道路路面，得到最终的道路分割结果。
公开号：CN106778586B，名称“离线手写签名鉴别方法及系统”的中国发明专利，公开一种离线手写签名鉴别方法对离线签名样本库中的离线签名样本进行预处理为统计签名的宽高，按比例切分；进行多个特征的提取，分别提取了签名的形状、纹理和伪动态特征；形状特征包括矩特征，用于描述包括签名外形、字位倾斜、重心偏移的整体结构特征；纹理特征包括局部二值模式特征、灰度共生矩阵特征，用于直观反映签名图像的视觉特征，通过像素及其周围空间邻域的灰度分布来描述签名图像；伪动态特征包括脉冲耦合神经网络特征，用于通过灰度变换间接表示签名者书写签名时包括压力的动态信息的变化；具体对剪切边界的灰度图像提取脉冲耦合神经网络特征，对归一化的灰度图像提取局部二值模式特征和灰度共生矩阵特征，对归一化的二值图像提取低阶矩特征；对提取的离线签名样本的多个特征进行训练，得到训练后的标准样本库；获取待测签名，并对待测签名进行预处理，得到待测签名的多个特征；将待测签名的多个特征与标准样本库中离线签名样本的对应特征进行匹配，识别出待测签名是真实签名还是伪造签名。
现有技术的方法通常采用语义分割的技术路线,将签名区域视为背景和签名前景两大类,对其进行逐像素分类；鉴于手写签名具有尺度小,笔画空间结构复杂等特性,常规语义分割方法得到分割结果较为粗糙,笔画边缘容易过度分割且存在锯齿现象,此外,分割模型在对签名区域逐像素分类过程中,没有考虑像素与像素之间的关联,容易导致分割的结果存在部分笔画缺失问题。
受控于签署环境的多样性，签名可能签署在任意位置和复杂背景上，背景的复杂性和感兴趣区域的小尺寸等因素，使得自动化电子签名分割变成一项艰巨的任务。目前为止，仅仅存在少数的方法用于签名分割或文本分割。这些方法通常采取语义分割的思路，给出原始的文档图像，直接对其进行像素级分类。鉴于神经网络易于记忆或学习简单的视觉特征，基于分割的方法倾向于学习粗糙的前景区域，对于小尺度的签名而言，通常得到的结果较为粗糙。其次，基于分割网络通常仅仅对单个像素进行分类，没有考虑像素与像素之间的潜在关系，导致分割结果存在像素缺失问题如部分笔画。此外，由于场景复杂性，一些复杂背景纹理如(印章，指纹，印刷体等)，可能会损坏签名局部特征，从而导致分割推理失败。
发明内容
本发明针对现有技术对签字笔画分割结果较为粗糙,笔画边缘容易过度分割且存在锯齿现象,对签名区域逐像素分类过程中没有考虑像素之间的关联,容易导致分割结果存在部分笔画缺失问题，本发明主要以文档图像数据为研究背景,目标是发现文档图像中的手写签名信息,并实现对该区域的精细化分割；引入额外的图像生成任务对分割结果进行优化,以实现手写签名细粒化分割，其次,训练期间采用中心损失(A DiscriminativeFeature Learning Approach for Deep Face Recognition,CenterLoss)对分割结果继续优化,通过提高不同类别特征之间的“类内一致性”,进一步增强模型应对复杂场景下的鲁棒性。
本发明解决上述技术问题的技术方案是，一方面，提出一种基于双分支神经网络的离线手写签名分割系统，包括：签名检测模块，非法签名校验模块，签名分割模块，签名后处理模块，签名检测模块用于定位手写签名在图像中的位置确定候选区域；非法签名校验模块基于检测框的置信度及候选框，过滤掉明显不合法的候选区域获得感兴趣区域图像；签名分割模块进一步包括：低水平语义学习分支模块、高水平边界学习分支模块、空间注意力融合模块、空间结构判别子网络，低水平语义学习分支模块基于编码-译码的网络骨架对签名主体及签名周围边界进行初步分割获得语义特征图；高水平边界学习分支模块对语义特征图经过空洞空间金子塔池化上采样操作，学习签名边界细节获得卷积特征图；空间注意力融合模块基于注意力机制融合语义特征图和卷积特征图生成签名区域预测；空间结构判别子网络采用二分类神经网络将签名区域预测作为输入评估其是否足够真，以此愚弄签名分割网络生成更高质量的中间分割签名；签名后处理模块通过图像处理操作移除中间分割签名中的噪声和干扰，进行过滤及笔画结构优化得到签名输出。
进一步优选，低水平语义学习分支模块中编码部分采用多个卷积层对感兴趣区域图像进行特征编码，解码部分采用与编码部分卷积层对应个数反卷积恢复签名图像空间维度并区分签名主体及边界所在区域，编码部分和解码部分之间通过压缩激励网络SE模块关注图像特征通道，编码部分进行特征编码得到多个阶段的特征图，根据顺序分别记为E1～E4特征，其中，特征E4通过SE模块进行通道重要性加权,然后将前3个阶段的特征E1～E3分别与解码网络的不同阶段进行特征融合,输出一个具有三通道的特征图，每一个特征图分别代表一个类别。
进一步优选，高水平边界学习分支模块使用空洞空间金子塔池化ASPP模块通过扩大卷积核的感受野聚合不同感受野的特征，使得签名周围边界特征有效联系签名前景和文档背景信息，进行高水平细节预测，实现更加精准的签名分割；ASPP模块中前5个卷积层对低水平语义学习分支模块编码网络输出的特征图分别进行卷积操作，最后一个卷积层采用1x1卷积核对前5个卷积层的输出特征图通道连接后进行通道压缩输出卷积特征图。
进一步优选，低水平语义学习分支模块还包括特征聚类部分按照区域划分特征类别，按照签名主体、签名边界及背景的空间位置分配对应的特征中心向量，使得属于相同类别的图像特征向所赋予的特征中心靠拢，促使编码网络学习签名主体、签名边界及背景的可判别性编码；特征聚类的实现主要基于中心损失(A Discriminative Feature LearningApproach for Deep Face Recognition,CenterLoss)中的增强“类内特征一致性“策略，训练过程中，调用公式：
Figure BDA0003677371250000051
计算特征中心向量，其中，IE表示低水平语义学习分支最后一层卷积层三通道输出，
Figure BDA0003677371250000052
表示三通道输出IE中第i个特征向量，
Figure BDA0003677371250000053
表示事先分配的
Figure BDA0003677371250000054
所属类别yi的特征中心,N表示特征图中像素总数。
进一步优选，空间结构判别子网络实现签名空间结构捕获，空间判别子网络与双分支签名分割网络相互对抗生成对抗损失函数，一方面训练空间判别子网络最大化区分真实签名掩膜与预测签名掩膜，同时强迫双分支签名分割网络生成更高质量的预测签名掩膜，根据签名掩膜预测结果
Figure BDA0003677371250000055
真实签名掩膜标记Ialpha、双分支签名分割网络G，空间结构判别器D，调用公式：
Figure BDA0003677371250000056
计算对抗损失函数Ladv(G，D)，根据待分割文档图像Isig、签名主体与签名边界区域的语义标记Ilabel、签名边界区域标记Iborder、真实签名掩膜标记Ialpha、交叉熵损失函数Lseg、均方方差损失函数Ldetail，调用公式：Ltotal＝λsegLseg(Isig，Ilabel)+λdetailLdetail(Isig，Iborder)+λadv(Isig，Ialpha)计算双分支签名分割网络损失函数，其中，λseg、λdetail、λadv分别表示交叉熵损失函数、均方差损失函数、对抗损失函数权重系数。
本发明还提出一种基于双分支神经网络的离线手写签名分割方法，定位手写签名在图像中的位置确定候选区域，基于检测框的置信度及候选框获得感兴趣区域图像；基于编码-译码分支网络对感兴趣区域图像中签名主体及签名周围边界进行初步分割获得语义特征图，按照区域划分特征类别；对语义特征图经过空洞空间金子塔池化上采样操作，学习签名边界细节获得卷积特征图；基于注意力机制融合语义特征图和卷积特征图生成签名区域预测；采用二分类神经网络将签名区域预测作为输入评估其是否足够真，以此愚弄双分支签名分割网络生成更高质量的中间分割签名；通过图像处理操作移除中间分割签名中的噪声和干扰，进行过滤及笔画结构优化得到签名输出。
进一步优选，采用多个卷积层对感兴趣区域图像进行特征编码，采用反卷积恢复签名图像空间维度并区分签名主体及边界所在区域，通过压缩激励网络SE模块关注图像特征通道，进行特征编码得到多个阶段的特征图，根据顺序分别记为E1～E4特征，其中，特征E4通过SE模块进行通道重要性加权,然后将前3个阶段的特征E1～E3分别与解码网络的不同阶段进行特征融合,输出一个具有三通道的特征图，每一个特征图分别代表一个类别。
进一步优选，使用空洞空间金子塔池化ASPP模块通过扩大卷积核的感受野聚合不同感受野的特征，使得签名周围边界特征有效联系签名前景和文档背景信息，进行高水平细节预测，实现更加精准的签名分割；设置6个卷积层生成卷积特征图，其中，前5个卷积层对低水平语义学习分支模块编码网络输出的特征图分别进行卷积操作，最后一个卷积层采用1x1卷积核对前5个卷积层的输出特征图通道连接后进行通道压缩输出卷积特征图。
进一步优选，所述按照区域划分特征类别进一步包括：按照签名主体、签名边界及背景的空间位置分配对应的特征中心向量，使得属于相同类别的图像特征向所赋予的特征中心靠拢，使用中心损失加强输出特征图中不同类别特征间的“类内一致性”，经反向传播后输出一个三通道的区域预测图，对编码器末尾卷积层输出的特征进行压缩操作，将每个特征通道变成一个实数，通过激励操作压缩后的特征生成权重，将权重逐通道加权到特征上，完成对特征的通道注意力标定。
进一步优选，空间结构判别子网络捕获签名空间结构，空间判别子网络与双分支签名分割网络相互对抗生成对抗损失函数，一方面训练空间判别子网络最大化区分真实签名掩膜与预测签名掩膜，同时强迫双分支签名分割网络生成更高质量的预测签名掩膜，根据签名掩膜预测结果
Figure BDA0003677371250000071
真实签名掩膜标记Ialpha、双分支签名分割网络G，空间结构判别器D，调用公式：
Figure BDA0003677371250000072
计算对抗损失函数LaLadv(G，D)，根据待分割文档图像Isig、签名主体与签名边界区域的语义标记Ilabel、签名边界区域标记Iborder、真实签名掩膜标记Ialpha、交叉熵损失函数Lseg、均方方差损失函数Ldetail，调用公式：Ltotal＝λsegLseg(Isig，Ilabel)+λdetailLdetail(Isig，Iborder)+λadv(Isig，Ialpha)计算双分支签名分割网络损失函数，其中，λseg、λdetail、λadv分别表示交叉熵损失函数、均方差损失函数、对抗损失函数权重系数。
本发明融合图像分割方法和图像生成方法各自的优势,实现对签名像素的细粒化分割，为缓解复杂背景引发的干扰问题，在分割网络内部提升不同类别特征之间的“类内和类间一致性”，用以学习可判别性特征编码，解决背景的复杂性和签名区域小尺寸问题，增强模型应对复杂场景下的鲁棒性，此外,为克服部分笔画残缺问题,引入额外的判别网络，用于捕获笔画细节的结构先验。考虑像素与像素之间的关联,分割结果笔画完整，对签署在任意位置和复杂背景上，小尺寸电子签名能进行准确分割和识别。
附图说明
图1端到端离线签名自动化分割系统示意图；
图2双分支离线签名分割网络。
具体实施方式
为方便理解本发明，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示为本发明端到端离线签名分割系统示意图，包括：低水平语义学习分支模块、高水平边界学习分支模块、空间注意力融合模块、空间结构判别子网络，低水平语义学习分支模块基于编码-译码的网络骨架，对签名主体及签名周围边界进行初步分割；高水平边界学习分支模块共享低水平语义分支编码器末尾高水平语义特征图，经过空洞空间金子塔池化(Atrous Spatial Pyramid Pooling,ASPP)上采样操作，实现对签名边界细节的专门化学习；空间注意力融合模块基于注意力机制利用低水平语义学习分支模块中签名区域预测两分支末尾卷积特征图的有效融合生成签名区域预测；空间结构判别子网络采用二分类神经网络将生成的签名区域预测作为输入，评估其是否足够真，以此愚弄签名分割网络生成更高质量的签名区域预测。
低水平语义学习部分用于学习文档图像粗糙的语义信息，可将图像划分为三个部分：签名前景、图像背景、前景与背景间模糊的过渡区域，可使用基于编码-译码分支网络对签名图像进行分割，得到粗糙的签名分割结果；高水平边界细节学习部分主要侧重于推理签名边缘模糊区域的细节，基于低水平语义学习分支部分编码器最后一层得到的签名分割结果特征图，采用ASPP模块继续高水平特征编码，学习签名周围的边界细节，得到较精细的签名分割。
低水平语义学习分支模块编码部分采用多个(如可为4个)卷积层对输入签名图像进行特征编码，解码部分采用与编码部分卷积层对应个数反卷积恢复签名图像空间维度并区分签名主体及边界所在区域，编码部分和解码部分之间通过注意力机制的压缩激励网络SE(Squeeze-and-excitation networks)模块,目的是关注图像特征通道，同时可以自动学习到不同通道的重要性，有利于模型处理分类问题。低水平语义学习分支部分中编码网络对输入文档图像数据进行特征编码，得到多个阶段的特征图，根据顺序分别记为E1～E4特征，其中，特征E4通过SE模块进行通道重要性加权,然后将前3个阶段的特征E1～E3分别与解码网络的不同阶段进行特征融合,输出一个具有三通道的特征图，每一个特征图分别代表一个类别，分别为签名前景、文档图像背景、签名前景与背景间模糊的未知区域。
进一步，为增强低水平语义学习分支应对复杂背景干扰的能力(如印章、指纹、印刷体等)，可添加特征聚类部分对低水平语义学习分支部分最后一层卷积层输出特征图进行聚类处理，使得属于相同类别的特征向所赋予的特征中心靠拢，增强不同类别特征之间的“类内一致性”，以提高对不同类别特征的区分。特征聚类部分用于提高特征图的“类内一致性”，对低水平语义学习分支末尾的最后一层卷积输出进行处理，按照区域划分类别，自适应性分配相应的特征中心，并在学习过程中，使得属于相同类别的特征向所赋予的特征中心靠拢，以增强不同类别特征之间的“类内和类间一致性”。
训练过程中，使用中心损失(A Discriminative Feature Learning Approachfor Deep Face Recognition,CenterLoss)继续加强最后一层卷积层输出特征图中不同类别特征间的“类内一致性”。文档图像输入到低水平语义学习分支，经前向传播后，输出一个三通道的区域预测图(通道0表示对文档背景的区域预测，通道1表示对签名主体的区域预测，通道2表示对签名边界的区域预测)，训练过程中,CenterLoss按照签名主体、签名边界及背景的空间位置分配对应的特征中心向量，鼓励属于同一区域的特征朝向相同的特征中心靠拢(特定中心向量最初是一个随机初始化的3x3张量，训练过程中可通过反向传播更新张量值)，具体为，促使编码网络学习签名主体、签名边界及背景的可判别性编码；特征聚类的实现主要基于中心损失(A Discriminative Feature LearningApproach for DeepFace Recognition,CenterLoss)中的增强“类内特征一致性“策略，训练过程中，调用公式：
Figure BDA0003677371250000101
确定特征中心向量，其中，IE表示低水平语义学习分支最后一层卷积层三通道输出，
Figure BDA0003677371250000102
表示三通道输出IE中第i个特征向量，
Figure BDA0003677371250000103
表示
Figure BDA0003677371250000104
所属类别yi的特征中心,N表示特征图中像素总数。
以编码器末尾卷积层输出的特征X作为SE模块输入，SE模块特征通道数为C，首先对X进行Squeeze(压缩)操作，将每个二维的特征通道变成一个实数，其次通过Excitation(激励)操作压缩后的特征(压缩后大下为1×1×C)生成权重w，对图像特征通道进行加权操作，将权重w逐通道加权到特征X上，完成对特征X的通道注意力标定。编码部分在编码过程中使用池化层操作，减少空间维度，容易造成部分笔画细节缺失，导致在解码部分上采样得到的结果存在一定的粗糙，因此采用跳跃结构将编码部分不同卷积层的结果进行上采样之后来优化输出。
高水平边界学习分支模块使用空洞空间金子塔池化(Arous Pyramid Pooling)ASPP模块通过扩大卷积核的感受野，引导模型聚合不同感受野的特征，使得签名周围边界特征有效联系签名前景和文档背景信息，进行高水平细节预测，实现更加精准的签名分割。最优地，ASPP模块设置6个卷积层,其中，卷积核尺寸设置为1x1和3x3，3x3尺寸的卷积核空洞率分别设置为1，2，4，8。
ASPP模块中前5个卷积层对低水平语义学习分支模块中编码网络输出的特征图分别进行卷积操作，最后一个卷积层采用1x1卷积核对前5个卷积层的输出特征图通道连接后进行通道压缩获得高水平边界学习分支模块的输出。
合并两个分支最后一个卷积层的输出生成融合签名输出。
为约束分割的签名结果保持空间结构上的完整性，使用空间结构判别子网络作为结构模型，用以捕获字符笔画的空间结构先验。空间结构判别器基于空间结构判别网络实现空间结构捕获，基于生成对抗的博弈思想，对双分支网络得到的较精细的签名分割输出进行真假评估，用以愚弄双分支网络得到更高质量的签名输出。判别网络以双分支网络输出的融合签名生成的签名区域掩膜、真实的签名掩膜标记作为输入，判别融合结果是否足够真,促使双分支神经网络解耦分割出更高质量的签名。
空间结构判别子网络由三个卷积层和一个全连接层构成二分类网络，评估预测签名区域的完整性，空间结构判别子网络判断输入样本是真实的签名掩膜数据还是预测签名掩膜数据，输出一个属于真实签名掩膜的概率值。特别地，为了模型在训练过程中更加稳定，收敛速度更快，基于最小二乘生成对抗网络(Least Squares Generative AdversarialNetworks,LSGAN)进行对抗训练。训练过程中，空间判别子网络与签名分割网络相互对抗，一方面训练空间判别子网络最大化识别真实签名掩膜与预测的签名掩膜的正确率，同时强迫签名分割网络生成更高质量的预测签名掩膜，根据签名掩膜预测结果
Figure BDA0003677371250000121
真实签名掩膜标记Ialpha、双分支神经网络G，空间结构判别器D，根据公式：
Figure BDA0003677371250000122
计算对抗损失函数Ladv(G，D)，其中，E表示数学期望，Pdata表示训练集中签名区域掩膜数据分布，
Figure BDA0003677371250000123
表示双分支签名分割网络预测的签名区域掩膜，Ialpha表示真实的签名掩膜，Ladv表示生成对抗损失函数，
Figure BDA0003677371250000126
表示输入Ialpha服从Pdata的分布；
Figure BDA0003677371250000124
表示输入标记
Figure BDA0003677371250000125
服从Pdata的分布。
在对该离线签名模块进行网络训练过程中，使用多个损失函数计算低水平语义学习分支、高水平细节学习分支、空间注意模块、空间结构判别自网络的输出与对应真实值的差距，通过反向传播，更新网络的权重参数。联合多个损失函数进行优化获得最终的双分支神经网络损失函数，具体为，根据待分割文档图像Isig、签名主体与签名边界区域的语义标记Ilabel、签名边界区域标记Iboder、真实签名掩膜标记Ialpha、交叉熵损失函数Lseg、均方方差损失函数Ldetail、生成对抗损失函数Ladv，调用公式：
Ltotal＝λsegLseg(Isig，Ilabel)+λdetailLdetail(Isig，Iborder)+λadv(Isig，Ialpha)计算双分支神经网络损失函数，其中，λseg、λdetail、λadv分别表示交叉熵损失函数、均方差损失函数、对抗损失函数权重系数。
空间注意力融合模块采用注意力机制，指导两分支末尾卷积特征输出有选择性融合，使用低水平语义学习分支末尾有关字符区域预测(签名主体+签名边界)作为区域注意信息，与高水平边界学习分支末尾的特征输出进行点乘操作，以选择该分支中有关签名的特征，然后将选择后的特征与低水平学习分支末尾卷积层输出进行通道连接操作，用于最终的签名区域掩膜预测。
如图2所示为本发明端到端离线签名自动化分割系统结构示意图，包括签名检测模块、非法签名校验模块、签名分割模块(双分支签字分割网络)、签名后处理模块。签名检测模块采用轻量级文本检测器(Real-time Scene Text Detection with DifferentiableBinarization,DBnet)(注意力签字区域检测器)快速定位手写签名在图像中的具体位置；非法签名校验模块基于提供的检测框置信度以及预先定义好的候选框宽高比，过滤掉一些明显不合法的候选区域，进行笔迹区域候选校验；签名分割模块采用上文所述的双分支签名分割网络，通过候选框获取感兴趣区域后，直接进行签名分割，得到粗糙笔迹输出的中间签名分割结果；签名后处理模块对得到的中间签名分割结果进一步精炼，通过图像处理操作如(腐蚀，膨胀，计算联通分量等)，移除签名分割结果中一些明显的噪声或其它干扰，进行签名过滤及笔画结构优化得到签名输出。
以下以一具体实例对本发明的离线手写签名分割的实施作进一步说明。
S1.手写签名素材采集
1)如以带有10x5表格的A4纸为采集模板，在大规模人群中采集各类风格手写签名；2)利用高拍仪扫描设备，对带有手写笔迹的A4纸进行扫描，获取对应图像数据；3)利用霍夫直线检测算法分别检测高拍仪扫描图像中的横线、竖线，并计算交叉点用于对单个签名进行定位，进而获取若干单个手写签名；4)将获取的单个手写签名视为前景和背景两大类，使用KMeans聚类算法对其聚类，获取精细的签名区域掩膜标记；
S2.文档图像背景素材采集
可构建爬虫程序,从互联网上爬取大量文档图像数据,然后基于Labelme(通用图像检测工具包)工具对爬取数据中有代表性的样式如指纹、印章、下划线、网格，印刷体等进行局部标记，获取有代表性的背景样式素材数据；
S3.训练和测试数据构建
1)合成待分割签名数据：基于S1获取的单个手写签名及对应签名掩膜标记和S2得到的文档图像背景素材，将签名前景与文档背景进行融合，得到待分割签名数据；
2)构建签名边缘过渡区域：将S1得到签名掩膜标记分别进行膨胀、腐蚀操作，然后将结果进行相减，得到签名边缘过度区域；
3)构建语义分割标记：将2)中被腐蚀签名掩膜和签名边缘过渡区域视为两大类，并赋予类别标记，其中被腐蚀后签名掩膜(为签名主体)赋予标记值1.签名边缘过渡区域(为签名边界)赋予标记值2；
4)三元组输入对构建:将合成的待分割签名数据、语义分割标记、签名区域掩膜标记，按照对应关系组织城三元组的格式，输入模型训练；
5)将所有构建好的三元组按照比例划分为训练集和测试集；
S4.构建双分支签名分割网络模型。
双分支签名分割网络模型包括高水平细节预测分支、低水平语义学习分支、空间注意融合模块、空间结构子判别网络，低水平语义学习分支基于编码-译码的网络骨架，用于对签名主体及签名周围边界进行初步分割；高水平边界细节分支共享低水平语义分支编码器末尾高水平语义特征图，经过空洞空间金子塔池化ASPP(Atrous Spatial PyramidPooling,)，上采样操作，实现对签名边界细节的专门化学习；空间注意力融合模块基于注意力机制利用低水平语义学习分支中签名区域预测两分支末尾卷积特征图的有效融合；空间结构判别子网络采用二分类神经网络，将生成的签名区域预测作为输入，通过评估其是否足够真，以此愚弄签名分割网络生成更高质量的签名区域预测。
低水平语义学习分支：编码部分采用4个卷积层对输入签名图像进行特征编码，解码部分采用4个反卷积恢复签名图像空间维度并预测签名主体及边界所在区域。编码部分和解码部分之间通过SE(Squeeze-and-excitation networks，压缩和激励网络)模块,在模型关注图像特征通道的同时可以自动学习到不同通道的重要性。如SE模块以编码器末尾卷积层输出特征X作为输入，其特征通道数为C，首先对输出特征X进行Squeeze(压缩)操作，将每个二维的特征通道变成一个实数。其次，通过Excitation(激励)操作压缩后的1×1×C的特征生成权重w，最后对特征的通道进行加权操作，如可通过乘法操作将Excitation操作生成的权重逐通道加权到特征X上，完成对特征X的通道注意力标定。编码部分在编码过程中使用池化层操作，减少空间维度容易造成部分笔画细节缺失，导致在解码部分上采样得到的结果存在一定的粗糙，因此采用跳跃结构将编码部分不同卷积层的结果进行上采样之后优化输出。
高水平细节预测分支：本实例使用空洞空间金字塔池化ASPP扩大卷积核的感受野，引导模型聚合不同感受野的特征，使得签名周围边界特征有效联系签名前景和文档背景信息，ASPP模块中设置6个卷积层,其中，卷积核尺寸设置为1x1和3x3，3x3尺寸的卷积核空洞率分别设置为1，2，4，8。ASPP模块中前5个卷积层是对低水平语义学习分支中编码网络输出的特征图分别进行卷积操作，可采用3x3卷积核，最后一个卷积层可采用1x1卷积核对前5个卷积层的输出特征图通道连接后进行通道压缩获得最终的输出。
签名分割网络引入空间结构判别子网络评估预测签名区域的完整性，本实施例空间判别网络可选择由三个卷积层和一个全连接层构成二分类网络。空间结构判别器对输入样本到底是真实的签名掩膜还是预测的签名掩膜数据进行判断，输出一个属于真实签名掩膜的概率值。训练过程中，空间判别器与签名分割网络相互对抗，一方面训练空间判别网络来最大化真实签名掩膜与预测的签名掩膜判别的正确率，同时强迫签名分割网络生成更高质量的签名掩膜预测，根据公式计算对抗损失函数：
Figure BDA0003677371250000161
其中，E表示数学期望，Pdata表示签名区域掩膜数据的数据分布,
Figure BDA0003677371250000162
表示双分支签名分割网络预测的签名区域掩膜，Ialpha表示真实的签名掩膜标记,Ladv表示生成对抗损失函数。
空间注意力融合模块：采用注意力机制指导两分支末尾卷积特征输出有选择性融合。该模块使用低水平语义学习分支末尾有关字符区域预测(签名主体+签名边界)作为区域注意信息，与高水平边界学习分支末尾的特征输出进行点乘操作，以选择该分支中有关签名的特征，然后将选择后的特征与低水平学习分支末尾卷积层输出进行通道连接操作，用于最终的签名区域掩膜预测；
S5.利用签名分割训练集对双分支签名分割模型进行训练，得到训练完成的深度学习模型。
以下对双分支签名分割网络训练过程举例说明。
将预处理后的待分割文档图像输入到低水平语义学习分支，先后经过编码器、SE模块、解码器，输出一个三通道的区域预测图(如通道0输出对文档背景的区域预测，通道1输出对签名主体的区域预测，通道2输出对签名边界的区域预测；
高水平边界细节分支共享低水平语义学习分支编码器末尾的卷积输出，经过ASPP上采样模块后，输出单通道的签名边界预测；
空间注意力融合模块使用低水平语义学习分支末尾有关字符区域预测(签名主体+签名边界)作为区域注意信息，与高水平边界学习分支末尾的特征输出进行点乘操作，以选择该分支中有关签名的特征，然后将选择后的特征与低水平学习分支末尾卷积层输出进行通道连接操作，继续经过一个3x3卷积操作之后，得到最终的签名区域掩膜预测；
空间结构判别子网络以签名区域掩膜预测作为输入，经过前行传播，输出一个属于真实签名掩膜的概率值。根据多个损失函数计算低水平语义学习分支、高水平细节学习分支、空间注意模块、空间结构判别自网络的输出与对应真实值的差距，通过反向传播，更新网络的权重参数。具体为可根据公式：
Ltotal＝λsegLseg(Isig，Ilabel)+λdetailLdetail(Isig，Iboder)+λadv(Isig，Ialpha)计算权重参数Ltotal。其中，Isig表示待分割文档图像,Ilabel表示签名主体与签名边界区域的语义标记，Iboder表示签名边界区域标记，Ialpha表示真实签名掩膜标记，Iseg表示交叉熵损失函数，Ldetail表示均方方差损失函数，λseg、λdetail、λadv分别表示交叉熵损失函数、均方方差损失函数、生成对抗损失函数权重参数。
重复上述步骤，直至模型收敛，得到训练完成的双分支签名分割网络。对于待分割图像，直接将其输入到训练完成的签名分割网络，得到对应的签名分割结果。
在本实施方式实际推理过程中，由于网络包含了两个分支，推理阶段高水平边界学习分支可能存在输出结果不准确甚至失败的可能，影响最终签名区域掩膜及分割出的签名的质量，为缓解上述问题，可进一步继续优化获得更加准确的签名，特根据双分支签名分割网络最终的输出
Figure BDA0003677371250000181
(签名区域掩膜预测)进一步精炼低水平语义学习分支中粗糙的签名前景输出，具体为，根据双分支网络最后一个卷积层输出的签名区域掩膜预测
Figure BDA0003677371250000182
低水平语义学习分支中签名区域主体和签名边界区域预测
Figure BDA0003677371250000183
和
Figure BDA0003677371250000184
调用公式：
Figure BDA0003677371250000185
计算最终的签名分割结果Isig_mask。
本发明尽管只是结合了有限数量的实施例来详细解释，但本发明并不仅仅限于说明书和实施例中所列运用，它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的工程技术人员而言，可容易地实现的修改、补充和替代，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不应视为受先前描述所限。

Claims (12)

1.一种基于双分支神经网络的离线手写签名分割方法，其特征在于，定位手写签名在图像中的位置确定候选区域，基于检测框的置信度及候选框获得感兴趣区域图像；基于编码-译码分支网络对感兴趣区域图像中签名主体及签名周围边界进行初步分割获得语义特征图，按照区域划分特征类别；对语义特征图经过空洞空间金子塔池化上采样操作，学习签名边界细节获得卷积特征图；基于注意力机制融合语义特征图和卷积特征图生成预测签名区域掩膜；采用二分类神经网络将签名区域预测作为输入评估其是否足够真，以此愚弄双分支签名分割网络生成更高质量的分割签名；通过图像处理操作移除分割签名中的噪声和干扰，进行过滤及笔画结构优化得到最终签名输出。
2.根据权利要求1所述的方法，其特征在于，所述进行初步分割获得语义特征图进一步包括，采用多个卷积层对感兴趣区域图像进行特征编码，采用反卷积恢复签名图像空间维度并区分签名主体及边界所在区域，压缩激励网络SE模块关注图像特征通道，进行特征编码得到多个阶段的特征图，根据顺序分别记为E1～E4特征，其中，特征E4通过SE模块进行通道重要性加权,然后将前3个阶段的特征E1～E3分别与解码网络的不同阶段进行特征融合,输出一个具有三通道的特征图，每一个特征图分别代表一个类别。
3.根据权利要求1所述的方法，其特征在于，对语义特征图经过空洞空间金子塔池化上采样操作进一步包括，使用空洞空间金子塔池化ASPP模块通过扩大卷积核的感受野聚合不同感受野的特征，使得签名周围边界特征有效联系签名前景和文档背景信息，进行高水平细节预测，实现更加精准的签名分割；设置6个卷积层生成卷积特征图，其中，前5个卷积层对低水平语义学习分支模块编码网络输出的特征图分别进行卷积操作，最后一个卷积层采用1x1卷积核对前5个卷积层的输出特征图通道连接后进行通道压缩输出卷积特征图。
4.根据权利要求1或2所述的方法，其特征在于，所述按照区域划分特征类别进一步包括：按照签名主体、签名边界及背景的空间位置分配对应的特征中心向量，使得属于相同类别的图像特征向所赋予的特征中心靠拢，使用中心损失加强输出特征图中不同类别特征间的“类内一致性”，经前向传播后输出一个三通道的区域预测图，对编码器末尾卷积层输出的特征进行压缩操作，将每个特征通道变成一个实数，通过激励操作压缩后的特征生成权重，将权重逐通道加权到特征上，完成对特征的通道注意力标定。
5.根据权利要求1—3其中之一所述的方法，其特征在于，所述生成预测签名区域掩膜进一步包括，捕获签名空间结构，空间判别子网络与双分支签名分割网络相互对抗，一方面训练空间判别子网络最大化区分真实签名掩膜与预测签名掩膜，同时强迫双分支签名分割网络生成更高质量的预测签名掩膜，根据预测签名掩膜标记
Figure FDA0003677371240000021
真实签名掩膜标记Ialpha、双分支签名分割网络G，空间结构判别器D，调用公式：
Figure FDA0003677371240000022
计算对抗损失函数Ladv(G，D)，根据待分割文档图像Isig、签名主体与签名边界区域的语义标记Ilabel、签名边界区域标记Iborder、真实签名掩膜标记Ialpha、交叉熵损失函数Lseg、均方方差损失函数Ldetail，调用公式：Ltotal＝λsegLseg(Isig，Ilabel)+λdetailLdetail(Isig，Iborder)+λadv(Isig，Ialpha)计算双分支签名分割网络损失函数，其中，λseg、λdetail、λadv分别表示交叉熵损失函数权重系数、均方差损失函数权重系数、对抗损失函数权重系数。
6.一种基于双分支神经网络的离线手写签名分割系统，其特征在于，包括：签名检测模块，非法签名校验模块，签名分割模块，签名后处理模块，签名检测模块定位手写签名在图像中的位置确定候选区域；非法签名校验模块基于检测框的置信度及候选框，过滤掉合法的候选区域获得感兴趣区域图像；签名分割模块进一步包括：低水平语义学习分支模块、高水平边界学习分支模块、空间注意力融合模块、空间结构判别子网络，低水平语义学习分支模块基于编码-译码的网络骨架对签名主体及签名周围边界进行初步分割获得语义特征图；高水平边界学习分支模块对语义特征图经过空洞空间金子塔池化上采样操作，学习签名边界细节获得卷积特征图；空间注意力融合模块基于注意力机制融合语义特征图和卷积特征图预测签名区域掩膜；空间结构判别子网络采用二分类神经网络将签名区域掩膜作为输入评估其是否足够真，以此愚弄签名分割模块生成更高质量的分割签名；签名后处理模块进行过滤及笔画结构优化得到最终签名输出。
7.根据权利要求6所述的系统，其特征在于，低水平语义学习分支模块中编码部分采用多个卷积层对感兴趣区域图像进行特征编码，解码部分采用与编码部分卷积层对应个数反卷积恢复签名图像空间维度并区分签名主体及边界所在区域，编码部分和解码部分之间通过压缩激励网络SE模块关注图像特征通道，编码部分进行特征编码得到多个阶段的特征图，根据顺序分别记为E1～E4特征，其中，特征E4通过SE模块进行通道重要性加权,然后将前3个阶段的特征E1～E3分别与解码网络的不同阶段进行特征融合,输出一个具有三通道的特征图，每一个特征图分别代表一个类别。
8.根据权利要求6所述的系统，其特征在于，高水平边界学习分支模块使用空洞空间金子塔池化ASPP模块通过扩大卷积核的感受野聚合不同感受野的特征，使得签名周围边界特征有效联系签名前景和文档背景信息，进行高水平细节预测，实现更加精准的签名分割；ASPP模块中前5个卷积层对低水平语义学习分支模块编码网络输出的特征图分别进行卷积操作，最后一个卷积层采用1x1卷积核对前5个卷积层的输出特征图通道连接后进行通道压缩输出卷积特征图。
9.根据权利要求6-8其中之一所述的系统，其特征在于，空间注意力融合模块采用注意力机制，使用包含签名主体和签名边界的低水平语义学习分支末尾字符区域预测作为区域注意信息，与高水平边界学习分支末尾的特征输出进行点乘操作，选择该分支中的签名特征，将选择的签名特征与低水平语义学习分支末尾卷积层输出进行通道连接操作，预测最终的签名区域掩膜。
10.根据权利要求6-8其中之一所述的系统，其特征在于，低水平语义学习分支模块还包括特征聚类部分按照区域划分特征类别，按照签名主体、签名边界及背景的空间位置分配对应的特征中心向量，使得属于相同类别的图像特征向所赋予的特征中心靠拢，调用公式：
Figure FDA0003677371240000041
确定特征中心向量，其中，
Figure FDA0003677371240000042
表示三通道输出中第i个特征向量，
Figure FDA0003677371240000043
表示
Figure FDA0003677371240000044
所属类别的特征中心,N表示特征图中像素总数。
11.根据权利要求10所述的系统，其特征在于，使用中心损失加强低水平语义学习分支模块中最后一层卷积层输出特征图中不同类别特征间的类内一致性，经反向传播后输出一个三通道的区域预测图，对以编码器末尾卷积层输出的特征X进行压缩操作，将每个二维特征通道变成一个实数，通过激励操作压缩后的特征生成权重，将权重逐通道加权到特征X上，完成对特征X的通道注意力标定。
12.根据权利要求6-8其中之一所述的系统，其特征在于，空间结构判别子网络与双分支签名分割网络相互对抗，一方面训练空间判别子网络最大化区分真实签名掩膜与预测签名掩膜，同时强迫双分支签名分割网络生成更高质量的预测签名掩膜，根据签名掩膜预测结果
Figure FDA0003677371240000051
真实签名掩膜标记Ialpha、双分支签名分割网络G，空间结构判别器D，调用公式：
Figure FDA0003677371240000052
计算对抗损失函数Ladv(G，D)，根据待分割文档图像Isig、签名主体与签名边界区域的语义标记Ilabel、签名边界区域标记Iborder、真实签名掩膜标记Ialpha、交叉熵损失函数Lseg、均方方差损失函数Ldetail，调用公式：Ltotal＝λsegLseg(Isig，Ilabel)+λdetailLdetail(Isig，Iborder)+λadv(Isig，Ialpha)计算双分支签名分割网络损失函数，其中，λseg、λdetail、λadv分别表示交叉熵损失函数权重系数、均方差损失函数权重系数、对抗损失函数权重系数。
CN202210622507.5A 2022-06-02 2022-06-02 基于双分支神经网络的离线手写签名分割系统和方法 Pending CN114882599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210622507.5A CN114882599A (zh) 2022-06-02 2022-06-02 基于双分支神经网络的离线手写签名分割系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210622507.5A CN114882599A (zh) 2022-06-02 2022-06-02 基于双分支神经网络的离线手写签名分割系统和方法

Publications (1)

Publication Number Publication Date
CN114882599A true CN114882599A (zh) 2022-08-09

Family

ID=82679433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210622507.5A Pending CN114882599A (zh) 2022-06-02 2022-06-02 基于双分支神经网络的离线手写签名分割系统和方法

Country Status (1)

Country Link
CN (1) CN114882599A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482534A (zh) * 2022-09-29 2022-12-16 哈尔滨市科佳通用机电股份有限公司 铁路货车手轮倾斜检测方法及系统
CN116129456A (zh) * 2023-02-09 2023-05-16 广西壮族自治区自然资源遥感院 一种产权权属信息识别录入方法及系统
CN117236297A (zh) * 2023-11-13 2023-12-15 深圳市上融科技有限公司 一种基于pdf跨页签字的实现方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482534A (zh) * 2022-09-29 2022-12-16 哈尔滨市科佳通用机电股份有限公司 铁路货车手轮倾斜检测方法及系统
CN115482534B (zh) * 2022-09-29 2023-06-02 哈尔滨市科佳通用机电股份有限公司 铁路货车手轮倾斜检测方法及系统
CN116129456A (zh) * 2023-02-09 2023-05-16 广西壮族自治区自然资源遥感院 一种产权权属信息识别录入方法及系统
CN116129456B (zh) * 2023-02-09 2023-07-25 广西壮族自治区自然资源遥感院 一种产权权属信息识别录入方法及系统
CN117236297A (zh) * 2023-11-13 2023-12-15 深圳市上融科技有限公司 一种基于pdf跨页签字的实现方法
CN117236297B (zh) * 2023-11-13 2024-02-27 深圳市上融科技有限公司 一种基于pdf跨页签字的实现方法

Similar Documents

Publication Publication Date Title
Korus et al. Multi-scale fusion for improved localization of malicious tampering in digital images
Sirmacek et al. Urban-area and building detection using SIFT keypoints and graph theory
CN114882599A (zh) 基于双分支神经网络的离线手写签名分割系统和方法
CN104778457B (zh) 基于多示例学习的视频人脸识别方法
CN112560831B (zh) 一种基于多尺度空间校正的行人属性识别方法
Zhou et al. Deep learning-based crack segmentation for civil infrastructure: Data types, architectures, and benchmarked performance
CN102509112A (zh) 车牌识别方法及其识别系统
Türkyılmaz et al. License plate recognition system using artificial neural networks
CN113033567B (zh) 一种融合分割网络和生成网络的甲骨拓片图像字符训练方法
CN113688821B (zh) 一种基于深度学习的ocr文字识别方法
CN109543672A (zh) 基于稠密特征金字塔网络的物体检测方法
Asra et al. Human behavior recognition based on hand written cursives by SVM classifier
CN111339932B (zh) 一种掌纹图像预处理方法和系统
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN111968124A (zh) 基于半监督语义分割的肩部肌骨超声结构分割方法
CN117558011B (zh) 基于自一致性矩阵和多尺度损失的图像文本篡改检测方法
Steinherz et al. Offline loop investigation for handwriting analysis
CN101630369B (zh) 一种基于小波分形特征的行人检测方法
CN112070116A (zh) 一种基于支持向量机的艺术画作自动分类系统及方法
CN112365451A (zh) 图像质量等级的确定方法、装置、设备及计算机可读介质
Gebremeskel et al. Developing a Model for Detection of Ethiopian Fake Banknote Using Deep Learning
JP4176175B2 (ja) パターン認識装置
CN114120050A (zh) 地表生态数据提取方法及装置、设备和存储介质
CN117542067B (zh) 一种基于视觉识别的区域标注表单识别方法
CN116994202B (zh) 智能洗车机及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination