CN110008909A - 一种基于ai的实名制业务实时稽核系统 - Google Patents

一种基于ai的实名制业务实时稽核系统 Download PDF

Info

Publication number
CN110008909A
CN110008909A CN201910283594.4A CN201910283594A CN110008909A CN 110008909 A CN110008909 A CN 110008909A CN 201910283594 A CN201910283594 A CN 201910283594A CN 110008909 A CN110008909 A CN 110008909A
Authority
CN
China
Prior art keywords
identity card
face
picture
signature
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910283594.4A
Other languages
English (en)
Other versions
CN110008909B (zh
Inventor
李百成
张翊
区冠文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ho Whale Cloud Computing Polytron Technologies Inc
Original Assignee
Ho Whale Cloud Computing Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ho Whale Cloud Computing Polytron Technologies Inc filed Critical Ho Whale Cloud Computing Polytron Technologies Inc
Priority to CN201910283594.4A priority Critical patent/CN110008909B/zh
Publication of CN110008909A publication Critical patent/CN110008909A/zh
Application granted granted Critical
Publication of CN110008909B publication Critical patent/CN110008909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于AI的实名制业务实时稽核系统，包括前端和后端，所述前端由身份证识别模块、人证比对模块以及签名检测模块组成；所述身份证识别模块对身份证有效性进行检测，并提取身份证信息；所述人证比对模块对身份证照片和客户现场照片进行匹配；所述签名检测模块对客户签名的有效性进行判断；各模块将检测信息和提取的数据输入后端，后端根据接收的信息和数据建立客户数据模型。本系统将业务办理和业务稽核同步进行，事后稽核的步骤直接省略，提高了业务稽核的效率。

Description

一种基于AI的实名制业务实时稽核系统
技术领域
本发明涉及一种实名认证系统，具体是一种基于AI的实名制业务实时稽核系统。
背景技术
传统的实名制业务稽核主要通过人工在业务办理完结后对业务办理人提供的材料进行逐一比对核查。而这种模式有着一些必然存在的问题：一、事后稽核不能在业务办理的第一时间发现业务风险，形成风险隐患；二、错误数据的形成并难以及时纠正；三、人工参与稽核，稽核成本高，稽核效率低下。
随着人工智能技术的发展，通过引入人工智能技术的实名制业务稽核系统运营而生。该系统综合应用各类型的人工智能图像识别技术和深度机器学习技术，通过训练学习建立各种人工智能模型，有效识别判断业务实名认证过程中采集的客户现场人像、证件图片、客户签名、业务单据手续的一致性、真实性和合规性。从而替代原有的后台事后人工稽核机制，在提升业务稽核效率的同时保证了信息安全。另外，系统能改变业务稽核风险发现滞后的传统局面，把事后稽核变成事中稽核，在办理业务中即可第一时间发现风险点，实时制止和现场纠正风险业务，以及保证数据的准确性。
发明内容
发明目的：本发明目的在于针对现有技术的不足，提供一种基于AI的实名制业务实时稽核系统，提升实名制业务稽核的效率，实现业务办理和实名稽核的同步进行。
技术方案：本发明所述基于AI的实名制业务实时稽核系统，包括前端和后端，所述前端由身份证识别模块、人证比对模块以及签名检测模块组成；
所述身份证识别模块对身份证有效性进行检测，并提取身份证信息；
所述人证比对模块对身份证照片和客户现场照片进行匹配；
所述签名检测模块对客户签名的有效性进行判断；
各模块将检测信息和提取的数据输入后端，后端根据接收的信息和数据建立客户数据模型。
本发明进一步优选地技术方案为，所述身份证识别模块包括身份证检测模型和身份证信息提取模型；
所述身份证检测模型提取身份证图片的国徽，与模版的国徽进行模版匹配获得匹配率，并根据匹配率来判断身份证有效性；
所述身份证信息提取模型对身份证图片的内容进行OCR识别获取身份证上有效信息，对身份证图片上的文字进行检测和识别。
优选地，所述身份证检测模型判断身份证有效性的具体步骤为：
(1)提取国徽：输入身份证图片，然后对图片作一个颜色空间变换成HSV空间，提前该空间下的红色像素所在区域；
(2)国徽匹配：通过提取得到的国徽图片与模版国徽图片进行模版匹配，获取相似度来进行国徽图案识别，相似度公式为
其中，I为输入源图像，T为模板图像，R为结果矩阵；在输入源图像中滑动框，寻找各个位置与模板图像的相似度，并将结果保存在结果矩阵中，矩阵的每一个点的亮度表示与模板的匹配程度，然后可以通过定位矩阵中的最大值或最小值，当最大值或最小值大于或小于设定阈值时即匹配成功。
优选地，所述身份证信息提取模型对身份证图片上的文字进行检测和识别的具体步骤为：
(1)采用CTPN框架进行文本检测：
a、使用VGG16作为基础网络提取特征，得到conv5_3的特征作为特征图，大小是W×H×C；
b、在特征图上做滑窗，窗口大小是3×3，每个窗口得到一个长度为3×3×C的特征向量，该特征向量用来预测和10个候选框之间的偏移距离，即每一个窗口中心预测出10个文本建议区；
c、将上一步得到的特征输入到一个双向的LSTM中，得到长度为W×256的输出，然后接一个512的全连接层，准备输出，输出层部分主要有三个输出，2k个垂直坐标，2k个分数，k个修正值；
d、输出得到密集预测的文本建议区，再使用标准的非极大值抑制算法来滤除多余的块；
e、最后使用基于图的文本行构造算法，得到若干文本段合并成的文本行；
(2)采用CRNN框架进行文本识别：CRNN框架的网络架构包括卷积层、循环层和转录层三部分，积层自动从每个输入图像中提取特征序列，在卷积网络之上，构建了一个循环网络作为循环层，用于对卷积层输出的特征序列的每一帧进行预测，最后转录层将循环层的每帧预测转化为标签序列，识别图像中的类序列对象。
优选地，所述人证比对模块对身份证照片和客户现场照片进行匹配的具体步骤为：
(1)人脸检测：对于身份证照片和客户现场照片，采用MTCNN算法进行搜索，以确定其中是否含有人脸，如果是则返回脸部的位置、大小和姿态；
(2)人脸表征：采用FaceNet算法对人脸进行特征建模，通过卷积神经网络将人脸映射到欧式空间的特征向量上，计算不同图片人脸特征的距离，通过相同个体的人脸的距离，总是小于不同个体的人脸这一先验知识训练网络，然后将人脸按批次输入到深度神经网络中，将网络输出的向量进行归一化并计算L2范数，建立起128维向量空间，最后计算三重损失函数，建立起人脸特征库；
(3)人脸匹配：采用欧式距离计算对身份证照片和客户现场照片上人脸特征距离，两个人脸特征的距离小于距离阈值时，人脸验证通过。
优选地，所述签名检测模块通过建立基于深度学习的二分类模型，对输入的签名图片进行分类，分为有效签名或者无效签名，模型采用基于反向残差结构的MobileNetV2作为基础模型，通过收集和使用有效签名集和无效签名集对MobileNetV2模型进行训练获得最终的模型，然后将客户签名图像输入到训练完成的模型中，获得该图片是签名的置信度，通过对置信度与阈值的比较结果判断签名有效性。
本发明基于AI的实名制业务实时稽核系统主要由三个模块组成：身份证识别模块、人证比对模块以及签名检测模块。身份证识别模块主要通过图像处理和OCR技术来对身份证有效性进行检测和身份证信息提取；人证比对模块主要通过人脸识别技术对身份证照片和现场照片进行匹配；签名检测模块主要通过深度学习技术来对客户签名的有效性进行判断。该系统的业务流程可以理解为客户办理业务时，通过采集身份证图片和客户现场照片输入到系统对客户身份信息进行核实并提取有用信息作为客户数据进行保存，最后客户进行签名对业务内容确认时，系统对客户的签名进行检测，从而完成业务办理。业务的办理和稽核都实时进行，从而改变了业务稽核风险发现滞后的传统局面，把事后稽核变成事中稽核，在办理业务中即可第一时间发现风险点，实时制止和现场纠正风险业务。另外，三个模块分工合作实现全程无死角稽核。系统通过前后端不断反馈纠正数据，优化了数据质量，实现客户模型等的优化成长，适应新业务规范要求。
有益效果：区别于传统人工实名制业务稽核，本系统具有以下几个优点：
(1)效率高，通过AI来对客户身份进行验证，大大提高了业务办理和业务稽核的效率，在传统的业务稽核系统里，业务办理与业务稽核是分开进行，本系统将业务办理和业务稽核同步进行，事后稽核的步骤直接省略，这大大提高了业务稽核的效率。
(2)成本低，传统人工稽核的操作往往需要大量的业务员进行稽核，人力成本高而且效果差，本系统能取代业务员高质量完成稽核，节省了大量的人力成本。
(3)风险低，传统稽核为事后稽核，本系统将事后稽核变成事中稽核，在办理业务中即可第一时间发现风险点，实时制止和现场纠正风险业务，以及保证数据的准确性。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
实施例：一种基于AI的实名制业务实时稽核系统，包括前端和后端，所述前端由身份证识别模块、人证比对模块以及签名检测模块组成；
所述身份证识别模块对身份证有效性进行检测，并提取身份证信息；
所述人证比对模块对身份证照片和客户现场照片进行匹配；
所述签名检测模块对客户签名的有效性进行判断；
各模块将检测信息和提取的数据输入后端，后端根据接收的信息和数据建立客户数据模型。
一、身份证识别模块
中华人民共和国居民身份证，是用于证明持有人身份的一种法定证件，多由国家发行予公民。作为每个人重要的身份证明文件，身份证上印有重要的个人信息，是业务办理的重要材料和依据。身份证识别模块包括身份证检测模型和身份证信息提取模型。
1、身份证检测模型，主要负责对输入的身份证图片进行稽核，检测身份证是否有效。国徽是身份证上重要的特征。本模型提出通过提取身份证图片的国徽，与模版的国徽进行模版匹配获得匹配率。根据匹配率来判断身份证是否有效。
身份证国徽提取，身份证上的国徽图案为全红色的设计，其颜色特征能很好地将其与背景作区分。通过输入身份证图片，然后对图片作一个颜色空间变换成HSV空间，提前该空间下的红色像素所在区域，就能很好地对国徽进行提取。
身份证国徽匹配。通过提取得到的国徽图片与模版国徽图片进行模版匹配获取相似度来进行国徽图案识别。模板匹配(Template Matching)是图像识别中最具代表性的方法之一。它从待识别图像中提取若干特征向量与模板对应的特征向量进行比较，计算图像与模板特征向量之间的距离，用最小距离法判定所属类别。本模型使用归一化平方差匹配法。其相似度公式，如下所示：
在输入源图像I中滑动框，寻找各个位置与模板图像T的相似度，并将结果保存在结果矩阵R中。该矩阵的每一个点的亮度表示与模板T的匹配程度。然后可以通过定位矩阵R中的最大值(该函数也可以确定最小值)。当最大值大于我们设定的阈值即匹配成功。
2、身份证信息提取模型，主要对身份证图片的内容进行OCR识别获取身份证上有效信息。通过建立深度学习模型对身份证图片上的字符进行定位和识别。本模型使用了CTPN+CRNN的自然文字识别框架来实现文字的检测和识别。
文本检测的其中一个难点就在于文本行的长度变化是非常剧烈的。因此如果是采用基于faster rcnu等通用物体检测框架的算法都会面临怎么生成好的text proposal的问题。而CTPN模型提出检测一个一个小的并且固定宽度的文本段，然后再后处理部分再将这些小的文本段连接起来，得到文本行。
CTPN框架的流程可以分为以下几个步骤：
(1)首先，使用VGG16作为基础网络提取特征，得到conv5_3的特征作为特征图，大小是W×H×C。
(2)然后在这个特征图上做滑窗，窗口大小是3×3。也就是每个窗口都能得到一个长度为3×3×C的特征向量。这个特征向量将用来预测和10个候选框之间的偏移距离，也就是说每一个窗口中心都会预测出10个文本建议区。
(3)将上一步得到的特征输入到一个双向的LSTM中，得到长度为W×256的输出，然后接一个512的全连接层，准备输出。
(4)输出层部分主要有三个输出。2k个垂直坐标，因为一个候选框用的是中心位置的高(y坐标)和矩形框的高度两个值表示的，所以一个用2k个输出。2k个分数，因为预测了k个文本建议区，所以有2k个分数，文本和非文本各有一个分数。k个修正值，这部分主要是用来精修文本行的两个端点的，表示的是每个建议区的水平平移量。
(5)该方法得到密集预测的文本建议区，所以会使用一个标准的非极大值抑制算法来滤除多余的块。
(6)最后使用基于图的文本行构造算法，将得到的一个一个的文本段合并成文本行。
CTPN是一种自上而下的方法(先检测文本区域，再找出文本线)的文本检测方法，该方法比自下而上的检测方法(先检测字符，再串成文本线)更好。因为CTPN考虑了上下文，更加鲁棒。另外，CTPN最大的亮点在于把RNN引入检测问题。文本检测，先用CNN得到深度特征，然后用固定宽度的候选框来检测文本建议区(文本线的一部分)，并把同一行候选框对应的特征串成序列，输入到RNN中，最后用全连接层来分类或回归，并将正确的文本建议区进行合并成文本线。这种把RNN和CNN无缝结合的方法提高了检测精度。
文本识别使用CRNN模型，其网络架构设计专门用于识别图像中的类序列对象。所提出的神经网络模型被称为卷积循环神经网络(CRNN)，因为它是DCNN和RNN的组合。对于类序列对象，CRNN与传统神经网络模型相比具有一些独特的优点：(1)可以直接从序列标签(例如单词)学习，不需要详细的标注(例如字符)；(2)直接从图像数据学习信息表示时具有与DCNN相同的性质，既不需要手工特征也不需要预处理步骤，包括二值化/分割，组件定位等；(3)具有与RNN相同的性质，能够产生一系列标签；(4)对类序列对象的长度无约束，只需要在训练阶段和测试阶段对高度进行归一化；(5)与现有技术相比，它在场景文本(字识别)上获得更好或更具竞争力的表现。(6)它比标准DCNN模型包含的参数要少得多，占用更少的存储空间。
其网络架构包括三部分：(1)卷积层，从输入图像中提取特征序列；(2)循环层，预测每一帧的标签分布；(3)转录层，将每一帧的预测变为最终的标签序列。
在CRNN的底部，卷积层自动从每个输入图像中提取特征序列。在卷积网络之上，构建了一个循环网络，用于对卷积层输出的特征序列的每一帧进行预测。采用CRNN顶部的转录层将循环层的每帧预测转化为标签序列。虽然CRNN由不同类型的网络架构(如CNN和RNN)组成，但可以通过一个损失函数进行联合训练。在场景文本识别基准数据集上的实验表明，与传统方法以及其它基于CNN和RNN的算法相比，CRNN实现了优异或极具竞争力的性能。
二、人证比对模块
人证比对模块，指待办业务的客户将身份证证件的放置摄像头下方的指定位置，使得身份证照片进入摄像头视野以被拍摄捕捉，同时客户正脸面向另一个摄像头，使得客户的正面照被该摄像头拍照捕捉，证件照片和人脸照片同时输入本模块进行比对，通过人脸识别技术判断是否为同一人。
人证比对模块包含人脸检测、人脸表征和人脸匹配三部分。
人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回一脸的位置、大小和姿态。本模块使用目前在许多工业级和商业化场景都有应用的MTCNN算法架构。人脸检测算法MTCNN架构主要包含了三部分：P-Net、R-Net和O-Net。
P-Net：该网络全部由卷积层实现，获取到候选人脸窗和人脸窗的回归向量，基于人脸窗的回归向量对人脸窗进行校正，然后对所有人脸窗进行非极大值抑制(NMS)，合并高度重叠的人脸窗。其具体过程就是通过图像金字塔生成的各种尺寸大小的图片，每一张图都进行一次前向传播，在每个图上得到的结果之后利用设置的阈值去掉一部分，剩下的根据缩放尺度还原到原图上的坐标，将所有的坐标信息汇总，然后通过非极大值抑制去除一部分冗余。
R-Net：第一阶段最后产生了大量的候选框，将这些候选框根据缩放因子回推到原图上之后，将他们尺寸大小全部调整到24x24，作为第二阶段的输入。第二阶段经过网络之后同样产生大量的候选框，同样的根据阈值去掉一部分，再利用非极大值抑制去掉一部分。
O-Net：使用第二阶段中最后留下来的候选框，还原到原来的图片上之后，全部将大小调整到到48x48，然后输入到第三阶段，使用更为复杂的卷积神经网络进一步精细化结果并输出人脸上的5个特征点。
非极大值抑制(Non-Maximum Suppression，NMS)，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。在人脸检测中，经过神经网络分类识别后，每个候选框窗口都会得到一个分数，但是会导致很多窗口与其他窗口存在包含或者大部分交叉的情况。这时就需要用到非极大值抑制来选取那些邻域里分数最高，并且抑制那些分数低的窗口。从而可以筛选出正确的人脸，降低误识率。
人脸表征又称人脸图像特征提取。人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的，它是对人脸进行特征建模的过程。
FaceNet是谷歌提出的人脸检测算法，利用相同人脸在不同角度等姿态的照片下有高内聚性，不同人脸有低耦合性，通过卷积神经网络将人脸映射到欧式空间的特征向量上，计算不同图片人脸特征的距离，通过相同个体的人脸的距离，总是小于不同个体的人脸这一先验知识训练网络。实际应用时，只需要计算人脸特征，然后计算距离使用阈值即可判定两张人脸照片是否属于相同的个体。在LFW数据集上准确度达到99.63％，在YouTube人脸数据集上准确度95.12％。
首先将人脸按批次输入到深度神经网络中，将网络输出的向量进行归一化并计算L2范数，建立起128维向量空间，最后计算三重损失函数(Triplet Loss)。其中深度神经网络包含了卷积层，实践表明其能更好地提取人脸图像的局部特征。而维度的选择又必须兼顾算法性能和精度，维度高，算法精度高但计算特征速度慢，算法性能下降，反之精度低而性能高。
而最后的三重损失函数(Triplet Loss)作用在于，将属于同一个人的人脸特征距离拉近，而属于不同人的人脸特征距离拉远，使得类内距离小于类间距离，便可以提升后续人脸识别的准确性。
人脸表征计算得到人脸特征建立起人脸特征库后，便可以用于人脸验证(一对一)、人脸识别(一对多)、人脸聚类(自动分类)等应用领域。而在进行人脸验证的时候，不可避免需要进行计算特征的距离，或者说是特征的相似度。特征越接近，相似度越高，反之相似度越低。通常两个人脸特征的距离小于距离阈值(相似度大于相似度阈值)的情况下，便可以认为是同一个人，人脸验证通过。
关于人脸特征距离的计算，我们使用的方法为欧式距离。欧式距离公式如下：
欧氏距离反映的是高维空间中特征点的直线距离，能够体现个体数值特征的绝对差异，通常用于需要从维度的分数或数值大小中体现差异的分析。
三、签名检测模块
签名是客户对业务内容的一种确认行为，因此签名检测具有重要的意义。签名检测模块，主要通过建立一种基于深度学习的二分类模型，对输入的签名图片进行分类，分为有效签名或者无效签名。从而对客户签名进行检测。
本模块使用MobileNetV2作为基础模型。MobileNetV2是一个轻量级的深度网络结构，是之前MobileNetV1的改进版。MobileNetV2架构基于反向残差结构，其中残差块的输入和输出是较短的瓶颈层，这与在输入中使用扩展表征的传统残差模型正相反。MobileNetV2使用轻量级深度卷积过滤中间扩展层的特征。其在多任务和基准以及不同模型大小的范围上进一步刷新了移动端模型的当前最佳性能。
通过收集和使用有效签名集和无效签名集(简单线条、随笔等)对MobileNetV2模型进行训练获得最终的模型。输入签名图像到训练完成的网络可获得该图片是签名的置信度，通过对置信度设置一个阈值来判断签名是否有效。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (6)

1.一种基于AI的实名制业务实时稽核系统，其特征在于，包括前端和后端，所述前端由身份证识别模块、人证比对模块以及签名检测模块组成；
所述身份证识别模块对身份证有效性进行检测，并提取身份证信息；
所述人证比对模块对身份证照片和客户现场照片进行匹配；
所述签名检测模块对客户签名的有效性进行判断；
各模块将检测信息和提取的数据输入后端，后端根据接收的信息和数据建立客户数据模型。
2.根据权利要求1所述的基于AI的实名制业务实时稽核系统，其特征在于，所述身份证识别模块包括身份证检测模型和身份证信息提取模型；
所述身份证检测模型提取身份证图片的国徽，与模版的国徽进行模版匹配获得匹配率，并根据匹配率来判断身份证有效性；
所述身份证信息提取模型对身份证图片的内容进行OCR识别获取身份证上有效信息，对身份证图片上的文字进行检测和识别。
3.根据权利要求2所述的基于AI的实名制业务实时稽核系统，其特征在于，所述身份证检测模型判断身份证有效性的具体步骤为：
(1)提取国徽：输入身份证图片，然后对图片作一个颜色空间变换成HSV空间，提前该空间下的红色像素所在区域；
(2)国徽匹配：通过提取得到的国徽图片与模版国徽图片进行模版匹配，获取相似度来进行国徽图案识别，相似度公式为
其中，I为输入源图像，T为模板图像，R为结果矩阵；在输入源图像中滑动框，寻找各个位置与模板图像的相似度，并将结果保存在结果矩阵中，矩阵的每一个点的亮度表示与模板的匹配程度，然后可以通过定位矩阵中的最大值或最小值，当最大值或最小值大于或小于设定阈值时即匹配成功。
4.根据权利要求2所述的基于AI的实名制业务实时稽核系统，其特征在于，所述身份证信息提取模型对身份证图片上的文字进行检测和识别的具体步骤为：
(1)采用CTPN框架进行文本检测：
a、使用VGG16作为基础网络提取特征，得到conv5_3的特征作为特征图，大小是W×H×C；
b、在特征图上做滑窗，窗口大小是3×3，每个窗口得到一个长度为3×3×C的特征向量，该特征向量用来预测和10个候选框之间的偏移距离，即每一个窗口中心预测出10个文本建议区；
c、将上一步得到的特征输入到一个双向的LSTM中，得到长度为W×256的输出，然后接一个512的全连接层，准备输出，输出层部分主要有三个输出，2k个垂直坐标，2k个分数，k个修正值；
d、输出得到密集预测的文本建议区，再使用标准的非极大值抑制算法来滤除多余的块；
e、最后使用基于图的文本行构造算法，得到若干文本段合并成的文本行；
(2)采用CRNN框架进行文本识别：CRNN框架的网络架构包括卷积层、循环层和转录层三部分，积层自动从每个输入图像中提取特征序列，在卷积网络之上，构建了一个循环网络作为循环层，用于对卷积层输出的特征序列的每一帧进行预测，最后转录层将循环层的每帧预测转化为标签序列，识别图像中的类序列对象。
5.根据权利要求1所述的基于AI的实名制业务实时稽核系统，其特征在于，所述人证比对模块对身份证照片和客户现场照片进行匹配的具体步骤为：
(1)人脸检测：对于身份证照片和客户现场照片，采用MTCNN算法进行搜索，以确定其中是否含有人脸，如果是则返回脸部的位置、大小和姿态；
(2)人脸表征：采用FaceNet算法对人脸进行特征建模，通过卷积神经网络将人脸映射到欧式空间的特征向量上，计算不同图片人脸特征的距离，通过相同个体的人脸的距离，总是小于不同个体的人脸这一先验知识训练网络，然后将人脸按批次输入到深度神经网络中，将网络输出的向量进行归一化并计算L2范数，建立起128维向量空间，最后计算三重损失函数，建立起人脸特征库；
(3)人脸匹配：采用欧式距离计算对身份证照片和客户现场照片上人脸特征距离，两个人脸特征的距离小于距离阈值时，人脸验证通过。
6.根据权利要求1所述的基于AI的实名制业务实时稽核系统，其特征在于，所述签名检测模块通过建立基于深度学习的二分类模型，对输入的签名图片进行分类，分为有效签名或者无效签名，模型采用基于反向残差结构的MobileNetV2作为基础模型，通过收集和使用有效签名集和无效签名集对MobileNetV2模型进行训练获得最终的模型，然后将客户签名图像输入到训练完成的模型中，获得该图片是签名的置信度，通过对置信度与阈值的比较结果判断签名有效性。
CN201910283594.4A 2019-04-09 2019-04-09 一种基于ai的实名制业务实时稽核系统 Active CN110008909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910283594.4A CN110008909B (zh) 2019-04-09 2019-04-09 一种基于ai的实名制业务实时稽核系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910283594.4A CN110008909B (zh) 2019-04-09 2019-04-09 一种基于ai的实名制业务实时稽核系统

Publications (2)

Publication Number Publication Date
CN110008909A true CN110008909A (zh) 2019-07-12
CN110008909B CN110008909B (zh) 2020-09-15

Family

ID=67170675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910283594.4A Active CN110008909B (zh) 2019-04-09 2019-04-09 一种基于ai的实名制业务实时稽核系统

Country Status (1)

Country Link
CN (1) CN110008909B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414516A (zh) * 2019-08-05 2019-11-05 上海海事大学 一种基于深度学习的单个汉字识别方法
CN110569839A (zh) * 2019-08-09 2019-12-13 河海大学常州校区 一种基于ctpn和crnn的银行卡号识别方法
CN110929715A (zh) * 2019-11-26 2020-03-27 深圳市信联征信有限公司 终端身份证智能扫描方法、装置以及终端
CN112001318A (zh) * 2020-08-25 2020-11-27 广东光速智能设备有限公司 一种身份证件信息采集方法及其系统
CN112434547A (zh) * 2019-08-26 2021-03-02 中国移动通信集团广东有限公司 一种用户身份稽核方法和设备
CN112837263A (zh) * 2020-12-21 2021-05-25 上海致宇信息技术有限公司 一种复杂背景下的身份证信息定位方法
CN113269136A (zh) * 2021-06-17 2021-08-17 南京信息工程大学 一种基于triplet loss的离线签名验证方法
CN113591485A (zh) * 2021-06-17 2021-11-02 国网浙江省电力有限公司 一种基于数据科学的智能化数据质量稽核系统及方法
CN114694133A (zh) * 2022-05-30 2022-07-01 南京华苏科技有限公司 一种基于图像处理与深度学习相结合的文本识别方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6811082B2 (en) * 2001-09-18 2004-11-02 Jacob Y. Wong Advanced magnetic stripe bridge (AMSB)
WO2005042269A1 (ja) * 2003-10-30 2005-05-12 Konica Minolta Photo Imaging, Inc. Ｉｄカード作成システム及びｉｄカード作成方法
CN102801528A (zh) * 2012-08-17 2012-11-28 珠海市载舟软件技术有限公司 基于智能移动通讯设备的身份验证系统及其方法
CN106778607A (zh) * 2016-12-15 2017-05-31 国政通科技股份有限公司 一种基于人脸识别的人与身份证同一性认证装置及方法
CN106886774A (zh) * 2015-12-16 2017-06-23 腾讯科技（深圳）有限公司 识别身份证信息的方法和装置
WO2017195051A1 (en) * 2016-05-13 2017-11-16 Infocert S.P.A. Method of remotely identifying a physical person in asynchronous mode, aimed at the release of an advanced electronic signature, qualified electronic signature or digital identity
CN108647621A (zh) * 2017-11-16 2018-10-12 福建师范大学福清分校 一种基于人脸识别的视频分析处理系统及方法
CN108831065A (zh) * 2018-05-23 2018-11-16 武汉市国土资源和规划信息中心 一种不动产权证的自助打印方法
CN109190347A (zh) * 2018-08-17 2019-01-11 江苏诺安科技有限公司 一种电子签名方法
CN109359647A (zh) * 2018-10-16 2019-02-19 翟红鹰 识别多种证件的方法、设备及计算机可读存储介质
CN109492143A (zh) * 2018-09-21 2019-03-19 平安科技（深圳）有限公司 图像数据处理方法、装置、计算机设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6811082B2 (en) * 2001-09-18 2004-11-02 Jacob Y. Wong Advanced magnetic stripe bridge (AMSB)
WO2005042269A1 (ja) * 2003-10-30 2005-05-12 Konica Minolta Photo Imaging, Inc. Ｉｄカード作成システム及びｉｄカード作成方法
CN102801528A (zh) * 2012-08-17 2012-11-28 珠海市载舟软件技术有限公司 基于智能移动通讯设备的身份验证系统及其方法
CN106886774A (zh) * 2015-12-16 2017-06-23 腾讯科技（深圳）有限公司 识别身份证信息的方法和装置
WO2017195051A1 (en) * 2016-05-13 2017-11-16 Infocert S.P.A. Method of remotely identifying a physical person in asynchronous mode, aimed at the release of an advanced electronic signature, qualified electronic signature or digital identity
CN106778607A (zh) * 2016-12-15 2017-05-31 国政通科技股份有限公司 一种基于人脸识别的人与身份证同一性认证装置及方法
CN108647621A (zh) * 2017-11-16 2018-10-12 福建师范大学福清分校 一种基于人脸识别的视频分析处理系统及方法
CN108831065A (zh) * 2018-05-23 2018-11-16 武汉市国土资源和规划信息中心 一种不动产权证的自助打印方法
CN109190347A (zh) * 2018-08-17 2019-01-11 江苏诺安科技有限公司 一种电子签名方法
CN109492143A (zh) * 2018-09-21 2019-03-19 平安科技（深圳）有限公司 图像数据处理方法、装置、计算机设备及存储介质
CN109359647A (zh) * 2018-10-16 2019-02-19 翟红鹰 识别多种证件的方法、设备及计算机可读存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414516A (zh) * 2019-08-05 2019-11-05 上海海事大学 一种基于深度学习的单个汉字识别方法
CN110569839A (zh) * 2019-08-09 2019-12-13 河海大学常州校区 一种基于ctpn和crnn的银行卡号识别方法
CN110569839B (zh) * 2019-08-09 2023-05-16 河海大学常州校区 一种基于ctpn和crnn的银行卡号识别方法
CN112434547A (zh) * 2019-08-26 2021-03-02 中国移动通信集团广东有限公司 一种用户身份稽核方法和设备
CN112434547B (zh) * 2019-08-26 2023-11-14 中国移动通信集团广东有限公司 一种用户身份稽核方法和设备
CN110929715A (zh) * 2019-11-26 2020-03-27 深圳市信联征信有限公司 终端身份证智能扫描方法、装置以及终端
CN112001318A (zh) * 2020-08-25 2020-11-27 广东光速智能设备有限公司 一种身份证件信息采集方法及其系统
CN112837263A (zh) * 2020-12-21 2021-05-25 上海致宇信息技术有限公司 一种复杂背景下的身份证信息定位方法
CN113269136A (zh) * 2021-06-17 2021-08-17 南京信息工程大学 一种基于triplet loss的离线签名验证方法
CN113591485A (zh) * 2021-06-17 2021-11-02 国网浙江省电力有限公司 一种基于数据科学的智能化数据质量稽核系统及方法
CN113269136B (zh) * 2021-06-17 2023-11-21 南京信息工程大学 一种基于triplet loss的离线签名验证方法
CN114694133A (zh) * 2022-05-30 2022-07-01 南京华苏科技有限公司 一种基于图像处理与深度学习相结合的文本识别方法

Also Published As

Publication number Publication date
CN110008909B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN110008909A (zh) 一种基于ai的实名制业务实时稽核系统
CN106815566B (zh) 一种基于多任务卷积神经网络的人脸检索方法
CN104866829B (zh) 一种基于特征学习的跨年龄人脸验证方法
CN110728225B (zh) 一种用于考勤的高速人脸搜索方法
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN106529414A (zh) 一种通过图像比对实现结果认证的方法
US9489561B2 (en) Method and system for estimating fingerprint pose
US20160034773A1 (en) Robust industrial optical character recognition
CN105787466B (zh) 一种车辆类型的精细识别方法及系统
CN103761531A (zh) 基于形状轮廓特征的稀疏编码车牌字符识别方法
US11194997B1 (en) Method and system for thermal infrared facial recognition
CN102902959A (zh) 基于二代身份证存储证件照的人脸识别方法及系统
CN108734235A (zh) 一种用于电子处方的身份识别方法及系统
CN107038400A (zh) 人脸识别装置及方法和利用其的目标人跟踪装置及方法
CN110516649B (zh) 基于人脸识别的校友认证方法及系统
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN110210433B (zh) 一种基于深度学习的集装箱箱号检测与识别方法
CN111126240A (zh) 一种三通道特征融合人脸识别方法
CN107273783A (zh) 人脸识别系统及其方法
CN107944395A (zh) 一种基于神经网络验证人证合一的方法及系统
CN108446687A (zh) 一种基于移动端和后台互联的自适应人脸视觉认证方法
CN109255414A (zh) 一种用于图书盘点的彩色条码、图书识别方法、电子设备及存储介质
CN117037198A (zh) 一种银行对账单的识别方法
CN110969101A (zh) 一种基于hog和特征描述子的人脸检测与跟踪方法
CN103020599A (zh) 基于人脸的身份认证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant