CN113051901A - 一种身份证文本识别方法、系统、介质及电子终端 - Google Patents

一种身份证文本识别方法、系统、介质及电子终端 Download PDF

Info

Publication number
CN113051901A
CN113051901A CN202110327481.7A CN202110327481A CN113051901A CN 113051901 A CN113051901 A CN 113051901A CN 202110327481 A CN202110327481 A CN 202110327481A CN 113051901 A CN113051901 A CN 113051901A
Authority
CN
China
Prior art keywords
text
recognition
classification
text line
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110327481.7A
Other languages
English (en)
Other versions
CN113051901B (zh
Inventor
李�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202110327481.7A priority Critical patent/CN113051901B/zh
Publication of CN113051901A publication Critical patent/CN113051901A/zh
Application granted granted Critical
Publication of CN113051901B publication Critical patent/CN113051901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Abstract

本发明提供一种身份证文本识别方法、系统、介质及电子终端，方法包括：采集原始身份证图像集；将原始身份证图像集输入第一卷积神经网络进行训练，获取文本分类识别模型；采集待检测身份证图像；将待检测身份证图像输入文本分类识别模型，进行文本行分类与文本行字符识别，获取分类结果和识别结果；根据分类结果和识别结果，进行身份证文本识别；本发明中的身份证文本识别方法，通过将待检测身份证图像输入文本分类识别模型进行文本行分类和文本行字符识别，能够较好地确定文本行是否为身份证上的有效文本行，并根据分类结果和识别结果，进行身份证文本识别，能够在输出身份证文本行字符序列的同时对误检文本行进行过滤，提高身份证识别精确度。

Description

一种身份证文本识别方法、系统、介质及电子终端
技术领域
本发明涉及文本识别领域，尤其涉及一种身份证文本识别方法、系统、介质及电子终端。
背景技术
身份证文本识别是当前研究非常热门的一个方向，目前在金融、安防等领域获得了广泛的应用，由于身份证的拍摄角度、背景环境以及光线等因素的影响，对身份证文本识别提出了极大的挑战。目前，通常采用传统的方法手动选取特征，导致鲁棒性较差，身份证文本识别的精确度较低，识别率较低。
发明内容
本发明提供一种身份证文本识别方法、系统、介质及电子终端，以解决现有技术中对身份证文本识别的精确度与识别率较低的问题。
本发明提供的身份证文本识别方法，包括：
采集原始身份证图像集；
将所述原始身份证图像集输入第一卷积神经网络进行训练，获取文本分类识别模型；
采集待检测身份证图像；
将所述待检测身份证图像输入所述文本分类识别模型，进行文本行分类与文本行字符识别，获取分类结果和识别结果；
根据所述分类结果和识别结果，进行身份证文本识别。
可选的，将所述原始身份证图像集输入第二卷积神经网络进行训练，获取文本检测模型；
将所述待检测身份证图像输入所述文本检测模型进行文本检测，确定文本行区域，进而获取文本行图像；
将所述文本行图像输入所述文本分类识别模型进行文本行分类与文本行字符识别，获取分类结果和识别结果。
可选的，获取文本行图像的步骤包括：
根据预设的输入尺寸，对所述待检测身份证图像进行缩放处理，将缩放后的所述待检测身份证图像输入所述文本检测模型进行特征提取，获取身份证特征图；
对所述身份证特征图进行二值化处理，获取二值化图像；
根据所述二值化图像和预设的前景阈值参数，获取身份证文本前景区域，进而确定身份证文本前景轮廓，获取矩形文本区域；
根据预设的文本区域尺寸，对所述矩形文本区域进行透射变换与矫正，确定文本行区域，进而获取文本行图像。
可选的，获取所述识别结果的步骤包括：
对所述文本行图像进行特征提取，获取文本行特征图；
对所述文本行特征图在水平方向上进行分割，获取第一特征图；
通过对所述第一特征图进行文本行字符识别，获取所述识别结果。
可选的，获取所述分类结果的步骤包括：
对所述文本行图像进行特征提取，获取文本行特征图；
对所述文本行特征图在垂直方向上进行分割，获取第二特征图；
通过对所述第二特征图进行文本行分类，获取所述分类结果。
可选的，根据所述分类结果和识别结果，进行身份证文本识别的步骤包括：
将所述分类结果中的文本行分类标签和所述识别结果中的文本行字符标签进行第一匹配，若所述文本行分类标签和所述文本行字符标签匹配成功，则输出所述识别结果中的身份证文本行字符序列；
若所述文本行分类标签和所述文本行字符标签匹配失败，则将所述识别结果中的身份证文本字符序列与预设的身份证固定字符进行第二匹配；
根据所述第二匹配结果，完成身份证文本识别。
可选的，根据所述第二匹配结果，完成身份证文本识别的步骤包括：
若所述识别结果中的身份证文本行字符序列中的部分字符与所述身份证固定字符相匹配，则获取文本行字符识别的置信度；
若文本行字符识别的置信度超出预设的置信度阈值，则输出所述识别结果中的身份证文本行字符序列，若所述文本行字符识别的置信度未超出所述置信度阈值，则判定识别错误。
可选的，获取文本分类识别模型的步骤包括：
构建用于文本行分类与文本行字符识别的第一卷积神经网络；
将所述原始身份证图像集输入所述第一卷积神经网络，进行文本行字符识别与文本行分类，获取识别结果与分类结果；
利用交叉熵损失函数和CTC损失函数对所述识别结果与分类结果进行监督学习，获取文本分类识别模型；
利用交叉熵损失函数和CTC损失函数对所述识别结果与分类结果进行监督学习的数学表达为：
lrc＝λ4lsoftmax+λ5lCTC
其中，lrc为文本行分类和文本行字符识别的损失的总和，λ4为softmax损失的权重，lsoftmax为softmax损失函数，λ5为lCTC的权重，lCTC为CTC损失函数。
可选的，获取文本检测模型的步骤包括：构建用于文本检测的第二卷积神经网络；
将所述原始身份证图像集输入所述第二卷积神经网络，利用Dice损失函数、交叉熵损失函数和L1损失函数，对所述第二卷积神经网络进行迭代训练，获取文本检测模型；
根据Dice损失函数、交叉熵损失函数和L1损失函数，对所述第二卷积神经网络进行迭代训练的数学表达为：
Figure BDA0002995180120000031
其中，ldet为文本检测的损失的总和，λ1为Dice损失函数系数，λ2为交叉熵损失的系数，λ3为L1损失函数的系数，y为真实值，yp为网络预测值。
本发明还提供一种身份证文本识别系统，包括：
预采集模块，用于采集原始身份证图像集；
预处理模块，用于将所述原始身份证图像集输入第一卷积神经网络进行训练，获取文本分类识别模型；
采集模块，用于采集待检测身份证图像；
处理模块，用于将所述待检测身份证图像输入所述文本分类识别模型，进行文本行分类与文本字符识别，获取分类结果和识别结果；
识别模块，用于根据所述分类结果和识别结果，进行身份证文本识别；所述预采集模块、预处理模块、采集模块、处理模块和识别模块连接。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述任一项所述方法。
本发明的有益效果：本发明中的身份证文本识别方法，通过将待检测身份证图像输入文本分类识别模型进行文本行分类和文本行字符识别，能够较好地确定文本行是否为身份证上的有效文本行，并根据分类结果和识别结果，进行身份证文本识别，能够在输出身份证文本行字符序列的同时，对误检文本行进行过滤，有效提高身份证识别的精确度。
附图说明
图1是本发明实施例中身份证文本识别方法的一流程示意图；
图2是本发明实施例中身份证文本识别方法的另一流程示意图；
图3是本发明实施例中身份证文本识别系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
发明人发现，身份证文本识别是当前研究非常热门的一个方向，目前在金融、安防等领域获得了广泛的应用，由于身份证的拍摄角度、背景环境以及光线等因素的影响，对身份证文本识别提出了极大的挑战。目前，通常采用传统的方法手动选取特征，导致鲁棒性较差，身份证文本识别的精确度较低，识别率较低，因此，发明人提出一种身份证文本识别方法、系统、介质及电子终端，通过将待检测身份证图像输入文本分类识别模型进行文本行分类和文本行字符识别，能够较好地确定文本行是否为身份证上的有效文本行，并根据分类结果和识别结果进行身份证文本识别，能够在输出身份证文本行字符序列的同时，对误检文本行进行过滤，有效提高身份证识别的精确度，可实施性较强，成本较低，能够较好地提高身份证的识别率。
如图1所示，本实施例中的身份证文本识别方法，包括：
S1：采集原始身份证图像集；所述原始身份证图像集包括一个或多个原始身份证图像，在一些实施例中，所述原始身份证图像集包括：训练集和测试集；
S2：将所述原始身份证图像集输入第一卷积神经网络进行训练，获取文本分类识别模型；即将原始身份证图像集输入所述第一卷积神经网络进行迭代训练，在训练过程中可以采用小范围随机裁剪，随机加噪，色彩增强，色调变换，对比度变化，随机模糊，角度变换等对图片进行数据增强，提高第一卷积神经网络的泛化能力，进而获取文本分类识别模型；在一些实施例中，所述第一卷积神经网络为文本行分类与文本行字符识别一体化网络，通过将原始身份证图像输入第一卷积神经网络进行训练，获取文本分类识别模型，能够对身份证图像同时进行文本行分类与文本行字符识别，输出身份证文本行字符的同时对误检文本行进行过滤，提高身份证文本识别的精确度；
S3：采集待检测身份证图像；可以理解的，所述待检测身份证图像可以为不同背景、不同角度拍摄的身份证图像；
S4：将所述待检测身份证图像输入所述文本分类识别模型，进行文本行分类与文本行字符识别，获取分类结果和识别结果；通过将待检测身份证图像输入所述文本分类识别模型，能够较好地对待检测身份证图像中的文本行进行类别分类，同时，对待检测身份证图像中的文本字符进行识别，分类与识别的精确度较高，实施较方便；
S5：根据所述分类结果和识别结果，进行身份证文本识别；通过将待检测身份证图像输入文本分类识别模型进行文本行分类和文本行字符识别，能够较好地确定文本行是否为身份证上的有效文本行，并根据分类结果和识别结果，进行身份证文本识别，能够在输出身份证文本行字符序列的同时，对误检文本行进行过滤，有效提高身份证识别的精确度与识别率，例如：将分类结果中文本行的类别与识别结果中身份证文本行字符序列进行匹配，根据匹配结果，进行误检文本行过滤，避免发生识别错误，提高身份证文本识别的精确度，可实施性较强，鲁棒性较强，成本较低。
如图2所示，在一些实施例中的身份证文本识别方法，包括：
S101：采集原始身份证图像集；可以理解的，所述原始身份证图像集包括：一个或多个原始身份证图像，多个所述原始身份证图像可以为不同拍摄角度、不同背景光线的原始身份证图像，便于对第一卷积神经网络和第二神经网络进行训练；
S201：将所述原始身份证图像集输入第一卷积神经网络进行训练，获取文本分类识别模型；
在一些实施例中，获取文本分类识别模型的步骤包括：
构建用于文本行分类与文本行字符识别的第一卷积神经网络；
将所述原始身份证图像集输入所述第一卷积神经网络，进行文本行字符识别与文本行分类，获取识别结果与分类结果；
利用交叉熵损失函数和CTC损失函数对所述识别结果与分类结果进行监督学习，获取文本分类识别模型；例如：将所述原始身份证图像集输入所述第一卷积神经网络，获取识别结果，将识别结果中的文本行字符标签输入CTC损失函数(Connectionist TemporalClassification loss)进行监督训练；又如，将所述原始身份证图像集输入所述第一卷积神经网络，获取分类结果，将所述分类结果中的文本行分类标签输入交叉熵损失函数进行监督训练，进而更新第一卷积神经网络的关联参数，进而获取文本分类识别模型；通过交叉熵损失函数和CTC损失函数对所述第一卷积神经网络进行迭代训练，能够提高第一卷积神经网络的文本行分类以及文本行字符识别的精确度，在训练过程中还可以采用小范围随机数据丢弃、随机加噪、色彩增强、色调变换、对比度变化、随机模糊等对图片进行数据增强，在一些实施例中，还可以采用随机梯度下降优化算法对第一卷积神经网络进行优化，学习率调整可以使用余弦退火策略，可以理解的，此处仅对网络训练过程中部分训练方法进行举例，具体训练过程可以根据实际情况进行设置，此处不再赘述；
在一些实施例中，利用交叉熵损失函数和CTC损失函数对所述识别结果与分类结果进行监督学习的数学表达为：
lrc＝λ4lsoftmax+λ5lCTC
Figure BDA0002995180120000061
其中，lrc为文本行分类和文本行字符识别的损失的总和，λ4为softmax损失的权重，lsoftmax为sofimax损失函数，C为分类总类别数，fyi为第i类节点的输出，0＜i＜C，fyj为第j类节点的输出，0＜j＜C，lCTC为CTC损失函数，λ5为lCTC的权重。
S202：将所述原始身份证图像集输入第二卷积神经网络进行训练，获取文本检测模型；
在一些实施例中，获取文本检测模型的步骤包括：构建用于文本检测的第二卷积神经网络；将所述原始身份证图像集输入所述第二卷积神经网络，利用Dice损失函数、交叉熵损失函数和L1损失函数，对所述第二卷积神经网络进行迭代训练，获取文本检测模型；
根据Dice损失函数、交叉熵损失函数和L1损失函数，对所述第二卷积神经网络进行迭代训练的数学表达为：
Figure BDA0002995180120000062
其中，ldet为文本检测的损失的总和，λ1为Dice损失函数系数，λ2为交叉熵损失的系数，λ3为L1损失函数的系数，y为真实值，yp为网络预测值。
S301：采集待检测身份证图像；
S401：将所述待检测身份证图像输入所述文本检测模型进行文本检测，确定文本行区域，进而获取文本行图像；
在一些实施例中，获取文本行图像的步骤包括：
根据预设的输入尺寸，对所述待检测身份证图像进行缩放处理，将缩放后的所述待检测身份证图像输入所述文本检测模型进行特征提取，获取身份证特征图；通过将待检测身份证图像的尺寸缩放为预设的输入尺寸，能够便于将待检测身份证图像输入文本检测模型中，进而缩放后的待检测图像输入文本检测模型进行特征提取，获取身份证特征图；
对所述身份证特征图进行二值化处理，获取二值化图像；通过对身份证特征图进行二值化处理，降低了后续对二值化图像的文本区域的确定的处理难度与复杂度；
根据所述二值化图像和预设的前景阈值参数，获取身份证文本前景区域，进而确定身份证文本前景轮廓，获取矩形文本区域；通过获取带角度的矩形文本区域，方便后续对所述矩形文本区域进行透射变换与矫正；
根据预设的文本区域尺寸，对所述矩形文本区域进行透射变换与矫正，确定文本行区域，进而获取文本行图像，例如：根据预设的文本区域尺寸，将矩形文本区域的四个顶点进行透射变换与矫正，确定文本行区域，进而获取文本行图像。
例如：根据预设的输入尺寸，对原始身份证图像集中的原始身份证图像进行缩放处理，将缩放后的待检测身份证图像输入文本检测模型进行特征提取，获取身份证特征图，实现对待检测身份证图像的特征提取，对身份证特征图进行二值化处理，获取二值化图像，根据所述二值化图像和预设的前景阈值参数，确定身份证文本前景轮廓，进而确定身份证的矩形文本区域，并根据预设的文本区域尺寸，对矩形文本区域进行透射变换与矫正，确定文本行区域，实现对文本行区域的较精确的确定，精确度较高，可以理解的，透射变换即根据预设的文本区域尺寸，将矩形文本区域投影到一个新的视平面。
S402：将所述文本行图像输入所述文本分类识别模型进行文本行分类与文本行字符识别，获取分类结果和识别结果；
在一些实施例中，将所述文本行图像输入所述文本分类识别模型进行文本行分类与文本行字符识别的步骤包括：对所述文本行图像进行特征提取，获取文本行特征图，即通过文本分类识别模型的卷积核对所述文本行图像进行特征提取；
对所述文本行特征图在水平方向上进行分割，获取第一特征图；
对所述文本行特征图在垂直方向上进行分割，获取第二特征图；在一些实施例中，所述第二特征图位于所述文本行特征图的左侧，即对所述文本行特征图在垂直方向上进行分割，将分割后的左侧的图像作为第二特征图，将所述第二特征图用于文本行分类，便于对身份证文本行进行分类；
通过对所述第一特征图进行文本行字符识别，获取所述识别结果；例如：对所述第一特征图进行第一池化与正则化处理，获取第一正则化数据；将所述第一正则化数据按照列的方式对第一特征图进行重构，获取第一数组；根据预设的指定向量对所述重构数组进行重新排列，获取第二数组；将所述第二数组输入全连接层，获取识别结果；
通过对所述第二特征图进行文本行分类，获取所述分类结果；例如：对所述第二特征图进行第二池化与正则化处理，获取第二正则化数据；将所述第二特征化数据输入卷积层进行卷积运算，获取卷积结果；将所述卷积结果输入Softmax With Loss层进行文本行分类，获取分类结果。
S501：将所述分类结果中的文本行分类标签和所述识别结果中的文本行字符标签进行第一匹配，若所述文本行分类标签和所述文本行字符标签匹配成功，则输出所述识别结果中的身份证文本行字符序列；通过将所述分类结果和所述识别结果进行第一匹配，能够对识别结果进行类别验证，避免出现识别错误，有效提高身份证文本识别度；
S502：若所述文本行分类标签和所述文本行字符标签匹配失败，则将所述识别结果中的身份证文本字符序列与预设的身份证固定字符进行第二匹配，获取第二匹配结果；
S503：根据所述第二匹配结果，完成身份证文本识别；在一些实施例中，若所述识别结果中的身份证文本行字符序列中的部分字符与所述身份证固定字符相匹配，则获取文本行字符识别的置信度；
若文本行字符识别的置信度超出预设的置信度阈值，则输出所述识别结果中的身份证文本行字符序列，若所述文本行字符识别的置信度未超出所述置信度阈值，则判定识别错误。由于我国身份证文本行相对比较固定，由姓名、性别、民族、出生住址、身份号码、签发机关、有效期限以及身份证字样所组成，现有身份证文本行识别中，基本上都是直接输出身份证文本行字符序列，并未根据身份证的文本行的类别以及身份证的固定字符对身份证文本行字符序列进行验证，因此，本实施例通过将识别结果与预设的身份证固定字符进行第二匹配，并根据第二匹配结果进行身份证文本识别，能够有效提高身份证文本识别的精确度，避免识别到无效的身份证文本行，识别精确度较高，可实施性较强，实施较方便。
如图3所示，本实施例还提供一种身份证文本识别系统，包括：
预采集模块，用于采集原始身份证图像集；
预处理模块，用于将所述原始身份证图像集输入第一卷积神经网络进行训练，获取文本分类识别模型；
采集模块，用于采集待检测身份证图像；
处理模块，用于将所述待检测身份证图像输入所述文本分类识别模型，进行文本行分类与文本字符识别，获取分类结果和识别结果；
识别模块，用于根据所述分类结果和识别结果，进行身份证文本识别；所述预采集模块、预处理模块、采集模块、处理模块和识别模块依次连接；通过将待检测身份证图像输入文本分类识别模型进行文本行分类和文本行字符识别，能够较好地确定文本行是否为身份证上的有效文本行，并根据分类结果和识别结果，进行身份证文本识别，能够在输出身份证文本行字符序列的同时，对误检文本行进行过滤，有效提高身份证识别的精确度。
在一些实施例中，所述处理模块包括：文本行分类单元和文本行字符识别单元，所述文本行分类单元的输入端和所述文本行字符识别单元的输入端分别与所述采集模块的输出端连接，所述文本行分类单元的输出端和所述文本行字符识别单元的输出端分别与所述识别模块的输入端连接，通过同时对待检测身份证图像的文本行进行文本行分类与文本行识别，并根据分类结果和识别结果进行身份证文本识别，能够有效对误检文本行进行过滤，提高精确度。
在一些实施例中，所述预处理模块还用于将所述原始身份证图像集输入第二卷积神经网络进行训练，获取文本检测模型；
将所述待检测身份证图像输入所述文本检测模型进行文本检测，确定文本行区域，进而获取文本行图像。
在一些实施例中，获取文本行图像的步骤包括：根据预设的输入尺寸，对所述待检测身份证图像进行缩放处理，将缩放后的所述待检测身份证图像输入所述文本检测模型进行特征提取，获取身份证特征图；
对所述身份证特征图进行二值化处理，获取二值化图像；
根据所述二值化图像和预设的前景阈值参数，获取身份证文本前景区域，进而确定身份证文本前景轮廓，获取矩形文本区域；
根据预设的文本区域尺寸，对所述矩形文本区域进行透射变换与矫正，确定文本行区域，进而获取文本行图像。
在一些实施例中，所述处理模块将所述文本行图像输入所述文本分类识别模型进行文本行分类与文本行字符识别，获取分类结果和识别结果。
在一些实施例中，所述处理模块获取所述识别结果的步骤包括：
对所述文本行图像进行特征提取，获取文本行特征图；
对所述文本行特征图在水平方向上进行分割，获取第一特征图；
通过对所述第一特征图进行文本行字符识别，获取所述识别结果。
在一些实施例中，所述处理模块获取所述分类结果的步骤包括：
对所述文本行图像进行特征提取，获取文本行特征图；
对所述文本行特征图在垂直方向上进行分割，获取第二特征图；
通过对所述第二特征图进行文本行分类，获取所述分类结果。
在一些实施例中，所述识别模块根据所述分类结果和识别结果，进行身份证文本识别的步骤包括：
将所述分类结果中的文本行分类标签和所述识别结果中的文本行字符标签进行第一匹配，若所述文本行分类标签和所述文本行字符标签匹配成功，则输出所述识别结果中的身份证文本行字符序列；
若所述文本行分类标签和所述文本行字符标签匹配失败，则将所述识别结果中的身份证文本字符序列与预设的身份证固定字符进行第二匹配；
根据所述第二匹配结果，完成身份证文本识别。
在一些实施例中，根据所述第二匹配结果，完成身份证文本识别的步骤包括：
若所述识别结果中的身份证文本行字符序列中的部分字符与所述身份证固定字符相匹配，则获取文本行字符识别的置信度；
若文本行字符识别的置信度超出预设的置信度阈值，则输出所述识别结果中的身份证文本行字符序列，若所述文本行字符识别的置信度未超出所述置信度阈值，则判定识别错误。
在一些实施例中，所述预处理模块获取文本分类识别模型的步骤包括：
构建用于文本行分类与文本行字符识别的第一卷积神经网络；
将所述原始身份证图像集输入所述第一卷积神经网络，进行文本行字符识别与文本行分类，获取识别结果与分类结果；
利用交叉熵损失函数和CTC损失函数对所述识别结果与分类结果进行监督学习，获取文本分类识别模型；
利用交叉熵损失函数和CTC损失函数对所述识别结果与分类结果进行监督学习的数学表达为：
lrc＝λ4lsoftmax+λ5lCTC
其中，lrc为文本行分类和文本行字符识别的损失的总和，λ4为softmax损失的权重，lsoftmax为softmax损失函数，λ5为lCTC的权重，lCTC为CTC损失函数。
在一些实施例中，所述处理模块获取文本检测模型的步骤包括：构建用于文本检测的第二卷积神经网络；
将所述原始身份证图像集输入所述第二卷积神经网络，利用Dice损失函数、交叉熵损失函数和L1损失函数，对所述第二卷积神经网络进行迭代训练，获取文本检测模型；
根据Dice损失函数、交叉熵损失函数和L1损失函数，对所述第二卷积神经网络进行迭代训练的数学表达为：
Figure BDA0002995180120000111
其中，ldet为文本检测的损失的总和，λ1为Dice损失函数系数，λ2为交叉熵损失的系数，λ3为L1损失函数的系数，y为真实值，yp为网络预测值。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种身份证文本识别方法，其特征在于，包括：
采集原始身份证图像集；
将所述原始身份证图像集输入第一卷积神经网络进行训练，获取文本分类识别模型；
采集待检测身份证图像；
将所述待检测身份证图像输入所述文本分类识别模型，进行文本行分类与文本行字符识别，获取分类结果和识别结果；
根据所述分类结果和识别结果，进行身份证文本识别。
2.根据权利要求1所述的身份证文本识别方法，其特征在于，
将所述原始身份证图像集输入第二卷积神经网络进行训练，获取文本检测模型；
将所述待检测身份证图像输入所述文本检测模型进行文本检测，确定文本行区域，进而获取文本行图像；
将所述文本行图像输入所述文本分类识别模型进行文本行分类与文本行字符识别，获取分类结果和识别结果。
3.根据权利要求2所述的身份证文本识别方法，其特征在于，获取文本行图像的步骤包括：
根据预设的输入尺寸，对所述待检测身份证图像进行缩放处理，将缩放后的所述待检测身份证图像输入所述文本检测模型进行特征提取，获取身份证特征图；
对所述身份证特征图进行二值化处理，获取二值化图像；
根据所述二值化图像和预设的前景阈值参数，获取身份证文本前景区域，进而确定身份证文本前景轮廓，获取矩形文本区域；
根据预设的文本区域尺寸，对所述矩形文本区域进行透射变换与矫正，确定文本行区域，进而获取文本行图像。
4.根据权利要求2所述的身份证文本识别方法，其特征在于，获取所述识别结果的步骤包括：
对所述文本行图像进行特征提取，获取文本行特征图；
对所述文本行特征图在水平方向上进行分割，获取第一特征图；
通过对所述第一特征图进行文本行字符识别，获取所述识别结果。
5.根据权利要求2所述的身份证文本识别方法，其特征在于，获取所述分类结果的步骤包括：
对所述文本行图像进行特征提取，获取文本行特征图；
对所述文本行特征图在垂直方向上进行分割，获取第二特征图；
通过对所述第二特征图进行文本行分类，获取所述分类结果。
6.根据权利要求1所述的身份证文本识别方法，其特征在于，根据所述分类结果和识别结果，进行身份证文本识别的步骤包括：
将所述分类结果中的文本行分类标签和所述识别结果中的文本行字符标签进行第一匹配，若所述文本行分类标签和所述文本行字符标签匹配成功，则输出所述识别结果中的身份证文本行字符序列；
若所述文本行分类标签和所述文本行字符标签匹配失败，则将所述识别结果中的身份证文本字符序列与预设的身份证固定字符进行第二匹配；
根据所述第二匹配结果，完成身份证文本识别。
7.根据权利要求6所述的身份证文本识别方法，其特征在于，根据所述第二匹配结果，完成身份证文本识别的步骤包括：
若所述识别结果中的身份证文本行字符序列中的部分字符与所述身份证固定字符相匹配，则获取文本行字符识别的置信度；
若文本行字符识别的置信度超出预设的置信度阈值，则输出所述识别结果中的身份证文本行字符序列，若所述文本行字符识别的置信度未超出所述置信度阈值，则判定识别错误。
8.根据权利要求1所述的身份证文本识别方法，其特征在于，获取文本分类识别模型的步骤包括：
构建用于文本行分类与文本行字符识别的第一卷积神经网络；
将所述原始身份证图像集输入所述第一卷积神经网络，进行文本行字符识别与文本行分类，获取识别结果与分类结果；
利用交叉熵损失函数和CTC损失函数对所述识别结果与分类结果进行监督学习，获取文本分类识别模型；
利用交叉熵损失函数和CTC损失函数对所述识别结果与分类结果进行监督学习的数学表达为：
lrc＝λ4lsoftmax+λ5lCTC
其中，lrc为文本行分类和文本行字符识别的损失的总和，λ4为softmax损失的权重，lsoftmax为softmax损失函数，λ5为lCTC的权重，lCTC为CTC损失函数。
9.根据权利要求2所述的身份证文本识别方法，其特征在于，获取文本检测模型的步骤包括：构建用于文本检测的第二卷积神经网络；
将所述原始身份证图像集输入所述第二卷积神经网络，利用Dice损失函数、交叉熵损失函数和L1损失函数，对所述第二卷积神经网络进行迭代训练，获取文本检测模型；
根据Dice损失函数、交叉熵损失函数和L1损失函数，对所述第二卷积神经网络进行迭代训练的数学表达为：
Figure FDA0002995180110000031
其中，ldet为文本检测的损失的总和，λ1为Dice损失函数系数，λ2为交叉熵损失的系数，λ3为L1损失函数的系数，y为真实值，yp为网络预测值。
10.一种身份证文本识别系统，其特征在于，包括：
预采集模块，用于采集原始身份证图像集；
预处理模块，用于将所述原始身份证图像集输入第一卷积神经网络进行训练，获取文本分类识别模型；
采集模块，用于采集待检测身份证图像；
处理模块，用于将所述待检测身份证图像输入所述文本分类识别模型，进行文本行分类与文本字符识别，获取分类结果和识别结果；
识别模块，用于根据所述分类结果和识别结果，进行身份证文本识别；所述预采集模块、预处理模块、采集模块、处理模块和识别模块连接。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述方法。
12.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至9中任一项所述方法。
CN202110327481.7A 2021-03-26 2021-03-26 一种身份证文本识别方法、系统、介质及电子终端 Active CN113051901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110327481.7A CN113051901B (zh) 2021-03-26 2021-03-26 一种身份证文本识别方法、系统、介质及电子终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110327481.7A CN113051901B (zh) 2021-03-26 2021-03-26 一种身份证文本识别方法、系统、介质及电子终端

Publications (2)

Publication Number Publication Date
CN113051901A true CN113051901A (zh) 2021-06-29
CN113051901B CN113051901B (zh) 2023-03-24

Family

ID=76515790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110327481.7A Active CN113051901B (zh) 2021-03-26 2021-03-26 一种身份证文本识别方法、系统、介质及电子终端

Country Status (1)

Country Link
CN (1) CN113051901B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569839A (zh) * 2021-08-31 2021-10-29 重庆紫光华山智安科技有限公司 证件识别方法、系统、设备及介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831329B1 (en) * 2013-06-28 2014-09-09 Google Inc. Extracting card data with card models
CN106156712A (zh) * 2015-04-23 2016-11-23 信帧电子技术（北京）有限公司 一种基于自然场景下的身份证号码识别方法与装置
CN106778748A (zh) * 2016-12-30 2017-05-31 江西憶源多媒体科技有限公司 基于人工神经网络的身份证快速识别方法及其装置
CN108694393A (zh) * 2018-05-30 2018-10-23 深圳市思迪信息技术股份有限公司 一种基于深度卷积的证件图像文本区域提取方法
CN109325414A (zh) * 2018-08-20 2019-02-12 阿里巴巴集团控股有限公司 证件信息的提取方法、装置和文本信息的提取方法
CN109492643A (zh) * 2018-10-11 2019-03-19 平安科技（深圳）有限公司 基于ocr的证件识别方法、装置、计算机设备及存储介质
CN109961064A (zh) * 2019-03-20 2019-07-02 深圳市华付信息技术有限公司 身份证文本定位方法、装置、计算机设备及存储介质
CN110245557A (zh) * 2019-05-07 2019-09-17 平安科技（深圳）有限公司 图片处理方法、装置、计算机设备及存储介质
CN111340022A (zh) * 2020-02-24 2020-06-26 深圳市华云中盛科技股份有限公司 身份证信息识别方法、装置、计算机设备及存储介质
CN111353497A (zh) * 2018-12-21 2020-06-30 顺丰科技有限公司 一种身份证信息的识别方法和装置
CN111461097A (zh) * 2020-03-18 2020-07-28 北京大米未来科技有限公司 识别图像信息的方法、装置、电子设备及介质
CN111639648A (zh) * 2020-05-26 2020-09-08 浙江大华技术股份有限公司 证件识别方法、装置、计算设备和存储介质
CN111695566A (zh) * 2020-06-18 2020-09-22 郑州大学 一种对固定格式文档的识别处理方法及处理系统
CN111709406A (zh) * 2020-08-18 2020-09-25 成都数联铭品科技有限公司 文本行识别方法及装置、可读存储介质、电子设备
CN112329779A (zh) * 2020-11-02 2021-02-05 平安科技（深圳）有限公司 一种基于mask提高证件识别准确率的方法和相关装置
CN112396060A (zh) * 2020-11-17 2021-02-23 中国平安人寿保险股份有限公司 基于身份证分割模型的身份证识别方法及其相关设备

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150003732A1 (en) * 2013-06-28 2015-01-01 Google Inc. Extracting card data with linear and nonlinear transformations
US8831329B1 (en) * 2013-06-28 2014-09-09 Google Inc. Extracting card data with card models
CN106156712A (zh) * 2015-04-23 2016-11-23 信帧电子技术（北京）有限公司 一种基于自然场景下的身份证号码识别方法与装置
CN106778748A (zh) * 2016-12-30 2017-05-31 江西憶源多媒体科技有限公司 基于人工神经网络的身份证快速识别方法及其装置
CN108694393A (zh) * 2018-05-30 2018-10-23 深圳市思迪信息技术股份有限公司 一种基于深度卷积的证件图像文本区域提取方法
CN109325414A (zh) * 2018-08-20 2019-02-12 阿里巴巴集团控股有限公司 证件信息的提取方法、装置和文本信息的提取方法
CN109492643A (zh) * 2018-10-11 2019-03-19 平安科技（深圳）有限公司 基于ocr的证件识别方法、装置、计算机设备及存储介质
CN111353497A (zh) * 2018-12-21 2020-06-30 顺丰科技有限公司 一种身份证信息的识别方法和装置
CN109961064A (zh) * 2019-03-20 2019-07-02 深圳市华付信息技术有限公司 身份证文本定位方法、装置、计算机设备及存储介质
CN110245557A (zh) * 2019-05-07 2019-09-17 平安科技（深圳）有限公司 图片处理方法、装置、计算机设备及存储介质
WO2020224115A1 (zh) * 2019-05-07 2020-11-12 平安科技（深圳）有限公司 图片处理方法、装置、计算机设备及存储介质
CN111340022A (zh) * 2020-02-24 2020-06-26 深圳市华云中盛科技股份有限公司 身份证信息识别方法、装置、计算机设备及存储介质
CN111461097A (zh) * 2020-03-18 2020-07-28 北京大米未来科技有限公司 识别图像信息的方法、装置、电子设备及介质
CN111639648A (zh) * 2020-05-26 2020-09-08 浙江大华技术股份有限公司 证件识别方法、装置、计算设备和存储介质
CN111695566A (zh) * 2020-06-18 2020-09-22 郑州大学 一种对固定格式文档的识别处理方法及处理系统
CN111709406A (zh) * 2020-08-18 2020-09-25 成都数联铭品科技有限公司 文本行识别方法及装置、可读存储介质、电子设备
CN112329779A (zh) * 2020-11-02 2021-02-05 平安科技（深圳）有限公司 一种基于mask提高证件识别准确率的方法和相关装置
CN112396060A (zh) * 2020-11-17 2021-02-23 中国平安人寿保险股份有限公司 基于身份证分割模型的身份证识别方法及其相关设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
XUWEI FANG ET AL: "ID card identification system based on image recognition", 《2017 12TH IEEE CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS》 *
严国莉等: "印刷体数字快速识别算法在身份证编号数字识别中的应用", 《计算机工程》 *
唐月标: "基于神经网络的身份证文本信息提取设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
李帆: "针对二代居民身份证图像的光学字符识别研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
汪一文: "深度卷积神经网络在OCR问题中的应用研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569839A (zh) * 2021-08-31 2021-10-29 重庆紫光华山智安科技有限公司 证件识别方法、系统、设备及介质
CN113569839B (zh) * 2021-08-31 2024-02-09 重庆紫光华山智安科技有限公司 证件识别方法、系统、设备及介质

Also Published As

Publication number Publication date
CN113051901B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN111860670B (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN111723860A (zh) 一种目标检测方法及装置
CN109118473B (zh) 基于神经网络的角点检测方法、存储介质与图像处理系统
US20210081695A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN113065525B (zh) 年龄识别模型训练方法、人脸年龄识别方法及相关装置
CN110245621B (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN111178290A (zh) 一种签名验证方法和装置
CN111914654A (zh) 一种文本版面分析方法、装置、设备和介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN110516731B (zh) 一种基于深度学习的视觉里程计特征点检测方法及系统
CN113051901B (zh) 一种身份证文本识别方法、系统、介质及电子终端
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
CN114463764A (zh) 表格线检测方法、装置、计算机设备和存储介质
CN112950652B (zh) 机器人及其手部图像分割方法和装置
CN111768436B (zh) 一种基于Faster-RCNN改进的图像特征块配准方法
CN109815791B (zh) 基于血管的身份识别方法和装置
CN112084874A (zh) 一种物体检测方法、装置及终端设备
CN115797633B (zh) 一种遥感图像分割方法、系统、存储介质和电子设备
CN114648646B (zh) 一种图像分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant