CN110659646A - 一种多任务证件图像自动处理方法、装置、设备及可读存储介质 - Google Patents

一种多任务证件图像自动处理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN110659646A
CN110659646A CN201910775808.XA CN201910775808A CN110659646A CN 110659646 A CN110659646 A CN 110659646A CN 201910775808 A CN201910775808 A CN 201910775808A CN 110659646 A CN110659646 A CN 110659646A
Authority
CN
China
Prior art keywords
preset
certificate
training
label
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910775808.XA
Other languages
English (en)
Inventor
姜仟艺
张睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201910775808.XA priority Critical patent/CN110659646A/zh
Publication of CN110659646A publication Critical patent/CN110659646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种多任务证件图像自动处理方法、装置、设备及可读存储介质，包括获取针对不同识别任务的证件样本图像集；标记样本图像集为标记训练样本集，并通过预设神经网络层进行训练，得到标记样本特征集后，输入多个预设分类检测任务进行训练，得到多个第一分类标签；计算多个第一分类标签与标记标签之间的多个损失值后，计算多个损失值的和为联合损失值；调整预设神经网络层以及预设分类检测任务中的训练参数并继续训练，直至联合损失值符合预设条件时停止训练，得到多任务证件识别模型；将待识别目标图像输入多任务证件识别模型，输出目标图像的第二分类标签。解决了现有技术中多任务图像识别需要多模型处理，成本高且效率低的问题。

Description

一种多任务证件图像自动处理方法、装置、设备及可读存储 介质
技术领域
本公开涉及机器学习技术领域，特别是涉及一种多任务证件图像自动处理方法、一种多任务证件图像自动处理装置、设备及可读存储介质。
背景技术
在许多证件照拍摄场景中，需要用户上传或拍摄要求的证件图像，在资质证照上传展示及识别过程中，由于手机型号不同、拍照方向不同、使用前置或后置摄像头等原因导致用户上传图片方向不正确、图片被镜像翻折。另外上传证照时正反面混淆、上传证照非有效证照(如要求上传营业执照却上传食品经营许可证等)是影响页面展示效果及光学字符识别ocr准确率的重要原因。根据业务方的统计，以身份证光学字符识别ocr为例，镜像原因占失败比例的14％，方向错误占失败比例的38％。
现有技术中针对图像方向、类别等问题的预处理过程，首先调用证照分类模型判断用户上传证照类型，随后接入相应的预处理模型，包括方向校正模型、镜像判断模型和正反面分类模型依次进行方向校正、镜像校正及正反面判断。
然而，上述方案需要分多个步骤对证件图像进行处理，在处理过程中需要多个模型对图像数据进行计算，每个模型对输入的图像数据都有不同的要求，所以处理过程计算量大，不仅效率低下，且开发成本较高。
发明内容
鉴于上述问题，提出了本公开实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种多任务证件图像自动处理方法、装置、设备及可读存储介质。
根据本公开的第一方面，本公开实施例公开了一种多任务证件图像自动处理方法，具体包括：
分别获取针对不同识别任务的证件样本图像集；
标记所述样本图像集的证件类型标签，以及个体特征标签，生成标记训练样本集；
将所述标记训练样本集通过预设神经网络层进行训练，得到标记样本特征集；
将所述标记样本特征集中各标记样本特征输入多个预设分类检测任务进行训练，得到所述各标记样本特征的多个第一分类标签；
通过针对每个所述预设分类检测任务的所述预设损失函数，计算所述多个第一分类标签与标记标签之间的多个损失值；
将所述多个损失值的和确定为联合损失值；
根据所述联合损失值调整所述预设神经网络层以及所述预设分类检测任务中的训练参数并继续训练，直至所述联合损失值低于预设阈值或所述预设损失函数的两次迭代差值低于预设阈值，则停止训练；
将包含所述训练参数的所述预设神经网络层以及所述预设分类检测任务，确定为多任务证件识别模型；
获取待识别目标图像；
将所述目标图像输入所述多任务证件识别模型，输出所述目标图像的第二分类标签。
根据本公开的第二方面，本公开实施例公开了一种多任务证件图像自动处理装置，具体包括：
证件样本图像集获取模块，用于分别获取针对不同识别任务的证件样本图像集；
标记训练样本集生成模块，用于标记所述样本图像集的证件类型标签，以及个体特征标签，生成标记训练样本集；
标记样本特征集得到模块，用于将所述标记训练样本集通过预设神经网络层进行训练，得到标记样本特征集；
第一分类标签得到模块，用于将所述标记样本特征集中各标记样本特征输入多个预设分类检测任务进行训练，得到所述各标记样本特征的多个第一分类标签；
损失值计算模块，用于通过针对每个所述预设分类检测任务的所述预设损失函数，计算所述多个第一分类标签与标记标签之间的多个损失值；
联合损失值确定模块，用于将所述多个损失值的和确定为联合损失值；
训练模块，用于根据所述联合损失值调整所述预设神经网络层以及所述预设分类检测任务中的训练参数并继续训练，直至所述联合损失值低于预设阈值或所述预设损失函数的两次迭代差值低于预设阈值，则停止训练；
多任务证件识别模型确定模块，用于将包含所述训练参数的所述预设神经网络层以及所述预设分类检测任务，确定为多任务证件识别模型；
待识别目标图像获取模块，用于获取待识别目标图像；
第二分类标签输出模块，用于将所述目标图像输入所述多任务证件识别模型，输出所述目标图像的第二分类标签。
根据本公开的第三方面，提供了一种设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如前述的多任务证件图像自动处理方法。
根据本公开的第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够实现前述的多任务证件图像自动处理方法。
本公开实施例包括以下优点通过利用获取的多个任务的证件样本图像集，并对每一个任务的特征进行标注，并对每个分类检测任务通过预设损失函数计算损失值，最后将各任何损失值联合得到联合损失值，通过联合损失值得到生成多任务证件识别模型，将待识别目标图像输入多任务证件识别模型，输出目标图像的第二类分类标签。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本公开的一种多任务证件图像自动处理方法实施例的步骤流程图；
图1A是本公开的多任务证件图像自动处理方法实施例中图像特征对应实际证件图片示意图；
图1B是本公开的多任务证件图像自动处理方法实施例中图像处理先后对比流程示意图；
图1C是本公开的多任务证件图像自动处理方法实施例多任务证件识别模型示意图；
图2是本公开的一种多任务证件图像自动处理装置实施例的结构框图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
机器学习：“机器学习”(Machine Learning)是人工智能的核心研究领域之一，其最初的研究动机是为了让计算机系统具有人的学习能力以便实现人工智能。
实施例一
参照图1，示出了本公开的一种多任务证件图像自动处理方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，分别获取针对不同识别任务的证件样本图像集；
本公开实施例中，首先获取针对不同识别任务的证件类型，再获取每种证件类型的预设数量的样本图像，整合成为证件样本图像集。
其中，证件识别任务是属于光学字符识别(OCR)技术，该技术指的是通过视觉技术，对图像中的文字进行检测、提取和识别的一系列技术，是计算机视觉领域的一个重要研究方向。在进行文字识别过程中必须要求文字是正方向，为了保证这一前提，对图像方向进行的预处理是必不可少的，所以不同的图像识别任务可以是针对输入的不同方向的图像进行识别。
步骤102，标记所述样本图像集的证件类型标签，以及个体特征标签，生成标记训练样本集；
本公开实施例中，如图1A所示，举例说明，例如需要识别的图像是资质证件照，在照片上传展示及识别过程中，由于手机型号不同、拍照方向不同、使用前置或后置摄像头等原因导致用户上传图片方向不正确、图片被镜像翻折。所以在上述获取的样本图片后，如果样本图像出现上述描述的方向、镜像、翻折等情况，则需要对该图片进行标记，生成标记训练样本集。
优选地，所述个体特征标签包括证件照的方向标签、镜像标签、以及类别标签。
其中，上述标记的个体特征可以包括证件照的方向标签、镜像标签、以及类别标签。
可以理解地，在实际应用中，标记的个体特征不限于上述描述，本公开实施例不加以具体限制。
步骤103，将所述标记训练样本集通过预设神经网络层进行训练，得到标记样本特征集；
优选地，所述步骤103进一步包括：
子步骤1031，将所述证件类型标签以及所述证件照的方向标签、所述镜像标签、以及所述类别标签通过预设神经网络层进行训练，得到证件照的类型特征、方向特征、镜像特征。
本公开实施例中，将上述标记训练样本集，包括证件类型标签以及所述证件照的方向标签、所述镜像标签、以及所述类别标签通过预设神经网络层进行训练，输入预设神经网络层进行训练，得到证件照的类型特征、方向特征、镜像特征向量。
步骤104，将所述标记样本特征集中各标记样本特征输入多个预设分类检测任务进行训练，得到所述各标记样本特征的多个第一分类标签；
本公开实施例中，上述标记样本特征集是针对不同训练任务的，即针对不同的分类检测进行训练，如图1B上半部分所示，例如待识别对象为资质图片，那么首先对资质图片进行类型识别，其次进行方向判别，进而进一步输入例如身份证正面识别模型，身份证背面识别模型进行识别。如图1A下半部分所示，将多个训练任务进行融合，直接输入资质图片，直接进行类型和方向识别，并进行输出。
所以将标记样本特征集中各标记样本特征输入多个预设分类检测任务进行训练是将个体特征融合为综合特征，减少模型训练计算量，实现一步到位识别资质图片的目的。
优选地，所述多个预设分类检测任务包括旋转检测、翻折检测和类别检测。
可以理解地，预设分类检测任务在实际应用中不限于旋转检测、翻折检测和类别检测，依据实际应用场景设定，本公开实施例对此不加以限制。
优选地，所述针对每个所述预设分类检测任务的所述预设损失函数之间的权重比值相同。
其中，如图1C所示，每个预设分类检测任务设置的预设损失函数之间的权重比值相同。
优选地，所述步骤104，进一步包括：
子步骤1041，将所述证件照的方向特征输入所述旋转检测，得到第一旋转标签；
子步骤1042，将所述证件照的镜像特征输入所述翻折检测，得到第一翻折标签；
子步骤1043，将所述证件照的类型特征输入类别检测，得到第一类别标签。
其中，如图1C所示，将之前标记的证件照的方向特征、镜像特征输入所述旋转检测，得到第一旋转标签，证件照的正反面特征输入所述翻折检测，得到第一翻折标签，证件照的类型特征输入类别检测，得到第一类别标签。
具体地，输入图像后经过一系列卷积层提取图像特征，以使后期所有任务可以使用该图像特征。
步骤105，通过针对每个所述预设分类检测任务的所述预设损失函数，计算所述多个第一分类标签与标记标签之间的多个损失值；
本公开实施例中，在多任务学习过程中，针对每个任务产生的损失函数设置权重比例相同，即1:1:1。
其中，每个任务计算的中间损失值，是使用模型训练输出的标签和标记标签之间的差异计算得到，所以多个预设分类检测任务得到多个损失值。
步骤106，将所述多个损失值的和确定为联合损失值；
其中，多个损失函数按照权重比例求和，得到联合损失值。
步骤107，根据所述联合损失值调整所述预设神经网络层以及所述预设分类检测任务中的训练参数并继续训练，直至所述联合损失值低于预设阈值或所述预设损失函数的两次迭代差值低于预设阈值，则停止训练；
本公开实施例中，在联合损失值高于预设阈值，或者两次迭代训练得到的预设损失函数的两次迭代差值高于预设阈值，则调整联合损失值并继续进行迭代训练，直到联合损失值低于预设阈值或预设损失函数的两次迭代差值低于预设阈值。
步骤108，将包含所述训练参数的所述预设神经网络层以及所述预设分类检测任务，确定为多任务证件识别模型；
本公开实施例中，在停止上述训练得到的模型即为多任务证件识别模型。
步骤109，获取待识别目标图像；
本公开实施例中，获取待识别目标图像，通常为与训练样本图像接近的图像数据，如证件图像。
步骤110，将所述目标图像输入所述多任务证件识别模型，输出所述目标图像的第二分类标签。
本公开实施例中，将目标图像输入上述训练得到的多任务证件识别模型，输出所述目标图像的第二分类标签，其中第二类分类标签，包括目标图像的方向标签、镜像标签、以及类别标签其中的一种或多种。
优选地，本公开实施例中步骤110之后，还可以包括：
步骤A1，若输出的所述第二分类标签不符合预设标签，则将所述目标图像进行处理，以使所述第二分类标签符合预设标签。
本公开实施例中，在第二分类标签不符合预设标签时，则处理多数目标图像，以使目标图像的通过多任务证件识别模型输出的第二分类标签符合预设标签。例如，反面图像处理为正面图像。
在本公开实施例中，分别获取针对不同识别任务的证件样本图像集；标记所述样本图像集的证件类型标签，以及个体特征标签，生成标记训练样本集；将所述标记训练样本集通过预设神经网络层进行训练，得到标记样本特征集；将所述标记样本特征集中各标记样本特征输入多个预设分类检测任务进行训练，得到所述各标记样本特征的多个第一分类标签；通过针对每个所述预设分类检测任务的所述预设损失函数，计算所述多个第一分类标签与标记标签之间的多个损失值；将所述多个损失值的和确定为联合损失值；根据所述联合损失值调整所述预设神经网络层以及所述预设分类检测任务中的训练参数并继续训练，直至所述联合损失值低于预设阈值或所述预设损失函数的两次迭代差值低于预设阈值，则停止训练；将包含所述训练参数的所述预设神经网络层以及所述预设分类检测任务，确定为多任务证件识别模型；获取待识别目标图像；将所述目标图像输入所述多任务证件识别模型，输出所述目标图像的第二分类标签。通过综合图像特征，结合联合损失函数的调整训练多任务图像识别模型，实现了图像的多任务识别一步到位的目的。
实施例二
参照图2，示出了本公开的一种多任务证件图像自动处理装置实施例的结构框图，具体可以包括如下模块：
证件样本图像集获取模块201，用于分别获取针对不同识别任务的证件样本图像集；
标记训练样本集生成模块202，用于标记所述样本图像集的证件类型标签，以及个体特征标签，生成标记训练样本集；
标记样本特征集得到模块203，用于将所述标记训练样本集通过预设神经网络层进行训练，得到标记样本特征集；
优选地，所述多个预设分类检测任务包括旋转检测、翻折检测和类别检测。
优选地，所述针对每个所述预设分类检测任务的所述预设损失函数之间的权重比值相同。
优选地，所述标记样本特征集得到模块203，具体包括：
证件特征获得子模块，用于将所述证件类型标签以及所述证件照的方向标签、所述镜像标签、以及所述类别标签通过预设神经网络层进行训练，得到证件照的类型特征、方向特征、镜像特征。
第一分类标签得到模块204，用于将所述标记样本特征集中各标记样本特征输入多个预设分类检测任务进行训练，得到所述各标记样本特征的多个第一分类标签；
优选地，所述第一分类标签得到模块204，具体包括：
第一旋转标签得到子模块，用于将所述证件照的方向特征输入所述旋转检测，得到第一旋转标签；
第一翻折标签得到子模块，用于将所述证件照的镜像特征输入所述翻折检测，得到第一翻折标签；
第一类别标签得到子模块，用于将所述证件照的类型特征输入类别检测，得到第一类别标签。
损失值计算模块205，用于通过针对每个所述预设分类检测任务的所述预设损失函数，计算所述多个第一分类标签与标记标签之间的多个损失值；
联合损失值确定模块206，用于将所述多个损失值的和确定为联合损失值；
训练模块207，用于根据所述联合损失值调整所述预设神经网络层以及所述预设分类检测任务中的训练参数并继续训练，直至所述联合损失值低于预设阈值或所述预设损失函数的两次迭代差值低于预设阈值，则停止训练；
多任务证件识别模型确定模块208，用于将包含所述训练参数的所述预设神经网络层以及所述预设分类检测任务，确定为多任务证件识别模型；
待识别目标图像获取模块209，用于获取待识别目标图像；
第二分类标签输出模块210，用于将所述目标图像输入所述多任务证件识别模型，输出所述目标图像的第二分类标签。
优选地，本公开实施例中，还可以包括：
图像处理模块，用于若输出的所述第二分类标签不符合预设标签，则将所述目标图像进行处理，以使所述第二分类标签符合预设标签。
在本公开实施例中，通过证件样本图像集获取模块，用于分别获取针对不同识别任务的证件样本图像集；标记训练样本集生成模块，用于标记所述样本图像集的证件类型标签，以及个体特征标签，生成标记训练样本集；标记样本特征集得到模块，用于将所述标记训练样本集通过预设神经网络层进行训练，得到标记样本特征集；第一分类标签得到模块，用于将所述标记样本特征集中各标记样本特征输入多个预设分类检测任务进行训练，得到所述各标记样本特征的多个第一分类标签；损失值计算模块，用于通过针对每个所述预设分类检测任务的所述预设损失函数，计算所述多个第一分类标签与标记标签之间的多个损失值；联合损失值确定模块，用于将所述多个损失值的和确定为联合损失值；训练模块，用于根据所述联合损失值调整所述预设神经网络层以及所述预设分类检测任务中的训练参数并继续训练，直至所述联合损失值低于预设阈值或所述预设损失函数的两次迭代差值低于预设阈值，则停止训练；多任务证件识别模型确定模块，用于将包含所述训练参数的所述预设神经网络层以及所述预设分类检测任务，确定为多任务证件识别模型；待识别目标图像获取模块，用于获取待识别目标图像；第二分类标签输出模块，用于将所述目标图像输入所述多任务证件识别模型，输出所述目标图像的第二分类标签。通过综合图像特征，结合联合损失函数的调整训练多任务图像识别模型，实现了图像的多任务识别一步到位的目的。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开实施例还提供一种设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述的一个或多个所述的多任务证件图像自动处理方法。
本公开实施例还提供一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如所述的多任务证件图像自动处理方法。
综上所述，在本公开实施例中，，可以适用于任何学习器。其具有如下优点：
一.基于多任务学习，无需给定任何先验信息即可对图像方向进行校正；
二.实现运行单一模型后同时给出方向信息、镜像信息、证照类别分类信息三种重要的预处理信息，比单任务模型更快、泛化性能更好、消耗内存、显存更少、运行时间更短；
三.一步到位的提升识别准确率、节约人力成本。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本公开实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本公开实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开实施例是参照根据本公开实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本公开实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本公开所提供的一种多任务证件图像自动处理方法、装置、设备及可读存储介质，进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (10)

1.一种多任务证件图像自动处理方法，其特征在于，包括：
分别获取针对不同识别任务的证件样本图像集；
标记所述样本图像集的证件类型标签，以及个体特征标签，生成标记训练样本集；
将所述标记训练样本集通过预设神经网络层进行训练，得到标记样本特征集；
将所述标记样本特征集中各标记样本特征输入多个预设分类检测任务进行训练，得到所述各标记样本特征的多个第一分类标签；
通过针对每个所述预设分类检测任务的所述预设损失函数，计算所述多个第一分类标签与标记标签之间的多个损失值；
将所述多个损失值的和确定为联合损失值；
根据所述联合损失值调整所述预设神经网络层以及所述预设分类检测任务中的训练参数并继续训练，直至所述联合损失值低于预设阈值或所述预设损失函数的两次迭代差值低于预设阈值，则停止训练；
将包含所述训练参数的所述预设神经网络层以及所述预设分类检测任务，确定为多任务证件识别模型；
获取待识别目标图像；
将所述目标图像输入所述多任务证件识别模型，输出所述目标图像的第二分类标签。
2.根据权利要求1所述的方法，其特征在于，所述多个预设分类检测任务包括旋转检测、翻折检测和类别检测。
3.根据权利要求1所述的方法，其特征在于，所述针对每个所述预设分类检测任务的所述预设损失函数之间的权重比值相同。
4.根据权利要求1所述的方法，其特征在于，还包括：
若输出的所述第二分类标签不符合预设标签，则将所述目标图像进行处理，以使所述第二分类标签符合预设标签。
5.根据权利要求1所述的方法，其特征在于，所述个体特征标签包括证件照的方向标签、镜像标签、以及类别标签。
6.根据权利要求2所述的方法，其特征在于，所述将所述标记训练样本集通过预设神经网络层进行训练，得到标记样本特征集，包括：
将所述证件类型标签以及所述证件照的方向标签、所述镜像标签、以及所述类别标签通过预设神经网络层进行训练，得到证件照的类型特征、方向特征、镜像特征。
7.根据权利要求6所述的方法，其特征在于，所述将所述标记样本特征集中各标记样本特征输入多个预设分类检测任务进行训练，得到所述各标记样本特征的多个第一分类标签，包括：
将所述证件照的方向特征输入所述旋转检测，得到第一旋转标签；
将所述证件照的镜像特征输入所述翻折检测，得到第一翻折标签；
将所述证件照的类型特征输入类别检测，得到第一类别标签。
8.一种多任务证件图像自动处理装置，其特征在于，包括：
证件样本图像集获取模块，用于分别获取针对不同识别任务的证件样本图像集；
标记训练样本集生成模块，用于标记所述样本图像集的证件类型标签，以及个体特征标签，生成标记训练样本集；
标记样本特征集得到模块，用于将所述标记训练样本集通过预设神经网络层进行训练，得到标记样本特征集；
第一分类标签得到模块，用于将所述标记样本特征集中各标记样本特征输入多个预设分类检测任务进行训练，得到所述各标记样本特征的多个第一分类标签；
损失值计算模块，用于通过针对每个所述预设分类检测任务的所述预设损失函数，计算所述多个第一分类标签与标记标签之间的多个损失值；
联合损失值确定模块，用于将所述多个损失值的和确定为联合损失值；
训练模块，用于根据所述联合损失值调整所述预设神经网络层以及所述预设分类检测任务中的训练参数并继续训练，直至所述联合损失值低于预设阈值或所述预设损失函数的两次迭代差值低于预设阈值，则停止训练；
多任务证件识别模型确定模块，用于将包含所述训练参数的所述预设神经网络层以及所述预设分类检测任务，确定为多任务证件识别模型；
待识别目标图像获取模块，用于获取待识别目标图像；
第二分类标签输出模块，用于将所述目标图像输入所述多任务证件识别模型，输出所述目标图像的第二分类标签。
9.一种设备，其特征在于，包括：
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7之任一项所述的多任务证件图像自动处理方法。
10.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够实现如权利要求1-7之任一项所述的多任务证件图像自动处理方法。
CN201910775808.XA 2019-08-21 2019-08-21 一种多任务证件图像自动处理方法、装置、设备及可读存储介质 Pending CN110659646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910775808.XA CN110659646A (zh) 2019-08-21 2019-08-21 一种多任务证件图像自动处理方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910775808.XA CN110659646A (zh) 2019-08-21 2019-08-21 一种多任务证件图像自动处理方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN110659646A true CN110659646A (zh) 2020-01-07

Family

ID=69037650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910775808.XA Pending CN110659646A (zh) 2019-08-21 2019-08-21 一种多任务证件图像自动处理方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110659646A (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275133A (zh) * 2020-02-24 2020-06-12 腾讯科技（深圳）有限公司 分类模型的融合方法、装置及存储介质
CN111310746A (zh) * 2020-01-15 2020-06-19 支付宝实验室(新加坡)有限公司 文本行检测方法、模型训练方法、装置、服务器及介质
CN111325205A (zh) * 2020-03-02 2020-06-23 北京三快在线科技有限公司 文档图像方向识别方法、装置及模型的训练方法、装置
CN111340078A (zh) * 2020-02-18 2020-06-26 平安科技（深圳）有限公司 证件信息自动归类的方法、装置、介质及电子设备
CN111368788A (zh) * 2020-03-17 2020-07-03 北京迈格威科技有限公司 图像识别模型的训练方法、装置及电子设备
CN111626124A (zh) * 2020-04-24 2020-09-04 平安国际智慧城市科技股份有限公司 Ocr图像样本生成、印刷体验证方法、装置、设备及介质
CN111626353A (zh) * 2020-05-26 2020-09-04 Oppo（重庆）智能科技有限公司 一种图像处理方法及终端、存储介质
CN111626383A (zh) * 2020-05-29 2020-09-04 Oppo广东移动通信有限公司 字体识别方法及装置、电子设备、存储介质
CN111709789A (zh) * 2020-06-18 2020-09-25 腾讯科技（深圳）有限公司 一种用户转化率的确定方法及相关设备
CN111738197A (zh) * 2020-06-30 2020-10-02 中国联合网络通信集团有限公司 一种训练图像信息处理的方法和装置
CN111739027A (zh) * 2020-07-24 2020-10-02 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及可读存储介质
CN111768333A (zh) * 2020-05-29 2020-10-13 北京沃东天骏信息技术有限公司 标识去除方法、装置、设备及存储介质
CN111783761A (zh) * 2020-06-30 2020-10-16 苏州科达科技股份有限公司 证件文本的检测方法、装置及电子设备
CN111860522A (zh) * 2020-07-23 2020-10-30 中国平安人寿保险股份有限公司 身份证图片处理方法、装置、终端及存储介质
CN111914879A (zh) * 2020-06-16 2020-11-10 北京迈格威科技有限公司 分类参数值生成方法、图像分类方法、装置、设备及存储介质
CN111931929A (zh) * 2020-07-29 2020-11-13 深圳地平线机器人科技有限公司 一种多任务模型的训练方法、装置及存储介质
CN111950415A (zh) * 2020-07-31 2020-11-17 北京捷通华声科技股份有限公司 一种图像检测方法和装置
CN112633295A (zh) * 2020-12-22 2021-04-09 深圳集智数字科技有限公司 面向循环任务的预测方法、装置、电子设备及存储介质
CN112651395A (zh) * 2021-01-11 2021-04-13 上海优扬新媒信息技术有限公司 图像的处理方法以及装置
CN112686237A (zh) * 2020-12-21 2021-04-20 福建新大陆软件工程有限公司 一种证照ocr识别方法
CN112700430A (zh) * 2021-01-11 2021-04-23 重庆市劢齐医疗科技有限责任公司 一种基于深度学习的正畸影像图片智能识别方法
CN112926437A (zh) * 2021-02-22 2021-06-08 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112926654A (zh) * 2021-02-25 2021-06-08 平安银行股份有限公司 预标注模型训练、证件预标注方法、装置、设备及介质
CN113128601A (zh) * 2021-04-22 2021-07-16 北京百度网讯科技有限公司 分类模型的训练方法和对图像进行分类的方法
CN113222050A (zh) * 2021-05-26 2021-08-06 北京有竹居网络技术有限公司 图像分类方法、装置、可读介质及电子设备
CN113408265A (zh) * 2021-06-22 2021-09-17 平安科技（深圳）有限公司 基于人机交互的语义解析方法、装置、设备及存储介质
CN113420761A (zh) * 2021-06-23 2021-09-21 平安银行股份有限公司 证件定位方法、装置、设备及存储介质
CN113435528A (zh) * 2021-07-06 2021-09-24 北京有竹居网络技术有限公司 对象分类的方法、装置、可读介质和电子设备
CN113449538A (zh) * 2020-03-24 2021-09-28 顺丰科技有限公司 视觉模型的训练方法、装置、设备及存储介质
CN113806501A (zh) * 2021-04-06 2021-12-17 京东科技控股股份有限公司 意图识别模型的训练方法、意图识别方法和设备
CN113887170A (zh) * 2021-09-29 2022-01-04 北京搜狗科技发展有限公司 公式识别模型的训练方法、装置和用于模型训练的装置
CN113947775A (zh) * 2021-09-30 2022-01-18 北京三快在线科技有限公司 识别证照图像完整性的方法、装置、设备及存储介质
CN114049499A (zh) * 2021-11-18 2022-02-15 南昌黑鲨科技有限公司 用于连续轮廓的目标对象检测方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447259A (zh) * 2018-09-21 2019-03-08 北京字节跳动网络技术有限公司 多任务处理及多任务处理模型训练方法、装置和硬件装置
CN109657673A (zh) * 2017-10-11 2019-04-19 阿里巴巴集团控股有限公司 图像识别方法和终端
CN109815976A (zh) * 2018-12-14 2019-05-28 深圳壹账通智能科技有限公司 一种证件信息识别方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657673A (zh) * 2017-10-11 2019-04-19 阿里巴巴集团控股有限公司 图像识别方法和终端
CN109447259A (zh) * 2018-09-21 2019-03-08 北京字节跳动网络技术有限公司 多任务处理及多任务处理模型训练方法、装置和硬件装置
CN109815976A (zh) * 2018-12-14 2019-05-28 深圳壹账通智能科技有限公司 一种证件信息识别方法、装置及设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JIANGXING WU ET AL.: "A System to Localize and Recognize Texts in Oriented ID card Images", 《2018 IEEE INTERNATIONAL CONFERENCE ON PROGRESS IN INFORMATICS AND COMPUTING (PIC)》 *
何朔: "基于多任务判别特征学习的信用卡识别", 《软件工程论文专集》 *
张传雷 等著: "《基于图像分析的植物及其病虫害识别方法研究》", 31 October 2018 *
赵婧 等著: "《机器人及安全技术》", 30 September 2016 *
麻文华: "证件识别技术进化史", 《HTTPS://CLOUD.TENCENT.COM/DEVELOPER/ARTICLE/1005525》 *

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310746A (zh) * 2020-01-15 2020-06-19 支付宝实验室(新加坡)有限公司 文本行检测方法、模型训练方法、装置、服务器及介质
CN111310746B (zh) * 2020-01-15 2024-03-01 支付宝实验室(新加坡)有限公司 文本行检测方法、模型训练方法、装置、服务器及介质
CN111340078A (zh) * 2020-02-18 2020-06-26 平安科技（深圳）有限公司 证件信息自动归类的方法、装置、介质及电子设备
CN111340078B (zh) * 2020-02-18 2024-03-01 平安科技（深圳）有限公司 证件信息自动归类的方法、装置、介质及电子设备
CN111275133A (zh) * 2020-02-24 2020-06-12 腾讯科技（深圳）有限公司 分类模型的融合方法、装置及存储介质
CN111275133B (zh) * 2020-02-24 2023-09-29 腾讯科技（深圳）有限公司 分类模型的融合方法、装置及存储介质
CN111325205A (zh) * 2020-03-02 2020-06-23 北京三快在线科技有限公司 文档图像方向识别方法、装置及模型的训练方法、装置
CN111325205B (zh) * 2020-03-02 2023-10-10 北京三快在线科技有限公司 文档图像方向识别方法、装置及模型的训练方法、装置
CN111368788A (zh) * 2020-03-17 2020-07-03 北京迈格威科技有限公司 图像识别模型的训练方法、装置及电子设备
CN111368788B (zh) * 2020-03-17 2023-10-27 北京迈格威科技有限公司 图像识别模型的训练方法、装置及电子设备
CN113449538A (zh) * 2020-03-24 2021-09-28 顺丰科技有限公司 视觉模型的训练方法、装置、设备及存储介质
CN111626124A (zh) * 2020-04-24 2020-09-04 平安国际智慧城市科技股份有限公司 Ocr图像样本生成、印刷体验证方法、装置、设备及介质
CN111626124B (zh) * 2020-04-24 2024-06-11 平安国际智慧城市科技股份有限公司 Ocr图像样本生成、印刷体验证方法、装置、设备及介质
CN111626353A (zh) * 2020-05-26 2020-09-04 Oppo（重庆）智能科技有限公司 一种图像处理方法及终端、存储介质
CN111768333A (zh) * 2020-05-29 2020-10-13 北京沃东天骏信息技术有限公司 标识去除方法、装置、设备及存储介质
CN111626383B (zh) * 2020-05-29 2023-11-07 Oppo广东移动通信有限公司 字体识别方法及装置、电子设备、存储介质
CN111626383A (zh) * 2020-05-29 2020-09-04 Oppo广东移动通信有限公司 字体识别方法及装置、电子设备、存储介质
CN111914879B (zh) * 2020-06-16 2024-04-26 北京迈格威科技有限公司 分类参数值生成方法、图像分类方法、装置、设备及存储介质
CN111914879A (zh) * 2020-06-16 2020-11-10 北京迈格威科技有限公司 分类参数值生成方法、图像分类方法、装置、设备及存储介质
CN111709789B (zh) * 2020-06-18 2023-12-19 腾讯科技（深圳）有限公司 一种用户转化率的确定方法及相关设备
CN111709789A (zh) * 2020-06-18 2020-09-25 腾讯科技（深圳）有限公司 一种用户转化率的确定方法及相关设备
CN111783761A (zh) * 2020-06-30 2020-10-16 苏州科达科技股份有限公司 证件文本的检测方法、装置及电子设备
CN111738197A (zh) * 2020-06-30 2020-10-02 中国联合网络通信集团有限公司 一种训练图像信息处理的方法和装置
CN111738197B (zh) * 2020-06-30 2023-09-05 中国联合网络通信集团有限公司 一种训练图像信息处理的方法和装置
CN111860522A (zh) * 2020-07-23 2020-10-30 中国平安人寿保险股份有限公司 身份证图片处理方法、装置、终端及存储介质
CN111860522B (zh) * 2020-07-23 2024-02-02 中国平安人寿保险股份有限公司 身份证图片处理方法、装置、终端及存储介质
CN111739027A (zh) * 2020-07-24 2020-10-02 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及可读存储介质
CN111739027B (zh) * 2020-07-24 2024-04-26 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及可读存储介质
CN111931929B (zh) * 2020-07-29 2023-06-16 深圳地平线机器人科技有限公司 一种多任务模型的训练方法、装置及存储介质
CN111931929A (zh) * 2020-07-29 2020-11-13 深圳地平线机器人科技有限公司 一种多任务模型的训练方法、装置及存储介质
CN111950415A (zh) * 2020-07-31 2020-11-17 北京捷通华声科技股份有限公司 一种图像检测方法和装置
CN112686237A (zh) * 2020-12-21 2021-04-20 福建新大陆软件工程有限公司 一种证照ocr识别方法
CN112633295A (zh) * 2020-12-22 2021-04-09 深圳集智数字科技有限公司 面向循环任务的预测方法、装置、电子设备及存储介质
CN112700430A (zh) * 2021-01-11 2021-04-23 重庆市劢齐医疗科技有限责任公司 一种基于深度学习的正畸影像图片智能识别方法
CN112651395A (zh) * 2021-01-11 2021-04-13 上海优扬新媒信息技术有限公司 图像的处理方法以及装置
CN112926437A (zh) * 2021-02-22 2021-06-08 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112926654A (zh) * 2021-02-25 2021-06-08 平安银行股份有限公司 预标注模型训练、证件预标注方法、装置、设备及介质
CN112926654B (zh) * 2021-02-25 2023-08-01 平安银行股份有限公司 预标注模型训练、证件预标注方法、装置、设备及介质
CN113806501B (zh) * 2021-04-06 2023-11-03 京东科技控股股份有限公司 意图识别模型的训练方法、意图识别方法和设备
CN113806501A (zh) * 2021-04-06 2021-12-17 京东科技控股股份有限公司 意图识别模型的训练方法、意图识别方法和设备
CN113128601A (zh) * 2021-04-22 2021-07-16 北京百度网讯科技有限公司 分类模型的训练方法和对图像进行分类的方法
CN113222050B (zh) * 2021-05-26 2024-05-03 北京有竹居网络技术有限公司 图像分类方法、装置、可读介质及电子设备
CN113222050A (zh) * 2021-05-26 2021-08-06 北京有竹居网络技术有限公司 图像分类方法、装置、可读介质及电子设备
CN113408265A (zh) * 2021-06-22 2021-09-17 平安科技（深圳）有限公司 基于人机交互的语义解析方法、装置、设备及存储介质
CN113420761A (zh) * 2021-06-23 2021-09-21 平安银行股份有限公司 证件定位方法、装置、设备及存储介质
CN113435528A (zh) * 2021-07-06 2021-09-24 北京有竹居网络技术有限公司 对象分类的方法、装置、可读介质和电子设备
CN113435528B (zh) * 2021-07-06 2024-02-02 北京有竹居网络技术有限公司 对象分类的方法、装置、可读介质和电子设备
CN113887170A (zh) * 2021-09-29 2022-01-04 北京搜狗科技发展有限公司 公式识别模型的训练方法、装置和用于模型训练的装置
CN113887170B (zh) * 2021-09-29 2024-08-23 北京搜狗科技发展有限公司 公式识别模型的训练方法、装置和用于模型训练的装置
CN113947775A (zh) * 2021-09-30 2022-01-18 北京三快在线科技有限公司 识别证照图像完整性的方法、装置、设备及存储介质
CN114049499A (zh) * 2021-11-18 2022-02-15 南昌黑鲨科技有限公司 用于连续轮廓的目标对象检测方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110659646A (zh) 一种多任务证件图像自动处理方法、装置、设备及可读存储介质
You et al. Relative CNN-RNN: Learning relative atmospheric visibility from images
CN107895160A (zh) 人脸检测与识别装置及方法
CN103617432A (zh) 一种场景识别方法及装置
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN113490947A (zh) 检测模型训练方法、装置、检测模型使用方法及存储介质
CN114170468B (zh) 文本识别方法、存储介质及计算机终端
CN107040726A (zh) 双摄像头同步曝光方法及系统
CN112287911B (zh) 数据标注方法、装置、设备及存储介质
CN111767424B (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN113283466A (zh) 一种仪表读数识别方法及装置、可读存储介质
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
CN115115552A (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN111476279A (zh) 基于相似程度值的识别方法、装置和计算机设备
CN104915641B (zh) 基于android平台获取人脸图像光源方位的方法
CN111652242B (zh) 图像处理方法、装置、电子设备及存储介质
CN106339684A (zh) 一种行人检测的方法、装置及车辆
CN109298783A (zh) 基于表情识别的标注监控方法、装置及电子设备
CN116542610A (zh) 一种非接触式柜内资产自动盘点装置、方法和存储介质
CN111160262A (zh) 一种融合人体关键点检测的人像分割方法
WO2023144780A1 (en) Crowdsourcing techniques to deploy artificial intelligence systems
CN113642353B (zh) 一种人脸检测模型的训练方法、存储介质及终端设备
CN114359931A (zh) 一种快递面单识别方法、装置、计算机设备及存储介质
CN111563407B (zh) 模型训练方法、图片方向纠正方法及装置
CN111461248A (zh) 一种摄影构图线匹配方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination