CN115311649A - 一种卡证类别识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种卡证类别识别方法、装置、电子设备及存储介质，该方法包括：对待识别卡证图像进行图像分类，获取图像分类结果；其中，图像分类结果为任一预设卡证类别，预设卡证类别包括非目标卡证类别和目标卡证类别，若图像分类结果为非目标卡证类别，则对待识别卡证图像进行文本行检测识别，获取检测识别结果；根据检测识别结果，确定待识别卡证图像的卡证识别类别；本发明通过在图像分类结果为非目标卡证类别的情况下，对待识别卡证图像进行文本行检测识别，利用检测识别结果进一步分析卡证类别，提高了卡证类别的识别精度，减少因图像分类错误导致的卡证类别识别错误的情况，增强了卡证类别识别的鲁棒性，提升了用户体验。

Description

一种卡证类别识别方法、装置、电子设备及存储介质

技术领域

本发明涉及图像识别技术领域，特别涉及一种卡证类别识别方法、装置、电子设备及存储介质。

背景技术

目前，证件识别具有广泛的应用，而证件识别时，往往需要确定证件(如身份证和银行卡等卡证)的类别，如目标证件的正面、反面还是其它证件(即非目标证件)。一般利用图像分类算法对卡证图像做分类，识别卡证图像的类别。

现有技术中，图像分类算法采用数据训练的方式训练卡证类别识别模型，虽然可以达到较高的识别精度，但是因为训练数据量有限，训练出的模型总是可能会造成将卡证类别识别错误的问题，使得卡证类别识别的鲁棒性差；而在卡证类别识别错误后，会导致因为将证件识别为非目标证件，无法进入后续证件的文本识别流程。因此，如何能够提高卡证类别的识别精度，增强卡证类别识别的鲁棒性，是现今急需解决的问题。

发明内容

本发明的目的是提供一种卡证类别识别方法、装置、电子设备及存储介质，以提高卡证类别的识别精度，增强卡证类别识别的鲁棒性。

为解决上述技术问题，本发明提供一种卡证类别识别方法，包括：

对待识别卡证图像进行图像分类，获取图像分类结果；其中，所述图像分类结果为任一预设卡证类别，所述预设卡证类别包括非目标卡证类别和目标卡证类别，所述目标卡证类别包括正面目标卡证类别和/或反面目标卡证类别；

若所述图像分类结果为所述非目标卡证类别，则对所述待识别卡证图像进行文本行检测识别，获取检测识别结果；其中，所述检测识别结果包括文本框信息和/或文本框内容信息；

根据所述检测识别结果，确定所述待识别卡证图像的卡证识别类别；其中，所述卡证识别类别为任一所述预设卡证类别。

在一种可能的实现方式中，所述对所述待识别卡证图像进行文本行检测识别，获取检测识别结果之前，还包括：

判断所述待识别卡证图像对应的目标卡证类别的图像分类置信度中是否存在任一目标置信度；其中，所述目标置信度为大于阈值的所述目标卡证类别的图像分类置信度；

若存在，则执行所述对所述待识别卡证图像进行文本行检测识别，获取检测识别结果的步骤；

若不存在，则将所述图像分类结果确定为所述卡证识别类别；

对应的，所述对待识别卡证图像进行图像分类，获取图像分类结果，包括：

对所述待识别卡证图像进行图像分类，获取所述待识别卡证图像对应的各预设卡证类别的图像分类置信度；

根据所述待识别卡证图像对应的图像分类置信度，确定所述图像分类结果。

在又一种可能的实现方式中，所述对所述待识别卡证图像进行文本行检测识别，获取检测识别结果，包括：

根据所述目标置信度，对所述待识别卡证图像进行文本行检测识别，获取检测识别结果。

在又一种可能的实现方式中，所述根据所述目标置信度，对所述待识别卡证图像进行文本行检测识别，获取检测识别结果，包括：

对所述待识别卡证图像进行文本行检测，获取所述文本框信息；

判断所述目标置信度对应的目标卡证类别中是否存在可识别类别；其中，所述文本框信息满足所述可识别类别的文本框检测条件；

若不存在所述可识别类别，则将所述图像分类结果确定为所述卡证识别类别；

若存在所述可识别类别，则对所述待识别卡证图像进行文本行识别，获取所述文本框内容信息；其中，所述检测识别结果包括所述文本框内容信息；

对应的，所述根据所述检测识别结果，确定所述待识别卡证图像的卡证识别类别，包括：

判断所述文本框内容信息是否满足所述可识别类别对应的文本框识别条件；

若不满足，则将所述图像分类结果确定为所述卡证识别类别；

若满足，则将所述可识别类别确定为所述卡证识别类别。

在又一种可能的实现方式中，所述文本框信息包括文本框数量时，所述判断所述目标置信度对应的目标卡证类别中是否存在可识别类别，包括：

判断所述目标置信度对应的各目标卡证类别的预设数量范围中是否存在包含所述文本框数量的预设数量范围；

若存在包含所述文本框数量的预设数量范围，则确定存在所述可识别类别，并将包含所述文本框数量的预设数量范围对应的目标卡证类别确定为所述可识别类别；

若不存在包含所述文本框数量的预设数量范围，则确定不存在所述可识别类别。

在又一种可能的实现方式中，所述判断所述文本框内容信息是否满足所述可识别类别对应的文本框识别条件，包括：

判断所述文本框内容信息中目标文本框的文本识别内容是否包含所述可识别类别对应的目标文本框的预设内容；其中，所述预设内容包括预设文字和/或预设个数的数字；

若是，则确定满足所述可识别类别对应的文本框识别条件；

若否，则确定不满足所述可识别类别对应的文本框识别条件。

在又一种可能的实现方式中，所述对待识别卡证图像进行图像分类，获取图像分类结果之前，还包括：

获取原始卡证图像；

对所述原始卡证图像进行卡证检测，获取卡证区域；

根据所述卡证区域，确定所述原始卡证图像中的目标区域；其中，所述目标区域包括所述卡证区域；

对所述目标区域进行关键点检测，获取卡证边界关键点；

根据所述卡证边界关键点，确定卡证角点坐标；

对所述卡证角点坐标对应的区域进行透射变换，获取所述待识别卡证图像。

另一方面，本发明还提供了一种卡证类别识别装置，包括：

图像分类模块，用于对待识别卡证图像进行图像分类，获取图像分类结果；其中，所述图像分类结果为任一预设卡证类别，所述预设卡证类别包括非目标卡证类别和目标卡证类别，所述目标卡证类别包括正面目标卡证类别和/或反面目标卡证类别；

文本分析模块，用于若所述图像分类结果为所述非目标卡证类别，则对所述待识别卡证图像进行文本行检测识别，获取检测识别结果；其中，所述检测识别结果包括文本框信息和/或文本框内容信息；

类别确定模块，用于根据所述检测识别结果，确定所述待识别卡证图像的卡证识别类别；其中，所述卡证识别类别为任一所述预设卡证类别。

另一方面，本发明还提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述所述的卡证类别识别方法的步骤。

又一方面，本发明还提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的卡证类别识别方法的步骤。

本发明所提供的一种卡证类别识别方法，包括：对待识别卡证图像进行图像分类，获取图像分类结果；其中，图像分类结果为任一预设卡证类别，预设卡证类别包括非目标卡证类别和目标卡证类别，目标卡证类别包括正面目标卡证类别和/或反面目标卡证类别；若图像分类结果为非目标卡证类别，则对待识别卡证图像进行文本行检测识别，获取检测识别结果；其中，检测识别结果包括文本框信息和/或文本框内容信息；根据检测识别结果，确定待识别卡证图像的卡证识别类别；其中，卡证识别类别为任一预设卡证类别；

可见，本发明通过在图像分类结果为非目标卡证类别的情况下，对待识别卡证图像进行文本行检测识别，利用检测识别结果进一步分析卡证类别，提高了卡证类别的识别精度，减少因图像分类错误导致的卡证类别识别错误的情况，增强了卡证类别识别的鲁棒性，提升了用户体验。此外，本发明还提供了一种卡证类别识别装置、电子设备及存储介质，同样具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的一种卡证类别识别方法的流程图；

图2为本发明实施例所提供的另一种卡证类别识别方法的流程图；

图3为本发明实施例所提供的一种卡证类别识别装置的结构框图；

图4为本发明实施例所提供的一种电子设备的结构示意图；

图5为本发明实施例所提供的一种电子设备的具体结构示意图；

图6为本发明实施例所提供的一种电子设备的应用场景示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，卡证(即证件)的类别识别一般利用图像分类算法对卡证图像做图像分类；而图像分类算法所采用的数据训练的卡证类别识别模型，由于训练数据量有限，可能会产生卡证类别识别错误的情况，致使卡证类别的识别精度不高，卡证类别识别的鲁棒性较差；例如将正面的目标证件图像识别为非目标证件类别，而不是正面目标证件类别，使得后续无法进入对正面的目标证件图像的文本识别流程，致使用户体验不佳。

为了解决上述问题，本发明实施例提供了一种卡证类别识别方法。请参考图1，图1为本发明实施例所提供的一种卡证类别识别方法的流程图。该方法可以包括：

步骤101：对待识别卡证图像进行图像分类，获取图像分类结果；其中，图像分类结果为任一预设卡证类别，预设卡证类别包括非目标卡证类别和目标卡证类别，目标卡证类别包括正面目标卡证类别和/或反面目标卡证类别。

具体的，本步骤中的待识别卡证图像可以为需要进行卡证类别识别的卡证图像，如身份证和银行卡等证件的图像。本步骤中的预设卡证类别可以预先设置的卡证类别；预设卡证类别可以包括目标卡证的类别(即目标卡证类别)和其它卡证的类别(即非目标卡证类别)，预设卡证类别中的目标卡证类别可以包括正面目标卡证类别和/或反面目标卡证类别。

对应的，本实施例并不限定预设卡证类别中的目标卡证类别的具体设置，如目标卡证类别可以包括正面目标卡证类别或反面目标卡证类别，例如目标卡证为身份证且目标卡证类别包括正面目标卡证类别时，本实施例所提供的卡证类别识别方法能够识别出待识别卡证图像具体为身份证正面的图像或其他证件的图像；目标卡证类别也可以包括正面目标卡证类别和反面目标卡证类别，例如目标卡证为身份证且目标卡证类别包括正面目标卡证类别和反面目标卡证类别时，本实施例所提供的卡证类别识别方法能够识别出待识别卡证图像具体为身份证正面的图像、身份证反面的图像或其他证件的图像。

可以理解的是，本步骤中的图像分类结果可以为对待识别卡证图像进行图像分类所得到的结果，即图像分类所确定的一种预设卡证类别。也就是说，本步骤中处理器可以利用图像分类算法对待识别卡证图像进行图像分类，得到图像分类所确定的待识别卡证图像对应的一种预设卡证类别(即图像分类结果)。

具体的，对于本步骤中处理器对待识别卡证图像进行图像分类，获取图像分类结果的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如可以采用与现有技术中的图像分类方法相同或相似的方式实现，例如处理器可以利用图像分类算法(如EfficientNet，一种典型图像分类算法)通过训练得到的卡证识别模型，获取待识别卡证图像属于各预设卡证类别的置信度；根据各置信度，获取图像分类结果，如将置信度最高的预设卡证类别作为图像分类结果。

需要说明的是，本实施例中通过步骤102和步骤103，在图像分类结果为非目标卡证类别的情况下，对待识别卡证图像的进行文本行检测识别，利用检测识别结果进一步分析确定待识别卡证图像的卡证识别类别，从而能够在图像分类结果为非目标卡证类别的分类错误时，通过文本行检测识别对错误的图像分类结果进行修正，提高卡证类别识别的准确度。

对应的，对于本步骤中图像分类结果为目标卡证类别(如正面目标卡证类别或反面目标卡证类别)的情况，可以由设计人员自行设置，如由于图像分类结果为目标卡证类别的准确度较高，且卡证类别识别后往往会进入目标卡证类别的待识别卡证图像进行文本行检测和识别的卡证识别过程，而卡证识别过程能够对识别为目标卡证类别的错误图像分类结果进行排除；因此，本实施例所提供的方法中处理器在图像分类结果为目标卡证类别时，可以将图像分类结果确定为待识别卡证图像的卡证识别类别，以减少卡证类别识别的计算量；相应的，处理器还可以在将图像分类结果确定为待识别卡证图像的卡证识别类别后，对待识别卡证图像进行文本行检测和识别，得到卡证识别结果，以实现对卡证中文本的识别。或者，处理器在图像分类结果为目标卡证类别时，对待识别卡证图像进行文本行检测识别，获取检测识别结果；根据检测识别结果，确定待识别卡证图像的卡证识别类别；也就是说，处理器也可以在图像分类结果为目标卡证类别时，采用与步骤102和步骤103相同或相似的方式，对待识别卡证图像的进行文本行检测识别，利用检测识别结果进一步分析确定待识别卡证图像的卡证识别类别。本实施例对此不作任何限制。

具体的，本实施例所提供的方法还可以包括获取待识别卡证图像的过程。例如处理器可以直接将获取的原始卡证图像作为待识别卡证图像。为了提高卡证类别的识别精度，处理器也可以通过对原始卡证图像进行如卡证检测和校正等预处理方式，将预处理得到的图像作为待识别卡证图像；如处理器可以采用目标检测算法检测出原始卡证图像的卡证区域，然后沿着卡证区域的边界外扩一定范围得到目标区域，之后在目标区域内通过关键点检测算法，确定出卡证的边界关键点，通过边界关键点确定出卡证的四个角点坐标，最后通过对四个角点坐标对应的区域进行透射变换，得到校正后的卡证图像(即待识别卡证图像)。

步骤102：若图像分类结果为非目标卡证类别，则对待识别卡证图像进行文本行检测识别，获取检测识别结果；其中，检测识别结果包括文本框信息和/或文本框内容信息。

可以理解的是，本实施例中处理器可以在图像分类结果为非目标卡证类别时，并不直接将图像分类结果确定为待识别卡证图像的卡证识别类别，而是通过对待识别卡证图像进行文本行检测识别(如文本行检测或文本行检测和文本行识别)，得到检测识别结果，以利用检测识别结果对待识别卡证图像的卡证识别类别进行进一步分析确定，对图像分类结果为非目标卡证类别的分类错误进行修正，提高识别确定的待识别卡证图像的卡证识别类别的准确性。

具体的，本步骤中的检测识别结果可以为对待识别卡证图像的卡证识别类别进行分析确定所需的待识别卡证图像的文本行检测识别的结果；本实施例并不限定检测识别结果的具体内容，如检测识别结果可以包括对待识别卡证图像进行文本行检测所得到的文本框信息(如文本框数量)，即步骤103中处理器可以利用文本框信息，确定待识别卡证图像的卡证识别类别；检测识别结果也可以包括对待识别卡证图像进行文本行检测和文本行识别所得到的文本框内容信息或文本框内容信息和文本框信息，即步骤103中处理器可以利用文本框内容信息或文本框内容信息和文本框信息，确定待识别卡证图像的卡证识别类别。

需要说明的是，本实施例所提供的方法在对待识别卡证图像进行文本行检测识别，获取检测识别结果之前，还可以包括判断待识别卡证图像对应的目标卡证类别的图像分类置信度中是否存在任一目标置信度；其中，目标置信度为大于阈值的目标卡证类别的图像分类置信度；若存在，则继续进行对待识别卡证图像进行文本行检测识别，获取检测识别结果的步骤；若不存在，则将图像分类结果确定为待识别卡证图像的卡证识别类别，即识别确定待识别卡证图像的卡证识别类别为非目标卡证类别。

也就是说，当图像分类结果为非目标卡证类别时，处理器可以利用对待识别卡证图像进行图像分类的过程中，获取的待识别卡证图像属于各目标卡证类别(如正面目标卡证类别和反面目标卡证类别)的置信度(即图像分类置信度)，判断是否存在大于阈值的目标卡证类别的图像分类置信度(即目标置信度)；若存在大于阈值的目标卡证类别的图像分类置信度，则可以认为存在图像分类结果错误的可能，即待识别卡证图像的卡证识别类别可能为一种目标卡证类别或一种目标置信度对应的目标卡证类别，从而通过对待识别卡证图像进行文本行检测识别，进一步识别确定待识别卡证图像的卡证识别类别；若不存在大于阈值的目标卡证类别的图像分类置信度，则可以认为图像分类结果错误的可能性很低，能够直接将图像分类结果确定为待识别卡证图像的卡证识别类别。例如，目标卡证为身份证时，服务器的处理器获取了用户上传的一张身份证正面图像(即原始图像)，通过预处理得到相应的待识别卡证图像，经过步骤101的图像分类，图像分类结果为非身份证类别(即非目标卡证类别)，很明显图像分类出现错误；若图像分类过程中得到身份证正面类别的置信度为0.45、身份证反面类别的置信度为0.05以及非身份证类别的置信度为0.5，而预先设置的阈值为0.2，则虽然图像分类结果为置信度最高的非身份证类别，但是因身份证正面类别的置信度大于阈值，可以不将图像分类结果作为最终的类别识别结果(即卡证识别类别)，而是通过对待识别卡证图像进行文本行检测识别，进一步识别确定待识别卡证图像的卡证识别类别。

对应的，对于本步骤中处理器对待识别卡证图像进行文本行检测识别，获取检测识别结果的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如处理器可以对待识别卡证图像进行文本行检测，获取检测识别结果；其中，检测识别结果可以包括文本框信息。处理器也可以对待识别卡证图像进行文本行检测和文本行识别，获取检测识别结果；其中，检测识别结果可以包括文本框内容信息或文本框内容信息和文本框信息。进一步的，处理器还可以先对待识别卡证图像进行文本行检测，获取文本框信息；在目标卡证类别中存在可识别类别时，再对待识别卡证图像进行文本行识别，获取检测识别结果；其中，检测识别结果包括文本框内容信息，文本框信息满足可识别类别的文本框检测条件；也就是说，处理器可以在文本行检测得到文本框信息至少能够满足一个目标卡证类别(即可识别类别)的文本框检测条件时，再对待识别卡证图像进行文本行识别，获取检测识别结果，如在文本行检测得到文本框信息中的文本框数量在任一目标卡证类别(即可识别类别)对应的预设数量范围时，继续对待识别卡证图像进行文本行识别，获取检测识别结果；否则，可以直接将图像分类结果确定为待识别卡证图像的卡证识别类别，即识别确定待识别卡证图像的卡证识别类别为非目标卡证类别。

进一步的，本步骤中处理器可以根据上述目标置信度，对待识别卡证图像进行文本行检测识别，获取检测识别结果；如处理器可以先对待识别卡证图像进行文本行检测，获取文本框信息；在目标置信度对应的目标卡证类别中存在可识别类别时，再对待识别卡证图像进行文本行识别，获取检测识别结果。例如图像分类过程中得到身份证正面类别的置信度为0.45、身份证反面类别的置信度为0.05以及非身份证类别的置信度为0.5，且预先设置的阈值为0.2时，可以确定目标置信度为0.45，处理器在对待识别卡证图像进行文本行检测，获取文本框信息；如文本框信息中的文本框数量为6，在身份证正面类别对应的6-7的预设数量范围内，则身份证正面类别(即目标置信度对应的目标卡证类别)为可识别类别，可以继续对对待识别卡证图像进行文本行识别，获取检测识别结果；若文本框信息中的文本框数量为4，不在身份证正面类别对应的6-7的预设数量范围内，则身份证正面类别不为可识别类别，即便在身份证反面类别对应的3-4的预设数量范围内，也不会继续对对待识别卡证图像进行文本行识别，而是可以将图像分类结果确定为待识别卡证图像的卡证识别类别。

步骤103：根据检测识别结果，确定待识别卡证图像的卡证识别类别；其中，卡证识别类别为任一预设卡证类别。

可以理解的是，本步骤中处理器可以在图像分类结果为非目标卡证类别时，利用检测识别结果，对待识别卡证图像的卡证识别类别进一步的分析确定，从而对图像分类结果的分类错误进行修正，提高识别确定的卡证识别类别的准确性。

具体的，对于本步骤中处理器根据检测识别结果，确定待识别卡证图像的卡证识别类别的具体方式，可以由设计人员自行设置，如检测识别结果包括文本框信息和文本框内容信息时，处理器可以检测文本框信息和文本框内容信息是否分别符合同一目标卡证类别的文本框检测条件和文本框识别条件；若是，则将文本框信息和文本框内容信息均符合的目标卡证类别确定为待识别卡证图像的卡证识别类别；若否，则将原本的图像分类结果确定为待识别卡证图像的卡证识别类别。检测识别结果包括文本框信息和文本框内容信息时，处理器也可以检测文本框信息和文本框内容信息是否分别符合目标置信度对应的目标卡证类别中的同一目标卡证类别的文本框检测条件和文本框识别条件；若是，则将文本框信息和文本框内容信息均符合的目标卡证类别确定为待识别卡证图像的卡证识别类别；若否，则将原本的图像分类结果确定为待识别卡证图像的卡证识别类别。

相应的，检测识别结果包括文本框信息时，处理器可以检测文本框信息是否符合一个目标卡证类别的文本框检测条件，或者检测文本框信息是否符合目标置信度对应的目标卡证类别中的一个目标卡证类别的文本框检测条件；若是，则将文本框信息符合的目标卡证类别确定为待识别卡证图像的卡证识别类别；若否，则将原本的图像分类结果确定为待识别卡证图像的卡证识别类别。

相应的，检测识别结果包括文本框内容信息时，处理器可以检测文本框内容信息是否符合一个目标卡证类别的文本框识别条件，若是，则将文本框内容信息符合的目标卡证类别确定为待识别卡证图像的卡证识别类别；若否，则将原本的图像分类结果确定为待识别卡证图像的卡证识别类别。检测识别结果包括文本框内容信息时，处理器也可以检测文本框内容信息是否符合上述可识别类别的文本框识别条件；若是，则将可识别类别确定为待识别卡证图像的卡证识别类别，即将目标置信度对应的目标卡证类别中文本框信息和文本框内容信息均符合的目标卡证类别确定为待识别卡证图像的卡证识别类别；若否，则将原本的图像分类结果确定为待识别卡证图像的卡证识别类别。

需要说明的是，对于处理器检测判断文本框信息是否符合某一目标卡证类别的文本框检测条件的具体方式，可以由设计人员自行设置，如处理器可以利用文本框信息中的文本框数量，检测判断文本框信息是否符合该目标卡证类别的文本框检测条件；例如预先设置各目标卡证类别对应的文本框数量范围(即预设数量范围)时，处理器可以判断文本框信息中的文本框数量是否在该目标卡证类别对应的预设数量范围内；若是，则确定文本框信息符合该目标卡证类别的文本框检测条件；若否，则确定文本框信息不符合该目标卡证类别的文本框检测条件。处理器也可以利用文本框信息中的文本框数量和文本框位置，检测判断文本框信息是否符合该目标卡证类别的文本框检测条件。本实施例对此不作任何限制。

同样的，本实施例并不限定处理器检测判断文本框内容信息是否符合某一目标卡证类别(如上述可识别类别)的文本框识别条件的具体方式，如处理器可以利用中一个或多个文本框(即目标文本框)的文本识别内容，检测判断文本框内容信息是否符合该目标卡证类别的文本框识别条件；如各目标卡证类别对应的目标文本框的必定包含的内容(即预设内容)时，处理器可以判断文本框内容信息中目标文本框的文本识别内容是否包含该目标卡证类别对应的目标文本框的预设内容；若是，则确定文本框内容信息符合该目标卡证类别的文本框识别条件；若否，则确定文本框内容信息不符合该目标卡证类别的文本框识别条件；其中，预设内容包括预设文字和/或预设个数的数字。例如目标证件为身份证时，身份证正面类别对应的目标文本框可以为最下方的文本框，目标文本框的预设内容可以包括“公民身份证”这5个字(即预设文字)和18位身份证号的数字，即文本框内容信息中最下方的文本框的文本识别内容包括“公民身份证”和18个数字时，可以确定文本框内容信息符合身份证正面类别的文本框识别条件；相应的，一个目标卡证类别可以对应多个目标文本框，即处理器可以判断文本框内容信息中各目标文本框的文本识别内容分别包含该目标卡证类别对应的各目标文本框的预设内容，即处理器可以在文本框内容信息每个目标文本框的文本识别内容均包含相应的预设内容时，确定文本框内容信息符合该目标卡证类别的文本框识别条件，否则确定文本框内容信息不符合该目标卡证类别的文本框识别条件。

需要说明的是，本实施例是以处理器对一张待识别卡证图像的卡证类别识别为例进行的展示，对于处理器对多张待识别卡证图像的卡证类别识别，可以采用与本实施例所提供的方法相同或相似的方式实现，本实施例对此不作任何限制。

本实施例中，本发明实施例通过在图像分类结果为非目标卡证类别的情况下，对待识别卡证图像进行文本行检测识别，利用检测识别结果进一步分析卡证类别，提高了卡证类别的识别精度，减少因图像分类错误导致的卡证类别识别错误的情况，增强了卡证类别识别的鲁棒性，提升了用户体验。

请参考图2，图2为本发明实施例所提供的另一种卡证类别识别方法的流程图。该方法可以包括：

步骤201：获取待识别卡证图像。

具体的，本实施例并不限定处理器获取待识别卡证图像的具体方式，如处理器可以直接将接收的原始卡证图像作为待识别卡证图像，例如服务器的处理器可以接收的用户上传的待识别卡证图像(即原始卡证图像)。处理器也可以对原始卡证图像进行预处理，将预处理后得到的图像作为待识别卡证图像；如本实施例所提供的方法可以将现有的证件识别所需的图像预处理流程放置在卡证类别识别过程中，使后续进行证件识别时，能够直接利用待识别卡证图像，从而在不增加运算量的基础上，提高卡证类别识别的准确性和鲁棒性。例如本步骤中处理器可以获取原始卡证图像；利用证件检测算法(如CenterNet，一种目标检测算法)对原始卡证图像进行卡证检测，获取原始卡证图像中的卡证区域；根据卡证区域，确定原始卡证图像中的目标区域，如沿卡证区域的边界外扩一定范围得到目标区域，目标区域可以包括卡证区域且大于卡证区域；利用关键点检测算法(如SimplePose，一种关键点检测算法)对目标区域进行关键点检测，获取目标区域中卡证边界处的关键点(即卡证边界关键点)；根据卡证边界关键点，确定卡证角点坐标，如分别对卡证每条边界上的卡证边界关键点进行连线，将得到的四条连线的四个交点坐标作为卡证角点坐标；对卡证角点坐标对应的区域进行透射变换，获取待识别卡证图像，以得到校正后的卡证图像。

步骤202：对待识别卡证图像进行图像分类，获取待识别卡证图像对应的各预设卡证类别的图像分类置信度。

其中，本步骤中的图像分类置信度可以为处理器利用图像分类算法(如EfficientNet)对待识别卡证图像进行图像分类过程中，获取的待识别卡证图像属于各个预设卡证类别的置信度。

步骤203：根据待识别卡证图像对应的图像分类置信度，确定图像分类结果；其中，图像分类结果为任一预设卡证类别，预设卡证类别包括非目标卡证类别和目标卡证类别，目标卡证类别包括正面目标卡证类别和反面目标卡证类别。

具体的，本实施例并不限定处理器根据待识别卡证图像对应的各预设卡证类别的图像分类置信度，确定图像分类结果的具体方式，如处理器可以采用与现有的图像分类方法相同或相似的方式，获取图像分类结果，例如处理器将最大的图像分类置信度对应的预设卡证类别确定为图像分类结果。

步骤204：判断图像分类结果是否为非目标卡证类别；若是，则进入步骤205；若否，则进入步骤206。

可以理解的是，本步骤中若图像分类结果为目标卡证类别，可以进入步骤205，将图像分类结果确定为待识别卡证图像的卡证识别类别，即确定待识别卡证图像的卡证识别类别为一种目标卡证类别，如正面目标卡证类别或反面目标卡证类别；若图像分类结果为非目标卡证类别，可以进入步骤206，进一步分析确定图像分类结果是否出现错误，以对错误的图像分类结果进行修正，提高识别确定的待识别卡证图像的卡证识别类别的准确性。

步骤205：将图像分类结果确定为待识别卡证图像的卡证识别类别。

具体的，本步骤中处理器可以将图像分类结果作为卡证识别类别的最终结果。相应的，图像分类结果为非目标卡证类别时，处理器在将图像分类结果确定为待识别卡证图像的卡证识别类别后，还可以输出证件类别错误的提示信息，以提示用户拍摄上传的原始卡证图像有误，使用户可以重新拍摄上传正确的原始卡证图像，提升了用户体验。图像分类结果为正面目标卡证类别或反面目标卡证类别时，处理器还可以在将图像分类结果确定为待识别卡证图像的卡证识别类别后，继续对待识别卡证图像进行图像识别，以实现证件识别功能。

步骤206：判断待识别卡证图像对应的目标卡证类别的图像分类置信度中是否存在任一目标置信度；若是，则进入步骤207；若否，则进入步骤205。

其中，目标置信度为大于阈值的目标卡证类别的图像分类置信度；也就是说，本步骤中处理器可以在图像分类结果为非目标卡证类别时，利用步骤202中获取的待识别卡证图像对应的各目标卡证类别的图像分类置信度，将大于阈值的图像分类置信度最为目标置信度，从而在存在大于阈值的目标卡证类别的图像分类置信度(即目标置信度)时，进入步骤207；否则进入步骤205，将图像分类结果确定为待识别卡证图像的卡证识别类别，即确定待识别卡证图像的卡证识别类别为非目标卡证类别。

步骤207：对待识别卡证图像进行文本行检测，获取文本框信息。

其中，本步骤中处理器可以通过对待识别卡证图像进行文本行检测，检测得到待识别卡证图像中文本框的信息(即文本框信息)，如文本框数量。

具体的，本实施例并不限定处理器对待识别卡证图像进行文本行检测，获取文本框信息的具体方式，如可以采用与现有的文本行检测方法相同或相似的方式实现，例如处理器可以利用文本行检测算法(如DBNet，一种文字检测算法)对待识别卡证图像进行文本行检测，得到文本框信息。

步骤208：判断目标置信度对应的目标卡证类别中是否存在可识别类别；若是，则进入步骤209；若否，则进入步骤205。

其中，文本框信息满足可识别类别的文本框检测条件。本步骤中处理器可以在文本框信息能够满足某个目标置信度对应的目标卡证类别的文本框检测条件时，确定该目标置信度对应的目标卡证类别为可识别类别，并进入步骤209；在文本框信息不能够满足任一目标置信度对应的目标卡证类别的文本框检测条件时，确定不存在可识别类别，并进入步骤205，将图像分类结果确定为待识别卡证图像的卡证识别类别，即确定待识别卡证图像的卡证识别类别为非目标卡证类别。

具体的，本实施例并不限定处理器判断目标置信度对应的目标卡证类别中是否存在可识别类别的具体方式，即目标卡证类别的文本框检测条件的具体检测条件设置，如处理器可以判断各目标置信度各自对应的目标卡证类别的预设数量范围中是否存在包含文本框数量的预设数量范围；若存在包含文本框数量的预设数量范围，则确定存在可识别类别，并将包含文本框数量的预设数量范围对应的目标卡证类别确定为可识别类别；若不存在包含文本框数量的预设数量范围，则确定不存在可识别类别。也就是说，处理器可以利用利用文本框信息中的文本框数量与各目标置信度对应的目标卡证类别的预设数量范围的比较，判断目标置信度对应的目标卡证类别中是否存在可识别类别。

步骤209：对待识别卡证图像进行文本行识别，获取文本框内容信息。

其中，本步骤中处理器可以利用文本框信息，对待识别卡证图像进行文本行识别，识别得到待识别卡证图像中文本框中内容的信息(即文本框内容信息)，如文本框中的具体文字和数字内容和/或数量。

具体的，本实施例并不限定处理器对待识别卡证图像进行文本行识别，获取文本框内容信息的具体方式，如可以采用与现有的文本行识别方法相同或相似的方式实现，例如处理器可以利用文本行识别算法(如CRNN，一种文字识别算法)对待识别卡证图像进行文本行识别，得到文本框内容信息。

步骤210：判断文本框内容信息是否满足可识别类别对应的文本框识别条件；若是，则进入步骤211；若否，则进入步骤205。

可以理解的是，本步骤中处理器可以在文本行检测得到的文本框信息满足可识别类别(即一种目标卡证类别)的文本框检测条件的情况下，利用文本行识别得到的文本框内容信息，进一步判断文本框内容信息是否满足该可识别类别的文本框识别条件，从而在文本框内容信息满足该可识别类别的文本框识别条件时，进入步骤211，将可识别类别确定为待识别卡证图像的卡证识别类别，对图像分类结果为非目标卡证类别的分类错误进行修正。

具体的，本实施例并不限定处理器判断文本框内容信息是否满足可识别类别对应的文本框识别条件的具体方式，即目标卡证类别的文本框识别条件的具体识别条件设置，如处理器可以判断文本框内容信息中目标文本框的文本识别内容是否包含可识别类别对应的目标文本框的预设内容；若包含可识别类别对应的目标文本框的预设内容，则确定满足可识别类别对应的文本框识别条件；若不包含可识别类别对应的目标文本框的预设内容，则确定不满足可识别类别对应的文本框识别条件；其中，预设内容包括预设文字和/或预设个数的数字。也就是说，处理器可以利用利用文本框内容信息中的目标文本框的文本识别内容与可识别类别对应的目标文本框的预设内容的比较，判断文本框内容信息是否满足可识别类别对应的文本框识别条件；例如可识别类别为身份证正面类别时，身份证正面类别对应的目标文本框可以包括最下方的文本框，该文本框的预设内容可以包括“公民身份证”这5个字(即预设文字)和18位身份证号的数字，即文本框内容信息中最下方的文本框的文本识别内容包括“公民身份证”和18个数字，且文本框内容信息中其它的目标文本框的文本识别内容也包括相应的预设内容时，可以确定文本框内容信息符合身份证正面类别的文本框识别条件。

步骤211：将可识别类别确定为待识别卡证图像的卡证识别类别。

可以理解的是，与现有技术相比，本步骤中处理器可以将待识别卡证图像的卡证识别类别由现有的图像分类结果(即非目标卡证类别)修正为可识别类别(即一种目标卡证类别)，对错误的图像分类结果进行修正，提高识别确定的待识别卡证图像的卡证识别类别的准确性。

进一步的，本步骤中处理器将可识别类别确定为待识别卡证图像的卡证识别类别后，可以利用已经获取的文本框信息和文本框内容信息，对待识别卡证图像进行图像识别，避免再次对待识别卡证图像进行文本行检测和文本行识别，降低证件识别的运算量。

本实施例中，本发明实施例通过判断待识别卡证图像对应的目标卡证类别的图像分类置信度中是否存在任一目标置信度，利用图像分类的置信度确定是否需要进一步分析卡证类别，提高了卡证类别的识别精度，降低了卡证类别识别的运算量。

相应于上面的方法实施例，本发明实施例还提供了一种卡证类别识别装置，下文描述的卡证类别识别装置与上文描述的卡证类别识别方法可相互对应参照。

请参考图3，图3为本发明实施例所提供的一种卡证类别识别装置的结构框图。该装置可以包括：

图像分类模块10，用于对待识别卡证图像进行图像分类，获取图像分类结果；其中，图像分类结果为任一预设卡证类别，预设卡证类别包括非目标卡证类别和目标卡证类别，目标卡证类别包括正面目标卡证类别和/或反面目标卡证类别；

文本分析模块20，用于若图像分类结果为非目标卡证类别，则对待识别卡证图像进行文本行检测识别，获取检测识别结果；其中，检测识别结果包括文本框信息和/或文本框内容信息；

类别确定模块30，用于根据检测识别结果，确定待识别卡证图像的卡证识别类别；其中，卡证识别类别为任一预设卡证类别。

基于上述实施例，该装置还可以包括：

置信度判断模块，用于若图像分类结果为非目标卡证类别，则判断待识别卡证图像对应的目标卡证类别的图像分类置信度中是否存在任一目标置信度；若存在，则向文本分析模块20发送启动信号；若不存在，则将图像分类结果确定为卡证识别类别；其中，目标置信度为大于阈值的目标卡证类别的图像分类置信度；

对应的，图像分类模块10可以具体用于对待识别卡证图像进行图像分类，获取待识别卡证图像对应的各预设卡证类别的图像分类置信度；根据待识别卡证图像对应的图像分类置信度，确定图像分类结果。

基于上述实施例，文本分析模块20可以具体用于根据目标置信度，对待识别卡证图像进行文本行检测识别，获取检测识别结果。

基于上述实施例，文本分析模块20，可以包括：

文本行检测子模块，用于对待识别卡证图像进行文本行检测，获取文本框信息；

文本行判断子模块，用于判断目标置信度对应的目标卡证类别中是否存在可识别类别；若不存在可识别类别，则将图像分类结果确定为卡证识别类别；其中，文本框信息满足可识别类别的文本框检测条件；

文本行识别子模块，用于若存在可识别类别，则对待识别卡证图像进行文本行识别，获取文本框内容信息；其中，检测识别结果包括文本框内容信息；

对应的，类别确定模块30可以具体用于判断文本框内容信息是否满足可识别类别对应的文本框识别条件；若不满足，则将图像分类结果确定为卡证识别类别；若满足，则将可识别类别确定为卡证识别类别。

基于上述实施例，文本行判断子模块可以具体用于判断目标置信度对应的各目标卡证类别的预设数量范围中是否存在包含文本框数量的预设数量范围；若存在包含文本框数量的预设数量范围，则确定存在可识别类别，并将包含文本框数量的预设数量范围对应的目标卡证类别确定为可识别类别；若不存在包含文本框数量的预设数量范围，则确定不存在可识别类别。

基于上述实施例，类别确定模块30可以包括：

内容判断子模块，用于判断文本框内容信息中目标文本框的文本识别内容是否包含可识别类别对应的目标文本框的预设内容；其中，预设内容包括预设文字和/或预设个数的数字；若是，则确定满足可识别类别对应的文本框识别条件；若否，则确定不满足可识别类别对应的文本框识别条件。

基于上述实施例，该装置还可以包括：

原始图像获取模块，用于获取原始卡证图像；

卡证检测模块，用于对原始卡证图像进行卡证检测，获取卡证区域；

目标区域确定模块，用于根据卡证区域，确定原始卡证图像中的目标区域；其中，目标区域包括卡证区域；

关键点检测模块，用于对目标区域进行关键点检测，获取卡证边界关键点；

坐标确定模块，用于根据卡证边界关键点，确定卡证角点坐标；

图像校正模块，用于对卡证角点坐标对应的区域进行透射变换，获取待识别卡证图像。

另一方面，本发明还提供了一种卡证类别识别装置，包括：

图像分类模块，用于对待识别卡证图像进行图像分类，获取图像分类结果；其中，图像分类结果为任一预设卡证类别，预设卡证类别包括非目标卡证类别和目标卡证类别，目标卡证类别包括正面目标卡证类别和/或反面目标卡证类别；

文本分析模块，用于若图像分类结果为非目标卡证类别，则对待识别卡证图像进行文本行检测识别，获取检测识别结果；其中，检测识别结果包括文本框信息和/或文本框内容信息；

类别确定模块，用于根据检测识别结果，确定待识别卡证图像的卡证识别类别；其中，卡证识别类别为任一预设卡证类别。

本实施例中，本发明实施例通过文本分析模块20在图像分类结果为非目标卡证类别的情况下，对待识别卡证图像进行文本行检测识别，利用检测识别结果进一步分析卡证类别，提高了卡证类别的识别精度，减少因图像分类错误导致的卡证类别识别错误的情况，增强了卡证类别识别的鲁棒性，提升了用户体验。

相应于上面的方法实施例，本发明实施例还提供了一种电子设备，下文描述的一种电子设备与上文描述的一种卡证类别识别方法可相互对应参照。

请参考图4，图4为本发明实施例所提供的一种电子设备的结构示意图。该电子设备可以包括：

存储器D1，用于存储计算机程序；

处理器D2，用于执行计算机程序时实现上述方法实施例所提供的卡证类别识别方法的步骤。

具体的，请参考图5，图5为本发明实施例所提供的一种电子设备的具体结构示意图，该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在电子设备310上执行存储介质330中的一系列指令操作。

电子设备310还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。例如，Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等。

具体的，电子设备310可以具体为服务器；如图6所示，用户可以操作用户端设备(如手机)通过网络将拍摄的原始卡证图像发送到服务器(即电子设备310)，使服务器可以利用接收的原始卡证图像获取待识别卡证图像，并通过上述实施例所提供的卡证类别识别方法，对原始卡证图像的卡证类别进行准确的识别。

上文所描述的卡证类别识别方法中的步骤可以由电子设备的结构实现。该电子设备可以是计算机，PC机，服务器，本发明实施例对此并不进行限定。

相应于上面的方法实施例，本发明实施例还提供了一种存储介质，下文描述的一种存储介质与上文描述的一种卡证类别识别方法可相互对应参照。

一种存储介质，该存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所提供的告警消息过滤方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、电子设备及存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

以上对本发明所提供的一种卡证类别识别方法、装置、电子设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种卡证类别识别方法，其特征在于，包括：

对待识别卡证图像进行图像分类，获取图像分类结果；其中，所述图像分类结果为任一预设卡证类别，所述预设卡证类别包括非目标卡证类别和目标卡证类别，所述目标卡证类别包括正面目标卡证类别和/或反面目标卡证类别；

若所述图像分类结果为所述非目标卡证类别，则对所述待识别卡证图像进行文本行检测识别，获取检测识别结果；其中，所述检测识别结果包括文本框信息和/或文本框内容信息；

根据所述检测识别结果，确定所述待识别卡证图像的卡证识别类别；其中，所述卡证识别类别为任一所述预设卡证类别。

2.根据权利要求1所述的卡证类别识别方法，其特征在于，所述对所述待识别卡证图像进行文本行检测识别，获取检测识别结果之前，还包括：

判断所述待识别卡证图像对应的目标卡证类别的图像分类置信度中是否存在任一目标置信度；其中，所述目标置信度为大于阈值的所述目标卡证类别的图像分类置信度；

若存在，则执行所述对所述待识别卡证图像进行文本行检测识别，获取检测识别结果的步骤；

若不存在，则将所述图像分类结果确定为所述卡证识别类别；

对应的，所述对待识别卡证图像进行图像分类，获取图像分类结果，包括：

对所述待识别卡证图像进行图像分类，获取所述待识别卡证图像对应的各预设卡证类别的图像分类置信度；

根据所述待识别卡证图像对应的图像分类置信度，确定所述图像分类结果。

3.根据权利要求2所述的卡证类别识别方法，其特征在于，所述对所述待识别卡证图像进行文本行检测识别，获取检测识别结果，包括：

根据所述目标置信度，对所述待识别卡证图像进行文本行检测识别，获取检测识别结果。

4.根据权利要求3所述的卡证类别识别方法，其特征在于，所述根据所述目标置信度，对所述待识别卡证图像进行文本行检测识别，获取检测识别结果，包括：

对所述待识别卡证图像进行文本行检测，获取所述文本框信息；

判断所述目标置信度对应的目标卡证类别中是否存在可识别类别；其中，所述文本框信息满足所述可识别类别的文本框检测条件；

若不存在所述可识别类别，则将所述图像分类结果确定为所述卡证识别类别；

若存在所述可识别类别，则对所述待识别卡证图像进行文本行识别，获取所述文本框内容信息；其中，所述检测识别结果包括所述文本框内容信息；

对应的，所述根据所述检测识别结果，确定所述待识别卡证图像的卡证识别类别，包括：

判断所述文本框内容信息是否满足所述可识别类别对应的文本框识别条件；

若不满足，则将所述图像分类结果确定为所述卡证识别类别；

若满足，则将所述可识别类别确定为所述卡证识别类别。

5.根据权利要求4所述的卡证类别识别方法，其特征在于，所述文本框信息包括文本框数量时，所述判断所述目标置信度对应的目标卡证类别中是否存在可识别类别，包括：

判断所述目标置信度对应的各目标卡证类别的预设数量范围中是否存在包含所述文本框数量的预设数量范围；

若存在包含所述文本框数量的预设数量范围，则确定存在所述可识别类别，并将包含所述文本框数量的预设数量范围对应的目标卡证类别确定为所述可识别类别；

若不存在包含所述文本框数量的预设数量范围，则确定不存在所述可识别类别。

6.根据权利要求4所述的卡证类别识别方法，其特征在于，所述判断所述文本框内容信息是否满足所述可识别类别对应的文本框识别条件，包括：

判断所述文本框内容信息中目标文本框的文本识别内容是否包含所述可识别类别对应的目标文本框的预设内容；其中，所述预设内容包括预设文字和/或预设个数的数字；

若是，则确定满足所述可识别类别对应的文本框识别条件；

若否，则确定不满足所述可识别类别对应的文本框识别条件。

7.根据权利要求1至6任一项所述的卡证类别识别方法，其特征在于，所述对待识别卡证图像进行图像分类，获取图像分类结果之前，还包括：

获取原始卡证图像；

对所述原始卡证图像进行卡证检测，获取卡证区域；

根据所述卡证区域，确定所述原始卡证图像中的目标区域；其中，所述目标区域包括所述卡证区域；

对所述目标区域进行关键点检测，获取卡证边界关键点；

根据所述卡证边界关键点，确定卡证角点坐标；

对所述卡证角点坐标对应的区域进行透射变换，获取所述待识别卡证图像。

8.一种卡证类别识别装置，其特征在于，包括：

图像分类模块，用于对待识别卡证图像进行图像分类，获取图像分类结果；其中，所述图像分类结果为任一预设卡证类别，所述预设卡证类别包括非目标卡证类别和目标卡证类别，所述目标卡证类别包括正面目标卡证类别和/或反面目标卡证类别；

文本分析模块，用于若所述图像分类结果为所述非目标卡证类别，则对所述待识别卡证图像进行文本行检测识别，获取检测识别结果；其中，所述检测识别结果包括文本框信息和/或文本框内容信息；

类别确定模块，用于根据所述检测识别结果，确定所述待识别卡证图像的卡证识别类别；其中，所述卡证识别类别为任一所述预设卡证类别。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的卡证类别识别方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的卡证类别识别方法的步骤。

Images