CN113538291B - 卡证图像倾斜校正方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种卡证图像倾斜校正方法、装置、计算机设备和存储介质。本申请能够面对包含复杂背景的卡证图像时，提高卡证校正识别准确率，与传统技术相比，节约处理器计算资源。该方法包括：获取包含卡证的待检测图像；将待检测图像输入训练好的卡证顶点检测模型进行识别，得到卡证的多个卡证顶点坐标；将待检测图像输入训练好的卡证检测模型进行检测，得到卡证对应的拟合矩形框；基于各个卡证顶点坐标与拟合矩形框的位置信息之间的关系，对多个卡证顶点坐标进行分组，以使每组顶点的卡证顶点坐标归属于同一卡证；利用训练好的卡证图像分类网络针对同一卡证进行分类，得到分类后的卡证；若卡证的类别为内容倒立卡证，则将卡证旋转为内容正立卡证。

Description

卡证图像倾斜校正方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像识别技术领域，特别是涉及一种卡证图像倾斜校正方法、装置、计算机设备和存储介质。

背景技术

随着数字化信息技术的发展，各行各业纷纷采用证件自动识别并检测证件内容的方式，不需要人们自己手动输入证件内容，大大提高了生活水平以及工作效率。

在证件内容识别过程中，往往需要通过摄像装置先获取证件持有者摆放的卡证，由于证件持有者所处的环境条件(例如光线、桌面背景等)以及摆放方式(手持或者摆放于平面上)不同，导致摄像装置获取的卡证图像常常不规范，例如背景复杂、摆放位置不正等，为了正确读取证件中的文本或图像内容，需要先将卡证图像校正。目前普遍采用基于边缘检测的卡证倾斜校正算法以及基于深度学习的图像分割算法。

然而，这些算法在面对包含复杂背景的卡证图像时，往往需要较大的计算量，且校正准确率不够高。

发明内容

基于此，有必要针对上述技术问题，提供一种卡证图像倾斜校正方法、装置、计算机设备和存储介质。

一种卡证图像倾斜校正方法，所述方法包括：

获取包含卡证的待检测图像；

将所述待检测图像输入训练好的卡证顶点检测模型进行识别，得到所述卡证的多个卡证顶点坐标；

将所述待检测图像输入训练好的卡证检测模型进行检测，得到所述卡证对应的拟合矩形框；

基于各个卡证顶点坐标与所述拟合矩形框的位置信息之间的关系，对所述多个卡证顶点坐标进行分组，以使每组顶点的卡证顶点坐标归属于同一卡证；

利用训练好的卡证图像分类网络针对所述同一卡证进行分类，得到分类后的卡证；

若所述卡证的类别为内容倒立卡证，则将所述卡证旋转为内容正立卡证。

在其中一个实施例中，所述利用训练好的卡证图像分类网络针对所述同一卡证进行分类，得到分类后的卡证之前，包括：

将所述同一卡证作为当前卡证；

针对所述当前卡证的多个卡证顶点坐标进行大小排序，根据排序结果确定所述当前卡证的各个卡证顶点的位置属性；

根据所述各个卡证顶点的位置属性计算卡证边长，基于所述各个卡证顶点与所述卡证边长的关系，确定所述当前卡证的摆放方向属性。

在其中一个实施例中，所述卡证边长包括上边长、下边长、左边长和右边长；所述基于所述各个卡证顶点与所述卡证边长的关系，确定所述当前卡证的摆放方向属性，包括：

若所述上边长与所述下边长之和大于所述左边长与所述右边长之和，则确定所述当前卡证的摆放方向属性为竖向摆放；

若所述左边长与所述右边长之和大于所述上边长与所述下边长之和，则确定所述当前卡证的摆放方向属性为横向摆放。

在其中一个实施例中，所述方法还包括：

基于所述当前卡证的摆放方向属性，利用透射变换模型，将所述当前卡证变换为与所述摆放方向属性对应的标准矩形图像。

在其中一个实施例中，所述确定所述当前卡证的摆放方向属性之后，所述方法包括：

若所述标准矩形图像的摆放方向属性不满足预设条件，则针对所述标准矩形图像的摆放方向进行校正。

在其中一个实施例中，所述针对同一卡证中的多个卡证顶点坐标进行大小排序得到排序结果，根据所述排序结果确定所述同一卡证中的各个卡证顶点的位置属性，包括：

针对同一卡证中的所述多个卡证顶点坐标的横坐标按照从大到小的顺序进行排序，得到各个所述卡证顶点坐标的第一顶点分布属性；

针对同一卡证中的所述多个卡证顶点坐标的纵坐标按照从大到小的顺序进行排序，得到各个所述卡证顶点坐标的第二顶点分布属性；

根据各个所述卡证顶点坐标的所述第一顶点分布属性和所述第二顶点分布属性确定述同一卡证中的各个卡证顶点分别为左上顶点、左下顶点、右上顶点和右下顶点；所述位置属性包括所述左上顶点、左下顶点、右上顶点和右下顶点。

在其中一个实施例中，所述基于各个所述卡证顶点坐标与所述拟合矩形框的位置信息之间的关系，对所述多个卡证顶点坐标进行分组，以使每组顶点中的卡证顶点坐标都属于同一卡证，包括：

针对每个拟合矩形框，获取所述拟合矩形框的位置信息；所述位置信息包括同一对角线上的两个对角线顶点坐标；

根据所述两个对角线顶点坐标的横坐标确定第一判别区间；根据所述两个对角线顶点坐标的纵坐标确定第二判别区间；

若多个卡证顶点坐标的横坐标均位于所述第一判别区间内，且所述多个所述卡证顶点坐标的纵坐标位于所述第二判别区间内，则判断所述多个卡证顶点坐标属于同一卡证。

一种卡证图像倾斜校正装置，所述装置包括：

图像获取模块，用于获取包含卡证的待检测图像；

顶点坐标计算模块，用于将所述待检测图像输入训练好的卡证顶点检测模型进行识别，得到所述卡证的多个卡证顶点坐标；

卡证拟合矩形检测模块，用于将所述待检测图像输入训练好的卡证检测模型进行检测，得到所述卡证对应的拟合矩形框；

顶点分组模块，用于基于各个卡证顶点坐标与所述拟合矩形框的位置信息之间的关系，对所述多个卡证顶点坐标进行分组，以使每组顶点的卡证顶点坐标归属于同一卡证；

卡证分类模块，用于利用训练好的卡证图像分类网络针对所述同一卡证进行分类，得到分类后的卡证；

卡证校正模块，用于若所述卡证的类别为内容倒立卡证，则将所述卡证旋转为内容正立卡证。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述的卡证图像倾斜校正方法实施例中的各步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的卡证图像倾斜校正方法实施例中的各步骤。

上述卡证图像倾斜校正方法、装置、计算机设备和存储介质，通过获取包含卡证的待检测图像；将待检测图像输入训练好的卡证顶点检测模型进行识别，得到卡证的多个卡证顶点坐标；将待检测图像输入训练好的卡证检测模型进行检测，得到卡证对应的拟合矩形框；基于各个卡证顶点坐标与拟合矩形框的位置信息之间的关系，对多个卡证顶点坐标进行分组，以使每组顶点的卡证顶点坐标归属于同一卡证；利用训练好的卡证图像分类网络针对同一卡证进行分类，得到分类后的卡证；若卡证的类别为内容倒立卡证，则将卡证旋转为内容正立卡证。本申请能够在面对包含复杂背景的卡证图像时，提高卡证校正识别准确率，与传统技术相比，能够减少计算量，节约处理器计算资源。

附图说明

图1为一个实施例中卡证图像倾斜校正方法的应用环境图；

图2为一个实施例中卡证图像倾斜校正方法的流程示意图；

图3为一个实施例中卡证图像倾斜校正方法中的卡证检测示意图；

图4为另一个实施例中卡证图像倾斜校正方法的流程示意图；

图5为一个实施例中卡证图像倾斜校正装置的结构框图；

图6为一个实施例中计算机设备的内部结构图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的卡证图像倾斜方法，可以应用于如图1所示的应用环境中。其中，终端101通过网络与服务器102进行通信。其中，终端101可以是各种摄像或扫描装置以及个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，用于拍摄或扫描包含卡证的图像，服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种卡证图像倾斜校正方法，以该方法应用于图1中的服务器102为例进行说明，包括以下步骤：

步骤S201，获取包含卡证的待检测图像。

具体地，终端101采集包含卡证的待检测图像，其中的卡证指各种证件例如身份证、名片、银行卡等。

步骤S202，将待检测图像输入训练好的卡证顶点检测模型进行识别，得到卡证的多个卡证顶点坐标；

其中，卡证顶点检测模型可以是YOLO、SSD模型等目标检测模型。首先，对YOLO、SSD模型等使用已经标记的训练样本进行训练得到上述已经训练好的卡证顶点检测模型。具体地，如图3所示，首先对训练样本中的卡证顶点进行标注，标注步骤：a.以卡证的顶点为中心，标注固定尺寸的矩形框，并标注该矩形框的类别为顶点；b标注一张图像中的全部顶点。然后，使用已经标注顶点的训练样本训练上述YOLO或SSD模型，得到已经训练好的卡证顶点检测模型。

在步骤S202中，将待检测图像输入上述已经训练好的卡证顶点检测模型进行检测，得到标注各顶点矩形框的卡证图像，再根据各顶点矩形框的边长、坐标计算各矩形框的中心点，得到卡证顶点坐标。

步骤S203，将待检测图像输入训练好的卡证检测模型进行检测，得到卡证对应的拟合矩形框；

其中，卡证检测模型为能够区分并标记出待检测图像中各个不同的卡证的模型。可使用YOLO、SSD模型等目标检测模型得到。训练过程如下：标注卡证以得到训练样本，具体步骤如下：a、标注最小矩形框(即拟合矩形框)以覆盖整张卡证，并标注该矩形框的类别为卡证；b标注一张图像中的全部卡证；应用上述训练样本训练YOLO或SSD模型，得到已训练好的卡证检测模型。

在步骤S203中，将待检测图像输入上述训练好的卡证检测模型进行检测，得到包含有拟合矩形框的图像。

可选地，上述卡证检测模型和上述卡证顶点检测模型可以合并为一个模型进行训练，即采用同一种模型进行训练，该模型可以同时识别出卡证顶点和卡证。

步骤S204，基于各个卡证顶点坐标与拟合矩形框的位置信息之间的关系，对多个卡证顶点坐标进行分组，以使每组顶点的卡证顶点坐标归属于同一卡证；

具体地，对于拟合矩形框位置为{x₀，y₀，x₁，y₁}(此为对角线顶点坐标)，若步骤S202中的卡证顶点坐标{p_x,p_y},满足如下公式

则该顶点{p_x,p_y}来自拟合矩形框{x₀,y₀,x₁,y₁}所确定的卡证，其中δ为范围确定参数。

对步骤S203中的全部拟合矩形框与步骤S202中全部卡证顶点坐标依照上面的公式完成对应，实现顶点的分组。

步骤S205，利用训练好的卡证图像分类网络针对上述同一卡证进行分类，得到分类后的卡证。

其中，卡证图像分类网络用于判别卡证是内容正立还是内容倒立，首先，应用已经带标注的图像进行训练，可选mobilenet等轻量级分类网络进行训练，得到训练好的卡证图像分类网络。

具体地，将上述已经实现顶点分组的同一卡证输入上述卡证图像分类网络进行分类，得到分类后的卡证。

步骤S206，若上述卡证的类别为内容倒立卡证，则将所述卡证旋转为内容正立卡证。

上述实施例，通过获取包含卡证的待检测图像；将待检测图像输入训练好的卡证顶点检测模型进行识别，得到卡证的多个卡证顶点坐标；将待检测图像输入训练好的卡证检测模型进行检测，得到卡证对应的拟合矩形框；基于各个卡证顶点坐标与拟合矩形框的位置信息之间的关系，对多个卡证顶点坐标进行分组，以使每组顶点的卡证顶点坐标归属于同一卡证；利用训练好的卡证图像分类网络针对同一卡证进行分类，得到分类后的卡证；若卡证的类别为内容倒立卡证，则将卡证旋转为内容正立卡证。本申请能够在面对包含复杂背景的卡证图像时，提高卡证校正识别准确率，与传统技术相比，能够减少计算量，节约处理器计算资源。

在一实施例中，上述步骤S205之前，还包括：将同一卡证作为当前卡证；针对当前卡证的多个卡证顶点坐标进行大小排序，根据排序结果确定当前卡证的各个卡证顶点的位置属性；根据各个卡证顶点的位置属性计算卡证边长，基于各个卡证顶点与卡证边长的关系，确定当前卡证的摆放方向属性。

具体地，在判断卡证是内容正立还是内容倒立之前，还可以判断卡证的摆放方向是横向还是竖向。将同一卡证作为当前卡证，当前考证包含四个顶点，需要确定四个点的位置属性，即上下左右信息；再根据上下左右信息，计算卡证边长，矩形框包含长边和短边，根据上边与短边的位置关系，确定当前卡证的摆放方向属性，包括横向摆放或竖向摆放。

上述实施例，通过确定长边和短边的位置关系判断卡证的摆放方向属性，有利于得到符合规定的标准图像，例如需要统一的横向摆放的卡证才能继续识别结果。

在一实施例中，卡证边长包括上边长、下边长、左边长和右边长；上述基于各个卡证顶点与卡证边长的关系，确定当前卡证的摆放方向属性，包括：若上边长与下边长之和大于左边长与右边长之和，则确定当前卡证的摆放方向属性为竖向摆放；若左边长与右边长之和大于上边长与下边长之和，则确定当前卡证的摆放方向属性为横向摆放。

具体地，在计算出卡证的各个边长之后，若上下边长和大于左右边长和则为竖向摆放；若左右边长之和大于上下边长之和则为横向摆放。

上述实施例，通过边长判断卡证的横向或竖向摆放属性，有利于得到符合需要的统一标准的卡证图像。

在一实施例中，上述方法还包括：基于当前卡证的摆放方向属性，利用透射变换模型，将当前卡证变换为与摆放方向属性对应的标准矩形图像。

具体地，应用透射变换对同一卡证中的卡证图像变换为标准矩形图像，即原卡证若有倾斜，可利用透射变换将卡证扶正，例如，若卡证为竖向摆放，则按如下规则进行变换

若为横向摆放，则按如下规则进行变换

上式中w为需要变换的卡证长边标准值，h为需要变换的卡证短边标准值。

上述实施例，能够将倾斜图像扶正，有利于后续图像内容识别或处理。

在一实施例中，上述确定当前卡证的摆放方向属性之后，该方法还包括：

若标准矩形图像的摆放方向属性不满足预设条件，则针对标准矩形图像的摆放方向进行校正。

具体地，若最终需要得到横向摆放的卡证，而当前卡证为竖向摆放，则将竖向摆放的卡证进行旋转，得到横向摆放的卡证，同理，若若最终需要得到竖向摆放的卡证，而当前卡证为横向摆放，则将竖向摆放的卡证进行旋转，得到竖向摆放的卡证。

上述实施例，能够根据实际需要将不同摆放方向的卡证自动矫正为统一摆放方向的卡证，有利于对卡证进行后续批量处理。

在一实施例中，上述针对同一卡证中的多个卡证顶点坐标进行大小排序得到排序结果，根据排序结果确定同一卡证中的各个卡证顶点的位置属性，包括：针对同一卡证中的多个卡证顶点坐标的横坐标按照从大到小的顺序进行排序，得到各个卡证顶点坐标的第一顶点分布属性；针对同一卡证中的多个卡证顶点坐标的纵坐标按照从大到小的顺序进行排序，得到各个卡证顶点坐标的第二顶点分布属性；根据各个卡证顶点坐标的第一顶点分布属性和第二顶点分布属性确定述同一卡证中的各个卡证顶点分别为左上顶点、左下顶点、右上顶点和右下顶点；位置属性包括左上顶点、左下顶点、右上顶点和右下顶点。

其中，第一顶点分布属性包括左侧顶点和右侧顶点，第二顶点分布属性包括上部顶点和下部顶点。

具体地，同一卡证包含四个顶点，需确定四个点的上下左右信息；对四个顶点按照x坐标从大到小排序,前两个点为右侧顶点,后两个点为左侧顶点；对四个顶点按照y坐标从大到小排序,前两个点为下部顶点,后两个点为上部顶点；基于每个顶点的两种属性得到组内的左上顶点、左下顶点、右上顶点、右下顶点。

上述实施例，确定顶点的属性信息，有利于后续得到卡证的各个边的方位信息，从而判断卡证的摆放方向属性。

在一实施例中，上述步骤S204包括：针对每个拟合矩形框，获取拟合矩形框的位置信息；位置信息包括同一对角线上的两个对角线顶点坐标；根据两个对角线顶点坐标的横坐标确定第一判别区间；根据两个对角线顶点坐标的纵坐标确定第二判别区间；若多个卡证顶点坐标的横坐标均位于第一判别区间内，且多个卡证顶点坐标的纵坐标位于第二判别区间内，则判断多个卡证顶点坐标属于同一卡证。

具体过程如上式(1)描述。

上述实施例，通过判断卡证顶点坐标与拟合矩形框的关系，能够将同一副待检测图像中的多个卡证分别识别并加以区分。

在一实施例中，如图4所示，以上述卡证图像倾斜校正方法应用于具体场景中为例进行说明，该方法包括：

1、应用目标检测算法检测卡证顶点

训练环节

(1)训练过程,首先对卡证图像顶点进行标注,标注方法a.以卡证图像的顶点为中心,标注固定尺寸的矩形框,并标注该矩形框的类别为顶点；b标注一张图像中的全部顶点；

(2)应用顶点标注数据训练目标检测模型,模型可选择yolo、SSD等，得到卡证顶点检测模型；

检测环节

应用卡证顶点检测模型检测卡证图像的顶点矩形框，计算各矩形框的中心点，得到卡证顶点坐标。

1.应用目标检测算法检测卡证

训练环节

(1)训练过程,首先对卡证图像中的卡证进行标注,标注方法a.标注矩形框最小覆盖整张卡证，并标注该矩形框的类别为卡证；b标注一张图像中的全部卡证；

(2)应用卡证标注数据训练目标检测模型,模型可选择yolo、SSD等，得到卡证检测模型；

检测环节

应用卡证检测模型检测卡证图像,得到各卡证对应的矩形框。

步骤1和步骤2中的目标检测模型可以合并为一个模型进行训练,该模型可同时检测卡证顶点和卡证.

2.对顶点进行分组

对步骤2检测到的顶点进行分组，确定哪些顶点来自于同一张卡证，根据步骤2中的卡证检测结果，对于卡证矩形框位置为{x₀,y₀,x₁,y₁}，若步骤1中的顶点检测结果{p_x,p_y},满足如下公式

则该顶点{p_x,p_y}来自区域{x₀,y₀,x₁,y₁}所确定的卡证，

对步骤1中的全部顶点检测结果与步骤2中全部卡证检测结果依照上面的公式完成对应，实现顶点的分组；

3.标记组内顶点上下左右信息

依据步骤3中的分组结果，单一组内包含四个顶点，需确定四个点的上下左右信息；

对四个点按照x坐标从大到小排序,前两个点为右侧顶点,后两个点为左侧顶点；对四个点按照y坐标从大到小排序,前两个点为下部顶点,后两个点为上午顶点；由此计算法得到组内的左上顶点、左下顶点、右上顶点、右下顶点；依次确定步骤3分组结果中各组顶点的上下左右信息。

4.依据顶点上下左右信息进行图像校正

(1)应用卡证边长信息确定卡片摆放方向，具体方法为，应用左上、右上、左下、右下顶点位置坐标计算卡证上边长、下边长、左边长、右边长，若上下边长和大于左右边长和则为竖向摆放；若左右边长和大于上下边长和则为横向摆放；

(2)图像校正，应用透射变换对组内顶点确定的区域变换为矩形图像，若为竖向摆放，则按如下规则进行变换

若为横向摆放，则按如下规则进行变换

上式中w为需要变换的卡证长边标准值，h为需要变换的卡证短边标准值；

(3)对于步骤4中包含上下左右信息的各组顶点进行如上述操作；

(4)对于竖向摆放的变换结果进行旋转，实现横向摆放，至此完成图像矫正。

5.对矫正图像分类,并依据分类结果进行图像旋转

经步骤5变换的图像可能为正立图像或倒立图像，应用图像分类网络对图像进行正立、倒立分类，对倒立图像旋转为正立；

训练环节，将矫正好的正立图像标记为正立类别，将矫正好的倒立图像标记为倒立类别，应用正立、倒立标注图像进行分类网络训练，可选mobilenet等轻量级分类网络进行训练；

分类环节，应用训练好的网络对于步骤5输出的矫正图像完成正立、倒立分类，将倒立图像旋转为正立。

上述实施例，较传统基于边缘检测卡证倾斜校正算法能够适应更复杂的背景情况，对前景背景对比度低的现实问题能够实现良好的解决，相较基于深度学习图像分割类算法，具备更简单的后处理方式，目标检测算法直接实现了顶点的检测，无需再对图像分割结果进行后处理来确定顶点，另外本方法应用的基于深度学习的目标检测技术相较基于深度学习的图像分割技术具有更低的计算量和更高的准确率，对样本标注要求相对较低。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种卡证图像倾斜校正装置500，包括：图像获取模块501、顶点坐标计算模块502、卡证拟合矩形检测模块503、顶点分组模块504、卡证分类模块505和卡证校正模块506，其中：

图像获取模块501，用于获取包含卡证的待检测图像；

顶点坐标计算模块502，用于将所述待检测图像输入训练好的卡证顶点检测模型进行识别，得到所述卡证的多个卡证顶点坐标；

卡证拟合矩形检测模块503，用于将所述待检测图像输入训练好的卡证检测模型进行检测，得到所述卡证对应的拟合矩形框；

顶点分组模块504，用于基于各个卡证顶点坐标与所述拟合矩形框的位置信息之间的关系，对所述多个卡证顶点坐标进行分组，以使每组顶点的卡证顶点坐标归属于同一卡证；

卡证分类模块505，用于利用训练好的卡证图像分类网络针对所述同一卡证进行分类，得到分类后的卡证；

卡证校正模块506，用于若所述卡证的类别为内容倒立卡证，则将所述卡证旋转为内容正立卡证。

在一实施例中，还包括摆放方向确定单元，用于将所述同一卡证作为当前卡证；针对所述当前卡证的多个卡证顶点坐标进行大小排序，根据排序结果确定所述当前卡证的各个卡证顶点的位置属性；根据所述各个卡证顶点的位置属性计算卡证边长，基于所述各个卡证顶点与所述卡证边长的关系，确定所述当前卡证的摆放方向属性。

在一实施例中，所述卡证边长包括上边长、下边长、左边长和右边长；上述摆放方向确定单元，进一步用于：若所述上边长与所述下边长之和大于所述左边长与所述右边长之和，则确定所述当前卡证的摆放方向属性为竖向摆放；若所述左边长与所述右边长之和大于所述上边长与所述下边长之和，则确定所述当前卡证的摆放方向属性为横向摆放。

在一实施例中，还包括标准矩形图像转换单元，用于基于所述当前卡证的摆放方向属性，利用透射变换模型，将所述当前卡证变换为与所述摆放方向属性对应的标准矩形图像。

在一实施例中，摆放方向确定单元还用于：若所述标准矩形图像的摆放方向属性不满足预设条件，则针对所述标准矩形图像的摆放方向进行校正。

在一实施例中，上述摆放方向确定单元进一步用于：针对同一卡证中的所述多个卡证顶点坐标的横坐标按照从大到小的顺序进行排序，得到各个所述卡证顶点坐标的第一顶点分布属性；针对同一卡证中的所述多个卡证顶点坐标的纵坐标按照从大到小的顺序进行排序，得到各个所述卡证顶点坐标的第二顶点分布属性；根据各个所述卡证顶点坐标的所述第一顶点分布属性和所述第二顶点分布属性确定述同一卡证中的各个卡证顶点分别为左上顶点、左下顶点、右上顶点和右下顶点；所述位置属性包括所述左上顶点、左下顶点、右上顶点和右下顶点。

在一实施例中，顶点分组模块504进一步用于：针对每个拟合矩形框，获取所述拟合矩形框的位置信息；所述位置信息包括同一对角线上的两个对角线顶点坐标；根据所述两个对角线顶点坐标的横坐标确定第一判别区间；根据所述两个对角线顶点坐标的纵坐标确定第二判别区间；若多个卡证顶点坐标的横坐标均位于所述第一判别区间内，且所述多个所述卡证顶点坐标的纵坐标位于所述第二判别区间内，则判断所述多个卡证顶点坐标属于同一卡证。

关于卡证图像倾斜校正装置的具体限定可以参见上文中对于卡证图像倾斜校正方法的限定，在此不再赘述。上述卡证图像倾斜校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储卡证图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种卡证图像倾斜校正方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种卡证图像倾斜校正方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6-7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述卡证图像倾斜校正方式实施例中的各步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述卡证图像倾斜校正方式实施例中的各步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种卡证图像倾斜校正方法，其特征在于，所述方法包括：

获取包含卡证的待检测图像；

将所述待检测图像输入训练好的卡证顶点检测模型进行识别，得到所述卡证的多个卡证顶点坐标；

将所述待检测图像输入训练好的卡证检测模型进行检测，得到所述卡证对应的拟合矩形框；

基于各个卡证顶点坐标与所述拟合矩形框的位置信息之间的关系，对所述多个卡证顶点坐标进行分组，以使每组顶点的卡证顶点坐标归属于同一卡证；

利用训练好的卡证图像分类网络针对所述同一卡证进行分类，得到分类后的卡证；

若所述卡证的类别为内容倒立卡证，则将所述卡证旋转为内容正立卡证。

2.根据权利要求1所述的方法，其特征在于，所述利用训练好的卡证图像分类网络针对所述同一卡证进行分类，得到分类后的卡证之前，包括：

将所述同一卡证作为当前卡证；

针对所述当前卡证的多个卡证顶点坐标进行大小排序，根据排序结果确定所述当前卡证的各个卡证顶点的位置属性；

根据所述各个卡证顶点的位置属性计算卡证边长，基于所述各个卡证顶点与所述卡证边长的关系，确定所述当前卡证的摆放方向属性。

3.根据权利要求2所述的方法，其特征在于，所述卡证边长包括上边长、下边长、左边长和右边长；所述基于所述各个卡证顶点与所述卡证边长的关系，确定所述当前卡证的摆放方向属性，包括：

若所述上边长与所述下边长之和大于所述左边长与所述右边长之和，则确定所述当前卡证的摆放方向属性为竖向摆放；

若所述左边长与所述右边长之和大于所述上边长与所述下边长之和，则确定所述当前卡证的摆放方向属性为横向摆放。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

基于所述当前卡证的摆放方向属性，利用透射变换模型，将所述当前卡证变换为与所述摆放方向属性对应的标准矩形图像。

5.根据权利要求4所述的方法，其特征在于，所述确定所述当前卡证的摆放方向属性之后，所述方法包括：

若所述标准矩形图像的摆放方向属性不满足预设条件，则针对所述标准矩形图像的摆放方向进行校正。

6.根据权利要求2所述的方法，其特征在于，所述针对同一卡证中的多个卡证顶点坐标进行大小排序得到排序结果，根据所述排序结果确定所述同一卡证中的各个卡证顶点的位置属性，包括：

针对同一卡证中的所述多个卡证顶点坐标的横坐标按照从大到小的顺序进行排序，得到各个所述卡证顶点坐标的第一顶点分布属性；

针对同一卡证中的所述多个卡证顶点坐标的纵坐标按照从大到小的顺序进行排序，得到各个所述卡证顶点坐标的第二顶点分布属性；

根据各个所述卡证顶点坐标的所述第一顶点分布属性和所述第二顶点分布属性确定所述同一卡证中的各个卡证顶点分别为左上顶点、左下顶点、右上顶点和右下顶点；所述位置属性包括所述左上顶点、左下顶点、右上顶点和右下顶点。

7.根据权利要求1所述的方法，其特征在于，所述基于各个所述卡证顶点坐标与所述拟合矩形框的位置信息之间的关系，对所述多个卡证顶点坐标进行分组，以使每组顶点中的卡证顶点坐标都属于同一卡证，包括：

针对每个拟合矩形框，获取所述拟合矩形框的位置信息；所述位置信息包括同一对角线上的两个对角线顶点坐标；

根据所述两个对角线顶点坐标的横坐标确定第一判别区间；根据所述两个对角线顶点坐标的纵坐标确定第二判别区间；

若多个卡证顶点坐标的横坐标均位于所述第一判别区间内，且所述多个所述卡证顶点坐标的纵坐标位于所述第二判别区间内，则判断所述多个卡证顶点坐标属于同一卡证。

8.一种卡证图像倾斜校正装置，其特征在于，所述装置包括：

图像获取模块，用于获取包含卡证的待检测图像；

顶点坐标计算模块，用于将所述待检测图像输入训练好的卡证顶点检测模型进行识别，得到所述卡证的多个卡证顶点坐标；

卡证拟合矩形检测模块，用于将所述待检测图像输入训练好的卡证检测模型进行检测，得到所述卡证对应的拟合矩形框；

顶点分组模块，用于基于各个卡证顶点坐标与所述拟合矩形框的位置信息之间的关系，对所述多个卡证顶点坐标进行分组，以使每组顶点的卡证顶点坐标归属于同一卡证；

卡证分类模块，用于利用训练好的卡证图像分类网络针对所述同一卡证进行分类，得到分类后的卡证；

卡证校正模块，用于若所述卡证的类别为内容倒立卡证，则将所述卡证旋转为内容正立卡证。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。