CN114120300A - 一种图片矫正方法及装置 - Google Patents

Abstract

本发明涉及一种图片矫正方法和装置，其中所述方法包括：从原始图片中获取有效图像区域；在所述有效图像区域中预测出预置位置的关键点；获取与原始图片类型相同的标准图片中的对应标准关键点；根据标准关键点及预测的关键点构造变换矩阵；以及根据所述变换矩阵对所述原始图片的有效图像区域进行透视变换以获得矫正后的正向图片。本发明提供的装置和方法能够对具有固定版面、样式的拍摄对象的图片自动矫正，处理速度快、矫正效果好。

Description

一种图片矫正方法及装置

技术领域

本发明涉及图像处理技术领域，特别地涉及一种图片矫正方法及装置。

背景技术

随着智能手机的逐步升级和广泛应用，越来越多的人们习惯使用手机上摄像头拍摄各种事物。例如，当人们在某些场合需要使用身份证件时，人们习惯用手机对身份证件进行拍照得到身份证件的图像。然而，这种做法只在一些要求不严格的场合使用时有效，而对于一些要求严格的场合，如需要对身份证件的图像文件或纸制文件进行存档，此时手机拍摄得到的图像则无法使用，只能提供由扫描仪扫描得到的图像文件或由复印机复印出的纸制文件。对比由手机摄像头拍摄得到的图像文件和扫描仪扫描得到的图像文件可知，由于手机摄像头与整体证件各个部分的距离不同造成手机拍摄得到的图像会发生变形，因而，无论用户如何摆正原始文件、如何端正手机摄像头都无法得到正正方方、如同扫描仪扫描得到的图像文件。

发明内容

针对现有技术中存在的技术问题，本发明提出了一种图片矫正方法及装置，用以矫正具有固定版面、样式的拍摄对象照片的图像形变。

为了解决上述技术问题，根据本发明的一个方面，本发明提供了一种图片矫正方法，包括以下步骤：

从原始图片中获取有效图像区域；

在所述有效图像区域中预测出预置位置的关键点；

获取与原始图片类型相同的标准图片中的对应标准关键点；

根据标准关键点及预测的关键点构造第一变换矩阵；以及

根据所述第一变换矩阵对所述原始图片的有效图像区域进行透视变换以获得矫正后的正向图片。

优选地，所述方法通过采用Yolo模型从原始图片中检测出图片的有效图像区域。

优选地，其中所述关键点至少包括有效图像区域的顶点。

优选地，当有效图像区域为矩形时，所述关键点还包括四个边的中点、两个对角线的交点及对角线交点与四个顶点之间的中点；根据有效图像区域的顶点、四个边的中点、两个对角线的交点及对角线交点与四个顶点之间的中点及对应标准关键点构造所述第一变换矩阵。

优选地，当所述原始图片为具有标准样式、标准参数项的图片时，所述关键点还包括多个与标准参数项位置对应的点；根据有效图像区域和标准图片中的对应标准参数项位置点构造第二变换矩阵；对所述第一变换矩阵和第二变换矩阵按照权重进行加权计算以得到最优变换矩阵；以及根据所述最优变换矩阵对所述原始证件图片的有效图像区域进行透视变换以获得矫正后的正向图片。

优选地，当所述原始图片为带有标准样式的头像的图片时，其中进一步包括：识别所述头像，根据所述头像确定头像所在矩形框；在所述头像所在的矩形框确定至少四个点；获取相同类型标准图片中的头像矩形框的至少四个对应点；根据所述至少四对对应点构造第三变换矩阵；对所述第一变换矩阵和第三变换矩阵，或对所述第一变换矩阵、第二变换矩阵和第三变换矩阵按照权重进行加权计算以得到最优变换矩阵；以及根据所述最优变换矩阵对所述原始证件图片的有效图像区域进行透视变换以获得矫正后的正向图片。

优选地，通过CPN模型预测所述关键点。

根据本发明的另一个方面，本发明提供了一种图片矫正装置，其中包括图像预处理模块、关键点预测模块、矩阵计算模块和变换模块，其中，所述图像预处理模块经配置以从原始图片中获取有效图像区域；所述关键点预测模块与所述图像预处理模块相连接，经配置在所述有效图像区域中预测出预置位置的关键点；所述矩阵计算模块与所述关键点预测模块相连接，经配置以根据预测出的关键点和标准图片中的对应标准关键点进行映射计算以构造出第一变换矩阵；所述变换模块分别与所述图像预处理模块和矩阵计算模块相连接，经配置以根据所述第一变换矩阵对所述原始图片的有效图像区域进行透视变换以获得矫正后的图片。

本发明提供的方法和装置能够自动进行图像矫正，处理速度快、矫正效果好，不需要人为操作，因而可以大批量地处理图像文件，为图像文件后续的信息识别和提取提供了良好的图像基础。

附图说明

下面，将结合附图对本发明的优选实施方式进行进一步详细的说明，其中：

图1是根据本发明的一个实施例的图片矫正方法流程图；

图2是根据本发明的一个实施例的身份证原始图片示意图；

图3是根据本发明的一个实施例的身份证图片的有效图像区域示意图；

图4是根据本发明的一个实施例的身份证图片有效图像区域中应预测出的关键点分布示意图；

图5是根据本发明的一个实施例的标准身份证图片上的关键点分布示意图；

图6是根据本发明的一个实施例的矫正后的正向身份证图片示意图；

图7是根据本发明的一个实施例的图片矫正装置的原理框图；

图8是根据本发明的另一个实施例的图片矫正装置的原理框图；

图9是根据本发明的又一个实施例的图片矫正装置的原理框图；

图10是根据本发明一个应用实施例的原理示意图；以及

图11是根据本发明另一个应用实施例的原理示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解，还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。

本发明提供了一种图片矫正方法和装置，用于矫正具有固定版面和样式的拍摄对象的照片图像。在人们的日常生活中，常使用储如手机等摄像设备拍摄身份证、护照、标准表格文件等的照片，这些拍摄对象具有固定的版面和样式的特点。如所有身份证、所有同一国家签发的护照尺寸大小相同，版面相同，具有相同的标准参数项，如护照都在同一位置、采用同样字体设置有“姓”、“名”、“出生地”、“护照号码”等项目，身份证上都包括位于标准矩形框中的头像、“姓名”、“性别”、“出生”、“住址”和“公民身份号码”等项目。同理，其它一些如各种行业资格证(如会计执业资格证书、律师执业资格证书)、一些标准表格都具有相同的版面和样式。在采用摄像设备拍摄这些对象时，其照片常常会发生图像变形的现象。虽然目前一些如手机中自带的图片处理应用能够提供裁剪、平移、旋转等操作，但需要用户手工操作。一些专业图像处理应用可以提供复杂的图像处理操作，但是需要用户具有一定的专业知识。另外，在某些应用场景下，直接从用户上传的图像文件中识别、提取信息可以显著提高用户信息填写、采集效率，为了提高信息识别、提取的准确率，在信息提取之前，需要对图像进行轿正，以克服由于摄像头与整体文件各个部分的距离不同造成的图像变形的问题。而人工操作显然无法满足大批量处理数据的需求，而且人工操作的质量不可控。本发明提供的方法和装置解决了这一问题，可以自动、大量地进行图片矫正，处理速度快、矫正效果好，为后续的信息识别、提取提供了良好的图像。

图1是根据本发明一实施例的图片矫正方法流程图。在本实施例中，以身份证图片为例，对本发明提供方法进行说明如下：

步骤S1，从原始图片中获取有效图像区域。如图2所示，原始图片1中除了包括拍摄对象的图像区域11外，还或多或少地包括背景图像区域10。为了避免过多的背景图像区域10影响矫正效果，首先从原始图片1中检测出拍摄对象的有效图像区域。在一个实施例中，使用Yolo模型进行图像检测，从而检测到身份证(拍摄对象)所在的有效图像区域12，并将其从原始图片1中剪裁出来得到图3所示的图像。

步骤S2，从所述有效图像区域12中预测出预置位置的关键点。本发明针对不同的文件图像需要预测出位于不同位置的不同数量的关键点。所述多个关键点的集合能够确定一个图像的变形情况，如在水平方向、垂直方向的变形，旋转的角度等。关键点的数量越多，变形情况的确定越准确，但是计算则越复杂，越耗资源。因而在满足精度要求下，适当数量关键点的可以取得处理速度快、占用资源少的优点。

关键点实施例一

在一个实施例中，当矫正对象的形状为矩形时，如身份证，要预测的关键点至少包括矩形的四个顶点，为了获得更多变形信息，还应预测出图像某些位置的点。在一个实施例中，需要预测出如图4所示的13个第一关键点，如图4所示，包括四个矩形顶点、四个边的中点、两个对角线的交点、对角线交点与四个顶点之间的中点。在一实施例中，采用CPN(Cascaded PyramidNetwork，级联金字塔网络)模型可以预测出所述13个关键点(为区别于采用其他方式确定的关键点，将本实施例中确定的关键点称为第一关键点)。所述CPN网络主要包括GlobalNet和RefineNet，所述GlobalNet是一个基于resnet(残差网络)的具有U型结构的卷积神经网络，用于特征提取。在本实施例中，所述GlobalNet可以完成关键点的粗检测，比如能够检测到一些特征明显的、易于查找的关键点。所述RefineNet通过把GlobalNet特征提取部分的每一层的特征进行上采样和结合，以得到更详细的图像特征，再从这些特征进行关键点的检测，从而检测到一些不太容易被检测到的关键点。

为了在预置位置检测出预置数量的关键点，需要采用样本训练一个CPN网络以得到CPN模型。首先构造图像样本集。根据矫正对象的类型，在其图片上标记关键点，例如，对于身份证图像，按照图4所示标记出13个关键点，从而构造出一个图像样本。图像样本集中尽可能多地包括体现出各种图像变形的样本，从而增加预测的准确性。然后将所述图像样本输入到CPN网络中，对其进行训练，使其学习到这些关键点的位置。在训练过程中观察监测指标如损失loss和准确率来判断当前模型处于什么样的训练状态，及时调整超参数以更科学地训练模型，提高资源利用率。所述的超参数例如为学习率(Learning rate，简称Lr)、批次大小(Batchsize)、优化器optimizer、迭代次数和激活函数等等。经过上述的训练和超参数的调整，最终得到一个最优的CPN模型。其可以准确地从任何一个图像中预测出所需要的关键点。本实施例利用所述CPN模型从所述有效图像区域12中预测出所需要的关键点。

关键点实施例二

对于拍摄对象具有标准样式、标准参数项时，可以利用这些标准参数项获取关键点。例如身份证上具有的参数项“姓名”、“性别”、“民族”及“公民身份号码”等参数项，中国护照上的中英文“姓”、“名”、“出生日期”、“有效期”、“出生地”等参数项。这些参数项具有固定且标准的样式、排版相同。因而，在参数项位置设置的点同样可以得到后续的矩阵。为区别于实施例中的关键点，将本实施例中对应标准参数项位置的点称为第二关键点。通过训练CPN模型，可以从任意一种拍摄对象图片中预测到对应的第二关键点。例如，在身份证正面图片的“姓名”、“性别”、“民族”前各预测一点，在“公民身份号码”前后两端各预测一点，身份证前后两端各预测一点，“年”、“月”、“日”前或后各一点；在身份证反面图片上，在国徽的水平对称轴和垂直对称轴上的两个端点、第一行文字的“中”前预测一点，第一行文字的“国”后预测一点，第二行文字的“居”前预测一点，第二行文字的“证”后预测一点，“签发机关”和“有效期限”前各预测一点。

同理，对于中国护照上的照片的四个顶点位置各设置一个关键点，顶部文字行两个端点，底部文字行的两个端点，中间几个重要项目的文字说明行前的位置，如姓、名、出生日期、有效期、出生地前的位置各设置一个关键点。对于一些行业的资格证书，如会计执业资格证书、律师执业资格证书等等，根据需要，同样可以设置对应的CPN模型预测相应的第二关键点。

关键点实施例三

当拍摄对象带有标准样式的头像时，可以利用所述头像确定关键点，在此称为第三关键点。例如，识别原始图片中的所述头像，根据所述头像确定头像所在矩形框。在所述头像所在矩形框上确定至少四个点。例如，护照上的人物照片具有统一的规格，与背景相比，具有显示的矩形边界。同类资格证书上的照片具有同样的特点。通过识别拍摄对象上的人物照片有效区域可以获得头像所在矩形框，在该矩形框预测出顶点、四边中点等作为第三关键点。

步骤S3，获取与原始图片类型相同的标准图片中的对应标准关键点。对于第一关键点来说，从其标准图片上获得如图5所示的13个关键点。对于第二关键点来说，从其相同类别的标准图片中对应参数项的对应位置获取标准关键点。对于第三关键点来说，从相同类别的标准图片中的人物头像矩形框中的对应位置获取标准关键点。

步骤S4，根据标准关键点及预测出的关键点构造变换矩阵；即通过映射计算，将从图4中预测得到的13个点坐标映射到一个如图5所示的正规身份证件图像的对应点的坐标，此时得到一个映射矩阵，即用于透视变换的变换矩阵。

例如，根据以下公式1-1计算出3x3的变换矩阵：

其中，(u,v,w)为原图像中的一个点坐标，如图4中预测得到的一个关键点坐标；(x’,y’,w’)为齐次坐标；

其为变换矩阵。

由于本发明处理的是二维图像，因而w和a₃₃恒定为1，且：

x＝x′/w′ 1-2

y＝y′/w′ 1-3

(x,y)为透视变换后图像中的坐标，如图5所示的正规身份证件图像中对应点的坐标。

通过公式1-1及1-2和1-3可以得出：

从公式1-4和1-5可知，当已知4对对应点坐标后，通过8个方程式可以计算出所需的变换矩阵

本发明中的各类关键点(第一、二、三关键点)都至少包括4个点，因而通过每4对关键点得到一个变换矩阵M，并对多个变换矩阵M进行线性回归以得到一个最优的变换矩阵M，从而提高了变换的精度和准确率。

步骤S5，根据所述变换矩阵M对所述原始图片的有效图像区域12进行透视变换以获得矫正后的图片。例如，设有效图像区域一个象素点的坐标为(x,y)，对应的矫正后的图片的一个象素点的目标坐标为(x’,y’)，则根据以下公式1-6可以得到目标坐标(x’,y’)。

其中，以矩阵形式表示象素点的坐标，M为前述的变换矩阵。

对所述通过上述公式，将有效图像区域12的象素点的坐标经过上述转换后，再为其赋予象素值，则得到了矫正后的正向图像，如图6所示。

由于关键点至少可以采用前述三种方式获得三种关键点，因而，可以任意采用一种关键点及其对应标准关键点确定出的变换矩阵对原始图像进行透射变换。或者是，当原始图片符合获取第一、二、三关键点时，分别利用第一、二、三关键点获得各自的变换矩阵，再根据各自的权重计算出最优的变换矩阵。例如，当根据第一关键点和第二关键点得到第一变换矩阵和第二变换矩阵时，以0.8作为第一变换矩阵的权重，0.2作为第二变换矩阵的权重进行计算。例如，以矩阵中的a₁₁为例，第一变换矩阵中的第一元素为a₁₁₁，第二变换矩阵的第一元素为a₁₁₂，经过加权计算得到a₁₁＝0.8a₁₁₁+0.2a₁₁₂。

当根据第一、二、三关键点分别得到第一、二、三变换矩阵时，以0.7作为第一变换矩阵的权重，0.1作为第二变换矩阵的权重进行计算0.2作为第二变换矩阵的权重进行计算。以矩阵中的a₁₁为例，第一变换矩阵中的第一元素为a₁₁₁，第二变换矩阵的第一元素为a₁₁₂，第三变换矩阵的第一元素为a₁₁₃，经过加权计算得到a₁₁＝0.7a₁₁₁+0.1a₁₁₂+0.2a₁₁₃。

经过对矩阵中的各个元素进行如上所述的加权计算得到一个最优的变换矩阵，以最优的变换矩阵对原始图像进行透射变换，从而可以得到更佳的矫正效果。

图7是根据本发明一个实施例的图片矫正装置的原理框图。在本实施例中，以图2中所示的身份证图片为例。所述图片矫正装置包括图像预处理模块1、关键点预测模块2、矩阵计算模块3和变换模块4。其中，所述图像预处理模块1经配置以从原始图片中获取有效图像区域。在一个实施例中，所述图像预处理模块1为一Yolo模型模块，其采用Yolo(You OnlyLook Once:Unified,Real-Time Object Detection)算法对原始图片提取特征并进行预测，从而得到有效图像区域，并将其从原始图像中剪裁出来得到可以进行处理的图像，如图3所示的图像。所述关键点预测模块2与所述图像预处理模块1相连接，经配置在所述有效图像区域中12预测出预置位置的关键点。在一个实施例中，所述关键点预测模块2为一个训练好的CPN模型模块，其提供用于预测各种文件图像、证件图像关键点的CPN模型，根据输入图像的类型，选择对应的CPN模型进行图像处理。在本实施例中，输入的图像为身份证图像，CPN模型输出的是如图4所示的13个关键点。当输入的是标准护照图像，所述关键点预测模块2采用预测护照关键点的CPN模型，当输入的是标准表格图像时，所述关键点预测模块2采用预测表格关键点的CPN模型……。根据图像中的不同拍摄对象，关键点的数量及位置除了可以采用图4所示的身份证关键点的位置外，还可以在一些标准参数项上设置关键点。或者获取拍摄对象上的与人物头像对应的关键点。所述矩阵计算模块3与所述关键点预测模块2相连接，根据处理的图片的类别，获取相应类别的标准图片中的对应标准关键点，和预测出的关键点进行映射计算以构造出变换矩阵M。计算过程如图1步骤4中所示，在此不再重复说明。所述变换模块4分别与所述图像预处理模块1和矩阵计算模块3相连接，根据所述变换矩阵M对所述原始图片的有效图像区域按照公式1-6进行透视变换以获得矫正后的正向图片。

图8是根据本发明另一实施例的图片矫正装置的原理框图。在本实施例中，所述待矫正的原始图片是具有人物头像和标准参数项的证件图片。本实施例在图7所示实施例的基础上，所述关键点预测模块2包括第一关键点预测单元21、第二关键点预测单元22和第三关键点预测单元23，对应地，所述矩阵计算模块3包括第一变换矩阵计算单元31、第二变换矩阵计算单元32和第三变换矩阵计算单元33和加权计算单元34，另外还包括头像识别模块5。

在本实施例中，每个关键点预测单元采用一个CPN模型对有效图像区域中进行关键点预测。其中，第一关键点预测单元21按照前述方法实施例中的关键点实施例一预测得到13个第一关键点，对应地，矩阵计算模块3中的第一变换矩阵计算单元31根据所述13个第一关键点计算得到一个第一变换矩阵M1。

第二关键点预测单元22按照前述方法实施例中的关键点实施例二预测得到多个标准参数项对应位置的第二关键点，对应地，矩阵计算模块3中的第二变换矩阵计算单元32根据多个第二关键点计算得到一个第二变换矩阵M2。

头像识别模块5对有效图像区域中的人物头像进行识别，从而得到人物头像所在的矩形框。

第三关键点预测单元23按照前述方法实施例中的关键点实施例三，从原始图像上的人物头像矩形框上预测到多个第三关键点，对应地，矩阵计算模块3中的第三变换矩阵计算单元33根据多个第三关键点计算得到一个第三变换矩阵M3。

加权计算单元34分别与第一变换矩阵计算单元31、第二变换矩阵计算单元32和第三变换矩阵计算单元33相连接，根据对应不关键点的权重对三个变换矩阵中的元素分别进行加权计算，最终得到一个最优变换矩阵M。变换模块4按照所述最优变换矩阵M对原始图片的有效图像区域进行变换，从而得到矫正后的正向图像。

本实施例通过不同关键点提取方法从原始图片中获取关键点，从而可以更加精确地得到图像的变形情况，并且根据各种关键点对变换效果精确度的贡献确定各自的权重，从而能够更精确地矫正图像，达到更好的矫正效果。

图9是根据本发明又一个实施例的图片矫正装置的原理框图。在本实施例中，所述待矫正的原始图片是具有人物头像和标准参数项的矩形证件图片。本实施例在图7所示实施例的基础上，所述关键点预测模块2包括第一关键点预测单元21、第二关键点预测单元22和第三关键点预测单元23。每个关键点预测单元采用一个CPN模型对有效图像区域中进行关键点预测。其中，第一关键点预测单元21按照前述方法实施例中的关键点实施例一预测得到4-13个第一关键点；第二关键点预测单元22按照前述方法实施例中的关键点实施例二预测得到至少4个标准参数项对应位置的第二关键点，第三关键点预测单元23按照前述方法实施例中的关键点实施例三，从原始图像上的人物头像矩形框上预测到至少4个第三关键点。矩阵计算模块3接收所述三种关键点，对多个关键点进行排列组合，结合对应的标准关键点计算得到多个变换矩阵M，并对所述多个变换矩阵M进行线性回归计算，从而得到一个最优变换矩阵M，变换模块4按照所述最优变换矩阵M对原始图片的有效图像区域进行变换，从而得到矫正后的图像。

图10是根据本发明一个应用实施例的原理示意图。在本实施例中，用户终端100a中安装有所述图片矫正装置200a的应用客户端。在一个实施例中，图7-9中的所有模块都设置在客户端，好处是用户终端100a在没有网络支持的环境中仍然可以矫正图片。在另一些实施例中，只将图像预处理模块1设置在客户端，其他模块设置在云端300a的服务端，好处是客户端占用空间小，云端服务器的计算能力强，在矫正时不占用用户资源。当用户需要使用证件图片时，其可使用用户终端100a中的摄像头拍摄证件图片，利用图片矫正装置200a对拍摄完的证件图片进行矫正，以得到一个没有形变的、合格的证件图片。在图片矫正过程中，不需要用户人工干预，所述图片矫正装置200a自动完成图片的矫正。更好地，所述图片矫正装置200a还可以集成一些其它图像处理功能，如饱和度、亮度等的处理，以改善图片的画质。或者，用户终端100a中安装有图像文字识别装置，其可以识别图像中的文字。例如，当用户需要填写标准表格的信息时，其可调取或拍摄已填写过的文件图片，利用图片矫正装置200a对其进行矫正后，识别文件图片中的文字，用户可利用已识别出来的文字填写重复内容，从而可以显著提高填写效率。

图11是根据本发明另一个应用实施例的原理示意图。在本实施例中，数据处理系统100b用于从用户上传到云端的图像文件中识别、提取文字信息。例如招聘平台的数据处理系统可以从用户上传的毕业证书、资格证书、身份证、具有标准格式的简历(对于应聘者而言)、招聘简章(对于招聘者而言)中提取出相应的文字内容，一方面用于生成用户档案，另一方面根据这些信息为用户推送职位信息、人才信息等。其中，当用户提供的是图片格式的文件时，数据处理系统100b需要从图片文件中识别出文字信息。其中，云端的用户图片库300b存储有各种用户上传的图片文件，数据处理系统100b在对图片文件进行识别、提取之前，利用图片矫正装置200b对图片进行矫正以消除图像变形问题。图片矫正装置200b利用图1的处理流程对数据处理系统100b输入的图片进行处理，并将矫正后的图片文件发送给数据处理系统100b进行下一步的操作，矫正处理速度快、效果好，从而提高了数据处理系统100b的信息识别、采集的效率和准确率。

上述实施例仅供说明本发明之用，而并非是对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本发明公开的范畴。

Claims (12)

1.一种图片矫正方法，其中包括：

从原始图片中获取有效图像区域；

在所述有效图像区域中预测出预置位置的关键点；

获取与原始图片类型相同的标准图片中的对应标准关键点；

根据标准关键点及预测的关键点构造第一变换矩阵；以及

根据所述第一变换矩阵对所述原始图片的有效图像区域进行透视变换以获得矫正后的正向图片。

2.根据权利要求1所述的图片矫正方法，其中通过采用Yolo模型从原始图片中检测出图片的有效图像区域。

3.根据权利要求1所述的图片矫正方法，其中所述关键点至少包括有效图像区域的顶点。

4.根据权利要求3所述的图片矫正方法，其中当有效图像区域为矩形时，所述关键点还包括四个边的中点、两个对角线的交点及对角线交点与四个顶点之间的中点；根据有效图像区域的顶点、四个边的中点、两个对角线的交点及对角线交点与四个顶点之间的中点及对应标准关键点构造所述第一变换矩阵。

5.根据权利要求4所述的图片矫正方法，其中当所述原始图片为具有标准样式、标准参数项的图片时，所述关键点还包括多个与标准参数项位置对应的点；根据有效图像区域和标准图片中的对应标准参数项位置点构造第二变换矩阵；

对所述第一变换矩阵和第二变换矩阵按照权重进行加权计算以得到最优变换矩阵；以及

根据所述最优变换矩阵对所述原始证件图片的有效图像区域进行透视变换以获得矫正后的正向图片。

6.根据权利要求4或5所述的图片矫正方法，其中当所述原始图片为带有标准样式的头像的图片时，其中进一步包括：

识别所述头像，根据所述头像确定头像所在矩形框；

在所述头像所在的矩形框确定至少四个点；

获取相同类型标准图片中的头像矩形框的至少四个对应点；

根据所述至少四对对应点构造第三变换矩阵；

对所述第一变换矩阵和第三变换矩阵，或对所述第一变换矩阵、第二变换矩阵和第三变换矩阵按照权重进行加权计算以得到最优变换矩阵；以及

根据所述最优变换矩阵对所述原始证件图片的有效图像区域进行透视变换以获得矫正后的正向图片。

7.根据权利要求1所述的图片矫正方法，其中通过CPN模型预测所述关键点。

8.一种图片矫正装置，其中包括：

图像预处理模块，经配置以从原始图片中获取有效图像区域；

关键点预测模块，其与所述图像预处理模块相连接，经配置在所述有效图像区域中预测出预置位置的关键点；

矩阵计算模块，其与所述关键点预测模块相连接，经配置以根据预测出的关键点和标准图片中的对应标准关键点进行映射计算以构造出第一变换矩阵；以及

变换模块，其分别与所述图像预处理模块和矩阵计算模块相连接，经配置以根据所述第一变换矩阵对所述原始图片的有效图像区域进行透视变换以获得矫正后的正向图片。

9.根据权利要求8所述的图片矫正装置，其中所述图像预处理模块采用Yolo模型从原始图片中检测出图片的有效图像区域。

10.根据权利要求8所述的图片矫正装置，其中所述关键点预测模块包括：

第一关键点预测单元，其与所述图像预处理模块相连接，经配置以从矩形有效图像区域中预测出第一关键点，所述第一关键点包括矩形有效图像区域的四个顶点、四个边的中点、两个对角线的交点及对角线交点与四个顶点之间的中点中的任意四个以上的点；

对应地，所述矩阵计算模块包括第一变换矩阵计算单元，其与所述第一关键点预测单元相连接，经配置以根据预测出的多个第一关键点和标准图片中的对应第一标准关键点进行映射计算以构造出第一变换矩阵。

11.根据权利要求10所述的图片矫正装置，其中所述关键点预测模块还包括：

第二关键点预测单元，其与所述图像预处理模块相连接，经配置以从具有标准样式、标准参数项的矩形有效图像区域中预测出第二关键点，所述第二关键点包括多个与标准参数项位置对应的点；

对应地，所述矩阵计算模块包括：

第二变换矩阵计算单元，其与所述第二关键点预测单元相连接，经配置以根据预测出的多个第二关键点和标准图片中的对应第二标准关键点进行映射计算以构造出第二变换矩阵；和

加权计算单元，其与所述第一变换矩阵计算单元和第二变换矩阵计算单元相连接，经配置对所述第一变换矩阵和第二变换矩阵按照权重进行加权计算以得到最优变换矩阵；

对应地，所述变换模块分别与所述图像预处理模块和加权计算单元相连接，经配置以根据所述最优变换矩阵对所述原始图片的有效图像区域进行透视变换以获得矫正后的正向图片。

12.根据权利要求11所述的图片矫正装置，其中还包括：

头像识别模块，经配置以识别有效图像区域中的头像，并根据所述头像确定头像所在矩形框；

对应地，所述关键点预测模块还包括第三关键点预测单元，其与所述头像识别模块相连接，经配置以在头像矩形框上预测至少四个第三关键点；

对应地，所述矩阵计算模块包括第三变换矩阵计算单元，其与所述第三关键点预测单元相连接，经配置以根据预测出的多个第三关键点和标准图片中的对应第三标准关键点进行映射计算以构造出第三变换矩阵；

加权计算单元与所述第一变换矩阵计算单元、第二变换矩阵计算单元和第三变换矩阵计算单元相连接，经配置对所述第一变换矩阵、第二变换矩阵和第三变换矩阵按照权重进行加权计算以得到最优变换矩阵，并输送给所述变换模块。

Images