CN113657384B - 证件图像的矫正方法及装置、存储介质及电子设备 - Google Patents
证件图像的矫正方法及装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113657384B CN113657384B CN202111026650.XA CN202111026650A CN113657384B CN 113657384 B CN113657384 B CN 113657384B CN 202111026650 A CN202111026650 A CN 202111026650A CN 113657384 B CN113657384 B CN 113657384B
- Authority
- CN
- China
- Prior art keywords
- image
- key point
- fitting
- straight line
- certificate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000003702 image correction Methods 0.000 title description 5
- 238000012545 processing Methods 0.000 claims abstract description 63
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 claims abstract description 10
- 238000012216 screening Methods 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000012015 optical character recognition Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Editing Of Facsimile Originals (AREA)
Abstract
本发明提供一种证件图像的矫正方法及装置、存储介质及电子设备，该方法包括：获取待矫正图片，对待矫正图片进行处理，得到待矫正图片中的证件图像的每条图像边上的多个关键点；对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线；确定证件图像的各个边框组，并确定每个边框组所对应的拟合直线相交后得到的交点，并将该交点作为证件图像的角点；对证件图像的各个角点进行透射变换，得到矫正后的证件图像。使用本发明可以对变形的证件图像进行矫正，从而无需用户多次对证件进行拍摄，进而为用户提供更加优质的服务，提高用户的使用体验。
Description
技术领域
本发明涉及图像矫正技术领域，特别涉及一种证件图像的矫正方法及装置、存储介质及电子设备。
背景技术
光学字符识别(Optical Character Recognition，OCR)是指对带有字符的图像文件进行分析处理，获取文字及版面信息的技术。证件文字OCR是指使用光学字符识别技术对证件照片进行处理，从而提取并识别证件上的用户信息(比如提取身份证照片上的用户姓名、生日、证件有效期等信息)。
随着证件文字OCR技术的不断成熟，在很多需要录入证件信息的应用场景中，将手动打字录入的方式改成了证件拍照，使用证件文件OCR技术获取证件内容的方式。而用户在对证件进行拍照时，通常因为拍摄角度以及距离的原因，使得证件的影像在图片中出现倾斜或是所占比例较小的情况，这种类型的证件图片上的用户信息难以被提取，用户需要多次对证件进行拍摄，给用户带来了不好的应用体验。
发明内容
有鉴于此，本发明提供一种证件图像的矫正方法及装置、存储介质及电子设备，应用本发明可以对证件图像进行矫正，从而无需用户多次对证件进行拍摄，为用户提供优质的服务，提高用户的使用体验。
为实现上述目的，本发明实施例提供如下技术方案：
一种证件图像的矫正方法，包括：
获取待矫正图片，所述待矫正图片中包含证件图像；
对所述待矫正图片进行处理，得到所述待矫正图片中的证件图像的每条图像边上的多个关键点；
对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线；
确定所述证件图像的各个边框组，其中，所述边框组中包含相邻的两条图像边；
对于每个所述边框组，确定该边框组中的图像边的拟合直线相交后得到的交点，并将该交点作为所述证件图像的角点；
对所述证件图像的各个角点进行透射变换，得到矫正后的证件图像。
上述的方法，可选的，所述对所述待矫正图片进行处理，得到所述待矫正图片中的证件图像的每条图像边上的多个关键点，包括：
使用预设的关键点检测算法对所述证件图像进行处理，确定所述证件图像的每条图像边上的多个关键点。
上述的方法，可选的，所述对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线，包括：
基于所述证件图像的各个关键点，得到关键点筛选阈值；
对于所述证件图像的每条图像边，调用所述关键点筛选阈值对于该图像边的各个关键点进行直线拟合处理，得到该图像边的拟合直线。
上述的方法，可选的，所述基于所述证件图像的各个关键点，得到关键点筛选阈值，包括：
确定最小外接矩形，其中，所述最小外接矩形包含所述证件图像的各个关键点；
确定所述最小外接矩形的宽度和高度；
对所述宽度和高度进行运算，得到关键点筛选阈值。
上述的方法，可选的，所述对于所述证件图像的每条图像边，调用所述关键点筛选阈值对于该图像边的各个关键点进行直线拟合处理，得到该图像边的拟合直线，包括：
将所述图像边的各个关键点进行排列组合，得到至少一个关键点组合；
对每个所述关键点组合中的各个关键点进行拟合运算，得到每个所述关键点组合的拟合误差；
将拟合误差最小的关键点组合确定为第一目标组合，并将对所述第一目标组合进行拟合后得到的直线作为目标直线；
将不属于所述第一目标组合的各个关键点均确定为待定点，并确定每个所述待定点到所述目标直线的最短路径的路径值；
将各个所述路径值与所述关键点筛选阈值进行比较，并将大于所述关键点筛选阈值的路径值所对应的待定点加入所述第一目标组合中，得到第二目标组合；
基于所述第二目标组合中的各个关键点，对所述第二目标组合进行拟合运算，并将拟合得到的直线作为所述图像边的拟合直线。
上述的方法，可选的，还包括：
将所述矫正后的证件图像发送至预设的处理设备，使得所述处理设备对所述校正后的证件图像进行处理。
一种证件图像的矫正装置，包括：
获取单元，用于获取待矫正图片，所述待矫正图片中包含证件图像；
处理单元，用于对所述待矫正图片进行处理，得到所述待矫正图片中的证件图像的每条图像边上的多个关键点；
拟合单元，用于对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线；
第一确定单元，用于确定所述证件图像的各个边框组，其中，所述边框组中包含相邻的两条图像边；
第二确定单元，用于对于每个所述边框组，确定该边框组中的图像边的拟合直线相交后得到的交点，并将该交点作为所述证件图像的角点；
透射变换单元，用于对所述证件图像的各个角点进行透射变换，得到矫正后的证件图像。
上述的装置，可选的，所述处理单元，包括：
处理子单元，用于使用预设的关键点检测算法对所述证件图像进行处理，确定所述证件图像的每条图像边上的多个关键点。
上述的装置，可选的，所述拟合单元，包括：
获得子单元，用于基于所述证件图像的各个关键点，得到关键点筛选阈值；
调用子单元，用于对于所述证件图像的每条图像边，调用所述关键点筛选阈值对于该图像边的各个关键点进行直线拟合处理，得到该图像边的拟合直线。
上述的装置，可选的，所述获得子单元，包括：
第一确定模块，用于确定最小外接矩形，其中，所述最小外接矩形包含所述证件图像的各个关键点；
第二确定模块，用于确定所述最小外接矩形的宽度和高度；
获得模块，用于对所述宽度和高度进行运算，得到关键点筛选阈值。
上述的装置，可选的，所述调用子单元，包括：
排列组合模块，用于将所述图像边的各个关键点进行排列组合，得到至少一个关键点组合；
第一拟合运算模块，用于对每个所述关键点组合中的各个关键点进行拟合运算，得到每个所述关键点组合的拟合误差；
第三确定模块，用于将拟合误差最小的关键点组合确定为第一目标组合，并将对所述第一目标组合进行拟合后得到的直线作为目标直线；
第四确定模块，用于将不属于所述第一目标组合的各个关键点均确定为待定点，并确定每个所述待定点到所述目标直线的最短路径的路径值；
比较模块，用于将各个所述路径值与所述关键点筛选阈值进行比较，并将大于所述关键点筛选阈值的路径值所对应的待定点加入所述第一目标组合中，得到第二目标组合；
第二拟合运算模块，用于基于所述第二目标组合中的各个关键点，对所述第二目标组合进行拟合运算，并将拟合得到的直线作为所述图像边的拟合直线。
上述的装置，可选的，还包括：
发送单元，用于将所述矫正后的证件图像发送至预设的处理设备，使得所述处理设备对所述校正后的证件图像进行处理。
一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的证件图像的矫正方法。
一种电子设备，具体包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行所上述的证件图像的矫正方法。
与现有技术相比，本发明具有以下优点：
本发明提供一种证件图像的矫正方法及装置、存储介质及电子设备，该方法包括：获取待矫正图片，对待矫正图片进行处理，得到待矫正图片中的证件图像的每条图像边上的多个关键点；对于证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线；确定证件图像的各个边框组，并确定每个边框组所对应的拟合直线相交后得到的交点，并将该交点作为证件图像的角点；对证件图像的各个角点进行透射变换，得到矫正后的证件图像。使用本发明可以对变形的证件图像进行矫正，从而无需用户多次对证件进行拍摄，进而为用户提供更加优质的服务，提高用户的使用体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种证件图像的矫正方法的方法流程图；
图2为本发明实施例提供的一种证件图像的矫正方法的另一方法流程图；
图3为本发明实施例提供的一种经过处理的待矫正图片的图片示例图；
图4为本发明实施例提供的一种证件图像的矫正方法的再一方法流程图；
图5为本发明实施例提供的一种经过处理的待矫正图片的又一图片示例图；
图6为本发明实施例提供的一种矫正后的证件图像的图片实例图；
图7为本发明实施例提供的一种矫正后的证件图像的又一图片实例图；
图8为本发明实施例提供的一种证件图像的矫正装置的结构示意图；
图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
越来越多的应用场景开始使用证件的图片进行身份验证或是根据证件的图片提取用户信息，而用户在对证件进行拍摄时由于拍摄角度以及距离的原因，会导致证件在图片中出现倾斜或是所占比例较小的情况，这种类型的图片难以获取到证件中的用户信息，用户需要多次对证件进行拍摄，这给用户带来了不好的应用体验，为了解决这个问题，本发明提供一种证件图像的矫正方法，通过应用本发明提供的方法，可以对倾斜、形变的证件图进行矫正，以便通过矫正后的证件图获取用户信息，从而无需用户多次对证件进行拍摄，提高用户的应用体验。
本发明可应用于众多通用或是专用的计算机装置环境或是配置中，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本发明实施例提供一种证件图像的矫正方法，该方法的执行主体可为处理或服务器，参照图1，为本发明实施例提供的一种证件图像的矫正方法的方法流程图，具体说明如下所述：
S101、获取待矫正图片，所述待矫正图片中包含证件图像。
获取待矫正图片的方式有多种，具体如用户需要对图片进行矫正时，主动上传需要矫正的图片，又如接收到用户发送的矫正指令，该矫正指令中包含地址信息，系统在对矫正指令解析后，得到矫正指令中的地址信息，并根据地址信息获取待矫正图片。
S102、对所述待矫正图片进行处理，得到所述待矫正图片中的证件图像的每条图像边上的多个关键点。
对待矫正图片进行处理，以得到待矫正图片中的证件图像的每条图像边上的多个关键点，其中，每条图像边上的关键点的个数为第一预设数值，该第一预设数值可用N表示，N的取值范围为大于或等于3的正整数，N的具体数值可根据实际需求进行设置，优选的，本发明中的N的取值可为5，因此，在证件图像为矩形时，证件图像存在16个关键点。进一步的，每条图像边上的关键点的个数是相同的，而在实际应用中，有可能不同图像边上的关键点的个数是不同的，但是每条图像边上的关键点的个数要大于或等于3。
对待矫正图片进行处理，得到待矫正图片中的证件图像的每条图像边上的N个关键点的方法流程图，具体过程如下所述：
使用预设的关键点检测算法对所述证件图像进行处理，确定所述证件图像的每条图像边上的N个关键点。
需要说明的是，在使用关键点检测算法对证件图像进行处理之前，还可以使用预设的图片检测算法对所述待矫正图片进行处理，得到待矫正图片中包含证件图像的证件区域；通过使用图片检测算法确定出包含证件图像的证件区域，可以提高使用关键点检测算法确定出证件图像上的每条图像边上的关键点的准确度和精度。
本发明使用关键点检测算法对证件图像进行处理，从而可以得到证件图像的每条图像边上的N个关键点，关键点检测算法确定出的关键点的个数是根据用户预先设置的关键点数目进行确定的，具体如用户预先设置的关键点数目为16个，则关键点检测算法对证件图像进行处理后确定的关键点个数则为16个，通过使用关键点检测算法确定出证件图像的每条图像边的各个关键点，以便后续根据这些关键点对证件图像进行矫正。
S103、对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线。
本发明实施例提供的方法中，对所述证件图像的每条图像边各个关键点进行直线拟合处理，得到每条图像边的拟合直线的过程具体如下所述：
基于所述证件图像的各个关键点，得到关键点筛选阈值；
对于所述证件图像的每条图像边，调用所述关键点筛选阈值对于该图像边的各个关键点进行直线拟合处理，得到该图像边的拟合直线。
本发明中的关键点筛选阈值用于筛选关键点，参照图2，为本发明实施例提供的确定关键点筛选阈值的方法流程图，具体说明如下所述：
S301、确定最小外接矩形，其中，所述最小外接矩形包含所述证件图像的各个关键点。
参照图3，为本发明实施例提供的确定证件图像对应的最小外接矩形的示意图，其中，图3中的待矫正图片的证件图像中包含16个关键点，其中，证件图像的每条图像边都有5个关键点，为证件图像中的每个关键点进行编号，具体如图3所示，证件图像包含从0至15的16个关键点和最小外接矩形401，基于各个关键点，确定与证件图像对应的最小外接矩形，其中，最小外接矩形包含证件图像的各个关键点；由图3可知，关键点0至8以及关键点10至15均在最小外接矩形的边上，关键点9并没有在证件图像的最小外接矩形的边上，而是在最小外接矩形所形成的封闭区域内，因此可知，最小外接矩形包含证件图像的各个关键点，换言之，证件图像的各个关键点位于最小外接矩形的边上或是位于最小外接矩形所形成的封闭区域内。优选的，在实际应用的过程中，理想状态下的证件图像的各个关键点均位于最小外接矩形的边上。
确定证件图像的最小外接矩形有多种方式，例如使用python opencv进行图像裁剪以及使用opencv求最小外接矩阵的方式，只要这些确定外接矩阵的方法确定出的最小外接矩形涵盖了证件图像的各个关键点，则就可用于本发明确定证件图像的最小外接矩形。
S302、确定所述最小外接矩形的宽度和高度。
S303、对所述宽度和高度进行运算，得到关键点筛选阈值。
将宽度和高度代入预设的计算公式进行运算，得到关键点筛选阈值，其中，预设的计算公式如下所述：
其中，τ表示关键点筛选阈值；w表示最小外接矩形的宽度；h表示最小外接矩形的高度。
对于证件图像的每条图像边，对该图像边的各个关键点进行拟合处理，从而得到图像边的拟合直线，参照图4，为本发明实施例提供的确定图像边的拟合直线的方法流程图，具体说明如下所述：
S501、将图像边的各个关键点进行排列组合，得到至少一个关键点组合。
对于图像边的各个关键点，对各个关键点进行排列组合，从而得到至少一个关键点组合，其中，每个关键点组合中包含的关键点的个数是相同的，并且，关键点组合中包含的关键点的个数的取值范围在大于或等于第二预设数值且小于或等于第一预设数值内的正整数，其中，第二预设数值小于第一预设数值，优选的，第二预设数值为2；优选的，在关键点组合中包含的关键点的个数用M表示时，M的取值范围为大于或等于2且小于或等于N的正整数，即2≤M≤N，其中，N为大于或等于3的正整数。
结合图3进行说明，每个图像边有5个关键点，以其中一条图像边进行说明，将该图像边的5的关键点可用p1至p5。进一步的，以3个关键点为一组对图像边的各个关键点进行排列组合，由此共有种组合，得到的组合可记作P＝{Pi|i＝1,2,3,...,10}，其中，Pi表示得到的组合。
S502、对每个所述关键点组合中的各个关键点进行拟合运算，得到每个所述关键点组合的拟合误差。
对于每个关键点组合，对该关键点组合中的各个关键点进行拟合运算，得到该关键点组合的拟合误差，具体来说，将关键点组合代入最小二乘法的公式中进行拟合运算，从而可得到关键点组合的拟合误差，最小二乘法的公式具体如下所述：
Li,Di＝fit_line(Pi)，其中，fit_line()为最小二乘法，Li为拟合直线，Di为拟合误差，Pi为关键点组合。
S503、将拟合误差最小的关键点组合确定为第一目标组合，并将对所述第一目标组合进行拟合后得到的直线作为目标直线。
在图像边的各个拟合误差中，将拟合误差最小的拟合误差确定为目标拟合误差Dm，并将目标拟合误差Dm所对应的关键点组合确定为第一目标组合Pm1，并将第一目标组合所对应的拟合直线确定为目标直线Lm。
S504、将不属于所述第一目标组合的各个关键点均确定为待定点，并确定每个所述待定点到所述目标直线的最短路径的路径值。
假设第一目标组合Pm1中的关键点为p1、p3以及p5，则将p2和p4均确定为待定点，计算p2到目标直线的最短路径的路径值d1，以及计算p4到目标直线的最短路径的路径值d2。
S505、将各个所述路径值与所述关键点筛选阈值进行比较，并将大于所述关键点筛选阈值的路径值所对应的待定点加入所述第一目标组合中，得到第二目标组合。
将每个路径值与关键点筛选阈值进行比较，并将大于关键点筛选阈值的路径值所对应的待定点加入第一目标组合中，得到第二目标组合，进一步的，可能存在没有大于关键点筛选阈值的路径值的情况，在这种情况下，直接将第一目标组合确定为第二目标组合，可使用Pm2表示第二目标组合。
延续S504的说明，将路径值d1与关键点筛选阈值τ进行比对，若路径值d1大于τ，则将与路径值d1对应的p2加入第一目标组合中；若路径d1不大于τ，则不将与路径值d1对应的p2加入第一目标组合中；将路径值d2与关键点筛选阈值τ进行比对，若路径值d2大于τ，则将与路径值d2对应的p4加入第一目标组合中；若路径d2不大于τ，则不将与路径值d2对应的p4加入第一目标组合中。
S506、基于所述第二目标组合中的各个关键点，对所述第二目标组合进行拟合运算，并将拟合得到的直线作为所述图像边的拟合直线。
将第二目标组合代入最小二乘法的公式中进行拟合运算，从而将拟合得到的直线作为图像边的拟合直线，其中，最小二乘法的公式具体如S502所示，此处不再进行赘述。
本发明通过将图像边的多个关键点进行分组，对得到的每个关键点组合进行拟合，得到对应的拟合直线，在选出第一目标组合后，在剩余的关键点中继续选择满足条件的关键点，并将满足条件的关键点加入第一目标组合后得到第二目标组合，并将对第二目标组合进行拟合得到的直线作为最终的拟合直线，通过多次拟合，可以减少离群点对拟合结果的影响，可以提高对证件图像进行校正的鲁棒性。
S104、确定所述证件图像的各个边框组，其中，所述边框组中包含相邻的两条图像边。
参照图5进行说明，如图5所示，图中的0至15为证件图像上的关键点，进一步的，证件图像有4条图像边，将包含关键点0至4的图像边确定为上图像边，将包含关键点4至8的图像边确定为右图像边，将包含关键点8至12的图像边确定为下图像边，将包含关键点12至15的图像边确定为左图像边。
证件图像的边框组中包含相邻的两条图像边，因此，证件图像的边框组有4个，分别为包含上图像边和右图像边的边框组1，包含右图像边和下图像边的边框组2，包含下图像边和左图像边的边框组3，以及包含左图像边和上图像边的边框组4。
S105、对于每个所述边框组，确定该边框组中的图像边的拟合直线相交后得到的交点，并将该交点作为所述证件图像的角点。
如图5所示，图中的L1为上图像边的拟合直线，L2为右图像边的拟合直线，L3为下图像边的拟合直线，L4为左图像边的拟合直线。
边框组1所对应的拟合直线分别为L1和L2，L1和L2的交点为图5中的点B；边框组2所对应的拟合直线分别为L2和L3，L2和L3的交点为图5中的点C；边框组3所对应的拟合直线分别为L3和L4，L3和L4的交点为图5中的点D；边框组4所对应的拟合直线分别为L1和L4，L1和L4的交点为图5中的点A；因此，图5中的点A、B、C、D均为证件图像的角点。通过每条图像边所对应的拟合直线，确定出证件图像的各个角点，可以有效的在证件图片的角点存在遮挡时，准确的确定出证件图像被遮挡的角点，应用本发明可以确定出的证件图像的角点更加的准确。
S106、对所述证件图像的各个角点进行透射变换，得到矫正后的证件图像。
对证件图像的各个角点进行透射变换，从而得到矫正后的证件图像，矫正后的证件图像具体可参照图6；参照图7，为未应用本发明提供的方法进行矫正的证件图像，将图6和图7进行对比，由此可知，使用本发明提供的证件图像的矫正方法对证件图像进行矫正，可以得到效果更好、鲁棒性更强的证件图像。
本发明提供的方法可以对有遮挡物的证件图像进行矫正，并且在矫正的过程中并非是直接确定证件图像的角点，而是通过对多个关键点的拟合运算，从而确定证件图像的每条图像边的拟合直线，并将相邻的两条拟合直线的交点确定为证件图像的角点，最后通过对证件图像的角点进行透射变换，从而得到矫正的证件图像，应用本发明提供的方法得到的矫正的证件图像的图像效果更好、图像的鲁棒性更强，更能全面的展示用户的信息。
本发明实施例提供的方法中，在对证件图像进行矫正后，可将矫正后的图片发送至预设的展示设备，使得处理设备对所述校正后的证件图像进行处理，进一步的，可将图6发送至处理设备，此处的处理设备可为显示设备或是信息提取设备，若处理设备为显示设备时，可将矫正后的证件图像进行展示，若处理设备为信息提取设备时，可提取矫正后的证件图像中的用户信息。
本发明实施例提供的方法中，获取待矫正图片，对待矫正图片进行处理，得到待矫正图片中的证件图像的每条图像边上的多个关键点；对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线；确定证件图像的各个边框组，并确定每个边框组所对应的拟合直线相交后得到的交点，并将该交点作为证件图像的角点；对证件图像的各个角点进行透射变换，得到矫正后的证件图像，矫正后的证件图像可全面的展示用户的信息，使用本发明提供的方法得到的矫正后的证件图像的鲁棒性更强，展示的用户的信息更为全面，无需因为拍摄角度或是拍摄距离的原因让用户多次对证件进行拍摄，从而为用户提供优质的服务和提高用户的使用体验。
与图1所示的方法相对应的，本发明实施例还提供一种证件图像的矫正装置，具体可应用在个人计算机终端或是分布式计算环境中，该装置用于支持图1所示的方法在实际中的应用，该装置的结构示意图如图8所示，具体说明如下所述：
获取单元801，用于获取待矫正图片，所述待矫正图片中包含证件图像；
处理单元802，用于对所述待矫正图片进行处理，得到所述待矫正图片中的证件图像的每条图像边上的多个关键点；
拟合单元803，用于对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线；
第一确定单元804，用于确定所述证件图像的各个边框组，其中，所述边框组中包含相邻的两条图像边；
第二确定单元805，用于对于每个所述边框组，确定该边框组中的图像边的拟合直线相交后得到的交点，并将该交点作为所述证件图像的角点；
透射变换单元806，用于对所述证件图像的各个角点进行透射变换，得到矫正后的证件图像。
本发明实施例提供的方法中，获取待矫正图片，对待矫正图片进行处理，得到待矫正图片中的证件图像的每条图像边上的多个关键点；对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线；确定证件图像的各个边框组，并确定每个边框组所对应的拟合直线相交后得到的交点，并将该交点作为证件图像的角点；对证件图像的各个角点进行透射变换，得到矫正后的证件图像，矫正后的证件图像可全面的展示用户的信息，使用本发明提供的方法得到的矫正后的证件图像的鲁棒性更强，展示的用户的信息更为全面，无需因为拍摄角度或是拍摄距离的原因让用户多次对证件进行拍摄，从而为用户提供优质的服务和提高用户的使用体验。
本发明实施例提供的装置中，所述处理单元802，可设置为：
处理子单元，用于使用预设的关键点检测算法对所述证件图像进行处理，确定所述证件图像的每条图像边上的多个关键点。
本发明实施例提供的装置中，所述拟合单元803，可设置为：
获得子单元，用于基于所述证件图像的各个关键点，得到关键点筛选阈值；
调用子单元，用于对于所述证件图像的每条图像边，调用所述关键点筛选阈值对于该图像边的各个关键点进行直线拟合处理，得到该图像边的拟合直线。
本发明实施例提供的装置中，所述获得子单元，可设置为：
第一确定模块，用于确定与所述证件图像对应的最小外接矩形，其中，所述最小外接矩形包含所述证件图像的各个关键点；
第二确定模块，用于确定所述最小外接矩形的宽度和高度；
获得模块，用于对所述宽度和高度进行运算，得到关键点筛选阈值。
本发明实施例提供的装置中，所述调用子单元，可设置为：
排列组合模块，用于将所述图像边的各个关键点进行排列组合，得到至少一个关键点组合；
第一拟合运算模块，用于对每个所述关键点组合中的各个关键点进行拟合运算，得到每个所述关键点组合的拟合误差；
第三确定模块，用于将拟合误差最小的关键点组合确定为第一目标组合，并将对所述第一目标组合进行拟合后得到的直线作为目标直线；
第四确定模块，用于将不属于所述第一目标组合的各个关键点均确定为待定点，并确定每个所述待定点到所述目标直线的最短路径的路径值；
比较模块，用于将各个所述路径值与所述关键点筛选阈值进行比较，并将大于所述关键点筛选阈值的路径值所对应的待定点加入所述第一目标组合中，得到第二目标组合；
第二拟合运算模块，用于基于所述第二目标组合中的各个关键点，对所述第二目标组合进行拟合运算，并将拟合得到的直线作为所述图像边的拟合直线。
本发明实施例提供的装置中，还可设置为：
发送单元，用于将所述矫正后的证件图像发送至预设的处理设备，使得所述处理设备对所述校正后的证件图像进行处理。
本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行下述操作：
获取待矫正图片，所述待矫正图片中包含证件图像；
对所述待矫正图片进行处理，得到所述待矫正图片中的证件图像的每条图像边上的多个关键点；
对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线；
确定所述证件图像的各个边框组，其中，所述边框组中包含相邻的两条图像边；
对于每个所述边框组，确定该边框组中的图像边的拟合直线相交后得到的交点，并将该交点作为所述证件图像的角点；
对所述证件图像的各个角点进行透射变换，得到矫正后的证件图像。
本发明实施例还提供了一种电子设备，其结构示意图如图9所示，具体包括存储器901，以及一个或者一个以上的指令902，其中一个或者一个以上指令902存储于存储器901中，且经配置以由一个或者一个以上处理器903执行所述一个或者一个以上指令902进行以下操作：
获取待矫正图片，所述待矫正图片中包含证件图像；
对所述待矫正图片进行处理，得到所述待矫正图片中的证件图像的每条图像边上的多个关键点；
对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线；
确定所述证件图像的各个边框组，其中，所述边框组中包含相邻的两条图像边；
对于每个所述边框组，确定该边框组中的图像边的拟合直线相交后得到的交点，并将该交点作为所述证件图像的角点；
对所述证件图像的各个角点进行透射变换，得到矫正后的证件图像。
上述各个实施例的具体实施过程及其衍生方式，均在本发明的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种证件图像的矫正方法，其特征在于，包括：
获取待矫正图片，所述待矫正图片中包含证件图像；
对所述待矫正图片进行处理，得到所述待矫正图片中的证件图像的每条图像边上的多个关键点；
对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线；
确定所述证件图像的各个边框组，其中，所述边框组中包含相邻的两条图像边；
对于每个所述边框组，确定该边框组中的图像边的拟合直线相交后得到的交点，并将该交点作为所述证件图像的角点；
对所述证件图像的各个角点进行透射变换，得到矫正后的证件图像；
所述对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线，包括：
基于所述证件图像的各个关键点，得到关键点筛选阈值；
对于所述证件图像的每条图像边，调用所述关键点筛选阈值对于该图像边的各个关键点进行直线拟合处理，得到该图像边的拟合直线；
所述对于所述证件图像的每条图像边，调用所述关键点筛选阈值对于该图像边的各个关键点进行直线拟合处理，得到该图像边的拟合直线，包括：
将所述图像边的各个关键点进行排列组合，得到至少一个关键点组合；
对每个所述关键点组合中的各个关键点进行拟合运算，得到每个所述关键点组合的拟合误差；
将拟合误差最小的关键点组合确定为第一目标组合，并将对所述第一目标组合进行拟合后得到的直线作为目标直线；
将不属于所述第一目标组合的各个关键点均确定为待定点，并确定每个所述待定点到所述目标直线的最短路径的路径值；
将各个所述路径值与所述关键点筛选阈值进行比较，并将大于所述关键点筛选阈值的路径值所对应的待定点加入所述第一目标组合中，得到第二目标组合；
基于所述第二目标组合中的各个关键点，对所述第二目标组合进行拟合运算，并将拟合得到的直线作为所述图像边的拟合直线。
2.根据权利要求1所述的方法，其特征在于，所述对所述待矫正图片进行处理，得到所述待矫正图片中的证件图像的每条图像边上的多个关键点，包括：
使用预设的关键点检测算法对所述证件图像进行处理，确定所述证件图像的每条图像边上的多个关键点。
3.根据权利要求1所述的方法，其特征在于，所述基于所述证件图像的各个关键点，得到关键点筛选阈值，包括：
确定最小外接矩形，其中，所述最小外接矩形包含所述证件图像的各个关键点；
确定所述最小外接矩形的宽度和高度；
对所述宽度和高度进行运算，得到关键点筛选阈值。
4.根据权利要求1所述的方法，其特征在于，还包括：
将所述矫正后的证件图像发送至预设的处理设备，使得所述处理设备对所述矫正后的证件图像进行处理。
5.一种证件图像的矫正装置，其特征在于，包括：
获取单元，用于获取待矫正图片，所述待矫正图片中包含证件图像；
处理单元，用于对所述待矫正图片进行处理，得到所述待矫正图片中的证件图像的每条图像边上的多个关键点；
拟合单元，用于对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线；
第一确定单元，用于确定所述证件图像的各个边框组，其中，所述边框组中包含相邻的两条图像边；
第二确定单元，用于对于每个所述边框组，确定该边框组中的图像边的拟合直线相交后得到的交点，并将该交点作为所述证件图像的角点；
透射变换单元，用于对所述证件图像的各个角点进行透射变换，得到矫正后的证件图像；
所述对所述证件图像的每条图像边的各个关键点进行直线拟合处理，得到每条图像边的拟合直线，包括：
基于所述证件图像的各个关键点，得到关键点筛选阈值；
对于所述证件图像的每条图像边，调用所述关键点筛选阈值对于该图像边的各个关键点进行直线拟合处理，得到该图像边的拟合直线；
所述对于所述证件图像的每条图像边，调用所述关键点筛选阈值对于该图像边的各个关键点进行直线拟合处理，得到该图像边的拟合直线，包括：
将所述图像边的各个关键点进行排列组合，得到至少一个关键点组合；
对每个所述关键点组合中的各个关键点进行拟合运算，得到每个所述关键点组合的拟合误差；
将拟合误差最小的关键点组合确定为第一目标组合，并将对所述第一目标组合进行拟合后得到的直线作为目标直线；
将不属于所述第一目标组合的各个关键点均确定为待定点，并确定每个所述待定点到所述目标直线的最短路径的路径值；
将各个所述路径值与所述关键点筛选阈值进行比较，并将大于所述关键点筛选阈值的路径值所对应的待定点加入所述第一目标组合中，得到第二目标组合；
基于所述第二目标组合中的各个关键点，对所述第二目标组合进行拟合运算，并将拟合得到的直线作为所述图像边的拟合直线。
6.根据权利要求5所述的装置，其特征在于，所述处理单元，包括：
处理子单元，用于使用预设的关键点检测算法对所述证件图像进行处理，确定所述证件图像的每条图像边上的多个关键点。
7.一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1-4任意一项所述的证件图像的矫正方法。
8.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1-4任意一项所述的证件图像的矫正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111026650.XA CN113657384B (zh) | 2021-09-02 | 2021-09-02 | 证件图像的矫正方法及装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111026650.XA CN113657384B (zh) | 2021-09-02 | 2021-09-02 | 证件图像的矫正方法及装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113657384A CN113657384A (zh) | 2021-11-16 |
| CN113657384B true CN113657384B (zh) | 2024-04-05 |
Family
ID=78493499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111026650.XA Active CN113657384B (zh) | 2021-09-02 | 2021-09-02 | 证件图像的矫正方法及装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113657384B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017156920A (ja) * | 2016-03-01 | 2017-09-07 | 株式会社日立情報通信エンジニアリング | 画像処理装置及び画像処理プログラム |
| CN110827301A (zh) * | 2019-11-11 | 2020-02-21 | 京东数字科技控股有限公司 | 用于处理图像的方法和装置 |
| CN111860489A (zh) * | 2019-12-09 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种证件图像校正方法、装置、设备及存储介质 |
| WO2021072879A1 (zh) * | 2019-10-15 | 2021-04-22 | 平安科技（深圳）有限公司 | 证件中的目标文本提取方法、装置、设备及可读存储介质 |
| CN113111880A (zh) * | 2021-05-12 | 2021-07-13 | 中国平安人寿保险股份有限公司 | 证件图像校正方法、装置、电子设备及存储介质 |
| CN113221897A (zh) * | 2020-02-06 | 2021-08-06 | 马上消费金融股份有限公司 | 图像矫正方法、图像文本识别方法、身份验证方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6618766B2 (ja) * | 2015-10-27 | 2019-12-11 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
-
2021
- 2021-09-02 CN CN202111026650.XA patent/CN113657384B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017156920A (ja) * | 2016-03-01 | 2017-09-07 | 株式会社日立情報通信エンジニアリング | 画像処理装置及び画像処理プログラム |
| WO2021072879A1 (zh) * | 2019-10-15 | 2021-04-22 | 平安科技（深圳）有限公司 | 证件中的目标文本提取方法、装置、设备及可读存储介质 |
| CN110827301A (zh) * | 2019-11-11 | 2020-02-21 | 京东数字科技控股有限公司 | 用于处理图像的方法和装置 |
| CN111860489A (zh) * | 2019-12-09 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种证件图像校正方法、装置、设备及存储介质 |
| CN113221897A (zh) * | 2020-02-06 | 2021-08-06 | 马上消费金融股份有限公司 | 图像矫正方法、图像文本识别方法、身份验证方法及装置 |
| CN113111880A (zh) * | 2021-05-12 | 2021-07-13 | 中国平安人寿保险股份有限公司 | 证件图像校正方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 身份证综合信息采集与识别软件系统设计与实现;罗涛;中国优秀硕士学位论文全文数据库 信息科技辑(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113657384A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11120254B2 (en) | Methods and apparatuses for determining hand three-dimensional data | |
| US9275281B2 (en) | Mobile image capture, processing, and electronic form generation | |
| US10146795B2 (en) | Systems and methods for mobile image capture and processing | |
| US9342742B2 (en) | Systems and methods for mobile image capture and processing | |
| US9652690B2 (en) | Automatically capturing and cropping image of check from video sequence for banking or other computing application | |
| US9171359B1 (en) | Method and system for auto-correcting perspective distortion in document images | |
| KR20200116138A (ko) | 안면 인식을 위한 방법 및 시스템 | |
| CN111860489A (zh) | 一种证件图像校正方法、装置、设备及存储介质 | |
| CN111291753B (zh) | 基于图像的文本识别方法、装置及存储介质 | |
| JP6976733B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN110378328B (zh) | 一种证件图像处理方法及装置 | |
| CN105324781A (zh) | 图像处理设备、图像处理方法以及程序 | |
| CN110751149A (zh) | 目标对象标注方法、装置、计算机设备和存储介质 | |
| US8646691B2 (en) | Apparatus and method for using machine-readable codes | |
| US9747509B2 (en) | Automatically capturing and cropping image of check from video sequence for banking or other computing application | |
| CN113657384B (zh) | 证件图像的矫正方法及装置、存储介质及电子设备 | |
| JP2015090623A (ja) | 帳票読取装置、プログラムおよび帳票読取システム | |
| CN112733773A (zh) | 一种对象检测方法、装置、计算机设备和存储介质 | |
| CN110660091A (zh) | 一种图像配准处理方法、装置和拍照批改作业系统 | |
| CN111062374A (zh) | 身份证信息的识别方法、装置、系统、设备及可读介质 | |
| CN113255629B (zh) | 文档处理方法、装置、电子设备及计算机可读存储介质 | |
| US20150199798A1 (en) | Systems and methods for correcting geometric distortions in videos and images | |
| CN113255700B (zh) | 图像的特征图的处理方法及装置、存储介质、终端 | |
| GB2532537A (en) | Aligning multi-view scans | |
| CN111860475B (zh) | 图像处理方法和装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |