CN111464716B - 一种证件扫描方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开一种证件扫描方法，当需要对证件进行扫描时，在用户触发扫描操作后，获取包括待扫描证件的目标视频帧图像，对目标视频帧图像实时进行边缘检测过滤，得到边缘线段集合。然后根据边缘线段集合确定待扫描证件的证件轮廓，证件轮廓所包围区域对应的图像为去除背景的待扫描证件的图像，故根据证件轮廓对目标视频帧图像进行处理得到目标区域图像，根据目标区域图像确定待扫描证件的扫描图像并向用户显示该扫描图像。可见，本申请可以直接利用图像处理的方法定位证件轮廓，进而得到证件的扫描图像，无需利用深度学习的方式进行大量复杂的计算，大大减小了计算复杂度，提高了计算效率，进而实现实时的证件扫描。

Description

一种证件扫描方法、装置、设备及存储介质

技术领域

本申请涉及自动识别领域，特别是涉及一种证件扫描方法、装置、设备及存储介质。

背景技术

随着互联网技术的发达，网上办理业务已经越来越普遍，越来越多的业务，如通信行业、金融行业、出入境等领域都需要对用户的证件信息进行采集和登记，以进行实名制管理。为了提高证件信息的采集和登记效率，通常通过对证件进行扫描的方式以获取证件信息。

目前可以使用深度学习技术得到证件的扫描图像，以便根据扫描图像进行证件信息识别。然而这种方法计算复杂度大，无法完成实时的证件扫描。

发明内容

为了解决上述技术问题，本申请提供了一种证件扫描方法、装置、设备及存储介质，无需利用深度学习的方式进行大量复杂的计算，大大减小了计算复杂度，提高了计算效率，进而实现实时的证件扫描。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种证件扫描方法，所述方法包括：

响应于扫描触发操作，获取包括待扫描证件的目标视频帧图像；

对所述目标视频帧图像进行边缘检测过滤，得到边缘线段集合；

根据所述边缘线段集合确定所述待扫描证件的证件轮廓；

根据所述证件轮廓对所述目标视频帧图像进行处理得到目标区域图像，所述目标区域图像为所述证件轮廓所包围的区域对应的图像；

根据所述目标区域图像向用户显示所述待扫描证件的扫描图像。

第二方面，本申请实施例提供一种证件扫描装置，所述装置包括获取单元、第一确定单元、第二确定单元、处理单元和显示单元：

所述获取单元，用于响应于扫描触发操作，获取包括待扫描证件的目标视频帧图像；

所述第一确定单元，用于对所述目标视频帧图像进行边缘检测过滤，得到边缘线段集合；

所述第二确定单元，用于根据所述边缘线段集合确定所述待扫描证件的证件轮廓；

所述处理单元，用于根据所述证件轮廓对所述目标视频帧图像进行处理得到目标区域图像，所述目标区域图像为所述证件轮廓所包围的区域对应的图像；

所述显示单元，用于根据所述目标区域图像向用户显示所述待扫描证件的扫描图像。

第三方面，本申请实施例提供一种用于证件扫描的设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面任一项所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一项所述的方法。

由上述技术方案可以看出，当需要对证件进行扫描时，可以对包括待扫描证件的目标视频帧图像直接进行图像处理得到扫描图像。具体的，在用户触发扫描操作后，获取包括待扫描证件的目标视频帧图像，对目标视频帧图像实时进行边缘检测过滤，得到边缘线段集合。然后根据边缘线段集合确定待扫描证件的证件轮廓，证件轮廓所包围区域对应的图像为去除背景的待扫描证件的图像，故根据证件轮廓对目标视频帧图像进行处理得到目标区域图像，根据目标区域图像确定待扫描证件的扫描图像并向用户显示该扫描图像。可见，本申请可以直接利用图像处理的方法定位证件轮廓，进而得到证件的扫描图像，无需利用深度学习的方式进行大量复杂的计算，大大减小了计算复杂度，提高了计算效率，进而实现实时的证件扫描。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种证件扫描方法的应用场景示意图；

图2为本申请实施例提供的一种证件扫描方法的流程图；

图3为本申请实施例提供的扫描界面示例图；

图4为本申请实施例提供的扫描界面示例图；

图5为本申请实施例提供的稳定性判断的流程图；

图6为本申请实施例提供的显示界面示例图；

图7为本申请实施例提供的确定边缘线段集合的流程图；

图8为本申请实施例提供的聚类合并的流程图；

图9为本申请实施例提供的确定证件轮廓的流程图；

图10为本申请实施例提供的确定证件轮廓的流程图；

图11为本申请实施例提供的确定扫描图像的流程图；

图12为本申请实施例提供的扫描图像的显示界面示例图；

图13为本申请实施例提供的一种证件扫描方法的流程图；

图14为本申请实施例提供的一种证件扫描装置的结构图；

图15为本申请实施例提供的一种用于证件扫描设备的结构图；

图16为本申请实施例提供的一种服务器的结构图。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

相关技术中基于深度学习的方式对证件进行扫描，由于深度学习的计算量较为庞大，从而使得其在计算过程中将耗费较多的时间，处理速度比较慢，难以满足证件扫描的实时性要求。

为了解决上述技术问题，本申请实施例提供一种证件扫描方法，该方法可以对包括待扫描证件的目标视频帧图像直接进行图像处理得到扫描图像，无需利用深度学习的方式进行大量复杂的计算，大大减小了计算复杂度，提高了计算效率，进而实现实时的证件扫描。

需要强调的是，本申请实施例提供的证件扫描方法可以应用到各种证件自动识别、提供电子证件资料的场景中。例如在银行办理业务时，为了便于对用户的证件信息进行登记，可以自动录入证件信息无需手工录入，可以对用户的证件进行扫描，进而对扫描得到的图像提取信息。

需要说明的是，本申请实施例提供的方法可以应用到具有扫描功能的处理设备上，例如在处理设备上安装扫描客户端。该处理设备可以具有摄像头，通过摄像头采集视频帧图像。该处理设备可以是终端设备，终端设备例如可以是智能手机、平板电脑、笔记本电脑、台式计算机等设备，但并不局限于此。

为了便于理解本申请的技术方案，下面结合实际应用场景对本申请实施例提供的证件扫描方法进行介绍。参见图1，该应用场景中包括终端设备101，终端设备101上安装有扫描客户端。

当用户需要对某个证件例如待扫描证件进行扫描时，用户可以打开扫描客户端，触发自动扫描。其中，证件可以是身份证、护照、驾驶证、票据、房产证、名片、工卡等各种类型的证件。

终端设备101在启动扫描功能后，可以采集视频帧图像，终端设备101从采集到的视频帧图像中获取包括待扫描证件的目标视频帧图像。目标视频帧图像为采集到的视频帧图像中需要进行后续处理的视频帧图像。

由于待扫描证件位于目标视频帧图像的某一区域中，该区域与背景可以通过证件轮廓进行区分。故，为了准确的得到待扫描证件的扫描图像，需要确定证件轮廓。而证件轮廓由作为边缘的线段组成，因此，终端设备101对目标视频帧图像进行边缘检测过滤，得到边缘线段集合，从而根据边缘线段集合确定待扫描证件的证件轮廓。

证件轮廓所包围区域对应的图像为去除背景的待扫描证件的图像，故终端设备101可以按照证件轮廓从目标视频帧图像中裁剪得到目标区域图像，进而根据目标区域图像向用户显示待扫描证件的扫描图像。

在得到扫描图像后，用户可以保存该扫描图像，从而方便之后递交材料，当然也可以进一步对该扫描图像进行证件信息识别，以对证件信息进行采集、登记、审核等。

接下来，将结合附图对本申请实施例提供的证件扫描方法进行详细介绍。

参见图2，图2示出了一种证件扫描方法的流程图，方法包括：

S201、响应于扫描触发操作，获取包括待扫描证件的目标视频帧图像。

当需要对待扫描证件进行扫描时，用户可以打开终端设备上的扫描客户端，从而利用扫描客户端对待扫描证件进行扫描。其中，扫描界面可以参见图3所示，其中虚线框内的线段所围成的四边形内部为检测到的证件轮廓，外部区域为其他无效区域，例如背景。

其中，扫描触发操作可以是用户打开扫描客户端。另外，在一些情况下，由于证件也可以是各种类型的证件，针对不同的证件在得到扫描图像后，对扫描图像所进行的后续处理可能有所不同，例如，有些类型的证件仅包括文字，而有些类型的证件除了文字，还包括图片，针对这两种类型的证件可能有不同的处理。因此，为了便于后续选择合适的处理方式，在扫描之前，用户可以选择证件类型，当用户完成证件类型的选择后，自动触发终端设备开始扫描。此时，扫描触发操作可以是用户选择证件类型。

例如，图3所示，图3以证件类型包括身份证和名片为例，当待识别证件为图4中所示的名片时，用户选择“名片”，则触发终端设备开始扫描。图3中还包括“证件识别”功能，当用户选择“证件识别”，则可以直接对证件上的信息进行识别。

在用户打开扫描客户端后，终端设备可以通过摄像头采集视频帧图像，然而在一些情况下，终端设备可能还未对准待扫描证件或者还未稳定，此时采集到的视频帧图像并非用户实际需要的，或者采集到的视频帧图像可能存在抖动模糊，不利于后续确定证件轮廓。因此，为了避免视频帧图像抖动模糊，保证证件轮廓的准确识别，可以对采集到的视频帧图像进行稳定性判断，从而根据稳定性判断结果从采集到的视频帧图像中确定目标视频帧图像进行后续处理，而非对所有视频帧图像进行后续处理。

通过该方法可以避免对一些视频帧图像进行不必要的处理，减少不必要的计算量，提高计算效率。另外，由于目标视频帧图像是稳定的，避免视频帧图像抖动模糊，保证证件轮廓的准确识别。

稳定性判断的方式可以包括多种，例如三帧差法、二帧差法等等。本申请实施例以三帧差法为例对稳定性判断方法进行介绍。若需要对当前视频帧图像例如待定视频帧图像进行稳定性判断，待定视频帧图像为帧数大于3的视频帧图像，可以根据待定视频帧图像基于三帧差法得到差值图，该差值图可以反映出待定视频帧图像中待扫描证件与其前两帧视频帧图像中待扫描证件之间的差别，差别越小，则说明待定视频帧图像越稳定。该差别可以通过像素值大于零的像素点数目来体现，若差值图中像素值大于零的像素点数目小于第一阈值，则说明该待定视频帧图像与前两帧视频帧图像差别不大，稳定性判断通过，可以将该待定视频帧图像作为目标视频帧图像。

然而，为了避免判断结果的偶然性，可以确定多个连续的视频帧图像是否稳定，即判断稳定性判断通过的连续视频帧图像的数量，若在该待定视频帧图像稳定性判断通过后，稳定性判断通过的连续视频帧图像的数目达到第二阈值，则说明在该段时间内采集到的多个连续的视频帧图像都是稳定的，则将该待定视频帧图像作为目标视频帧图像，针对该待定视频帧图像执行S202的步骤。

当然，还可以认为该待定视频帧图像之后的视频帧图像也是稳定的，可以对之后的视频帧图像也执行S202的步骤。

稳定性判断的流程图可以参见图5所示，根据待定视频帧图像基于三帧差法得到差值图(如图5中S501)，例如待定视频帧图像是F1，F1的前一帧视频帧图像是F2，F1的前两帧视频帧图像是F3，三帧差法可以是利用F1及前两帧视频帧图像分别作差得到对应的差值结果，再将两个差值结果作差得到差值图。判断差值图中像素值大于零的像素点的数目C1是否小于第一阈值(Thres1)(如图5中S502所示)，其中，像素值大于零的像素点例如可以是差值图中白色点。若C1小于Thres1，则稳定性判断通过的连续视频帧图像的数目C2加一(如图5中S503所示)，判断稳定性判断通过的连续视频帧图像的数目C2是否达到第二阈值(Thres2)(如图5中S504所示)，若是，则进行S202对目标视频帧图像进行边缘检测过滤，得到边缘线段集合的步骤(如图5中S505所示)，若否，终止对待定视频帧图像的处理流程(如图5中S506所示)。

稳定性判断通过后，可以对目标视频帧图像(例如某医院信息卡的视频帧图像)执行后续处理，此时，在终端设备上的显示界面可以入图6所示，该显示界面可以提示用户“正在进行智能识别”，即正在对目标视频帧图像执行S202等后续处理。

S202、对所述目标视频帧图像进行边缘检测过滤，得到边缘线段集合。

终端设备对目标视频帧图像进行边缘检测过滤，得到边缘线段集合，边缘线段集合中包括的线段可以组成证件轮廓。

在一些实施例中，S202的是实现方式可以是对目标视频帧图像进行边缘查找，得到每个像素点属于边缘的概率值，概率值越大，像素点属于边缘的可能性越大，进而根据每个像素点属于边缘的概率值确定边缘过滤图。例如，若概率值大于某个阈值(Thres3)，则说明该像素点属于边缘的可能性非常大，可以认为该像素点属于边缘，保留该像素点；否则，将其概率值置为0，认为该像素点不属于边缘。

其中，边缘查找的方法可以包括多种，在本申请实施例中可以基于结构森林算法寻找可能存在的边缘。结构森林算法是一种机器学习算法，可以保证提取的边缘较为准确。另外，在本申请实施例中，虽然采用了机器学习算法，但是其仅用于边缘查找，并非整个确定扫描图像过程都利用机器学习算法，相较于相关技术计算量大大减小。

在一些情况下，进行边缘查找得到概率值的同时生成边缘图，每个像素点属于边缘的概率值可以通过边缘图中像素点的颜色反映，例如像素点颜色越白对应的概率值越大。

由于通常情况下证件是矩形，其轮廓是由直线段组成，因此，可以根据边缘过滤图进行直线查找，得到近似直线，从而绘制直线图。其中，直线查找的方法包括但不限于霍夫变换。根据边缘过滤图与直线图获取直线边缘过滤图，实现直线和属于边缘的像素点的相互校正，有助于提高后续证件轮廓识别的准确性。例如，直线边缘过滤图的确定方式可以是将边缘过滤图与直线图取交集。

然后，利用线段检测算法(Line Segment Detector，LSD)将直线图中的直线转换为线段，根据转换结果得到边缘线段集合。确定边缘线段集合的流程图可以参见图7所示，基于结构森林算法确定待定视频帧图像的边缘图(如图7中S701所示)。然后，根据边缘图进行边缘过滤得到边缘过滤图(如图7中S702所示)。其中，边缘过滤的方法可以是对于边缘图上每个像素点判断概率值是否大于某一阈值Thres3，若大于则保留当前像素点概率值，否则将概率值置为0，得到边缘过滤图。再利用霍夫变换在边缘过滤图上寻找近似直线绘制直线图(如图7中S703所示)。将边缘过滤图和直线图求交集，获得直线边缘过滤图(如图7中S704所示)。最后，对于直线边缘过滤图利用LSD将边缘转换为线段，获得边缘线段集合(如图7中S705所示)。

S203、根据所述边缘线段集合确定所述待扫描证件的证件轮廓。

终端设备确定出边缘线段集合后，可以根据边缘线段集合确定待扫描证件的证件轮廓。

若证件轮廓为矩形，由于矩形是由两对平行的线段构成，因此，根据边缘线段集合确定待扫描证件的证件轮廓的方式可以是，根据边缘线段集合以及线段之间的平行关系确定平行线段集，然后，针对平行线段集中任意两对平行线段，根据邻边规则确定四边形集合。例如若根据邻边规则确定两对平行线段可以组成四边形，则加入四边形集合，对于整个平行线段对集合的线段对比较完毕后，会得到四边形集合。根据从四边形集合中确定出的最优四边形确定证件轮廓。

其中，平行关系可以包括夹角、距离等；邻边规则可以包括夹角、是否相交、交点与线段位置、线段比例、线段长度、四边形面积等。

在一些情况下，若得到边缘线段集合，该边缘线段集合中可能存在一些线段实际上是一条线段，为了避免检测误差，在根据边缘线段集合以及线段之间的平行关系确定平行线段集时，可以先对边缘线段集合中的线段进行聚类合并得到第二合并线段集合，然后根据第二合并线段集合和线段之间的平行关系确定证件轮廓。参见图7所示，在得到边缘线段集合后，判断是否存在边缘线段集合(如图7中S706所示)，若存在边缘线段集合，则根据线段间关系进行线段聚类合并(如图7中S707所示)，否则终止针对待定视频帧图像的处理流程(如图7中S708所示)。

在一些实施例中，对边缘线段集合所包括的线段进行聚类合并的方式可以是根据线段间关系进行聚类合并，线段间关系包括线段间角度、线段投影重合度、线段间距离等。例如，两条线段间距离非常小，则可以认为这两条线段是同一条线段，可以将这两条线段聚类在一起，构成线段类。线段类中包括可能是同一条线段的所有线段，每个线段类都包括一条或多条线段。

参见图8所示，根据线段间关系对边缘线段集合进行聚类得到线段类集合(如图8中S801所示)，其中，不同线段类中的线段用不同颜色表示。然后，对于每个线段类，根据线段特性例如与边缘过滤图的重合度、线段长度、线宽等，寻找到一条概率最高的线段，取其斜率和截距，将线段类中的所有线段投影合并到其上，得到线段类的合并线段。最终，基于线段特性对边缘线段集合包括的所有线段类进行合并，得到第一合并线段集合(如图8中S802所示)。

在一些情况下，在线段检测过程中，可能由于一条线段中某部分没有检测到，从而将一条线段识别成两条线段，这两条线段通过线段延长可以形成一条直线。在这种情况下，为了降低检测误差，可以将第一合并线段集中的每条线段进行延长，并重复进行以上聚类和合并两步，得到第二合并线段集合(如图8中S803所示)。判断是否存在第二合并线段集合(如图8中S804所示)，若存在，则根据第二合并线段集合确定证件轮廓(如图8中S805所示)，否则终止针对待定视频帧图像的处理流程(如图8中S806所示)。

根据第二合并线段集合和线段之间的平行关系确定证件轮廓的方式可以参见图9所示，根据第二合并线段集合和线段之间的平行关系确定平行线段集(如图9中S901所示)，其中，不同平行线段对用不同颜色表示，然后，针对平行线段集中任意两对平行线段，根据邻边规则确定四边形集合(如图9中S902所示)。从四边形集合中确定出最优四边形(如图9中S903所示)。

在一些实施例中，确定最优四边形的方式可以是对于四边形集合中的每个四边形，计算四边形与组成该四边形的线段的重合度、与边缘过滤图E2的重合度，得到重合概率。最终，对于整个四边形集，取重合概率最高的四边形作为最优四边形(Sperfect)。判断是否存在最优四边形(参见图9中S904所示)若存在，则针对最优四边形进行稳定性判断(参见图9中S905所示)，否则结束针对该目标视频帧图像的处理流程(参见图9中S906所示)。

需要说明的是，在本实施例中，针对稳定性判断通过的连续视频帧图像的数目达到第二阈值所对应的全部视频帧图像都可以进行S202-S203的处理，也就是说，在本申请实施例中可以得到多个最优四边形。稳定性判断是指重合度达到第三阈值的连续视频帧图像的数量是否达到第四阈值。

因此，S203的是实现方式可以是计算目标视频帧图像所对应的最优四边形与其前一帧视频帧图像所对应的最优四边形的重合度，根据重合度和第三阈值的关系确定证件轮廓。其中，重合度可以是指两个最优四边形的交集和并集之比。

确定证件轮廓的流程图可以参见图10所示，计算目标视频帧图像的最优四边形与其前一帧视频帧图像的最优四边形的重合度(参见图10中S1001所示)，其中，重合度的计算方式可以是将目标视频帧图像的最优四边形与其前一帧视频帧图像的最优四边形求交集得到交集图，将目标视频帧图像的最优四边形与其前一帧视频帧图像的最优四边形求并集得到交集图，利用交集图与并集图之比计算重合度。判断重合度是否大于第三阈值(参见图10中S1002所示)，若大于，则连续稳定帧数加一(参见图10中S1003所示)；再判断连续稳定帧数是否达到第四阈值(参见图10中S1004所示)，若大于则将连续稳定帧数达到第四阈值所对应视频帧图像的最优四边形作为证件轮廓(参见图10中S1005所示)，否则终止对目标视频帧图像的处理流程(参见图10中S1006所示)。

S204、根据所述证件轮廓对所述目标视频帧图像进行处理得到目标区域图像，所述目标区域图像为所述证件轮廓所包围的区域对应的图像。

S205、根据所述目标区域图像向用户显示所述待扫描证件的扫描图像。

其中，根据证件轮廓对目标视频帧图像进行处理的方式可以是根据证件轮廓对目标视频帧图像进行裁剪，从而得到目标区域图像。

在一些情况下，若证件轮廓为矩形，但是前述步骤中得到的四边形可能不是标准的矩形，因此，在得到目标区域图像后，可以利用透视变换将目标区域图像转换为矩形图像。

在得到矩形图像后，为了提高图像清晰度，可以对矩形图像根据色彩分布进行锐化处理得到扫描图像。

S205的具体流程可以参见图11所示，针对目标视频帧图像，根据证件轮廓对目标视频帧图像进行裁剪得到目标区域图像，利用透视变换得到矩形图像，对矩形图像进行锐化处理得到扫描图像，流程终止。

终端设备在根据目标区域图像确定扫描图像后，向用户显示该扫描图像。其中，扫描图像显示在编辑页面，即终端设备可以通过编辑页面显示扫描图像，编辑页面中包括编辑操作区域。编辑页面可以参见图12所示，在该编辑页面中包括扫描图像1201和编辑操作区域1202，在编辑操作区域1202用户可以进行各种编辑操作，例如，填写姓名、电话、邮箱、添加资料、添加通讯录、保存等。当用户在编辑操作区域进行编辑操作时，终端可以响应于该编辑操作对扫描图像进行处理，例如保存扫描图像，或者针对扫描图像添加相关信息，例如填写姓名、电话、邮箱等。

由上述技术方案可以看出，当需要对证件进行扫描时，可以对包括待扫描证件的目标视频帧图像直接进行图像处理得到扫描图像。具体的，在用户触发扫描操作后，获取包括待扫描证件的目标视频帧图像，对目标视频帧图像实时进行边缘检测过滤，得到边缘线段集合。然后根据边缘线段集合确定待扫描证件的证件轮廓，证件轮廓所包围区域对应的图像为去除背景的待扫描证件的图像，故根据证件轮廓可以对目标视频帧图像进行处理得到目标区域图像，根据目标区域图像确定待扫描证件的扫描图像并向用户显示该扫描图像。可见，本申请可以直接利用图像处理的方法定位证件轮廓，进而得到证件的扫描图像，无需利用深度学习的方式进行大量复杂的计算，大大减小了计算复杂度，提高了计算效率，进而实现实时的证件扫描。

本申请提供的方法使得用户在不需要前往特定地点、受限特定场景、耗费大量时间精力和付出一定经济成本的情况下，通过实时边缘检测过滤、精准证件轮廓找寻、智能捕捉校正锐化技术，提供给用户一种便捷、高效、免费、优质的证件扫描方案。本方案成像效果好，提高了用户对证件质量的满意度；对拍摄环境要求低，在复杂场景下应对自如，降低了用户的使用门槛；能自动校正、优化调整图像扫描出各类证件，提高了用户使用的效率。

接下来，结合实际应用场景对本申请实施例进行介绍。在该应用场景中，对摄像头输入视频帧图像(S1301)，从第三视频帧开始，针对每个视频帧图像基于三帧差法得到对应的差值图(S1302)，确定C1是否小于第一阈值(S1303)，若是，判断C2是否达到第二阈值(S1304)，若是，基于结构森林算法确定边缘图(S1305)。根据边缘图进行边缘过滤得到边缘过滤图(S1306)，根据边缘过滤图利用霍夫变换绘制直线图，以得到边缘线段集合(S1307)，判断是否存在边缘线段集合(S1308)，若是，根据线段间关系对边缘线段集合进行聚类得到线段类集合(S1309)，基于线段特性对边缘线段集合包括的所有线段类进行合并，得到第一合并线段集合(S1310)，将合并后的延长线段后再聚类合并得到第二合并线段集合(S1311)，判断是否存在第二合并线段集合(S1312)，若是，根据第二合并线段集合确定四边形集合(S1313)，判断是否存在四边形集合(S1314)，若是，从四边形集合中确定出最优四边形(S1315)，判断与前一帧对应的最优四边形的重合度是超过第三阈值(S1316)，若是，确定连续稳定帧数是否超过第四阈值(S1317)，若是，根据证件轮廓对目标视频帧图像裁剪得到目标区域图像(S1318)，对目标区域图像进行透视变换得到矩形图像(S1319)，对矩形图像进行锐化处理(S1320)，得到扫描图像(S1321)。其中，所有步骤中，若否，返回S1301。S1302-S1304可以称为稳定性判断1，S1305-S1307可以称为边缘过滤检测，S1309-S1311可以称为聚类合并，S1313-S1315可以称为最优四边形确定，S1316-S1317可以称为稳定性判断2，S1318-S1320可以称为自适应图像处理。

基于前述方法，本申请实施例还提供了一种证件扫描装置，参见图14，所述装置包括获取单元1401、第一确定单元1402、第二确定单元1403、处理单元1404和显示单元1405：

所述获取单元1401，用于响应于扫描触发操作，获取包括待扫描证件的目标视频帧图像；

所述第一确定单元1402，用于对所述目标视频帧图像进行边缘检测过滤，得到边缘线段集合；

所述第二确定单元1403，用于根据所述边缘线段集合确定所述待扫描证件的证件轮廓；

所述处理单元1404，用于按照所述证件轮廓从所述目标视频帧图像中裁剪得到目标区域图像，所述目标区域图像为所述证件轮廓所包围的区域对应的图像；

所述显示单元1405，用于根据所述目标区域图像向用户显示所述待扫描证件的扫描图像。

在一种可能的实现方式中，所述根据所述目标视频帧图像提取所述待扫描证件的证件轮廓之前，所述第一确定单元1402，还用于：

对采集到的视频帧图像进行稳定性判断；

根据稳定性判断结果从采集到的视频帧图像中确定所述目标视频帧图像。

在一种可能的实现方式中，所述第一确定单元1402，还用于：

根据待定视频帧图像基于三帧差法得到差值图；所述待定视频帧图像为帧数大于3的视频帧图像；

若所述差值图中像素值大于零的像素点数目小于第一阈值，稳定性判断通过；

若稳定性判断通过的连续视频帧图像的数目达到第二阈值，将所述待定视频帧图像作为所述目标视频帧图像，执行所述根据所述目标视频帧图像确定所述待扫描证件的证件轮廓的步骤。

在一种可能的实现方式中，若所述证件轮廓为矩形，所述第二确定单元1403，用于：

根据所述边缘线段集合以及线段之间的平行关系确定平行线段集合；

针对所述平行线段集合中任意两对平行线段，根据邻边规则确定四边形集合；

根据从所述四边形集合中确定出的最优四边形确定所述证件轮廓。

在一种可能的实现方式中，所述第二确定单元1403，用于：

计算所述目标视频帧图像所对应的最优四边形与其前一帧视频帧图像所对应的最优四边形的重合度；

根据所述重合度和第三阈值的关系确定所述证件轮廓。

在一种可能的实现方式中，所述第一确定单元1402，用于：

对所述目标视频帧图像进行边缘查找，根据每个像素点属于边缘的概率值确定边缘过滤图；

根据所述边缘过滤图进行直线查找，绘制直线图；

根据所述边缘过滤图与所述直线图获取直线边缘过滤图；

利用线段检测算法将所述直线图中的直线转换为线段，根据转换结果得到边缘线段集合。

在一种可能的实现方式中，所述显示单元1405，用于通过编辑页面显示所述扫描图像，所述编辑页面中包括编辑操作区域；

所述显示单元1405还用于：

响应于所述用户在所述编辑操作区域的编辑操作，对所述扫描图像进行处理。

本申请实施例还提供了一种用于证件扫描的设备，下面结合附图对用于证件扫描的设备进行介绍。请参见图15所示，本申请实施例提供了一种用于证件扫描的设备1500，该设备1500还可以是终端设备，该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，简称PDA)、销售终端(Point of Sales，简称POS)、车载电脑等任意智能终端，以终端设备为手机为例：

图15示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图15，手机包括：射频(Radio Frequency，简称RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity，简称WiFi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解，图15中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图15对手机的各个构成部件进行具体的介绍：

RF电路1510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1580处理；另外，将设计上行的数据发送给基站。通常，RF电路1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，简称GSM)、通用分组无线服务(GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、长期演进(Long Term Evolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。

存储器1520可用于存储软件程序以及模块，处理器1580通过运行存储在存储器1520的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1530可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1580，并能接收处理器1580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531，输入单元1530还可以包括其他输入设备1532。具体地，其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541，可选的，可以采用液晶显示器(LiquidCrystal Display，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板1541。进一步的，触控面板1531可覆盖显示面板1541，当触控面板1531检测到在其上或附近的触摸操作后，传送给处理器1580以确定触摸事件的类型，随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图15中，触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1531与显示面板1541集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1560、扬声器1561，传声器1562可提供用户与手机之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号，传输到扬声器1561，由扬声器1561转换为声音信号输出；另一方面，传声器1562将收集的声音信号转换为电信号，由音频电路1560接收后转换为音频数据，再将音频数据输出处理器1580处理后，经RF电路1510以发送给比如另一手机，或者将音频数据输出至存储器1520以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图15示出了WiFi模块1570，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1580是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1520内的软件程序和/或模块，以及调用存储在存储器1520内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1580可包括一个或多个处理单元；优选的，处理器1580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1580中。

手机还包括给各个部件供电的电源1590(比如电池)，优选的，电源可以通过电源管理系统与处理器1580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本实施例中，该终端设备所包括的处理器1580还具有以下功能：

响应于扫描触发操作，获取包括待扫描证件的目标视频帧图像；

对所述目标视频帧图像进行边缘检测过滤，得到边缘线段集合；

根据所述边缘线段集合确定所述待扫描证件的证件轮廓；

根据所述证件轮廓对所述目标视频帧图像进行处理得到目标区域图像，所述目标区域图像为所述证件轮廓所包围的区域对应的图像；

根据所述目标区域图像向用户显示所述待扫描证件的扫描图像。

本申请实施例还提供服务器，请参见图16所示，图16为本申请实施例提供的服务器1600的结构图，服务器1600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，简称CPU)1622(例如，一个或一个以上处理器)和存储器1632，一个或一个以上存储应用程序1642或数据1644的存储介质1630(例如一个或一个以上海量存储设备)。其中，存储器1632和存储介质1630可以是短暂存储或持久存储。存储在存储介质1630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1622可以设置为与存储介质1630通信，在服务器1600上执行存储介质1630中的一系列指令操作。

服务器1600还可以包括一个或一个以上电源1626，一个或一个以上有线或无线网络接口1650，一个或一个以上输入输出接口1658，和/或，一个或一个以上操作系统1641，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

在本实施例中，上述实施例中由服务器所执行的步骤可以由图16所示的结构完成。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述实施例中任一项所述的方法。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种证件扫描方法，其特征在于，所述方法包括：

响应于扫描触发操作，获取包括待扫描证件的目标视频帧图像；

对所述目标视频帧图像进行边缘查找，根据每个像素点属于边缘的概率值确定边缘过滤图；

根据所述边缘过滤图进行直线查找，绘制直线图；

将所述边缘过滤图与所述直线图求交集，获取直线边缘过滤图；

利用线段检测算法将所述直线边缘过滤图中的边缘转换为线段，根据转换结果得到边缘线段集合；

根据线段间关系对所述边缘线段集合进行聚类得到线段类集合；

对于所述线段类集合中的每个线段类，根据线段特性，对所有线段类进行合并，得到第一合并线段集合，所述线段特性包括线段与所述边缘过滤图的重合度、线段长度以及线宽；

将第一合并线段集中的每条线段进行延长，并重复执行上述聚类以及合并的步骤，得到第二合并线段集合；

根据所述第二合并线段集合以及线段之间的平行关系确定平行线段集合；

针对所述平行线段集合中任意两对平行线段，根据邻边规则确定四边形集合；

对所述四边形集合中的每个四边形，计算四边形与组成该四边形的线段的重合度、与所述边缘过滤图的重合度，得到重合概率；

对于整个四边形集合，取重合概率最高的四边形作为最优四边形；

对采集到的视频帧图像进行稳定性判断；

根据稳定性判断结果从采集到的视频帧图像中确定所述目标视频帧图像；

计算所述目标视频帧图像所对应的最优四边形与其前一帧视频帧图像所对应的最优四边形的重合度；

根据所述重合度和第三阈值的关系确定所述证件轮廓；

根据所述证件轮廓对所述目标视频帧图像进行处理得到目标区域图像，所述目标区域图像为所述证件轮廓所包围的区域对应的图像；

根据所述目标区域图像向用户显示所述待扫描证件的扫描图像。

2.根据权利要求1所述的方法，其特征在于，对采集到的视频帧图像进行稳定性判断，包括：

根据待定视频帧图像基于三帧差法得到差值图；所述待定视频帧图像为帧数大于3的视频帧图像；

若所述差值图中像素值大于零的像素点数目小于第一阈值，稳定性判断通过；

根据稳定性判断结果对从采集到的视频帧图像中确定所述目标视频帧图像，包括：

若稳定性判断通过的连续视频帧图像的数目达到第二阈值，将所述待定视频帧图像作为所述目标视频帧图像，执行所述根据所述目标视频帧图像确定所述待扫描证件的证件轮廓的步骤。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标区域图像向用户显示所述待扫描证件的扫描图像，包括：

通过编辑页面显示所述扫描图像，所述编辑页面中包括编辑操作区域；

所述方法还包括：

响应于所述用户在所述编辑操作区域的编辑操作，对所述扫描图像进行处理。

4.一种证件扫描装置，其特征在于，所述装置包括获取单元、第一确定单元、第二确定单元、处理单元和显示单元：

所述获取单元，用于响应于扫描触发操作，获取包括待扫描证件的目标视频帧图像；

所述第一确定单元，用于对所述目标视频帧图像进行边缘查找，根据每个像素点属于边缘的概率值确定边缘过滤图；根据所述边缘过滤图进行直线查找，绘制直线图；将所述边缘过滤图与所述直线图求交集，获取直线边缘过滤图；利用线段检测算法将所述直线边缘过滤图中的边缘转换为线段，根据转换结果得到边缘线段集合；所述第二确定单元，用于根据线段间关系对所述边缘线段集合进行聚类得到线段类集合；对于所述线段类集合中的每个线段类，根据线段特性，对所有线段类进行合并，得到第一合并线段集合，所述线段特性包括线段与所述边缘过滤图的重合度、线段长度以及线宽；将第一合并线段集中的每条线段进行延长，并重复执行上述聚类以及合并的步骤，得到第二合并线段集合；根据所述第二合并线段集合以及线段之间的平行关系确定平行线段集合；针对所述平行线段集合中任意两对平行线段，根据邻边规则确定四边形集合；对所述四边形集合中的每个四边形，计算四边形与组成该四边形的线段的重合度、与所述边缘过滤图的重合度，得到重合概率；对于整个四边形集合，取重合概率最高的四边形作为最优四边形；对采集到的视频帧图像进行稳定性判断；根据稳定性判断结果从采集到的视频帧图像中确定所述目标视频帧图像；计算所述目标视频帧图像所对应的最优四边形与其前一帧视频帧图像所对应的最优四边形的重合度；根据所述重合度和第三阈值的关系确定所述证件轮廓；

所述处理单元，用于根据所述证件轮廓对所述目标视频帧图像进行处理得到目标区域图像，所述目标区域图像为所述证件轮廓所包围的区域对应的图像；

所述显示单元，用于根据所述目标区域图像向用户显示所述待扫描证件的扫描图像。

5.一种用于证件扫描的设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-3任一项所述的方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-3任一项所述的方法。

Images