CN109271890B - 自动指纹图像提取的方法和设备 - Google Patents

Abstract

本发明适用于指纹识别领域，提供了一种具有标识的标尺及利用该标尺自动提取指纹的方法，包括：将标尺放在临近指纹的位置；通过图像捕获设备自动检测标识的位置并在用户界面上显示；帮助用户根据标识的位置调整图像捕获设备的相机，使指纹位于相机视图的最佳位置；当指纹位于相机视图的最佳位置时启动自动对焦；使用标识的位置在指纹上自动对焦；完成自动对焦后，开始拍摄图像；使用所述标识的位置来校正所述指纹图像的投影变形，并将其重新调整为1:1的比例。相对于传统方法，本发明在速度，准确性和易用性方面有了较大的改进。

Description

自动指纹图像提取的方法和设备

技术领域

本发明主要涉及指纹识别领域。更具体地说，它涉及指纹图像的自动拍摄。

背景技术

指纹识别验证主要分为两类：1:1验证和1:N验证。在1:1验证中，在一个设备上只有一枚登记的指纹，唯一的验证是尝试的用户是否与登记的指纹正确匹配。一个非限制性的示例包括使用指纹验证解锁手机。相对地，1:N验证涉及针对可能包含数千到数十亿的指纹图像的大型数据库搜索一枚指纹以确定指纹的身份。1:N验证的一个重要使用场景是潜在指纹匹配，其中“潜在”指纹指的是意外留下的印痕而不是有意从某个体提取的。一个非限制性的示例包括犯罪现场指纹匹配。1:N验证的问题包括指纹质量差或发生畸变，或者只有一小部分指纹可用于匹配。

当指纹数据库是小型规模或中型规模时，传统的指纹识别技术已经被成功地用于解决犯罪。使用指纹解决犯罪的传统流程通常包括三个步骤：指纹提取，物证专家标记特征和匹配后端数据。

在提取指纹阶段，警察或其他调查机构会从犯罪现场采集指纹。根据指纹附着的表面，可以使用不同的方法。例如，在平坦表面上，可以使用多光谱光源来使指纹可见。如果指纹附着在窗帘或其它织物上，可以使用化学化合物使指纹更清晰可见以便对其拍照。最终，将获得一组指纹图像或样本。

在下一步骤中，指纹图像(或样本)会被带回办公室或实验室以供指纹专家标记特定特征。通常，一个指纹需要大约半小时来标记，整个犯罪现场的指纹可能需要耗费大约十个小时。

在最后一步中，将标记的特征发送到匹配的后端以从数据库中查询排名靠前的候选者。这通常需要几个小时才能完成。作为非限制性示例，传统技术严重依赖于指纹的细节特征来进行匹配。细节(或微观尺度)特征包括指纹中脊线和谷线的末端和分叉。宏观尺度特征(例如指纹核心和增量之间的距离)也可用于执行过滤以加速该过程。

虽然指纹匹配已被广泛应用于解决犯罪，但潜在指纹提取仍然需要耗费很多精力。在许多情况下，通常会放置一个比例尺在指纹旁边，然后可以用数码相机拍摄指纹图像。图像会随后被带到公安局，专家需要根据图像中的比例尺将图像重新缩放为1:1的比例。这需要大量的手动工作。此外，如果相机未放置在潜在指纹的正上方并与表面平行，则指纹可能会以其他方式形变，这些形变无法轻易纠正。这种形变会降低识别准确度。在其他情况下，指纹样本可以用胶带制作，但是这个过程可能会损坏指纹，并且还需要额外的手动操作。样本采集后可以使用上述的方法用相机在指纹样本上拍摄图像，或者使用扫描仪机器来获得样本的1:1数字副本。

另外，在许多情况下也需要提取人的活体指纹。作为非限制性示例，当匹配从犯罪现场收集的潜在指纹时，需要排除事主的指纹。目前，这是通过人工检查完成的，需要使用墨水对事主收集指纹，甚至会将指纹扫描仪带到犯罪现场。但是，这些方法要么需要警官具备相关的专业知识，要么需要额外的装置。

在所有情况下，目前的指纹提取方法都需要大量的手动操作，并且可能导致指纹图像变形从而降低匹配后端的识别准确度。此外，便携式计算设备在警察工作中越来越受欢迎。因此，在移动计算设备上进行自动指纹提取成为了一个迫切的需求。

发明内容

在速度，准确性和易用性方面，本发明的实施例相对于传统方法都有改进。本发明的实施例可包括以下特征中的部分或全部。它使用特殊设计的标尺和标识来定位指纹(无论是潜指纹还是活体指纹)，并能够校正变形。它使用便携式计算设备拍摄图像，并能够使用一个或多个处理器自动检测标识并校正变形。校正后的图像可以被发送到匹配后端以找到最佳候选者。

本发明提供一种通过使用带标识的标尺自动提取指纹图像的方法，包括：将标尺放置在临近指纹的位置；通过图像捕获设备自动检测标识的位置并在用户界面上显示；帮助用户根据标识的位置调整图像捕获设备的相机，使指纹位于相机视图的最佳位置；当指纹位于相机视图的最佳位置时，启动自动对焦，使用标识的位置在指纹上自动对焦；完成自动对焦后，焦点将被锁定并开始拍摄图像。

附图说明

图1是具有标识的标尺的设计示意图。四个标识放置在正方形的四个角上。标尺的中心镂空，便于放置潜指纹。尺子的具体形状或尺寸可以变化以适应不同的使用场景；

图2展示了警方使用的传统比例尺示意图；

图3是使用便携式计算设备提取指纹图像的流程示意图；

图4是系统的示例用户界面示意图，(1)/(2)中包含标识和指纹的标尺未在相机视图中处于最佳的位置和尺寸，(3)中包含标识的标尺在相机视图中处于最佳的位置和尺寸(显示为绿色)；

图5是指纹图像拍摄后的处理流程示意图；

图6中的用户界面显示了变形矫正、裁剪和重新调整为1:1比例之前和之后的指纹图像示意图。

具体实施方式

本发明所描述的实施例提供了一种通过使用便携式计算设备自动拍摄，重新缩放和对齐指纹的系统。它使用特殊设计的带标识的标尺(图1)来定位指纹，并通过已知的标识相对位置对齐和重新调整图像。这使我们能够获取1:1的指纹图像，这些图像可以在匹配后端中被准确匹配。

在现有的方法中，当拍摄潜指纹图像时，比例尺(图2)已经与数码相机或便携式计算设备一同使用。然后可以根据标尺上的距离刻度手动将图像重新缩放为1：1比例。这种方法有两个问题：(1)需要手动将图像重新缩放到1:1的比例；(2)如果数码相机或便携式计算设备不是刚好保持在潜指纹平面上方并与其保持平行，会出现无法校正的图像变形。错误地重新缩放或变形的图像会导致指纹匹配的准确性降低。

图2展示了带标识的标尺的设计。四个标识被放置在正方形的四个角上。正方形中心区域是镂空的，用于放置潜指纹。标尺的具体设计，例如所使用标识的种类和数量，标尺的形状和大小等可能会根据不同的使用场景而有所不同，并且应该先验已知，因此可以使用标识的相对位置自动校正图像。标尺应被放置在潜指纹存在的表面上，指纹位于标尺的中空中心内，因此指纹对于便携式计算设备的相机是可见的。

标识被设计为可以由一个或多个处理器自动且可靠地检测。AruCo是一种广泛使用的实现了这一目的的开源库，这里使用Aruco标识作为例子，但也可以使用其他类型的标识，非限制性示例包括正方形、圆形或其他允许自动和可靠检测的标记也可以使用。

图3展示了使用带标识的标尺拍摄潜指纹的1:1图片的流程。

首先，在便携式计算设备上拍摄照片之前会打开一个视频流。视频流帮助用户在启动拍摄过程之前预览照片。系统会自动检测视频流中的标识。使用被检测到的标识的坐标，系统可以自动地推断带有标识的标尺以及指纹是否在便携式计算设备的相机视图中处于最佳位置，例如，是否靠近视图中心，是否距离相机太近或太远，或者设备相机与指纹表面之间的角度是否过大。可以使用不同的方法来确定标识是否处于次优条件。作为非限制性示例，如果标识内的区域面积大于阈值，则相机可能太靠近标记，指纹和图像可能失焦。这些次优条件降低了最终指纹图像的质量，应该被避免。另外附加光源也可用于改善该过程中的图像质量。

用户界面(UI)被设计为避免这种情况。非限制性示例包括视频流中覆盖在检测到的标识的凸包上的多边形蒙版。蒙版直观地向用户显示指纹应在相机视图中的区域。作为非限制性示例，当标识和指纹在便携式计算设备的相机视图中的最佳区域内时，蒙版是绿色的。否则，可以将掩模设置为其他颜色，并且可以在界面上显示消息，该消息提示用户调整便携式计算设备的位置和角度。

作为另一个非限制性示例，假设多边形的四边的长度是x1、x2、x3、x4，并且两个对角线的长度是y1、y2。对于便携式计算设备，将多边形的最大边长设置为maxCaptureLength，最小边长设置为minCaptureLength，其中这两个参数通过实验确定，确保拍摄的指纹图像在相机的焦距范围内并具有高分辨率。具体地，调整手机与标识之间的距离，使拍摄的指纹图像位于相机的焦距范围内，获得图像清晰时的最近距离和最远距离，取最近距离时多边形最长边为maxCaptureLengt，取最远距离时多边形最短边为minCaptureLength。如果max(x1，x2，x3，x4)>＝maxCaptureLength，则相机太靠近指纹；如果min(x1，x2，x3，x4)<＝minCaptureLength，则相机离指纹太远，需要相应调整。如果min(x1，x2，x3，x4)/max(x1，x2，x3，x4)<＝0.8或min(y1，y2)/max(y1，y2)<＝0.8，那么相机没有直接位于潜指纹平面的上方并与其平行，也需要进行调整。当标尺有1个或多个标识时，可以检测到每个标识的四个角。通过测量每个标识的边长和对角线，以及测量标识之间的距离，也可以调整相机，使得指纹处于相机视图的最佳位置。

当标识和指纹处于相机视图的最佳位置并且相应地蒙版为绿色时，系统开始自动对焦。在这个过程中会调整相机参数以将图像对焦在指纹表面，以提高成像质量。因为指纹被放置在带有标识的标尺内或相对于标尺的其他已知位置，所以系统可以检测标识并对焦到指纹区域，整个过程可以自动完成。

当自动对焦完成时，系统自动开始拍摄照片。然而，便携式计算设备可能已经在自动对焦阶段期间被移动，导致所得到的照片可能是模糊的，或者潜指纹甚至可能不在相机视图中。可以使用陀螺仪检测这种移动，如果检测到大幅度移动则中止图像拍摄过程。

当捕获照片时，还需要适当地调整诸如ISO，快门速度和光圈大小等计量参数以实现指纹图像的最高质量。现代便携式计算设备上的相机使用计量区域获取这些参数的最佳配置。与对焦区域类似，系统还将计量区域设置在四个标识的内角内，以获得最佳配置。然后可以对其进行精细调整以进一步改善潜指纹的成像质量。

在拍摄照片后，对其进行如图5所示的后处理。首先，在拍摄的照片上再次检测精确的标识位置。如果检测失败，则可以复用即将开始自动对焦之前的视频帧中的标识的位置。

其次，使用标识的位置应用透视变换(或其他类似的变换)，以便获得指纹的1:1图像。透视变换可以通过以下方式求解：假设四个标记的内角坐标按顺时针方向依次是(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，其中(x1，y1)位于左下角。在变换后的图像中，内角应该位于(u1，v1)＝(0,0)，(u2，v2)＝(0,512)，(u3，v3)＝(512,512)，(u4，v4)＝(512,0)。利用这些关系，我们可以通过线性方程组求解透视变换的参数(m11，m12，m13，m21，m22，m23，m31，m32)：

u_i(1+m₃₁x_im₃₂y_i)＝(m₁₃+m₁₁x_i+m₁₂y_i)

v_i(1+m₃₁x_i+m₃₂y_i)＝(m₂₃+m₂₁x_i+m₂₂y_i)

for i＝1...4。使用求解的参数，可以计算标识的4个内角内的所有像素的变换坐标，然后通过双线性插值获得变换后的图像。当有一个或多个标识时，可以检测每个标记的4个角。由于标识的大小是事先已知的，因此可以使用4个角来执行透视变换并校正图像。

最后，裁剪出带有标识的标尺内的区域以获得标准化图像。另外，可以在便携式计算设备上或在一个或多个其他处理器上进一步处理图像，非限制性示例包括对比度归一化或增强。在移动计算设备上渲染结果以进行进一步的操作，非限制性示例包括质量评估和结果确认。然后将重新缩放和裁剪的图像发送到后端进行匹配。后处理之前和之后的图像如图6所示。

类似的方法可以用于收集活体指纹。可以将一个手指放置在带有标识的标尺内，手指的图像就可以被便携式计算设备拍摄。该方法的非限制性示例使用包括从犯罪现场排除事主的指纹，从嫌疑人收集指纹或验证人员身份。

在上述流程中，已经使用标识来定位指纹以便进一步处理。还可以使用各种方法在移动计算设备上或在其他处理器上自动检测潜指纹。非限制性示例包括将指纹图像发送到具有卷积层的深度神经网络以及边框回归以生成指纹区域以及关键特征点。检测到的潜指纹区域，包括其关键特征点，例如指尖的顶部和底部，指纹的核心和三角形，可以用于进行以与标识位置类似的方式进一步处理，非限制性示例包括自动对焦到该区域，与标准化指纹对齐，重新缩放到标准指纹大小并裁剪指纹区域。

Claims (33)

1.一种通过使用带标识的标尺自动提取指纹图像的方法，包括：

将所述标尺放在临近指纹的位置；

通过图像捕获设备自动检测所述标识的位置并在用户界面上显示，其中，所述标识为可由计算设备自动检测的图案；

帮助用户根据所述标识的位置调整图像捕获设备的相机，使指纹位于相机视图的最佳位置，其中，所述最佳位置包括所述相机与所述标识之间的距离和所述相机与所述指纹表面之间的角度；

当指纹位于相机视图的最佳位置时启动自动对焦；

使用所述标识的位置在指纹上自动对焦；

完成自动对焦后，焦点将被锁定并开始拍摄图像。

2.如权利要求1所述的方法，其特征在于，还包括：使用所述标识的位置来校正所述指纹图像的投影变形，并将其重新调整为1:1的比例。

3.如权利要求1或2所述的方法，还包括：使用标识的位置来确定图像拍摄过程的计量参数。

4.如权利要求3中所述的方法，还包括：使用标识的位置来裁剪图像并仅保留指纹的区域。

5.如权利要求3中所述的方法，还包括：对指纹图像进行标准化和增强以用于进一步的操作。

6.如权利要求3中所述的方法，其中所述指纹被放置在所述带标识的标尺内。

7.如权利要求1所述的方法，其中在用户界面上显示所述标识的位置，并引导用户将相机调整至指纹的最佳相对位置。

8.如权利要求1中所述的方法，其中所述标识的位置用于自动确定所述指纹在所述相机视图中处于最佳位置和角度。

9.如权利要求1中所述的方法，其中所述标识的位置用于推断所述指纹的位置，并且所述相机自动地对焦到所述指纹区域。

10.如权利要求3中所述的方法，其中所述标识的位置用于推断所述指纹的位置，并且所述计量参数自动地根据指纹区域确定。

11.如权利要求1中所述的方法，其中所述标识的位置用于自动校正指纹图像的畸变。

12.如权利要求1中所述的方法，其中通过校正图像中的标识的位置自动地将指纹图像重新缩放为1:1。

13.如权利要求12中所述的方法，其中通过所述标识的位置将所述指纹图像进一步裁剪为标准格式。

14.如权利要求13中所述的方法，其中所述图像由成像设备拍摄，并且所述标识的检测和所述图像的进一步处理在计算设备中执行。

15.如权利要求14中所述的方法，其中跳过静止图像捕获，直接对视频流执行整个过程。

16.如权利要求15中所述的方法，其中在便携式计算设备上或在一个或多个其他处理器上对重新缩放和裁剪的指纹图像进一步处理，包括对比度归一化和增强。

17.如权利要求14或16中所述的方法，其中经处理的指纹图像被显示在移动计算设备上以进行进一步的操作，包括在所述移动计算设备上的质量评估和匹配结果确认。

18.如权利要求1或2中所述的方法，其中自动提取的指纹是潜指纹。

19.如权利要求1所述的方法，其中将人体的手指放在所述带标识的标尺内部或附近其它位置，然后用便携式计算设备收集指纹图像。

20.如权利要求19所述的方法，其中收集所述人体的手指的3D信息，包括立体相机、结构光和光度计。

21.如权利要求20所述的方法，其中所述人体的手指的3D信息用在指纹匹配系统中以提高准确性。

22.如权利要求1中所述的方法，其中如果在自动对焦过程期间移动了所述图像捕获设备，则中止所述图像拍摄过程。

23.一种通过使用带标识的标尺提取指纹图像的方法，包括：

将标尺放在临近指纹的位置；

帮助用户根据所述标识的位置调整图像捕获设备的相机，使指纹位于相机视图的最佳位置，其中，所述最佳位置包括所述相机与所述标识之间的距离和所述相机与所述指纹表面之间的角度；

通过图像捕获设备捕获包含标尺和指纹的图像；

使用所述标识的位置来校正所捕获的指纹图像的变形，其中，所述标识为可由计算设备自动检测的图案；

将所捕获的指纹图像重新调整为1:1的比例。

24.一种自动拍摄指纹图像的方法，包括：

通过图像捕获设备自动检测关键特征点的位置，并在用户界面上显示；

帮助用户利用关键特征点的位置调整图像捕获设备的相机，使指纹位于相机视图的最佳位置，其中，所述最佳位置包括所述相机与所述关键特征点之间的距离和所述相机与所述指纹表面之间的角度；

当指纹位于相机视图的最佳位置时，启动自动对焦；

使用关键特征点的位置自动对焦至指纹；

当自动对焦完成时，焦点被锁定并且图像拍摄过程开始。

25.如权利要求24所述的方法，其中所述关键特征点是指尖的顶部和底部，或指纹的核心和三角形。

26.一种具有至少一个标识的标尺，其中，标尺靠近指纹放置以便于自动提取指纹，

所述标识为可由计算设备自动检测的图案，

所述标识用于帮助用户根据所述标识的位置调整图像捕获设备的相机，使指纹位于相机视图的最佳位置，其中，所述最佳位置包括所述相机与所述标识之间的距离和所述相机与所述指纹表面之间的角度。

27.如权利要求26所述的标尺，其中，所述标识是AruCo标识。

28.如权利要求26所述的标尺，其中，标尺为方形或其它形状，标识为四个或其它数量。

29.如权利要求26至28中任一项所述的标尺，其特征在于，所述标识位于标尺的角上。

30.如权利要求29所述的标尺，其特征在于，所述标尺的中心是镂空的。

31.如权利要求26所述的标尺，其特征在于，所述标尺由柔性材料制成，因此它能够放置在非平坦表面上。

32.如权利要求31所述的标尺，其特征在于，所述柔性材料为塑料或纸。

33.如权利要求26或27所述的标尺，其中靠近标尺放置人的手指并且用便携式计算设备捕获所述指纹。

Images