CN108446597B - 一种基于可见光相机的生物特征3d数据采集方法及装置 - Google Patents

Abstract

本发明提供了一种基于可见光相机的生物特征3D数据采集方法及装置。该方法包括：利用多台可见光相机组成的相机矩阵对生物特征信息进行采集，得到多幅生物特征图像；对多幅生物特征图像进行处理，提取多幅生物特征图像中各自的特征点；基于提取的多幅生物特征图像中各自的特征点，生成生物特征的特征点云数据；根据特征点云数据构建生物特征的3D模型，以实现生物特征3D数据的采集。本发明采用相机矩阵控制技术进行生物特征信息的采集，可以显著提高生物特征信息的采集效率；并且，本发明实施例利用采集到生物特征在空间上的特征信息，完整地复原生物特征在空间上的各项特征，为后续的生物特征数据的应用提供了无限的可能性。

Description

一种基于可见光相机的生物特征3D数据采集方法及装置

技术领域

本发明涉及生物特征识别技术领域，特别是一种基于可见光相机的生物特征3D数据采集方法及装置。

背景技术

生物特征即生物固有的生理或行为特征，如指纹、掌纹、虹膜或人脸等。生物特征有一定的唯一性和稳定性，即任何两生物的某种生物特征之间的差异比较大，且生物特征一般不会随着时间发生很大的变化，这就使得生物特征很适合应用在身份认证或识别系统中的认证信息等场景中。

目前的生物特征数据都是空间平面的2D数据，以头部面部的生物特征为例，有关头部面部的数据应用都停留在简单的图片应用上，即只能从某个特定的角度来对头部面部数据进行处理，识别以及其他方面的应用；又以手部的生物特征为例，主要采用2D的方式来识别某一个或者几个手部的特征，部分不法分子根据手部采集到的2D图片，仿制2D手部特征，骗过部分识别系统，给个人信息安全带来了很大的安全隐患。

因此，亟需针对生物特征进行3D数据采集，提高安全性，并为后续的应用提供无限的可能性。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于可见光相机的生物特征3D数据采集方法及相应的装置。

根据本发明实施例的一方面，提供了一种基于可见光相机的生物特征3D数据采集方法，包括：

利用多台可见光相机组成的相机矩阵对生物特征信息进行采集，得到多幅生物特征图像；

对所述多幅生物特征图像进行处理，提取所述多幅生物特征图像中各自的特征点；

基于提取的所述多幅生物特征图像中各自的特征点，生成生物特征的特征点云数据；

根据所述特征点云数据构建生物特征的3D模型，以实现生物特征3D数据的采集。

可选地，所述基于提取的所述多幅生物特征图像中各自的特征点，生成生物特征的特征点云数据的步骤进一步包括：

根据提取的所述多幅生物特征图像中各自的特征点的特征，进行特征点的匹配，建立匹配的特征点数据集；

根据多台可见光相机的光学信息，计算各台相机相对于生物特征在空间上的相对位置，并根据所述相对位置计算出所述多幅生物特征图像中的特征点的空间深度信息；

根据匹配的特征点数据集和特征点的空间深度信息，生成生物特征的特征点云数据。

可选地，所述多幅生物特征图像中各自的特征点的特征采用尺度不变特征转换SIFT特征描述子来描述。

可选地，所述根据多台可见光相机的光学信息，计算各台相机相对于生物特征在空间上的相对位置的步骤进一步包括：

根据多台可见光相机的光学信息，采用光束平差法计算各台相机相对于生物特征在空间上的相对位置。

可选地，所述多幅生物特征图像中的特征点的空间深度信息包括：空间位置信息和颜色信息。

可选地，所述根据所述特征点云数据构建生物特征的3D模型的步骤进一步包括：

设定待构建的3D模型的参考尺寸；

根据所述参考尺寸和所述特征点云数据的空间位置信息，确定所述特征点云数据中各个特征点的空间尺寸，从而构建生物特征的3D模型。

可选地，所述生物特征的3D模型中包括下列至少之一的3D数据：

描述3D模型的空间形状特征数据；

描述3D模型的表面纹理特征数据；

描述3D模型的表面材质和灯光特征数据。

可选地，在利用多台可见光相机组成的相机矩阵对生物特征信息进行采集之前，所述方法还包括通过以下方式布局多台可见光相机：

搭建支撑结构，在所述支撑结构上设置弧形承载结构；

将多台可见光相机布置在所述弧形承载结构上。

可选地，若所述生物特征信息为头部面部信息，则所述方法还包括：

搭建与所述支撑结构连接的底座，在所述底座上设置用于固定生物拍照位置的座椅；

当生物位于所述座椅上时，利用布置在所述弧形承载结构上的多台可见光相机组成的相机矩阵对头部面部信息进行采集。

可选地，所述方法还包括：

在所述弧形承载结构上设置显示器；

在构建得到头部面部的3D模型后，在显示器上通过可视化方式显示头部面部3D数据。

可选地，所述方法还包括：

在利用多台可见光相机组成的相机矩阵对头部面部信息进行采集之前，通过显示器界面，设定各台相机的拍照参数。

可选地，若所述生物特征信息为手部信息，则所述支撑结构为柜体，所述弧形承载结构设置在所述柜体内，所述方法还包括：

在所述柜体上面向多台可见光相机的镜头的一面设置透明玻璃盖板；

当生物的手部放置在所述透明玻璃盖板上时，利用布置在所述弧形承载结构上的多台可见光相机组成的相机矩阵对手部信息进行采集。

可选地，所述方法还包括：

在所述柜体上设置显示器；

在构建得到手部的3D模型后，在显示器上通过可视化方式显示手部3D数据。

可选地，所述方法还包括：

在利用多台可见光相机组成的相机矩阵对手部信息进行采集之前，通过显示器界面，设定各台相机的拍照参数。

根据本发明实施例的另一方面，还提供了一种基于可见光相机的生物特征3D数据采集装置，包括：

图像采集单元，用于利用多台可见光相机组成的相机矩阵对生物特征信息进行采集，得到多幅生物特征图像；

特征点提取单元，用于对所述多幅生物特征图像进行处理，提取所述多幅生物特征图像中各自的特征点；

点云生成单元，用于基于提取的所述多幅生物特征图像中各自的特征点，生成生物特征的特征点云数据；

3D模型构建单元，用于根据所述特征点云数据构建生物特征的3D模型，以实现生物特征3D数据的采集。

可选地，所述点云生成单元还用于：

根据提取的所述多幅生物特征图像中各自的特征点的特征，进行特征点的匹配，建立匹配的特征点数据集；

根据多台可见光相机的光学信息，计算各台相机相对于生物特征在空间上的相对位置，并根据所述相对位置计算出所述多幅生物特征图像中的特征点的空间深度信息；

根据匹配的特征点数据集和特征点的空间深度信息，生成生物特征的特征点云数据。

可选地，所述多幅生物特征图像中各自的特征点的特征采用尺度不变特征转换SIFT特征描述子来描述。

可选地，所述点云生成单元还用于：

根据多台可见光相机的光学信息，采用光束平差法计算各台相机相对于生物特征在空间上的相对位置。

可选地，所述多幅生物特征图像中的特征点的空间深度信息包括：空间位置信息和颜色信息。

可选地，所述3D模型构建单元还用于：

设定待构建的3D模型的参考尺寸；

根据所述参考尺寸和所述特征点云数据的空间位置信息，确定所述特征点云数据中各个特征点的空间尺寸，从而构建生物特征的3D模型。

可选地，所述生物特征的3D模型中包括下列至少之一的3D数据：

描述3D模型的空间形状特征数据；

描述3D模型的表面纹理特征数据；

描述3D模型的表面材质和灯光特征数据。

可选地，所述装置还包括：

相机矩阵布局单元，用于在所述图像采集单元利用多台可见光相机组成的相机矩阵对生物特征信息进行采集之前，通过以下方式布局多台可见光相机：

搭建支撑结构，在所述支撑结构上设置弧形承载结构；

将多台可见光相机布置在所述弧形承载结构上。

可选地，若所述生物特征信息为头部面部信息，所述图像采集单元还用于：

搭建与所述支撑结构连接的底座，在所述底座上设置用于固定生物拍照位置的座椅；

当生物位于所述座椅上时，利用布置在所述弧形承载结构上的多台可见光相机组成的相机矩阵对头部面部信息进行采集。

可选地，所述装置还包括：

第一显示单元，用于在所述弧形承载结构上设置显示器；在构建得到头部面部的3D模型后，在显示器上通过可视化方式显示头部面部3D数据。

可选地，所述图像采集单元还用于：

在利用多台可见光相机组成的相机矩阵对头部面部信息进行采集之前，通过显示器界面，设定各台相机的拍照参数。

可选地，若所述生物特征信息为手部信息，则所述支撑结构为柜体，所述弧形承载结构设置在所述柜体内，所述图像采集单元还用于：

在所述柜体上面向多台可见光相机的镜头的一面设置透明玻璃盖板；

当生物的手部放置在所述透明玻璃盖板上时，利用布置在所述弧形承载结构上的多台可见光相机组成的相机矩阵对手部信息进行采集。

可选地，所述装置还包括：

第二显示单元，用于在所述柜体上设置显示器；在构建得到手部的3D模型后，在显示器上通过可视化方式显示手部3D数据。

可选地，所述图像采集单元还用于：

在利用多台可见光相机组成的相机矩阵对手部信息进行采集之前，通过显示器界面，设定各台相机的拍照参数。

本发明实施例提供了一种基于可见光相机的生物特征3D数据采集方法和装置，在方法中具体是利用多台可见光相机组成的相机矩阵对生物特征信息进行采集，得到多幅生物特征图像；进而对多幅生物特征图像进行处理，提取多幅生物特征图像中各自的特征点；随后，基于提取的多幅生物特征图像中各自的特征点，生成生物特征的特征点云数据；之后，根据特征点云数据构建生物特征的3D模型，以实现生物特征3D数据的采集。可以看到，本发明实施例采用多台可见光相机控制技术进行生物特征信息的采集，可以显著提高生物特征信息的采集效率；并且，本发明实施例利用采集到生物特征在空间上的特征信息，完整地复原生物特征在空间上的各项特征，为后续的生物特征数据的应用提供了无限的可能性。

进一步，本发明实施例基于中央处理器和图形处理器的并行计算，可以快速高效地实现特征信息的处理以及点云的生成。并且，采用尺度不变特征转换SIFT特征描述子结合特殊图形处理器的并行计算能力，可以快速实现特征点的匹配和空间特征点云的生成。此外，采用独特的尺寸标定方法，可以准确快速地提取生物特征任何特征点的空间尺寸，生成生物特征的3D模型，以实现3D数据的采集。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一实施例的基于可见光相机的生物特征3D数据采集方法的流程图；

图2示出了根据本发明一实施例的布局多台可见光相机的方法的流程图；

图3示出了根据本发明一实施例的头部面部可见光相机3D数据采集设备的示意图；

图4示出了图3所示的采集设备中承载结构的内部模块和外部的连接的示意图；

图5示出了图3所示的采集设备中串口集成模块、相机矩阵和中央处理模块的连接的示意图；

图6示出了根据本发明一实施例的人体手部可见光相机3D数据采集设备的示意图；

图7示出了图6所示的采集设备的中央控制模块和外部的连接的示意图；

图8示出了根据本发明一实施例的人体手部信息采集位置的示意图；

图9示出了根据本发明一实施例的基于可见光相机的生物特征3D数据采集装置的结构示意图；以及

图10示出了根据本发明另一实施例的基于可见光相机的生物特征3D数据采集装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为解决上述技术问题，本发明实施例提供了一种基于可见光相机的生物特征3D数据采集方法。图1示出了根据本发明一实施例的基于可见光相机的生物特征3D数据采集方法的流程图。如图1所示，该方法可以包括以下步骤S102至步骤S108。

步骤S102，利用多台可见光相机组成的相机矩阵对生物特征信息进行采集，得到多幅生物特征图像。

步骤S104，对多幅生物特征图像进行处理，提取多幅生物特征图像中各自的特征点。

步骤S106，基于提取的多幅生物特征图像中各自的特征点，生成生物特征的特征点云数据。

步骤S108，根据特征点云数据构建生物特征的3D模型，以实现生物特征3D数据的采集。

本发明实施例采用多台可见光相机控制技术进行生物特征信息的采集，可以显著提高生物特征信息的采集效率；并且，本发明实施例利用采集到生物特征在空间上的特征信息，完整地复原生物特征在空间上的各项特征，为后续的生物特征数据的应用提供了无限的可能性。

本发明实施例在使用一台相机进行生物特征信息采集时，该台相机可以沿着预定轨道转一圈拍摄，从而实现对生物特征信息的多角度拍摄。

在本发明的可选实施例中，上文步骤S106中基于提取的多幅生物特征图像中各自的特征点，生成生物特征的特征点云数据，具体可以是包括以下步骤S1061至步骤S1063。

步骤S1061，根据提取的多幅生物特征图像中各自的特征点的特征，进行特征点的匹配，建立匹配的特征点数据集。

步骤S1062，根据多台可见光相机的光学信息，计算各台相机相对于生物特征在空间上的相对位置，并根据相对位置计算出多幅生物特征图像中的特征点的空间深度信息。

步骤S1063，根据匹配的特征点数据集和特征点的空间深度信息，生成生物特征的特征点云数据。

在上面的步骤S1061中，多幅生物特征图像中各自的特征点的特征可以采用SIFT(Scale-Invariant Feature Transform，尺度不变特征转换)特征描述子来描述。SIFT特征描述子具有128个特征描述向量，可以在方向和尺度上描述任何特征点的128个方面的特征，显著提高对特征描述的精度，同时特征描述子具有空间上的独立性。

在步骤S1062中，根据多台可见光相机的光学信息，计算各台相机相对于生物特征在空间上的相对位置，本发明实施例提供了一种可选的方案，在该方案中，可以根据多台可见光相机的光学信息，采用光束平差法计算各台相机相对于生物特征在空间上的相对位置。

在光束平差法的定义中，假设有一个3D空间中的点，它被位于不同位置的多个相机看到，那么光束平差法就是能够从这些多视角信息中提取出3D点的坐标以及各个相机的相对位置和光学信息的过程。

进一步地，步骤S1062中提及的多幅生物特征图像中的特征点的空间深度信息可以包括：空间位置信息和颜色信息，即，可以是特征点在空间位置的X轴坐标、特征点在空间位置的Y轴坐标、特征点在空间位置的Z轴坐标、特征点的颜色信息的R通道的值、特征点的颜色信息的G通道的值、特征点的颜色信息的B通道的值、特征点的颜色信息的Alpha通道的值等等。这样，生成的特征点云数据中包含了特征点的空间位置信息和颜色信息，特征点云数据的格式可以如下所示：

X1Y1Z1R1G1B1A1

X2Y2Z2R2G2B2A2

……

Xn Yn Zn Rn Gn Bn An

其中，Xn表示特征点在空间位置的X轴坐标；Yn表示特征点在空间位置的Y轴坐标；Zn表示特征点在空间位置的Z轴坐标；Rn表示特征点的颜色信息的R通道的值；Gn表示特征点的颜色信息的G通道的值；Bn表示特征点的颜色信息的B通道的值；An表示特征点的颜色信息的Alpha通道的值。

在本发明实施例中，平面2D的生物特征加上时间的维度，构成3D生物特征，完整地复原生物特征在空间上的各项特征，为后续的生物特征数据的应用提供了无限的可能性。

在本发明的可选实施例中，上文步骤S108中根据特征点云数据构建生物特征的3D模型，具体可以是设定待构建的3D模型的参考尺寸；进而根据参考尺寸和特征点云数据的空间位置信息，确定特征点云数据中各个特征点的空间尺寸，从而构建生物特征的3D模型。

在构建的生物特征的3D模型中可以包括描述3D模型的空间形状特征数据、描述3D模型的表面纹理特征数据、描述3D模型的表面材质和灯光特征数据等3D数据，本发明实施例对此不作限制。

在本发明的可选实施例中，还可以记录多台可见光相机采集生物特征信息的时间数据，从而根据特征点云数据和时间数据，构建具有时间维度的生物特征的3D模型，以实现生物特征四维数据的采集。这里的四维数据可以是多张相同时间间隔或不同时间间隔、不同角度、不同方位、不同表情形态等的3D数据集合。

在本发明的可选实施例中，在上文步骤S102中利用多台可见光相机组成的相机矩阵对生物特征信息进行采集之前，还可以布局多台可见光相机，如图2所示，布局多台可见光相机的方法可以包括以下步骤S202至步骤S204。

步骤S202，搭建支撑结构，在支撑结构上设置弧形承载结构。

步骤S204，将多台可见光相机布置在弧形承载结构上。

可以看到，本发明实施例采用多台可见光相机控制技术进行生物特征信息的采集，可以显著提高生物特征信息的采集效率。并且，多台相机布置在弧形承载结构上形成相机矩阵。

进一步地，当需要采集的生物特征不同时，步骤S102的具体的采集方式也有所不同，下面将分别进行详细介绍。

情况一，若生物特征信息为头部面部信息，则可以搭建与支撑结构连接的底座，在底座上设置用于固定生物拍照位置的座椅；当生物位于座椅上时，利用布置在弧形承载结构上的多台可见光相机组成的相机矩阵对头部面部信息进行采集。

在可选的实施例中，还可以在弧形承载结构上设置显示器；在构建得到头部面部的3D模型后，在显示器上通过可视化方式显示头部面部3D数据。

在可选的实施例中，在利用多台可见光相机组成的相机矩阵对头部面部信息进行采集之前，还可以通过显示器界面，设定各台相机的拍照参数，如感光度、快门速度、变焦倍数、光圈等，本发明实施例不限于此。

情况二，若生物特征信息为手部信息，则支撑结构可以为柜体，弧形承载结构设置在柜体内，则可以在柜体上面向多台可见光相机的镜头的一面设置透明玻璃盖板；当生物的手部放置在透明玻璃盖板上时，利用布置在弧形承载结构上的多台可见光相机组成的相机矩阵对手部信息进行采集。这里的手部信息具体可以是指部、掌纹等信息，本发明实施例对此不作限制。

在可选的实施例中，还可以在柜体上设置显示器；在构建得到手部的3D模型后，在显示器上通过可视化方式显示手部3D数据。

在可选的实施例中，在利用多台可见光相机组成的相机矩阵对手部信息进行采集之前，还可以通过显示器界面，设定各台相机的拍照参数，如感光度、快门速度、变焦倍数、光圈等，本发明实施例不限于此。

需要说明的是，本发明实施例中的生物特征并不限于上述的头部面部以及手部，还可以包括其他生物特征，如脚部等，本发明实施例对此不做限制。

以上介绍了图1所示的实施例中各个环节的多种实现方式，下面通过具体的实施例对本发明实施例提供的基于可见光相机的生物特征3D数据采集方法做进一步说明，在具体实施例中分别以头部面部信息、手部信息采集为例。

具体实施例一

(1-1)头部面部可见光相机3D数据采集设备设计思路如下。

A.头部面部可见光相机3D数据采集设备如图3所示，该设备可以包括：

底座31，作为整个发明设备的主要的底部支撑结构；

座椅32，固定拍照人体位置和调节人体高度；

支撑结构33，连接设备的底部和其他主体机构；

显示器34，设备系统工作的操作界面；

承载结构35，相机、中央处理器、灯光的固定结构；

相机矩阵36，人体头部面部信息采集；

带状补光灯37，环境灯光补充使用。

B.设备的连接关系说明

底座31通过连接结构和座椅32相连；

底座31通过机构连接结构和支撑结构33相连；

支撑结构33通过机械连接结构和承载结构35相连；

显示器34通过机械固定在承载结构35上；

相机矩阵36通过结构固定的方式固定在承载结构35上；

带状补光灯37通过结构固定的方式固定在承载结构35上。

(1-2)承载结构35的内部模块组成如下。

A.如图4所示，承载结构35的内部模块可以由如下几部分组成：

电源管理模块，负责提供整个系统的所需的各种电源；

灯光管理模块，通过中央处理模块可以调整灯光的亮度；

串口集成模块，负责中央处理模块和相机矩阵的双向通讯；

中央处理模块，负责系统信息处理、显示、灯光、座椅的控制；

座椅升降管理模块，负责座椅高度调整；

显示驱动管理模块，负责显示器的显示驱动。

B.承载结构35的内部模块以及外部的连接关系如下：

1)电源管理模块向相机矩阵、串口集成模块、灯光管理模块、中央处理模块、显示驱动管理模块、座椅升降管理模块提供电源；

2)串口集成模块连接相机矩阵和中央处理模块，实现它们之间的双向通讯，如图5所示；

2.1)相机以单独个体的方式以串口的方式和串口集成模块连接

2.2)串口集成模块通过USB接口和中央处理模块连接

2.3)中央处理模块通过定制开发的软件界面实现和相机矩阵的可视化操作

2.4)操作界面上可以实现对相机拍照参数的设置

感光度ISO(范围50～6400)

快门速度(1/4000～1/2)(秒)

变焦倍数(1～3.8x)

光圈(大/小)

2.5)操作界面可以实现对相机开机的初始化操作

2.6)操作界面可以实现相机影像采集的命令

2.7)操作界面可以实现相机影像储存路径的设置

2.8)操作界面可以实现相机实时影像的浏览以及相机的切换

3)灯光管理模块连接电源管理模块、中央处理模块以及外部带状补光灯；

4)座椅升降管理模块连接电源管理模块、中央处理模块以及外部座椅，中央处理模块通过可视化界面实现对座椅高度的上下调节；

5)显示驱动管理模块连接电源管理模块、中央处理模块及外部的显示器；

6)中央处理模块连接电源管理模块、灯光管理模块、座椅升降管理模块、串口集成模块、显示驱动管理模块。

(1-3)设备使用方法如下

A.启动设备：打开电源开关后，中央处理器，相机矩阵，带状补光灯分别启动。

B.参数设定：通过显示器界面，可以设定相机矩阵拍照的各项参数。

C.信息采集：参数设定完毕后，启动矩阵相机开始对人体头部面部进行信息采集，信息采集时间在0.8秒内完成，采集的信号最后以数字图像(.jpg)的格式传至中央处理模块进行处理，中央处理模块核心由以下几个部分组成：

C.1CPU(Central Processing Unit，中央处理单元)：负责整个数字信号的传送调度，任务分配，内存管理，以及部分单一的计算处理；

C.2GPU(Graphics Processing Unit，图像处理单元)：选用特殊型号的GPU，具有优秀的图像处理能力和高效的计算能力；

C.3DRAM(Dynamic Random Access Memory，即动态随机存取存储器)：作为整个数字信号处理的暂时存储中心，需要匹配CPU和GPU的运算能力，得到最佳的处理和计算效能。

D.信息处理：矩阵相机采集完的信号传送到中央处理模块进行信号处理。

D.1信息处理的过程如下

D.1.1采集图像的滤波

利用GPU的特性，结合图像滤波的矩阵运算子的特性，图像滤波可以在一定算法的支持下，快速完成。

D.1.2采集图像的特征点提取

采用CPU和与整体性能相匹配的GPU，因为本设备的各种信息的格式都是图像格式，结合具有优秀图像处理能力的GPU，可以将jpg的各种信息内容均匀的分配到GPU的block中，由于本设备采用双GPU，每颗GPU本身具有56个block，所以采集信息抓取到的18张jpg的图像会均匀的分配到112个block上面进行运算，并结合CPU的集中调度和分配功能，可以快速地计算出每张照片具有的特征点，相对于单独CPU或者CPU搭配其他普通型号的GPU的运算，整体的运算速度时间是后者的1/10或者更短。

D.1.3采集图像的匹配和空间深度信息的计算

图像特征点的提取采用金字塔的层级结构，以及空间尺度不变性的特殊算法，这两种特殊的算法都是结合本设备选用的GPU的特殊构造，最大程度的发挥系统的计算性能，实现快速提取图像信息中的特征点。

此过程的特征描述子采用SIFT特征描述子，SIFT特征描述子具有128个特征描述向量，可以在方向和尺度上描述任何特征点的128个方面的特征，显著提高对特征描述的精度，同时特征描述子具有空间上的独立性。

本设备采用的特殊图像处理GPU，具有优异的单独向量的计算和处理能力，对于采用128个特殊描述子的SIFT特征向量来讲，在这样特殊GPU的条件下来处理是最适合不过了，可以充分发挥该GPU的特殊计算能力，比较采用普通CPU或者CPU搭配其他普通规格的GPU，特征点的匹配时间会降低70％。

特征点匹配完毕，系统会采用光束平差法的算法计算出相机相对于头部面部在空间上的相对位置，根据此相对位置的空间坐标，GPU可以快速地计算出头部面部特征点的深度信息。

D.1.4特征点云数据的生成

根据D.1.3计算出头部面部特征点在空间的深度信息，由于GPU具有的向量计算能力，可以快速地匹配出头部面部特征点云的空间位置和颜色信息，形成一个标准的模型建立需要的点云信息。

E.特征尺寸标定：通过特征点云尺寸的标准，为整个模型的尺寸设定最初的参考尺寸。

通过在信息采集上的特殊标定，该特殊标定具有空间确定尺寸，由于头部面部特征点云具有空间上尺度一致性，通过该特殊标定的确定尺寸，头部面部的任何特征点之间的尺寸可以从点云的空间位置坐标计算得到。

F.数据的后续处理：基于E中标定的尺寸，通过对点云数据进行进一步的处理，可以得到人脸头部面部的3D数据。

3D数据的格式有如下几个文件：

.obj——描述3D模型的空间形状特征

.jpg——描述3D模型的表面纹理特征

.mtl——描述3D模型的表面材质和灯光特征

G.头部面部3D数据通过可视化的方法显示在显示器上。

具体实施例二

(2-1)人体手部可见光相机3D数据采集设备设计思路如下。

A.人体手部可见光相机3D数据采集设备如图6所示，该设备可以包括：

柜体61，作为整个设备的主要的主体支撑结构；

相机矩阵62，采集人体手部特征，具体可以是指部特征和/或掌部特征；

透明玻璃盖板63，人体手部的放置装置；

中央控制模块64，系统的信息处理、分析、显示模块；

手部虚拟位置65，人体手部的放置位置说明；

无影灯光系统66，为手部3D建模提供灯光环境。

B.设备的连接关系说明

柜体61通过机械固定的方式和相机矩阵62相连；

柜体61通过机械结构固定的方式和透明玻璃盖板63相连；

中央控制模块64通过机械固定的方式和柜体61相连；

无影灯光系统66通过机械固定的方式和柜体61相连；

手部虚拟位置65确保人体手部整体落在相机矩阵62信息采集的范围内。

(2-2)中央控制模块64和外部的连接如图7所示。

A.整个中央控制模块由如下几个部分组成：

电源管理模块，提供整个设备的电源；

串口集成模块，负责相机矩阵和中央处理模块的命令和数据传递；

灯光管理模块，负责管理外部无影灯光系统的；

显示驱动模块，负责显示模块的管理；

中央处理模块，整个系统的采集数据的分析、计算和处理；

显示模块，系统操作界面。

B.整个中央控制模块的连接关系如下所示：

B.1电源管理模块提供电源给相机矩阵、串口集成模块、中央处理模块、灯光管理模块、显示驱动模块、显示模块；

B.2串口集成模块实现相机矩阵和中央处理模块之间的双向通讯；

B.3灯光管理模块提供电源给无影灯光系统，并负责调整灯光系统的参数；

B.4中央处理模块连接串口集成模块、灯光管理模块、显示驱动模块和电源管理模块；

B.5显示驱动模块连接中央处理模块和显示模块。

(2-3)设备使用方法如下

A.启动设备：打开电源开关后，启动电源管理模块给系统各个模块提供电源，并同时启动相机矩阵、中央控制模块、无影灯光系统以及显示模块。

B.人体手部放置：将人体的手部放置在透明玻璃盖板上，通过调整手部的位置，使手部的信息全部落在信息采集的方位内，由于本设备的灯光系统采用无影灯光系统，各个角度采集的手部信息没有阴影，可以显著提高特征点采集的效率和准确度。

C.参数设置：通过显示器界面，可以设定相机矩阵拍照的各项参数。

D.信息采集：参数设置完毕，启动相机矩阵开始对手部的信息进行采集，采集的信息会以图片的格式传到中央控制模块进行分析和处理。

E.信息处理：相机矩阵采集完的信号传送到中央控制模块进行信号处理，信息处理的过程如下。

D.1采集图像的滤波

由于人体手部的主要特征采集点集中在手部指部的顶端，如图8所示，指端的指纹特征也是具有唯一生物识别的特征，所以在采集到手部指部的特征点后，首先需要将非指端的信息采用算法的方法滤掉，整个算法的整体思路如下：

D.1.1建立指端和第二指部的关节纹的库文件以及指部关节纹的特征库；

D.1.2导入特征库针对指部采集到的信息进行特征识别；

D.1.3特征识别后，针对特征区的区域进行计算，计算出指部指端的特征区的范围；

D.1.4特征区和非指部特征区的图像分割；

D.1.5非指部特征区的信息从原始图像剔除；

D.1.6新特征区域的信息做进一步的滤波处理；

D.2采集图像的特征点提取

D.3采集图像的匹配和空间深度信息的计算

D.4特征点云数据的生成

F.数据后续处理：通过对点云数据进行进一步的处理，可以得到手部的纹理构造。

G.手部3D数据显示：手部3D数据通过可视化的方法显示在显示器上。

这里，D.2、D.3以及D.4可以参见前文介绍，此处不再赘述。

需要说明的是，实际应用中，上述所有可选实施方式可以采用结合的方式任意组合，形成本发明的可选实施例，在此不再一一赘述。

基于上文各个实施例提供的基于可见光相机的生物特征3D数据采集方法，基于同一发明构思，本发明实施例还提供了一种基于可见光相机的生物特征3D数据采集装置。

图9示出了根据本发明一实施例的基于可见光相机的生物特征3D数据采集装置的结构示意图。如图9所示，该装置可以包括图像采集单元910、特征点提取单元920、点云生成单元930以及3D模型构建单元940。

现介绍本发明实施例的基于可见光相机的生物特征3D数据采集装置的各组成或器件的功能以及各部分间的连接关系：

图像采集单元910，用于利用多台可见光相机组成的相机矩阵对生物特征信息进行采集，得到多幅生物特征图像；

特征点提取单元920，与图像采集单元910相耦合，用于对多幅生物特征图像进行处理，提取多幅生物特征图像中各自的特征点；

点云生成单元930，与特征点提取单元920相耦合，用于基于提取的多幅生物特征图像中各自的特征点，生成生物特征的特征点云数据；

3D模型构建单元940，与点云生成单元930相耦合，用于根据特征点云数据构建生物特征的3D模型，以实现生物特征3D数据的采集。

在本发明的可选实施例中，上述点云生成单元930还用于：

根据提取的多幅生物特征图像中各自的特征点的特征，进行特征点的匹配，建立匹配的特征点数据集；

根据多台可见光相机的光学信息，计算各台相机相对于生物特征在空间上的相对位置，并根据相对位置计算出多幅生物特征图像中的特征点的空间深度信息；

根据匹配的特征点数据集和特征点的空间深度信息，生成生物特征的特征点云数据。

在本发明的可选实施例中，多幅生物特征图像中各自的特征点的特征采用尺度不变特征转换SIFT特征描述子来描述。

在本发明的可选实施例中，上述点云生成单元930还用于：

根据多台可见光相机的光学信息，采用光束平差法计算各台相机相对于生物特征在空间上的相对位置。

在本发明的可选实施例中，多幅生物特征图像中的特征点的空间深度信息包括：空间位置信息和颜色信息。

在本发明的可选实施例中，上述3D模型构建单元940还用于：

设定待构建的3D模型的参考尺寸；

根据参考尺寸和特征点云数据的空间位置信息，确定特征点云数据中各个特征点的空间尺寸，从而构建生物特征的3D模型。

在本发明的可选实施例中，生物特征的3D模型中包括下列至少之一的3D数据：

描述3D模型的空间形状特征数据；

描述3D模型的表面纹理特征数据；

描述3D模型的表面材质和灯光特征数据。

在本发明的可选实施例中，如图10所示，上文图9展示的装置还可以包括：

相机矩阵布局单元1010，与图像采集单元910相耦合，用于在图像采集单元910利用多台可见光相机组成的相机矩阵对生物特征信息进行采集之前，通过以下方式布局多台可见光相机：

搭建支撑结构，在支撑结构上设置弧形承载结构；

将多台可见光相机布置在弧形承载结构上。

在该实施例中，多台相机布置在弧形承载结构上形成相机矩阵。

在本发明的可选实施例中，若生物特征信息为头部面部信息，上述图像采集单元910还用于：

搭建与支撑结构连接的底座，在底座上设置用于固定生物拍照位置的座椅；

当生物位于座椅上时，利用布置在弧形承载结构上的多台可见光相机组成的相机矩阵对头部面部信息进行采集。

在本发明的可选实施例中，如图10所示，上文图9展示的装置还可以包括：

第一显示单元1020，与3D模型构建单元940相耦合，用于在弧形承载结构上设置显示器；在构建得到头部面部的3D模型后，在显示器上通过可视化方式显示头部面部3D数据。

在本发明的可选实施例中，上述图像采集单元910还用于：

在利用多台可见光相机组成的相机矩阵对头部面部信息进行采集之前，通过显示器界面，设定各台相机的拍照参数。

在本发明的可选实施例中，若生物特征信息为手部信息，则支撑结构为柜体，弧形承载结构设置在柜体内，上述图像采集单元910还用于：

在柜体上面向多台可见光相机的镜头的一面设置透明玻璃盖板；

当生物的手部放置在透明玻璃盖板上时，利用布置在弧形承载结构上的多台可见光相机组成的相机矩阵对手部信息进行采集。

在本发明的可选实施例中，如图10所示，上文图9展示的装置还可以包括：

第二显示单元1030，与3D模型构建单元940相耦合，用于在柜体上设置显示器；在构建得到手部的3D模型后，在显示器上通过可视化方式显示手部3D数据。

在本发明的可选实施例中，上述图像采集单元910还用于：

在利用多台可见光相机组成的相机矩阵对手部信息进行采集之前，通过显示器界面，设定各台相机的拍照参数。

根据上述任意一个可选实施例或多个可选实施例的组合，本发明实施例能够达到如下有益效果：

本发明实施例提供了一种基于可见光相机的生物特征3D数据采集方法和装置，在方法中具体是利用多台可见光相机组成的相机矩阵对生物特征信息进行采集，得到多幅生物特征图像；进而对多幅生物特征图像进行处理，提取多幅生物特征图像中各自的特征点；随后，基于提取的多幅生物特征图像中各自的特征点，生成生物特征的特征点云数据；之后，根据特征点云数据构建生物特征的3D模型，以实现生物特征3D数据的采集。可以看到，本发明实施例采用多台可见光相机控制技术进行生物特征信息的采集，可以显著提高生物特征信息的采集效率；并且，本发明实施例利用采集到生物特征在空间上的特征信息，完整地复原生物特征在空间上的各项特征，为后续的生物特征数据的应用提供了无限的可能性。

进一步，本发明实施例基于中央处理器和图形处理器的并行计算，可以快速高效地实现特征信息的处理以及点云的生成。并且，采用尺度不变特征转换SIFT特征描述子结合特殊图形处理器的并行计算能力，可以快速实现特征点的匹配和空间特征点云的生成。此外，采用独特的尺寸标定方法，可以准确快速地提取生物特征任何特征点的空间尺寸，生成生物特征的3D模型，以实现3D数据的采集。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于可见光相机的生物特征3D数据采集装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (8)

1.一种基于可见光相机的手部生物特征3D数据采集方法，其特征在于，包括：

A.启动设备：打开电源开关后，启动电源管理模块给系统各个模块提供电源，并同时启动相机矩阵、中央控制模块、无影灯光系统以及显示模块；

B.人体手部放置：将人体的手部放置在透明玻璃盖板上，通过调整手部的位置，使手部的信息全部落在信息采集的方位内，由于采用无影灯光系统，各个角度采集的手部信息没有阴影；该设备包括手部虚拟位置，提供人体手部的放置位置说明，确保人体手部整体落在相机矩阵信息采集的范围内；

C.参数设置：通过显示器界面，设定相机矩阵拍照的各项参数；

D.信息采集：参数设置完毕，启动相机矩阵开始对手部的信息进行采集，采集的信息会以图片的格式传到中央控制模块进行分析和处理；利用多台可见光相机组成的相机矩阵对生物特征信息进行采集，得到多幅生物特征图像；

E.信息处理：相机矩阵采集完的信号传送到中央控制模块进行信号处理，

对所述多幅生物特征图像进行处理，提取所述多幅生物特征图像中各自的特征点；

基于提取的所述多幅生物特征图像中各自的特征点，生成生物特征的特征点云数据，包括：根据提取的所述多幅生物特征图像中各自的特征点的特征，进行特征点的匹配，建立匹配的特征点数据集；根据多台可见光相机的光学信息，采用光束平差法计算各台相机相对于生物特征在空间上的相对位置，并根据所述相对位置计算出所述多幅生物特征图像中的特征点的空间深度信息；根据匹配的特征点数据集和特征点的空间深度信息，生成生物特征的特征点云数据；

包括：

E.1采集图像的滤波

由于人体手部的主要特征采集点集中在手部指部的顶端，指端的指纹特征也是具有唯一生物识别的特征，所以在采集到手部指部的特征点后，首先需要将非指端的信息采用算法的方法滤掉，整个算法的整体思路如下：

E.1.1建立指端和第二指部的关节纹的库文件以及指部关节纹的特征库；

E.1.2导入特征库针对指部采集到的信息进行特征识别；

E.1.3特征识别后，针对特征区的区域进行计算，计算出指部指端的特征区的范围；

E.1.4特征区和非指部特征区的图像分割；

E.1.5非指部特征区的信息从原始图像剔除；

E.1.6新特征区域的信息做进一步的滤波处理；

E.2采集图像的特征点提取；

E.3采集图像的匹配和空间深度信息的计算；

E.4特征点云数据的生成；

根据所述特征点云数据构建生物特征的3D模型，以实现生物特征3D数据的采集；包括：设定待构建的3D模型的参考尺寸；根据所述参考尺寸和所述特征点云数据的空间位置信息，确定所述特征点云数据中各个特征点的空间尺寸，从而构建生物特征的3D模型；

记录多台可见光相机采集生物特征信息的时间数据，从而根据特征点云数据和时间数据，构建具有时间维度的生物特征的3D模型，以实现生物特征四维数据的采集。

2.根据权利要求1所述的方法，其特征在于，所述多幅生物特征图像中各自的特征点的特征采用尺度不变特征转换SIFT特征描述子来描述。

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述多幅生物特征图像中的特征点的空间深度信息包括：空间位置信息和颜色信息。

4.根据权利要求3所述的方法，其特征在于，所述生物特征的3D模型中包括下列至少之一的3D数据：

描述3D模型的空间形状特征数据；

描述3D模型的表面纹理特征数据；

描述3D模型的表面材质和灯光特征数据。

5.根据权利要求1所述的方法，其特征在于，在利用多台可见光相机组成的相机矩阵对生物特征信息进行采集之前，所述方法还包括通过以下方式布局多台可见光相机：

搭建支撑结构，在所述支撑结构上设置弧形承载结构；

将多台可见光相机布置在所述弧形承载结构上。

6.根据权利要求5所述的方法，其特征在于，若所述生物特征信息为手部信息，则所述支撑结构为柜体，所述弧形承载结构设置在所述柜体内，所述方法还包括：

在所述柜体上面向多台可见光相机的镜头的一面设置透明玻璃盖板；

当生物的手部放置在所述透明玻璃盖板上时，利用布置在所述弧形承载结构上的多台可见光相机组成的相机矩阵对手部信息进行采集。

7.根据权利要求6所述的方法，其特征在于，还包括：

在所述柜体上设置显示器；

在构建得到手部的3D模型后，在显示器上通过可视化方式显示手部3D数据。

8.根据权利要求7所述的方法，其特征在于，还包括：

在利用多台可见光相机组成的相机矩阵对手部信息进行采集之前，通过显示器界面，设定各台相机的拍照参数。