CN108470373B - 一种基于红外的3d四维数据采集方法及装置 - Google Patents

Abstract

本发明提供了一种基于红外的3D四维数据采集方法及装置。该方法包括：对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标物体的2D高清彩色图片；对红外深度相机采集到的红外图像进行预处理，得到目标物体的深度红外数据；根据目标物体的深度红外数据，获取目标物体的各个组成点的3D点云信息；对2D高清彩色图片与3D点云信息进行配准融合；根据2D高清彩色图片与3D点云信息进行配准融合得到的结果数据、以及变焦彩色相机和红外深度相机的标定信息，得到目标物体的3D四维数据。本发明实施例中减少了特征点的提取，降低了算法的复杂度，提高了3D重建的精度和效率。

Description

一种基于红外的3D四维数据采集方法及装置

技术领域

本发明涉及生物特征识别技术领域，特别是一种基于红外的3D四维数据采集方法及装置。

背景技术

目前，为了采集到更为真实可靠的图像数据，采用的解决方案是利用双目彩色相机进行图像数据的采集，然后依靠软件算法，通过双目匹配及三角测量方法进行图像处理。

在传统的双目方案中，不对外投射光源，类似人类双眼布置，通过两个位置已经标定好的2D相机观察同一环境，然后再拍摄到两幅图像根据图像内容进行特征点匹配，进而计算深度。由于不存在任何先验知识，仅依赖于环境图像进行特征匹配，因而，被动双目立体视觉方案比较适合用于光线良好、图像特征比较丰富的领域；由于直接采用环境光采集图像，因而，其非常适合于室外环境中使用，在室内环境中使用时，则需要外部光源的辅助；同时，反光的影响大大降低；对于一些图像特征非常不明显的领域，如平整的地面，一望无际的沙漠等，采用双目视觉进行匹配，则相对比较困难。

另外，在目前的双目方案中，一般采用基本灰度、换域以及基本特征的配准方法，其首先对两幅或多幅图像进行特征提取，得到图像的特征点，然后通过对特征点进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到几幅图像之间的坐标变换参数；最后完成图像的匹配，这种图像配准方法基于灰度信息的配准方法、基于变换域的配准方法和基于特征的配准方法，主要有以下缺点:

1)当图像中的特征点不明显或分辨率低时，很难从图像中提取特征点。

2)当场景相近时，两幅图像的坐标对应关系不是线性的，使用非线性变换有很大限制。

3)从图像中寻找特征点，进一步的进行特征匹配，整个过程中需要大量复杂的算法，并且，分辨率越高，要求精度越高，则计算越复杂，因此，需要高的计算性能，另外最终的计算结果并不稳定。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于红外的3D四维数据采集方法及相应的装置。

根据本发明实施例的一方面，提供了一种基于红外的3D四维数据采集方法，包括：

对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标物体的2D高清彩色图片；

对红外深度相机采集到的红外图像进行预处理，得到所述目标物体的深度红外数据，其中，所述深度红外数据包括所述目标物体的深度尺寸数据；

根据所述目标物体的深度红外数据，获取所述目标物体的各个组成点的3D点云信息；

对所述2D高清彩色图片与所述3D点云信息进行配准融合；

根据所述2D高清彩色图片与所述3D点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述红外深度相机的标定信息，得到所述目标物体的3D四维数据。

可选地，对所述2D彩色图像进行预处理包括：

对所述2D彩色图像进行分割，将所述2D彩色图像中的所述目标物体的图像区域与背景区域进行分割；

对分割得到所述目标物体的图像区域进行图像增强处理，得到所述目标物体的2D高清彩色图片；其中，所述图像增强处理包括以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理。

可选地，对红外深度相机采集到的红外图像进行预处理，包括：

对所述红外图像进行分割，将所述红外图像中的所述目标物体的图像区域与背景区域进行分割；

对分割得到的所述目标物体的图像区域进行红外矩阵癍信息噪点滤波；

从滤波后的所述目标物体的图像区域中得到所述目标物体的3D尺寸数据。

可选地，对所述2D高清彩色图片与所述3D点云信息进行配准融合，包括：

根据所述3D点云信息中各个组成点的3D尺寸数据，进行飞行时间TOF逆变换，得到所述目标物体的结构光深度图像；

对所述2D高清彩色图片与所述结构光深度图像分别进行高斯滤波；

分别从高斯滤波之后的所述2D高清彩色图片与所述结构光深度图像中提取所述目标物体的特征部分，确定所述2D高清彩色图片与所述结构光深度图像的共有特征部分；

在所述共有特征部分中，确定所述2D高清彩色图片与所述结构光深度图像的对应点；

根据所述对应点在所述2D高清彩色图片和所述结构光深度图像中的坐标，基于三角剖法，确定所述2D高清彩色图片与所述结构光深度图像的坐标变换关系；

根据所述坐标变换关系，完成所述2D高清彩色图片和所述结构光深度图像中的所述目标物体的各个特征部分的配准融合。

可选地，根据所述2D高清彩色图片与所述3D点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述红外深度相机的标定信息，得到所述目标物体的3D四维数据，包括：

根据所述2D高清彩色图片与所述3D点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述红外深度相机的标定信息，在所述目标物体的各个特征部分中分别选取多个采样点，并计算所述多个采样点在3D空间的坐标，基于所述多个采样点在3D空间的坐标得到所述目标物体的3D数据。

可选地，其中，在得到所述目标物体的3D四维数据之后，所述方法还包括：

根据所述目标物体的3D四维数据进行3D建模，并将3D建模得到的3D模型发送给显示器显示。

可选地，所述目标物体包括：人体的头部、面部或手部。

可选地，所述手部包括手指。

根据本发明实施例的另一个方面，提供了一种基于红外的3D数据采集装置，包括：

第一预处理模块，用于对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标物体的2D高清彩色图片；

第二预处理模块，用于对红外深度相机采集到的红外图像进行预处理，得到所述目标物体的深度红外数据，其中，所述深度红外数据包括所述目标物体的深度尺寸数据；

点云生成模块，用于根据所述目标物体的深度红外数据，对所述目标物体的进行采样，得到所述目标物体的3D点云信息；

配准模块，用于对所述2D高清彩色图片与所述3D点云信息进行配准融合；

3D数据获取模块，用于根据所述2D高清彩色图片与所述3D点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述红外深度相机的标定信息，获取所述目标物体的3D四维数据。

可选地，所述第一预处理模块按照以下方式对所述2D彩色图像进行预处理：

对所述2D彩色图像进行分割，将所述2D彩色图像中的所述目标物体的图像区域与背景区域进行分割；

对分割得到所述目标物体的图像区域进行图像增强处理，得到所述目标物体的2D高清彩色图片；其中，所述图像增强处理包括以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理。

可选地，所述第二预处理模块按照以下方式对红外深度相机采集到的红外图像进行预处理：

对所述红外图像进行分割，将所述红外图像中的所述目标物体的图像区域与背景区域进行分割；

对分割得到的所述目标物体的图像区域进行红外矩阵癍信息噪点滤波；

从滤波后的所述目标物体的图像区域中得到所述目标物体的3D尺寸数据。

可选地，所述配准模块按照以下方式对所述2D高清彩色图片与所述3D点云信息进行配准融合：

根据所述3D点云信息中各个采样点的3D尺寸数据，进行飞行时间TOF逆变换，得到所述目标物体的结构光深度图像；

对所述2D高清彩色图片与所述结构光深度图像分别进行高斯滤波；

分别从高斯滤波之后的所述2D高清彩色图片与所述结构光深度图像中提取所述目标物体的特征部分，基于三角剖分算法，确定所述2D高清彩色图片与所述结构光深度图像的共有图像区域；

在所述共有图像区域中，确定所述2D高清彩色图片与所述结构光深度图像的对应点；

根据所述对应点在所述2D高清彩色图片和所述结构光深度图像中的坐标，确定所述2D高清彩色图片与所述结构光深度图像的坐标变换关系；

根据所述坐标变换关系，完成所述2D高清彩色图片和所述结构光深度图像中的所述目标物体的各个特征部分的配准融合。

可选地，所述3D数据获取模块按照以下方式获取所述目标物体的3D四维数据：

根据所述2D高清彩色图片与所述3D点云信息的配准结果、以及所述变焦彩色相机和所述红外深度相机的标定信息，在所述目标物体的各个特征部分中分别选取多个采样点，并计算所述多个采样点在3D空间的坐标，基于所述多个采样点在3D空间的坐标获取所述目标物体的3D四维数据。

可选地，还包括：

3D建模模块，用于根据所述目标物体的3D四维数据进行3D建模，并将3D建模得到的3D模型发送给显示器显示。

本发明实施例提供了一种基于红外的3D四维数据采集方法和装置，在本发明实施例提供的方法中，首先对一台或多台变焦彩色相机对目标物体采集到的2D彩色图像和红外深度相机对目标物体采集到的红外图像进行预处理，然后基于预处理得到的深度红外数据进行采样，得到目标物体的3D点云信息，然后对预处理得到的2D高清彩色图片与3D点云信息进行配准融合，进而基于配准结果以及变焦彩色相机和红外深度相机的摄像头的标定信息，获取目标物体的3D四维数据，完成目标物体的3D重建。由此可以看出，由于本发明实施例中是将彩色相机的2D高清彩色图片和红外深度相机采集到的深度3D信息进行配准融合，从而减少了特征点的提取，降低了算法的复杂度，提高了3D重建的精度和效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一实施例的基于红外的3D四维数据采集方法的流程图；

图2示出了根据本发明一实施例的基于三角剖法计算两幅图之间的坐标变换关系示意图；

图3示出了根据本发明一实施例的基于红外的头部面部3D四维数据采集系统的架构示意图；

图4示出了根据本发明一实施例的基于红外的头部面部3D四维数据采集系统的模块结构示意图；

图5示出了根据本发明一实施例的基于红外的手部3D四维数据采集系统的架构示意图；

图6示出了根据本发明一实施例的基于红外的手部3D四维数据采集系统的模块结构示意图；

图7示出了根据本发明一实施例的提取到的细化的指纹纹路的纹路图；

图8示出了根据本发明一实施例的从指纹纹路的纹路图提取细节点的示意图；

图9示出了根据本发明一实施例的共有的指纹区域中对应的细节点的匹配的示意图；

图10示出了根据本发明一实施例的3D重建后的指纹示意图；以及

图11示出了根据本发明一实施例的基于红外的3D四维数据采集装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为解决上述技术问题，本发明实施例提供了一种基于红外的3D四维数据采集方法。本发明中的3D四维数据是指三维空间数据结合时间维度数据所形成的数据，三维空间结合时间维度是指：多张相同时间间隔或不同时间间隔、不同角度、不同方位或不同状态等情况的图像或影像形成的数据集合。

图1示出了根据本发明一实施例的基于红外的3D四维数据采集方法的流程图。如图1所示，该方法可以包括以下步骤S102至步骤S108。

步骤S102，对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标物体的2D高清彩色图片。

步骤S104，根据目标物体的深度红外数据，获取目标物体的3D点云信息。

步骤S106，对2D高清彩色图片与所述3D点云信息进行配准融合。

步骤S108，根据2D高清彩色图片与所述3D点云信息进行配准融合得到的结果数据、以及变焦彩色相机和所述红外深度相机的标定信息，得到目标物体的3D四维数据。

本发明实施例采用变焦彩色相机和红外深度相机进行目标物体的采集，利用红外投射采集目标物体的深度信息，可以显著提高目标物体的3D四维数据的采集精度和效率，解决现有目标物体的3D四维数据采集精度以及效率不高的问题。

在本实施例中，可以由一台或多台相机进行图像采集，并且，除上述实施例所介绍的变焦相机之外，还可以通过定焦相机进行采集，具体可根据不同应用情况进行设定，本发明不做限定。

在本发明的可选实施例中，上文步骤S102中对2D彩色图像进行预处理，具体可以包括以下步骤S1021至步骤S1022。

步骤S1021，对2D彩色图像进行分割，将2D彩色图像中的目标物体的图像区域与背景区域进行分割。在该步骤中，对变焦彩色相机采集到的2D彩色图像进行分割，将目标物体的图像区域与背景区域分割开来，后续只对目标物体的图像区域进行处理，以提高处理速度。

步骤S1022，对分割得到目标物体的图像区域进行图像增强处理，得到目标物体的2D高清彩色图片；其中，图像增强处理包括以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理。通过该步骤，可以对目标物体的彩色图像进行增强，以提高图像的清晰度和对比度，提高彩色图像的品质，便于后续的配准融合。

在本发明的可选实施例中，在上文步骤S104中对红外深度相机采集到的红外图像进行预处理可以包括以下步骤S1041-步骤S1043。

步骤S1041：对红外深度相机采集到的红外图像进行分割，将红外图像中的目标物体的图像区域与背景区域进行分割。

步骤S1042，对分割得到的目标物体的图像区域进行红外矩阵癍信息噪点滤波。通过对红外矩阵癍信息噪点，可以滤除掉红外图像中的噪点，提高精度，减少后续的数据处理。

步骤S1043，从滤波后的目标物体的图像区域中得到目标物体的3D尺寸数据。红外深度相机的传感器发出经调制的近红外光，遇物体后反射，深度传感器通过计算光线发射和反射时间差或相位差，来换算目标物体的距离，以产生深度信息，通过目标物体的深度信息，可以得到目标物体的3D尺寸数据。

在本发明的可选实施例中，在上文步骤S106中对2D高清彩色图片与3D点云信息进行配准，可以具体包括以下步骤S1061-步骤S1066。

步骤S1061，根据3D点云信息中各个组成点的3D尺寸数据，进行飞行时间TOF逆变换，得到目标物体的结构光深度图像。

步骤S1062，对2D高清彩色图片与结构光深度图像分别进行高斯滤波。

步骤S1063，分别从高斯滤波之后的所述2D高清彩色图片与所述结构光深度图像中提取所述目标物体的特征部分，确定所述2D高清彩色图片与所述结构光深度图像的共有特征部分。

步骤S1064，在共有特征部分中，确定2D高清彩色图片与结构光深度图像的对应点。

步骤S1065，基于三角剖法，根据对应点在2D高清彩色图片和结构光深度图像中的坐标，确定2D高清彩色图片与结构光深度图像的坐标变换关系。如图2所示，基于三角剖法，可以得到变焦彩色相机采集的2D高清彩色图片与红外深度相机的结构光深度图像的坐标变换关系。

步骤S1066，根据坐标变换关系，完成2D高清彩色图片和结构光深度图像中的目标物体的各个特征部分的配准融合。

在上述步骤S1063中，可以根据不同的目标物体，提取不同的特征部分，例如，如果目标物体为人体的手部，则特征部分可以为指纹纹路，如果目标物体为人体的面部，则特征部分可以为人脸上的五观的轮廓线条，具体本发明实施例不作限定。

通过上述步骤S1061-步骤S1066，可以将2D高清彩色图片与结构光深度图像进行配准融合，得到目标物体的3D信息，包括但不限于：目标物体的空间形状特征数据、表面纹理特征数据、表面材质和灯光特征数据等。

在本发明的可选实施例中，在上文步骤S108中根据所述2D高清彩色图片与所述3D点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述红外深度相机的标定信息，得到所述目标物体的3D四维数据时，可以根据所述2D高清彩色图片与所述3D点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述红外深度相机的标定信息，在所述目标物体的各个特征部分中分别选取多个采样点，并计算所述多个采样点在3D空间的坐标，基于所述多个采样点在3D空间的坐标得到所述目标物体的3D四维数据。在该可选实施例中，采样点可以选择目标物体的关键点，例如，特征部分的轮廓上的关键点等，具体可以根据目标物体确定，本发明实施例中不作限定。

在本发明的可选实施例中，在步骤S108之后，还可以对目标物体进行建模，因此，在步骤S108之后，该方法还可以包括：根据所述目标物体的3D四维数据进行3D建模，并将3D建模得到的3D模型发送给显示器显示。通过该可选实施例，可以将采集到的目标物体的3D数据进行3D建模，得到目标物体的3D模型，并将3D模型可视化，使得用户可以方便的检测采集到的3D数据是否准确，并且可以方面的将3D模型应用在其它方面。

在本发明的可选实施例中，目标物体包括但不限于：人体的头部、面部或手部。进一步地，手部可以包括手指和手掌，从而可以采集人体的指纹和掌纹。

在本发明的可选实施例中，可以针对不同的目标物体，可以搭建不同的系统对目标物体进行采集。例如，在目标物体为人体的头部和面部的情况下，可以采用如图3和图4所示的采集系统进行采集。

如图3和图4所示，该基于红外的头部面部3D四维数据采集系统主要包括：中央处理模块301、红外深度相机302、变焦彩色相机303、灯光模组304、相机旋转机构305、人体感应测量模块306、相机数据传输模块307、显示界面308、操作界面309、底座结构310、调节座椅311和电源模块312。

其中，如图3和图4所示，人体感应测量模块306固定在底座结构310上，显示界面308和操作界面309与底座结构310连接，中央处理模块301固定于底座结构310内部，相机数据传输模块307位于底座结构310内部，底座结构310与相机旋转机构305连接，相机旋转机构305连接变焦彩色相机303、红外深度相机302和灯光模组304。

相机旋转机构305可以包括但不限于可调整角度相机固定架和转动装置，而转动装置可以包括伺服电机、配速箱和传动装置。变焦彩色相机303、红外深度相机302、灯光模组304固定在相机旋转机构305的可调整角度固定架上，可调整角度固定架固定在相机旋转机构305的转动装置上。中央处理模块301的相机转动模块连接相机旋转机构305的转动装置的伺服电机，通过控制伺服电机工作，从而带动配速箱和传动装置工作，进而带动转动装置转动，最后使得可调整角度相机固定架转动，进而达到调整变焦彩色相机303和红外深度相机302的角度的目的。

调节座椅311固定于底座结构310，调节座椅311上下可调整高度和左右可旋转角度，调节座椅311包括水平转动伺服电机、垂直升降伺服电机、水平配速箱、水平转动齿轮、垂直升降传动齿轮螺杆和人体体重感应器，其中，中央处理模块301的座椅控制模块连接调节座椅311，控制调节座椅311上下调整高度或左右旋转角度。

其中，如图4所示，中央处理模块301可以包括图像品质处理芯片3011、红外测距处理芯片3012、点云生成单元3013、3D配准算法处理模块3014、3D数据合成模块3015、视频显示模块3016、微处理器控制模块3017、座椅控制模块3018、相机转动控制模块3019和灯光控制模块3010。

其中，中央处理模块301与相机数据传输模块307可以通过Camera Link高速数据线连接；红外深度相机302与相机数据传输模块307可以通过高速USB3.0数据线连接；彩色红外相机与相机数据传输模块307可以通过MIPI高速数据线连接；灯光模组304的控制与相机数据传输模块307可以通过RS232串口数据线连接；相机旋转机构305的转动模块与中央处理模块301内的相机转动控制模块3019通过I2C串口数据线连接；人体感应测量模块306的控制部分与中央处理模块301的微处理器控制模块3017通过SPI三线串口数据线连接；调节座椅311的控制部分与中央处理模块301的微处理器控制模块3017通过RS232串口数据线连接；显示界面308的数据收发部分与中央处理模块301的视频显示模块3016通过高清HDMI数据线连接；操作界面309的数据收发部分与中央处理模块301的微处理器控制模块3017通过I2C数据线连接。

在本发明的一个实施例中，图像品质处理芯片3011主要用于对相机传输模块输出的图片的色彩饱和度调整、噪点滤波和畸变校正等。红外测距处理芯片3012主要用于处理红外图像的距离矩阵信息、滤波降噪以及深度转化等。图像品质处理芯片3011处理后数据和红外测距处理芯片3012处理后数据融合到3D配准算法处理模块3014，3D配准算法处理模块3014通过三角剖法及高斯滤波法等对两类数据进行配准融合，最终将配准融合得到的3D数据输出到3D数据合成模块3015进行3D建模，将3D建模得到的3D数据输出到视频显示模块3016显示出来。

在本发明的一个可选实施例中，可以先把变焦彩色相机303和红外深度相机302的镜头光学中心定位在水平0度状态，灯光模组304的光源中心与变焦彩色相机303和红外深度相机302的镜头光学中心定位同处于垂直线上，其中相机旋转机构305转动角度可以为0-180度，速度可以为5cm-48cm每秒，其中配速箱的配速比可以为300：1(伺服电机：转动齿轮)。

在本发明的一个可选实施例中，水平旋动伺服电机、水平配速箱和水平转动齿轮组成座椅水平转动结构，座椅垂直升降由伺服电机和垂直升降传动齿轮螺杆控制，其中座椅垂直升降的速度可以为10cm-30cm每秒，水平旋转的速度可以15cm-35cm每秒，水平配速箱的配速比200：1(电机转速：水平转动齿轮转速)。

在具体使用时，可以按照以下步骤1-步骤11执行。

步骤1，启动设置：启动后，在显示界面308上输入设备相关参数，包括人的体重和身高，肤色设置，自动匹配灯光的色温及亮度参数，工作模式：自动工作模式和手动工作模式。

步骤2，人体感应测量模块306检测人是否到位，并测量人坐姿的高度值，变焦彩色相机303自动检测人脸，判断人坐的角度值。

步骤3，调节座椅：根据人坐姿的现有高度值和角度值，调节座椅自动调整到人脸适合变焦彩色相机303拍照和红外深度相机302扫描的状态。

步骤4，变焦彩色相机303根据人脸大小，控制相机镜头自动伸缩到合适视角和清晰度。

步骤5，灯光模组304根据人脸的肤色和环境光，自动调整灯光的亮度和色温，使变焦彩色相机303和红外深度相机302采集到高清晰和高对比度的图片。

步骤6，人的坐姿达到合适位置和灯光匹配调整后，红外深度相机302在人脸一侧位置开始收集深度距离信息。

步骤7，从人脸的一侧位置开始工作后，相机旋转机构305以固定速度转动并同时传输相机图片和深度测距数据到中央处理模块301的图像品质处理芯片3011和红外测距处理芯片3012。

步骤8，红外深度测距数据传输到中央处理模块301的点云生成单元3013，产生3D点云信息。

步骤9，变焦彩色相机303的高清图片结合3D点云信息输入到3D配准算法处理模块3014，3D配准算法处理模块3014进行配准融合计算得到配准融合数据。

步骤10，配准融合数据输入到3D数据合成模块3015，3D数据合成模块3015根据配准融合数据生成3D数据模型。

步骤11，3D数据模型生成后，视频显示模块3016将3D数据模型输入到显示界面308上显示，并可以通过操作界面309操作显示的3D数据模型。

在本发明的可选实施例中，还可以针对手部搭建相应的采集信息进行手部的3D四维数据采集。图5为基于红外的手部3D四维数据采集系统的架构示意图，图6为基于红外的手部3D数据采集系统的模块结构示意图，如图5和图6所示，该基于红外的手部3D数据采集系统主要包括：中央处理模块501、红外深度相机502、变焦彩色相机503、灯光模组504、旋转机构505、旋转支架510、手部模型支撑结构506、显示操作模块511、手部虚拟位置模型507、柜体508和电源模块509。

在该可选实施例中，如图5和图6所示，手部模型支撑结构506固定在柜体508上，手部虚拟位置模型507固定在手部模型支撑结构506上，显示操作模块511固定在柜体508上，中央处理模块501固定于柜体508的内部，旋转机构505固定在柜体508的内部，旋转支架510固定在旋转机构505上，红外深度相机502、变焦彩色相机503和灯光模组504固定在旋转支架510上。

在本发明的一个可选实施例中，如图6所示，中央处理模块501包括图像品质处理芯片5010、红外测距处理芯片5011、点云生成单元5012、3D配准算法处理模块5013、3D数据合成模块5014、视频显示模块5015、微处理器控制模块5016、相机转动控制模块5017和灯光控制模块5018。

在本发明的一个可选实施例中，红外深度相机502与中央处理模块501可以通过高速USB3.0数据线连接；变焦彩色相机503与中央处理模块501可以通过MIPI高速数据线连接；灯光模组504的控制部分与中央处理模块501内的相机转动控制模块5017可以通过RS232串口数据线连接；旋转机构505的控制部分与中央处理模块501内的相机转动控制模块5017可以通过I2C串口数据线连接；显示操作模块511的数据显示部分与中央处理模块501的视频显示模块5015通过高清HDMI数据线连接；显示操作模块511的数据控制部分与中央处理模块501的微处理器控制模块5016通过I2C数据线连接。

在本发明的一个可选实施方式中，红外深度相机502可以采用结构光方式，在分辨率方面增加变焦彩色相机503结合方式，从而有利于提高精度、抗强光方面、功耗、分辨率、帧速以及体积方面的参数优势。

在本发明的一个可选实施例中，图像品质处理芯片5010用于处理包括自动白平衡AWB,自动曝光AE、自动对焦AF及图像畸形校正等。

在本发明的一个可选实施例中，红外测距处理芯片5011用于处理包括红外矩阵癍信息噪点滤波、获取目标物体的3D尺寸数据及点云信息等。

在本发明的一个可选实施例中，变焦彩色相机503、红外深度相机502和灯光模组504固定在可调整角度的旋转机构505上，先把变焦彩色相机503和红外深度相机502的镜头光学中心定位在水平0度状态，灯光模组504的光源中心与变焦彩色相机503和红外深度相机502的镜头光学中心定位同处于垂直线上。可选地，旋转机构505的转动角度可以设置为0-175度、速度可以设置为6cm-30m每秒，配速箱的配速比可以设置为200：1(伺服电机：转动齿轮)。变焦彩色相机503的焦距范围可以设置为f＝4.5～108mm，变焦彩色相机503的图像传感器的分辨率可以设置为1600万像素，光圈范围F＝3.0～6.9，另外，根据手指的大小，最近对焦距离可以设置为10cm，以精准地对手指对焦。

在本发明的一个可选实施例中，红外深度相机502的可以设置为：分辨率为1920x1080,帧率为30fps、测量距离为0.2-4m、功耗为1W。当然，并不限于此，在实际应用中，也可以采用上述参数也可以采用其它值，具体本发明不作限定。

在具体应用中，以手部指纹采集为例，使用上述基于红外的手部3D四维数据采集系统采集指纹的3D四维数据可以包括以下的步骤1-11。

步骤1，启动设置：启动后，在显示操作模块511上输入设备相关参数，可以包括但不限于人的体重和身高、肤色设置以及自动匹配的灯光模组504的色温及亮度参数。

步骤2，手指放入模型后，自动调整到手指适合变焦彩色相机503拍照和红外深度相机502扫描的状态。

步骤4，变焦彩色相机503根据手指大小，相机镜头自动伸缩到合适视角和清晰度。

步骤5，调整灯光模组504：根据手指的肤色和环境光，灯光模组504自动调整亮度和色温，以使变焦彩色相机503和红外深度相机502可以采集到高清晰和高对比度的图片。

步骤6，红外深度相机502在第一手指一侧位置开始收集深度距离信息，依次到第十个指头。

步骤7，从手指的一侧位置开始工作后，旋转机构505以固定速度转动，并同时传输相机图片和深度测距数据到中央处理模块501的图像品质处理芯片5010和红外测距处理芯片5011，依次到第十个指头进行采集。

步骤8，将针对每个手指的深度红外的数据到中央处理模块501的点云生成单元5012，点云生成单元5012根据每个手指的深度红外数据生成3D点云信息。

步骤9，变焦彩色相机503的手指高清图片结合3D点云信息输入到3D配准算法处理模块5013，3D配准算法处理模块5013进行配准融合计算得到配准融合数据。

步骤10，配准融合数据输入到3D数据合成模块5014，3D数据合成模块5014将配准配合数据生成3D手指数据模型。

步骤11，3D手指数据模型生成后，视频显示模块5015将3D手指数据模型传输到显示操作模块511的显示界面显示上并通过操作界面操作3D数据。

在本发明的一个可选实施例中，灯光模组504为可调节色温和亮度，其色温范围可以为4000-5000(开尔文)，亮度值范围可以为20-30lux/W。

在本发明的一个可选实施例中，变焦彩色相机503的参数可以为水平视场角为40-97度、垂直45-70度。

在本发明的一个可选实施例中，红外深度相机502可以采用结构光方式，其测距范围0.2m-4m、精度为+/-0.1mm、水平视场角为43-63度，垂直25-56度。

下面指纹为例，对上述实施例中所述的3D四维数据采集方法进行说明。

在本发明的一个可选实施例中，对指纹的3D四维数据进行采集主要包括以下步骤1-7。

步骤1，图像分割：完成指纹区域与背景区域的分割。在本步骤中，包括对变焦彩色相机采集到的彩色图片中的指纹区域与背景区域的分割和对红外深度相机采集到的红外图像中的指纹区域与背景区域的分割。

步骤2，图像增强：针对基于摄像头拍摄的指纹图像存在局部纹路对比度低的现象，对其进行图像增强，使图像中的指纹更清晰。在本步骤中，包括从变焦彩色相机采集到的彩色图片中分割出的指纹图片以及从红外深度相机采集到的红外图像中的指纹图像的增强。其中，对彩色图像的增强处理包括但不限于以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理；对红外图像的增强处理包括但不限于红外矩阵癍信息噪点滤波处理。

步骤3，指纹纹路提取：完成指纹纹路的提取，获得细化的纹路图，如图7所示。

步骤4，指纹细节点提取：这一步将根据细化的纹路图提取指纹的细节点信息(细节点包括起止点、分叉点)，如图8所示。

步骤5，指纹细节点匹配：在同一次采集中，不同视角图像中存在共有的指纹区域，这一步将完成这些共有的指纹区域中对应的细节点的匹配，如图9所示。

步骤6，指纹纹路匹配：以匹配的细节点作为参考点，完成多视角指纹图像中对应纹路的匹配。

步骤7，指纹纹路3D坐标计算：根据多视角指纹图像中纹路的匹配结果以及摄像头标定信息，在纹路中选择若干采样点并计算其在3D空间的坐标，从而完成指纹3D重建，如图10所示。

需要说明的是，实际应用中，上述所有可选实施方式可以采用结合的方式任意组合，形成本发明的可选实施例，在此不再一一赘述。

基于上文各个实施例提供的基于红外的3D四维数据采集方法，基于同一发明构思，本发明实施例还提供了一种基于红外的3D四维数据采集装置。该装置可以设置在图5至7中所述的中央处理模块中实现，也可以由多个设备共同实现。

图11示出了根据本发明一实施例的基于红外的3D四维数据采集装置的结构示意图。如图11所示，该装置可以包括第一预处理模块110、第二预处理模块120、点云生成模块130、配准模块140和3D数据获取模块150。

现介绍本发明实施例的基于红外的3D数据采集装置的各组成或器件的功能以及各部分间的连接关系：

第一预处理模块110，用于对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标物体的2D高清彩色图片；

第二预处理模块120，用于对红外深度相机采集到的红外图像进行预处理，得到目标物体的深度红外数据，其中，深度红外数据包括目标物体的深度尺寸数据；

点云生成模块130，用于根据目标物体的深度红外数据，对目标物体的进行采样，得到目标物体的3D点云信息；

配准模块140，用于对2D高清彩色图片与3D点云信息进行配准融合；

3D数据获取模块150，用于根据2D高清彩色图片与3D点云信息进行配准融合得到的结果数据、以及变焦彩色相机和红外深度相机的标定信息，获取目标物体的3D四维数据。

在本发明的一个可选实施例中，第一预处理模块110可以按照以下方式对2D彩色图像进行预处理：

对2D彩色图像进行分割，将2D彩色图像中的目标物体的图像区域与背景区域进行分割；

对分割得到目标物体的图像区域进行图像增强处理，得到目标物体的2D高清彩色图片；其中，图像增强处理包括以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理。

在本发明的一个可选实施例中，第二预处理模块120按照以下方式对红外深度相机采集到的红外图像进行预处理：

对红外图像进行分割，将红外图像中的目标物体的图像区域与背景区域进行分割；

对分割得到的目标物体的图像区域进行红外矩阵癍信息噪点滤波；

从滤波后的目标物体的图像区域中得到目标物体的3D尺寸数据。

在本发明的一个可选实施例中，配准模块140按照以下方式对2D高清彩色图片与3D点云信息进行配准融合：

根据3D点云信息中各个采样点的3D尺寸数据，进行飞行时间TOF逆变换，得到目标物体的结构光深度图像；

对2D高清彩色图片与结构光深度图像分别进行高斯滤波；

分别从高斯滤波之后的2D高清彩色图片与结构光深度图像中提取目标物体的特征部分，基于三角剖分算法，确定2D高清彩色图片与结构光深度图像的共有图像区域；

在共有图像区域中，确定2D高清彩色图片与结构光深度图像的对应点；

根据对应点在2D高清彩色图片和结构光深度图像中的坐标，确定2D高清彩色图片与结构光深度图像的坐标变换关系；

根据坐标变换关系，完成2D高清彩色图片和结构光深度图像中的目标物体的各个特征部分的配准融合。

在本发明的一个可选实施例中，3D数据获取模块150按照以下方式获取目标物体的3D数据：

根据2D高清彩色图片与3D点云信息的配准结果、以及变焦彩色相机和红外深度相机的标定信息，在目标物体的各个特征部分中分别选取多个采样点，并计算多个采样点在3D空间的坐标，基于多个采样点在3D空间的坐标获取目标物体的3D数据。

在本发明的一个可选实施例中，还包括：3D建模模块，用于根据目标物体的3D四维数据进行3D建模，并将3D建模得到的3D模型发送给显示器显示。

根据上述任意一个可选实施例或多个可选实施例的组合，本发明实施例能够达到如下有益效果：

本发明实施例提供了一种基于红外的3D四维数据采集方法和装置，在本发明实施例提供的方法中，首先对一台或多台变焦彩色相机对目标物体采集到的2D彩色图像和红外深度相机对目标物体采集到的红外图像进行预处理，然后基于预处理得到的深度红外数据进行采样，得到目标物体的3D点云信息，然后对预处理得到的2D高清彩色图片与3D点云信息进行配准融合，进而基于配准结果以及变焦彩色相机和红外深度相机的摄像头的标定信息，获取目标物体的3D四维数据，完成目标物体的3D重建。由此可以看出，由于本发明中是将彩色相机的2D高清彩色图片和红外深度相机采集到的深度3D信息进行配准融合，从而减少了特征点的提取，降低了算法的复杂度，提高了3D重建的精度和效率。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于红外的3D数据采集装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (14)

1.一种基于红外的3D数据采集方法，其特征在于包括：

步骤1，启动设置：启动后，在显示操作模块上输入设备相关参数；

步骤2，手指放入模型后，自动调整到手指适合变焦彩色相机拍照和红外深度相机扫描的状态；

步骤4，变焦彩色相机根据手指大小，相机镜头自动伸缩到合适视角和清晰度；

步骤5，调整灯光模组：根据手指的肤色和环境光，灯光模组自动调整亮度和色温，以使变焦彩色相机和红外深度相机采集到高清晰和高对比度的图片；

步骤6，红外深度相机在第一手指一侧位置开始收集深度距离信息，依次到第十个指头；

步骤7，从手指的一侧位置开始工作后，旋转机构以固定速度转动，并同时传输相机图片和深度测距数据到中央处理模块的图像品质处理芯片和红外测距处理芯片，依次到第十个指头进行采集；

图像处理方法包括：

对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标物体的2D高清彩色图片；

对红外深度相机采集到的红外图像进行预处理，得到所述目标物体的深度红外数据，其中，所述深度红外数据包括所述目标物体的深度尺寸数据；

上述预处理包括步骤①，图像分割：完成指纹区域与背景区域的分割，包括对变焦彩色相机采集到的彩色图片中的指纹区域与背景区域的分割和对红外深度相机采集到的红外图像中的指纹区域与背景区域的分割；步骤②，图像增强：从变焦彩色相机采集到的彩色图片中分割出的指纹图片以及从红外深度相机采集到的红外图像中的指纹图像的增强，其中，对彩色图像的增强处理包括：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理；对红外图像的增强处理包括红外矩阵癍信息噪点滤波处理；

根据所述目标物体的深度红外数据，获取所述目标物体的各个组成点的3D点云信息；

对所述2D高清彩色图片与所述3D点云信息进行配准融合；

根据所述2D高清彩色图片与所述3D点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述红外深度相机的标定信息，得到所述目标物体的3D数据；具体包括：①指纹纹路提取：完成指纹纹路的提取，获得细化的纹路图；②指纹细节点提取：根据细化的纹路图提取指纹的细节点信息，细节点包括起止点、分叉点；③指纹细节点匹配：在同一次采集中，不同视角图像中存在共有的指纹区域，完成这些共有的指纹区域中对应的细节点的匹配；④指纹纹路匹配：以匹配的细节点作为参考点，完成多视角指纹图像中对应纹路的匹配；⑤指纹纹路3D坐标计算：根据多视角指纹图像中纹路的匹配结果以及相机标定信息，在纹路中选择若干采样点并计算其在3D空间的坐标，从而完成指纹3D重建。

2.根据权利要求1所述的方法，其特征在于，对所述2D彩色图像进行预处理包括：

对所述2D彩色图像进行分割，将所述2D彩色图像中的所述目标物体的图像区域与背景区域进行分割；

对分割得到所述目标物体的图像区域进行图像增强处理，得到所述目标物体的2D高清彩色图片；其中，所述图像增强处理包括以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理。

3.根据权利要求1所述的方法，其特征在于，对红外深度相机采集到的红外图像进行预处理，包括：

对所述红外图像进行分割，将所述红外图像中的所述目标物体的图像区域与背景区域进行分割；

对分割得到的所述目标物体的图像区域进行红外矩阵癍信息噪点滤波；

从滤波后的所述目标物体的图像区域中得到所述目标物体的3D尺寸数据。

4.根据权利要求1至3任一项所述的方法，其特征在于，对所述2D高清彩色图片与所述3D点云信息进行配准融合，包括：

根据所述3D点云信息中各个组成点的3D尺寸数据，进行飞行时间TOF逆变换，得到所述目标物体的结构光深度图像；

对所述2D高清彩色图片与所述结构光深度图像分别进行高斯滤波；

分别从高斯滤波之后的所述2D高清彩色图片与所述结构光深度图像中提取所述目标物体的特征部分，确定所述2D高清彩色图片与所述结构光深度图像的共有特征部分；

在所述共有特征部分中，确定所述2D高清彩色图片与所述结构光深度图像的对应点；

根据所述对应点在所述2D高清彩色图片和所述结构光深度图像中的坐标，基于三角剖法，确定所述2D高清彩色图片与所述结构光深度图像的坐标变换关系；

根据所述坐标变换关系，完成所述2D高清彩色图片和所述结构光深度图像中的所述目标物体的各个特征部分的配准融合。

5.根据权利要求1至3任一项所述的方法，其特征在于，根据所述2D高清彩色图片与所述3D点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述红外深度相机的标定信息，得到所述目标物体的3D数据，包括：

根据所述2D高清彩色图片与所述3D点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述红外深度相机的标定信息，在所述目标物体的各个特征部分中分别选取多个采样点，并计算所述多个采样点在3D空间的坐标，基于所述多个采样点在3D空间的坐标得到所述目标物体的3D四维数据。

6.根据权利要求1至3任一项所述的方法，其特征在于，在得到所述目标物体的3D四维数据之后，所述方法还包括：

根据所述目标物体的3D四维数据进行3D建模，并将3D建模得到的3D模型发送给显示器显示。

7.根据权利要求1至3任一项所述的方法，其特征在于，所述目标物体包括：人体的头部、面部或手部。

8.根据权利要求7所述的方法，其特征在于，所述手部包括手指。

9.一种基于红外的3D数据采集装置，其特征在于包括：

采集模块，用于采集图像，采集图像的步骤包括：

步骤1，启动设置：启动后，在显示操作模块上输入设备相关参数；

步骤2，手指放入模型后，自动调整到手指适合变焦彩色相机拍照和红外深度相机扫描的状态；

步骤4，变焦彩色相机根据手指大小，相机镜头自动伸缩到合适视角和清晰度；

步骤5，调整灯光模组：根据手指的肤色和环境光，灯光模组自动调整亮度和色温，以使变焦彩色相机和红外深度相机采集到高清晰和高对比度的图片；

步骤6，红外深度相机在第一手指一侧位置开始收集深度距离信息，依次到第十个指头；

步骤7，从手指的一侧位置开始工作后，旋转机构以固定速度转动，并同时传输相机图片和深度测距数据到中央处理模块的图像品质处理芯片和红外测距处理芯片，依次到第十个指头进行采集；

第一预处理模块，用于对一台或多台变焦彩色相机采集到的2D彩色图像进行预处理，得到目标物体的2D高清彩色图片；

第二预处理模块，用于对红外深度相机采集到的红外图像进行预处理，得到所述目标物体的深度红外数据，其中，所述深度红外数据包括所述目标物体的深度尺寸数据；上述预处理包括步骤①，图像分割：完成指纹区域与背景区域的分割，包括对变焦彩色相机采集到的彩色图片中的指纹区域与背景区域的分割和对红外深度相机采集到的红外图像中的指纹区域与背景区域的分割；步骤②，图像增强：从变焦彩色相机采集到的彩色图片中分割出的指纹图片以及从红外深度相机采集到的红外图像中的指纹图像的增强，其中，对彩色图像的增强处理包括：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理；对红外图像的增强处理包括红外矩阵癍信息噪点滤波处理；

点云生成模块，用于根据所述目标物体的深度红外数据，对所述目标物体的进行采样，得到所述目标物体的3D点云信息；

配准模块，用于对所述2D高清彩色图片与所述3D点云信息进行配准融合；

3D数据获取模块，用于根据所述2D高清彩色图片与所述3D点云信息进行配准融合得到的结果数据、以及所述变焦彩色相机和所述红外深度相机的标定信息，获取所述目标物体的3D四维数据；具体包括：①指纹纹路提取：完成指纹纹路的提取，获得细化的纹路图；②指纹细节点提取：根据细化的纹路图提取指纹的细节点信息，细节点包括起止点、分叉点；③指纹细节点匹配：在同一次采集中，不同视角图像中存在共有的指纹区域，完成这些共有的指纹区域中对应的细节点的匹配；④指纹纹路匹配：以匹配的细节点作为参考点，完成多视角指纹图像中对应纹路的匹配；⑤指纹纹路3D坐标计算：根据多视角指纹图像中纹路的匹配结果以及相机标定信息，在纹路中选择若干采样点并计算其在3D空间的坐标，从而完成指纹3D重建。

10.根据权利要求9所述的装置，其特征在于，所述第一预处理模块按照以下方式对所述2D彩色图像进行预处理：

对所述2D彩色图像进行分割，将所述2D彩色图像中的所述目标物体的图像区域与背景区域进行分割；

对分割得到所述目标物体的图像区域进行图像增强处理，得到所述目标物体的2D高清彩色图片；其中，所述图像增强处理包括以下至少之一：自动白平衡处理、自动曝光处理、自动对焦处理以及图像畸形校正处理。

11.根据权利要求9所述的装置，其特征在于，所述第二预处理模块按照以下方式对红外深度相机采集到的红外图像进行预处理：

对所述红外图像进行分割，将所述红外图像中的所述目标物体的图像区域与背景区域进行分割；

对分割得到的所述目标物体的图像区域进行红外矩阵癍信息噪点滤波；

从滤波后的所述目标物体的图像区域中得到所述目标物体的3D尺寸数据。

12.根据权利要求9至11任一项所述的装置，其特征在于，所述配准模块按照以下方式对所述2D高清彩色图片与所述3D点云信息进行配准融合：

根据所述3D点云信息中各个采样点的3D尺寸数据，进行飞行时间TOF逆变换，得到所述目标物体的结构光深度图像；

对所述2D高清彩色图片与所述结构光深度图像分别进行高斯滤波；

分别从高斯滤波之后的所述2D高清彩色图片与所述结构光深度图像中提取所述目标物体的特征部分，基于三角剖分算法，确定所述2D高清彩色图片与所述结构光深度图像的共有图像区域；

在所述共有图像区域中，确定所述2D高清彩色图片与所述结构光深度图像的对应点；

根据所述对应点在所述2D高清彩色图片和所述结构光深度图像中的坐标，确定所述2D高清彩色图片与所述结构光深度图像的坐标变换关系；

根据所述坐标变换关系，完成所述2D高清彩色图片和所述结构光深度图像中的所述目标物体的各个特征部分的配准融合。

13.根据权利要求9至11任一项所述的装置，其特征在于，所述3D数据获取模块按照以下方式获取所述目标物体的3D四维数据：

根据所述2D高清彩色图片与所述3D点云信息的配准结果、以及所述变焦彩色相机和所述红外深度相机的标定信息，在所述目标物体的各个特征部分中分别选取多个采样点，并计算所述多个采样点在3D空间的坐标，基于所述多个采样点在3D空间的坐标获取所述目标物体的3D四维数据。

14.根据权利要求9至11任一项所述的装置，其特征在于，还包括：

3D建模模块，用于根据所述目标物体的3D四维数据进行3D建模，并将3D建模得到的3D模型发送给显示器显示。