CN108470149A - 一种基于光场相机的3d四维数据采集方法及装置 - Google Patents

Abstract

本发明提供了一种基于光场相机的3D四维数据采集方法及装置。该方法包括：接收光场相机当前对目标物体进行采集得到的影像数据；对影像数据进行多焦点采样并转换为多张预定图片格式的图像数据；将多张预定图片格式的图像数据进行预处理；将预处理后的多张预定图片格式的图像数据融合成一张预定图片格式的图像数据，并对该张预定图片格式的图像数据进行处理，得到点云数据；从点云数据中提取目标物体的特征点云信息，并根据提取的特征点云信息，进行特征点距离标定；基于特征点距离标定得到的标定距离，对点云数据进行合成，得到目标物体的3D四维模型数据。本发明实施例采用光场相机进行采集，可以显著提高采集效率。

Description

一种基于光场相机的3D四维数据采集方法及装置

技术领域

本发明涉及图像处理技术领域，特别是一种基于光场相机的3D四维数据采集方法及装置。

背景技术

目前的生物特征数据都是空间平面的2D数据，以头部面部的生物特征为例，有关头部面部的数据应用都停留在简单的图片应用上，即只能从某个特定的角度来对头部面部数据进行处理，识别以及其他方面的应用；又以指部的生物特征为例，主要采用2D的方式来识别某一个或者几个指部的特征，部分不法分子根据指部采集到的2D图片，仿制2D指部特征，骗过部分识别系统，给个人信息安全带来了很大的安全隐患。因此，需要对生物特征数据进行3D数据的采集。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于光场相机的3D四维数据采集方法及相应的装置。

根据本发明实施例的一方面，提供了一种基于光场相机的3D四维数据采集方法，包括：

步骤1，接收光场相机当前对目标物体进行采集得到的影像数据；

步骤2，对所述影像数据进行多焦点采样并转换为多张预定图片格式的图像数据；

步骤3，将所述多张预定图片格式的图像数据进行预处理，其中，所述预处理包括以下至少之一：去除背景处理、降噪处理和细节增强处理；

步骤4，将预处理后的所述多张预定图片格式的图像数据融合成一张预定图片格式的图像数据，并对该张预定图片格式的图像数据进行处理，得到点云数据；

步骤5，从所述点云数据中提取所述目标物体的特征点云信息，并根据提取的所述特征点云信息，进行特征点距离标定；

步骤6，基于所述特征点距离标定得到的标定距离，对所述点云数据进行合成，得到所述目标物体的3D四维模型数据。

可选地，所述目标物体包括：人体的面部和/或头部。

可选地，在步骤2之前，所述方法还包括：

对所述影像数据进行解码，生成预定图片格式的图像数据，对所述预定图片格式的图像数据进行定位识别，确定所述人体的面部和/或头部在预定的位置。

可选地，在确定所述人体的面部和/或头部不在预定的位置的情况下，所述方法还包括：

根据对所述预定图片格式的图像数据进行定位识别的结果，确定承载所述人体的面部和/或头部的承载设备需要移动的方向；

向所述承载设备发送控制指令，指示所述承载设备向所述需要移动的方向移动，返回步骤1。

可选地，确定所述人体的面部和/或头部在预定的位置，包括：对所述预定图片格式的图像数据进行定位识别，判断所述预定图片格式的图像数据中的人体的面部和/头部的轮廓是否完整，如果完整，则确定所述人体的面部和/或头部在预定的位置。

可选地，在对所述影像数据进行解码时，所述方法还包括：对所述影像数据进行解码处理，得到视频信号数据，将所述视频信号数据发送到引导显示屏显示。

可选地，所述目标物体包括：人体的手部。

可选地，所述人体的手部包括：指部和/或掌部。

可选地，所述步骤5包括：

对从所述点云数据进行预处理，其中，所述预处理包括以下至少之一：降噪处理、平滑处理、和可视化处理；

从预处理后的所述点云数据中提取所述目标物体的特征点云信息；

根据所述特征点云信息，标定特征点的距离，得到所述目标物体的3D模型的基础尺寸。

可选地，在步骤6之后，所述方法还包括：

将所述3D四维模型数据发送至显示屏显示。

根据本发明实施例的另一个方面，提供了一种基于光场相机的3D四维数据采集装置，包括：

数据接收模块，用于接收光场相机当前对目标物体进行采集得到的影像数据；

格式转换模块，用于对所述影像数据进行多焦点采样并转换为多张预定图片格式的图像数据；

预处理模块，用于将所述多张预定图片格式的图像数据进行预处理，其中，所述预处理包括以下至少之一：去除背景处理、降噪处理和细节增强处理；

数据融合模块，用于将预处理后的所述多张预定图片格式的图像数据融合成一张预定图片格式的图像数据；

点云生成模块，用于对所述一张预定图片格式的图像数据进行处理，得到点云数据；

距离标定模块，用于从所述点云数据中提取所述目标物体的特征点云信息，并根据提取的所述特征点云信息，进行特征点距离标定；

3D数据生成模块，用于基于所述特征点距离标定得到的标定距离，对所述点云数据进行合成，得到所述目标物体的3D四维模型数据。

可选地，所述目标物体包括：人体的面部和/或头部；所述装置还包括：

定位模块，用于对所述影像数据进行解码，生成预定图片格式的图像数据，对所述预定图片格式的图像数据进行定位识别，确定所述人体的面部和/或头部在预定的位置。

可选地，所述装置还包括：

移动控制模块，用于在所述定位识别确定所述人体的面部和/或头部不在预定的位置的情况下，根据对所述预定图片格式的图像数据进行定位识别的结果，确定承载所述人体的面部和/或头部的承载设备需要移动的方向，并向所述承载设备发送控制指令，指示所述承载设备向所述需要移动的方向移动，然后触发所述数据接收模块重新接收所述光场相机当前对所述目标物体采集到的影像数据。

可选地，确定所述人体的面部和/或头部在预定的位置，包括：对所述预定图片格式的图像数据进行定位识别，判断所述预定图片格式的图像数据中的人体的面部和/头部的轮廓是否完整，如果完整，则确定所述人体的面部和/或头部在预定的位置。

可选地，所述格式转换模块还用于在对所述影像数据进行解码时，对所述影像数据进行解码处理，得到视频信号数据，将所述视频信号数据发送到引导显示屏显示。

可选地，所述距离标定模块按照以下方式进行距离标定：

对从所述点云数据进行预处理，其中，所述预处理包括以下至少之一：降噪处理、平滑处理、和可视化处理；

从预处理后的所述点云数据中提取所述目标物体的特征点云信息；

根据所述特征点云信息，标定特征点的距离，得到所述目标物体的3D模型的基础尺寸。

可选地，所述装置还包括：

显示控制模块，用于将所述3D四维模型数据发送至显示屏显示。

本发明实施例提供了一种基于光场相机的3D四维数据采集方法和装置，采用光场相机对目标物体进行数据采集，以光场相机成像原理为基础，结合数字图像处理技术，对目标物体进行3D数据的采集。由于光场相机基于光场理论，在一个焦距对物体拍照后可以计算出其他焦距的成像情况，无需对焦，也不需要在不同焦距多次拍照，因此，减少了数据采集时间和后期计算的数据量，同时降低操作复杂度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一实施例的基于光场相机的3D四维数据采集方法的流程图；

图2示出了根据本发明一实施例的基于光场相机的头部面部3D四维数据采集系统的架构示意图；

图3示出了根据本发明一实施例的基于光场相机的头部面部3D四维数据采集系统的模块结构示意图；

图4示出了根据本发明一实施例的基于光场相机的头部面部3D四维数据采集系统的工作流程图；

图5示出了根据本发明一实施例的基于光场相机的手部3D四维数据采集系统的架构示意图；

图6示出了根据本发明一实施例的基于光场相机的手部3D四维数据采集系统的模块结构示意图；

图7示出了根据本发明一实施例的基于光场相机的手部3D数据采集系统的工作流程图；

图8示出了根据本发明一实施例的基于光场相机的3D四维数据采集装置的结构示意图；以及

图9示出了根据本发明另一实施例的基于光场相机的3D四维数据采集装置的结构示意图。

具体实施方式

为解决上述技术问题，本发明实施例提供了一种基于光场相机的3D四维数据采集方法。下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

需要说明的是：本发明中的3D四维数据是指三维空间数据结合时间维度数据所形成的数据，三维空间结合时间维度是指：多张相同时间间隔或不同时间间隔、不同角度、不同方位或不同的状态等情况的图像或影像形成的3D数据集合。

光场相机通过在普通相机镜头(主镜头)焦距处加微透镜阵列实现记录光线，再通过后期算法(傅里叶切片定理，光场成像算法)实现变焦。

传统相机拍照只有一个焦平面，焦平面前后数据模糊，距离焦平面越远画面越模糊，因此拍摄前要先对焦，但即使对焦清晰对于具有一定景深的物体也无法拍到前后景深都清晰的图像，在3D数据合成中无法提取到模糊数据的特征点，导致合成效果差甚至合成失败。

光场相机先拍照后对焦，可以获取不同景深的清晰数据。再通过图像融合算法可以合成一张具有超景深的图像，在3D数据合成中可提取更多特征点，提高合精度和成功率。

图1示出了根据本发明一实施例的基于光场相机的3D四维数据采集方法的流程图。如图1所示，该方法可以包括以下步骤S102至步骤S112。

步骤S102，接收光场相机当前对目标物体进行采集得到的影像数据。

在具体使用过程中，在步骤S102之前，可以先将目标物体设置在承载设备上，启动系统的各个设备，设置光场相机的各项参数，并控制光场相机拍照，获取光场相机当前对目标物体进行拍照得到的影像数据。

步骤S104，对所述影像数据进行多焦点采样并转换为多张预定图片格式的图像数据。

在具体应用中，预定图片格式可以为JPG格式，即在步骤S104中，将影像数据的数据格式转换为JPG格式。当然，并不限于此，在具体应用中，也可以将影像数据转换为其它图片格式，例如，BMP格式等，具体本发明实施例不作限定。

步骤S106，将所述多张预定图片格式的图像数据进行预处理，其中，所述预处理包括以下至少之一：去除背景处理、降噪处理和细节增强处理。

通过去除背景处理，可以将图像数据中的背景数据去除，减少后续处理的数据量，提高效率。

另外，对图像数据进行降噪处理，可以去除图像数据中的噪声，提高3D数据采集的准确性。

而细节增强处理，使得特征点更加突出，可以方便后续对特征点的提取。

步骤S108，将预处理后的所述多张预定图片格式的图像数据融合成一张预定图片格式的图像数据，并对该张预定图片格式的图像数据进行处理，得到点云数据。

在本发明的一个可选实施方式中，步骤S108中将多焦点图像进行融合的方法可以包括：基于空域的梯度差分法、分块法、逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法；以及基于频域的拉普拉斯金字塔法、小波变换法、金字塔图像融合法、进行图像融合等。

其中，点云数据中可以包含特征点的空间位置信息和颜色信息，点云数据的格式可以如下所示：

X1 Y1 Z1 R1 G1 B1 A1

X2 Y2 Z2 R2 G2 B2 A2

……

Xn Yn Zn Rn Gn Bn An

其中，Xn表示特征点在空间位置的X轴坐标；Yn表示特征点在空间位置的Y轴坐标；Zn表示特征点在空间位置的Z轴坐标；Rn表示特征点的颜色信息的R通道的值；Gn表示特征点的颜色信息的G通道的值；Bn表示特征点的颜色信息的B通道的值；An表示特征点的颜色信息的Alpha通道的值。

步骤S110，从所述点云数据中提取所述目标物体的特征点云信息，并根据提取的所述特征点云信息，进行特征点距离标定。

在本发明的一个可选实施例中，步骤S110可以包括：

对从所述点云数据进行预处理，其中，所述预处理包括以下至少之一：降噪处理、平滑处理、和可视化处理；

从预处理后的所述点云数据中提取所述目标物体的特征点云信息；

根据所述特征点云信息，标定特征点的距离，得到所述目标物体的3D模型的基础尺寸。

步骤S112，基于所述特征点距离标定得到的标定距离，对所述点云数据进行合成，得到所述目标物体的3D四维模型数据。

在本发明的一个可选实施例中，在步骤S112之后，该方法还可以包括：将所述3D四维模型数据发送至显示屏显示。可选地，在显示3D四维模型数据之前，可以对所述3D四维模型数据进行渲染，进而将渲染后的所述3D四维模型数据发送至显示屏显示。在该可选实施例中，对3D四维模型数据进行渲染，提高了显示的3D四维模型数据的真实度。

本发明实施例提供了一种基于光场相机的3D四维数据采集方法，采用光场相机对目标物体进行数据采集，以光场相机成像原理为基础，结合数字图像处理技术，对目标物体进行3D四维数据的采集。由于光场相机基于光场理论，在一个焦距对物体拍照后可以计算出其他焦距的成像情况，无需对焦，也不需要在不同焦距多次拍照，因此，减少了数据采集时间和后期计算的数据量，同时降低操作复杂度。本发明实施例所介绍的3D数据即代表三维空间结合时间维度所形成的数据，也可以理解为3D四维数据。2D数据则代表二维空间结合时间维度，即2D三维数据。

在本发明的一个可选实施例中，所述目标物体包括：人体的面部和/或头部。

当目标物体为人体的面部和/或头部时，由于各个人体可能具有不同的高度，因此，在具体应用中，可能存在目标物体的位置不合适，光场相机不能采集到完整的目标物体。因此，在本发明的一个可选实施方式中，在步骤S104之前，该方法还可以包括：对所述影像数据进行解码，生成预定图片格式的图像数据，对所述预定图片格式的图像数据进行定位识别，确定所述人体的面部和/或头部在预定的位置。在该可选实施方式中，预定的位置可以根据人体的面部和/或头部是否采集完整确定。

在上述可选实施方式中，可选地，在确定所述人体的面部和/或头部不在预定的位置的情况下，该方法还可以包括：根据对所述预定图片格式的图像数据进行定位识别的结果，确定承载所述人体的面部和/或头部的承载设备需要移动的方向；向所述承载设备发送控制指令，指示所述承载设备向所述需要移动的方向移动，返回步骤S102。通过该可选实施方式中，在人体的面部和/或头部不在预定的位置的情况下，可以控制承载人体的面部和/或头部的承载设备进行移动，然后采集新位置的人体的面部和/或头部的图像，再判断人体的面部和/或头部是否在预定的位置，直至确认人体的面部和/或头部在预定的位置为止。

在上述可选实施方式中，预定的位置可以根据人体的面部和/或头部是否采集完整确定。因此，可选地，确定所述人体的面部和/或头部在预定的位置，包括可以对所述预定图片格式的图像数据进行定位识别，判断所述预定图片格式的图像数据中的人体的面部和/头部的轮廓是否完整，如果完整，则确定所述人体的面部和/或头部在预定的位置。

在本发明的一个可选实施方式中，为了引导用户确定移动的方向，可选地，在对所述影像数据进行解码时，该方法还可以包括：对所述影像数据进行解码处理，得到视频信号数据，将所述视频信号数据发送到引导显示屏显示。用户可以通过引导显示屏上显示的图像确定如何进行移动，提高移动的准确性。

在本发明的一个可选实施例中，所述目标物体还可以包括：人体的手部。进一步地，所述人体的手部包括：指部和/或掌部，从而可以实现指纹及掌纹的采集。

在具体应用中，可以根据目标物体的不同类别，设置不同的硬件系统进行目标物体的3D四维数据采集。下面分别以目标物体为头部面部以及手部为例，对本发明实施例提供的3D四维数据采集方法的硬件实现进行说明。

图2示出了根据本发明一实施例提供的一种基于光场相机的头部面部3D四维数据采集系统的架构示意图，图3示出了据本发明一实施例提供的一种基于光场相机的头部面部3D四维数据采集系统的模块结构示意图。如图2和3所示，该系统主要包括：底座21、座椅22、支撑结构23、中央控制模块24、环形承载结构25、补光灯控制模块26、补光灯27、光场相机控制部分28以及引导显示屏29。其中，座椅22与底座21连接，支撑结构23连接底座21与环形承载结构25，中央控制模块24位于环形承载结构25外侧与环形承载结构25和支撑结构23连接。补光灯控制模块26与补光灯27、光场相机控制部分28、引导显示屏29位于环形承载结构25内侧。

其中，如图3所示，中央控制模块24包括：中央控制通信模块241、座椅控制模块242、中央控制数据传输模块243、图像数据格式转换模块244、人脸定位模块245、多焦点图像数据融合模块246、3D模型定标模块248、3D模型点云生成模块247、3D模型合成模块249和3D模型显示模块250。其中，中央控制通信模块241与光场相机控制部分28连接；座椅控制模块242与座椅22连接；中央控制数据传输模块243的输入端与光场相机控制部分28连接，中央控制数据传输模块243的输出端与图像数据格式转换模块244连接；图像数据格式转换模块244的输入端与中央控制数据传输模块243连接，图像数据格式转换模块244的输出端分别与人脸定位模块245和引导显示屏29模块还有多焦点图像数据融合模块246连接；人脸定位模块245的输入端与图像数据格式转换模块244连接，人脸定位模块245的输出端与座椅控制模块242连接；多焦点图像数据融合模块246的输入端与图像数据格式转换模块244连接，多焦点图像数据融合模块246的输出端与3D模型点云生成模块247连接；3D模型点云生成模块247输入端与多焦点图像数据融合模块246连接，3D模型点云生成模块247的输出端与3D模型定标模块248连接；3D模型定标模块248的输入端与3D模型点云生成模块247连接，3D模型定标模块248的输出端与3D模型合成模块249连接；3D模型合成模块249的输入端与3D模型定标模块248连接，3D模型合成模块249的输出端与3D模型显示模块250连接；3D模型显示模块250输入端与3D模型合成模块249连接，3D模型显示模块250的输出端与中央控制显示屏200连接；中央控制显示屏200输入端与3D模型显示模块250连接。

如图3所示，光场相机控制部分28可以包括：相机通信模块281和相机数据传输模块282。其中，相机通信模块281分别与补灯光控制模块26和中央控制模块24中的中央控制通信模块241连接；相机数据传输模块282的输出端与中央控制模块24中的中央控制数据传输模块243连接。座椅22包括：PLC模块222和电机模块221；PLC模块222与中央控制模块24中的座椅控制模块242连接；电机模块221与PLC模块222连接。

上述系统的工作流程如图4所示，主要包括以下步骤S401至步骤S414。

步骤S401，参数设置。启动设备，设置相机参数，中央控制通信模块241与相机通信模块281连接，设置相机参数，并接收反馈信息。

在具体应用中，设置参数包括但不限于：曝光时间(1/8-1/2000)、感光度(ISO100-ISO6400)、白平衡参数Rgain Bgain手动设定、色彩饱和度(0-100)、对比度(0-100)。

步骤S402，数据采集。控制光场相机拍照，采集数据。中央控制通信模块241与相机通信模块281连接，控制光场相机拍照，并接收反馈信息。

步骤S403，数据传输。中央控制数据传输模块243与光场相机控制部分28中相机数据传输模块282连接，传输光场相机采集的影像数据。

步骤S404，数据格式转换。图像数据格式转换模块244的输入端与中央控制数据传输模块243连接，接收影像数据，并进行解码，生成JPG格式数据和视频格式数据。

步骤S405，引导显示。图像数据格式转换模块244的一个输出端与引导显示屏29连接，传输视频信号到引导显示屏29并显示。

步骤S406，人脸定位。人脸定位模块245的输入端与图像数据格式转换模块244连接，对数据进行人脸定位，判断人脸位置是否合适，如果是，则执行步骤S409，否则，执行步骤S407。

步骤S407，人脸定位模块245通过座椅控制模块242向座椅22发送控制命令。

步骤S408，座椅控制。座椅22中PLC模块222与中央控制模块24座椅控制模块242连接接收控制命令，通过电机模块221控制座椅22升降，返回步骤S402。

步骤S409，多焦点图像数据转换。图像数据格式转换模块244对光场数据进行多焦点采样并转换为JPG数据格式。

步骤S410，图像数据融合。多焦点图像数据融合模块246的输入端与图像数据格式转换模块244连接，对多张JPG数据进行处理，融合成一张JPG格式数据。

在步骤S410中，多焦点图像融合包括但不限于：基于空域的梯度差分法、分块法、逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法；以及基于频域的拉普拉斯金字塔法、小波变换法、金字塔图像融合法、进行图像融合。

步骤S411，生成点云。3D模型点云生成模块247与多焦点图像数据融合模块246连接，对多张JPG数据进行处理，生成点云数据。

步骤S412，点云标定。3D模型定标模块248与3D模型点云生成模块247连接，对点云信息进行处理，生成尺寸数据。

步骤S413，3D模型合成。3D模型合成模块249与3D模型定标模块248连接，对标定后的点云数据进行处理，生成3D模型。

步骤S414，3D模型显示。3D模型显示模块250与3D模型合成模块249连接，对3D四维模型数据渲染，中央控制显示屏200与3D模型显示模块250连接，显示3D模型显示模块250输出的渲染后的3D模型。

本发明实施例提供的上述3D数据采集系统，光场相机通过在普通相机镜头(主镜头)焦距处加微透镜阵列实现记录光线的功能，利用光场相机采集数据；基于光场理论，光线在自由空间中的传播是可以用两个平面、四个坐标(四维量，学术上称为光场)来唯一表示，成像过程是对这个四维光场进行了一个二维积分，从而得到了2D图像，用光场相机拍照，相机直接记录了四维光场，不同焦深的图像只需做不同情况下的二维积分便可获取，相对只有一个焦平面的传统相机既获得了不同焦深的数据，又不需要考虑对焦问题，减少了数据采集时间和后期计算的数据量，降低操作复杂度，提升速度和精度。

图5示出了根据本发明一实施例提供的一种基于光场相机的手部3D四维数据采集系统的架构示意图，图6示出了据本发明一实施例提供的一种基于光场相机的手部3D四维数据采集系统的模块结构示意图。如图5和6所示，该系统主要包括：无影灯光模块51、灯光控制模块54、柜体52、手部模型支撑结构53、手部虚拟位置模型56、光场相机模块55和中央控制部分57。其中，手部虚拟位置模型56内部中空且位于手部模型支撑结构53内，手部模型支撑结构53位于柜体52上部，光场相机模块55位于柜体52内环形分布，灯光控制模块54位于无影灯光模块51内，无影灯光模块51位于柜体52内部光场相机两侧。

其中，如图6所示，中央控制部分57主要包括：通信模块571、数据传输模块572、数据转换模块573、数据处理模块574、手部3D模型点云生成模块575、手部3D模型合成模块576、手部3D模型存储模块577。其中，通信模块571分别与灯光控制模块54和光场相机模块55相连；数据传输模块572的输入端与光场相机连接；数据传输模块572的输出端与数据转换模块573连接；数据转换模块573的输入端与数据传输模块572连接；数据转换模块573的输出端与数据处理模块574连接；数据处理模块574的输入端与数据转换模块573连接；数据处理模块574的输出端与手部3D模型点云生成模块575连接；手部3D模型点云生成模块575的输入端与数据处理模块574连接；手部3D模型点云生成模块575的输出端与手部3D模型合成模块576连接；手部3D模型合成模块576的输入端与手部3D模型点云生成模块575连接；手部3D模型合成模块576的输出端与手部3D模型存储模块577连接；手部3D模型存储模块577的输入端与手部3D模型合成模块576连接；手部3D模型存储模块577的输出端与显示屏58连接。

在本发明实施例中，手部虚拟位置模型56固定于手部模型支撑结构53上，手部虚拟位置模型56内部中空，手指尖端露出支撑结构。光场相机模块55以手部虚拟位置模型56中心为光轴中心，以相同角度平均分布在手部虚拟位置模型56下方。无影灯光模块51包含无影灯控制模块和环形无影灯，灯光以手部虚拟位置模型56为中心。

上述系统的工作流程如图7所示，主要包括以下步骤S701至步骤S713。

步骤S701，参数设置。启动设备，设置光场相机参数，通信模块571与光场相机模块55连接，设置相机参数，并接收反馈信息。

在具体应用中，设置参数包括但不限于：曝光时间(1/100-1/1000)、感光度(ISO100-ISO200)，工作环境覆盖亮度LV2到LV15范围、白平衡参数可以手动设置Rgain和Bgain，可以涵盖3000K到6000K的色温环境。

步骤S702，数据采集。控制光场相机拍照，采集数据。通信模块571与光场相机模块55连接，控制光场相机拍照，并接收反馈信息。

步骤S703，数据传输。数据传输模块572与光场相机模块55连接，传输光场相机采集的影像数据。

步骤S704，数据格式转换。数据转换模块573的输入端与数据传输模块572连接接收影像数据，并进行解码，生成多张JPG格式数据。

步骤S705，数据处理。数据处理模块574的输入端与数据转换模块573连接，对图像数据做背景去除，主体降噪和细节增强处理。

其中，数据处理模块574识别手指主题去除背景数据，通过高斯低通滤波和小波降噪法对主体做降噪处理，通过Retinex和偏微分方程图像增强算法对主体做增强处理。

步骤S706，生成点云。手部3D模型点云生成模块575的输入端与数据处理模块574连接，对多张JPG数据进行处理，生成点云数据。

步骤S707，3D模型合成。手部3D模型合成模块576的输入端与手部3D模型点云生成模块575连接，对点云数据进行处理，生成3D模型。

步骤S708，3D模型显示。

本发明针对传统采用接触式采集方式，获取2D指纹数据，受施加的压力和手指干湿度影响会产生扭曲变形或清晰度下降的情况，且前一次采集会留下残影，有时同一手指需采集多次，对用户操作要求较高的问题，采用非接触式采集方式利用光场相机拍照，同时采集十根手指3D数据，对光场相机采集影像数据做降噪和增强处理后建立手指3D模型，再对手指3D模型做预处理提取手指3D指纹数据。

需要说明的是，实际应用中，上述所有可选实施方式可以采用结合的方式任意组合，形成本发明的可选实施例，在此不再一一赘述。

基于上文各个实施例提供的基于光场相机的3D四维数据采集方法，基于同一发明构思，本发明实施例还提供了一种基于光场相机的3D四维数据采集装置。

图8示出了根据本发明一实施例的基于光场相机的3D四维数据采集装置的结构示意图。如图8所示，该装置可以包括：数据接收模块800、格式转换模块802、预处理模块804、数据融合模块806、点云生成模块808、距离标定模块810和3D数据生成模块812。

现介绍本发明实施例的基于光场相机的3D四维数据采集装置的各组成或器件的功能以及各部分间的连接关系：

数据接收模块800，用于接收光场相机当前对目标物体进行采集得到的影像数据；格式转换模块802，用于对所述影像数据进行多焦点采样并转换为多张预定图片格式的图像数据；预处理模块804，用于将所述多张预定图片格式的图像数据进行预处理，其中，所述预处理包括以下至少之一：去除背景处理、降噪处理和细节增强处理；数据融合模块806，用于将预处理后的所述多张预定图片格式的图像数据融合成一张预定图片格式的图像数据；点云生成模块808，用于对所述一张预定图片格式的图像数据进行处理，得到点云数据；距离标定模块810，用于从所述点云数据中提取所述目标物体的特征点云信息，并根据提取的所述特征点云信息，进行特征点距离标定；3D数据生成模块812，用于基于所述特征点距离标定得到的标定距离，对所述点云数据进行合成，得到所述目标物体的3D四维模型数据。

可选地，所述目标物体包括：人体的面部和/或头部；如图9所示，所述装置还可以包括：定位模块814，用于对所述影像数据进行解码，生成预定图片格式的图像数据，对所述预定图片格式的图像数据进行定位识别，确定所述人体的面部和/或头部在预定的位置。

可选地，如图9所示，所述装置还包括：移动控制模块816，用于在所述定位识别确定所述人体的面部和/或头部不在预定的位置的情况下，根据对所述预定图片格式的图像数据进行定位识别的结果，确定承载所述人体的面部和/或头部的承载设备需要移动的方向，并向所述承载设备发送控制指令，指示所述承载设备向所述需要移动的方向移动，然后触发所述数据接收模块800重新接收所述光场相机当前对所述目标物体采集到的影像数据。

可选地，确定所述人体的面部和/或头部在预定的位置，包括：对所述预定图片格式的图像数据进行定位识别，判断所述预定图片格式的图像数据中的人体的面部和/头部的轮廓是否完整，如果完整，则确定所述人体的面部和/或头部在预定的位置。

可选地，所述格式转换模块802还用于在对所述影像数据进行解码时，对所述影像数据进行解码处理，得到视频信号数据，将所述视频信号数据发送到引导显示屏显示。

可选地，所述距离标定模块810按照以下方式进行距离标定：对从所述点云数据进行预处理，其中，所述预处理包括以下至少之一：降噪处理、平滑处理、和可视化处理；从预处理后的所述点云数据中提取所述目标物体的特征点云信息；根据所述特征点云信息，标定特征点的距离，得到所述目标物体的3D模型的基础尺寸。

可选地，如图9所示，所述装置还包括显示控制模块818，用于将所述3D四维模型数据发送至显示屏显示。

根据上述任意一个可选实施例或多个可选实施例的组合，本发明实施例能够达到如下有益效果：

本发明实施例提供了一种基于光场相机的3D四维数据采集方法和装置，采用光场相机对目标物体进行数据采集，以光场相机成像原理为基础，结合数字图像处理技术，对目标物体进行3D四维数据的采集。由于光场相机基于光场理论，在一个焦距对物体拍照后可以计算出其他焦距的成像情况，无需对焦，也不需要在不同焦距多次拍照，因此，减少了数据采集时间和后期计算的数据量，同时降低操作复杂度。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于基于光场相机的3D四维数据采集装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种基于光场相机的3D四维数据采集方法，包括：

步骤1，接收光场相机当前对目标物体进行采集得到的影像数据；

步骤2，对所述影像数据进行多焦点采样并转换为多张预定图片格式的图像数据；

步骤3，将所述多张预定图片格式的图像数据进行预处理，其中，所述预处理包括以下至少之一：去除背景处理、降噪处理和细节增强处理；

步骤4，将预处理后的所述多张预定图片格式的图像数据融合成一张预定图片格式的图像数据，并对该张预定图片格式的图像数据进行处理，得到点云数据；

步骤5，从所述点云数据中提取所述目标物体的特征点云信息，并根据提取的所述特征点云信息，进行特征点距离标定；

步骤6，基于所述特征点距离标定得到的标定距离，对所述点云数据进行合成，得到所述目标物体的3D四维模型数据。

2.根据权利要求1所述的方法，其中，所述目标物体包括：人体的面部和/或头部。

3.根据权利要求2所述的方法，其中，在步骤2之前，所述方法还包括：

对所述影像数据进行解码，生成预定图片格式的图像数据，对所述预定图片格式的图像数据进行定位识别，确定所述人体的面部和/或头部在预定的位置。

4.根据权利要求3所述的方法，其中，在确定所述人体的面部和/或头部不在预定的位置的情况下，所述方法还包括：

根据对所述预定图片格式的图像数据进行定位识别的结果，确定承载所述人体的面部和/或头部的承载设备需要移动的方向；

向所述承载设备发送控制指令，指示所述承载设备向所述需要移动的方向移动，返回步骤1。

5.根据权利要求3所述的方法，其中，确定所述人体的面部和/或头部在预定的位置，包括：对所述预定图片格式的图像数据进行定位识别，判断所述预定图片格式的图像数据中的人体的面部和/头部的轮廓是否完整，如果完整，则确定所述人体的面部和/或头部在预定的位置。

6.根据权利要求3所述的方法，其中，在对所述影像数据进行解码时，所述方法还包括：对所述影像数据进行解码处理，得到视频信号数据，将所述视频信号数据发送到引导显示屏显示。

7.根据权利要求1所述的方法，其中，所述目标物体包括：人体的手部。

8.根据权利要求7所述的方法，其中，所述人体的手部包括：指部和/或掌部。

9.根据权利要求1至8任一项所述的方法，其中，所述步骤5包括：

对从所述点云数据进行预处理，其中，所述预处理包括以下至少之一：降噪处理、平滑处理、和可视化处理；

从预处理后的所述点云数据中提取所述目标物体的特征点云信息；

根据所述特征点云信息，标定特征点的距离，得到所述目标物体的3D模型的基础尺寸；

优选地

在步骤6之后，所述方法还包括：

将所述3D四维模型数据发送至显示屏显示。

10.一种基于光场相机的3D四维数据采集装置，包括：

数据接收模块，用于接收光场相机当前对目标物体进行采集得到的影像数据；

格式转换模块，用于对所述影像数据进行多焦点采样并转换为多张预定图片格式的图像数据；

预处理模块，用于将所述多张预定图片格式的图像数据进行预处理，其中，所述预处理包括以下至少之一：去除背景处理、降噪处理和细节增强处理；

数据融合模块，用于将预处理后的所述多张预定图片格式的图像数据融合成一张预定图片格式的图像数据；

点云生成模块，用于对所述一张预定图片格式的图像数据进行处理，得到点云数据；

距离标定模块，用于从所述点云数据中提取所述目标物体的特征点云信息，并根据提取的所述特征点云信息，进行特征点距离标定；

3D数据生成模块，用于基于所述特征点距离标定得到的标定距离，对所述点云数据进行合成，得到所述目标物体的3D四维模型数据；

优选地，人体的面部和/或头部；所述装置还包括：

定位模块，用于对所述影像数据进行解码，生成预定图片格式的图像数据，对所述预定图片格式的图像数据进行定位识别，确定所述人体的面部和/或头部在预定的位置；

优选地，所述装置还包括：移动控制模块，用于在所述定位识别确定所述人体的面部和/或头部不在预定的位置的情况下，根据对所述预定图片格式的图像数据进行定位识别的结果，确定承载所述人体的面部和/或头部的承载设备需要移动的方向，并向所述承载设备发送控制指令，指示所述承载设备向所述需要移动的方向移动，然后触发所述数据接收模块重新接收所述光场相机当前对所述目标物体采集到的影像数据；

优选地，确定所述人体的面部和/或头部在预定的位置，包括：对所述预定图片格式的图像数据进行定位识别，判断所述预定图片格式的图像数据中的人体的面部和/头部的轮廓是否完整，如果完整，则确定所述人体的面部和/或头部在预定的位置；

优选地，所述格式转换模块还用于在对所述影像数据进行解码时，对所述影像数据进行解码处理，得到视频信号数据，将所述视频信号数据发送到引导显示屏显示；

优选地，所述距离标定模块按照以下方式进行距离标定：

对从所述点云数据进行预处理，其中，所述预处理包括以下至少之一：降噪处理、平滑处理、和可视化处理；

从预处理后的所述点云数据中提取所述目标物体的特征点云信息；

根据所述特征点云信息，标定特征点的距离，得到所述目标物体的3D模型的基础尺寸；

优选地，所述装置还包括：

显示控制模块，用于将所述3D四维模型数据发送至显示屏显示。