CN109084679B - 一种基于空间光调制器的3d测量及获取装置 - Google Patents

Abstract

本发明提供了一种基于空间光调制器的3D测量装置及相关装置，其中测量装置包括：图像采集装置，用于采集图像；空间光调制器，用于接收目标物的不同方向的光线，从而将目标物不同区域的图像传输至图像采集装置的不同区域；图像处理装置，处理上述图像采集装置获得的多个图像得到目标物的3D信息；测量装置，根据目标物的3D信息测量目标物的几何尺寸。次注意到并提出由于相机体积导致多相机矩阵采集分辨率较低的技术问题，并提出通过利用光调制器接收目标物的不同方向的光线，从而将目标物不同区域的图像传输至图像采集装置的不同区域，减少体积，提高3D测量/合成分辨率。

Description

一种基于空间光调制器的3D测量及获取装置

技术领域

本发明涉及物体3D测量技术领域，特别涉及利用图片进行目标物3D采集和长度等几何尺寸测量技术领域。

背景技术

目前3D采集/测量设备主要针对某一特定物，在物体确定后，通过多台相机同时采集物体多张照片，从而合成物体的3D图像，并利用3D点云数据进行物体长度、轮廓等测量。

然而，使用多台相机导致整个装置体积巨大。并且由于目前相机本身镜头、机身的尺寸固定，相邻相机之间的间距存在极限值(由相机几何尺寸决定)。在这种情况下，多台相机采集的间隔较大，从而使得最终得到的3D点云或图像合成效果差，且测量精度受到影响。目前解决这一问题必须将多个相机远离目标物。但如果目标物较小，这样会导致目标物在图像中的占比较小，使得图像中目标物的分辨率较低，同样会影响3D合成和测量。因此，在上述情况下还要使用长焦镜头拍照，从而使得相机采集区域间隔更加密集。然而这样增加了对镜头的要求和成本，且长焦镜头拍摄时对相机快门、周围光线要求较高。综上所述，多台相机组成的相机矩阵体积大，分辨率低，对相机要求高。

特别是，目前还没有利用多个图像进行3D合成从而对微小物体3D成像、3D测量的有效手段。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的3D测量及信息获取装置。

本发明提供了一种基于空间光调制器的3D测量装置，包括

图像采集装置，用于采集图像；

空间光调制器，用于接收目标物的不同方向的光线，从而将目标物不同区域的图像传输至图像采集装置的不同区域；

图像处理装置，处理上述图像采集装置获得的多个图像得到目标物的3D信息；

测量装置，根据目标物的3D信息测量目标物的几何尺寸。

本发明还提供了一种基于空间光调制器的3D信息获取装置：包括

图像采集装置，用于采集多个图像；

空间光调制器，用于接收目标物的不同方向的光线，从而将目标物不同区域的图像传输至图像采集装置的不同区域；

图像处理装置，处理上述图像采集装置获得的多个图像得到目标物的3D信息。

可选的：空间光调制器相邻两个光学结构的光轴夹角满足

H*(1-cosb)＝L*sin2b；

a＝m*b；

0<m<0.8；

其中L为图像采集装置到目标物的距离，H为采集到的图像中目标物实际尺寸，a为空间光调制器相邻两个光学结构的光轴夹角，m为系数。

可选的：空间光调制器相邻三个光学结构采集的三个图像至少均存在表示目标物同一区域的部分。

可选的：所述图像采集装置包括一个或多个图像采集单元。

可选的：所述空间光调制器为透射镜阵列或反射镜阵列。

可选的：所述透射镜阵列包括至少3个透视镜单元，所述反射镜阵列包括至少3个反射镜单元

可选的：所述空间光调制器为微透镜阵列、液晶阵列。

本发明还提供了一种3D信息比对装置：包括上述任意一项所述的3D信息获取装置。

本发明还提供了一种目标物的配套物生成装置，：利用上述任意一项所述的3D信息获取装置获得的至少一个区域3D信息生成与目标物相应区域相配合的配套物。

本发明还提供了一种基于空间光调制器的3D信息获取方法，其特征在于，使用任意一项所述装置获取目标物3D信息。

发明点及技术效果

1、首次注意到并提出由于相机体积导致多相机矩阵采集分辨率较低的技术问题，并提出通过利用光调制器接收目标物的不同方向的光线，从而将目标物不同区域的图像传输至图像采集装置的不同区域，减少体积，提高3D测量/合成分辨率。

2、由于目标对象不同、形状凹凸情况不同，为达到较好的合成效果对光调制器结构进行优化时难以规范表达，因此目前也没有对光调制器结构进行优化的技术。本发明经过反复试验，总结经验对矩阵的结构进行优化，给出了光调制器中每个光学单元之间需要满足的经验条件。

3、通过光学调制器采集不同区域的图像减小了成品相机的使用数量，减小了体积，并且光学调制器将不同区域的图像传输至图像传感器的不同区域，提高了图像传感器的利用率(目前图像传感器超高的分辨率有大量的数据冗余)。并且由于光学调制器通常形状规则，因此使用起来更加方便。

4、现有技术对于合成效果的提升主要通过硬件升级和严格标定，现有技术中没有任何启示能够通过变化相机拍照时的角度位置来保证3D合成的效果和稳定性，更没有具体优化的条件。本发明首次提出了优化相机拍照时的角度位置来保证3D合成的效果和稳定性，并且通过反复试验，提出了相机位置需要满足的最佳经验条件，大大提高了3D合成的效果和合成图像稳定性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明一实施例基于空间光调制器的3D测量/信息获取装置的示意图；

图2为本发明一实施例基于空间光调制器的3D测量/信息获取装置的一种具体实施方式的示意图；

图3为本发明一实施例基于空间光调制器的3D测量/信息获取装置的另一种具体实施方式的示意图；

图4为本发明空间光调制器的放大后的侧面结构示意图；

图5为本发明空间光调制器的放大后的正面结构示意图；

图6为本发明另一实施例基于空间光调制器的3D测量/信息获取装置一种具体实施方式示意图；

图7为本发明另一实施例基于空间光调制器的3D测量/信息获取装置的另一种具体实施方式的示意图；

附图标记说明：

101空间光调制器，201图像采集装置，100图像处理装置，1011反射镜，1012棱镜，1013液晶调制器，2011图像采集单元。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例1(微透镜阵列)

为解决上述技术问题，本发明的一实施例提供了一种3D信息获取/测量装置。请参考图1、至图5，具体包括：微透镜阵列(空间光调制器)101，图像采集设备201，图像处理装置100。微透镜阵列101上每个小镜片将目标物不同区域的图像反射至图像采集设备201的图像采集单元2011的不同区域上。

图像采集单元2011是独立的CCD或CMOS芯片，图像采集单元2011可以为一个或者多个。

上述虚拟矩阵的矩阵点由采集目标物图像时图像采集装置201的位置决定的，所述微透镜阵列101相邻两个反射片的光轴至少满足如下条件：

H*(1-cosb)＝L*sin2b；

a＝m*b；

0<m<1.5；

其中L为图像采集装置201到目标物的距离，通常为图像采集装置201在第一位置时距离所采集的目标物正对区域的距离。

H为采集到的图像中目标物实际尺寸，所述图像通常为图像采集装置201在第一位置时拍摄的图片，该图片中的目标物具有真实的几何尺寸(不是图片中的尺寸)，测量该尺寸时沿着第一位置到第二位置的方向测量。例如第一位置和第二位置是水平移动的关系，那么该尺寸沿着目标物的水平横向测量。例如图片中能够显示出的目标物最左端为A，最右端为B，则测量目标物上A到B的直线距离，为H。所述测量方法可以根据图片中A、B距离，结合相机镜头焦距进行实际距离计算，也可以在目标物上标识出A、B，利用其它测量手段直接测量AB直线距离。

a为相邻两个反射片的光轴夹角。

m为系数。

由于物体大小、凹凸情况各异，无法用严格公式限定a的取值，需要根据经验进行限定。根据大量实验，m的取值在1.5以内即可，但优选可以为0.8以内。具体实验数据参见如下表格：

目标物	m值	合成效果	合成率
				人体虹膜	0.11、0.20、0.35	非常好	>92％
人体虹膜	0.41、0.55	好	>87％
				人体虹膜	062、0.70、0.79	比较好	>81％
人体虹膜	0.93、1.01	一般	>67％
				人体虹膜	1.06、1.17	一般	>60％
人体虹膜	1.20、1.33、1.50	勉强合成	>52％
				人体虹膜	1.56、1.67	难以合成	<40％

在目标物及图像采集装置201确定后，根据上述经验公式可以计算出a的值，根据a值即可确定微透镜阵列101各个镜片转动的参数。

一些情况下，即使根据上述经验公式，有些场合下也不易确定微透镜阵列参数(a值)，此时需要根据实验调整微透镜阵列参数，实验方法如下：根据上述公式计算预测微透镜阵列参数a，并按照预测微透镜阵列参数控制相微透镜阵列各个镜片转动，例如某一镜片(或多个镜片组成的镜片区域)在角度W1拍摄图片P1，另一镜片(或多个镜片组成的另一镜片区域)在角度W2后拍摄图片P2，此时比较图片P1和图片P2中是否有表示目标物同一区域的部分，即P1∩P2非空(例如同时包含虹膜左边部分，但照片拍摄角度不同)，如果没有则重新调整a值，重新转动镜片，重复上述比较步骤。如果P1∩P2非空，则根据a值(调整或未调整的)继续转动第三镜片(或多个镜片组成的第三镜片区域)在角度W3拍摄图片P3，再次比较图片P1、图片P2和图片P3中是否有表示目标物同一区域的部分，即P1∩P2∩P3非空。再利用多张图片合成3D，测试3D合成效果，符合3D信息采集和测量要求即可。也就是说，微透镜阵列结构参数由其上的光学反射片转动角度决定，相邻三个光学片(或光学片组)满足在对应位置上采集的三个图像至少均存在表示目标物同一区域的部分。

在获得了多张目标物图像后，图像处理装置100处理上述图像合成3D。利用多个角度的多个图像合成3D点云或图像可以使用根据相邻图像特征点进行图像拼接的方法，也可以使用其它方法。

所述图像拼接的方法包括：

(1)对多个图像进行处理，提取各自的特征点；多个图像中各自的特征点的特征可以采用SIFT(Scale-Invariant Feature Transform，尺度不变特征转换)特征描述子来描述。SIFT特征描述子具有128个特征描述向量，可以在方向和尺度上描述任何特征点的128个方面的特征，显著提高对特征描述的精度，同时特征描述子具有空间上的独立性。

(2)基于提取的多个图像,的特征点，分别生成人脸特征的特征点云数据和虹膜特征的特征点云数据。具体包括：

(2-1)根据提取的多个图像中每幅图像各自的特征点的特征，进行多张图片的特征点的匹配，建立匹配的脸部特征点数据集；根据提取的多个图像中每幅图像各自的特征点的特征，进行多张图片的特征点的匹配，建立匹配的虹膜特征点数据集；

(2-2)根据相机的光学信息、获取多个图像时的相机的不同位置，计算各个位置相机相对于特征点在空间上的相对位置，并根据相对位置计算出多个图像中的特征点的空间深度信息。同理，可以计算出多个图像中的特征点的空间深度信息。所述计算可采用光束平差法。

计算特征点的空间深度信息可以包括：空间位置信息和颜色信息，即，可以是特征点在空间位置的X轴坐标、特征点在空间位置的Y轴坐标、特征点在空间位置的Z轴坐标、特征点的颜色信息的R通道的值、特征点的颜色信息的G通道的值、特征点的颜色信息的B通道的值、特征点的颜色信息的Alpha通道的值等等。这样，生成的特征点云数据中包含了特征点的空间位置信息和颜色信息，特征点云数据的格式可以如下所示：

X1 Y1 Z1 R1 G1 B1 A1

X2 Y2 Z2 R2 G2 B2 A2

……

Xn Yn Zn Rn Gn Bn An

其中，Xn表示特征点在空间位置的X轴坐标；Yn表示特征点在空间位置的Y轴坐标；Zn表示特征点在空间位置的Z轴坐标；Rn表示特征点的颜色信息的R通道的值；Gn表示特征点的颜色信息的G通道的值；Bn表示特征点的颜色信息的B通道的值；An表示特征点的颜色信息的Alpha通道的值。

(2-3)根据多个图像匹配的特征点数据集和特征点的空间深度信息，生成目标物特征的特征点云数据。

(2-4)根据特征点云数据构建目标物3D模型，以实现目标物点云数据的采集。

(2-5)将采集到的目标物颜色、纹理附加在点云数据上，形成目标物3D图像。

其中，可以利用一组图像中的所有图像合成3D图像，也可以从其中选择质量较高的图像进行合成。

上述拼接方法只是有限举例，并不限于此，所有根据多幅多角度二维图像生成三维图像的方法均可以使用。

可以理解，如果图像采集单元2011像素不高，那么图像采集设备201可以具有多个图像采集单元2011，微透镜阵列101上每个小镜片将目标物不同区域的图像分别反射至多个图像采集单元2011上。当然，也可以分别反射至多个图像采集单元2011的不同区域上。

DLP4500NIR为例，其阵列为912x1140，间距为7.6μm，翻转频率为4225HZ。但是现有DMD只能偏转±12°左右，也就是说，只有三个反射角度，只能传输目标物3个区域的图片，也可以用于合成虹膜的3D图像，但精度不够。为此，需要选择反射镜片能够连续偏转的微透镜阵列，例如薄膜微透镜阵列(Thin-Film Mirror Array)。

由于微透镜阵列是芯片级的，其尺寸非常小，可以用于拍摄小物体，例如虹膜。

当然微透镜阵列也可以不使用现有的产品，例如根据固定的拍摄场景设计不转动的固定的微透镜阵列。

另外，微透镜阵列并不限于反射式，利用透射、折射、衍射均能实现光线的偏转。

实施例2(多反射镜、多透射镜)

如图4和图5所示空间光调制器101可以为多反射镜1011组成的反射镜组，反射镜1011的数量可以根据对图像质量的要求来确定，但一般应大于3个。如果反射镜1011数量过少，则能够得到的3D信息不全面；如图6所示空间光调制器101可以为多棱镜1012组成的棱镜组，棱镜1012的数量可以根据对图像质量的要求来确定，但一般应大于3个。如果棱镜1012数量过少，则能够得到的3D信息不全面；如图7所示空间光调制器101可以为液晶调制器1013，加电压使得液晶不同区域光折射率发生变化，从而使得光线偏转。可以理解，空间光调制器的光调制单元不限于反射镜、棱镜，其他利用透射、折射、衍射均能实现光线的偏转的光学元件均可。

以上实施例虽然没有详细阐述其余使得能够清晰成像的光学结构，但可以理解，在光调制器光路之前和/或之后应当具有光学透镜，从而使得目标物的图像清晰地呈现在图像采集设备201中。

本发明中目标物可以为一实体物体，也可以为多个物体组成物。

目标物的3D信息包括3D图像、3D点云、3D网格、局部3D特征、3D尺寸及一切带有目标物3D特征的参数。

本发明里所谓的3D、三维是指具有XYZ三个方向信息，特别是具有深度信息，与只有二维平面信息具有本质区别。也与一些称为3D、全景、全息、三维，但实际上只包括二维信息，特别是不包括深度信息的定义有本质区别。

本发明所说的采集区域是指图像采集装置(例如相机)能够拍摄的范围。

本发明中的图像采集装置可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。

以上实施例获得的目标物多个区域的3D信息可以用于进行比对，例如用于身份的识别。首先利用本发明的方案获取人体面部和虹膜的3D信息，并将其存储在服务器中，作为标准数据。当使用时，例如需要进行身份认证进行支付、开门等操作时，可以用3D获取装置再次采集并获取人体面部和虹膜的3D信息，将其与标准数据进行比对，比对成功则允许进行下一步动作。可以理解，这种比对也可以用于古董、艺术品等固定财产的鉴别，即先获取古董、艺术品多个区域的3D信息作为标准数据，在需要鉴定时，再次获取多个区域的3D信息，并与标准数据进行比对，鉴别真伪。

以上实施例获得的目标物多个区域的3D信息可以用于为该目标物设计、生产、制造配套物。例如，获得人体头部3D数据，可以为人体设计、制造更为合适的帽子；获得人体头部数据和眼睛3D数据，可以为人体设计、制造合适的眼镜。

以上实施例获得的目标物的3D信息可以用于对该目标物的几何尺寸、外形轮廓进行测量。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于可见光相机的生物特征四维数据采集装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (18)

1.一种基于空间光调制器的3D测量装置，其特征在于：包括

图像采集装置，用于采集图像；

空间光调制器，用于接收目标物的不同方向的光线，从而将目标物不同区域的图像传输至图像采集装置的不同区域；

图像处理装置，处理上述图像采集装置获得的多个图像得到目标物的3D信息；

测量装置，根据目标物的3D信息测量目标物的几何尺寸；

空间光调制器相邻两个光学结构的光轴夹角满足

H*(1-cosb)＝L*sin2b；

a＝m*b；

0<m<0.8；

其中L为图像采集装置到目标物的距离，H为采集到的图像中目标物实际尺寸，a为空间光调制器相邻两个光学结构的光轴夹角，m为系数。

2.如权利要求1所述的基于空间光调制器的3D测量装置，其特征在于：空间光调制器相邻三个光学结构采集的三个图像至少均存在表示目标物同一区域的部分。

3.如权利要求1-2任一所述的基于空间光调制器的3D测量装置，其特征在于：所述图像采集装置包括一个或多个图像采集单元。

4.如权利要求1-2任一所述的基于空间光调制器的3D测量装置，其特征在于：所述空间光调制器为透射镜阵列或反射镜阵列。

5.如权利要求4所述的基于空间光调制器的3D测量装置，其特征在于：所述透射镜阵列包括至少3个透视镜单元，所述反射镜阵列包括至少3个反射镜单元。

6.如权利要求4所述的基于空间光调制器的3D测量装置，其特征在于：所述空间光调制器为微透镜阵列或液晶阵列。

7.一种3D信息比对装置，其特征在于：包括上述权利要求1-6任意一项所述的3D测量装置。

8.一种目标物的配套物生成装置，其特征在于：利用上述权利要求1-6任意一项所述的3D测量装置获得的至少一个区域3D信息生成与目标物相应区域相配合的配套物。

9.一种基于空间光调制器的3D信息获取方法，其特征在于，使用权利要求1-6任意一项所述装置获取目标物3D信息。

10.一种基于空间光调制器的3D信息获取装置，其特征在于：包括

图像采集装置，用于采集多个图像；

空间光调制器，用于接收目标物的不同方向的光线，从而将目标物不同区域的图像传输至图像采集装置的不同区域；

图像处理装置，处理上述图像采集装置获得的多个图像得到目标物的3D信息；

空间光调制器相邻两个光学结构的光轴夹角满足

H*(1-cosb)＝L*sin2b；

a＝m*b；

0<m<0.8；

其中L为图像采集装置到目标物的距离，H为采集到的图像中目标物实际尺寸，a为空间光调制器相邻两个光学结构的光轴夹角，m为系数。

11.如权利要求10所述的基于空间光调制器的3D信息获取装置，其特征在于：空间光调制器相邻三个光学结构采集的三个图像至少均存在表示目标物同一区域的部分。

12.如权利要求10-11任一所述的基于空间光调制器的3D信息获取装置，其特征在于：所述图像采集装置包括一个或多个图像采集单元。

13.如权利要求10-11任一所述的基于空间光调制器的3D信息获取装置，其特征在于：所述空间光调制器为透射镜阵列或反射镜阵列。

14.如权利要求13所述的基于空间光调制器的3D信息获取装置，其特征在于：所述透射镜阵列包括至少3个透视镜单元，所述反射镜阵列包括至少3个反射镜单元。

15.如权利要求13所述的基于空间光调制器的3D信息获取装置，其特征在于：所述空间光调制器为微透镜阵列或液晶阵列。

16.一种3D信息比对装置，其特征在于：包括上述权利要求10-15任意一项所述的3D信息获取装置。

17.一种目标物的配套物生成装置，其特征在于：利用上述权利要求10-15任意一项所述的3D信息获取装置获得的至少一个区域3D信息生成与目标物相应区域相配合的配套物。

18.一种基于空间光调制器的3D信息获取方法，其特征在于，使用权利要求10-15任意一项所述装置获取目标物3D信息。