CN105378426A - 带有包含用于照明受试主题的固定图案光学部的图案移动装置的便携式结构光测量模块/设备 - Google Patents

Abstract

一种用于受检主题的3D图像获取的表面测量模块。模块具有：(a)壳体，其容纳具有固定图案光学部的图案移动装置，来自光源的光通过所述固定光学部，在偏振分束器上引导所述图案移动装置的输出，通过包括至少一个透镜元件的镜头组件引导所述分束器的偏振输出；(b)反射器，其引导离开镜头组件的偏振输出以照明受检主题的表面；(c)散射光照明装置，其通过镜头组件被远离表面反向引导，用于通过图像传感器捕获；(d)壳体，其还容纳偏振分束器、镜头组件和图像传感器。固定图案光学部的输出包括多频图案。图案移动装置可以是线性或旋转类型。

Description

带有包含用于照明受试主题的固定图案光学部的图案移动装置的便携式结构光测量模块/设备

技术领域

一般来说，本发明涉及利用结构光照明(SLI)技术的表面三维(3-D)测量的领域。如所使用的“SLI”表示术语结构光照明或经常简化为结构光。更具体的说，本发明涉及一种新型便携式模块/设备以及测量和记录受试目标/受检主题的3-D表面的特性的相关光学技术。模块采用光源，来自光源的光沿着包括固定图案光学部的线性或旋转图案移动装置通过的通路引导，叠加/重叠的SLI图案随着由多个SLI图案组成的所选的叠加SLI图案从线性或旋转图案移动装置显现。从线性图案移动装置显现的新型SLI图案通过偏振分束器引导，然后，在操作中，通过镜头组件引导的偏振光唯一被构造成辅助SLI图案和摄像机功能的投影。然后偏振的、投影SLI图案光前行以被重新引导(例如，通过反射)以照明受试区域/受试目标或受检主题的3-D表面。

模块/设备设计的进一步独特之处是远离感兴趣(诸如在受检哺乳动物牙齿的情况下，子表面的性质是否为半透明)的被照明3-D表面反射的光被反向引导至模块中并进一步通过镜头组件(优选包括多个透镜元件)反向重新引导。这种已经通过独特的镜头组件反向重新引导的反光同样离开，然后被引导至摄像机图像传感器中。通过图像传感器捕获的数字SLI图像信息包含用于传统处理和存储的感兴趣的3-D表面特性的信息。

可使用本发明的模块/设备和相关技术来检查3-D目标/主题的各种感兴趣区域。虽然在此表示为适于手动操作的便携式装置，但是将理解的是，也可缩小在需要更小或微型模块的区域/内部中使用的新型组件的尺寸或可增大尺寸以收集关于覆盖更大区域的感兴趣3-D区域的信息。这种感兴趣区域包括：当研究牙齿健康时哺乳动物口腔内的区域或皮肤或组织区域；或以表征管线内部(对受试管线内部进行测量)或检查正在制造的半导体晶片的3-D表面；或以检查印刷电路板/印刷电线板(PCB/PWB)；和物品或制造产品(部件、组件、食品、包装)的其它这种表面检查。

可在代表其受托人承认并提交的美国专利申请号13/297,233和13/297,246中找到附加的背景信息和技术支持。

背景技术

历史回顾

多年来，已经使用被称为结构光(或SLI)的目标测量技术测量目标的3-D特征。然而，目前的实施计算繁重且可用的系统具有很大的占地面积。因为常规SLI表面测量系统利用复杂的电子驱动的SLI信号处理投影单元以投影SLI图案—且投影的每一个SLI图案需要专用的投影单元—不现实的是利用常规SLI表面测量系统来执行实时测量以监控位于相对小空间(体积)中的诸如位于哺乳动物的口腔或耳内的表面(口腔内表面和耳内表面)；位于机械(例如，在制造工厂中发现的机械)内部的表面；位于管线内等的表面。另外，用于进行3-D表面测量的多个复杂SLI图案必需的投影的性质-其中投影的每一个SLI图案需要专用的投影单元-已经进一步引领常规SLI表面测量系统以进行3-D表面实时测量的应用。

结构光(即，结构光照明)、共焦成像、飞行时间、和并行共焦显微镜各均被认为是3-D测量技术。目前使用SLI在利用摄像机(镜头和处理单元)测量远离感兴趣表面反射的图像的同时通过利用投影仪将多个SLI图案(栅、条纹、椭圆图案等)投影至感兴趣表面上来观测感兴趣表面以推断在感兴趣表面上生成的图案的合成失真。已知摄像机和投影仪的几何形状(存在用于这种映射的许多种传统技术)，通过三角测量的方式计算关于表面失真的逐点深度信息。利用诸如在vision.caltech.edu/bouguetj/calib_doc/：“这种工具箱在Windows系统、Unix系统和Linux系统的Matlab5.x、Matlab6.x和Matlab7.x上工作并不需要任何具体Matlab工具箱(例如，不需要优化工具箱)”等传统熟知的映射技术来计算摄像机的世界坐标。利用用于Matlab的传统摄像机校准工具箱，计算将世界坐标整合至摄像机和投影仪的坐标系统上的必需系数。以这种方式，限定摄像机(即，在摄像机每个单独的像素)、投影仪(即，信息投影行的原点)和位于常常被称为“真实世界”坐标系的外部参照系中的受试目标之间的数学关系。

题目为“利用数字视频投影系统用于三维表面轮廓和测距的方法和设备”的美国专利US6,788,210利用一系列复杂的相互连接的专用投影仪单元啮合以在感兴趣表面上生成期望的投影多图案图像。US6,788,210的图5示出了一种用于投影系统的传统光学结构。美国专利US5,633,755提供了关于光学系统的结构及其电子控制方法的附加细节。题目为“装备投影仪的DMD”的美国专利US6,874,894B2详述了称为“德州仪器DMD”的投影仪，即投影设备的“DLP装置”的系统。

正如人们可以理解的，US6,788,210的图5中所描绘的系统和US6,874,894的图5中所描绘的系统在结构上和功能上是相同的。如US6,788,210所解释的，利用组件46以生成图像。这种组件如现有技术已经标记在US6,874,894的图6中标记为113。也被称为DMD或DLP装置的德州仪器DMD是复杂的半导体器件，具体称为光学MEMS装置。在Hornbeck,LarryJ.的"DigitalLightProcessingforHigh-Brightness,High-ResolutionApplications,"SPIEVol.3013pps.27-40中进一步详述了DMD。仅以背景的方式，在域dlp.com.的因特网找到其内容。

美国专利US6,977,732描述了DMD测量小目标的三维形状的应用。如此处解释的，需要附加的复杂电子系统以操作基于DMD的投影系统：其具有用于三维测量的电子微型显示器。精工爱普生(SEIKO-EPSON)制造了用于投影应用的液晶装置。索尼、豪威科技和JVC都在硅器件上制造了用于投影应用的液晶。如DMD一样，电子控制的常规装置使得光图案的投影需要复杂的光学控制电子结构和光学结构。

计算机化装置、存储器和存储装置/介质

I.数字计算机。处理器是一组响应于和处理驱动计算机化装置的指令的逻辑装置/电路。中央处理单元(CPU)被认为是数字或其它类型计算机化系统的计算部分。经常简称为处理器，CPU由控制单元、程序定序器和算术逻辑单元(ALU)-进行计算和比较的高速电路组成。将数从存储器传送到ALU进行计算并将结果发送回存储器。将字母数字数据从存储器发送到ALU进行比较。在由于其物理尺寸极小，所以通常被称为微处理器的单个“芯片”上可包含计算机的CPU。众所周知，简单计算机的基本元件包括CPU、时钟和主存储器；而完整的计算机系统需要加入控制单元、输入装置、输出装置和存储装置以及操作系统。称为“微处理器”的微小装置典型地包含作为集成电路连同相关联的总线接口的CPU的处理组件。微控制器典型地包含一个或多个微处理器、存储器和作为集成电路(IC)的I/O电路。使用计算机指令来触发通过CPU进行的计算。

Ⅱ.计算机存储器和计算机可读存储装置。同时单词“存储器(memory)”旧称为暂时存储数据，“存储装置(storage)”传统上用来指将诸如用户输入的用于长时间保存的数字数据半永久或永久保存在一个地方，然而，这些术语的定义已经模糊。在此将与各种计算机处理结构兼容的众所周知的计算机可读存储装置技术的非穷尽列表分类用于参考：(1)磁带技术；(2)磁盘技术，其包括软盘/磁盘、固定硬盘(通常处于台式机、笔记本电脑、工作站、主机和大型主机互连以创造一个“云”环境等中；(3)固态硬盘(SSD)技术，其包括DRAM和“闪速存储器”；(4)光盘技术，其包括磁光盘、PD、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R、DVD-RAM、WORM、OROM、全息光盘技术、固态光盘技术等。

多频图案的用途

本文所公开的新技术和系统利用刘等人于2010年8月6日提交的题目为“在3D结构光系统中的多频相位多路复用(DFPM)和周期编码相位测量(PCPM)图案策略和用于相位测量图案策略的基于查找表(LUT)的实时数据处理”(“ProvApp'626”)的美国临时专利申请61/371,626公开的独特技术，为了其技术背景讨论，在此全部引入以作参考。刘等人于2011年8月8日提交的美国实用新型申请13/205,607(“UtilApp'607”)的授权先于刘等人的ProvApp'626：ProvApp'626和UtilApp'607两者的技术公开以符合本技术规范的程度在此全部引入以作参考。请注意的是，ProvApp'626或UtilApp'607两者都不归本实用新型专利申请的专利权人共有。

ProvApp'626和UtilApp'607中所公开的独特SLI图案技术包括：

(1)独特图案策略组件(如在标有部分A“用于高速3D形状测量的双频图案方案”、标有部分B“用于3D实时获取和数据处理的周期编码相位测量策略”的ProvApp'626中找到的技术讨论中进一步详述—这些部分A和部分B的每一个涵盖了通过以如下面进一步解释的下述两种传统电路信号/电流传播型：AC交流电和DC直流电类比的方式引入的新型多频图案的示例)；

(2)独特解码图像处理组件(在ProvApp'626的技术讨论和标有部分C“用于结构光照明实时相位和3D表面重构的基于LUT的处理”中进一步详述。)

如上所述和ProvApp'626和UtilApp'607中的详述，与传统电路信号/电流传播型：AC特点和DC特点类比来说，引入在ProvApp'626中所公开的新型多频图案的部分A和部分B中提出的两个示例。

在负责人控制AC电气系统被创造为“双频相位复用”(DFPM)之后，部分A中详述的多频图案流行。

部分A中的材料早期发布在2010年3月1日/Vol.18,No.5/OpticsExpress5233并记录在标有示例01的UtilApp'607中。在负责人控制AC电气系统被创造为“周期编码相位测量”(PCPM)之后，部分B中详述的多频图案流行。双频相位复用(DFPM)图案包括两个叠加正弦曲线，一个是单频相位正弦曲线，另一个是高频相位正弦曲线，在通过图像传感器接收/获取图案数据后，分离两种图案的相位。使用单频相位来展开高频相位。然后，利用展开的高频相位用于3-D重构。直流电流传播之后流行的周期编码相位测量(PCPM)图案与直接嵌入至高频基本图案中的周期信息一起生成使得能暂时从PCPM图案展开高频相位。

如UtilApp'607所解释的—下面大量引用了其说明书—利用独特的多频图案，'607技术完成：

------从UtilApp'607引用的文本开始------

…通过投影在感兴趣表面上利用至少一个摄像机对观察中的外形感兴趣表面进行基于3D三角测量的图像获取，多频图案包括表示至少第一叠加正弦曲线和第二叠加正弦曲线的同时投影的多个像素，每一个通过像素表示的正弦曲线具有独特时间频率且每一个投影的像素满足：

$I_n^p=A^p+\underset{k=1}{\overset{K}{\Σ}}{B}_k^{p}cos(2{\mathrm{\πf}}_k{y}^p+\frac{2\mathrm{\π}kn}{N})$ 等式(1.1)

其中是在特殊瞬时/时刻用于第n个投影图像的投影仪的像素的强度(p代表投影仪)；K是表示分量正弦曲线数的整数(例如，对于双频正弦曲线图案K等于2，对于三频正弦曲线K等于3等)，每一个分量正弦曲线具有不同时间频率，其中K≤(N+1)/2；参数表示确定分量正弦曲线的幅度或信号强度的常量；A^p是用于确保所有的值大于0(也就是说，投影仪单元不会投影幅度小于0的光)的标量；f_k是对应于时间频率k的第k个正弦曲线的空间频率；y^p表示在投影图像的空间坐标。例如，y^p可表示投影图像的垂直行坐标或水平列坐标；n表示相移指数或序列顺序(例如，先投影n＝0图案，然后投影n＝1图案等，有效表示离散时间的特定时刻)。N是相移的总数，即，投影图案的总数量，对于每一个投影图案，通过摄像机(或者说，摄像机的图像传感器)会捕获相应图像。当整个使用时，上标“c”涉及与摄像机捕获的图像或一系列图像(视频)相关的参数，而上标“p”涉及投影仪。

投影像素以满足等式1.1，根据由下述表达式控制的特殊技术限定然后通过摄像机捕获的图像的像素：

$I_n^c=A^c+\underset{k=1}{\overset{K}{\Σ}}{B}_k^{c}cos(2{\mathrm{\πf}}_k{y}^p+\frac{2\mathrm{\π}kn}{N})+\mathrm{\η}$ 等式(1.2)

项η(“eta”)表示因通过摄像机的光传感器引入至图像中一定量误差导致的噪声。回想一下，摄像机图像是由大量像素构成，每一个像素通过等式(1.2)限定，每一个像素的A^c、和η^c的值不同。上标“c”表示取决于摄像机传感器(“摄像机空间”)中参考的像素位置的值。为了从根据等式1.2投影的像素获得相位项，下面为每一个k执行独特表达：

$2{\mathrm{\πf}}_k{y}^p=\arctan \left(\frac{{\Σ}_{n=0}^{N-1}{I}_n^c\×cos\left(\frac{2\mathrm{\π}kn}{N}\right)}{{\Σ}_{n=0}^{N-1}{I}_n^c\×sin\left(\frac{2\mathrm{\π}kn}{N}\right)}\right)$ 等式(1.3)

其中，如前述，y^p表示投影图像的空间坐标。在本文下面的示例01中，其中，K被设置为2，必须确定用于k＝1和k＝2(例如，用于两个叠加正弦曲线)的情况下的相位项。图8A和图8B是计算机生成/实施的图像的复制品；图8C是图8B的举例来说由编号为1-10的代表性条纹的放大视图。图8A是表示在f＝1(单频)的情况下用于k＝1的相位的图像。图8B和图8C是表示在f＝20(即，高频正弦曲线)的情况下用于k＝2的相位的图像的复制。注意的是，图5B/图5C中条纹状图案具有20个条纹。

在利用等式(1.1)的k＝2的情况，应用时间展开技术时，可确定投影的像素将满足

$I_n^p=A^p+B_2^p\cos (2{\mathrm{\πf}}_2{y}^p+\frac{2\mathrm{\π}2n}{N})$ 等式(1.1)，k＝2

其中，这导致20个条纹(例如，如图8B所示的投影在人手上的图案，为了更好的观察条纹，其放大图标记在图8C中)，必须确定每一个特定像素落在已投影图像(例如，图8C)的20个条纹中的哪一个。利用传统相位展开方法来确定每一个像素落在已投影图像的地方将需要“条纹计数”的数学形式，其在计算上是相当繁重的。

相反，根据本发明，对于第二组图案(k＝1)，所有单频正弦曲线(即，f＝1)与高频正弦曲线，例如k＝2图案中的20个条纹中的一个叠加。单频信号通过等式1.1的变形来限定

$I_n^p=A^p+B_1^p\cos (2{\mathrm{\πf}}_1{y}^p+\frac{2\mathrm{\π}n}{N})$ 等式(1.1)，k＝1

因此，不是将总数为N的图案投影至感兴趣表面轮廓上，现在存在2*N个投影图案(使得K＝2且每一个从投影仪投影的像素由双频图案组成，一个图案是单频正弦曲线，第二是高频正弦曲线)。然而，根据本发明的申请人的技术非常独特的是，利用等式(1.1)投影的多个像素“即刻可解码”使得与投影仪和摄像机单元通信的计算机化装置的计算机化处理单元(CPU)这时已经具有确定(紧密足够)每一个投影像素处于哪一个条纹中的数据和方法同时根据等式1.3确定摄像机图像(像素强度)的2πf₂y^p(即，相位)，下面，为方便参考，再次重现：

$2{\mathrm{\πf}}_k{y}^p=\arctan \left(\frac{{\Σ}_{n=0}^{N-1}{I}_n^c\×cos\left(\frac{2\mathrm{\π}kn}{N}\right)}{{\Σ}_{n=0}^{N-1}{I}_n^c\×sin\left(\frac{2\mathrm{\π}kn}{N}\right)}\right)$ 等式(1.3)

为了进行高频正弦曲线的相位展开，可采取下列步骤：

最终相位＝温度相位+高相位*(2π/f₂)

或者，汇总于图19中完成的伪代码速记符号，在上述计算步骤可改写为：

单元相位＝arctan(cosSumK1/sinSumK1)；

高相位＝arctan(cosSumK2/sinSumK2)/F2；

温度相位＝round((单元相位-高相位)/(2*PI)*F2)；

最终相位＝温度相位+高相位*2*PI/F2

第一叠加正弦曲线和第二叠加正弦曲线可包括例如下面在示例01所记录的，叠加在高频正弦曲线上的单频正弦曲线(在上下文中，“单(unit)”指具有幅度值1)，从多个像素的投影单元或投影仪同时投影单频正弦曲线和高频正弦曲线(即，有效地在n个帧的所选的时刻/持续时间期间“在彼此顶部”)，使得每个投影像的像素满足表达式：

$I_n^p=A^p+B_1^{p}cos(2{\mathrm{\πf}}_h{y}^p-\frac{2\mathrm{\π}n}{N})+B_2^{p}cos(2{\mathrm{\πf}}_u{y}^p-\frac{4\mathrm{\π}n}{N})$

其中，是投影仪中像素的强度，A^p、和被设成常数使得的值落入目标强度范围之间(例如，对于8位彩色深度投影仪，在0和255之间)，f_h是正弦曲线的最大频率，f_u是正弦曲线的“单”频。在解调步骤使用单频信号/正弦曲线来暂时产生可解码展开的相位项。

另外，处理包括通过对至少一个图像捕获装置获取的视频图像数据进行基于查找表(LUT)处理的投影图案的解码。进行解码步骤以实时提取关于感兴趣表面形状的坐标信息。基于LUT的处理包括执行(或查询)预计算的调制查找表(MLUT)以获得用于感兴趣表面轮廓的纹理映射和执行(或查询)预计算的相位查找表(MLUT)以获得用于感兴趣表面轮廓获取的视频图像数据的对应相位。此外，可利用传统数字图像点云来实时显示获取的数据。

一个方面，可将独特计算机实现的处理、系统以及带有可执行程序代码和指令的计算机可读存储介质表征为具有两阶段。第一阶段是双频图案生成和投影阶段，双频图案通过表达式表征：

$I_n^p=A^p+B_1^{p}cos(2{\mathrm{\πf}}_h{y}^p-\frac{2\mathrm{\π}n}{N})+B_2^{p}cos(2{\mathrm{\πf}}_u{y}^p-\frac{4\mathrm{\π}n}{N})$

其中，是投影仪中像素的强度，A^p、和被设成常数，优选通过示例的方式设置使得的值对于8位彩色深度投影仪落入0和255之间，f_h是正弦曲线的最大频率，f_u是正弦曲线的单频且等于1，n表示相移指数，N表示相移的总数且优选大于或等于5。第二阶段包括利用用于相位、强度/纹理和深度数据的查找表(LUT)方法的解码阶段。

通过利用查找表(LUT)根据和以获得调制(M)和相位(P)。

为了进行，例如，高频正弦曲线的相位展开，进行下述步骤以组合相位项以获得单相位图像：

最终相位＝温度相位+高相位*(2π/f₂)

接着，利用下述等式实现相位向X、Y、Z点云的转换：

Z^W＝M_z(x^c,y^c)+N_z(x^c,y^c)T,

X^W＝E_x(x^c,y^c)Z^W+F_x(x^c,y^c)

Y^W＝E_y(x^c,y^c)Z^W+F_y(x^c,y^c)

其中，

$E_x(x^c,y^c)=\frac{(m_{22}^c{m}_{33}^c-m_{23}^c{m}_{32}^c)x^c+(m_{13}^c{m}_{32}^c-m_{12}^c{m}_{33}^c)y^c+(m_{12}^c{m}_{23}^c-m_{13}^c{m}_{22}^c)}{(m_{21}^c{m}_{32}^c-m_{22}^c{m}_{31}^c)x^c+(m_{12}^c{m}_{31}^c-m_{11}^c{m}_{32}^c)y^c+(m_{11}^c{m}_{22}^c-m_{12}^c{m}_{21}^c)},$

$F_x(x^c,y^c)=\frac{(m_{22}^c{m}_{34}^c-m_{24}^c{m}_{32}^c)x^c+(m_{14}^c{m}_{32}^c-m_{12}^c{m}_{34}^c)y^c+(m_{12}^c{m}_{24}^c-m_{14}^c{m}_{22}^c)}{(m_{21}^c{m}_{32}^c-m_{22}^c{m}_{31}^c)x^c+(m_{12}^c{m}_{31}^c-m_{11}^c{m}_{32}^c)y^c+(m_{11}^c{m}_{22}^c-m_{12}^c{m}_{21}^c)},$

$E_y(x^c,y^c)=\frac{(m_{23}^c{m}_{31}^c-m_{21}^c{m}_{33}^c)x^c+(m_{11}^c{m}_{33}^c-m_{13}^c{m}_{31}^c)y^c+(m_{13}^c{m}_{21}^c-m_{11}^c{m}_{23}^c)}{(m_{21}^c{m}_{32}^c-m_{22}^c{m}_{31}^c)x^c+(m_{12}^c{m}_{31}^c-m_{11}^c{m}_{32}^c)y^c+(m_{11}^c{m}_{22}^c-m_{12}^c{m}_{21}^c)}$

$F_y(x^c,y^c)=\frac{(m_{21}^c{m}_{32}^c-m_{22}^c{m}_{31}^c)x^c+(m_{12}^c{m}_{31}^c-m_{11}^c{m}_{32}^c)y^c+(m_{11}^c{m}_{22}^c-m_{12}^c{m}_{21}^c)}{(m_{21}^c{m}_{32}^c-m_{22}^c{m}_{31}^c)x^c+(m_{12}^c{m}_{31}^c-m_{11}^c{m}_{32}^c)y^c+(m_{11}^c{m}_{22}^c-m_{12}^c{m}_{21}^c)}$

借助于用于索引(x^c,y^c)(摄像机列索引和行索引)的查找表，实现7个参数，即M_z、N_z、C、E_x、E_y、F_x、F_y，降低与从相位项推导出3D点云相关联的总体计算复杂性。

------从UtilApp'607引用的文本结束------

UtilApp'607中标记有图19的流程图总结了刘等人的如上述页面大量引用的技术200。举例来说，在此引入并加入UtilApp'607的该图并作为图20的公开的部分；使得在此参照在200处刘等人的UtilApp'607参照的技术并标记为2100“现有技术”。

本发明的紧凑模块-设备100和设备200采用了带有多个透镜元件的投影系统光源122、222和新型线性图案移动装置130(图7中详述的具有独特固定图案光学部132)，从新型线性图案移动装置130输出由多个SLI图案(图形表示在图19中，910)组成的叠加/重叠的SLI图案(例如图14A中的SLI图案410)以通过分束器160和投影-摄像机-镜头组件162，根据具体情况，然后通过第二分束器164并抵靠镜166以照明3D目标/受试主题190(或3-D受检区域)的表面。固定至固定图案光学部132(图7)中的像素强度剖面图案(诸如图形表示在图19中，910)可包括两个正弦曲线，其中至少一个是叠加至高频正弦曲线上的单频正弦曲线(即，具有幅度值1)，使得在n个帧的所选的时刻/持续时间期间同时投影单频正弦曲线和高频正弦曲线，使得每一个所投影的像素满足图19的表达式950并在下面再现。下面表达式与部分A中称为等式(8)的表达以及UtilAp'607中在示例01中进一步解释的表达式相同：

$I_n^p=A^p+B_1^{p}cos(2{\mathrm{\πf}}_h{y}^p-\frac{2\mathrm{\π}n}{N})+B_2^{p}cos(2{\mathrm{\πf}}_u{y}^p-\frac{4\mathrm{\π}n}{N})$

其中，是投影仪中像素的强度，A^p、和被设成常数使得的值落入目标强度范围之间(例如，对于8位彩色深度投影仪，在0和255之间)，f_h是正弦曲线的最大频率，f_u是正弦曲线的“单”频且等于1。在解调步骤期间使用单频信号/正弦曲线以暂时产生可解码的展开相位项。优选地，如本文其他地方详述的，像素强度轮廓图案(诸如图形表示在图19中，910)通过蚀刻、沉积或其他“固定”至线性图案移动装置130的镜头构件的方式“固定”至透明镜头构件中，其导致进入固定图案光学部132的光作为具有所期望像素强度轮廓图案的图案光输出(例如，图14A的SLI图案410)离开。

独特紧凑测量设备/模块适于实时高分辨率测量，利用ProvApp'626和UtilApp'607进一步详述的SLI图案技术引起具有包含固定图案光学部的图案移动装置的独特的便携式SLI。

发明内容

将理解的是，本文所描述的系统和相关技术与已知的3D形状识别技术的区别特征包括一个或多个申请人发明的任何现有设计。如本文支持和涵盖的一些独特特征和特征的进一步独特组合可提供一个或多个各种优点，其中包括：(a)便于集成和灵活性/通用性(即，在很宽的各种环境中使用以收集关于大量不同受试区域/受试主题/受试目标的3D表面数据)；(b)单个“快照”调查受试区域/受试主题/受试目标和/或在破坏区域/主题/目标周围的表面环境的前提下，为区域/主题/目标提供持续性监控/调查/测试；和/或(c)尤其用于在测量表面数据时尽量减小可由运动中的目标或受试主题(例如，哺乳动物)的测量速度和实时结果。

附图说明

为了说明设计创新性和灵活性以及新系统和相关技术的通用性，按照惯例，附图包括在内。人们可容易注意到优点以及本发明区别于常规计算机实现工具/技术的新特征。已经包括附图以及任何引入的技术材料以仅通过示例的方式传达申请人创新性的特征，决不是旨在限制其公开。

图1A和图1B各自包括根据本发明的利用结构光实施的优选便携式测量模块100的剖视图。图1A是图1B中黑色截面和白色截面的彩色截面。优选借助于线性图案移动装置130实现图案的空间移动。在一个优选实施例中，如所述，线性图案移动装置借助于热驱动移动图案。

图2A和图2B各自分别描绘了图1A和图1B的扩大剖视图，即放大剖视图100.1，其强调线性图案移动装置130、摄像机图像传感器172和一部分光学系统(放大的结果是，强调设备100的中心区域，在此没有必要示出特征)。在160处示出第一偏振分束器。图2A是图2B中黑色截面和白色截面的彩色截面。

图3A和图3B各自描绘了图1A和图1B所示的设备100的测量尖端100.2的扩大剖视图，即放大剖视图。在尖端100.2强调的是合作-定位的-建立3-DSLI测量的三角测量角169的第二偏振分束器164和镜166。图3A是图3B中黑色截面和白色截面的彩色截面。

图4A和图4B各自包括根据本发明的利用与图1A相似的结构光实施的优选便携式测量模块100的等距视图100.3。图4A是图4B中黑色截面和白色截面的彩色截面。优选借助于线性图案移动装置130实现图案的空间移动。在一个优选实施例中，如所述，线性图案移动装置借助于热驱动移动图案。

图5A和图5B各自分别描绘了图4A和图4B的扩大等距视图，即放大等距视图100.4，其强调线性图案移动装置130、摄像机图像传感器172和一部分光学系统(放大的结果是，强调设备100的中心区域，在此没有必要示出特征)。在160处示出第一偏振分束器。图5A是图5B中黑色截面和白色截面的彩色截面。

图6A和图6B各自分别描绘了图1A和图1B所示的设备100的测量尖端100.5的扩大剖视图，即放大剖视图。在尖端100.5强调的是合作-定位的-建立3-DSLI测量的三角测量角169的第二偏振分束器164和诸如镜166的反射器。图6A是图6B中黑色截面和白色截面的彩色截面。

图7是线性图案移动装置130的俯视平面图。这种俯视图强调蚀刻至硅板132、支撑和移动装置的硅梁134(siliconbeam)、用于将电压源连接至装置的金属垫136和支撑装置的硅架中的图案。装置的线性移动通过将电压施加至一组金属垫136并将其他组金属垫138接地来实现。流经硅梁134的电流引起硅梁的温度升高。温度升高引起硅梁134膨胀，温度降低会引起硅梁收缩。硅梁134的膨胀引起使硅板132(用作固定图案光学部)在线性方向上运动的线性方向上的力。

图8A和图8B各自包括根据本发明的利用结构光实施的优选便携式测量模块200的剖视图。图8A是图8B中黑色截面和白色截面的彩色截面。优选借助于进一步独特的旋转的图案移动装置300(图9和图10中详述)来实现图案的空间移动。可注意到设备200和设备100之间的组件中某些相似性。

图9是旋转的图案移动装置300的侧视图。独特设计使带有变化强度的图案以线性方式投影。图案光轮310(图10中详述)的旋转引起已投影图案以线性方式移动。变化轮310的转速改变图案在线性方向上移动的速率。

图10是蚀刻至图案光轮310中的图案(暗处表示材料，亮处表示光可通过的开口)的正视图。在优选实施例中，将光从前往后通过光轮310中的蚀刻图案导致跨过视场的沿一个方向的强度线性变化而沿另一个方向强度是恒量的光的投影。因此，旋转光轮310引起图案空间移动。在光强变化的方向上发生空间移动。除了图案以外，一组标有340和350的同步孔或缝隙(apertures)被蚀刻至光轮中。一组孔340提供用作打开和关闭摄像机快门的光学开关的定时标记。孔/缝隙350提供用于记录(并追踪)光轮转速的单个定时标记。

图11-图13以图表的方式说明(图13的400处)三角测量方法，采用其用于测量点的位置以获得受试目标/受试主题490'和490"在笛卡尔坐标系中的3D形状。在SLI3D图像获取中采用三角测量的基本方法是众所周知的：图11说明可在SLI中使用的传统摄像机-投影仪设置；在图11中确定的光的“点源”和位置被映射在图表400(图13)中。以图12中的示例为例，示出的SLI图案410'被投影在受试目标490'(映射为490")的示例(天使雕像)上。

图14A是投影在受试目标/受试主题上的光图案410的优选实施例的平面图。优选在设备100(即，从线性图案移动装置130投影)中投影SLI光图案410。图案由沿单个平行轴变化的两个正弦变化强度图案的和组成。

图14B和图14C各自分别描绘了图14A示出的光图案410的扩大平面图，即放大平面图410.1和410.2。可在扩大视图410.1和410.2中更好地理解图案410的独特性质：独特地，使用半色调处理来产生图案410。在蚀刻期间，是否在硅、金属或其他合适支撑衬底中，在预选图案中移除材料，例如蚀刻的材料(或可在透明衬底顶上的沉积不透明材料)以在投影期间的操作中使得光通过已蚀刻(透明)区域传播。在剩余材料的不透明区域中，在投影期间的操作中阻挡所有的光。在已经移除(例如，蚀刻)材料的区域中，传输所有的光用于在受试或受检/感兴趣表面/主题/目标上投影。为了获得复制在正弦曲线变化强度图案发现的梯度的中间(梯度)光级，使用与半色调相似的处理：在整个局部区域平均投影光的强度以获得预选的中间值。在图案410的投影期间的操作中使用微孔(在材料已经被移除例如被蚀刻的地方)和不透明区域(在材料保持原样的地方)的组合以产生预选的梯度(中间光)值。

图15说明了为连接使用结构光照明(SLI)技术的3D图像获取和表面识别所理解的三角测量的已知概念建模的一些基本的已知的数学等式500。在包括其部分A的其他地方详述并参照示出的表达式500，其在此引入以作参考。

图16A、图16B和图16C各自描绘了常简称为“点云”的点云图像600的数字复制品：图16A和图16B各自描绘了分别由单次(single-shot)测量制得的点云610和620；图16C是由已经组合或拼合起来以形成单个整合/交错的点云630的两个单次测量610、620组成的复合点云。

图17和图18包括图形表示和数学表达：图17在700处表示表示关于三个正交轴的任意旋转的数学建模和图解说明；图18在800处表示沿三个正交轴任意平移的数学建模。

图19图形表示910描绘利用在部分A(也在2010年3月1日的Vol.18,No.5/OpticsExpress5233中公开)中更详细解释的标记为等式(8)的表达式950的像素强度剖面图案。根据950投影的图案(无论物理蚀刻还是沉积至衬底上)可优选由例如高频正弦曲线图案和诸如在905表示的低频正弦曲线图案组成。

图20是描绘通过测量模块/设备和本发明技术的独特技术2100-ProvApp'626和UtilApp'607公开的-概要流程图(标记为现有技术)。

具体实施方式

通过查看在此以参考方式引入的附图和技术参照材料，可进一步理解新型设备/模块和在此公开的相关系统的独特核心性质以及附加特征和替代特征。已经反复提及和关联通过附图表示或在附图中确定的各种特征和组件。虽然通篇所用的“附图1”可互换地称为“图1”，但是两者旨在参照相同的附图，即，一组附图中标记图1的附图。仅以实施例的方式在此引入结构细节和功能细节以展现本发明的紧凑测量设备100(和200)的用途，其中紧凑测量设备100(和200)利用包含在新型线性图案移动装置130(图7中详述的具有独特固定图案光学部132)内的多个透镜元件投影系统光源122、222从新型线性图案移动装置130输出由多个SLI图案(图形表示在图19中，910)组成的叠加/重叠的SLI图案(例如图14A中的SLI图案410)以通过分束器160和投影-摄像机-镜头组件162，根据具体情况，然后通过第二分束器164并抵靠镜166以照明3D目标/受试主题190(或3D受检区域)的表面。

如图1A-B、2A-B、3A-B、4A-B、5A-B、6A-B、7、11、12、13、14A-C、15、16A-C、17A-D和图18中全部解释的那样，进一步详述设备/模块100的新特征。为强调本发明设备机械设计后的特征，展示第二优选测量设备200，其利用高亮度光源222和具有被蚀刻以包括带有标记如下的多种相移选择的双频图案的图案光轮310的旋转的图案移动装置300：

320表示带有0度相移的双频图案的功能性

322表示带有45度相移的双频图案的功能性

324表示带有90度相移的双频图案的功能性

326表示带有130度相移的双频图案的功能性

330表示带有180度相移的双频图案的功能性

332表示带有225度相移的双频图案的功能性

324表示带有270度相移的双频图案的功能性

336表示带有315度相移的双频图案的功能性

在通过旋转的图案移动装置300(见图9-10进一步详述)后，输出由多个SLI图案组成的SLI图案以通过分束器260和投影-摄像机-镜头组件262，然后通过第二分束器264并抵靠镜266以最后照明3-D目标/面积/受试或受检主题290的表面。如图8A-B、9、10、11、12、13、15、16A-C、17A-D和图18中全部解释的那样，进一步详述设备200的新特征。

本发明的设备和技术建立了借助实时信号处理的光学实施和机械实施。下面是图1-18示出和标记的元件/特征/组件的参考编号和用于描绘元件/特征/组件所选术语匹配的列表：

编号|元件/特征

100根据本发明的利用通过线性图案移动装置130的结构光的便携式测量模块

100.1聚焦于模块中心的便携式测量模块100放大图

100.2聚焦于模块尖端的便携式测量模块100放大图

100.3等距视图示出的图1A和图1B的测量模块100

100.4聚焦于模块中心的测量模块100.3放大图

100.5聚焦于模块中心的测量模块100.3放大图

110机械架

120用于光源的散热器

122投影系统光源

124光均化光学部

130线性图案移动装置(利用MEMS技术制造)

132固定图案光学部(例如，硅或金属蚀刻板)

134线性移动元件(仅以举例来说为H型梁)

136用于线性移动元件的输入电压

138用于线性移动元件的接地垫

140带有固定线的模糊滤镜

150用于线性图案移动装置的机械底座

160第一分束器

161束捕集器/捕获装置

162具有至少一个透镜元件的投影/摄像机镜头组件

164第二分束器

166诸如镜或其他反射表面的反射器

167用于反射器166的夹具/支撑部

168光旋转器

169三角测量角

170图像传感器板

172图像传感器

174用于图像传感器的底座

176用于图像传感器的散热器

180图像传感器控制电路

182用于线性图案移动装置的控制电路

184用于功率、数据和控制信号的输入和输出连接器

186系统控制器

190受试或受检目标/受试或受检主题

200根据本发明利用通过旋转的图案移动装置300的结构光实施的便携式测量模块

210机械架

220高亮度光源散热器

222高亮度光源

224高亮度光源均化光学部

240带有固定线的模糊滤镜

250用于旋转的图案移动装置300的机械底座

260第一分束器

262投影和摄像机镜头组件

264第二分束器

266镜

267镜夹具

268光旋转器

270图像传感器板

272图像传感器

274用于图像传感器的底座

276用于图像传感器的散热器

280图像传感器控制电路

282用于旋转的图案移动装置300的控制电路

284用于功率、数据和控制信号的输入和输出连接器

286系统控制器

290受试或受检目标/受试或受检主题

310图案光轮

320表示带有0度相移的双频图案的功能性

322表示带有45度相移的双频图案的功能性

324表示带有90度相移的双频图案的功能性

326表示带有130度相移的双频图案的功能性

330表示带有180度相移的双频图案的功能性

332表示带有225度相移的双频图案的功能性

324表示带有270度相移的双频图案的功能性

336表示带有315度相移的双频图案的功能性

340用于与摄像机(操作为光学部开关)同步的孔/缝隙

350用于识别低频图案的零相移位置的孔/缝隙

360用于安装电机的中心孔/缝隙

370用于将图案光轮附接至电机/旋转装置的底座

380电机/旋转器/旋转装置

400以图表的方式说明(图13)三角测量方法，采用其用于测量点位置以获得受试目标在笛卡尔坐标系统中的3D形状：在图表400中识别的点与传统投影仪摄像机组件(图11)相关以在受试目标/受试主题/受试表面490'(图12)上产生诸如标有410'的结构光图案。受试目标/受试主题/受试表面在图表400中表示为490"(图13)。

410投影至受试目标/受试主题上的光图案的优选实施例。优选在设备100(即，从线性图案移动装置130投影)中投影SLI光图案410。图案由沿单个平行轴变化的两个正弦变化强度图案的和组成。

410.1、410.2各自是如线性图案移动装置实施的SLI光图案410(在图14A所示)的进一步放大平面图。

420传统投影系统

430传统摄像机系统

440摄像机系统和投影系统之间的距离

450投影行和摄像机列的交叉点

490'、490"表示受试目标/受试主题/受试表面的示例

500包括为传统/标准三角测量技术建模的一些已知表达式的数学公式，也参见部分A.。

510用于结构光三角测量技术的已投影图案的等式

520用于结构光三角测量技术通过摄像机捕获的图像的等式

530用于结构光三角测量技术的相位计算方法

540摄像机像素坐标和用于结构光三角测量技术的已投影图案行之间的关系

550用于结构光三角测量技术的XYZ位置计算

600共同表示点云概念的测量输出

610第一测量点云

620第二测量点云

630包括第一点云610和第二点云620的交错点云

700关于三个正交轴的任意旋转的数学建模/图解说明

800沿三个正交轴的任意平移的数学建模

900如根据部分A(也在2010年3月1日Vol.18,No.5/OpticsExpress5233中公开)所预期的图案光学部实施

910利用在部分A(也在2010年3月1日Vol.18,No.5/OpticsExpress5233中公开)中更详细解释的标记为等式(8)的表达式950的像素强度剖面图案的图形表示。根据950投影的图案(如在此预期的无论物理蚀刻还是沉积至衬底上)可优选由例如高频正弦曲线图案和诸如在图19中905表示的低频正弦曲线图案组成。

950限定根据本发明用于与诸如固定图案光学部132(图7)或310(图10)一起使用的在910处图形描绘的像素强度剖面图案的表达式；这种表达式在部分A(也在2010年3月1日Vol.18,No.5/OpticsExpress5233中公开)中更详细解释并标记为等式(8)。

905表示如根据表达式950，即，部分A中的“等式(8)”所预期的叠加正弦曲线-高频正弦曲线图案和低频正弦曲线图案的周期性相互关系的图形。

图11-图13以图形形式描绘了被称为三角测量的目前用于确定点在感兴趣目标/感兴趣主题490'和490”的3D表面上的位置的SLI数学技术。使用投影仪(420)以将SLI图案投影至受试目标上。摄像机(430)观察受试目标。在投影仪、受试目标上的点和摄像机之间形成三角。通过校准建立投影仪和摄像机之间的关系。基于这种关系，可确定测量系统和受试目标上的点之间的距离。

在传统结构光中，到受试目标的距离、三角测量角以及摄像机光轴和投影仪光轴之间的角度确定了测量系统的总尺寸。15度或更大的三角测量角对于准确测量通常是必须的，因此，为了测量目标的表面是小或大，常规所有的SLI系统均需要较大的占地面积(物理尺寸)。为了维持相同的三角测量角，如果增大距受试目标的距离，则也必须增大投影仪和摄像机之间的基线和距离。

传统SLI系统经常使用数字投影仪以投影SLI图案。使用数字投影仪使这些测量系统能够以投影仪处理单元的复杂编程的方式投影多种图案。然而，使用昂贵的数字投影仪增加这些测量系统的尺寸、成本和复杂性并会严重限制3D表面测量速度。

再次转向图11-13，在400处以图表的方式表示，图13是用于测量点位置以获得受试目标/受试主题490'和490”在笛卡尔坐标系统中的3D形状的三角测量技术。将三角测量应用于SLI3D图像获取中的基本方法是众所周知的：图11说明可在SLI中使用的传统摄像机-投影仪设置；在图11中确定的光的“点源”和位置被映射在图13中的400处。以图12中为例，SLI图案410'示出被投影在受试目标/主题490'(映射为490")的示例(天使雕像)上。在操作中，投影系统420通过聚焦在受试目标490'、490"(图12和图13)上的投影仪中的缝隙(未简单标记)投影图案。根据目标的3D表面特性，通过目标490'的表面使图案410'失真。假如失真的图案处于摄像机430的视场内，则通过摄像机的缝隙(为简单起见，未标记)由观察受试目标的摄像机记录该失真。仅可测量SLI图案照明区域410'内部和摄像机视场内部的受试目标的部分。

本文所公开的非常新的方法包含偏振光学部以产生便携式模块，摄像机和投影仪光学部沿基本同一轴位于该便携式模块中。利用镜和偏振分束器的进一步独特组合设置三角测量角。因此，在不需要摄像机和投影仪之间的大型物理分离的情况下，获得极有效的三角测量角。此外，在本发明中已经开发了用于生成和投影SLI图案的两种替代的新方法：(1)通过在线性方向上移动固定的图案投影图案；(2)通过旋转固定的图案投影图案。

在一个优选实施例中可利用复合图案，图案包含并实施在刘等人("ProvApp'626")的美国临时专利申请61/371,626中公开的双频结构光技术。在ProvApp'626中公开的独特SLI图案技术包括：(1)独特图案策略组件(本文包括如在本发明的技术讨论中详述的和标有部分A“用于3D形状测量的双频图案方案”和部分B“用于3D实时获取和数据处理的周期编码相位测量策略”的示例)；(2)独特解码图像处理组件(本文包括如在本发明的技术讨论中详述的和标有部分C“用于结构光照明实时相位和3D表面重构量的基于LUT的处理”的示例)。

在图1A的设备/模块100的实施中，设备/模块100包含具有固定图案光学部132的线性图案移动装置130，在图14A中，从线性图案移动装置130投影的SLI图案410能蚀刻至硅衬底和或金属衬底中。在这两种情况下，利用依赖于所选衬底选择已知的技术和化学蚀刻剂，应用蚀刻剂以制造固定图案。利用常规的充分理解的工艺：通过移除蚀刻剂优选蚀刻硅衬底的暴露部分；可替换地，可在透明衬底/镜头构件的顶上沉积不透明材料。常规蚀刻工艺留下由完全阻挡入射光的区域和完全传播入射光的区域组成的衬底。在透明衬底/镜头的顶上沉积不透明材料同样产生阻挡光和使光传输通过的区域。从这个意义上讲，常规蚀刻工艺和衬底沉积工艺可被认为以“二元(binary)”方式(即，材料保持原样的不透明区域产生暗区域、已经蚀刻材料的蚀刻衬底支撑部的透明区域产生亮区域)显示光。

因为利用结构光的准确3D测量需要灰度值，所以申请人设计并实施了其非常独特的方法以在衬底支撑部中蚀刻预选固定SLI图案、在衬底支撑部上沉积预选固定SLI图案或另外将预选固定SLI图案固定在衬底支撑部中。申请人独特地采用传统的蚀刻/沉积材料的“二元”工艺以生产带有变化灰度值的投影图案。为了获得中间(梯度)光级以复制在正弦曲线变化强度图案发现的梯度，使用与半色调相似的方法。优选以最终在模块100和模块300内行进以照明3D受试目标/受试主题的表面的已投影叠加/重叠SLI图案(由多个SLI图案组成)的二元变化的形式蚀刻、沉积或另外地固定图案410(见图14A-14C，在410.1和410.2处描绘的放大部分)。在图案410的投影期间的操作中，使用孔(在材料已经被移除，例如被蚀刻的地方)和不透明区域(在材料保持原样的地方)的组合以产生预选的梯度(中间光)值。为了投影通过设备100的193A和193B并实现二元固定图案410的连续色调灰度图像，利用透镜的调制传递函数(MTF)来使二元固定图案模糊。这实际上是通过空间移动图案132(通过将电压施加至一组金属垫136并将其他组金属垫138接地使图案以线性方式移动)在装置130内的“空间模糊”。

仅以背景的方式：摄像成像系统或系统每一个组件(透镜、图像传感器、扫描仪等)的清晰度通过MTF、表示测量在给定空间频率f相对于在低频率的对比度的下一组点来表征。MTF是涉及空间频率的频率响应，(因此，术语“空间频率响应”)：其在每一段距离(毫米或英寸)周期(线对)或数字摄像机的环境、周期/象素(c/p)或每画面高度的线宽度(LW/PH)中记录并以图形表示。高空间频率对应于精细的图像细节。响应延伸地越长，图像的细节和清晰度越精细。

可替代地，为了获得二元固定图案410的连续色调灰度图像，可在整个局部区域上平均已投影光的强度以获得预选的中间值(即，在处理单元中进行数字图像模糊处理-实际上，使图像传感器焦距失调，而不是将MTF应用至投影仪镜头)。

在单元200的情况下，如在其他地方详细解释，通过在预选速率下旋转使装置300(图9)的图案轮310(图10)至“空间模糊”轮二元图案以获得使已投影193A和193B通过设备200(图8)的轮310的二元固定图案的连续色调灰度图像。

图案移动装置(在模块100中的130、模块200中的300)采用从其输出已投影叠加/重叠SLI图案(由多个SLI图案组成)以在模块100和300内行进以照明3D受试目标/受试主题(例如，190和209)表面的固定图案光学部(例如，在装置130情况下的132、装置300情况下的图案化轮310)。图案132的空间移动通过将电压施加至一组金属垫136并将其他组金属垫138接地使图案以线性方式移动来实现。流经硅梁134的电流引起硅梁的温度升高。温度升高引起硅梁134膨胀，温度降低会引起梁收缩。硅梁134的膨胀引起硅板132(用作固定图案光学部)在线性方向上运动的线性方向上的力。

人们会理解设备设计的很大灵活性：受试目标/受试主题190和290可以是任何感兴趣/检查区域，即，哺乳动物口腔内部(例如，小孩的牙齿、感染的牙龈)腐烂、裂缝或其他异常的关注区域、产品经历制造中的缺陷区域、管/管材内的疑似断裂或薄弱的区域、液压系统的腔体内的关注区域等。假如视场(FOV)附有延伸至比结构光图案的明确范围远得多的距离，则传统上需要利用高端处理单元执行的复杂SLI相位展开算法以使得精确测量定位在较大FOV内。但对于本发明，不是这样。在没有相位展开的情况下，使用利用双频方法的测量设备100或200优选对感兴趣表面进行3D测量(见部分A“用于高速3D形状测量的双频图案方案”)，在合适条件下可选择以执行相位展开。

在装置130的固定图案光学部132或装置300的固定图案轮310的情况下，如优选实施的固定图案具有多个重叠至诸如本文部分A和部分B中所描述的复合SLI图案中的多个正弦曲线图案。图19中的表达式950，对像素强度剖面图案(910)进行数学建模以用于固定图案光学部132和310(分别在图7和图10中)。像素强度剖面图案910通过蚀刻、沉积“固定’”至透明透镜构件中或其他方式“固定”至透明镜头构件中(诸如132和310)，导致光从光源(诸如，图1A等的122、图8A等的222)进入图案光学部以作为具有通过表达式950控制的像素强度剖面图案的图案光输出离开。在标记有等式(8)的部分A中更详细讨论了表达式950。因此，投影图案(物理蚀刻或者沉积到镜头部件上)由例如高频正弦曲线图案和低频正弦曲线图案(在图19的905处表示正弦曲线的这种组合)组成。高频图案通过更精确定位点(精细测量)能精确测量受试目标的3D形状。低频图案能粗略测量估计受试目标/3D表面和测量系统之间的距离。正如在其他地方提到的，这消除了当应用数字SLI图案投影所必需的相位展开时所需要的附加的复杂的计算机处理的常规使用。

说明实施例的特征和可替代有用结构的示例

本发明的技术和系统对利用摄像机子系统从诸如哺乳动物口腔内部(例如，小孩的牙齿、感染牙龈)腐烂、裂缝或其他异常的关注区域、产品经历制造中的缺陷区域、管/管材内的疑似断裂或薄弱区域、液压系统的腔体内部的关注区域等受试目标/受试主题190、290的表面测量的3D数据进行实时计算是有用的。

与常规结构光测量系统不同，紧凑3D测量模块100、200具有既用作用于图案投影子系统的投影透镜又用作图像获取子系统的摄像机透镜的镜头系统。投影信息和图像信息之间的区别通过偏振分束器和四分之一波板装置来完成。图1B、2B、3B、5B、6B和8B各自具有表示从光源122、222通过设备/模块100、200以照明沿着标记有193A、193B和193C的通路的受试目标/受检主题和沿着通路195A、195B和195C反向通过设备/模块100、200并进入图像传感器172的大体方向的方向箭头，在本文中以下或其他地方进一步详述。

使用聚光镜头系统，收集来自非偏振光源(例如，发光二极管或LED)122、222的光并聚焦至图案光学部(132、310)上以形成投影光图案。光(通路193A)然后通过偏振分束器(160、260)。输出光被偏振成沿通路(193B)朝向尖端(图3A-3B中的100.2、图6A-6B中的100.5)的单个偏振态。在进程中，光继续行进通过投影/摄像机镜头组件(162、262)以照明受试或受检目标/受试或受检主题(190、290)。投影光图案通过其轴与光的偏振态对齐的第二偏振分束器(164、264)被镜(166、266)反射，然后沿193C通过四分之一波板(即，旋光器168、268)并入射在受试或受检目标/受试或受检主题(190、290)上。

四分之一波板(168、268)将入射光的偏振态旋转45度。通过受试目标(190、290)散射的光反向通过四分之一波板(168、268)并被旋转附加45度。相对于投影光图案的偏振态，净旋转90度：散射光的偏振态在很大程度上垂直于通过设备/模块100、200的本体的投影的光图案通路，因此，通过第二偏振分束器(164、264)反射散射光反向通过投影/摄像机镜头组件(162、262)。

散射光进入第一偏振分束器(160、260)，因为偏振态垂直于通过模块100、200的本体的投影光图案通路，受试目标190、290反射的返回散射光不前进至光源。更具体地说，所期望信号的偏振态垂直于投影图案；然而，因为第一偏振分束器的设计，所以返回信号被反射至摄像机模块。设计第一偏振分束器以传播s-偏振光并反射p-偏振光。最初未偏振的投影图案在通过第一偏振分束器后变成p-偏振。返回光是s-偏振：通过第二偏振分束器设置偏振态。相反，散射光被反射至摄像机模块(如所示，由图像传感器板170、图像传感器172、用于图像传感器的底座174、用于图像传感器的散热器176、图像传感器控制电路180组成)并由图像传感器172检测和测量。摄像机模块捕获然后进一步处理以产生3D点云的图像，图16A-16C示出了拼合点云图像的示例。

MEMS技术。利用已知的半导体晶片处理技术，所期望的图案被物理蚀刻至硅板中。硅板通过一系列梁悬挂在硅架内部。架也通过蚀刻制造。梁134通过金属连接至金属垫。当通过金属垫136将电压施加至装置时，电流被允许流经一系列梁134，电流引起梁的温度升高。温度变化导致梁134膨胀。梁的膨胀迫使硅板在一个方向上线性运动。通过控制流经梁的电流，控制硅板的位移。以这种方式，可使投影的光图案跨越受试目标移动。可控制所得移动以实现计算受试目标的每一个所测点的3D位置所需的移动。

在两个优选实施例的第二实施例中，在由适当坚固衬底例如金属制成的轮310(图10)中蚀刻SLI图案。图案的空间移动通过旋转图案实现。以循环方式(例如，以标记有339的方向旋转)旋转轮310产生以线性方式空间变化并以线性方式移动的投影图案的强度。另外，在轮310的设计中已经引入了另外的独特特征以保证与摄像机子系统(图像传感器272、图像传感器控制电路280等)的适当同步。

除在轮中蚀刻投影光图案之外，还在轮中蚀刻两种类型的同步孔。图案同步孔(略长缝隙)340被蚀刻以保证摄像机快门的打开和关闭与投影图案同步。通过使用光中断器电路获得用于实现与摄像机同步的电子信号。这种电路包括LED和PIN二极管光探测器。在轮的旋转期间，当来自光中断器电路的LED光通过图案同步孔时，通过PIN二极管光探测器探测LED光。PIN二极管光探测器输出通过摄像机使用以打开快门的电信号。当光被轮的金属部分阻挡时，PIN二极管光探测器的输出下降，摄像机快门关闭。以相似方式，也可实施用于为轮计数的同步孔。

为了进行精确测量，设备/模块100、200需要校准。当离开固定图案光学部(132、310)的投影图案和摄像机模块，校准用来确定图像传感器之间的关系。进行验证以保证系统处于所期望的准确度内。周期性进行验证；如果测量系统未通过验证试验，则执行校准以使测试系统重新符合规定。可通过利用平的带有黑点的漫反射目标来实现校准，目标表面上的间距已知且均匀。校准目标被移动至一些位置，典型地为5个；在每一个位置，利用摄像机捕获数据。精确知道每一个位置之间的距离。校准的准确度是点位移准确度和校准目标移动准确度的函数。通过在各种角度和距离测量已经尺寸目标来实现验证。

独特3D测量模块100、200使用用于图案投影和图像捕获的投影/摄像机镜头组件162、262。如在其他地方所解释和在图1A-B、2A-B、4A-B、5A-B、8A-B的侧剖视图中详述的，投影/摄像机镜头组件162、262沿同一轴定位(即，“同轴”)。如所示，投影/摄像机镜头组件162、262的轴通常既平行于用于从来自光源122、222的光投影的SLI图案通过线性图案移动装置130或旋转图案移动装置300的通路(标有193B)又平行于通过受试目标190、290反射的光反向通过模块100、200的通路。投影光和由摄像机模块观察的捕获光之间的区别，通过偏振分离光学部(如设计为160、260和164、264)实现。

光学部被容纳在机械架110中。使用散热器元件120、220从投影系统的光源122、222吸取热量以防止区域过热以有助于光源的稳定工作。从122输出的光不具有均匀的空间强度。如果利用均匀强度的光照明图案光学部132，则获得更好性能。利用光均化光学部124使122的输出均匀化或使其均匀。124的输出照明132。线性图案移动装置130通过将电压应用至用于线性移动元件(例如，垫)136的输入电压在线性方向移动132。利用热驱动实施装置130的优选实施例以产生固定图案光学部/板132的运动。Hickey的美国专利7043910描述了一种利用热能产生基于硅微机电系统中的运动的方法。Dhuler等人的美国专利6410361也描述了一种能在微机电系统中产生运动的热学方法。因此，应用电压以生成热以使微小的MEMS元件移动的通用概念是已知。

施加至区域/垫136的电压使电流流经装置130的导电区域。电流流经优选由导电迹线制成-仅举例来说以“H”的形状的线性移动装置134，导致134的温度升高。选择134的材料使得增加温度会导致在室温下线性移动元件134“静态”实际尺寸的预选膨胀或横向长度变化δ。在一个优选实施例中，使用硅来制造134。134实际尺寸的膨胀δ导致在132上施加力。因此，固定图案光学部132横向移动通常与长度变化δ成比例的量并与所施加的电压相关。例如如所示，施加3V的电压导致200微米的运动。线性图案移动装置电路通过元件138接地。通过控制电路182来控制施加电压的精确控制和132的每一个线性移动的时间。前面指出的组件和元件导致强度空间变化且是时间函数的光SLI图案的投影。

投影光图案入射在带有固定线的模糊滤镜140上；140略微降低了系统的调制传递函数；这保证了投影灰度值是均匀的且不会以阶梯状方式突然改变。140的固定线提供在受试目标190的XYZ点的计算中用于相位展开步骤的相位基准。通过合适的机械底座150(最好见图4A)支撑线性图案移动装置130。用于底座150的合适材料是能有助于防止因不同热膨胀系数(CTE)导致的装置失效的材料。优选地，选择用于底座150的材料的CTE以紧密匹配130材料的CTE值。例如，在选择硅衬底为用于装置130的基本材料的情况下，底座150可用铝制造。

当投影光和通过摄像机捕获的光之间的区别可通过各种可替代装置来完成，在一个优选实施例中，如本文所述，区别基于光的偏振。对于附加参照，见图1B、2B、3B、5B、6B和8B。从140、240输出的投射光是非偏振的(通路193A)；这种光入射到被设计成传输p-偏振光和反射s-偏振光的第一分束器160、260。可在例如Born、Max和Wolf，Emil在1999年剑桥大学辛迪加出版的的光学原理：光传播、干涉和衍射的电磁理论(ElectromagneticTheoryofPropagation,InterferenceandDiffractionofLight)中找到偏振态的适用定义。

p-偏振光传播通过160(通路193A)；s-偏振光(通路193-S)被反射至束捕集器161。在功能上，束捕集器161吸收s-偏振光(通路193-S)，防止大部分光散射回至光系统中。然后投影图案传播通过投影/摄像机镜头组件162、262(标有193B的通路)并入射到第二分束器164、264上。在一个优选实施例中，元件164、264是传输p-偏振光和反射s-偏振光的偏振分束器。因为入射到164、264的光已经通过沿193B传输大部分的p-偏振光的“第一”偏振分束器160、260，所以入射到164、264上的光主要是p-偏振。因此，入射到164、264的光通过164、264传播并入射到镜166、266上。镜166通过镜夹具167(在图3A-B、图4A-B、图6A-B中示出和标记)保持。入射到镜元件166、266的光通过光旋转器168、268反射(通路193C)至受试目标190、290上。在162、262中的透镜设计使得当相对于反光镜166、266正确设置190、290时，通过图案光学部132(或通过在模块200的情况下图案化轮310)产生的光图案处在焦距中。当通过梁134移动固定图案光学部132时，投影光图案处于感兴趣目标190/3D表面上的焦距中并越过3D表面/目标变换。光旋转器168、268(通路193C)将从镜166、266反射的光从p-偏振态光旋转至圆偏振光。以这种方式，适当移动光的投影图案以提供用于结构光三角测量所需的图案。

从190、290(标记195A的通路)散射入射圆偏振光。散射光部分处于光学系统的接受角内。收集光并沿通路195B和195C(最好在图3B和图5B的放大部分观察)传播至图像传感器172。从190的散射光(195A)入射至168上。散射光被圆偏振。光旋转器168、268将入射圆偏振光旋转至s-偏振线性偏振光；这种光入射至第二分束器164、264上。任何入射至分束器元件164、264上的p-偏振光被传输并不再通过光学系统传播。入射至第二分束器164、264上的s-偏振光被反射至投影/摄像机镜头组件162、262中。通过第二分束器164、264和镜元件166、266(图3A-B中标记有169，以供参考)之间的角度建立在用于设备/模块100、200的高质量三维测量中的重要参数、三角测量角度。

到达图像传感器172、272的光通过投影/摄像机镜头组件162、262被聚焦到172、272上。用于图像传感器172、272的底座174、274用于将传感器172、272固定以保证表面/目标190、290的图像聚焦在图像传感器172、272上。用于图像传感器172、272的散热器176、276保证172、272保持在最佳测量的适当温度。在图像传感器板170、270上安装图像传感器172、272并通过图像传感器控制电路180、280控制。通过系统控制器186、286管理整个系统的本地控制。通过输入和输出(IO)连接器/接口184、284来完成用于模块100、200的功率、数据传送和模块/系统控制的处理单元(例如，不管操作系统风格的“个人计算机”)。

根据下列步骤进行3D测量，举例来说：

1.通过184为系统通电

2.186连通至180；接通172并等待输入触发

3.183与182连通；130被复位到初始位置

4.186接通122

5.主机PC经由184询问寄存器以确定系统是否准备就绪；当系统已准备就绪时，测试开始

6.186指示182将电压施加到130，并将触发信号发送至180

7.180指示172以捕获图像；当捕获图像时，180通知186该图像可用

8.186经由184将所捕获的图像传送至存储图像信息的主机PC

9.重复步骤6至8直到130完成线性移动所需的数量；在优选实施例中，本文中所描述，移动所需的数量是8

10.一旦完成130的最终移动数量和通过172捕获的相应图像，使用一系列捕获的图像来计算以下描述的和在图15的500处说明的每种方法中190的三维形状。

回想刘等人的美国临时专利申请61/371,626(整篇称为ProvApp'626)-要求其优先权的实用申请，整篇简称为UtilApp'607-公开了一种实施双频图案的实施例，由此，利用双频图案的数学描述来生成计算机图像文件，该图像文件随后被传送至数字投影仪。这种灵活且独特的技术是繁琐的，在紧凑SLI测量模块中不容易实现。正如在本申请(以及ProvApp'626和UtilApp'607所共有并且其代理人提交的)中预期且进一步独特的-利用在ProvApp'626和UtilApp'607中公开的双频图案技术-可将SLI图案蚀刻、沉积或通过其他方式固定至硅衬底中以产生固定图案光学部。然后平移已蚀刻的硅固定图案光学部以提供用于进行三角测量所需的相移。

在室温下，硅对可见光是不透明的(因为可见光光谱中的电磁辐射通常不能穿透硅，所以就像镜子反射可见光)。在一个优选的实施例中，使用在300nm至1000nm范围内的光波长。超过这个范围的波长，光不会传播通过硅板。为了投影图案，在硅板中蚀刻孔。考虑硅板的面积：在有孔的位置，光被传输且在有硅的地方保持光被阻挡。以这种方式，可投影图案。为了投影灰度值，在蚀刻硅时使用与半色调相似的工艺。在存在半色调印刷技术(见，例如，Nagano发表于22-Nov-77的美国专利4059481的制作凹版半色印刷版的方法(Methodofmakinganintagliohalftonegravureprintingplate))的同时，将半色调技术应用到蚀刻带有具半色调特征的SLI图案的硅衬底的工艺以产生适合于投影双频SLI图案的MEMS装置是极其新颖的。

利用半导体加工能蚀刻非常小的特征。仅举例考虑在硅板的每一侧蚀刻方形、5微米的微孔：这种尺寸的孔将可被称为投影像素。接着，假定通过等于9个投影像素的区域产生投影至受试目标190上的最小可分解光斑。如果蚀刻所有9个像素，则190上由9个像素的光斑的亮度最大。如果没有蚀刻像素，则190上的光斑不传输光，这是最小强度。如果蚀刻一个或多个但小于9个像素，190上的光斑的投影强度将是中间值。以这种方式，可投影灰度等级。

图14A的410处描绘了实施用于来自线性图案移动装置130的投影的图案的优选实施例。如图19的900处所示，可看出图案410的双频性质(见Prov.App.'626及其部分A，也公开为1March2010/Vol.18,No.5/OpticsExpress5233)。图案由两个正弦图案组成；图案410通过蚀刻、沉积或其他方式固定在硅中来实现。图14B-C是图14A的放大图。光学系统的点扩散函数，如本文所实施的，使利用离散半色调制造的图案(最好在放大图14C中观察)变得有些失焦(outoffocus)：该图案的离散特性将不再明显且投影图案将变成两个正弦图案更平滑变化之和。

图8A-8B详述了带有旋转的图案移动装置300的结构光测量设备/模块200。旋转图案移动装置300由图案光轮310、用于安装电机的中心孔/缝隙360、用于将图案光轮附接至电机380的底座370以及用于旋转图案移动装置的机械支撑部/底座250组成。轮310经由360附着至380并通过370保持在适当地方。整个组件通过诸如标有250的合适的机械装置安装至200。

图10是蚀刻至图案光轮310中图案(暗处表示材料，亮处表示光可通过的开口)的正平面视图。在优选实施例中，光由前向后通过在轮310中蚀刻的图案导致在整个视场的光的投影的强度沿一个方向线性变化且沿另一个方向是常量。因此，旋转光轮310使图案在空间上移动。在光强变化的方向上发生空间移动。除图案之外，一组标有340、350的同步孔或缝隙被蚀刻至光轮中。一组340提供用作打开和关闭摄像机中快门的光开关的定时标记。孔/缝隙350提供用于记录(并追踪)光轮转速的单个定时标记。施加至电机380的电压和电流使轮310旋转。随着310旋转，控制电路282监控缝隙350以识别低频图案的零相移位置。每一转生成一次电信号并用电信号来识别轮310的零相位位置；将这种信号从控制电路282传输至IO连接器284。连接器284用作用于到模块200和来自模块200的功率、数据和控制信号的IO接口。

除了监控缝隙350之外，电路282还追踪用于与摄像机同步的缝隙340的运动。在一个优选实施例中，控制电路282包括当缝隙340在光中断器电路前方通过时生成电压的光中断器电路。这种电压信号被传输至图像传感器控制电路280并用于控制图像传感器快门的打开和关闭。缝隙340的前边缘(注意，细长矩形弧状)产生触发开始图像获取的升压。细长弧形矩形340的后边缘生成触发结束图像获取的降压。总获取时间是轮310的转速、缝隙340的弧长和引入在用于装置300的控制电路282和图像传感器电路280中的任何延迟的函数。在轮310上存在图10中通过标记320、322、324、326、330、332、334、336表示的八个双频图案。每个图案对着45度弧。每一个图案具有其自身用于与摄像机同步的专用孔/缝隙(细长矩形弧状，举例来说，一个标有340以作参考)。来自310的投影图案是在一个方向根据图案的频率组成在空间上变化且在另一个方向上不变化的双频图案。由通过段322的光引起的投影图案相对于由通过段320的光引起的投影图案在空间上移动45度。以同样的方式，324和322、326和324、330和326、332和330、334和332、336和334及320和336之间的相对空间移动各自为45度。示出用于支撑旋转图案移动装置300的机械底座250。

使用设备/模块200，采用下述处理可进行3D测量：

1.通过184为系统通电

2.286连通至280；接通272并等待输入触发

3.286与282连通

4.286接通222

5.主机PC经由284询问寄存器以确定系统是否准备就绪；当系统准备就绪时，测试开始

6.286指示282将电压施加到380

7.310旋转；通过282观察340的前边缘并将触发信号发送至280

8.280指示270开始图像捕获

9.通过282观察340的后边缘并将触发信号发送至280

10.280指示270结束图像捕获

11.286经由284将捕获图像传送至将图像信息和连同捕获图像时的时间戳一起存储的主机PC

12重复步骤8至11直到310完成全部转数；在优选实施例中，本文中所描述，310的全部转数产生8个捕获图像

13.异步进行步骤8-11，282观察350并为280提供触发信号；280记录这种信号的时间戳

14.一旦完成310的最终移动数量、通过272捕获的相应图像和350的时间戳，使用一系列捕获的图像加上相应的时间戳来计算在图15的500处表示的每一个技术中的290的3D形状。

正如图16A-C在600处的图形表示，组合示出第一测量点云610和第二测量点云620以产生单个交错点云630。这种公知的光学处理被称为图像“拼合”。授予KennethR.Kressin的美国专利6407735“用于从分层数据生成对象表面表示的方法(Methodforgeneratingsurfacerepresentationsofobjectsfromlayereddata)”详述了关于拼合点云的数字光学技术的有用背景技术的示例。

测量模块100、200基于在校准模块100、200期间确定的坐标系统分配从受试目标190获取的每一个点的XYZ值。在500(图15)处示出了用于标准结构光三角测量方法550的XYZ位置计算的等式；对于关于500处建议的技术应用的进一步参考，还参见JielinLi、LaurenceG.Hassebrook和ChunGuan的“最优双频相轮廓测定光传感器暂时噪声敏感性(Optimizedtwo-frequencyphase-measuring-profilometrylight-sensortemporal-noisesensitivity)”J.Opt.Soc.Am.A20,106-115(2003)。在550中示出的校准系数mij，将受试目标190、290的位置和100、200的坐标系统相联。

在一种操作模式中，在相对于190、290的不同相对位置进行了受试目标190、290的多次测量。这导致100、200的坐标系统和190、290的各自坐标系统之间的旋转和平移。100、200和190、290之间相对旋转和平移的计算将允许所有测量平移至190、290的坐标系统中。以这种方式，可以完成个别测量排列和整合成单个测量。

图17A-D通常标有700处示出了关于三个正交轴的任意旋转的数学描述。图18通常标有800处示出了沿着三个正交轴的任意平移的数学描述。在本发明中，系统控制器186、286对监控沿三个正交轴的旋转变化和三个正交轴上位置变化的装置130、300的输出进行采样。然后数据被集合在700和800表示的矩阵中并被应用至采集的点云例如，610和620中以使数据集合成单个点云630。

为了说明本发明特征的目的，在已经示出了某些代表性实施例和细节的同时，本领域技术人员将容易理解的是，在不脱离本技术公开的新颖核心教导或范围的情况下，在本文中无论具体地标识还是明确地标识，可对这些代表性实施例进行各种修改。相应地，所有这些修改旨在被包括在权利要求的范围之内。虽然可在本文中或在方法的权利要求中使用通常使用的前序部分短语“包括……的步骤”，但是申请人不旨在以过度限制其要求保护的发明的权利的方式援引35USC§112]F6。此外，同在此或之后提交的任何权利要求中，使用或以后发现存在的任何手段附加功能(means-plus-function)项旨在涵盖执行所述功能时本文中所描述的至少所有结构，其不仅涵盖结构等价物且同时涵盖等价结构。

Claims (3)

1.一种用于受检主题的3D图像获取的表面测量模块，所述模块包括：

(a)壳体，其容纳具有固定图案光学部的图案移动装置，来自光源的光通过所述固定光学部，在偏振分束器上引导所述图案移动装置的输出，通过包括至少一个透镜元件的镜头组件引导所述分束器的偏振输出；

(b)反射器，其引导离开所述镜头组件的所述偏振输出，以照明所述受检主题的表面；

(c)散射光照明装置，其通过所述镜头组件被远离所述表面反向引导，用于通过图像传感器捕获；

(d)所述壳体，其还容纳所述偏振分束器，所述镜头组件和所述图像传感器。

2.如权利要求1所述的表面测量模块，其中：

(a)所述图案移动装置的所述输出包括多频图案，其包括表示至少第一叠加正弦曲线和第二叠加正弦曲线同时投影的多个像素；

(b)每一个通过像素表示的正弦曲线具有独特时间频率且每一个投影的像素满足

$I_n^p=A^p+\underset{k=1}{\overset{K}{\Σ}}{B}_k^p\cos \left(2{\mathrm{\πf}}_k{y}^p+\frac{2\mathrm{\π}kn}{N}\right)$ 等式(1.1)

其中是在特殊时刻用于第n个投影图像的投影仪中的像素的强度；K是表示分量正弦曲线数的整数，每一个分量正弦曲线具有不同的时间频率，其中K小于或等于(N+1)/2；参数表示确定所述分量正弦曲线的幅度或信号强度的常量；A^p是标量；f_k是对应于时间频率k的第k个正弦曲线的空间频率；和y^p表示在投影图像的空间坐标。

3.如权利要求1所述的表面测量模块，其进一步包括：

(a)四分之一波板，其插在所述受检主题的所述表面和引导至所述镜头组件的通路之间；和

(b)所述散射光照明装置捕获的多个图像，其在反向通过所述镜头组件后，远离所述表面用于3D图像获取。