CN103180689A - 具有基于mems的光源的非接触式传感系统 - Google Patents

Abstract

本发明提供了一种用于获取对象的三维轮廓信息的非接触式传感系统。该系统包括：光源子系统，该光源子系统可操作以扫描照明区域中的光点；第一成像设备，该第一成像设备具有被布置成与照明区域相交的视场并且可操作以捕获图像数据；及第二成像设备，该第二成像设备具有被布置成与照明区域相交的视场并且可操作以捕获图像数据。第一控制模块与第一成像设备进行数据通信以确定第一成像设备的视场中的对象的轮廓信息并报告对象在公共坐标系中的轮廓信息。第二控制模块与第二成像设备进行数据通信以确定第二成像设备的视场中的对象的轮廓信息并报告对象在公共坐标系中的轮廓信息。此外，光源子系统被校准以报告光点在公共坐标系中的位置。

Description

具有基于MEMS的光源的非接触式传感系统

相关申请的交叉参考

本申请要求于2010年11月10日提交的美国实用专利申请第12/943344号的优先权及于2010年9月15日提交的美国临时专利申请第61/383085号的利益，上述申请的全部公开通过引用并入本文。

领域

本公开涉及一种使用基于MEMS的光源获取对象的三维轮廓信息的非接触式传感系统。

背景技术

现有的机器视觉应用使用发光二极管（LED）光源、单个或多个线激光器和结构性白灯中的多种通过获得的图像获取三维轮廓信息。这种解决方案的缺点是，由这些类型的光源或任何分布式来源提供的泛光照明不携带三维信息，且它们需要通过结构性光源或激光线源获得额外的信息。这导致了复杂的成像系统。

成像系统的复杂性可以通过使用可编程的基于MEMS的光源来降低。基于MEMS的光源可以被编程为在成像设备的曝光周期期间以非常高的频率扫描照明区域中的光点。以这种方式，成像设备能够更有效地捕获获取的图像中的三维轮廓信息。本公开阐述了一种改进的依赖于基于MEMS的光源的成像系统。本部分提供与本公开相关的背景信息，其不一定是现有技术。

发明内容

提供了一种用于获取对象的三维轮廓信息的非接触式传感系统。该系统包括：光源子系统，该光源子系统可操作以扫描照明区域中的光点;第一成像设备，该第一成像设备具有被布置成与照明区域相交的视场并且可操作以捕获图像数据;及第二成像设备，该第二成像设备具有被布置成与照明区域相交的视场并且可操作以捕获图像数据。第一控制模块与第一成像设备进行数据通信以确定第一成像设备的视场中的对象的轮廓信息并报告对象在公共坐标系中的轮廓信息。第二控制模块与第二成像设备进行数据通信以确定第二成像设备的视场中的对象的轮廓信息并报告对象在公共坐标系中的轮廓信息。值得注意的是，光源子系统被校准以报告光点在公共坐标系中的位置。

在本公开的另一个方面，非接触式传感系统可以采用多个光源与多个成像设备。例如，该系统可包括：第一光源子系统，所述第一光源子系统可操作以投射并扫描在第一照明区域中的光点，其中所述第一光源子系统使用微机电系统（MEMS）致动的反射镜扫描所述光点;第一成像设备，所述第一成像设备具有被布置成与所述第一照明区域相交的视场并且可操作以捕获其中的图像数据;第二光源子系统，所述第二光源子系统可操作以投射并扫描在与所述第一照明区域相邻的第二照明区域中的光点，其中所述第二光源子系统使用微机电系统（MEMS）致动的反射镜扫描所述光平面；及第二成像设备，所述第二成像设备具有被布置成与所述第二照明区域相交的视场并且可操作以捕获其中的图像数据；其中，所述第一光源子系统、所述第一成像设备、所述第二光源子系统和所述第二成像设备位于所述设备的壳体内。这些传感组件可被集成到单一的壳体内并以“反向重叠”的方式布置以减小组件之间的间距及因此减小壳体的整体尺寸。

此部分提供了本公开的总体概述，且不是其全部范围或者其所有特征的全面公开。根据本文提供的描述，其它应用领域将变得明显。在本概述中的描述和具体例子仅作为说明的目的，并不意在限制本公开的范围。

附图

图1是描绘了一种改进的用于获取三维轮廓信息的非接触式传感系统的框图;

图2是被改进以提高MEMS反射镜设备的角扫描能力的示例性光源的示意图;

图3是示出光源与成像设备的示例性三角布置的示意图;

图4是示出采用反向重叠布置的非接触式传感系统的示例性实施例的示意图;

图5是描绘非接触式传感系统的示例性校准程序的流程图，及

图6是示出用于组合来自两个或多个成像设备的数据的示例性方案的图，及

图7是示出示例性的观测站的示意图。

此处所描述的附图仅用于选定的实施方式而不是所有可能的实现的说明目的，并不意在限制本公开的范围。在几个附图中，相应的附图标记指示相应的部件。

具体实施方式

图1示出了一种改进的用于获取三维轮廓信息的非接触式传感系统10。传感系统10一般包括一个或多个光源子系统12、13，第一和第二成像设备14、16，第一和第二控制模块15、17和图像处理单元18。这些组件中的每一个都在下面被进一步描述。但是应当理解的是，关于图1仅讨论了传感系统的相关组件，但是可能需要其他组件来构建操作系统。

光源子系统12、13中的每一个可操作来投射在照明区域的光点并扫描该光点。在一个示例性实施例中，光源子系统12、13包括激光光源2和微机电系统（MEMS）反射镜设备4。光源2被配置为将光朝向MEMS反射镜设备4投射。MEMS反射镜设备4优选采用静电致动来定位反射镜，从而将光引向照明区域。示例性的MEMS反射镜设备4是从MirrorcleTechnologies公司购买的两轴扫描微镜设备。其他类型的MEMS反射镜设备也可以通过本公开设想。

MEMS反射镜设备4的扫描角度可能是有限的。为了满足矮的有支架的传感器的视角，可取的是放大MEMS反射镜设备4的角扫描能力。要做到这一点，来自MEMS反射镜设备的光可被引向固定的反射元件6，如球形的凸镜。角放大量随反射镜的曲率半径和激光源、MEMS反射镜、球面镜之间的各自的几何关系而变。例如，具有12（+/-6）度的角运动的MEMS反射镜沿着图2所示的竖直轴被放大到近34度。几何参数仅为了说明目的而提供，且可以改变以实现不同的角放大倍率。虽然几何关系本质上参与到放大倍数，但调整放大倍率的最简单的方法是改变球面镜的曲率半径。球面镜的半径越小，放大倍数越大。相反，通过将凹球面镜用凸球面镜替换，也可以降低输出激光光斑的放大率并提高定位分辨率而无需改变MEMS控制分辨率。其它类型的反射元件落入本公开的范围内。

在操作过程中，由光源子系统12、13投射的光点由相关的控制模块15、17控制。来自光源子系统的光在成像设备的曝光周期期间，优选以非常高的频率扫描。光源子系统的扫描速度比成像设备的快门速度快得多（例如，100倍）。通过使用扫描速度和快门速度的组合，成像设备能获取行数据或者多行数据或区域照明。区域照明的质量与通过泛光照明源如LED获得的质量相同。这种照明方法的优势是，它使用了可以执行可重现的精确路径的校准的MEMS器件的能力。因此，在扫描期间，MEMS反射镜的每一个位置对相关的控制模块而言是精确已知的和/或报告给相关的控制模块。

传统上，给定的传感器的视场由成像设备的视场与光源子系统的扫描场的卷积限定，如图3所示。为了提高传感器的扫描效率，同时保持测量分辨率，非常可取的是，使在X方向（沿着传感器的主轴线）的视场加倍。对于简单的视觉传感器，通过在所述第一成像设备的附近添加第二成像设备来做到这点，使得组合的视场在X方向上加倍。对于采用三角测量的传感器，该问题要复杂得多。添加第二相机不起作用，因为由三角光源扫描的场与第二相机的场不有效地相交，如果有的话。改变光源的X扫描组件也不解决这个问题，因为第二相机的三角参数本质上不同于第一相机，因此总体上将需要不同的光源配置。

图4示出在X方向上增大成像系统的视场的布置。在该布置中，由第一光源子系统12产生的照明区域被定位在由第二光源子系统13产生的照明区域的附近。成像设备14、16然后配置成捕捉照明区域的图像数据。更具体地，所述第一成像设备14被布置使得其视场与由第一光源子系统12产生的照明区域相交;然而，所述第二成像设备16被布置成使得其视场与由第二光源子系统13产生的照明区域相交。以这种方式，系统10的视场在X方向上增大。

每个成像设备独立地工作来测量在双X视场的其那一半中的特征。即，第一控制模块与第一成像设备进行数据通信以捕获第一成像设备的视场中的图像数据;及第二控制模块与第二成像设备进行数据通信以捕获第二成像设备的视场中的图像数据。为了最大限度地减少成像设备之间的串扰，操作优选在两个成像设备之间协调。例如，在来自第一光源子系统的光被扫描时，所述第一成像设备将捕获图像数据。一旦所述第一成像设备捕获了图像数据，在来自第二光源子系统的光被扫描时，第二成像设备将捕获图像数据。在所述第二成像设备捕获图像数据的时间期间，由所述第一成像设备捕获的图像数据被处理，反之亦然。可替代地，各光源子系统可投射不同的激光波长，从而使成像设备能够同时捕获图像数据。在任何情况下，来自各成像设备的图像数据然后被报告给成像处理单元18，并由成像处理单元18以下文进一步描述的方式进行组合。

在可替代的布置中，传感系统10可采用单一的光源来产生照明区域。在这种布置中，第一和第二成像设备捕获主要在照明区域的不同的非重叠部分的图像数据，尽管成像设备之间一些重叠优选用于校准的目的。每一个成像设备独立地工作以测量照明区域的其那部分的特征。其他布置可以采用以类似的方式与一个或多个光源子系统协作的更多或更少的成像设备。

在一个示例性实施例中，传感系统10的组件被集成到单一的壳体42中。为了减少组件之间的间距及因此壳体的整体尺寸，组件以图4所示的“反向重叠”的方式被布置。也就是说，第一和第二光源子系统12、13被共同夹在第一和第二成像设备14、16之间，这样第一光源子系统12位于第二成像设备16和第二光源子系统13之间，而第二光源子系统13位于第一成像设备14和第一光源子系统12之间。值得注意的是，第一光源子系统12和第二光源子系统13被彼此关联地布置使得第一照明区域和第二照明区域重叠。此外，所述第一成像设备14被布置成使得其视场与由所述第一光源子系统12扫描的照明区域相交，且所述第二成像设备16被布置成使得其视场与由第二光源子系统13扫描的照明区域相交。

每个组件相对于其他组件的实际位置被调整以匹配在成像设备的全部景深（从近场到远场）的最好的场覆盖。例如，光源关于其相关的成像设备的放置可通过以下方式来确定：最大限度地减少由光源和成像设备形成的三角测量角度，同时以本领域中已知的方式保持捕获的图像数据的期望的图像分辨率。容易理解的是，传感系统的组件（或壳体）的精确放置依赖于所期望的场覆盖范围和图像分辨率。

组合来自多个成像设备的数据需要不同的系统组件被正确地校准。另外，用于校准传感系统的示例性程序关于图5进一步描述。

首先，成像设备在51被单独校准到外部参照系。假定成像设备被校准以报告在局部参考系的数据。用于关于外部参考系校准成像设备的技术在本领域中是已知的。有关采用激光跟踪仪的合适的校准程序的进一步细节可在例如，美国专利第6134507号中找到，其通过引用并入本文。无论校准技术如何，该步骤为每个成像设备产生了将测量结果从它的局部参考系映射到外部参考系的变换。外部参考系指的是公共坐标系，并且可与被测量的工件，整个观测站或一些其他的参照系相关。

可进一步优化每个成像设备的变换。对于具有重叠的视场的成像设备，在52，一个或多个目标被放置到重叠空间。一个示例性的目标是发光的球体。然后在步骤53通过这两个成像设备获得图像数据。在单一目标的情况下，目标可以移动到重叠空间内的不同位置，并由两个成像设备获取每个不同位置的图像数据。每个目标位置都被使用针对成像器的相应的变换从（成像器的）局部参照系变换到公共坐标系。换句话说，在公共坐标系的目标的第一位置被使用由所述第一成像设备捕获的图像数据和其相应的变换计算，并且在公共坐标空间的目标的第二位置被使用由所述第二成像设备捕获的图像数据和其相应的变换来计算。从理论上讲，目标的这两个计算位置应该是相同的，因为目标保持固定，而图像数据由这两个成像设备获取。在实践中，这两个计算位置之间会有差异。因此，通过最小化这两个计算位置之间的差（即误差），第一和第二成像设备的变换可以被更精确地校准，如54指示的。可应用最小二乘法或一些其他的回归技术以尽量减小这两个变换之间的误差。

接着，光源子系统也被校准到公共坐标系。对于每一个光源，在55，目标被放置在给定的成像设备的视场与光源子系统的照明区域相交的位置。虽然可考虑其他合适的目标，一个实例性的目标是角。目标然后由光源照亮且该目标的图像数据在56被给定的成像设备捕获。如上所述，照明区域的光的位置在MEMS反射镜设备的参考系中是精确已知的。在公共坐标系中的目标的位置也可以使用该成像设备的变换根据图像数据确定。给定在公共坐标系中的目标的位置信息，将光源空间中的光的位置映射到公共坐标系中的位置的变换可以获得。以这种方式，各光源子系统在57可以进行校准以报告在公共坐标系中的光的位置。在一个或多个成像设备具有与光源子系统的照明区域相交的视场的情况下，独立地操作的光源子系统进行被校准到这些成像设备中的每一个。

一旦每一个组件已被正确校准后，由两个或两个以上的成像设备捕获的图像数据可以由图像处理单元18组合。在示例性实施例中，由每个成像设备14、16捕获的图像被报告到图像处理单元18。参照图6，来自两个成像设备14、16的图像数据然后由图像处理单元18进行组合。在简化的方案中，由第一成像设备14捕获的在z轴以上的图像数据与由第二成像设备16捕获的在z轴以下的图像数据组合，由此形成合成图像。换句话说，由第一成像设备14捕获的在z轴以下的图像数据（即，具有正的y坐标）被丢弃，且由第二成像设备16捕获的在z轴以上的图像数据（即，具有负的y坐标）被丢弃。

在间隙应用中，所述非接触式传感系统10可获取两个工件61和62对齐的区域中的三维轮廓信息。在此应用中，图像处理单元18可能采用更完善的方案组合来自两个成像设备的图像数据。例如，图像处理单元18可计算工件表面关于z轴的轮廓角度（Θ）。当表面的轮廓角度为+-45度时，来自所述成像设备的图像数据使用上面介绍的简化方案来组合。当表面的轮廓角度超过+-45度时，表面的数据不再由适用的成像设备捕获。例如，在63指示的表面的一部分对于所述第一成像设备14不再可见，但对于所述第二成像设备16是可见的。因此，当表面的轮廓角度超过+-45度时，图像处理单元将使用来自相对的成像设备的图像数据构造合成图像。用于组合来自多个成像设备的数据的其他方案也由本公开设想。

用于汽车部件的典型的观测站200可采取图7所示的形式。待在观测站200测量的工件放在运输托盘220上，该运输托盘220经由通过托盘中的导轨通道231的托盘导轨230沿着装配线移动。在观测站200，传感器安装框架210（在图中仅示出了一半）围绕待测量的工件100并为一系列非接触式传感器240-1到240-n提供了多个安装位置。

这些非接触式传感器240-n可以上述的方式进行配置。换句话说，每个传感器包括在单一壳体内的以“反向重叠”的方式布置的两个光源子系统和两个成像设备，如关于图4所描述的。由传感器捕获的图像数据可在传感器或在远程计算机250被转换为测量数据。在这两种情况中，数据从传感器传送到远程计算机250用于进行进一步的处理和/或存储。在一些实施方式中，这些传感器中的一个或多个可能有重叠的视场，并被校准到公共坐标系。如果其中一个传感器需要更换或以其他方式重新校准，该给定的传感器可以使用上述方法被校准到公共坐标系。更具体地，图5中的步骤52-54可以被执行以关于其他传感器重新校准给定的传感器。以这种方式，在典型的观测站的传感器被以更简化的方式进行校准。

如本文所用的，术语“模块”可以指：专用集成电路（ASIC）的一部分，或包括专用集成电路（ASIC）；电子电路；组合的逻辑电路；现场可编程门阵列（FPGA）；执行代码的处理器（共享的，专用的，或组），提供描述的功能的其它适当的部件，或上述中的某些或所有的组合，如片上系统。术语模块可包括储存由处理器执行的代码的存储器（共享的，专用的、或组）。术语代码可以包括软件、固件和/或微代码，可以指程序、例程、函数、类、和/或对象。上文使用的术语共享，其意思是来自多个模块的部分或全部代码可以使用单一（共享）的处理器执行。此外，来自多个模块的一些或所有代码都可以由单一（共享）的存储器存储。上文使用的术语组，是指来自单一的模块的一些或所有代码可以使用一组处理器执行。另外，来自单一的模块的一些或全部代码可以使用一组存储器存储。

为了说明和描述的目的，已经提供了实施方式的前述说明。其不旨在为详尽的或限制本公开。特定的实施例的单个元件或特征一般不局限于该特定的实施例，而是，在适用的情况下，可以互换，且可用在选定的实施方式中，即使这些元件或特征没有被具体示出或描述。也可以以许多方式改变实施例。这样的变化不应被视为偏离本公开，且所有这些修改都旨在被包括在本公开的范围内。

示例性实施例被提供，以便本公开将是详尽的，并将范围充分传达给本领域技术人员。阐述了许多具体细节，诸如具体的组件、设备和方法的实例，以提供对本公开的实施方式的透彻理解。对本领域的技术人员明显的是：这些具体细节不需要被采用，示例性实施方式可以以许多不同的形式来体现，且任何一个都不应该被解释为限制本公开的范围。在一些示例性实施方式中，众所周知的过程，众所周知的设备结构，和众所周知的技术没有详细介绍。

Claims (17)

1.一种用于获取三维轮廓信息的非接触式传感系统，包括：

光源子系统，所述光源子系统可操作以扫描照明区域中的光点;

第一成像设备，所述第一成像设备具有被布置成与所述照明区域相交的视场并且可操作以捕获图像数据;

第一控制模块，所述第一控制模块与所述第一成像设备进行数据通信，所述第一控制模块可操作以根据所捕获的图像数据确定所述第一成像设备的视场中的对象的位置并报告所述对象在公共坐标系中的位置;

第二成像设备，所述第二成像设备具有被布置成与所述照明区域相交的视场并且可操作以捕获图像数据；及

第二控制模块，所述第二控制模块与所述第二成像设备进行数据通信，所述第二控制模块可操作以根据所捕获的图像数据确定所述第二成像设备的视场中的对象的位置并报告所述对象在所述公共坐标系中的位置;其中，所述光源子系统被校准以报告所述光点在所述公共坐标系中的位置。

2.根据权利要求1所述的非接触式传感系统，其中所述第一控制模块接收来自所述光源子系统的所述光点的位置，并根据所述光点的位置和所述捕获的图像数据使用三角测量确定所述第一成像设备的视场中的所述对象的位置。

3.根据权利要求1所述的非接触式传感系统，其中所述光源子系统采用微机电系统MEMS致动的反射镜以定位所述光点并将由所述MEMS致动的反射镜报告的所述光点的位置变换到所述光点在所述公共坐标系中的位置。

4.根据权利要求1所述的非接触式传感系统，其中所述第一控制模块与所述光源子系统进行数据通信以控制在所述第一照明区域中的光平面的扫描。

5.根据权利要求1所述的非接触式传感系统，其中所述光源子系统还包括被布置成将光朝向微机电系统MEMS致动的反射镜投射的激光光源和被布置成将由所述MEMS致动的反射镜引导的光朝向所述照明区域反射的球面镜。

6.根据权利要求1所述的非接触式传感系统，其中所述第一成像设备的视场与所述第二成像设备的视场相交。

7.根据权利要求1所述的非接触式传感系统，其中所述第一成像设备、所述第一控制模块、所述第二成像设备、以及所述第二控制模块位于共同的壳体内。

8.根据权利要求7所述的非接触式传感系统，其中所述光源子系统位于所述共同的壳体内。

9.根据权利要求7所述的非接触式传感系统，其中所述光源子系统位于与所述共同的壳体不同且在空间上分开的壳体内。

10.一种用于获取三维轮廓信息的非接触传感器设备，包括：

第一光源子系统，所述第一光源子系统可操作以投射并扫描在第一照明区域中的光点，其中所述第一光源子系统使用微机电系统MEMS致动的反射镜扫描所述光点;

第一成像设备，所述第一成像设备具有被布置成与所述第一照明区域相交的视场并且可操作以捕获其中的图像数据;

第二光源子系统，所述第二光源子系统可操作以投射并扫描在与所述第一照明区域相邻的第二照明区域中的光点，其中所述第二光源子系统使用微机电系统MEMS致动的反射镜扫描所述光平面；及

第二成像设备，所述第二成像设备具有被布置成与所述第二照明区域相交的视场并且可操作以捕获其中的图像数据；其中，所述第一光源子系统、所述第一成像设备、所述第二光源子系统和所述第二成像设备位于所述设备的壳体内。

11.根据权利要求10所述的非接触式传感器，其中所述第一成像设备的视场与所述第二成像设备的视场相交。

12.根据权利要求10所述的非接触式传感器，其中所述第一光源子系统和所述第二光源子系统共同介于所述第一成像设备和所述第二成像设备之间，使得所述第一光源子系统位于所述第二成像设备和所述第二光源子系统之间且所述第二光源子系统位在所述第一成像设备和所述第一光源子系统之间。

13.根据权利要求10所述的非接触式传感器，还包括

第一控制模块，所述第一控制模块与所述第一光源子系统进行数据通信以控制在所述第一照明区域中的光平面的扫描并接收由所述第一光源子系统报告的所述光点的位置，及

第二控制模块，所述第二控制模块与所述第二光源子系统进行数据通信以控制在所述第二照明区域中的光平面的扫描并接收由所述第二光源子系统报告的所述光点的位置。

14.根据权利要求13所述的非接触式传感器，其中所述第一控制模块将由所述第一光源子系统报告的所述光点的位置变换为所述光点在公共坐标系中的位置，且所述第二控制模块将由所述第二光源子系统报告的所述光点的位置变换为所述光点在公共坐标系中的位置。

15.根据权利要求14所述的非接触式传感器，其中，所述第一控制模块与所述第一成像设备进行数据通信以根据由所述第一成像设备捕获的所述图像数据使用三角测量确定在所述第一成像设备的视场中的对象的位置并报告所述对象在公共坐标系中的位置；及所述第二控制模块与所述第二成像设备进行数据通信以根据由所述第二成像设备捕获的所述图像数据使用三角测量确定在所述第二成像设备的视场中的对象的位置并报告所述对象在所述公共坐标系中的位置，其中所述第一控制模块与所述第二控制模块独立地操作。

16.根据权利要求1所述的非接触式传感器，还包括图像处理单元，所述图像处理单元接收由所述第一成像设备和所述第二成像设备捕获的图像数据，并从所述捕获的图像数据生成单一的图像。

17.根据权利要求10所述的非接触式传感器，其中所述第一光源子系统还包括被布置成将光朝向所述MEMS致动的反射镜投射的激光光源和被布置成将由所述MEMS致动的反射镜引导的光朝向所述照明区域反射的球面镜。

Images