CN114322754A - 用于检查修复或装配操作的方法和系统 - Google Patents

Abstract

公开了一种识别工件表面上的对象的方法。光学设备识别工件表面上的对象。对象识别系统包括光投影仪和摄影测量系统。光投影仪和摄影测量系统之一在工作间内生成三维坐标系。光投影仪和摄影测量系统之一识别工件表面在三维坐标系内的位置。控制器计算工件表面上的对象在由光学设备识别的三维坐标系中的几何位置。控制器向光投影仪发出信号以将光束投射到工件的表面上，识别位于工件表面上的对象的布置。

Description

用于检查修复或装配操作的方法和系统

先前专利申请

本申请要求于2020年10月9日递交的美国临时专利申请号为63/089,866的专利申请的优先权，通过引用将该申请的全部内容并入本文中。

技术领域

本发明总体上涉及一种用于识别置于工作间中的工件的表面上的对象的方法。更具体地，本发明涉及使用激光投影仪将激光图像投射到工件的表面上以识别对象，例如，缺陷和操作者对对象执行的工作的状态。

背景技术

汽车装配和其他大批量生产等的自动化已取得了显著进展，实施了各种技术通过提供执行工作功能的自动化指令来帮助操作者。然而，经证实，难以实现对不满足规范要求的缺陷的、同时指导操作者在何处进行维修或其他工作功能的自动识别。与自动识别缺陷等对象相关的一个问题是使用例如移动装配线的大批量生产的高速化。一个非限制性示例是在装配结束时或刚好在油漆处理之后，识别油漆缺陷。例如，一旦车身被喷完漆，它就会通过移动装配线被转移到一个灯火通明的检查室。在那里，检查员通过视觉检查油漆或车身缺陷，并对缺陷进行修复，或对其进行标记以供在车辆完全装配好后再进行修复。

这个过程很难，容易出现人为错误。通常，油漆缺陷非常小，仅是透明涂层中的颗粒、油漆的小的下限、或凹坑。即使是最熟练的操作者也难以定位这些缺陷，而且这些缺陷从未被识别出来过。这是进一步的问题，因为这些缺陷随机地分布在涂漆的车身上。此外，这些缺陷不被跟踪，这将提供识别趋势的能力。因此，需要提供一种用于识别车身或其他涂漆对象上的油漆缺陷的自动检查方法。虽然目前已存在能够识别油漆缺陷的视觉技术，但将这些信息翻译给操作者进行必要的维修阻碍了技术的实施。能够识别油漆缺陷的已知视觉技术位于距修复缺陷的工作间一定距离处。在将车身转移到该工作间的过程中，必须在专属于该工作间的新坐标系中识别缺陷的位置，同时应对大批量生产的挑战。因此，不仅需要对缺陷进行识别，而且还需要发送位置信号，此外，须开发操作者对缺陷的处置。

发明内容

本发明公开了一种用于识别穿过工作间的工件的表面上的对象(item)的方法和系统。光学设备识别工件表面上的对象。所述光学设备向控制器发出指示对象已被识别的信号。所述控制器向对象识别系统发出信号，所述对象识别系统包括光投影仪(lightprojector)和摄影测量系统。光投影仪或摄影测量系统在工作间内生成三维坐标系。或者，光投影仪和摄影测量系统在工作间内协同生成三维坐标系。一旦建立了三维坐标系，光投影仪就识别所述工件表面在该三维坐标系内的位置。所述摄影测量系统也可用于在该三维坐标系内定位所述工件的表面。

所述控制器在三维坐标系内用识别的对象校准工件表面的位置。一旦校准，控制器就计算工件表面的对象在由所述光学设备确定的三维坐标系中的几何位置。然后，控制器向光投影仪发送信号以将光束扫描到工件表面上，识别布置在工件表面上的对象的布置。

本发明的系统首次允许操作者专注于修复油漆或其他缺陷而不必首先定位缺陷。此外，由于该系统识别缺陷的布置，因此，还通过工件表面上的布置的可视化来提供位置和缺陷是否已经被修复。

实现这一目标的一种方法是在工件表面上显示装配任务信息。这可以通过使用传统视频投影仪在工件表面上投影光栅图像(raster image)来实现，但这可能受到显示器的相对亮度、准确度和精确度以及与操作者交互的灵活性的限制。或者，从激光源投射的激光点通过图案顺序跟踪的矢量显示可以提供独特的能力。例如，如果由覆盖1m²区域的光栅投影仪提供投影源，则将1mW的激光光斑引导至1mm²的区域将需要千瓦投影源。

或者，传统的光栅激光技术在覆盖多平方米的区域上以亚毫米精度投射激光图像。清晰激光投影的主要要求是提供清晰、无闪烁的激光投影，优化用于将激光图像精确放置在工件表面上。为了提供所需的精度，工件的位置通常用精确测量的参考目标来识别，而投影系统可以使用这些参考目标来建立提供所需精度和准确度所需的相对位置。

本申请的方法不一定需要与铺层模板投影相关的精度和结构。本发明的任务可以按照操作者选择的顺序完成。通常，多个操作者可能会共同行动来完成整体任务，例如，验证车辆漆涂的缺陷已被识别和修复。因此，与其按顺序进行项目步骤，不如同时呈现大量潜在操作以允许以任何顺序完成。但是，仍然必须确保任务完成，所有紧固件都已插入或漆面(paint finish)中的所有缺陷已修复。因此，在这种情况下，传统的模板激光投影方法是不够的。

如下文将进一步解释的，据信各种激光投影技术对于满足这些苛刻的标准是可行的，即使不一定被构造为执行本发明的过程。一个这样的例子是美国专利第9,200,899号“激光投影系统和方法(LaserProjection System and Method)”，该专利公开了使用协作的摄影测量系统和激光投影仪在三维坐标系中定位对象的各种技术。另一个是美国专利第10,052,734号“具有闪光对准的激光投影仪(Laser Projector with flashAlignment)”，该专利公开了快速定位目标以在工件和激光投影仪之间建立几何关系的技术。更进一步的是美国专利第9,881,383号“具有运动补偿和方法的激光投影系统(Laser ProjectionSystem with Motion Compensation and Method)”，其公开了用于检测对象在三维坐标系中的动态运动的技术。另一个是美国专利第9,245,062号，“使用可变部分对准的激光投影系统(Laser Projection System Using Variable PartAlignment)”，该专利公开了在将激光图像投影到未按设计意图制造的工件上时提高的精度。为了本申请的简洁，这些专利中的每一个的内容通过引用包括在本文中。

不是执行这些参考文献中公开的传统的逐步过程，而是公开了一种新的用于对工件表面上的各种对象进行激光识别和定位的过程。随机排序的建立为操作者提供了确定序列顺序的能力。此外，多个操作者被提供按无特定顺序次序同时执行工作功能的能力。所有这一切都由本发明的控制器和对象识别系统协调，同时验证任务已经完成并通知操作者这样的完成。

在本发明的系统中，激光投影图像的可见性变得比清晰度更相关。因此，即使在像典型的检查室(inspection)那样的明亮的工作间中执行任务时，也不需要精细聚焦的无闪烁投影图像。由于要放置的螺栓的位置受螺纹孔的限制，因此精确定位的重要性较小，而修复涂漆饰面中的缺陷只需要足以帮助识别缺陷本身的定位，并且可见性比投影图案的清晰度更合意。

投影的可见性通常是能量总量除以特征或激光图像的表观周长(apparentperimeter)的函数。如果更多的特征，例如，一组完整的螺栓位置同时呈现而没有闪烁，则表观亮度可能会随着投影轮廓的总投影长度线性下降。传统上，通过增加瞬时激光功率来抵消表观强度的降低，从而增加整体能量和可见性。从安全的角度来看，实际和监管方面的忧虑都认为来自激光照射的热能会随着时间的推移而消散。如果投影的给定区域在一半的时间内暴露在眼睛的视网膜上，则调节将功率限制为20％的增加，而等效的能量和可见度将需要加倍的功率。如果需要无闪烁投影，则这种减小实质上限制了实际可见性。

另一方面，如果像在本发明中这样不需要无闪烁投影，则可以评估用于期望可见度的最佳能量剂量。为了提供安全的操作条件，通常需要使用2类激光投影系统。对于2类操作，眼睛可能会暴露在1mW的激光源下0.25秒。对于大约50毫秒到0.250秒的时间段，对于给定的瞬时激光功率水平，增加的曝光持续时间只是在感知上看起来更长，而可见度没有明显增加。根据2类规范，可接受的发射水平(AEL)＝7x10-4 t0.75＝75μJ，相当于约1.5mW的激光功率。这种分布在最小周长上的能量提供了最佳的可见度，但受制于超出特定距离的较小图案将根据视力限制变得更难区分的限制。提供具有最佳可视性的指示器来识别操作位置成为最小尺寸或能量集中与与操作者的典型预期距离之间的平衡。

这种方法的不利影响可能是闪烁会非常严重。50毫秒的周期相当于20Hz的刷新率。因此，如果同时显示20个缺陷，每个缺陷将每秒闪烁一次。虽然在清晰度方面不是最佳结果，并且如果用作对准参照标准会非常令人沮丧，但当用作位置指示器时，它已被证明是理想的。在实践中，指示器的闪烁还会触发眼睛视觉周边的运动感受器，这显着提高了操作者定位显示指示器的能力。这种效果非常有益，如果显示的指示器太少，尤其是单个指示器，或者每个指示器的曝光时间太短，则引入额外的消隐延迟(blanked delay)以创建最佳闪光效果，从而最大限度地提高操作员的可见度。

因此，本发明的系统和方法为操作者提供了最大化可见图标，该图标指示要执行的任务和该任务的完成。虽然在所需操作的位置仅提供清晰可见的标志可以将操作者引导到所需位置，但除非也向操作者提供关于任务结果的反馈，否则整个过程是不受控制的。为了指导处理任务的当前状态，可以根据投影图标的形状和可见性提供反馈。不同激光投影图标的形状可用于指示要紧固的螺栓类型或维修状态。例如，与缺陷相关的图标可以在打磨、抛光和完成状态之间循环，以指示操作者修复单个缺陷的进度。特别地，一旦完成对缺陷的修复，即可改变图标的形状，以指示完成，并且可以消除闪烁以不引起对该图标的注意。

附图简要说明

通过下文中参照附图给出的具体实施方式部分，将较容易地理解本发明的其他优点，同时也将对本发明有更好的理解，附图中：

图1示出了在其中对车身进行修理的工作间的立体图；

图2示出了在其中对车身进行检查和修理的工作间的侧视图；

图3示出了用于校准工作间内的三维坐标系的夹具；

图4示出了用于识别工件上的特征的位置的手持式探头；

图5示出了位于三维坐标系中的车身；

图6示出了带有已识别变换的控制器屏幕；

图7示出了投射到车身表面的识别图标；及

图8示出了典型的用投影图标标识的修复程序的流程图。

具体实施方式

参考图1，本发明的系统总体上以附图标记10表示。系统10与也称为隔间(booth)12的工作间(work cell)集成在一起。在该实施例中，该工作间接收涂覆了油漆涂层后的车身14，在这里，对油漆涂层进行检查。然而，应当理解，工作间12可用于任何作业目的，其包括白车身检查、部件检查、部件涂覆(component application)、以及可发生检查和识别的任何其他用途(如将在下文中进一步理解的)。

该系统包括光学设备16。在一个实施例中，光学设备16安装在工作间12的入口18处。然而，应当理解的是，可包括多个光学设备16，例如，如果有多个车身14置于工作间12内时，或者，如果有多个车身位于移动输送机20上时。光学设备16包括高精度成像光学器件，可以由Micro-Epsilon的ATENSOR-LS1技术提供。光学设备16识别位于车身14的表面24上的对象(item)22。如上所述，光学设备16检测车身14的油漆涂层中的瑕疵或缺陷(对象22，参见图1)，例如，但不限于：污垢、划痕、坑、下陷部分等，从而使操作者不必进行目视或手动检查。在一个实施例中，在车身14进入检查室或工作间12之前，由光学设备16在另一位置识别对象22。一旦完成对对象的识别，就将车身置于转移输送机上，将其移至工作间12。

光学检测器16电子地连接至控制器28，用于向控制器28发送指示油漆涂层中的瑕疵(对象)22的信号。此外，光学检测器16还向控制器22发送指示车辆型号和底盘号的信号。本文中的“电子地连接”是指通过WIFI、蓝牙或等效技术物理有线或无线传输。为简单起见，图中未示出物理接线。然而，对车身14的表面上的对象22的正确识别需要在相对于工作间12的三维坐标系中重新校准车身14。该控制器电子地连接至对象识别系统30，该对象识别系统30包括激光投影仪32和摄影测量设备(photogrammetry device)34。应当理解，任何投射光束的光投影仪(lightprojector)或投影系统都可以使用。然而，为简洁起见，将在本说明书中通篇使用“激光投影仪32”。在一个实施例中，系统10包括围绕隔间12间隔开的多个激光投影仪32。四个激光投影仪32位于车身14上方的位置，使得激光能够投射到车身14的每个外表面上。或者，第五激光投影仪32位于车身14的正上方，用于将激光投影提供到车身14的水平表面上。应当理解，可以包括任意数量的投影仪32和摄影测量设备34，以将投影提供给置于隔间12内的供检查的任意目标物的每个表面。此外，激光投影仪32和摄影测量设备34可集成到单个单元中或分开放置。

本发明的系统10提供了指示要在工件(例如，车身14)上执行的位置或任务的能力，即使车身14正在通过工作间或隔间12也是如此。这些包括存在铆钉、修复已在涂漆涂层或基材中识别的缺陷、放置用于布线的紧固件、或在所需位置安装螺栓或螺钉。因此，对象识别系统30还适于在隔间12内生成三维坐标系并在该坐标系内定位车身14。

传统的光学模板投影(optical template projection)通过用部件或铺层工具的CAD模型的坐标系中指定的已知位置扫描安装在工具上的目标来将投影图案与该工具对准。使用称为“后方交会(resection)”的方法，可以使用对每个目标的扫描角度和这些目标的相应坐标来计算投影仪相对于该工具的3D位置和方向，这反过来又用于计算扫描角度以通过所需的3D坐标进行投影以跟踪模板图案。每个投影仪必须在投影仪的视野中具有足够多的这些目标，以相对于工具定位。

对于适用于本发明的方法的应用，当检查一部件的涂漆饰面时，将回光反射标志(retro-reflective target)应用于车身14可能是不切实际的，更不用说精确测量这些标志的位置了。此外，通常需要从所有方向将投影场投射到部件的各表面，因此，需要围绕隔间12间隔开的多个对象识别系统30。

为了支持这种期望的特性，激光投影仪32被配置成在工作间或隔间12内从所有侧面围绕车身14。如图1和图2所示，多个(五个)投影仪32围绕工作间12内的车身14的所有侧面。

为了建立激光投影仪32的精确投影，通过将反射目标(reflective target)36放置在隔间12内的任意位置处来建立激光投影仪32在三维坐标系内的位置。或者，反射目标36可放置在工作间12内的已知位置处。在一个实施例中，多个摄影测量设备34首先定位工作间中的反射目标36，然后，使用激光投影仪扫描反射目标36并使用集成激光传感器43检测反射的激光来识别更准确的位置。以此方式，在工作间12内建立公共参考系，在该三维坐标系中建立所有激光投影仪在该工作间内的相对位置。

为了允许工厂中不同工作间12之间的标准化，通过在工作间12内的限定位置处放置已知的参考固定装置(reference fixture)38来建立标准化参考系。图3中示出了参考元件38的一种构造。在该实施例中，参考固定装置38采用了三角形框架的形式。然而，其他形状也可以满足，并且包含在本发明的范围内。多个反射参考目标40沿着参考固定装置38间隔开。在这个实施例中，反射参考目标40是球面后向反射器(spherical retro-reflector)，其允许以已知的方式将激光束从任何方向朝着激光投影仪32反射回激光传感器43。

为了在工作间12内创建集成的3D参考坐标系，激光投影仪32进行激光扫描，自多个间隔开的激光投影仪32的位置中的每个位置测量各目标的3D位置，然后由控制器28通过识别目标36的位置的相似子集合并到公共参考坐标系中。如果指定了的话，则参考固定装置38将充当主设备，而所有目标36的位置将被转换为固定装置38的坐标系。

在激光投影仪32已测量完各目标，并且控制器28已将它们定位在公共三维坐标参考系中之后，每个投影仪32可以使用参考目标36来建立和更新投影仪32在工作间12内的位置，更具体地是在该公共三维坐标系内的位置。如果投影仪32具有集成摄影测量系统34，例如，来自VirtekVision International的VPS1投影仪，则任何投影仪32都可以在工作间12内重新定位，并自动识别可见目标36的子集并通过对目标36进行成像重新校准其在工作间12内的位置。

一旦建立了工作间12的三维配置，投影仪32就可以被配置为覆盖车身14的所有表面。因此，即使一投影仪32发生移动，该投影仪32也会使用激光投影仪32或摄影测量设备34中的至少一个在工作间12内自动重新校准。然而，为了准确地投影，仍然需要确定车身12或其他工件(视具体请客而定)的位置。在一个实施例中，这是使用将参考目标36放置在车身上的预定位置处的传统方法来实现的。这样，系统10就可以识别与车身12相关联的目标的配置以提供准确的激光投影。当工作间12的配置已在三维坐标系中建立起来，并且每个投影仪32都定位在该坐标系中时，每个投影仪36不需要具有所有目标36的图像来准确地将激光图像投影到车身14的表面上。在这种情况下，控制器28已经校准了每个投影仪36相对于其他投影仪36的位置，只要有足够数量的目标对投影仪32组可见，仍然可以识别车身12的布置(disposition)。

在某些情况下，在车身14上提供精确测量的目标36位置是不切实际的。在这种情况下，建立替代实施例，在这样的实施例中，可以通过测量车身14本身的特征来确定车身14的位置，这些特征例如是引擎盖边缘、门框、识别的孔等。对于具有集成计量测定能力(metrology determination capability)的系统10，例如VPS1投影仪，可以使用光学跟踪机械探头42(如图4所示)测量特征。探头42包括接触红宝石球尖端44，在一个实施例中，其具有6mm的直径。尖端44通过轴或握把48连接至探头面(probe face)46。系统10通过预先布置在探头面46上的回射点(retro-reflective dot)50的图案识别各种探头面46构造。以这种方式，可以使用给定的探头42来识别车身14上给定特征的位置。探头42投影仪也可用于在车身14的不同表面上进行测量以建立车身14的表面的位置。为了定位探头42，激光投影仪32扫描探头42的面46，使得回射点50以已知方式将激光束反射到光传感器43。在该实施例中，操作者可以将控制器屏幕29上的测量光标指向期望位置以测量车身14的指定特征。

然而，在一些情况下，操作者使用探头42手动识别特征得效率不高。作为进一步的替代实施例，开发了自动测量车辆14位置在三维坐标系中的定位的方法。在该实施例中，执行一系列依次确定车身14的位置的对准步骤。这些对准步骤由两个基本组成部分组成：变换和测量。据信，不同于仅使用基准，使用变换可为识别车身14表面上的布置对象22的目的提供足够的准确度。然而，基准的使用可有助于对准精度(如下文进一步所述)。

本文中的“变换”表示车身14的初始位置以及车身14的后续或间隔位置之间的关系。例如，粗略对准位置或第一变换可以确立该部件的预期大致位置，在一个实施例中使用摄影测量设备34。导出的初始位置可以基于基于由初始大致对准位置引导的对车身14的激光扫描来细化第一变换58所采取的测量，以建立第二变换60，该第二变换60比第一变换58更准确。其他定义的变换可以限定约束关系，例如，从升降台上的初始位置移动、在滑动机构或移动输送机上平移、甚至在轴上枢转，当在铰链上打开或关闭时这可以提供对门表面的准确测量。

测量与特定的或第一变换58相关联，以确立或约束导出的或第二变换60的位置。第一变换58测量值是标称上指定的基于已知工作间约束的三维坐标，其通过以下方式获得：光学跟踪探头42，通过对工作间12内的激光点位置进行三角测量或通过使用摄影测量设备34对诸如孔等视觉图像特征进行三角测量来扫描。可选地，测量是限定的射线，其“钉住”车身14的位置，通过视觉图像特征建立成像射线或使用激光通过检测相对于部件的边界的投影光条纹的轮廓(silhouette)来获得(如图2所示)。在该实施例中，在战略性地布置在工作间内的反射片(reflective patch)54上扫描投影光图案52，以增强对比。在一个实施例中，反射片54被放置在地板或移动输送机上，由激光投影仪扫描，激光投影仪首先将光条纹或其他光图案投射到车身的边缘56(例如，引擎盖或行李箱盖)上，随后投射到反射片54上。以这种方式，激光投影仪32检测车身14的边缘56，以供控制器28计算第一变换58。

基于定义的变换，变换及与它们相关的测量被组合在一层次结构中。如果第二变换60是另一个变换的“子”，则将它从父变换或第一变换58导出，受制于可能的位置变换，例如，由输送机、升降台提供的平移，或由绕铰链旋转或心轴的运动导致的绕轴旋转。即使在发生漂移或其他运动时，该层次结构也可提供车身14的更高水平的定位精度。

参考图6，可以将粗略公差(rough tolerance)应用于任何明确允许车辆在公差内或多或少不受阻碍地移动而不会影响对准的测量。例如，可以建立第一变换58，其指示车身14在工作间12内的具有几英寸公差的预期近似位置。定义该位置的测量值(可能是最初用探头测量的，或基于工件如何输送的一般知识)可以指导实际工件放置的更精确的第二变换60的位置。如果不超过第一变换58的粗略公差，则由应用每个附加测量的约束的初始变换引导的顺序应用精确变换的测量。表示第一变换的粗略对准值在图6中由围绕该点的外球体表示。

此外，每个测量都有极限公差，这将限制过度偏离位置的变换测量的影响。例如，控制器将识别扫描是否完全击中了错误的表面。对准极限由表示第一变换58的球体定义。更准确的第二变换60由在定义第一变换的较大球体内部示出的较小球体表示。如果第二变换60的测量位置在由该值定义的球面之外，则对对准的任何附加影响都被最小化。

为了说明本发明的方法，现在提供一个非限制性的例子。示例车辆车身14大致位于工作间12内，然后基于地板(如图5中所示的网格所示)的测量限制在初始位置。顺序扫描以建立车身14的位置在工作间12中的定位，因此，在建立的三维坐标系中的定位。车身14在给定方向上的平移(例如，沿着车辆轴线或滑动方向65)使用在车身14一端处的单次扫描来更新，如图6所示，其中，计算机生成的扫描图像是显示在控制器屏幕29上。

第一变换过程的初始位置通过三个探头测量Rough PT 1、Rough PT 2和Rough PT3建立，使用8英寸的粗略公差以允许车身14的放置发生变化。导出的位置变换“初始位置(Initial Position)”是通过由激光投影仪32扫描放置的目标36初始测量地板表面来测量的地板参考平面建立的。不需要在将每个额外车辆引入工作间12时重复该步骤。然后进行一系列扫描测量以确定车辆14在表面上的方向。每个附加测量进一步几何地限制车身14在工作间12内的位置，及由此在三维坐标系内的位置。

一旦车身14被建立在工作间12内，就通过本发明的系统自动执行对车身14的扫描测量。类似于标称测量(nominal measurement)和探头测量，扫描测量也使用粗略和极限对准值，即，建立第一变换58和第二变换60。对于所有扫描测量类型，可以指定范围(Range)和区域(Zone)。范围(Range)指定系统可以在哪里搜索测量目标。控制器29引导从标称值(如从CAD数据可以理解的)的两个方向上的指定距离的搜索。区域(Zone)给出了测量可接受的标称位置周围的半径。序列“Scan Side 2”中的最终扫描如图6所示。在此示例中，测量指定表面点62的位置。从表面点62向外延伸的矢量64指示为测量指定的范围。区域限定了可接受的测量位置，由位于范围线(range line)两端的两个圆盘66表示。为区域设置紧密公差(tight tolerance)可允许测量部件上非常特定的区域。

“滑动位置”变换65用于确定在单个方向上沿车身14的长度的最终平移。车身14上的所有其他约束由“初始位置”指定，因此，对车身14的滑动端68处的单次扫描测量可以更新滑动方向上的任何位置。在图5所示的非限制性示例中，作为非限制性示例，滑动可以从中间位置调整+/-10”，并且当前位于-3.2518”。

确定滑动的当前位置的滑动端测量定义有漂移检查间隔(drift checkinterval)，该间隔定期测量末端位置并根据需要调整滑动的位置。此处定义的方法可用于定位工作间12内的任何目标物，为特定作业目的(例如，修复油漆缺陷)提供必要的准确度。例如，如图5所示，定位工作间12中所示车辆的位置是基于地板的定义和汽车表面的扫描；例如，突出对汽车侧面的扫描测量。

该实施方式提供了当前在美国专利申请号9,881,383中公开的运动补偿中实现的基准对齐的替代方案，通过引用将该申请的内容并入本文中。但是，变换和数据对齐是有选择地并行完成的，因此这两种对齐方法都可用。

在现有的实施中，定义了许多数字对齐多边形。操作者可以通过计算机键盘上的键控启动循环遍历每个基准多边形来启动测量，并通过单独的键控启动使用探头进行测量。通过确定车身14在工作间12中的位置以最小化测量与相关联的数字对准多边形之间的总体误差来实现测量过程的优化。例如，操作者还可以选择任意多边形而不是单边多边形。每当进行新的测量时就会进行优化。可以对汽车应用进行改进，其中我们有汽车的初始位置，然后它在升降台上垂直移动或沿滑动方向移动。重新校准是通过额外的用于漂移检查或运动补偿的测量来实现的。

在验证本发明的系统10和方法时，通过指定车身10上的“粗略”基准特征来建立车身14的初始位置，所述“粗略”基准特征如上所述由探头42测量。测量是在车辆升降机处于降低位置时进行的。通过首先仅优化车辆14上的粗略基准(通常为三个基准点)，该测量数据基本上“混杂”。三个基准建立了车辆42在三维坐标系中的近似位置，为控制器28提供了足够的稳定性来计算几何位置。一旦计算出来，系统就能够推断出任何额外测量的位置。通过为测量误差分配较低权重来进行数学对齐，然后添加更精确的测量值。但是，如果额外的测量值有很大的偏差，它们可能会将位置完全从初始对准中拉出，从而使系统精度无法使用，并且需要重新校准。

在一个实施例中，提供一种更灵活的基准识别方法。所提出的方法的两个组成部分包括变换的使用和基准测量的性能。“变换”表示车身14在三维坐标系中的位置以及变换之间的相对位置。因此，车辆14在三维坐标系中的“粗略”对准可以使用第一变换58进行优化，并且与从第一变换58导出的一个或多个第二变换60分开表示，从而使得能够在多次变换之间限定相对关系。

如这里所使用的，基准测量是对车身14上的特定基准特征的测量，并且相对于相关联的变换被明确地参考。例如，三个基准测量点将与计算的初始粗略对准或第一变换相关联。与具有明确的“粗略”基准类型不同，公差(容差)可以应用于任何明确提供在容差范围内或多或少不受阻碍的移动的基准(具有相当于小阈值的小偏差，该小阈值可选择设置为0.010"，其如果没有被其他测量反驳，则将居中基准)。

变换和基准测量结合在基于先前限定的变换的层次结构中。如果第二变换是另一个或第一变换的“子”变换，则第二变换源自父变换，受可能的转变(例如，输送机或升降台)的影响，并且父变换的所有基准测量和容差也必须保持相对于坐标系中的车辆配置。

特殊的对准过程步骤与要显示在车身14表面上的图标的投影混合在一起。使用过程编辑功能实现对层次结构的编辑，其中，每个步骤都可以定义为投影步骤、变换、或基准测量。指示容差、基准类型、测量方法(目标或探头)、测量列表、升降台的当前位置等所需的额外信息按要求存在于界面中。

进程树的根进程默认成为层次结构中的根变换；尽管如此，任何同级(“兄弟”)变换(sibling transform)都将具有独立的位置。变换的任何基准测量同级或变换的后代，直到达到另一个变换，都将被应用来约束变换。变换或其基准测量的任何后代变换也将从父变换导出，并且还必须满足任何相关基准测量的要求。变换的同级是相互独立的，但都依赖于共同的父变换。以类似的方式，一给定变换的任何同级或后代投影处理步骤的位置将由该变换确定。

本申请的发明的实施提供了变换/基准层次的完整定义，但是通过使用探头特别便于测量。或者，本发明的方法提供“标称”直接输入的测量值、通过在图像中选择、用激光选择、用激光射线相交等进行的手动测量。

在一个实施例中，工件或车辆车身14上的根变换由三个基准点指定，这三个基准点以自两英寸至四英寸的范围内的容差进行测量。下一级测量包括初始位置基准，该初始位置基准使用由表面上的特征建立的基准严格约束位置，最终变换级别提供通过水平滑动工件确定的变换，其位置由终点基准测量确定。

在界面中，对三个粗略基准点的识别建立车身14的表面的粗略位置。通过测量车身14的一个点和两个边缘来建立导出的“初始位置”。随后，滑动变换是基于指定平面的法线限定的，车身14的位置由终点基准测量限定。当主动测量滑动变换时，表示优化的当前滑动位置。清除控制器上的末端探头测量值将滑动位置移回初始位置。

设想了两种类型的位置处理步骤，一种是特征类型“无(None)”，另一种是特征类型“平行平面(parallel plane)”。对于特征类型“无”，此步骤之后的同级变换步骤限定位置。例如，默认步骤是为特征类型定义“无(None)”的位置(Position)。后面通常是三个测量点，每个测量点都有很大的粗略容差，这些测量点结合起来限定部件的大致位置。对于特征类型“平行平面”，指定可以在单个方向上移动的位置，垂直或正交于所定义的平面。

控制器屏幕29对于操作者是交互式的。因此，可以添加位置步骤作为位置识别方案的一部分。下面列出了添加位置步骤的一系列程序：

1.单击创建新步骤按钮以启用步骤编辑控件。

2.在步骤名称框中键入唯一的描述性名称以标识测量点。

3.为过程步骤的类型选择位置。控件根据所选的特征类型变得可见。

4.选择特征类型(“无(None)”或“平行平面(Parallel plane)”)。

a.如果操作者选择“无”，请继续执行步骤5。

b.如果操作者选择“平行平面”，则进行以下步骤：

c.定义将用于此过程步骤的平行平面。

d.指定该平面的最小和最大运动范围的值。运动是沿垂直于该平面的方向。

5.在进程列表中选择新步骤应添加到其后的步骤，作为同级或子级。

6.通过单击适当的按钮将新步骤添加为同级或子步骤。

测量过程步骤用于对车身14的物理部分进行测量，以便将该部分与数学模型对准。这些步骤增强了激光投影准确的能力。本发明的方法包括四种类型的测量特征：标称点(Nominal point)、标称线(Nominal line)、面点(Surface point)和平面。标称特征使用测量点与特定位置对准。对于表面点，仅使用测量点与限定该点的表面的接近程度来建立对准。对于平面，对准是通过测量平面上的三个点来实现的。

包括三种类型的测量方法：标称、探头和扫描。建立标称和探头用于识别工件上的所有特征类型，但扫描可只用于识别表面点。

标称和探头测量用于测量车身14的一部分上的特定位置。标称测量要求用户手动指定点或平面的位置。当相对于工作间12的三维坐标系已知测量所需的位置时，最佳地使用标称测量。例如，作为数学模型的一部分的固定装置上的位置或作为地板的参考平面。对于标称点、标称线或表面点，通过手动输入该点的x、y、z坐标来添加测量值。对于平面，必须输入平面上三个点的值。

探头测量使用探头来测量一个或多个点，如上文所述。利用标称或探头测量，您可以指定粗略对准容差和对准极限。对于粗略对准值，测量位置可以位于由该值限定的球体内的任何位置，而不会对对齐产生任何影响。如上所述，粗略对准值在图6中由围绕该点的球体示出。

对于对准极限，如果测量位置在由该值限定的球体之外，则对对准的任何额外影响都是最小的。对准极限也表示为一个球体。还应当理解，可以同时使用两个对准值。

扫描测量通过系统自动执行。但是，只有表面点可以使用扫描测量类型。与标称和探头测量一样，扫描测量也使用粗略和极限对准值。对于扫描测量，操作者可以选择扫描测量类型：标准(Standard)、漂移检查(Drift check)或标称(Nominal)。

对于所有扫描测量类型，范围(Range)和区域(Zone)选项都可用。范围指定系统可以在哪里搜索测量点。在距标称值的两个方向上的指定距离进行搜索或扫描。它在图6中由穿过表面点位置的中心的长线64显示。区域给出了将接受测量的标称位置周围的半径。它由范围线两端的两个圆盘示出。

区域测量类型的大小基于被测量的表面。如果正在测量狭窄的表面，则该值必须足够小以仅接受该点的表面上的测量值。如果表面又大又平，则可以接受较大的区域(Zone)值。对于标准扫描测量类型，在选择步骤时进行测量。对于漂移检查扫描测量类型，定期进行测量。测量之间的时间(以秒为单位)由间隔指定。可以选择定期执行漂移检查，无需额外的操作者输入。当车身在位于检查室14中时是可移动的时，这尤其有用。

当在三维坐标系内确定车身14的布置时，现在可以通过激光扫描为操作者识别布置在车身表面上的对象22，消除了操作者视觉搜索对象22的需要。虽然任何光源都能够以特定的几何精度将图标70投影到一表面上，但是当建立提供目标、表面和边缘的准确测量的双重功能时，激光投影仪32特别适合。将图标70投影到车辆表面上最好地示于图7中。如上所述，一旦对象位于三维坐标系中，由Micro-Epsilon提供的对象识别系统就与激光投影仪协同工作。

参考图8，示出了逐步流程图，其中，首先，激光投影仪32投射箭头或V形图案形式的指向对象22(在这种情况下是油漆缺陷)的指示图标72。由于快速扫描的特性，可以同时识别多个缺陷。一旦操作者指示对象22已被识别(在一个实施例中，通过在激光束中放置反射器以将激光束返回到激光传感器43)，投影仪32就指示要执行的过程，例如，用开始修复图标72进行打磨(grinding)。完成后，投影仪32再次检测反射，并将打磨完成图标76扫描到被识别对象的位置处的表面上。投影仪接着扫描开始抛光图标78(或任何其他必要的任务)。当投影仪检测到抛光完成时，将修复完成图标80扫描到表面上。当识别出多个缺陷需要多个操作者进行修复时，当只有全部图标可见时，才会发出车辆维修过程完成的信号。当然，操作者可以通过移动或其他反射元件向投影仪指示需要额外修复，这通过在缺陷位置扫描额外修复图标84来指示。

如果对于操作者来说没有简单的手段来指定显示位置的状态变化，那么这个过程仍然可能令人困惑。如上所述，缺陷可以任意分布在漆面上，这要求一个或多个操作者确定例如后乘客门右上方的缺陷已被修复。为了达到这个目的，在激光投影仪中使用的内部传感器43用于定位回光反射标志36以建立投影仪位置被用作反馈机制。当激光束穿过一块反光材料(retro-material)时，会记录与激光穿过的位置图标相关联的信号。

例如，通过在手套的背面放置一块反光材料(该手套被移动到跟踪指示器的激光路径中)，系统可以向控制器28发出信号，指示该图标转换到下一个过程状态。注意，该操作是在特定位置图标70的背景下，因此不需要从外部识别相关位置，并且任何数量的操作者可以以这种方式同时与系统交互。过程状态可以在远程或本地界面或控制器屏幕29上突出显示或汇总，以动态地显示任务的进度。可以将统计信息列表显示，从而确定缺陷的原因。使用这种性质的反馈可以提供一种确保整个过程完成的万无一失的方法，例如，通过改变界面的背景颜色来清楚地指示完成状态。此外，出于过程控制的目的，可以跟踪过程中各个步骤所花费的时间，关联执行特定类型任务或维修的难度，并评估操作者的效率或在工作团队中使用不同数量的操作者的好处。

本领域普通技术人员应当理解，本申请的发明可用于多种制造环境。例如，本发明可用于固定工作销售。此外，本发明可用于固定的工作间，在工作间里，正在被处理的车辆或其他目标物可在垂直方向上移动以帮助操作者执行过程。更进一步地，本发明可用于具有移动装配线的隔间中，在隔间里，车辆，有时是操作者，连续移动。

Claims (11)

1.一种用于识别工件表面上的对象的几何位置的方法，光学设备识别所述工件表面上的所述对象，该方法包括以下步骤：

提供控制器；

提供包括光投影仪和摄影测量系统的对象识别系统；

使用所述光投影仪和所述摄影测量系统中的至少一者来在工作间内生成三维坐标系；

使用所述光投影仪和所述摄影测量系统中的至少一者来识别所述工件表面在所述三维坐标系中的位置；

所述控制器用所识别的所述对象校准所述工件表面在所述三维坐标系中的位置；

所述控制器计算所述工件表面上的对象在由所述光学设备识别的所述三维坐标系中的几何位置；及

所述控制器向所述光投影仪发送信号以将光束投射到所述工件的表面上，从而识别位于所述工件表面上的所述对象的布置。

2.根据权利要求1所述的方法，其中，所述识别所述对象的布置的步骤进一步通过利用由所述光投影仪投射的光束识别所述工件表面上的所述对象的位置来限定。

3.根据权利要求1所述的方法，其中，所述识别所述工件表面上的所述对象的布置的步骤进一步通过识别已对在所述工件表面上识别的所述对象执行的作业功能来限定。

4.根据权利要求1所述的方法，其中，所述校准所述工件表面在所述三维坐标系中的位置的步骤进一步通过识别相对于所述工件表面的第一变换和第二变换来限定，其中，所述第二变换比所述第一变换准确。

5.根据权利要求4所述的方法，其中，所述识别第一变换的步骤进一步通过识别布置在重要性层次结构中的多个变换来限定。

6.根据权利要求1所述的方法，其中，所述校准所述工件表面在所述三维坐标系中的位置的步骤进一步通过所述光投影仪和所述摄影测量系统中的至少一者识别所述工件表面的特征并在所述三维坐标系中校准所述特征来限定。

7.根据权利要求5所述的方法，其中，所述识别所述工件表面的特征的步骤进一步通过用手持式探头识别所述特征并将来自光源的光束从所述探头反射至所述摄影测量设备或位于所述光源处的光传感器来限定。

8.根据权利要求1所述的方法，其中，所述提供光投影仪和摄影测量设备的步骤进一步通过提供多个光投影仪和多个摄影测量设备来限定。

9.根据权利要求1所述的方法，其中，所述在所述工作间内生成三维坐标系的步骤进一步通过在所述工作间的已知位置放置参照物并用所述光投影仪和所述摄影测量设备中的至少一者定位所述参照物来限定。

10.根据权利要求1所述的方法，其中，所述识别所述工件表面上的对象的步骤进一步通过识别喷涂表面上的油漆缺陷来限定。

11.根据权利要求10所述的方法，其中，所述识别位于所述工件表面上的所述对象的布置的步骤进一步通过识别对所述油漆缺陷的修复是否已执行来限定。

Images