CN116348912A - 用于机器人视觉引导中的对象跟踪的方法和系统 - Google Patents

Abstract

一种用于预测在机器人组装操作期间被跟踪的特征将位于由视觉设备捕获的一个或多个图像内的位置的系统和方法。视觉设备可以被安装到机器人，使得当机器人移动时视觉设备的位置可以是已知的或被确定的。在视觉设备在对应工件正在移动时中断对特征的跟踪的情况下，可预测特征相对于视觉设备的位置，例如经由使用特征和/或相关联工件的当前或过去的历史移动信息。使用特征的预测位置和视觉设备的已知位置，可以预测特征将位于由视觉设备捕获的(多个)图像中的位置。

Description

用于机器人视觉引导中的对象跟踪的方法和系统

技术领域

本发明涉及机器人组装，并且更具体地涉及由视觉引导系统进行的鲁棒且相对快速的对象跟踪。

背景技术

在汽车组装的最终修整和组装(FTA)阶段期间可以执行各种操作，包括例如门组装、驾驶舱组装和座椅组装以及其它类型的组装。然而，出于各种原因，仅相对少量的FTA任务通常是自动的。例如，通常在FTA阶段期间，当操作员正在执行FTA操作时，正在经历FTA的(多个)车辆(vehicle)正在以相对连续的方式移动(多个)车辆的(多个)线路上运输。然而，(多个)车辆的这种连续运动可以至少关于(多个)车辆的移动和/或位置和/或在FTA中涉及的(多个)车辆的部分而引起或产生某些不规则性。此外，这种运动可以使车辆在FTA期间经受运动不规则性、振动和平衡问题，这可以阻碍或不利于准确地建模或预测直接涉及FTA的车辆的特定零件、部分或区域的位置的能力。此外，当每个随后的车辆和/或部件沿着组装线的相同区域通过时，这种移动不规则性可阻碍FTA在每个车辆或其相关联的部件的移动和/或定位方面具有一致的可重复性程度。因此，关于可重复性的这种变化和考虑通常可以排除在FTA操作中使用传统教导和基于重复位置的机器人运动控制。

因此，尽管各种机器人控制系统当前在市场中可用，但是进一步的改进是可能的，以提供用于校准和调整机器人控制系统以适应这种移动不规则性的系统和手段。

发明内容

本申请的实施例的一方面是一种方法，其可以包括使用安装到机器人的视觉设备来监测机器人的移动和跟踪工件的跟踪特征的位置。附加地，可以在跟踪特征移动时预测跟踪特征相对于视觉设备的位置。该方法还可以包括至少使用跟踪特征相对于视觉设备的所预测的位置来预测捕获位置，在捕获位置处跟踪特征将位于由视觉设备捕获的一个或多个图像内，使用所预测的捕获位置来检测一个或多个图像内的跟踪特征。

本申请的实施例的另一方面是一种方法，其可以包括监测机器人的移动并且使用机器人的所监测的移动来确定被安装到机器人的视觉设备的位置。该方法还可以包括使用视觉设备在工件移动时跟踪工件的跟踪特征的位置，并且响应于跟踪特征的跟踪中的干扰，至少使用工件和跟踪特征中的至少一者的移动信息来预测跟踪特征相对于视觉设备的位置。附加地，该方法可以包括至少使用跟踪特征的所预测的位置和视觉设备的所确定的位置来预测捕获位置，在捕获位置处跟踪特征将位于由视觉设备捕获的一个或多个图像内，并且使用所预测的捕获位置来检测一个或多个图像内的跟踪特征。

附加地，本申请的实施例的一方面是一种方法，其可以包括：监测机器人的移动；使用被安装到机器人的第一视觉设备跟踪工件的跟踪特征；以及使用第二视觉设备跟踪跟踪特征，第二视觉设备处于相对静态的位置。此外，由第一视觉设备和第二视觉设备从跟踪跟踪特征获得的跟踪信息可以被组合并用于生成跟踪特征的三维姿态。该方法还可以包括：当跟踪特征移动时，预测姿态的位置，所预测的位置提供针对姿态的预测坐标；以及至少使用姿态的所预测的位置和机器人的所监测的移动来预测捕获位置，在捕获位置处姿态将位于由第一视觉设备捕获的一个或多个图像内。此外，使用所预测的捕获位置，可以在一个或多个图像内检测姿态。

鉴于附图和以下详细描述，将更好地理解本申请的这些和其它方面。

附图说明

本文的描述参考附图，其中贯穿若干视图，相同的附图标记指代相同的部分。

本文的描述参考附图，其中贯穿若干视图，相同的附图标记指代相同的部分。

图1示出了根据本申请的示例性实施例的示例性机器人系统的至少一部分的示意图。

图2示出了示例性机器人站的示意图，工件通过该机器人站由自动引导车辆(AGV)或输送机移动，并且其中安装到机器人基座的机器人可沿着轨道或由轨道移动。

图3示出了根据本申请的图示实施例的由视觉系统的视觉设备捕获的图像中的示例性第一或人工跟踪特征。

图4示出了根据本申请的图示实施例的由视觉系统的视觉设备捕获的图像中的示例性第二或自然跟踪特征。

图5示出了根据本申请的实施例的用于机器人系统的视觉对象跟踪的过程。

图6示出了根据本申请的实施例的用于机器人系统的视觉对象跟踪的另一过程。

图7示出了根据本申请的实施例的用于机器人系统的视觉对象跟踪的另一过程。

当结合附图阅读时，将更好地理解前述发明内容以及本申请的某些实施例的以下详细描述。为了说明本申请的目的，在附图中示出了某些实施例。然而，应当理解，本申请不限于附图中示出的布置和手段。此外，相应附图中的相同数字指示相同或相当的部分。

具体实施方式

为了方便起见，在前面的描述中使用了某些术语，而并非旨在进行限制。诸如“上部”、“下部”、“顶部”、“底部”、“第一”和“第二”的词语指定附图中参考的方向。该术语包括上面具体指出的词语、其衍生词和类似含义的词语。另外，除非特别指出，否则词语“一”和“一个”被定义为包括所引用的项目中的一个或多个。短语“至少一个”之后是两个或更多个项目的列表，诸如“A、B或C”意指A、B或C中的任何单独一个，以及其任何组合。

图1示出了示例性机器人系统100的至少一部分，该机器人系统100可以是传感器融合机器人系统，其包括至少一个机器人站102，机器人站102例如经由通信网络或链路118通信地耦合到至少一个机器人控制系统104。机器人控制系统104可以相对于机器人站102是本地的或远程的。此外，根据某些实施例，机器人站102还可以包括一个或多个补充数据库系统105，或者经由通信网络或链路118与一个或多个补充数据库系统105可操作地通信。(多个)补充数据库系统105可以具有各种不同的配置。例如，根据所示实施例，(多个)补充数据库系统105可以是但不限于基于云的数据库。

根据所示实施例，机器人控制系统104可以包括至少一个控制器120、数据库122、计算构件124和/或一个或多个输入/输出(I/O)设备126。机器人控制系统104可以被配置为向操作者提供机器人106的直接控制，以及向机器人站102和/或机器人106的操作提供至少某些编程或其他信息。此外，机器人控制系统104可以被构造成从机器人站102或机器人控制系统104的操作者接收命令或其他输入信息，包括例如经由操作或与输入/输出设备126的选择性接合生成的命令。经由输入/输出设备126的使用的这样的命令可以包括但不限于通过接合或使用麦克风、键盘、触摸屏、操纵杆、触笔型设备和/或可以由操作者在其他输入/输出设备中操作、操纵和/或移动的感测设备提供的命令。此外，根据某些实施例，输入/输出设备126可以包括可以向操作者提供信息的一个或多个监测器和/或显示器，包括例如与由机器人控制系统104的操作者提供、从/向(多个)补充数据库系统105和/或机器人站102接收/发送的命令或指令相关的信息，和/或在机器人102正在运行(或尝试运行)程序或过程时生成的通知。例如，根据某些实施例，输入/输出设备126可以例如经由使用视觉引导系统114的至少视觉设备114a来显示图像，无论是实际的还是虚拟的。

机器人控制系统104可以包括具有控制器120的任何类型的计算设备，诸如，例如，膝上型计算机、台式计算机、个人计算机、可编程逻辑控制器(PLC)或移动电子设备，以及其他计算设备，其包括存储器和处理器，其大小和操作足以存储和操纵数据库122和用于经由通信网络或链路118与机器人站102至少通信的一个或多个应用。在某些实施例中，机器人控制系统104可以包括可以经由以太网WAN/LAN连接以及其他类型的连接与通信网络或链路118和/或机器人站102通信的连接设备。在某些其他实施例中，机器人控制系统104可以包括网络服务器或网络门户，并且可以使用通信网络或链路118经由互联网与机器人站102和/或(多个)补充数据库系统105通信。

(多个)补充数据库系统105(如果有的话)也可以位于相对于机器人站102和/或相对于机器人控制系统104的各种位置处。因此，通信网络或链路118可以至少部分地基于机器人站102、机器人控制系统104和/或(多个)补充数据库系统105的位置之间的物理距离(如果有的话)来构造。根据所示实施例，通信网络或链路118包括一个或多个通信链路128(图1中的通信链路1-N)。另外，可以操作系统100以经由使用通信网络或链路118在机器人站102、机器人控制系统104和/或(多个)补充数据库系统105之间维持相对可靠的实时通信链路。因此，根据某些实施例，系统100可以基于通信链路128的当前可用数据速率和/或传输时间来改变通信链路128的参数，包括例如所利用的通信链路128的选择。

通信网络或链路118可以以各种不同的方式构造。例如，机器人站102、机器人控制系统104和/或(多个)补充数据库系统105之间的通信网络或链路118可以通过使用多种不同类型的通信技术中的一种或多种来实现，包括但不限于经由使用基于类似或不同类型和层的数据协议的光纤、无线电、电缆或基于无线的技术。例如，根据某些实施例，通信网络或链路118可以利用具有无线局域网(WLAN)、局域网(LAN)、蜂窝数据网络、蓝牙、ZigBee、点对点无线电系统、激光光学系统和/或卫星通信链路以及其他无线工业链路或通信协议的(多个)以太网安装。

机器人控制系统104的数据库122和/或(多个)补充数据库系统105中的一个或多个数据库128可以包括可以在机器人106正在其中操作的机器人站102内的元件的标识中使用的各种信息。例如，数据库122、128中的一个或多个可以包括或存储在由视觉引导系统114检测到的图像或其他信息的检测、解释和/或解密中使用的信息，诸如例如与可以在由视觉引导系统114捕获的(多个)图像中检测到的(多个)跟踪特征相关的信息。附加地或替代地，这样的数据库122、128可以包括与一个或多个传感器132有关的信息，包括例如与预期通过在机器人站102中的一个或多个不同位置处和/或沿着工件144至少当机器人106执行工作时的一个或多个力传感器134的使用来检测的力或力的范围有关的信息。

机器人控制系统104的数据库122和/或(多个)补充数据库系统105的一个或多个数据库128还可以包括可以帮助辨别机器人站102内的其他特征的信息。例如，由视觉引导系统114的一个或多个视觉设备114a捕获的图像可以用于经由使用来自数据库122的信息来标识机器人站102内的部件，包括在拾取箱内的FTA部件，以及其他部件，其可以由机器人106用于在工件(诸如，例如，车身或车辆)上执行FTA。

根据某些实施例，机器人站102包括具有一个或多个自由度的一个或多个机器人106。例如，根据某些实施例，机器人106可以具有例如六个自由度。根据某些实施例，端部执行器108可联接或安装到机器人106。端部执行器108可以是工具、部分和/或部件，其被安装到机器人106的手腕或手臂110。此外，手腕或手臂110和/或端部执行器108的至少部分可经由机器人106和/或端部执行器108的操作(例如，由机器人控制系统104的操作者和/或通过被执行以操作机器人106的编程)相对于机器人106的其他部分移动。

机器人106可以操作以将端部执行器108定位和/或定向在机器人106的工作范围或工作空间的范围内的位置处，这可以容纳机器人106来利用端部执行器108来执行工作，包括例如抓握和保持一个或多个部件、部分、包装、装置、组件或产品以及其他项目(在本文中统称为“部件”)。机器人106可以利用各种不同类型的端部执行器108，包括例如可以抓取、抓握或以其他方式选择性地保持和释放在车辆组装期间在最终修整和组装(FTA)操作中使用的部件的工具，以及其他类型的操作。

机器人106可以包括一个或多个机器人控制器112，或者电耦合到一个或多个机器人控制器112。例如，根据某些实施例，机器人106可以包括一个或多个控制器112和/或电耦合到一个或多个控制器112，控制器112可以是或可以不是分立的处理单元，诸如例如单个控制器或任何数量的控制器。控制器112可以被配置为提供各种功能，包括例如用于向机器人106选择性地递送电力、控制机器人106的移动和/或操作、和/或控制安装到机器人106的其他设备(包括例如端部执行器108)的操作、和/或未安装到机器人106但与机器人106的操作和/或与机器人106的操作和/或移动相关联的设备相集成的操作。此外，根据某些实施例，控制器112可以被配置为动态地控制机器人106本身的移动，以及机器人106被安装或联接到的其他设备的移动，包括例如机器人106沿着轨道130或移动平台(诸如机器人106经由机器人基座142安装到的自动引导车辆(AGV))的移动，或备选地由轨道130或移动平台(诸如机器人106经由机器人基座142安装到的自动引导车辆(AGV))的移动，如图2中所示。

控制器112可以采取各种不同的形式，并且可以被配置为执行程序指令以执行与操作机器人106相关联的任务，包括操作机器人106以执行各种功能，诸如但不限于本文描述的任务以及其他任务。在一种形式中，(多个)控制器112是基于微处理器的，并且程序指令是以存储在一个或多个存储器中的软件的形式。备选地，控制器112中的一个或多个和由此执行的程序指令可以是软件、固件和硬件(包括状态机)的任何组合的形式，并且可以反映分立设备和/或集成电路的输出，该分立设备和/或集成电路可以共同位于特定位置处或跨多于一个位置分布，包括被配置为实现与基于处理器的控制器执行基于软件或固件的指令相同或相似的结果的任何数字和/或模拟设备。从控制器112确定和/或传输的操作、指令和/或命令可以基于存储在控制器112、其他计算机和/或与控制器112电通信的存储器中的非暂态计算机可读介质中的一个或多个模型。

根据所示实施例，控制器112包括可以接受运动命令并提供实际运动数据的数据接口。例如，根据某些实施例，控制器112可通信地联接到悬架式操纵台，例如教导侧(teachpendant)，其可用于控制机器人106和/或端部执行器108的至少某些操作。

机器人站102和/或机器人106还可以包括一个或多个传感器132，以及其他形式的输入设备。可结合机器人106的操作使用且还可将信息提供到融合控制器140以用于传感器融合的传感器134的实例包含(例如)视觉传感器、力传感器、运动传感器、加速度传感器及/或深度传感器以及其它类型的传感器。此外，由传感器132中的至少一些提供的信息可以被集成，包括例如经由融合控制器140的操作，使得机器人106除了其他任务之外的操作和/或移动可以至少经由传感器融合被引导。这种融合控制器140可以是机器人控制系统104的控制器112和/或计算构件116的一部分或以其他方式通信地联接到机器人控制系统104的控制器112和/或计算构件116。此外，由一个或多个传感器132(诸如例如视觉引导系统114和力传感器134以及其他传感器132)提供的信息可以由融合控制器140处理，使得由不同传感器132提供的信息可以以可以降低机器人106的任务的移动和/或执行的不确定性的程度的方式组合或集成。因此，根据某些实施例，至少多个传感器132可以向融合控制器140提供信息，融合控制器140可以使用该信息来确定机器人106将移动到的位置和/或机器人106将移动待组装到工件的部件的位置。此外，融合控制器140还可以与机器人106通信地耦合到交换信息和数据。

根据所示实施例视觉引导系统114可以包括可以与观察机器人站102的至少部分结合使用的一个或多个视觉设备114a、114b，包括但不限于观察工件144和/或部件，该部件可以被定位在机器人站102中或移动通过机器人站102的至少一部分或由机器人站102的至少一部分移动。例如，根据某些实施例，视觉引导系统114可以在视觉上检测、跟踪和提取信息，各种类型的视觉特征可以是工件144和/或机器人站102中的部件的一部分或以其他方式定位在工件144和/或机器人站102中的部件上或附近。例如，视觉引导系统114可以跟踪和捕获图像，以及可能从这样的图像提取关于视觉跟踪特征的信息，该视觉跟踪特征是组装过程中涉及的FTA部件和/或汽车车身的一部分或定位在FTA部件和/或汽车车身上、和/或在正在移动工件通过机器人站102的自动引导车辆(AGV)上。

视觉引导系统114的视觉设备114a、114b的示例可以包括但不限于一个或多个成像捕获设备，诸如例如一个或多个二维、三维和/或RGB相机。另外，视觉设备114a、114b可以安装在机器人站102内的各种不同位置处，包括例如大体上安装在机器人106的工作区域上方、安装到机器人106、机器人106的端部执行器108和/或机器人106在其上安装和/或移位的基部142、以及其它位置。例如，图2示出了机器人站102，其中第一视觉设备114a附接到机器人106，并且第二视觉设备114b安装到机器人基座142，机器人106安装到机器人基座142上。然而，一个或多个视觉设备114a、114b可以被定位在各种不同的位置处，包括例如机器人106上方和/或视觉设备114a、114b通常不移动的位置，以及其他位置。

根据某些实施例，视觉引导系统114可以具有数据处理能力，该数据处理能力可以处理从视觉设备114a、114b获得的数据或信息。另外，这样的经处理的信息可以被传送到控制器112和/或融合控制器140。备选地，根据某些实施例，视觉引导系统114可以不具有数据处理能力。相反，根据某些实施例，视觉引导系统114可以电耦合到机器人站102的计算构件116，计算构件116适于处理从视觉引导系统114输出的数据或信息。另外，根据某些实施例，视觉引导系统114可以可操作地耦合到通信网络或链路118，使得由视觉引导系统114输出的信息可以由机器人控制系统104的控制器120和/或计算构件124处理，如下所述。

因此，根据某些实施例，视觉引导系统114或机器人站102的其他部件可以被配置为搜索由一个或多个视觉设备114a、114b捕获的(多个)图像内的某些跟踪特征，并且从捕获的图像中的(多个)跟踪特征的标识确定该(多个)跟踪特征的位置信息。与确定(多个)所捕获的图像中的(多个)跟踪特征的位置有关的信息可以例如通过控制系统104的视觉伺服来使用，以及被存储或记录以供以后参考，诸如例如在机器人控制系统104和/或控制器112的存储器或数据库中或可由机器人控制系统104和/或控制器112访问。此外，由视觉引导系统114获得的信息可以用于至少帮助引导机器人106、机器人106沿着轨道130或移动平台(诸如AGV 138)的移动和/或端部执行器108的移动。

根据某些实施例，第一视觉设备114a和第二视觉设备114b可以各自单独地跟踪至少人工跟踪特征和/或自然跟踪特征。人工跟踪特征可以是被配置为在机器人站102中的位置处和/或位于机器人站102中的位置处的特征，这些特征与自然跟踪特征相比可能对噪声较不敏感，包括例如与照明相关联的噪声、移动不规则性、振动和平衡问题。因此，这样的人工跟踪特征可以是但不限于主要由视觉引导系统114配置和/或定位的项目和/或特征，并且可以包括但不限于例如图2和图3中所示的快速响应(QR)代码150。备选地或附加地，不是利用人工跟踪特征，而是可以利用工件144的部分或相关部件，其处于通常不易受噪声影响的位置，包括与由自然力引起的移动相关联的噪声，而不是工件144的其他部分。

关于自然跟踪特征，这样的特征可以包括但不限于在机器人106的实际操作期间在部件将沿着工件144定位，接触，移动和/或识别的位置处或周围的工件144的特征。例如，图4提供了工件144中的侧孔152形式的自然跟踪特征的一个示例。因此，自然跟踪特征可以与机器人106的实际预期用途有关，例如定位将涉及组装操作的相对小的孔。因此，鉴于至少尺寸、位置和/或配置，除了其他因素之外，自然跟踪特征可以固有地更容易受到比人工跟踪特征相对更高水平的噪声的影响。由于这种相对较高水平的噪声可能不利地影响由传感器132获得的信息的可靠性，所以可以在组装过程的与自然跟踪特征不同的阶段期间使用人工跟踪特征。

力传感器134可以被配置为在组装过程期间感测(多个)接触力，诸如例如机器人106、端部执行器108和/或由机器人106与工件144和/或机器人站102内的其他部件或结构保持的部件之间的接触力。来自(多个)力传感器134的这种信息可以例如由融合控制器140与由视觉引导系统114提供的信息(包括例如在处理跟踪特征的图像中得到的信息)组合或集成，使得机器人106在工件144的组装期间的移动至少部分地由传感器融合来引导。

图2示出了示例性机器人站102的示意图，通过该机器人站102，由自动化的或自动引导车辆(AGV)138移动呈车身形式的工件144，并且该机器人站102包括机器人106，机器人106安装到机器人基座142，机器人基座142可沿着轨道130或移动平台(诸如AGV 138)或由轨道130或移动平台(诸如AGV 138)移动。虽然出于说明的目的，在图2中描绘的示例性机器人站102被示出为具有或接近工件144和相关联的AGV 138，但是机器人站102可以具有各种其他布置和元件，并且可以在各种其他制造、组装和/或自动化过程中使用。另外，虽然图1和图3中描绘的示例示出了单个机器人站102，但是根据其他实施例，机器人站102可以包括多个机器人站102，每个站102具有一个或多个机器人106。所示的机器人站102还可以包括一个或多个AGV 138、供应线路或输送机、感应输送机和/或一个或多个分拣传送机，或者与一个或多个AGV 138、供应线路或输送机、感应输送机和/或一个或多个分拣传送机结合操作。根据所示实施例，AGV 138可以相对于一个或多个机器人站102定位和操作，以便运输例如可以接收或以其他方式与机器人106的操作组装或以其他方式包括一个或多个部件的工件144。例如，关于其中工件144是车身或车辆的实施例，这样的部件可以包括门组件、驾驶舱组件和座椅组件以及其他类型的组件和部件。

类似地，根据所示实施例，轨道130可以相对于一个或多个机器人106定位和操作，以便于由(多个)机器人106将部件组装到经由AGV 138移动的(多个)工件144。此外，可以操作轨道130或移动平台(诸如AGV、机器人基座142和/或机器人)，使得机器人106以至少大体上遵循AGV 138的移动并且因此(多个)工件144在AGV138上的移动的方式移动。此外，如前所述，机器人106的这种移动还可以包括至少部分地由视觉引导系统114、一个或多个力传感器134以及其他传感器132提供的信息引导的移动。

图5示出了根据本申请的实施例的用于机器人系统100的视觉对象跟踪的过程200。本申请中针对所有过程示出的操作被理解为仅是示例，并且操作可以被组合或划分，并且被添加或移除，以及整体或部分地重新排序，除非明确地相反地陈述。过程200可以包括使用安装到机器人106的视觉设备114a。在步骤202处，该过程可以开始于组装循环的开始，例如组装循环，在组装循环中，机器人106将部件(诸如，例如，车门)附接到工件144，例如，车身。在步骤204处，可以监测机器人106的位置和取向(统称为位置)。根据某些实施例，监测机器人106的位置可以包括跟踪机器人106的移动，标识定位位置，例如机器人106的坐标，以及测量机器人106的线性、角度和/或旋转位移的程度，以及跟踪机器人106的移动的其他方式。此外，根据至少某些实施例，机器人106的监测通常可以至少在组装循环的持续时间来发生。此外，机器人106的位置可以相对于一个或多个参考位置，包括例如机器人站102中的参考点以及其他位置。

根据这样的实施例，视觉设备114a的位置也可以是已知的和/或确定的。例如，当视觉设备114a安装到机器人106时，视觉设备114a的位置或视觉设备114a安装到机器人106的位置可以至少最初相对于机器人106的参考位置是已知的。因此，通过至少知道机器人106的位置，包括例如机器人106从例如在步骤204处获得的信息的取向和位置，视觉设备114a的对应位置可以至少相对于机器人106计算或以其他方式确定。此类信息还可类似地用于确定视觉设备114a相对于其它可能参考位置(例如，机器人站102中的参考位置)的位置，所述参考位置也可充当至少机器人106的参考点，如先前所论述。

在步骤206处，安装到机器人106的视觉设备114a可以在工件144沿着AGV 138移动时跟踪跟踪特征150、152的移动。如前所述，跟踪特征150、152可以是或可以不是人工或自然跟踪特征150、152，并且因此可以是工件144的一部分、在工件144上和/或围绕工件144，因为工件144通常在组装期间(例如沿着AGV 138)连续地移动。

在与过程200相关联的组装期间，可能出现(多个)实例，其中噪声利用视觉设备114a的能力推断以准确地捕获跟踪特征150、152和/或以足够的清晰度捕获跟踪特征150、152。例如，在某些时间，阴影可以出现在跟踪特征150、152上，跟踪特征150、152可以穿过其中照明不足的区域，和/或工件144和/或机器人可以以可能干扰视觉设备114a检测跟踪特征150、152的能力的方式在其他形式的噪声中振动，和/或以捕获的图像中的足够的分辨率或清晰度检测跟踪特征150、152。传统上，在不能够检测跟踪特征150、152的情况下，机器人106可能无法确定要在何处移动，和/或在何处移动机器人106正在(或将)组装到工件144的部件，这因此可以导致机器人106的停止以及组装过程的至少临时故障。

根据所说明的实施例，在步骤208处检测到对跟踪特征150、152的视觉跟踪的干扰时，在步骤210处，可使用关于跟踪特征150、152和/或相关联的工件144的移动的历史信息来预测跟踪特征150、152的位置。例如，根据某些实施例，视觉引导系统114或机器人系统100的另一控制器或系统可以至少在或刚好在干扰发生之前记录关于跟踪特征150、152和/或工件144的位置的信息。另外，可以在组装过程期间记录关于跟踪特征150、152和/或工件144的移动的信息，包括关于当工件144沿着AGV 138移动时当前工件144的移动的速度和/或加速度/减速度的信息。视觉引导系统114或机器人系统100的另一控制器或系统可使用此类信息，例如，经由使用算法来预测工件144的当前位置和/或工件144将到达的位置。此外，通过知晓跟踪特征150、152在工件144上或相对于工件144的物理位置，关于工件144的移动和/或位置的信息可用于确定或计算用于跟踪特征150、152的类似信息。备选地或可选地，先前的历史信息还可以包括在先前组装循环期间获得的信息，该信息与的先前跟踪特征150、152的实际位置有关，在大体上相同的实际位置处步骤210正在寻求预测(多个)当前工件144的跟踪特征150、152。

此外，根据其中预测位置是跟踪特征150、152的未来位置的实施例，干扰发生的时间和与跟踪特征150、152的预测位置相关联的时间段之间的持续时间可以相对较小。此外，所选择的持续时间可以至少基于最小化机器人106不确定机器人106应当移动(多个)方向的可能性的尝试，并且由此至少尝试避免可能导致组装过程的相关联停止的机器人106中的停止。

使用在步骤204和210处获得的至少信息，在步骤212处，视觉引导系统114或机器人系统100的另一控制器或系统可以相对于视觉设备114a预测工件144的位置，并且此外，预测工件144的被跟踪的部分的位置。这样的预测可以包括例如工件144或其被跟踪的一部分相对于视觉设备114a的相对三维位置、速度和/或加速度/减速度。此外，在步骤212处的这种(多个)预测可以以各种方式获得，包括例如经由算法、建模、机器学习和/或深度学习，以及获得这种(多个)预测的其他方式。

在步骤214从步骤212的预测信息(例如，跟踪装置114a相对于工件144或其被跟踪的一部分的预测三维位置)以及其它信息(包含例如跟踪特征150、152在工件144上或相对于工件144的已知物理位置)可用于预测跟踪特征150、152将在由视觉设备114a捕获的图像(例如，如图3和4中所示的所捕获图像154、156)中被捕获或被看到的位置。此外，在已知或确定视觉设备114a的位置的情况下，视觉引导系统114通常还可以知道或计算在由视觉设备114a捕获的(多个)图像154、156中看到的机器人站102中的特征的位置。因此，通过知道视觉设备114a的预测位置，还可以预测在视觉设备114a将处于预测位置时将由视觉设备114a捕获的(多个)图像154、156中看到的区域的位置。因此，通过具有跟踪特征150、152的预测位置，并且通过知道视觉设备114a的对应预测位置，还可以预测跟踪特征154、156将位于将由视觉设备114a捕获的(多个)图像154、156中的位置。因此，例如，步骤214处的预测位置可以小于捕获图像154、156中看到的整个区域或区间的捕获图像154、156中的区域或区间。

通过限制所捕获的(多个)图像154、156的区域或区间，其要被检查以用于检测跟踪特征150、152，可以增加跟踪特征150、152可以检测和/或定位在所捕获的(多个)图像154、156中的速度。此外，在定位跟踪特征150、152时限制将被检查的所捕获的(多个)图像154、156的区域的大小可以减少来自视觉引导系统114或其他控制器或系统要处理的所捕获的(多个)图像154、156的数据量和信息。另外，跟踪工件144相对于视觉设备114a的预测的三维位置可(例如)用于作为工件144的初始姿态以允许工件144的相对快速且稳健的三维姿态估计，其可基于可由视觉设备114a捕获在所捕获的(多个)图像中的二维跟踪特征150、152来计算工件144的三维位置和取向。另外，如果跟踪特征150、152目前不在视觉设备114a的视野中，则前述信息可以向视觉引导系统114提供可以用于相对快速地确定视觉设备114a将被移动的位置的信息，从而允许视觉引导系统114和/或视觉设备114a的相对快速且稳健的操作。

如果在步骤216处确定跟踪特征150、152已经成功地位于所捕获的图像154、156中，则视觉设备114a可以继续跟踪跟踪特征，并且组件可以在步骤218处朝向完成前进。另外，在步骤218处，可以使用在步骤212处可以获得的跟踪工件144相对于视觉设备114a的预测的三维位置、速度和/或加速度/减速度来引导安装在机器人106上的视觉设备114a的移动，以在组装期间将跟踪特征150、152保持在视觉设备114a的视场(FOV)内。然而，如果在步骤220处确定跟踪特征尚未被定位，则在预定阈值之后，诸如例如预定时间段的期满和/或预定次数的不成功尝试之后，至少将机器人106上的视觉设备114a移动到跟踪特征150、152出现在视觉设备114a的FOV中的位置，并且将跟踪特征150、152定位在所捕获的图像154、156内，则在步骤222处，组装过程可以至少暂时停止或中断。

图6示出了根据本申请的实施例的用于机器人系统的视觉对象跟踪的另一过程。过程300可以包括使用安装到机器人106的第一视觉设备114a以及相对于至少第一视觉设备114a在大致静态位置处安装的第二视觉设备114b。例如，根据某些实施例，第二视觉设备114b可以安装到机器人站102的车顶、天花板、地面、基部或地板表面或壁。或者，第二视觉设备114b可安装到安装机器人106的基座142。因此，第二视觉设备114b的位置通常可以是已知的，并且在组装过程期间保持静止。此外，第二视觉设备114b可以定位在机器人站102内的各种不同位置处，包括例如在第二视觉设备114b可以将由第二视觉设备114b跟踪的跟踪特征150、152保持在第二视觉设备114b的视场(FOV)内的位置处。然而，备选地，根据其他实施例，不是使用要保持在第二视觉设备114b的FOV中的跟踪特征150、152，其他实施例可以利用视觉标尺，诸如例如QR码带，当跟踪特征150、152移动时，该QR码带提供关于跟踪特征150、152的当前位置的(多个)参考点。

在步骤302处，该过程可以开始于组装循环的开始，例如组装循环，其中机器人106将部件(诸如例如车门)附接到工件144。类似于上文关于图5所论述的过程200的步骤204及206，在过程300的步骤304及306处，可监测机器人106的位置及取向(统称为位置)，且安装到机器人106的第一视觉设备114a可在工件144沿着AGV 138移动时跟踪跟踪特征150、152的移动。另外，如上文关于过程200所论述，当第一视觉设备114a在相对于机器人106的已知位置处安装到机器人106时，通过经由至少步骤304至少知道机器人106的位置，可计算或以其它方式确定视觉设备114a的对应位置。使用这样的信息，可以例如由视觉引导系统114或机器人系统100的另一控制器或系统使用由视觉设备114a捕获在一个或多个图像154、156中的信息或数据，来确定或计算由第一视觉设备114a跟踪的跟踪特征150、152的位置。这样的信息也可以用于确定相关联的工件144的位置。

在步骤308处，第二静态视觉设备114b还可跟踪关于工件144的跟踪特征150、152。根据某些实施例，由第二视觉设备114b跟踪的跟踪特征150、152可以是与由第一视觉设备114a跟踪的跟踪特征150、152相同的特征。类似于第一视觉设备114a，由第二视觉设备114b捕获的一个或多个图像154、156在跟踪跟踪特征150、152时获得的数据或信息可用于还确定跟踪特征150、152的位置。

在步骤310，当跟踪相同的跟踪特征150、152时，由第一视觉设备114a和第二视觉设备114b获得的信息或数据可以被组合以确定在一个或多个已知坐标处的跟踪特征150、152的隔离的三维(3D)姿态、和/或在相对于第一视觉设备114a和/或第二视觉设备114b的一个或多个坐标处的跟踪特征150、152的隔离的三维(3D)姿态。此类坐标可包含(例如但不限于)机器人站102(x、y、z)和/或机器人106(rx、ry、rz)内的位置的一般坐标以及其它坐标。例如，当第一视觉设备114a和第二视觉设备114b处于不同位置时，跟踪特征150、152的图像154、156可以同时来自不同的和已知的位置和/或视角，并且因此提供可以由视觉引导系统114或机器人系统100的另一控制器或系统使用以得到跟踪特征150、152的三维姿态的不同信息。此外，由于第一视觉设备114a和第二视觉设备114b的位置是已知的，如上文所论述，可相对于第一视觉设备114a和第二视觉设备114b的位置(包含例如坐标)确定跟踪特征150、152的这样的三维姿态。

如先前所讨论的，在这样的组装过程期间，随着工件144连续地移动，可能出现(多个)实例，其中噪声利用视觉设备114a、114b的能力推断以捕获跟踪特征150、152和/或以足够的清晰度捕获跟踪特征150、152。因此，在步骤312处检测到由跟踪特征150、152的第一视觉设备114a和第二视觉设备114b对视觉跟踪的干扰时，在步骤314处，可使用关于跟踪特征150、152和/或相关联的工件144的移动的历史信息来预测跟踪特征150、152的位置。

例如，根据某些实施例，视觉引导系统114或机器人系统100的另一控制器或系统可以至少在或刚好在干扰发生之前记录关于跟踪特征150、152和/或工件144的位置的信息。另外，可以在组装过程300期间记录关于跟踪特征150、152和/或工件144的移动的信息，包括关于当工件144沿着AGV 138移动时当前工件144的移动的速度和/或加速度/减速度的信息。视觉引导系统114或机器人系统100的另一控制器或系统可以使用这样的信息来预测工件144的当前位置和/或工件144在工件144连续移动时将到达的位置。

此外，工件144和/或跟踪特征150、152的预测位置可用于预测针对姿态的当前和未来坐标，其鉴于相关联的工件144的连续移动在步骤310处被确定。例如，如前所述，相对于跟踪特征154、156和/或工件144的位置，姿态的坐标通常可以是已知的。因此，跟踪特征154、156和/或工件144的预测位置也可用于预测姿态的对应坐标。

基于前述第一视觉设备114a和/或静态第二视觉设备114b的位置(包括坐标)可以相对于工件144和/或跟踪特征154、156的(多个)预测位置是已知的。另外，当跟踪特征150、152可以定位在工件144上或工件144周围时，在已知的相对位置处，跟踪特征150、152相对于工件144的三维姿态的位置也可以是已知的。此外，第一视觉设备114a和第二视觉设备114b的位置的知识可以包括视觉设备114a、114b的视场内的特征的位置的知识。

因此在步骤316处，利用此类信息，视觉引导系统114或机器人系统100的另一控制器或系统可预测来自第一视觉设备114a和/或第二视觉设备114b的所捕获的(多个)图像154、156内的可预期定位姿态的区域的特定部分。因此，这样的预测区域可以小于在(多个)图像154、156中捕获的整个区域，从而减少来自所捕获的(多个)图像154、156的数据和信息的量，视觉引导系统114或其他控制器或系统将结合在所捕获的(多个)图像154、156中定位跟踪特征150、152来处理该数据和信息。

在步骤318处，使用预期在所捕获的(多个)图像154、156中找到姿态的预测位置，视觉引导系统114可以继续定位图像154、156中的姿态。一旦姿态被定位，则在步骤320处，过程300可以在组装过程期间继续跟踪跟踪特征150、152。另外，跟踪工件144相对于视觉设备114a的预测三维位置可用作工件144的初始姿态，其可允许工件144的相对快速且稳健的三维姿态估计，且其辅助基于所捕获的图像154、156中的三维跟踪特征150、152来计算工件144的三维位置及取向。

图7根据本申请的实施例示出了用于机器人系统100的视觉对象跟踪的另一过程400。类似于上文关于图6所论述的过程300，图7中所描绘的过程400可包含第一视觉设备114a和第二视觉设备114b，第一视觉设备114a在相对于机器人106的已知位置处安装到机器人106，第二视觉设备114b保持在相对静态的位置处。在步骤402处，可开始组装，且如同先前过程200、300一样，可在步骤404处监测机器人106的移动(包括机器人106的位置)。再次，如上文关于其它过程200、300所论述，机器人106的移动的这种监测可用于至少确定第一视觉设备114a的位置。

此外，根据所示实施例，在步骤406期间，当工件144在组装期间中通常连续移动，例如，经由AGV 138的操作，被安装到机器人106的第一视觉设备114a可以跟踪自然跟踪特征151，例如工件144(图4)中在当前组装中使用的孔，例如，结合将门附接到工件144的机器人。因此，自然跟踪特征152的位置可以相对于工件144的位置是已知的。

类似地，在步骤408处，当工件144在组装期间移动时，静态第二视觉设备114b可跟踪人工跟踪特征150，例如安装到工件144、AGV138或机器人站102中的其它位置上或周围的QR码(图4)。此外，根据所示实施例，人工跟踪特征150可以位于相对远离或远离自然跟踪特征152的位置处。

如前所述，在至少一些组装操作期间，或者在某些情况下，噪声可能干扰第一视觉设备114a检测自然跟踪特征152的能力。实际上，如先前所讨论的，与人工跟踪特征150相比，自然跟踪特征152通常可以更容易受到噪声的影响，这因此可以导致自然跟踪特征152通常比人工跟踪特征150更难以跟踪。因此，如果确定噪声干扰第一视觉设备114a能够或能够准确地跟踪和/或检测自然跟踪特征152，那么在步骤412处，可预测工件144的位置。工件144的位置的此预测可以类似于上文关于图5中所说明的过程200的至少步骤210所论述的方式获得。此外，类似于步骤210，在步骤212处对工件144的位置的预测可以包括使用工件144的历史移动以及关于在当前组装期间工件144的速度和加速度/减速度记录的信息。

在步骤414处，使用工件144的预测位置(如在步骤412处确定的)和来自第二视觉设备114b的关于人工跟踪特征150的当前位置的信息，视觉引导系统114或机器人系统100的另一控制器或系统可以预测自然跟踪特征150的位置。例如，根据某些实施例，工件144相对于人工跟踪特征150的已知位置的预测位置可以用于得到人工跟踪特征150的预测位置。

使用人工跟踪特征150的预测位置，在步骤416，系统可以尝试定位自然跟踪特征152。例如，根据某些实施例，人工跟踪特征150的预测位置可用于确定将机器人106以及安装到机器人106的第一视觉装置114a移动到自然跟踪特征152被预测为由第一视觉装置114a在(多个)图像156中捕获的位置的命令。备选地或附加地，基于机器人106的移动，使用关于人工跟踪特征150的预测位置的信息，第一视觉装置114a的预测位置可以提供预期在捕获图像156中看到自然跟踪特征152的位置，从而潜在地减少将结合尝试定位自然跟踪特征152来分析的捕获的图像156的区域。在使用第一视觉设备114a检测自然跟踪特征152时，过程300可以在步骤418处继续，其中在组装过程朝向完成前进时，第一视觉设备114a恢复跟踪自然跟踪特征152。

虽然已经结合目前被认为是最实用和优选的实施例描述了本发明，但是应当理解，本发明不限于所公开的实施例，而是相反，本发明旨在覆盖包括在所附权利要求的精神和范围内的各种修改和等同布置，该范围应被赋予最宽泛的解释，以便包含法律允许的所有这样的修改和等同结构。此外，应当理解，虽然在上面的描述中优选、优选地或优选的词语的使用指示如此描述的特征可以是更期望的，但是它可能不是必需的，并且缺少该特征的任何实施例可以被设想为在本发明的范围内，该范围由所附权利要求限定。在阅读权利要求时，意图是当使用诸如“一”、“一个”、“至少一个”和“至少一部分”的词语时，不意图将权利要求限制为仅一个项目，除非在权利要求中明确地相反陈述。此外，当使用语言“至少一部分”和/或“一部分”时，该项目可以包括一部分和/或整个项目，除非特别声明。

Claims (20)

1.一种方法，包括:

监测机器人的移动；

使用被安装到所述机器人的视觉设备来跟踪工件的跟踪特征的位置；

当所述跟踪特征移动时，预测所述跟踪特征相对于所述视觉设备的位置；

至少使用所述跟踪特征相对于所述视觉设备的所预测的所述位置来预测捕获位置，在所述捕获位置处所述跟踪特征将位于由所述视觉设备捕获的一个或多个图像内；以及

使用所预测的所述捕获位置来检测所述一个或多个图像内的所述跟踪特征。

2.根据权利要求1所述的方法，其中预测所述捕获位置还包括：使用所述机器人的所监测的所述移动和所述跟踪特征的所预测的所述位置，来确定所述视觉设备相对于所述跟踪特征的三维位置。

3.根据权利要求1所述的方法，还包括在所述跟踪特征正在移动时检测对所述跟踪特征的跟踪中的干扰的步骤，并且其中预测所述跟踪特征的所述位置响应于所检测的所述干扰。

4.根据权利要求1所述的方法，其中预测所述跟踪特征的所述位置包括：

至少使用关于所述工件的位置、所述工件的移动的速度以及所述工件的加速度或减速度的历史工件移动信息，来预测所述工件的位置；以及

至少使用所述工件的所预测的所述位置来确定所述跟踪特征的所预测的所述位置。

5.根据权利要求4所述的方法，其中预测所述跟踪特征的所述位置包括：使用从先前工件被获得的历史跟踪信息来确定所述跟踪特征的所预测的位置。

6.根据权利要求1所述的方法，其中所预测的所述捕获位置仅位于在所述一个或多个图像中被捕获的视场的一部分内。

7.根据权利要求1所述的方法，其中检测所预测的所述捕获位置中的所述跟踪特征包括：针对所述跟踪特征仅搜索所述一个或多个图像中的一部分，所预测的所述捕获位置位于所述一个或多个图像中的所述一部分。

8.根据权利要求1所述的方法，其中跟踪的步骤由第一视觉设备执行，并且所述跟踪特征是自然跟踪特征，其中所述方法还包括：

由第二视觉设备跟踪所述工件的人工跟踪特征；

在所述工件正在移动时，检测对所述自然跟踪特征的所述跟踪的干扰；

使用历史工件移动信息来预测正在移动的所述工件的位置；以及

其中预测所述跟踪特征的所述位置的步骤包括：至少使用所述工件的所预测的所述位置和来自对所述人工跟踪特征的所述跟踪的信息，来预测所述自然跟踪特征的位置。

9.一种方法，包括:

监测机器人的移动；

使用机器人的所监测的所述移动来确定被安装到所述机器人的视觉设备的位置；

当工件移动时，使用所述视觉设备来跟踪所述工件的跟踪特征的位置；

响应于所述跟踪特征的所述跟踪中的干扰，至少使用所述工件和所述跟踪特征中的至少一者的移动信息来预测所述跟踪特征相对于所述视觉设备的位置；

至少使用所述跟踪特征的所预测的所述位置和所述视觉设备的所确定的所述位置，来预测捕获位置，在所述捕获位置处所述跟踪特征将位于由所述视觉设备捕获的一个或多个图像内；以及

使用所预测的所述捕获位置来检测所述一个或多个图像内的所述跟踪特征。

10.根据权利要求9所述的方法，还包括：在所述工件的移动期间检测所述跟踪特征的所述跟踪中的所述干扰。

11.根据权利要求9所述的方法，其中所述工件的移动的信息至少包括关于以下各项的历史工件移动信息：所述工件的位置、所述工件的移动的速度、以及所述工件的加速度或减速度。

12.根据权利要求9所述的方法，其中所述跟踪的移动的信息至少包括关于以下各项的历史跟踪特征移动信息：所述跟踪特征的位置、所述跟踪特征的移动的速度、以及所述跟踪特征的加速度或减速度。

13.根据权利要求9所述的方法，其中预测所述跟踪特征的所述位置的步骤还使用来自先前工件和先前跟踪特征中的至少一者的历史移动信息。

14.根据权利要求9所述的方法，其中所预测的所述捕获位置仅位于在所述一个或多个图像中被捕获的视场的一部分内。

15.根据权利要求9所述的方法，其中检测所预测的所述捕获位置中的所述跟踪特征包括：针对所述跟踪特征仅搜索所述一个或多个图像中的一部分，所预测的所述捕获位置位于所述一个或多个图像中的所述一部分。

16.根据权利要求9所述的方法，其中所述跟踪特征是自然跟踪特征或人工跟踪特征。

17.根据权利要求9所述的方法，其中跟踪的步骤由第一视觉设备执行，并且所述跟踪特征是自然跟踪特征，其中所述方法还包括：

由第二视觉设备跟踪所述工件的人工跟踪特征；

在所述工件正在移动时，检测对所述自然跟踪特征的所述跟踪的干扰；

使用历史工件移动信息来预测正在移动的所述工件的位置；以及

其中预测所述自然跟踪特征的所述位置包括：至少使用所述工件的所预测的所述位置和来自对所述人工跟踪特征的所述跟踪的信息，来预测所述自然跟踪特征的位置。

18.一种方法，包括:

监测机器人的移动；

使用被安装到所述机器人的第一视觉设备来跟踪工件的跟踪特征；

使用第二视觉设备来跟踪所述跟踪特征，所述第二视觉设备处于相对静态的位置；

将由所述第一视觉设备和所述第二视觉设备两者从跟踪所述跟踪特征获得的跟踪信息进行组合；

至少使用所组合的所述跟踪信息来生成所述跟踪特征的姿态，所述姿态以三维方式而被生成；

当所述跟踪特征移动时，预测所述姿态的位置，所预测的所述位置提供针对所述姿态的预测坐标；

至少使用所述姿态的所预测的所述位置和所述机器人的所监测的所述移动，来预测捕获位置，在所述捕获位置处所述姿态将位于由所述第一视觉设备捕获的一个或多个图像内；以及

使用所预测的所述捕获位置来检测所述一个或多个图像内的所述姿态。

19.根据权利要求18所述的方法，其中预测所述捕获位置还包括：使用所述机器人的所监测的所述移动，来确定被安装到所述机器人的所述第一视觉设备的相对于所述跟踪特征的位置。

20.根据权利要求19所述的方法，还包括在所述跟踪特征正在移动时检测所述跟踪特征的至少所述第一视觉设备跟踪中的干扰的步骤，并且其中预测所述姿态的位置响应于所检测的所述干扰。

Images