CN102414696A - 物体学习机器人和方法 - Google Patents

Abstract

本发明涉及一种物体学习机器人以及相应的方法。机器人包括：夹子（14），其用于把要被学习的物体（11）握到该机器人（10）；光学系统（16），其具有用于将物体（11）引导至该机器人（10）并且用于观察夹子（14）和被夹子（14）握住的物体（11）的视场；输入设备（26），其用于向该机器人（10）提供要被学习的物体的物体特性；控制器（24），其用于根据预定移动模式来控制夹子（14）的运动；以及图像处理装置（28），其用于分析从光学系统（16）获得的图像数据从而识别与物体特性相关联的物体（11）。这使得机器人即使在没有用于学习的离线时期的情况下也能够在动态环境中学习新物体的特性。

Description

物体学习机器人和方法

技术领域

本发明涉及一种物体学习机器人以及相应的方法。

背景技术

物体辨识是一个在视觉研究中被广泛研习的主题。进行物体辨识的方法包括呈现出一个物体的多个图像，从而使得算法能够学习区别特征。这通常是“离线”进行的，即之前已经进行了图像的呈现，并且在使用期间没有适配或“学习”。

厨房辅助机器人臂可以从/向架子、碗橱、电冰箱、烤箱、操作台面、洗碗机等拾取和放置物体。此外，这种机器人臂可以清洁工作台面、切菜、清洗盘子、准备新鲜饮料等。然而，现有的机器人具有影响其有用性的许多限制。

现有的机器人物体学习系统包括向该机器人呈现出一个物体的多个图像，从而使得操作该机器人的算法能够学习在各个图像中物体的区别特征。这个过程通常是在机器人离线时完成的，即，在该机器人没有在运行或者没有被用于其他任务时完成的。

JP 2005-148851 A公开了一种用于学习物体的机器人设备和方法，其公开了操作的物体学习阶段和物体辨识阶段两者。此外，该文献还公开了机器人需要与用户对话并且公开了为了这种对话而提供的语音输出装置。

发明内容

本发明的一个目的在于提供一种在动态环境下学习新物体的特性的物体学习机器人以及相应的方法，而不需要用于学习的离线时期。

本发明的另一个目的在于提供一种在将物体示出给机器人时允许该机器人学习该物体的物体学习机器人以及相应的方法。

在本发明的第一方面中，提出一种物体学习机器人，其包括

夹子，其用于把要被学习的物体握到该机器人；

光学系统，其具有用于将物体引导至该机器人并且用于观察夹子和被夹子握住的物体的视场；

输入设备，其用于向该机器人提供要被学习的物体的物体特性；

控制器，其用于根据预定移动模式来控制夹子的运动；以及

图像处理装置，其用于分析从光学系统获得的图像数据从而识别与物体特性相关联的物体。

在本发明的另一个方面中，提出一种用于物体学习机器人的方法，该方法包括步骤：

将要被学习的物体引导在机器人的光学系统的视场中以便向该机器人表示要学习该物体；

利用机器人的输入设备向机器人（10）提供与要被学习的物体对应的物体特性；

在机器人的夹子中握住要被学习的物体；

根据预定移动模式来控制夹子和要被学习的物体的运动；以及

分析从光学系统获得的图像数据从而识别与物体特性相关联的物体。

本发明的设备和方法提供了这样的优点，即，在没有等待或启动离线教育时期的情况下遇见新物体时可以教导机器人这些新物体的特性。另外，具有这样一种用于向物体学习机器人教导新物体的物体学习机器人以及相应方法是有利的，即，其允许在机器人运行并且不打断正常工作流程的同时向机器人教导新物体。此外，本发明提供了这样的优点，即，向物体学习机器人教导新物体不需要机器人口头地启动学习过程，而是由机器人的操作者通过以规则的或摆动的方式在机器人的视场中呈现要被学习的物体来启动学习过程。因此，例如通知机器人在运行中（on-the-fly）开始学习过程的简单的非口头信号足够用于启动学习阶段。这可以在任何时间进行而不必进行安排。

此外，物体学习机器人和方法包括指引夹子和要被学习的物体的预定移动模式的控制器以便能够快速地确定要被学习的物体的视觉特征是有利的。

为了通过向物体学习机器人呈现物体而执行在线学习，机器人“可以被告知”哪些物体是要被辨识的物体的示例是必要的。因此，具有这样一种物体学习机器人以及相应的方法也是有利的，即，其允许在运行中识别要被学习的物体，从而使得机器人能够知道在其上集中了其注意力的感兴趣物体的名称或特性。

所公开的机器人和方法可以被在线或离线使用，但是提供了现有技术所未知的创造性特征。机器人和方法并不是简单地比较两个静态图像，而是比较一系列图像（比如来自光学系统的活动影像（view））。这种布置提供了几个优点：物体分割为一系列图像，以便从多个视角来观看感兴趣的物体以得到其特征的更完整、全面的影像；更高的可靠性，对于物体教导期间的变化的照明状况更加不敏感且不对其依赖；更快的方法，其无需之前/之后的比较，这是因为可以使用来自全部图像的信息；没有从机器人到用户的语音命令，用户只需将物体递给机器人；并因此该方法也更加直观。

根据一个实施例，夹子安装在机器人的臂上。这提供了可以使得臂和夹子的运动范围与人的运动范围相类似的优点。这简化了需要在具有和操作机器人中所进行的适应性调节。

根据另一个实施例，光学系统安装在机器人的臂上。这提供了这样的优点，即，依赖于摄像机在臂上的精确放置，臂的运动与摄像机的运动将是相似的或者甚至是一致的。这简化了与对下列事物进行识别有关的算法：夹子、夹子中的要被学习的物体以及在机器人的学习期间无关紧要的背景信息。更具体而言，当图像序列（例如，用于识别与物体特性相关联的物体的从光学系统获得的图像数据）随着时间被整合时，背景会变得模糊或不清楚，而感兴趣的物体（或许还有机器人臂自身）不会变得模糊。可替换地，由于包括夹子的臂的顺应性或其他机械不完整性，任何模糊会很小。

根据又一个实施例，光学系统包括两个或更多摄像机，优选地将摄像机安装在机器人臂上。这提供了向算法提供关于要被学习的物体多个方面和细节的详细三维信息的立体图像的优点。

根据一个另外的实施例，图像处理装置被适配成用于辨识物体在视场中的规则的或摆动的运动，通过该视场将物体引导至机器人的光学系统。以此方式，机器人可以被告知开始学习阶段。

根据另一个实施例，光学系统提供包括固定像素、移动像素、已知像素和未知像素的整体图像。有利地，将关于夹子及其方向以及夹子中的要被学习的物体和背景图像的信息提供给机器人。从而可以分别地识别并处理图像的每个部分。这提供了可以快速并有效地执行图像分割的优点。也就是说，容易地识别感兴趣的区域/物体以及属于该感兴趣的区域/物体的像素。以直观、优雅并稳健的方式解决了分割问题，并且作为附带的优点，根据抓取方法、物体的顺应性等可以学习关于物体的另外的信息。

根据另一个实施例，图像处理装置被适配成根据预定移动模式指引夹子和要被机器人学习的物体的移动。预定移动模式包括已知的移动和操纵模式（例如平移和旋转），并且提供对要被学习的物体、夹子和背景图像信息彼此进行区分的手段。

根据另一个实施例，图像处理装置被适配成监视夹子的位置和移动。因此，因为在整体图像中看见了（具有已知形式/图像的）夹子，所以可以确定夹子的位置和移动。

根据又一个实施例，图像处理装置被适配成确定要被学习的物体的形状、颜色和/或质地。控制器指引夹子和被夹子握住的要被学习的物体的移动。从而，图像处理装置能够确定夹子中的要被学习的物体的各种参数和特征，这是因为能够得知整体图像的哪些部分是夹子并因此能够相应地消除那些部分，以便能够感测并测量要被学习的物体。

根据另一个实施例，来自光学系统的整体图像包括属于夹子的像素。控制器指引夹子的移动，并且根据该指引的移动而得知夹子的位置和方向。因此，能够知道整体图像中的哪些像素与夹子相关联。从而容易地从整体图像识别并忽略或移除并不是要被学习的物体的夹子，以便在整体图像中保留更少量的不相关信息。

根据又一个实施例，图像处理装置被适配成从整体图像中减去属于夹子的像素以建立剩余图像。这提供了在随后的分析中处理和识别更少量的像素的优点。以此方式，夹子的视觉特征没有与感兴趣的物体相关联。

根据另一个实施例，图像处理装置被适配成检测包括物体像素和背景像素的剩余图像。在图像中仅剩余两组像素显著地减少了识别要被学习的物体所需的处理量。

根据随后的实施例，图像处理装置被适配成检测背景像素。因为控制器指引夹子和夹子中的要被学习的物体的移动，所以图像处理装置从整体图像中移除夹子，从而只有剩余图像仅包括要被学习的物体和背景。要被学习的物体展示出与由控制器指引的预定移动模式相关联的移动模式。背景是固定的或者没有展示出根据控制器的或与臂的预定运动相关的运动。因此，容易地从剩余图像识别并移除背景像素，其仅留下要被学习的物体。

根据又一个实施例，图像处理装置被适配成根据预定移动模式来检测物体像素。因为控制器指引夹子和夹子中的要被学习的物体的移动，所以图像处理装置能够从整体图像移除夹子，从而只有剩余图像仅包括要被学习的物体和背景。要被学习的物体展示出与预定移动模式相关联的移动模式。背景是固定的或者没有展示出根据预定移动模式的运动。因此，展示出根据预定移动模式的运动的像素被识别为属于夹子中的物体并因此属于要被学习的物体。

根据另一个实施例，图像处理装置被适配成根据物体像素来识别要被学习的物体。通过对物体像素的识别来实现对物体的识别，当该物体被夹子握住时该物体根据预定移动模式而移动。这样学习的物体随时可被合并入机器人的数据库，其中机器人随时可提供关于该物体的辅助。

根据又一个实施例，机器人包括教导界面，其被适配成监视并存储机器人臂的多个移动。从而，用户可以（例如通过使用远程/触觉界面）控制机器人拾取物体，或者用户可以通过臂来抓住机器人并直接对其进行指导，以教导机器人如何拾取或抓取特定的感兴趣的物体。可以与对物体的识别相关联地合并并存储抓取方法，以便使得随后遇见该物体简化并更有效率（streamline）。这促进了机器人半自动执行任务，并使其更加有帮助。

附图说明

通过参考在下文中描述的各实施例，本发明的这些和其他方面将得以呈现并被说明。在下列附图中：

图1示例说明了根据本发明的一个实施例的物体学习机器人，

图2示例说明了根据本发明的一个实施例的用于针对机器人的物体学习的方法，

图3示例说明了根据本发明的一个实施例的物体学习方法的更多细节，以及

图4示例说明了示出整体像素、背景像素以及包括夹子像素和物体像素的相干像素的可能的影像的示图。

具体实施方式

图1示出了物体学习机器人10的布置。机器人10包括夹子14、光学系统16、输入设备26、控制器24和图像处理装置28。夹子14允许机器人10接受、握住并操纵要被学习的物体11。光学系统16包括用于观察夹子14和任何要被学习的物体11的视场。输入设备26与控制器24通信并允许用户向机器人10识别要被学习的物体11。用于提供物体的特性的输入设备26可以是音频设备（例如麦克风）或者可以是键盘、触摸板或其他用于向机器人10识别物体的设备。用户可以利用输入设备26（例如远程/触觉界面）控制机器人10拾取物体。可替换地，终端用户可以通过臂或夹子14来拿着机器人10并直接对其进行指导，或者可以通过连接至臂22/夹子14的教导界面21来指引机器人10。其中，用户可以教导机器人10抓取或者处理特定的感兴趣物体的特定方式。这给出了另外的优点，即，机器人10可以将抓取方法与感兴趣的物体相关联。

控制器24与夹子14、光学系统16、输入设备26和图像处理装置28通信。控制器24被用于根据预定移动模式（例如平移和旋转）在光学系统16的视场中指引夹子14。图像处理装置28随后分析由光学系统16获取并从其接收的图像数据，以便学习物体并将物体与物体的特性相关联。

控制器24可以包括算法20，其用于指引夹子14和在夹子14中握住的物体的预定运动。然而，可以使用其他硬件和软件布置来实现控制器24。类似地，图像处理装置28可以在（例如微处理器上的）软件、或者硬件、或者两者的混合中实现。

机器人10可以具有特定任务（即，厨房辅助或家庭清洁），并可以根据该目的具有各种附加物或能力。夹子14可以被安装在机器人臂22上。这种布置为机器人10在完成其指定任务方面提供了较宽的运动范围和影响。该布置还与人的手臂和手的布置相类似，并因此可以更易于用户涉及或适应。机器人的另外的应用可以包括（但不限于）人机工程学、距离、安全、为老年人和残疾人给予帮助、以及远距离操作的机器人学。

光学系统16可以被安装在臂22上，并可以进一步包括一个或多个摄像机17、18，其可以被安装在臂22上或安装在机器人10的其他位置上。单个摄像机17可以提供关于夹子14的位置以及要被学习的物体的位置的有用信息，其中采用控制器24和图像处理装置28来观察、分析并学习要被学习的物体11。同时采用两个或更多摄像机17、18（如图1和图3所示），提供给控制器24的夹子14和要被学习的物体11的立体或三维图像关于要被学习的物体11会更加高度详细并且信息丰富。此外，使得光学系统16安装到臂22提供了这样的优点，即，在光学系统16与要被学习的物体11之间具有更少可能的运动变化，控制器24与图像处理装置28将需要对这些运动变化进行计算和调整。与头部安装的光学系统相比，这种布置由于其简单性而有利，并且由于控制器24和图像处理装置28更加简单的需求，因此使得对于夹子14和要被学习的物体11的观察更加迅速。光学系统16的摄像机17、18可以是可移动的（手动地或者由控制器24来指引），以适应各种臂位置和物体尺寸。

图2示出了用于物体学习机器人的方法。图3示出了物体学习机器人10与相应的方法的集成，该方法包括在步骤30中，将要被学习的物体11引导在机器人10的光学系统16的视场中以向该机器人10表示要学习该物体11。可以利用规则的或摆动的运动来向机器人10引导物体11。接下来，步骤32，利用机器人10的输入设备26向机器人10提供与物体11对应的物体特性。这个步骤可以通过向机器人10口头陈述物体的名称来实现，或者通过经由机器人10上的或与之通信的键盘或其他输入设备输入该物体的代码或名称来实现。用于物体学习的方法还包括，步骤34，在机器人10的夹子14中接受并握住物体。此时，机器人10接管学习过程，例如通过在步骤30中以规则的或摆动的方式在机器人的视场中移动物体并在步骤32中向机器人10识别该物体而已经进行了通知来开始学习过程。当然，也可以以其他方式来通知学习阶段的开始，例如通过经由输入设备26给出相应的命令。

接下来，步骤36，机器人10根据依照控制器24（其与夹子14通信）的预定移动模式来控制夹子14和物体11的运动。控制器24指引夹子14和物体11的计划的或预定的移动模式以便尽可能多地有效地观看物体。这使得对物体11的详细分析成为可能。接下来，步骤38，机器人10的光学系统16观察物体以建立整体图像P_O。光学系统16观看夹子14和被夹子14握住的物体11。最后，步骤40，图像处理装置28分析物体11的整体图像P_O以便与之前提供的物体特性相关联。

控制器24指引夹子14的运动。从而，夹子14中的任何物体11都根据由控制器24指引的预定移动模式而移动。通过控制器24的这种预定移动模式，机器人10将从通过成像系统产生的图像观察并最终学习物体11。这个过程可以在任何时间完成，并且不需要机器人10离线、不工作或另外的业务中止。机器人10在完成用于学习物体的预定观察和研究移动时可以恢复正常行为。

物体学习机器人10从物体在光学系统16的视场中的预定移动来检测整体图像P_O。整体图像P_O可以包括多个像素，例如多个固定像素、多个移动像素、多个已知像素和多个未知像素。可以将来自光学系统16的整体图像P_O的各个部分识别并分类至不同的类别以便使得学习和随后的物体识别更加有效和合理。

根据控制器24的要被学习的物体11的运动是根据包括在控制器24中的预定移动模式的，例如平移和旋转。从而，控制器24指引夹子14中的要被学习的物体11的精确的预定移动序列，以便以有条理的方式来学习物体。虽然是预定的，但移动可以稍有变化，以便适应夹子14中的物体的各种可能的方向，并且适应具有不规则形状和各种尺寸的物体11。

静态信息S（例如夹子14的位置和移动）对于控制器24来说是已知的，这是因为控制器24指引该位置和移动。控制器24和与夹子14以及臂22相关联的硬件进行通信。臂22硬件可以包括多个致动器A、B、C，这些致动器被接合以允许臂22的关节联接和移动。夹子14也可以包括多个致动器G、H以允许夹子14抓取物体11。致动器A、B、C、G、H可以向控制器24提供输入或反馈信息M，其包括由各个致动器的测量角度和由各个致动器在特定方向上施加的力。控制器24在学习过程中指引夹子14的预定移动并且与图像处理装置28通信。从而，控制器24和图像处理装置28知道夹子14的位置，并且更加容易地在由光学系统16获取的图像数据中识别属于夹子的像素P_G。

机器人10可以根据给控制器24的输入信息M确定物体的形状、颜色和/或质地。当在已知方向上向物体施加已知的力时，可以通过比较实际致动器的角度和理想致动器的角度来确定物体的相对硬度或软度，理想致动器的角度是基于向空夹子14或握住了具有已知（或参考）硬度的物体11的夹子14施加相同的输入/力的绘图（map）的。此外，可以使用不同类型的触觉传感器来提供关于与物体11相关联的触觉特征T的更多细节。

由于从控制器24向夹子14的指引，机器人10知道夹子14的位置。整体图像可以包括展示出相干运动的相干像素P_C。也就是说，相干像素P_C的运动关于由控制器24指引的预定移动模式相干。在相干像素P_C中，一些像素可能属于夹子（例如夹子像素P_G），而剩余像素可能是物体像素P_K。可以在控制器24中映射并包括夹子14的古怪（pixilated）表现以便快速且容易地识别夹子像素P_G。从而，要被学习的物体11由于其在夹子14中的位置通过光学系统16可被容易地识别。在将夹子像素P_G从整体图像中消除之后，与物体一致的物体像素P_K容易地被识别。在图4中示例说明了一种可能的整体像素P_O、背景像素P_B与包括夹子像素P_G和物体像素P_K的相干像素P_C的影像。由于夹子14的运动以及光学系统16关于夹子14、物体11和背景的相对运动，背景像素P_B会展示出模糊。

夹子14可以安装在机器人10的臂22上。这提供了这样的优点，即，臂22可以被调整或移动以便在夹子14中抓取在臂22的范围之内的几乎任何位置的不同物体。光学系统16还可以包括一个或多个安装在机器人10的臂22上的摄像机17、18。在此布置中，在光学系统16与夹子14和要被学习的物体11之间很少有接合、致动器和附加物。在光学系统16与夹子14之间的有限数量的角度可能性导致了更简单的计算布置，其用于识别要被学习的物体11以及进一步确定物体11的特征。从而，简化了控制器24和图像处理装置28的功能和实现方式。光学系统16可以包括两个或更多摄像机17、18，其可以提供要被学习的物体11的立体或三维图像，以便更加详细地学习物体11。

如上所述，可以从整体像素P_O中减去夹子像素P_G。在从整体像素P_O中减去夹子像素P_G之后，在整体像素P_O中将剩下明显更少量的像素。这些像素剩余将包括背景像素和物体像素。从而进一步简化图像处理。

根据另一个布置，在从整体像素P_O中减去夹子像素P_G之后，机器人10可以检测剩余图像，其主要包括物体像素P_K和背景像素。物体像素P_K将展示出根据经由控制器24给予夹子14的预定运动的相干运动。物体像素P_K的运动将会与夹子14的运动一致。与之相反，背景像素P_B通常将会是固定的或者以关于由控制器24指引的预定移动不相干的方式来移动。从而，物体像素P_K和背景像素P_B可独立地识别。这是基于要被学习的物体11的预定运动与背景像素P_B的相对固定或不相干运动之间的移动差别的，要被学习的物体11的预定运动依照从夹子14给予的预定运动，背景像素P_B的相对固定或不相干运动是关于由控制器24指引的夹子14的预定运动的。

因此，要被学习的物体11由图像处理装置28识别40。背景像素P_B关于由控制器24指引的预定运动的不相干运动导致了图像处理装置28识别背景像素P_B并因此从剩余图像中将其消除的能力。在此步骤之后，只剩下物体像素P_K。机器人10于是将要被学习的物体11与对应于这些最终的剩余像素（物体像素P_K）的特征相关联。

虽然已经在附图和前面的说明中示例说明并描述了本发明，但这种示例说明和描述应当被看作是说明性或示例性的而非限制性的；并没有将本发明限定于所公开的实施例。本领域技术人员在实践所要求保护的本发明时，通过研究附图、所公开的内容以及所附权利要求书，可以理解并实现对于所公开的实施例的其他变化。

在权利要求书中，词语“包括”并不排除其他元件或步骤，不定冠词“一”或“一个”并不排除多个。单一的元件或其他单元可以实现在权利要求中记载的几个项的功能。事实是，在相互不同的从属权利要求中记载的特定措施并不表示不能使用这些措施的组合以获利。

实现了根据本发明采用的控制方法和或图像处理方法的计算机程序可以存储/分布在适当介质上（诸如光学存储介质或者与其他硬件一起或作为其一部分而提供的固体介质），但也可以按照其他形式分布（诸如经由因特网或者其他有线或无线通信系统）。

权利要求书中的任何参考标记不应当被看作对范围进行限制。

Claims (15)

1. 一种物体学习机器人（10），其包括

夹子（14），其用于把要被学习的物体（11）握到该机器人（10）；

光学系统（16），其具有用于将物体（11）引导至该机器人（10）并且用于观察夹子（14）和被夹子（14）握住的物体（11）的视场；

输入设备（26），其用于向该机器人（10）提供要被学习的物体（11）的物体特性；

控制器（24），其用于根据预定移动模式来控制夹子（14）的运动；以及

图像处理装置（28），其用于分析从光学系统（16）获得的图像数据从而识别与物体特性相关联的物体（11）。

2. 根据权利要求1的机器人，其中图像处理装置（28）被适配成用于辨识物体在视场中的规则的或摆动的运动，通过该视场将物体（11）引导至机器人（10）。

3. 根据权利要求1的机器人，其中光学系统（16）被安装在机器人臂（22）上。

4. 根据权利要求1的机器人，其中光学系统（16）包括两个或更多摄像机（17、18）。

5. 根据权利要求1的机器人，其中光学系统（16）提供包括固定像素、移动像素、已知像素和未知像素的整体图像。

6. 根据权利要求1的机器人，其中控制器（24）被适配成根据预定移动模式来指引夹子（14）和要被机器人（10）学习的物体（11）的移动。

7. 根据权利要求1的机器人，其中图像处理装置（28）被适配成监视夹子（14）的位置和移动。

8. 根据权利要求1的机器人，其中图像处理装置（28）被适配成确定要被学习的物体的形状、颜色和/或质地。

9. 根据权利要求5的机器人，其中来自光学系统（16）的整体图像包括属于夹子（14）的像素，并且其中图像处理装置（28）被适配成从整体图像中减去属于夹子（14）的像素以建立剩余图像。

10. 根据权利要求9的机器人，其中图像处理装置（28）被适配成分析包括物体像素和背景像素的剩余图像。

11. 根据权利要求10的机器人，其中图像处理装置（28）被适配成检测背景像素。

12. 根据权利要求10的机器人，其中图像处理装置（28）被适配成根据预定移动模式来检测物体像素。

13. 根据权利要求12的机器人，其中图像处理装置（28）被适配成根据物体像素来识别要被学习的物体。

14. 根据权利要求1的机器人，还包括教导界面，其被适配成监视并存储机器人臂（22）的多个移动。

15. 一种用于物体学习机器人（10）的方法，该方法包括步骤：

将要被学习的物体（11）引导在机器人（10）的光学系统（16）的视场中以便向该机器人（10）表示要学习该物体；

利用机器人（10）的输入设备（26）向机器人（10）提供与要被学习的物体对应的物体特性；

在机器人（10）的夹子（14）中握住要被学习的物体；

根据预定移动模式来控制夹子（14）和要被学习的物体的运动；以及

分析从光学系统（16）获得的图像数据从而识别与物体特性相关联的物体（11）。

Images