CN113226666A - 用于监控机器人系统的方法和装置 - Google Patents

Abstract

用于监控机器人系统的方法、装置、系统和计算机可读存储介质，该机器人系统包括用于加工至少一个对象的机器人手臂。在一个方法中，从机器人手臂的控制器获取机器人手臂的手臂位置。从由相机设备采集的对象数据获取至少一个对象中的一个对象的对象位置。通过基于获取的手臂位置和对象位置分别显示机器人手臂的虚拟表示和对象的虚拟表示，来监控机器人系统。可以以简单并且有效的方式来监控机器人系统，即使机器人系统被构建在具有狭小场所和/或不充足光照的环境中也是如此。

Description

用于监控机器人系统的方法和装置

技术领域

本公开的示例性实施方式总体上涉及机器人系统，并且更具体地，涉及用于监控机器人系统的方法、装置、系统和计算机可读介质以及监控系统。

背景技术

随着计算机和自动控制的发展，在制造业中机器人系统被广泛用于加工各种类型的对象。通常，机器人系统可以具有多个机器人手臂，每个机器人手臂可以在各自的预定范围内运动。为了监控对对象执行操作(诸如，抓取对象、测量对象的尺寸、将对象切割成预定形状，等)的机器人系统，可以部署相机设备来拍摄对象的图像。

已经提出了用于部署相机设备并且辅助机器人系统操作的多个方案。然而，通常机器人系统的环境不能向相机设备提供足够的空间和光线。因此，需要以更有效和方便的方式监控机器人系统。

公开内容

本公开的示例性实施方式提供了用于监控机器人系统的方案。

在第一方面中，本公开的示例性实施方式提供了一种用于监控机器人系统的方法，机器人系统包括用于加工至少一个对象的机器人手臂。该方法包括：从机器人手臂的控制器获取机器人手臂的手臂位置；从由相机设备采集的对象数据获取至少一个对象中的一个对象的对象位置；以及通过基于获取的手臂位置和对象位置分别显示机器人手臂的虚拟表示和对象的虚拟表示，来监控机器人系统。利用这些实施方式，通过在虚拟现实环境中显示机器人手臂和对象的虚拟表示，可以监视机器人手臂和至少一个对象的状态。利用虚拟表示，即使在恶劣的环境中也可以监控机器人系统的状态。此外，这些实施方式特别适用于监视位于狭窄场所、光线不足的场所或在机器人系统周围放置有保护罩的场所的机器人系统。

在本公开的一些实施方式中，机器人系统还包括传送装置，至少一个对象被放置在传送装置上。该方法还包括：从传送装置的控制器获取传送装置的运动速度；以及基于获取的对象位置和获取的速度，更新对象位置。通常在生产线中，传送装置的移动速度很快，并且在从获得对象的图像到显示对象的虚拟表示之间的持续时间内，传送装置上运送的对象的移动距离可能不可忽略。利用这些实施方式，可以根据传送装置的运动来更新对象位置，从而可以显示对象的准确状态，使得机器人系统的管理员可以采取相应的动作来控制机器人系统。

在本公开的一些实施方式中，更新对象位置包括：确定由相机设备采集对象数据的第一时间点；确定用于显示对象的虚拟表示的第二时间点；以及基于获取的速度和确定的第一时间点和第二时间点之间的差异，更新对象位置。利用这些实施方式，在监视机器人系统期间考虑传送带的运动，并且可以在与机器人系统的真实环境中的真实位置同步的更新的位置处，显示对象的虚拟表示。

在本公开的一些实施方式中，监控机器人系统还包括：基于传送装置的运动的速度显示传送装置的虚拟表示。利用这些实施方式，传送装置的状态也被显示在虚拟现实环境中，使得管理员可以看到与机器人系统相关联的每个组件的全貌。此外，所显示的虚拟表示可以便于管理员发现传送装置的潜在异常状态以及机器人手臂和传送装置之间的不协调。

在本公开的一些实施方式中，监控机器人系统还包括：响应于对象被放置在传送装置上，基于更新的对象位置显示对象的虚拟表示。在本公开的一些实施方式中，监控机器人系统还包括：响应于对象被机器人手臂握持，基于手臂位置和对象与机器人手臂之间的偏移来显示对象的虚拟表示。在机器人系统的操作期间，对象在传送装置上被传送上并且移动到机器人手臂附近进行加工。利用这些实施方式，考虑对象和传送装置的相对位置，以便在准确位置显示对象。当对象被放置在传送装置上时，在虚拟传送带上显示虚拟对象；当对象离开传送装置时，虚拟对象可以被机器人手臂拾起。因此，虚拟表示与真实环境同步。

在本公开的一些实施方式中，监控机器人系统还包括：确定用于监控机器人系统的视场；响应于对象随着传送装置的运动而移动进入视场，显示对象的虚拟表示。可以理解的是，机器人系统在真实环境中可能会占据很大的面积。然而在大多数情况下，管理员可能只对区域的一部分感兴趣，例如，机器人手臂可到达的区域。考虑到显示所有区域可能是不切实际的要求，可以针对感兴趣区域定义视场，并且仅显示视场内的项目。利用这些实施方式，管理员可以定义用于监控机器人系统中的特定项目的期望的一个或多个视场。

在本公开的一些实施方式中，机器人手臂根据用于定义由机器人手臂加工至少一个对象的方式的加工模式来加工对象。加工模式包括：机器人手臂放置对象的目标位置。利用这些实施方式，加工模式为控制机器人系统提供了更大的灵活性。因此，机器人手臂可以根据定义的加工模式加工对象。

在本公开的一些实施方式中，相机设备包括距离测量相机，并且对象数据包括对象与相机设备之间的距离；以及获取对象位置包括：基于距离和相机设备的位置获取对象位置。利用这些实施方式，可以通过距离测量相机中的距离测量传感器准确地测量物体和相机设备之间的距离。

在本公开的一些实施方式中，相机设备包括图像相机，并且对象数据包括由相机设备采集的图像，以及获取对象位置包括：基于相机设备的位置和采集图像的图像处理，获取对象位置。三维相机配备有距离测量传感器，而二维相机通常只提供捕捉图像的功能。这些实施方式提供了基于采集的图像的图像处理来确定对象位置的方案，因此可以利用更便宜的二维相机来确定对象位置。

在第二方面中，本公开的示例性实施方式提供了一种用于监控机器人系统的装置。该装置包括：第一获取单元，被配置以从机器人手臂的控制器获取机器人手臂的手臂位置；第二获取单元，被配置以从由相机设备采集的对象数据获取至少一个对象中的一个对象的对象位置；以及监控单元，被配置以通过基于获取的手臂位置和对象位置分别显示机器人手臂的虚拟表示和对象的虚拟表示，来监控机器人系统。

在本公开的一些实施方式中，机器人系统还包括传送装置，至少一个对象被放置在传送装置上，该装置还包括：速度单元，被配置以从传送装置的控制器获取传送装置的运动速度；以及更新单元，被配置以基于获取的对象位置和获取的速度，更新对象位置。

在本公开的一些实施方式中，更新单元包括：第一时间单元，被配置以确定由相机设备采集对象数据的第一时间点；第二时间单元，被配置以确定用于显示对象的虚拟表示的第二时间点；以及位置更新单元，被配置以基于获取的速度和确定的第一时间点和第二时间点之间的差异，更新对象位置。

在本公开的一些实施方式中，监控单元还包括：显示单元，被配置以基于传送装置的运动的速度显示传送装置的虚拟表示。

在本公开的一些实施方式中，监控单元还包括：显示单元，被配置以响应于对象被放置在传送装置上，基于更新的对象位置显示对象的虚拟表示。

在本公开的一些实施方式中，监控单元还包括：视图单元，被配置以确定用于监控机器人系统的视场；显示单元，被配置以响应于对象随着传送装置的运动而移动进入视场，显示对象的虚拟表示。

在本公开的一些实施方式中，监控单元还包括：显示单元，被配置以响应于对象被机器人手臂握持，基于手臂位置和对象与机器人手臂之间的偏移来显示对象的虚拟表示。

在本公开的一些实施方式中，机器人手臂根据用于定义由机器人手臂加工至少一个对象的方式的加工模式来加工对象。加工模式包括：机器人手臂放置对象的目标位置。

在本公开的一些实施方式中，相机设备包括距离测量相机，并且对象数据包括对象与相机设备之间的距离；以及第一获取单元，被配置以基于距离和相机设备的位置获取对象位置。

在本公开的一些实施方式中，相机设备包括图像相机，并且对象数据包括由相机设备采集的图像，以及第一获取单元，被配置以基于相机设备的位置和采集的图像的图像处理，获取对象位置。

在第三方面中，本公开的示例性实施方式提供了一种用于监控机器人系统的系统。该系统包括：耦合至计算机可读存储器单元的计算机处理器，存储器单元包括指令，当由计算机处理器运行时，指令实现根据本公开的第一方面的方法。

在第四方面中，本公开的示例性实施方式提供了一种计算机可读介质，其上存储有指令，当在至少一个处理器上运行时，指令使得至少一个处理器执行根据本公开的第一方面的方法。

在第五方面中，本公开的示例性实施方式提供了一种机器人监控系统。该系统包括：机器人系统；以及根据本公开的第二方面的用于监控机器人系统的装置。

附图说明

图1示出了包括用于加工至少一个对象的机器人手臂的机器人系统的示意图；

图2示出了用于监控其中可以实施本公开的实施方式的机器人系统的示意图；

图3示出了根据本公开的实施方式的用于监控机器人系统的方法的流程图；

图4示出了根据本公开的实施方式的用于获取对象的位置的示意图；

图5示出了根据本公开的实施方式的用于获取对象的位置的示意图；

图6示出了根据本公开的实施方式的用于确定传送装置上运送的对象的更新的对象位置的示意图；

图7示出了根据本公开的实施方式的机器人系统的操作示意图；

图8示出了根据本公开的实施方式的用于监控机器人系统的装置的示意图；以及

图9示出了根据本公开的实施方式的用于监控机器人系统的系统的示意图。

在所有附图中，相同或相似的附图标记用于指示相同或相似的元件。

具体实施方式

现在将参见附图中所示的多个示例性实施方式来描述本公开的原理。尽管在附图中示出了本公开的示例性实施方式，但是应当理解，描述实施方式旨在于便于本领域技术人员更好地理解并由此实现本公开，而不是限制本公开的范围以任何方式。

出于说明的目的，将参见图1提供机器人系统环境的一般描述。图1示出了机器人系统100的示意图。在图1中，机器人系统100可以包括：机器人110，具有用于加工至少一个对象130的机器人手臂120，以及用于将至少一个对象130传送到机器人手臂120附近的位置的传送装置150。

为了监控机器人系统100的操作，已经提出了多个方案。在这些方案中，可以部署相机设备140来捕捉机器人系统100的图像和/或视频。然而，在真实的制造环境中，机器人系统100通常被部署在有限的空间中，并且难以将相机设备部署在具有适当视角的位置。此外，在实际生产环境中，处于安全原因或健康原因，(一个或多个)保护罩可被部署在机器人系统100周围，这成为监控的障碍物。此外，机器人系统100中的组件之间可能存在例如光线不足或遮挡等其他因素。上述全部问题将会影响相机设备140的监控效果，并且使得机器人系统100的管理员难以知晓机器人系统100的真实操作。因此，需要提出新的方案来监控机器人系统100并显示机器人手臂120和将要由机器人手臂120加工的对象130的状态。

为了至少部分地解决上述和其他潜在的问题，根据本公开的实施方式公开了监控机器人系统100的新方案。概括地，根据本公开的实施方式，可以获得机器人手臂的手臂位置120以及对象130的对象位置。可以生成并在虚拟环境中的获取的手臂位置和对象位置处显示机器人手臂120和对象130的虚拟表示。为了简单起见，机器人手臂120的虚拟表示可以被称为虚拟手臂212，并且对象130的虚拟表示可以被称为虚拟对象220。

利用虚拟表示，可以监控机器人系统100的操作。这里，虚拟表示可以是机器人手臂120和对象130的三维模型。可以连续地获取手臂位置和对象位置，由此显示指示机器人系统100的操作的实时动画。这里，即使在恶劣的环境中也可以监控机器人系统100的状态。因此，这些实施方式特别适合用于监控位于狭窄场所、光不足场所或在机器人系统的周围放置保护罩的机器人系统。

将参见图2描述如何监控机器人系统100的更多细节。图2示出了用于监控其中可以实施本公开的实施方式的机器人系统100的示意图200。在图2中，在机器人系统100的操作期间，可以显示机器人手臂120和对象130的操作的虚拟环境230。如图2所示，可以获取机器人手臂120的手臂位置210。例如，可以从机器人手臂120的控制器实时地获取手臂位置210。手臂位置210可用于确定将被显示虚拟手臂212的手臂位置210。

可以从由相机设备140采集的对象数据获取至少一个对象130中的一个对象的对象位置220。在这些实施方式中，相机设备140被用来确定对象130的对象位置220，而不是捕捉整个机器人系统100的视频并将其提供给机器人系统100的管理员。这里，相机设备140可以被部署在机器人手臂120拾取对象130的位置附近。可以在手臂位置210处显示虚拟手臂212，并且可以在对象位置220处确定虚拟对象222。由于可以连续获取手臂位置210和对象位置220，因此可以向监控机器人系统100的管理员提供虚拟环境230的实时显示。

将参见图3提供本发明细节，该图示出了根据本公开的实施方式的用于监控机器人系统100的方法300的流程图。图3示出了根据本公开的实施方式的用于监控机器人系统100的方法300的流程图。

在框310处，可以从机器人手臂120的控制器获取机器人手臂120的手臂位置210。位置210可以通过机器人手臂120的手臂坐标系来表示。备选地，手臂位置210可以由机器人系统100的机器人坐标系表示。

在框320处，可以从由相机设备140采集的对象数据获取至少一个对象130中的一个对象的对象位置220。在这些实施方式中，可以将相机设备140部署在机器人手臂120附近以便捕获对象130的图像。在这些实施方式中，可以选择各种类型140的相机设备。可以理解，除了具有常见的图像捕捉功能外，三维相机还可以配备有距离测量传感器。使用传感器可以直接测量相机和对象之间的距离。然而，对于例如普通相机的二维相机设备而言，它们只能捕获图像，因此该图像应当被处理以便确定对象130的位置。

参见图4描述如何使用常规相机来确定对象130的对象位置220。图4示出了根据本公开的实施方式的用于从常规相机捕获的图像获取对象位置的示意图400。在图4中，图像410可以由常规相机捕获，并且图像410可以包括传送装置上运送的对象420。基于图像识别技术，可以从图像410中识别出对象420。可以存在识别对象420的多种方法，例如，可以预先提供待识别对象的参考图像。通过将参考图像与图像410进行比较，可以从图像410中识别出包括对象420的区域。参见图4，如果机器人系统100用于将传送装置150上运送的瓶子拾取到盒子中，则参考图像可以是瓶子的图像。

一旦从图像410中识别出对象420，可以确定对象420和相机之间的距离。例如，可以使用对象420的区域内的像素数和图像410的像素数来确定距离。备选地，可以使用更复杂的算法来确定距离。利用对象420和相机设备140之间的距离，可以确定对象位置220。这些实施方式提供了基于对采集到的图像410的图像处理来确定对象位置220的方案，因此可以使用常规的并且更便宜的相机来确定对象位置220。应当理解，虽然以上段落描述了可以使用不同的坐标系表示多个位置，可以根据各自的转换矩阵将这些位置转换成世界坐标系。

在本公开的一些实施方式中，配备有距离测量传感器的3D相机可以用于确定对象的位置220，并且将参见图5进行描述。图5示出了由配备在相机设备140中的距离测量传感器来确定对象位置220的示意图500。如图5所示，相机设备140可以包括距离测量传感器510。在相机设备140的操作期间，传感器510可以向对象130发送信号520(例如激光束)。信号520可以到达对象130，然后可以由对象130反射信号530。传感器510可以接收反射的信号530，并且基于发射信号520和接收信号530的时间点之间的时间段，来确定相机设备140和对象130之间的距离。

利用这些实施方式，距离测量传感器510可以准确地测量对象130和相机设备140之间的距离。由于距离测量传感器510大大增加了相机设备140的成本，这些实施方式更适合于对仿真精度要求高的精密生产线。

返回参见图3，在框330处，可以通过基于获取的手臂位置210和对象130分别显示机器人手臂120的虚拟表示和对象130的虚拟表示，来监控机器人系统100。在这些实施方式中，手臂位置210可以以机器人坐标系表示，并且对象位置220可以以对象坐标系表示。为了提供虚拟表示，可以通过相应的转换矩阵将手臂位置210和对象220从它们的局部坐标转换到世界坐标系。进一步，可以在虚拟环境230中显示虚拟手臂212和虚拟对象222。

利用这些实施方式，可以通过在虚拟现实环境中显示机器人手臂和对象的虚拟表示来监控机器人手臂120和至少一个对象130的状态。特别是，即使在位于狭窄场所、光不足场所、或者在机器人系统周围放置保护罩的恶劣环境下，也可以监控机器人系统的状态。

通常在生产线中，传送装置150的运动是快速的，并且在从获取对象130的图像到显示虚拟对象222的时间间隔之间，对象130在传送装置150上的运动通过的距离可能不可忽略。在本公开的一些实施方式中，机器人系统100还包括传送装置150，其上放置有至少一个对象130。此时，对象130可以与传送装置150一起运动。

为了提供机器人系统100的全貌，在虚拟环境230中可以显示传送装置的虚拟表示(也称为虚拟传送装置240)。可以从传送装置150的控制器获取传送装置150的运动速度。这里，速度可以以传送装置坐标系表示。当对象130与传送装置150一起运动时，应当基于获取的对象位置和获取的速度来更新对象位置220。利用这些实施方式，可以根据传送装置150的运动来更新对象位置220，因此可以显示对象130的准确状态，使得机器人系统100的管理员可以采取相应的动作来控制机器人系统100。

在本公开的一些实施方式中，可以基于传送装置150的运动速度在虚拟环境230中显示传送装置150的虚拟传送装置240。例如，在虚拟环境230中，虚拟传送装置240可以随着传送装置150的驱动轴的旋转而移动，并且被放置在虚拟传送装置240上的虚拟对象222可以随着虚拟传送装置240一起移动。利用这些实施方式，传送装置150的状态也被显示在虚拟现实环境中，使得管理员可以看到与机器人系统100相关联的每个组件的全貌。此外，所显示的虚拟表示可便于管理员发现传送装置150的潜在异常状态以及机器人手臂120与传送装置150之间的不协调。

在本公开的一些实施方式中，可以确定相机设备140采集对象数据的第一时间点。在相机设备140的操作期间，可以生成时间戳以指示捕获图像的时间点。然后，可以处理图像以确定捕获图像时的对象位置220。应当理解，在虚拟环境230中显示虚拟对象222之前，传送装置140可以运动一段距离。因此，可确定用于显示对象130的虚拟对象222的第二时间点，以估计对象130在真实环境中与传送装置150一起运动了多长时间。

进一步，基于第一时间点和第二时间点之间的时间差以及速度，可以确定对象130的运动距离。利用这些实施方式，在监控机器人系统100时考虑了传送装置150的运动，并且可以在与真实环境中的真实位置同步的更新位置处显示虚拟对象222。因此，管理员可以知道对象130的准确状态，由此可以在可靠的基础上实施对机器人系统100的进一步控制。

将参见图6描述有关如何更新的对象位置信息220，该图示出了根据本公开的实施方式的用于确定在传送装置150上运送的对象130的更新对象位置的示意图600。如图6所示，对象130被放置在传送装置150上。在时间点T1，对象130位于位置P1。随着传送装置150以速度V从右向左运动(如箭头610所示)，对象130将到达时间点T1和T2(在该时间点虚拟对象222将被显示在虚拟环境中230)之间的位置P2。基于图6所示的几何关系，对象130将移动距离620，距离620可确定为V*(T2-T1)。因此，更新后的对象位置可以确定为：

P2＝P1+V*(T2-T1) 公式1

针对从由相机设备140拍摄的每个图像获取的每个位置Pl，可以基于以上公式1确定更新的对象位置。因此，可以在虚拟环境230中显示指示虚拟对象222随着虚拟传送装置240运动的动画。

图7示出了根据本公开的实施方式的机器人系统100的操作的示意图700。如图7所示，在真实环境中对象130被放置在传送装置150上并且被移动到机器人手臂120附近的区域。此时，对象130与传送装置150一起移动。之后，机器人手臂120可以拾取对象130，并将对象130放置到预定义的目的地位置。因此，显示虚拟对象222可以涉及两种情况：1)对象130被放置在传送装置150上；和2)对象130由机器人手臂120握持。

在本公开的一些实施方式中，如果对象130被放置在传送装置150上，则可以基于根据公式1确定的更新的对象位置来显示虚拟对象222。如果对象130由机器人手臂120握持，则可以基于手臂位置210和对象130与机器人手臂120之间的偏移来显示虚拟对象222。利用这些实施方式，考虑了对象130和传送装置150的相对位置，以便在准确位置处显示虚拟对象222。因此，虚拟表示与真实环境同步。

在本公开的一些实施方式中，可以根据从相机设备140采集的对象数据来确定对象130和机器人手臂120之间的偏移。因为可以从由相机设备140捕获的图像中识别出机器人手臂120和对象130两者，因此可以估计偏移。在另一示例中，如果距离测量传感器被配备在相机设备140中，则可以获取机器人手臂120和对象130两者的点云数据，然后可以确定更准确的偏移。利用这些实施方式，可以准确地确定机器人手臂120与对象130之间的相对位置，这适用于监控对仿真精度要求较高的机器人系统。

在本公开的一些实施方式中，可以基于对象130和机器人手臂120的维度来确定偏移。附加地和/或备选地，偏移可以是预定值。利用这些实施方式，可以通过比较简单的方式确定偏移，因此特别适用于对仿真精度要求不高的机器人系统。

应当理解，机器人系统100在真实环境中可能占据很大的区域，并且管理员可能只对该区域的一部分感兴趣。考虑到显示所有区域可能会导致处理资源的高成本，可以定义视场。因此，在本公开的一些实施方式中，可以定义用于监控机器人系统100的视场。在此，仅显示视场内的项目，而可以忽略视场外部的其他项目。可以由管理员来预先定义机器人系统100的视场。在此，视场可以对应于虚拟环境230中的三维窗口。如果对象130随着传送装置150的运动而移动进入视场，可以显示虚拟对象222。利用这些实施方式，管理员可以定义用于监控机器人系统100中的特定项目的期望视场。

在本公开的一些实施方式中，可以定义一个或多个视场。例如，一个视场可用于密切监控机器人手臂120拾取对象130的操作。同时，另一视场可用于监控运送对象130的传送装置150的操作。利用实施方式中，每个视场可以对应于一个窗口，通过切换这些窗口，虚拟环境230可以提供机器人系统100中所有项目的丰富信息。

在本公开的一些实施方式中，机器人手臂120可以根据用于定义机器人手臂加工至少一个对象的方式的加工模式来加工对象130。基于机器人系统100的功能，可以为机器人系统100定义各种加工模式。在一个示例中，加工模式可以定义机器人手臂120放置对象130的目标位置。在将传送装置150上的瓶子包装到盒子中的生产线中，目的地位置可以是盒子的位置。此外，加工模式可以定义如何包装瓶子。例如，它可以定义每六瓶包装到一个盒子中。在将原始工件切割成期望形状的生产线中，加工模式可以定义机器人手臂120的路径或用于控制机器人手臂120的其他参数。通过这些实施方式，加工模式为控制机器人系统100提供了更大的灵活性。因此，机器人手臂120可根据定义的加工模式加工对象130。

在本公开的一些实施方式中，提供了一种用于监控机器人系统100的装置800。图8示出了根据本公开的实施方式的用于监控机器人系统的装置800的示意图。如图8所示，该装置800可以包括：第一获取单元810，被配置以从机器人手臂的控制器获取机器人手臂的手臂位置；第二获取单元820，被配置以从由相机设备采集的对象数据获取至少一个对象中的一个对象的对象位置；以及监控单元830，被配置以通过基于获取的手臂位置和对象位置分别显示机器人手臂的虚拟表示和对象的虚拟表示，来监控机器人系统。

在本公开的一些实施方式中，机器人系统还包括传送装置，至少一个对象被放置在传送装置上，该装置800装置还包括：速度单元，被配置以从传送装置的控制器获取传送装置的运动速度；以及更新单元，被配置以基于获取的对象位置和获取的速度，更新对象位置。

在本公开的一些实施方式中，更新单元包括：第一时间单元，被配置以确定由相机设备采集对象数据的第一时间点；第二时间单元，被配置以确定用于显示对象的虚拟表示的第二时间点；以及位置更新单元，被配置以基于获取的速度和确定的第一时间点和第二时间点之间的差异，更新对象位置。

在本公开的一些实施方式中，监控单元830还包括：显示单元，被配置以基于传送装置的运动速度显示传送装置的虚拟表示。

在本公开的一些实施方式中，监控单元830还包括：显示单元，被配置以响应于对象被放置在传送装置上，基于更新的对象位置显示对象的虚拟表示。

在本公开的一些实施方式中，监控单元830还包括：视图单元，被配置以确定用于监控机器人系统的视场；显示单元，被配置以响应于对象随着传送装置的运动而运动进入视场，显示对象的虚拟表示。

在本公开的一些实施方式中，监控单元830还包括：显示单元，被配置以响应于对象被机器人手臂握持，基于手臂位置和对象与机器人手臂之间的偏移来显示对象的虚拟表示。

在本公开的一些实施方式中，机器人手臂根据用于定义由机器人手臂加工至少一个对象的方式的加工模式来加工对象，加工模式包括：机器人手臂放置对象的目标位置。

在本公开的一些实施方式中，相机设备包括距离测量相机，对象数据包括对象与相机设备之间的距离；以及第一获取单元，被配置以基于距离和相机设备的位置获取对象位置。

在本公开的一些实施方式中，相机设备包括图像相机，并且对象数据包括由相机设备采集的图像，以及第一获取单元，被配置以基于相机设备的位置和采集图像的图像处理，获取对象位置。

在本公开的一些实施方式中，提供了一种用于监控机器人系统的系统900。图9示出了根据本公开的实施方式的用于监控机器人系统100的系统900的示意图。如图9所示，系统900包括：耦合至计算机可读存储器单元920的计算机处理器910，并且存储器单元920包括指令，当由计算机处理器运行时，指令实现在上文段落中描述的用于监控机器人系统的方法，并且下文将省略细节。

在本公开的一些实施方式中，提供了一种用于监视机器人系统的计算机可读介质。该计算机可读介质其上存储有指令，并且当在至少一个处理器上运行时，指令使得至少一个处理器执行在上文段落中描述的用于监控机器人系统的方法，并且下文将省略细节。

在本公开的一些实施方式中，提供了一种机器人监控系统。该机器人系统包括：机器人系统；以及根据本公开的用于监控机器人系统的装置。

一般地，本公开内容的各种实施方式可以在硬件或专用电路、软件、逻辑或其任何组合中实现。一些方面可以在硬件中实现，而其他方面可以在固件或软件中实现，固件或软件可以由控制器、微处理器或其他计算设备运行。虽然本公开内容的实施方式的各个方面被图示和描述为框图、流程图，或者使用一些其他图形表示来图示和描述，但是将可以理解的是，作为非限制性示例，本文描述的框、装置、系统、技术或方法可以在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或者其他计算设备，或者其某些组合中实现。

本公开内容还提供了有形地存储在非暂时性计算机可读存储介质上的至少一个计算机程序产品。计算机程序产品包括计算机可执行指令，诸如包括在程序模块中的那些，在目标真实或虚拟处理器上的设备中运行，以实现上文参见图4描述的过程或方法。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。在各种实施方式中所期望的是，程序模块的功能性可以在程序模块之间组合或分离。用于程序模块的机器可执行指令可以在本地或分布式设备内运行。在分布式设备中，程序模块可以位于本地和远程存储介质二者中。

用于实现本公开内容的方法的程序代码可以以一种或多种编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，以使得程序代码在由处理器或控制器运行时，使得流程图和/或框图中指定的功能/操作得以实现。程序代码可以整体在机器上运行，部分在机器上运行，作为独立软件包运行，部分在机器上并且部分在远程机器上运行，或者整体在远程机器或服务器上运行。

以上程序代码可以体现在机器可读介质上，该机器可读介质可以是可以包含或存储供指令运行系统、装置或设备使用或与其结合使用的程序的任何有形介质。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备，或前述的任何适当组合。机器可读存储介质的更具体示例将包括具有一条或多条线路的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备或前述的任何适当组合。

另外，虽然以特定顺序描绘了操作，但是不应将其理解为要求以所示出的特定顺序或以连续的顺序执行此类操作，或者执行所有图示的操作以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。同样地，虽然以上讨论中包含若干具体实现细节，但是这些不应被解释为对本公开内容的范围的限制，而应被解释为对特定实施方式而言特定的特征的描述。在单独的实施方式的上下文中描述的某些特征也可以在单个实施方式中组合实现。另一方面，在单个实施方式的上下文中描述的各种特征也可以单独地或以任何适当的子组合在多个实施方式中实现。

虽然已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作被公开作为实现权利要求的示例形式。

Claims (23)

1.一种用于监控机器人系统的方法，所述机器人系统包括用于加工至少一个对象的机器人手臂，所述方法包括：

从所述机器人手臂的控制器获取所述机器人手臂的手臂位置；

从由相机设备采集的对象数据获取所述至少一个对象中的一个对象的对象位置；以及

通过基于获取的所述手臂位置和所述对象位置分别显示所述机器人手臂的虚拟表示和所述对象的虚拟表示，来监控所述机器人系统。

2.根据权利要求1所述的方法，其中所述机器人系统还包括传送装置，所述至少一个对象被放置在所述传送装置上，所述方法还包括：

从所述传送装置的控制器获取所述传送装置的运动的速度；以及

基于获取的所述对象位置和获取的所述速度，更新所述对象位置。

3.根据权利要求2所述的方法，其中更新所述对象位置包括：

确定由所述相机设备采集所述对象数据的第一时间点；

确定用于显示所述对象的所述虚拟表示的第二时间点；以及

基于获取的所述速度和确定的所述第一时间点和所述第二时间点之间的差异，更新所述对象位置。

4.根据权利要求3所述的方法，其中监控所述机器人系统还包括：

基于所述传送装置的所述运动的所述速度显示所述传送装置的虚拟表示。

5.根据权利要求3所述的方法，其中监控所述机器人系统还包括：

响应于所述对象被放置在所述传送装置上，基于更新的所述对象位置显示所述对象的所述虚拟表示。

6.根据权利要求1所述的方法，其中监控所述机器人系统还包括：

确定用于监控所述机器人系统的视场；

响应于所述对象随着所述传送装置的所述运动而移动进入所述视场，显示所述对象的所述虚拟表示。

7.根据权利要求3所述的方法，其中监控所述机器人系统还包括：

响应于所述对象被所述机器人手臂握持，基于所述手臂位置和所述对象与所述机器人手臂之间的偏移来显示所述对象的所述虚拟表示。

8.根据权利要求2所述的方法，其中所述机器人手臂根据用于定义由所述机器人手臂加工所述至少一个对象的方式的加工模式来加工所述对象，并且所述加工模式包括：

所述机器人手臂放置所述对象的目标位置。

9.根据权利要求1所述的方法，其中所述相机设备包括距离测量相机，并且所述对象数据包括所述对象与所述相机设备之间的距离；以及

获取所述对象位置包括：基于所述距离和所述相机设备的位置获取所述对象位置。

10.根据权利要求1所述的方法，其中所述相机设备包括图像相机，并且所述对象数据包括由所述相机设备采集的图像，以及

获取所述对象位置包括：基于所述相机设备的位置和采集的图像的图像处理，获取所述对象位置。

11.一种用于监控机器人系统的装置，所述机器人系统包括用于加工至少一个对象的机器人手臂，所述装置包括：

第一获取单元，被配置以从所述机器人手臂的控制器获取所述机器人手臂的手臂位置；

第二获取单元，被配置以从由相机设备采集的对象数据获取所述至少一个对象中的一个对象的对象位置；以及

监控单元，被配置以通过基于获取的所述手臂位置和所述对象位置分别显示所述机器人手臂的虚拟表示和所述对象的虚拟表示，来监控所述机器人系统。

12.根据权利要求11所述的装置，其中所述机器人系统还包括传送装置，所述至少一个对象被放置在所述传送装置上，所述装置还包括：

速度单元，被配置以从所述传送装置的控制器获取所述传送装置的运动的速度；以及

更新单元，被配置以基于获取的所述对象位置和获取的所述速度，更新所述对象位置。

13.根据权利要求12所述的装置，其中所述更新单元包括：

第一时间单元，被配置以确定由所述相机设备采集所述对象数据的第一时间点；

第二时间单元，被配置以确定用于显示所述对象的所述虚拟表示的第二时间点；以及

位置更新单元，被配置以基于获取的所述速度和确定的所述第一时间点和所述第二时间点之间的差异，更新所述对象位置。

14.根据权利要求13所述的装置，其中所述监控单元还包括：

显示单元，被配置以基于所述传送装置的所述运动的所述速度显示所述传送装置的虚拟表示。

15.根据权利要求13所述的装置，其中所述监控单元还包括：

显示单元，被配置以响应于所述对象被放置在所述传送装置上，基于更新的所述对象位置显示所述对象的所述虚拟表示。

16.根据权利要求11所述的装置，其中所述监控单元还包括：

视图单元，被配置以确定用于监控所述机器人系统的视场；

显示单元，被配置以响应于所述对象随着所述传送装置的运动而移动进入所述视场，显示所述对象的所述虚拟表示。

17.根据权利要求13所述的装置，其中所述监控单元还包括：

显示单元，被配置以响应于所述对象被所述机器人手臂握持，基于所述手臂位置和所述对象与所述机器人手臂之间的偏移来显示所述对象的所述虚拟表示。

18.根据权利要求12所述的装置，其中所述机器人手臂根据用于定义由所述机器人手臂加工所述至少一个对象的方式的加工模式来加工所述对象，并且所述加工模式包括：

所述机器人手臂放置所述对象的目标位置。

19.根据权利要求11所述的装置，其中所述相机设备包括距离测量相机，并且所述对象数据包括所述对象与所述相机设备之间的距离；以及

所述第一获取单元被配置以基于所述距离和所述相机设备的位置获取所述对象位置。

20.根据权利要求11所述的装置，其中所述相机设备包括图像相机，并且所述对象数据包括由所述相机设备采集的图像，以及

所述第一获取单元被配置以基于所述相机设备的位置和采集的图像的图像处理，获取所述对象位置。

21.一种用于监控机器人系统的系统，包括：耦合至计算机可读存储器单元的计算机处理器，所述存储器单元包括指令，当由所述计算机处理器运行时，所述指令实现根据权利要求1至10中的任一项所述的方法。

22.一种计算机可读介质，其上存储有指令，当在至少一个处理器上运行时，所述指令使得所述至少一个处理器执行根据权利要求1至10中的任一项所述的方法。

23.一种机器人监控系统，包括：

机器人系统；以及

根据权利要求11至20中的任一项所述的用于监控机器人系统的装置。

Images