CN113226668A - 用于生产线仿真的方法和装置 - Google Patents

Abstract

本公开的实施方式提供用于仿真生产线中的至少一个对象的方法，在此至少一个对象被放置在生产线中的传送装置上。在该方法中，从由被部署在生产线中的相机设备采集的对象数据，获取至少一个对象中的一个对象的位置。从传送装置的控制器确定传送装置的运动。基于所确定的位置和由传送装置的运动引起的对象的偏移量来获取对象的对象位置。在虚拟环境中的确定的对象位置处显示对象的虚拟表示。利用虚拟环境，可以向生产线的管理员提供生产线的准确状态，基于该状态可以估计将被部署在生产线上的机器人系统的操作。

Description

用于生产线仿真的方法和装置

技术领域

本公开的示例性实施方式总体上涉及生产线管理，以及更具体地，涉及用于仿真生产线中的对象的方法、装置、系统和计算机可读介质。

背景技术

随着计算机和自动控制的发展，机器人系统已经被广泛应用于在制造业中处理各种类型的对象。由于机器人系统的高性能，人类工人可能会被机器人系统代替。在实际购买机器人系统并将其部署到生产线之前，生产线的管理者、设计者或其他管理员通常希望知道哪种类型的机器人系统可以与现有生产线的传送装置上运送的对象很好地一起工作。尽管已经提出了用于仿真生产线状态的多种方案，但这些方案都不能准确地反映现有生产线的状态。

发明内容

本公开的示例性实施方式提供了用于仿真生产线中的至少一个对象的方案。

在第一方面中，本公开的示例性实施方式提供了一种用于仿真生产线中的至少一个对象的方法，在此至少一个对象被放置在生产线中的传送装置上。该方法包括：从由被部署在生产线中的相机设备采集的对象数据，获取至少一个对象中的一个对象的位置；从传送装置的控制器确定传送装置的运动；基于确定的位置和由传送装置的运动引起的对象的偏移，获取对象的对象位置；以及在虚拟环境中在确定的对象位置处显示对象的虚拟表示。利用这些实施方式，可以获得被放置在真实生产线中的传送装置上的对象的位置，并且提供在线仿真模式用于在生产线的操作过程中显示物体的虚拟表示。基于获得的位置，可以在虚拟环境中向生产线的管理员显示对象的虚拟表示。利用虚拟环境，管理员可以估计将被部署在生产线中的机器人系统的操作，并提前知晓将被部署的机器人系统与现有生产线是否能够很好地一起工作。此外，虚拟环境可以便于管理员选择合适的机器人系统。

在本公开的一些实施方式中，确定对象的偏移包括：确定由相机设备采集对象数据的第一时间点；确定用于显示对象的虚拟表示的第二时间点；以及基于传送装置的运动的速度以及确定的第一时间点和第二时间点之间的时间差，来确定偏移。在生产线中，传送装置的运动通常是快速的，并且在传送装置上运送的对象在从获取对象数据到显示对象的虚拟表示的持续时间内运动的距离可能不可忽略。利用这些实施方式，可以考虑传送装置的运动，因此可以在与现有生产线中的真实位置同步的准确位置处显示对象的虚拟表示，使得生产线的管理员可以便于采取相应动作。

在本公开的一些实施方式中，该方法还包括调整传送装置的运动的速度；以及显示对象的虚拟表示包括：根据调整的速度显示对象的虚拟表示。利用这些实施方式，可以调整传送装置的状态。例如，当传送装置以可调节的速度运动时，可以增加运动的速度以估计将被部署的机器人系统的性能。显示的虚拟表示可以便于管理员发现传送装置的潜在异常状态以及将被部署的机器人系统与现有传送装置之间是否出现不协调。

在本公开的一些实施方式中，除了上述在线模式以外提供了离线模式。该方法还包括：基于在预定义时间段期间获取的对象位置生成位置序列，位置序列中包括的对象位置与预定义时间段内的时间点相关联。利用这些实施方式，可以将对象位置保存在位置序列中以用于以后任何时间的离线仿真。进一步，可以通过改变位置顺序中的参数来调整生产线的仿真状态，因此可以提供更加灵活的仿真方案。

在本公开的一些实施方式中，可以根据各种标准来显示对象的虚拟表示：时间标准和位置标准。根据时间标准，可以在与位置序列中的对象位置相关联的时间点显示对象的虚拟表示。根据位置标准，如果传送装置的虚拟表示到达与获得的对象位置相对应的位置，可以显示对象的虚拟表示。利用这些实施方式，可以以灵活的方式显示对象的虚拟表示。

在本公开的一些实施方式中，该方法还包括：确定用于处理对象的机器人系统的动作，机器人系统将要被部署在生产线中；以及基于确定的动作显示机器人系统的虚拟表示。利用这些实施方式，对象的所显示虚拟表示和机器人系统的动作可以便于管理员确定机器人系统与现有生产线是否良好地一起工作，从而容易地检测传送装置的潜在异常状态以及机器人系统和传送装置之间的不协调。

在本公开的一些实施方式中，确定机器人系统的动作包括：基于定义由机器人系统处理对象的方式的处理模式，确定动作。依赖于机器人系统的类型和其他配置，机器人系统可以执行各种动作。利用这些实施方式，处理模式为仿真机器人系统的操作提供了更大的灵活性，并且允许管理员估计机器人系统被部署在生产线中之后的潜在风险。

在本公开的一些实施方式中，相机设备包括距离测量相机，并且对象数据包括对象与相机设备之间的距离；以及确定位置包括：基于距离和相机设备的位置，确定位置。利用这些实施方式，可以通过距离测量相机中的距离测量传感器准确地测量物体与相机设备之间的距离。

在本公开的一些实施方式中，相机设备包括图像相机，并且对象数据包括由相机设备采集的图像，以及确定位置包括：基于相机设备的位置和采集的图像的图像处理来确定位置。三维相机配备有距离测量传感器，然而二维相机通常只提供捕获图像的功能。这些实施方式提供了基于对采集图像的图像处理来确定对象位置的方案，因此可以利用更便宜的二维相机来确定对象位置。

在第二方面中，本公开的示例性实施方式提供了一种用于仿真生产线中的至少一个对象的装置，在此至少一个对象被放置在生产线中的传送装置上。该装置包括：位置获取单元，被配置以从由被部署在生产线中的相机设备采集的对象数据获取至少一个对象中的一个对象的位置；运动确定单元，被配置以从传送装置的控制器确定传送装置的运动；对象位置获取单元，被配置以基于确定的位置和由传送装置的运动引起的对象的偏移，获取对象的对象位置；以及显示单元，被配置以在虚拟环境中在确定的对象位置处显示对象的虚拟表示。

在本公开的一些实施方式中，该装置还包括确定单元，被配置以确定对象的偏移。该确定单元包括：第一时间单元，被配置以确定由相机设备采集对象数据的第一时间点；第二时间单元，被配置以确定用于显示对象的虚拟表示的第二时间点；以及偏移确定单元，被配置以基于传送装置的运动的速度以及确定的第一时间点和第二时间点之间的时间差，来确定偏移。

在本公开的一些实施方式中，该装置还包括调整单元，被配置以调整传送装置的运动的速度；以及显示单元还被配置以根据调整的速度显示对象的虚拟表示。

在本公开的一些实施方式中，该装置还包括：生成单元，被配置以基于在预定义时间段期间获取的对象位置生成位置序列，位置序列中包括的对象位置与预定义时间段内的时间点相关联。

在本公开的一些实施方式中，该装置还包括：离线显示单元，被配置以响应于传送装置的虚拟表示到达与位置序列中的对象位置相对应的位置，在虚拟环境中显示对象的虚拟表示。

在本公开的一些实施方式中，该装置还包括：离线显示单元，被配置以在虚拟环境中，在与位置序列中的对象位置相关联的时间点显示对象的虚拟表示。

在本公开的一些实施方式中，该装置还包括：动作确定单元，被配置以确定用于处理对象的机器人系统的动作，机器人系统将要被部署在生产线中；以及显示单元还被配置以基于确定的动作显示机器人系统的虚拟表示。

在本公开的一些实施方式中，动作确定单元还被配置以：基于定义由机器人系统处理对象的方式的处理模式，确定动作。

在本公开的一些实施方式中，相机设备包括距离测量相机，并且对象数据包括对象与相机设备之间的距离；以及位置确定单元还被配置以基于距离和相机设备的位置，确定位置。

在本公开的一些实施方式中，相机设备包括图像相机，并且对象数据包括由相机设备采集的图像，以及位置确定单元还被配置以基于相机设备的位置和采集的图像的图像处理来确定位置。

在第三方面中，本公开的示例性实施方式提供了一种用于仿真生产线中的至少一个对象的系统。该系统包括：耦合至计算机可读存储器单元的计算机处理器，存储器单元包括指令，当由计算机处理器运行时，指令实现根据本公开的第一方面的用于仿真生产线中的至少一个对象的方法。

在第四方面中，本公开的示例性实施方式提供了一种计算机可读介质，其上存储有指令，当在至少一个处理器上运行时指令，使得至少一个处理器执行根据本公开的第一方面的用于仿真生产线中的至少一个对象的方法。

在第五方面中，本公开的示例性实施方式提供了一种生产系统。该生产系统包括：生产线，包括：传送装置；以及相机设备，被配置以采集在传输装置上放置的至少一个对象的对象数据；根据本公开第二方面的用于仿真生产线中的至少一个对象的装置。

附图说明

图1示出了包括用于运送由工人处理的至少一个对象的传送装置的生产线的示意图；

图2示出了根据本公开的实施方式的用于仿真生产线中的至少一个对象的示意图；

图3示出了根据本公开的实施方式的用于仿真生产线中的至少一个对象的方法的流程图；

图4示出了根据本公开的实施方式的用于获取对象位置的示意图；

图5示出了根据本公开的实施方式的用于获取对象位置的示意图；

图6示出了根据本公开的实施方式的用于确定传送装置上运送的对象的对象位置的示意图；

图7示出了根据本公开的实施方式的用于基于传送装置的调整的速度来确定对象的对象位置的示意图；

图8示出了根据本公开的实施方式的用于仿真生产线中的至少一个对象的装置的示意图；以及

图9示出了根据本公开的实施方式的用于仿真生产线中的至少一个对象的系统的示意图。

在所有附图中，相同或相似的附图标记用于指示相同或相似的元件。

具体实施方式

现在将参见附图中所示的多个示例性实施方式来描述本公开的原理。尽管在附图中示出了本公开的示例性实施方式，但是应当理解，描述实施方式仅仅是为了便于本领域技术人员更好地理解并且由此实现本公开，而并不旨在以任何方式限制本公开的范围。

为了描述起见，将参见图1来提供生产线环境的概要描述。图1示出了生产线100的示意图。在图1中，生产线100可以包括传送装置120，其上放置有至少一个对象110。在此，至少一个对象110可以由人类工人130处理。例如，在将瓶子包装到盒子中的生产线中，工人130可以拿起传送装置120上运送的瓶子，并将它们放入目标盒子中。

随着机器人技术的发展，机器人系统可以广泛应用于各种生产线以替代工人。例如，机器人系统可以对对象执行各种动作(例如，抓取对象、测量对象的尺寸、将对象切割成预定形状，等)。为了选择合适的机器人系统来代替工人130，管理员通常需要考虑生产线100和候选机器人系统两者的各种参数，然后可以将所选择的机器人系统部署在生产线100中。

为了帮助管理员做出决定，提出了用于仿真传送装置120上的对象110的多种方案。在此，对象110的位置是通过人类经验来估计的。在这些方案中，可以将多个对象放置在具有固定间隔(例如10厘米或其他值的间隔)的位置。然而，实际生产线中多个对象的点之间可能存在不同的间距。例如，某些对象之间的间隔可能是9.5厘米，而其他对象之间的间隔可能是10.5厘米。因此，仿真的对象位置不能准确地反映真实生产线中对象的状态。

为了至少部分地解决上述和其他潜在问题，根据本公开的实施方式公开了一种新方法。具体地，该方法可以仿真被放置在生产线的传送装置上的至少一个对象。总体而言，根据本公开的实施方式，可以在生产线100中部署相机设备140。在此，相机设备140可以采集与对象110相关的对象数据以获取对象110的位置。此外，可以由传送装置120的控制器确定传送装置120的运动。可以基于所确定的位置和由传送装置120的运动引起的对象110的偏移来获取对象110的对象位置。因此，可以在虚拟环境中的确定的对象位置处显示对象110的虚拟表示。

在这些实施方式中，对象110的位置、传送装置120的运动和对象位置可以由各自的本地坐标系表示。为了提供虚拟表示，可以经由相应的转换矩阵将这些本地坐标系转换为世界坐标系。

将参见图2描述有关仿真的更多详细信息。图2示出了根据本公开的实施方式的用于仿真被放置在传送装置120上的至少一个对象110的示意图200。如图2所示，可以基于对象110与传送装置120的相对位置以及传送装置120的运动210，来确定对象110的对象位置220。为了简单起见，对象110的虚拟表示可以被称为虚拟对象232。在此，可以提供虚拟环境230用于在对象位置220处显示虚拟对象232。由于可以连续地获取对象位置220，可以向管理员提供虚拟环境230的连续显示以用于仿真至少一个对象110。

基于虚拟环境230，管理员可以估计将被部署在生产线100中的机器人系统的操作，并且知晓将被部署的机器人系统是否可以与现有生产线100很好地一起工作。此外，虚拟环境230可以便于管理员选择合适的机器人系统。尽管所选择的机器人系统没有真正地部署在生产线100中，但可以通过显示机器人系统和对象的3D虚拟模型来估计机器人系统的操作。

在一些实施方式中，除了显示虚拟对象232之外，可以在虚拟环境230中显示传送装置120的虚拟表示(也称为虚拟传送装置236)和将被部署的机器人系统的虚拟表示(也称为作为虚拟系统234)。因此，虚拟环境230可以提供用于仿真机器人系统被部署之后的生产线100的操作的全貌。

将参见图3提供本公开的细节，其示出了根据本公开的实施方式的用于仿真至少一个对象110的方法300的流程图。在框310处，可以从由被部署在生产线100中的相机设备140采集的对象数据，获取至少一个对象110中的一个对象的位置。本公开的实施方式提供多种仿真模式，其中在线模式可以通过从由相机设备140采集的对象数据中获取对象位置来提供实时仿真，并且离线模式可以通过从包括先前获取的对象位置的文件中获取对象位置来提供非现场仿真。在下文中，将首先描述关于在线模式的细节。

在本公开的一些实施方式中，相机设备140可以部署在生产线100中以用于采集对象数据。在这些实施方式中，相机设备140可以被部署在对象110附近，用于捕获对象110的图像。附加地和/或备选地，由现有相机设备(出于其他目的而已经被部署在生产线100中)采集的图像可以用于确定对象位置220。

在这些实施方式中可以选择各种类型的相机设备140。可以理解，除了具有图像捕获的常规功能外，3D相机还可以装配有距离测量传感器。使用该传感器可以直接测量相机和对象之间的距离。然而，对于诸如普通相机的二维相机而言，它们只能捕获图像，因此需要对图像进行处理以确定对象110的位置。

将参见图4说明如何利用普通相机确定对象110的对象位置220。图4示出了根据本公开的实施方式的用于从由普通相机拍摄的图像410获取对象位置220的示意图400。在图4中，可以由普通相机捕获图像410，并且图像410可以包括在传送装置120上运送的对象420。基于图像识别技术，可以从图像410中识别对象420。可以使用各种方法来用于识别对象420，例如，可以预先提供待识别对象的参考图像。通过将参考图像与图像410进行比较，可以从图像410中识别出包括对象420的区域。如图4所示，如果生产线100用于将传送装置150上运送的瓶子包装到盒子中，则参考图像可以是瓶子的图像。

一旦从图像410中识别出对象420，可以确定对象420和相机之间的距离。例如，可以使用对象420的区域内的像素数量和图像410的像素数量来确定距离。备选地，可以使用更复杂的算法来确定距离。利用对象420和相机设备140之间的距离，可以确定对象位置220。这些实施方式提供了基于对采集到的图像410的图像处理来确定对象位置220的方案，因此可以使用普通的并且更便宜的相机来确定对象位置220。应当理解，尽管以上段落描述了可以使用不同坐标系表示多个位置，可以根据相应的转换矩阵将这些位置转换至世界坐标系。

在本公开的一些实施方式中，可以利用配备有距离测量传感器的三维相机来确定对象位置220，并且将参见图5进行说明。图5示出了用于通过配备在相机设备140中的距离测量传感器512获取对象位置220的示意图500。如图5所示，相机设备140可以包括距离测量传感器512。在相机设备140的操作期间，传感器512可以向对象110发射信号520(诸如激光束)。信号520可以到达对象110然后信号530可以被对象110反射。传感器512可以接收反射的信号530，并且基于发射信号520和接收信号520的时间点之间的时间段，来确定相机设备140和对象110之间的距离信号530。

利用这些实施方式，距离测量传感器512可以准确地测量对象110和相机设备140之间的距离。由于距离测量传感器512增加了相机设备140的成本，这些实施方式更适合于对仿真精度要求高的精密生产线。

通常在生产线100中，传送装置120的运动是快速的，并且在传送装置120上运送的对象110在从获取对象110的图像到显示虚拟对象232的时间段内通过的距离不可忽略。返回图3，在框320处，可以从传送装置120的控制器确定传送装置120的运动。由于对象110可以与传送装置120一起运动，对象的速度110等于传送装置120的运动速度。

在框330处，可以基于位置(如方框310中确定的)和由传送装置120的运动引起的对象的偏移，来确定对象110的对象位置。利用这些实施方式，对象位置220可以根据传送装置120的运动来确定，因此可以显示对象110的准确状态，并且生产线100的管理员可以采取相应的行为进行控制。

在本公开的一些实施方式中，可以基于传送装置120的速度和对象110被放置在传送装置120上的时间段来确定偏移。因此，可以确定由相机设备140采集对象数据的第一时间点。在相机设备140的操作期间，可以生成时间戳以指示捕获图像的时间点。然后，可以处理图像以确定图像被捕获时的位置。应当理解，在虚拟环境230中显示虚拟对象232之前，传送装置120可以运动一段距离。因此，可确定用于显示对象110的虚拟对象232的第二时间点，以估计在真实环境中的对象110与传送装置120一起运动了多远。

进一步，基于第一时间点和第二时间点之间的时间差以及速度，可以确定对象110的运动距离。利用这些实施方式，在仿真中考虑了传送装置120的运动，并且可以在与真实环境中的真实位置同步的准确位置处显示虚拟对象232。因此，管理员可以知道对象110的准确状态，从而可以在可靠的基础上实现对机器人系统的进一步控制。

尽管传送装置120被示出为线形，传送装置120也可以示出其他形状，例如圆形传送装置、椭圆形或不规则形状。此时，速度可以用向量格式表示，指示x、y和z方向中的各个分量。

将参见图6提供关于如何确定对象位置220的细节，如图6所示，对象110被放置在传送装置120上。在时间点T1，对象110位于位置P1。随着传送装置120以速度V从右向左运动(如箭头610所示)，在时间点T1和T2(虚拟对象232在该时间点将被显示在虚拟环境中230)之间对象110将到达位置P2。基于图6所示的几何关系，对象110将运动距离620，并且距离620可以被确定为V*(T2-T1)。因此，对象位置220可以确定为：

P2＝P1+V*(T2-T1) 公式1

基于以上公式1，可以针对由相机设备140拍摄的每个图像获取的每个位置Pl来确定对象位置220。

返回参见图3，在框340处，可以在虚拟环境230中的如框330处所确定的对象位置处，显示虚拟对象232。由于可以连续地获取对象位置，可以在虚拟环境230中显示指示虚拟对象232随着虚拟传送装置236的运动的动画。

在本公开的一些实施方式中，可以调整传送装置120的运动速度，并且可以基于调整的速度进行仿真。在一个示例中，在真实环境中，由于人类工人的能力有限，传送装置120的速度被限制在1米/秒。将被部署的机器人系统可以大大提高生产线100的性能。此时，希望看到传送装置120的速度增加到更大的值(例如2米/秒)时生产线100的操作。在这种情况下，虚拟传送装置236和虚拟对象232的运动可能比真实环境中传送装置120和对象110的运动更快。利用这些实施方式，显示的虚拟表示可以仿真机器人系统在各种情况下的各种操作，从而便于管理员发现传送装置的潜在异常状态以及将被部署的机器人系统与现有传送装置之间的不协调。

将参见图7描述如何根据调整的速度显示虚拟对象232。图7示出了根据本公开的实施方式的用于基于传送装置的调整的速度来确定对象的对象位置的示意图700。如图7所示，在时间点T1，对象110位于位置P1。随着传送装置120以更快的速度V’从右向左运动(如箭头710所示)，在时间点T1和T2之间对象110将到达位置P2’。在此，对象110将运动距离720，距离720可被确定为V’*(T2-T1)。因此，对象位置220可以确定为：

P2’＝P1+V’*(T2-T1) 公式2

以上段落已经描述了在线仿真的实施方式，其中当相机设备140采集对象数据时，在虚拟环境230中直接显示虚拟对象232。在离线模式中，可以将对象位置存储到位置序列中以供进一步使用。当加载位置序列用于离线仿真时，可以在位置序列中的对象位置处显示虚拟对象232。

在本公开的一些实施方式中，可以基于在先前时间段期间获取的对象位置来生成位置序列。例如，相机设备140可以持续1分钟连续采集对象数据。基于在时间段期间内对象110的对象位置和对应时间点，可以生成位置序列。利用这些实施方式，可以预先而不是实时地采集对象位置。此外，可以根据各种参数调整生产线100的状态，以便仿真机器人系统在生产线的各种状态下的操作，因此可以提供更加灵活的仿真方案。

在离线模式中，可以以与在线模式类似的方式确定位置序列中的对象位置。可以使用各种数据结构来存储对象110的位置序列。在下文中，表1示出了位置序列的示例数据结构。

表1示例位置序列

序号	对象位置	时间点
			0	(x0,y0,z0)	T0
1	(x1,y1,z1)	T1
			2	(x2,y2,z2)	T2
…	…	…

在上表1中，第一列表示位置的序号，第二列表示对象的位置，第三列表示用于在虚拟环境230中显示虚拟对象232的时间点。应当理解，上表1仅仅是用于存储位置序列的示例数据结构。在其他实施方式中，可以采用其他数据结构。例如，可以定义时间间隔，因此可以省略用于指示时间点的第三列。

在本公开的一些实施方式中，可以根据各种标准来显示虚拟对象232：时间标准和位置标准。根据时间标准，可以在与获取的对象位置220相关联的时间点显示虚拟对象232。参见上述表1的示例，当在离线模式中加载如表1所示的位置序列时，可以根据时间标准来在与T1对应的时间位置，在位置(x1，y1，z1)处显示虚拟对象232。在此，开始仿真的时间点可以表示为t0，并且仿真的时间线可以与位置序列中的T0对齐。在离线仿真期间，可以在对应于T1的时间点t1显示虚拟对象232(其中t1-t0＝T1-T0)。基于类似的方式，可以在对应于T2的时间位置t2，在位置(x2，y2，z2)处显示虚拟对象232。

根据位置标准，可以在虚拟传送装置236到达与所获取的对象位置220对应的位置时，显示虚拟对象232。参见上述表1的示例，当在离线模式下加载如表1所示的位置序列时，当虚拟传送装置到达位置(x0，y0，z0)时，可以在位置(x0，y0，z0)显示虚拟对象232。

在本公开的一些实施方式中，可以基于传送装置120的运动速度，在虚拟环境230中显示传送装置120的虚拟传送装置236。在虚拟环境230中，虚拟传送装置236可以随着传送装置120的驱动轴的旋转而运动，并且被放置在虚拟传送装置236上的虚拟对象232可以随着虚拟传送装置236运动。利用这些实施方式，传送装置120的状态也被显示在虚拟环境230中，使得管理员可以看到与生产线100相关联的每个组件的全貌。此外，所显示的虚拟表示可以便于管理员发现传送装置120的潜在异常状态以及机器人系统和传送装置120之间的不协调。

在本公开的一些实施方式中，可以确定将被部署的机器人系统处理对象的动作，继而可以基于确定的动作来确定机器人系统的虚拟表示。该动作可以依赖于机器人系统的目的。在用于将瓶子包装到盒子中的包装线中，该动作可以涉及拿起瓶子并将它们放入目标盒子中。在用于将对象110切割成期望形状的生产线中，动作222可以涉及用于切割对象110的预定义机器人路径。

在本公开的一些实施方式中，可以基于定义由机器人系统处理对象的方式的处理模式来确定动作。基于机器人系统的功能，可以为机器人系统定义各种处理模式。在一个示例中，处理模式可以定义机器人系统120将对象130放置到的目的地位置。在用于将传送装置150上的瓶子包装到盒子中的生产线中，目的地位置可以是盒子的位置。此外，处理模式可以定义如何包装瓶子。在一个示例中，可以定义将每六个瓶子包装到一个盒子中。在用于将原始工件切割成期望形状的生产线中，处理模式可以定义机器人系统120的路径或用于控制机器人系统的其他参数。利用这些实施方式，处理模式为控制机器人系统提供了更大的灵活性。因此，即使机器人系统并未真正被部署到生产线100中，虚拟环境230也可以仿真机器人系统的相应动作。

在本公开的一些实施方式中，提供了一种用于仿真生产线中的至少一个对象的装置800。图8示出了根据本公开的实施方式的用于仿真生产线中的至少一个对象的装置800的示意图。如图8所示，装置800可以包括：位置获取单元810，被配置以从由被部署在生产线中的相机设备采集的对象数据，获取至少一个对象中的一个对象的位置；运动确定单元820，被配置以从传送装置的控制器确定传送装置的运动；对象位置获取单元830，被配置以基于确定的位置和由传送装置的运动引起的对象的偏移，获取对象的对象位置；以及显示单元840，被配置以在虚拟环境中在确定的对象位置处显示对象的虚拟表示。

在本公开的一些实施方式中，装置800还包括确定单元，被配置以确定对象的偏移。该确定单元包括：第一时间单元，被配置以确定由相机设备采集对象数据的第一时间点；第二时间单元，被配置以确定用于显示对象的虚拟表示的第二时间点；以及偏移确定单元，被配置以基于传送装置的运动的速度以及确定的第一时间点和第二时间点之间的时间差，来确定偏移。

在本公开的一些实施方式中，装置800还包括调整单元，被配置以调整传送装置的运动的速度；以及显示单元还被配置以根据调整的速度显示对象的虚拟表示。

在本公开的一些实施方式中，装置800还包括：生成单元，被配置以基于在预定义时间段期间获取的对象位置生成位置序列，位置序列中包括的对象位置与预定义时间段内的时间点相关联。

在本公开的一些实施方式中，装置800还包括：离线显示单元，被配置以响应于传送装置的虚拟表示到达与位置序列中的对象位置相对应的位置，在虚拟环境中显示对象的虚拟表示。

在本公开的一些实施方式中，装置800还包括：离线显示单元，被配置以在虚拟环境中，在与位置序列中的对象位置相关联的时间点显示对象的虚拟表示。

在本公开的一些实施方式中，装置800还包括：动作确定单元，被配置以确定用于处理对象的机器人系统的动作，机器人系统将要被部署在生产线中；以及显示单元还被配置以基于确定的动作显示机器人系统的虚拟表示。

在本公开的一些实施方式中，动作确定单元还被配置以：基于定义由机器人系统处理对象的方式的处理模式，确定动作。

在本公开的一些实施方式中，相机设备包括距离测量相机，并且对象数据包括对象与相机设备之间的距离；以及位置确定单元还被配置以基于距离和相机设备的位置，确定位置。

在本公开的一些实施方式中，相机设备包括图像相机，并且对象数据包括由相机设备采集的图像，以及位置确定单元还被配置以基于相机设备的位置和采集的图像的图像处理来确定位置。

在本公开的一些实现方式中，提供了用于仿真生产线中的至少一个对象的系统900。图9示出了根据本公开的实施方式的用于仿真生产线中的至少一个对象的系统900的示意图。如图9所示，系统900包括：耦合至计算机可读存储器单元920的计算机处理器910，并且存储器单元920包括指令922。当由计算机处理器910运行时，指令922可以实现根据上述段落描述的用于仿真生产线中的至少一个对象的方法，并且在下文中将省略细节。

在本公开的一些实现方式中，提供了一种用于仿真生产线中的至少一个对象的计算机可读介质。该计算机可读介质其上存储有指令，当在至少一个处理器上运行时，指令使得至少一个处理器执行用于仿真生产线中的至少一个对象的方法，并且在下文中将省略细节。

在本公开的一些实现方式中，提供了一种生产系统。该生产系统包括：生产线，包括：传送装置；以及相机设备，被配置以采集被放置在传输装置上的至少一个对象的对象数据；根据本公开的用于仿真生产线中的至少一个对象的装置。

一般地，本公开内容的各种实施方式可以在硬件或专用电路、软件、逻辑或其任何组合中实现。一些方面可以在硬件中实现，而其他方面可以在固件或软件中实现，固件或软件可以由控制器、微处理器或其他计算设备运行。虽然本公开内容的实施方式的各个方面被图示和描述为框图、流程图，或者使用一些其他图形表示来图示和描述，但是将可以理解的是，作为非限制性示例，本文描述的框、装置、系统、技术或方法可以在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或者其他计算设备，或者其某些组合中实现。

本公开内容还提供了有形地存储在非暂时性计算机可读存储介质上的至少一个计算机程序产品。计算机程序产品包括计算机可执行指令，诸如包括在程序模块中的那些，在目标真实或虚拟处理器上的设备中运行，以实现上文参见图3描述的过程或方法。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。在各种实施方式中所期望的是，程序模块的功能性可以在程序模块之间组合或分离。用于程序模块的机器可执行指令可以在本地或分布式设备内运行。在分布式设备中，程序模块可以位于本地和远程存储介质二者中。

用于实现本公开内容的方法的程序代码可以以一种或多种编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，以使得程序代码在由处理器或控制器运行时，使得流程图和/或框图中指定的功能/操作得以实现。程序代码可以整体在机器上运行，部分在机器上运行，作为独立软件包运行，部分在机器上并且部分在远程机器上运行，或者整体在远程机器或服务器上运行。

以上程序代码可以体现在机器可读介质上，该机器可读介质可以是可以包含或存储供指令运行系统、装置或设备使用或与其结合使用的程序的任何有形介质。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备，或前述的任何适当组合。机器可读存储介质的更具体示例将包括具有一条或多条线路的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备或前述的任何适当组合。

另外，虽然以特定顺序描绘了操作，但是不应将其理解为要求以所示出的特定顺序或以连续的顺序执行此类操作，或者执行所有图示的操作以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。同样地，虽然以上讨论中包含若干具体实现细节，但是这些不应被解释为对本公开内容的范围的限制，而应被解释为对特定实施方式而言特定的特征的描述。在单独的实施方式的上下文中描述的某些特征也可以在单个实施方式中组合实现。另一方面，在单个实施方式的上下文中描述的各种特征也可以单独地或以任何适当的子组合在多个实施方式中实现。

虽然已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作被公开作为实现权利要求的示例形式。

Claims (23)

1.一种用于仿真生产线中的至少一个对象的方法，所述至少一个对象被放置在所述生产线中的传送装置上，所述方法包括：

从由被部署在所述生产线中的相机设备采集的对象数据，获取所述至少一个对象中的一个对象的位置；

从所述传送装置的控制器确定所述传送装置的运动；

基于确定的所述位置和由所述传送装置的所述运动引起的所述对象的偏移，获取所述对象的对象位置；以及

在虚拟环境中在确定的所述对象位置处显示所述对象的虚拟表示。

2.根据权利要求1所述的方法，还包括：确定所述对象的所述偏移，包括：

确定由所述相机设备采集所述对象数据的第一时间点；

确定用于显示所述对象的所述虚拟表示的第二时间点；以及

基于所述传送装置的所述运动的速度以及确定的所述第一时间点和所述第二时间点之间的时间差，来确定所述偏移。

3.根据权利要求2所述的方法，还包括：调整所述传送装置的运动的所述速度；以及显示所述对象的所述虚拟表示包括：

根据调整的所述速度显示所述对象的所述虚拟表示。

4.根据权利要求1所述的方法，还包括：

基于在预定义时间段期间获取的对象位置生成位置序列，所述位置序列中包括的对象位置与所述预定义时间段内的时间点相关联。

5.根据权利要求4所述的方法，还包括：

响应于所述传送装置的虚拟表示到达与所述位置序列中的对象位置相对应的位置，在所述虚拟环境中显示所述对象的虚拟表示。

6.根据权利要求4所述的方法，还包括：

在所述虚拟环境中，在与所述位置序列中的对象位置相关联的时间点显示所述对象的虚拟表示。

7.根据权利要求1所述的方法，还包括：

确定用于处理所述对象的机器人系统的动作，所述机器人系统将要被部署在所述生产线中；以及

基于确定的所述动作显示所述机器人系统的虚拟表示。

8.根据权利要求7所述的方法，其中确定所述机器人系统的所述动作包括：

基于定义由所述机器人系统处理对象的方式的处理模式，确定所述动作。

9.根据权利要求1所述的方法，其中所述相机设备包括距离测量相机，并且所述对象数据包括所述对象与所述相机设备之间的距离；以及

确定所述位置包括：基于所述距离和所述相机设备的位置，确定所述位置。

10.根据权利要求1所述的方法，其中所述相机设备包括图像相机，并且所述对象数据包括由所述相机设备采集的图像，以及

确定所述位置包括：基于所述相机设备的位置和采集的所述图像的图像处理来确定所述位置。

11.一种用于仿真生产线中的至少一个对象的装置，所述至少一个对象被放置在所述生产线中的传送装置上，所述装置包括：

位置获取单元，被配置以从由被部署在所述生产线中的相机设备采集的对象数据，获取所述至少一个对象中的一个对象的位置；

运动确定单元，被配置以从所述传送装置的控制器确定所述传送装置的运动；

对象位置获取单元，被配置以基于确定的所述位置和由所述传送装置的所述运动引起的所述对象的偏移，获取所述对象的对象位置；以及

显示单元，被配置以在虚拟环境中在确定的所述对象位置处显示所述对象的虚拟表示。

12.根据权利要求11所述的装置，还包括确定单元，被配置以确定所述对象的所述偏移，包括：

第一时间单元，被配置以确定由所述相机设备采集所述对象数据的第一时间点；

第二时间单元，被配置以确定用于显示所述对象的所述虚拟表示的第二时间点；以及

偏移确定单元，被配置以基于所述传送装置的所述运动的速度以及确定的所述第一时间点和所述第二时间点之间的时间差，来确定所述偏移。

13.根据权利要求12所述的装置，还包括调整单元，被配置以调整所述传送装置的运动的所述速度；以及

所述显示单元还被配置以根据调整的所述速度显示所述对象的所述虚拟表示。

14.根据权利要求11所述的装置，还包括：

生成单元，被配置以基于在预定义时间段期间获取的对象位置生成位置序列，所述位置序列中包括的对象位置与所述预定义时间段内的时间点相关联。

15.根据权利要求14所述的装置，还包括：

离线显示单元，被配置以响应于所述传送装置的虚拟表示到达与所述位置序列中的对象位置相对应的位置，在所述虚拟环境中显示所述对象的虚拟表示。

16.根据权利要求14所述的装置，还包括：

离线显示单元，被配置以在所述虚拟环境中，在与所述位置序列中的对象位置相关联的时间点显示所述对象的虚拟表示。

17.根据权利要求11所述的装置，还包括：

动作确定单元，被配置以确定用于处理所述对象的机器人系统的动作，所述机器人系统将要被部署在所述生产线中；以及

所述显示单元还被配置以基于确定的所述动作显示所述机器人系统的虚拟表示。

18.根据权利要求17所述的装置，其中所述动作确定单元还被配置以：基于定义由所述机器人系统处理对象的方式的处理模式，确定所述动作。

19.根据权利要求11所述的装置，其中所述相机设备包括距离测量相机，并且所述对象数据包括所述对象与所述相机设备之间的距离；以及

所述位置确定单元还被配置以基于所述距离和所述相机设备的位置，确定所述位置。

20.根据权利要求11所述的装置，其中所述相机设备包括图像相机，并且所述对象数据包括由所述相机设备采集的图像，以及

所述位置确定单元还被配置以基于所述相机设备的位置和采集的所述图像的图像处理来确定所述位置。

21.一种用于仿真生产线中的至少一个对象的系统，包括：耦合至计算机可读存储器单元的计算机处理器，所述存储器单元包括指令，当由所述计算机处理器运行时，所述指令实现根据权利要求1至10中的任一项所述的方法。

22.一种计算机可读介质，其上存储有指令，当在至少一个处理器上运行时所述指令，使得所述至少一个处理器执行根据权利要求1至10中的任一项所述的方法。

23.一种生产系统，包括：

生产线，包括：

传送装置；以及

相机设备，被配置以采集被放置在所述传输装置上的至少一个对象的对象数据；

根据权利要求11至20所述的用于仿真所述生产线中的至少一个对象的装置。

Images