CN115488888A - 物体定位方法、机器人系统的控制方法、装置和电子设备 - Google Patents

Abstract

本公开提供一种物体定位方法、机器人系统的控制方法、装置和电子设备，该物体定位方法包括：控制点云采集装置采集目标点云图像，目标点云图像包括标志物体的第一点云和待处理物体的第二点云；将第一点云输入机器人系统的机器人模型进行处理，得到标志物体的第一位姿；确定第一位姿和标志物体的实际位姿的第一差值；根据第一差值、第二点云和机器人模型，确定待处理物体的实际位姿，能够实现对待处理物体的准确定位。

Description

物体定位方法、机器人系统的控制方法、装置和电子设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种物体定位方法、机器人系统的控制方法、装置和电子设备。

背景技术

机器人系统包括机器人，其中，机器人可以实现例如夹持，焊接和检测等操作。在控制机器人执行操作时，需要机器人系统能够准确的确定待处理物体的位姿，才能控制机器人的末端执行器移动至该位姿对应的位置对待处理物体进行处理。

目前，由于机器人系统随着工作时长的增加，会导致机器人系统的环境以及本身的器件发生变化，而这些变化会影响机器人系统确定待处理物体的位姿的准确度。

发明内容

本公开的多个方面提供一种物体定位方法、机器人系统的控制方法、装置和电子设备，以解决目前确定的待处理物体的位姿不准确的问题。

本公开实施例第一方面提供一种物体定位方法，应用于机器人系统，机器人系统包括机器人和点云采集装置，物体定位方法包括：控制点云采集装置采集目标点云图像，目标点云图像包括标志物体的第一点云和待处理物体的第二点云；将第一点云输入机器人系统的机器人模型进行处理，得到标志物体的第一位姿；确定第一位姿和标志物体的实际位姿的第一差值；根据第一差值、第二点云和机器人模型，确定待处理物体的实际位姿。

本公开实施例第二方面提供一种机器人系统的控制方法，包括：获取待处理物体的实际位姿，待处理物体的实际位姿是第一方面的物体定位方法确定的；控制机器人系统的末端执行器移动至实际位姿对应的位置。

本公开实施例第三方面提供一种物体定位装置，用于执行第一方面的物体定位方法，应用于机器人系统，机器人系统包括机器人和点云采集装置，物体定位装置包括：

控制模块，用于控制点云采集装置采集目标点云图像，目标点云图像包括标志物体的第一点云和待处理物体的第二点云；

处理模块，用于将第一点云输入机器人系统的机器人模型进行处理，得到标志物体的第一位姿；

第一确定模块，用于确定第一位姿和标志物体的实际位姿的第一差值；

第二确定模块，用于根据第一差值、第二点云和机器人模型，确定待处理物体的实际位姿。

本公开实施例第四方面提供一种电子设备，包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面的物体定位方法，和/或，第二方面的机器人系统的控制方法。

本公开实施例第五方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现第一方面的物体定位方法和/或，第二方面的机器人系统的控制方法。

本公开实施例第六方面提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行第一方面的物体定位方法，和/或，第二方面的机器人系统的控制方法。

本公开实施例应用在对机器人对物体的处理场景中，通过控制点云采集装置采集目标点云图像，目标点云图像包括标志物体的第一点云和待处理物体的第二点云；将第一点云输入机器人系统的机器人模型进行处理，得到标志物体的第一位姿；确定第一位姿和标志物体的实际位姿的第一差值；根据第一差值、第二点云和机器人模型，确定待处理物体的实际位姿，能够对机器人系统在使用过程中产生的时变误差进行补偿，进而实现对待处理物体的准确定位。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1为本公开示例性实施例提供的一种物体定位方法的应用场景图；

图2为本公开示例性实施例提供的一种物体定位方法的步骤流程图；

图3为本公开示例性实施例提供的另一种物体定位方法的应用场景图；

图4为本公开示例性实施例提供的一种标志物体的示意图；

图5为本公开示例性实施例提供的另一种物体定位方法的步骤流程图；

图6为本公开示例性实施例提供的一种机器人系统的控制方法的步骤流程图；

图7为本公开示例性实施例提供的物体定位装置的结构框图；

图8为本公开示例性实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开具体实施例及相应的附图对本公开技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

在机器人系统对待处理物体进行处理的过程中，需要确定待处理物体的准确位置，以将机器人系统的末端执行器移动到相应位置对待处理物体进行处理。目前，机器人系统在出厂前均是标定好的，但是由于机器人系统在使用过程中，由于所处环境以及自身发热等情况的出现，会使机器人系统出现温漂现象，而这种现象的出现会影响机器人系统对待处理物体定位精度，进而导致机器人系统无法对待处理物体进行准确的处理。

基于上述问题，本公开实施例通过控制点云采集装置采集目标点云图像，目标点云图像包括标志物体的第一点云和待处理物体的第二点云；将第一点云输入机器人系统的机器人模型进行处理，得到标志物体的第一位姿；确定第一位姿和标志物体的实际位姿的第一差值；根据第一差值、第二点云和机器人模型，确定待处理物体的实际位姿，能够对机器人系统在使用过程中产生的时变误差进行补偿，进而实现对待处理物体的准确定位。

此外，本公开实施例的一种应用场景如图1，图1中包括放置在室内10的机器人系统，该机器人系统包括点云采集装置11和机器人，其中机器人包括：末端执行器12，机器人基座14和安装在末端执行器12和机器人之间的至少两个运动段13，还包括标志物体B和待处理物体D。其中，机器人系统在刚开机时，可以准确的定位待处理物体D的位置，但是，在机器人系统工作一段时间，由于散热导致室内温度发生变化，导致机器人和点云采集装置中的结构发生温漂问题，进而会导致机器人系统对待处理物体D的定位存在偏差，而本公开通过设置固定不动的标志物体B，可以对该偏差进行补偿，以准确的定位待处理物体D。

其中，图1只是示例性的一种应用场景，本公开实施例可以应用在任意场景下的机器人系统。本公开实施例不对具体的应用场景进行限定。

图2为本公开示例性实施例提供的一种物体定位方法的步骤流程图。具体包括以下步骤：

S201，控制点云采集装置采集目标点云图像。

本公开应用于机器人系统，其中一种机器人系统如图1所示，该机器人系统的点云采集装置11固定在机器人的末端执行器12上，标志物体B固定在机器人的外部。第二种机器人系统如图2所示，该机器人系统包括点云采集装置31和机器人，机器人包括：末端执行器32和机器人基座34，以及连接在末端执行器32和机器人基座34之间的至少两个运动段33，其中，点云采集装置31固定地安装在机器人外部，标志物体固定B在机器人的末端执行器上。

其中，目标点云图像包括标志物体的第一点云和待处理物体的第二点云。具体地，标志物体和待处理物体之间的距离小于距离阈值，使标志物体和待处理物体在点云采集装置的同一视野中，则点云采集装置可以采集一帧目标点云图像，该帧目标点云图像包括：包括标志物体的第一点云和待处理物体的第二点云。此外，标志物体和待处理物体之间的距离大于距离阈值，使标志物体和待处理物体在点云采集装置不同同一视野中，则点云采集装置可以采集两帧目标点云图像，其中一帧目标点云图像包括：包括标志物体的第一点云，另一帧包括待处理物体的第二点云。

进一步地，点云采集装置采集目标点云图像的具体过程为，点云采集装置针对标志物体和待处理物体的采集普通图像，根据普通图像和点云采集装置的相机内参，得到目标点云图像。其中，目标点云图像中的点云包括多个点，每个点包括坐标信息，该坐标信息为点云采集装置下第二坐标系的坐标信息。

此外，第一点云为标志物体对应的点云，若标志物体为一个球体，则第一点云大致具有球心的轮廓。

在本本公开实施例中，标志物体随着时间的变化，标志物体的位姿是不变的，即标志物体在机器人基座的第三坐标系下的坐标是始终不变的。此外，标志物体可以是一个球体，也可以是多个球体，示例性地，参照图4，标志物体可以是三个按照图4所示方式排列的球体(球体41、球体42和球体43)，其中球体41和球体42的连线，与球体42和球体43的连线垂直。这三个球体在点云采集装置的同一视野中，在后续可以计算每个球体对应的第一差值，将三个球体的第一差值的平均值作为补偿值对待处理物体进行补偿。

S202，将第一点云输入机器人系统的机器人模型进行处理，得到标志物体的第一位姿。

其中，机器人模型是指机器人系统模型，机器人模型为预先设定好的，机器人模型可以根据输入的物体的点云，确定物体对应的位姿。

具体地，参照图1和图3，均具有点云采集装置的第二坐标系(X′Y′Z′)和机器人基座的第三坐标系(X″Y″Z″)，其中，点云采集装置的第二坐标系(X′Y′Z′)，其点云采集装置为坐标系原点O′，Z′轴为点云采集装置的视场中轴线的方向，X′Y′是与该视场中轴线垂直的平面。点云采集装置采集的点云中，每个点都具有点云采集装置的第二坐标系(X′Y′Z′)下的坐标值。机器人基座的第三坐标系(X″Y″Z″)是以机器人基座为原点O建立第三坐标系，其中，Z″轴表示竖直方向。X″和Y″位于水平面内，三个坐标轴相互垂直。

一种实施例中，参照图1，点云采集装置11固定在机器人的末端执行器12上，标志物体B固定在机器人外部，机器人模型的模型参数包括：点云采集装置11的相机外参和机器人的机器人参数，将第一点云输入机器人系统的机器人模型进行处理，得到标志物体的第一位姿，包括：在机器人模型中执行以下步骤：根据第一点云和相机外参确定标志物体在末端执行器第一坐标系下的第一执行位姿，其中，相机外参包括：点云采集装置第二坐标系至第一坐标系的变换关系；根据第一执行位姿和机器人参数确定标志物体在机器人基座第三坐标系下的第一位姿。

具体地，参照图1，末端执行器12的第一坐标系(XYZ)，其以末端执行器12上的固定点(例如法兰盘的中心)为坐标系原点O，Z轴垂直于法兰盘的表面，X轴和Y轴相互垂直，并且平行于法兰盘的表面。此外，点云采集装置11固定安装在末端执行器12上，因此点云采集装置11的第二坐标系(X′Y′Z′)相对于末端执行器12的第一坐标系(XYZ)具有固定的变换关系，该变换关系可以通过矩阵来表达，该矩阵中的各个分量可表征两个坐标系之间的平移和变换关系，根据该变换关系，基于一个点在第二坐标系(X′Y′Z′)下的坐标，可以确定该点在第一坐标系(XYZ)下的坐标。在图1中，点云采集装置11的相机外参包括表示该变换关系，因此可以根据相机外参和第一点云，确定标志物体在末端执行器第一坐标系(XYZ)下的位姿，即为第一执行位姿。

进一步地，机器人还具有机器人参数，该机器人参数由机器人各个运动段13之间的连接关系、相连的运动段之间的角度、每个运动段的位置和转动轴的信息确定，机器人参数用于根据第一执行位姿确定标志物体在第三坐标系(X″Y″Z″)下的第一位姿。

另一实施例中，参照图3，点云采集装置固定地安装在机器人外部，标志物体固定在机器人的末端执行器上，机器人模型的模型参数包括：点云采集装置的相机外参，将第一点云输入机器人系统的机器人模型进行处理，得到标志物体的第一位姿，包括：在机器人模型中执行以下步骤：根据第一点云和相机外参确定标志物体在机器人基座第三坐标系下的第一位姿，其中，相机外参包括：点云采集装置第二坐标系至第三坐标系的变换关系。

具体地，在图3中，点云采集装置是固定地安装在机器人外部，点云采集装置31和机器人基座34的位置关系是固定的，因此，在图3中的相机外参包括：点云采集装置第二坐标系(X′Y′Z′)至第三坐标系(X″Y″Z″)的变换关系，该变换关系也通过矩阵表达，可以根据第一点云中的点在第二坐标系(X′Y′Z′)的坐标，以及相机外参，确定该点在第三坐标系(X″Y″Z″)下的坐标，进而能够确定第一位姿。

S203，确定第一位姿和标志物体的实际位姿的第一差值。

在本公开中，对于图1的情况，S202是通过预先标定好的相机外参和机器人参数计算得到第一位姿的，对于图2的情况，S203是通过预先标定好的相机外参计算得到第一位姿的。其中，相机外参和机器人参数的标定是在预设环境下进行的。例如，在预设环境温度下和/或机器人系统刚开机后进行的。但是在机器人系统使用的过程中，机器人系统开机后持续工作多个小时，其中，随着机器人系统的工作时长变长，机器人系统的温度会升高，或者由于散热会导致机器人系统所在的环境(如室内10)的环境温度会升高，此外，机器人系统由大量金属材料和/或非金属材料制成，环境的变化会导致机器人系统本身的性能会发生变化，例如热胀导致机器人运动段的轴向延伸，或者运动段之间的角度发生变化等等。进一步地，由于机器人系统在出厂后，随着环境的变化持续对机器人系统进行重新标定是耗时耗力的，并且会降低机器人系统对待处理物体的处理效率，基于此，本公开确定第一位姿和标志物体的实际位姿的第一差值，作为偏差的补偿，可以实现快速的确定待处理物体的实际位姿。

其中，在图1中，标志物体B相对于机器人基座14的位置是始终不变的。可以预先确定标志物体B在第三坐标系(X″Y″Z″)的实际位姿。然后通过上述方式确定标志物体B在第三坐标系(X″Y″Z″)的计算位姿(第一位姿)。将第一位姿减去实际位姿得到的第一差值作为补偿值。

可选地，在图3中，标志物体B是固定于末端执行器32上的，相对末端执行器32的位姿是始终不变地，进而可以根据机器人参数确定标志物体B在第三坐标系(X″Y″Z″)的位姿为实际位姿，然后在末端执行器32每次对待处理物体处理结束后，再移动至该实际位姿处，在这种情况通过上述方式确定标志物体B在第三坐标系(X″Y″Z″)的计算位姿(第一位姿)，将第一位姿减去实际位姿得到的第一差值作为补偿值。

S204，根据第一差值、第二点云和机器人模型，确定待处理物体的实际位姿。

其中，第二点云和机器人模型可以确定待处理物体的计算位姿，第一差值作为补偿值，对该计算位姿进行补偿，进而可以确定待处理物体的实际位姿。该实际位姿是补偿后位姿，将补偿后的位姿作为实际位姿可以控制机器人系统对待处理物体进行处理。

第一种可选实施例中，第一点云和第二点云包含在同一目标点云图像中，根据第一差值、第二点云和机器人模型，确定待处理物体的实际位姿，包括：将第二点云输入机器人系统的机器人模型进行处理，得到待处理物体的第二位姿；确定第二位姿和第一差值之间的第二差值，为待处理物体的实际位姿。其中，对于图1和图3的机器人系统均可以采用该种方式，确定待处理物体的实际位姿。

具体地，对于图1所示的机器人系统，机器人模型的模型参数包括相机外参和机器人参数，则根据第二点云和相机外参可以得到待处理物体在末端执行器12的第一坐标系下的位姿H1，然后根据位姿H1和机器人参数可以得到待处理物体在机器人基座14第三坐标系下的第二位姿。

具体地，对于图3所示的机器人系统，机器人模型的模型参数包括相机外参，则根据第二点云和相机外参可以得到待处理物体在机器人基座34的第三坐标系下的第二位姿。

进一步地，第一差值的计算方式为：第一位姿减去标志物体的实际位姿，则第二差值的计算方式为第二位姿H3减去第一差值。

其中，第一点云和第二点云包含不在同一目标点云图像中，也可以采用上述第一种方式进行补偿，在此不加以限定。

第二种可选实施例中，第一点云和第二点云在不同的目标点云图像中，根据第一差值、第二点云和机器人模型，确定待处理物体的实际位姿，还包括：将第二点云输入机器人系统的机器人模型进行处理，得到待处理物体的第三位姿；确定第三位姿和第一差值之间的第三差值；获取在采集包含第一点云的目标点云图像时末端执行器的第四位姿，以及获取在采集包含第二点云的目标点云图像时末端执行器的第五位姿；确定第四位姿至第五位姿的变换矩阵；根据第三差值和变换矩阵，确定实际位姿。其中，对于图1的机器人系统可以采用该种方式，确定待处理物体的实际位姿。

具体地，对于图1所示的机器人系统，末端执行器12移动为第四位姿带动点云采集装置11移动并针对标志物体采集目标点云图像，该目标点云图像只包含标志物体的第一点云，此时末端执行器的位姿为第四位姿，该第四位姿是在机器人基座第三坐标系下的位姿。然后末端执行器12移动为第五位姿带动点云采集装置11移动并针对待处理物体采集目标点云图像，该目标点云图像只包含待处理物体的第二点云，此时末端执行器的位姿为第五位姿，该第五位姿是在机器人基座第三坐标系下的位姿。其中，将第四位姿到第五位姿的变换矩阵考虑进补偿，能够更准确的对待处理物体的位姿进行补偿。其中，采用第三差值和变换矩阵相乘的方式得到确定实际位姿。

进一步地，对于图3所示的机器人系统，点云采集装置31始终是固定的，在采集目标点云图像时，待处理物体和标志物体始终在点云采集装置31的同一视野中，因此不适用第二种方案。

第三种可选实施例中，根据第一差值、第二点云和机器人模型，确定待处理物体的实际位姿，包括：根据第一差值，调整机器人模型的模型参数；将第二点云输入调整后的机器人模型进行处理，得到标志物体的实际位姿。

其中，调整机器人模型的模型参数是调整点云采集装置11的外参和机器人参数，这样可以使第一点云输入调整后的机器人模型后，可以输出标志物体的实际位姿。进而可以采用调整后的机器人模型对第二点云进行处理，得到待处理物体的实际位姿。

进一步地，对于图1的机器人系统，将第二点云输入调整后的机器人模型进行处理，得到标志物体的实际位姿之前，还包括：根据第一执行位姿和标志物体在第一坐标系下的实际执行位姿的第四差值，调整相机外参。

具体地，第一执行位姿是计算得到的标志物体在末端执行器第一坐标系下的计算位姿，实际执行位姿是标志物体在末端执行器第一坐标系下的实际位姿。由于相机外参表示点云采集装置11的第二坐标系至末端执行器12的第一坐标系下的变换关系，因此，可以采用第四差值调整相机外参，可以使第一点云和调整后相机外参确定的执行位姿和实际执行位姿相同，进而可以使第二点云和调整后的相机外参确定待处理物体在末端执行器第一坐标系下的位姿解决待处理物体在末端执行器第一坐标系下的实际位姿。

图5为本公开示例性实施例提供的另一种物体定位方法的步骤流程图，具体包括以下步骤：

S501，在机器人系统所处的环境为预设环境的情况下，控制点云采集装置采集参考点云图像。

其中，参考点云图像包括标志物体的参考点云。在本公开中，预设环境可以是指，机器人系统处于关机状态的时间大于第一预设时间，如10小时或15小时，待机器人系统完全冷却的情况下，机器人系统开机后，第二预设时间内，如2分钟或者3分钟之内针对标志物体采集参考点云图像。

对于图1和/或图3所示的机器人系统，向机器人系统输入第一控制参数，控制机器人是在第一状态下采集参考点云图像。则后续在采集包含标志物体的目标点云图像时，均向机器人输入第一控制参数，以控制机器人在第二状态下采集目标点云图像。其中，随着机器人系统的工作时长的延长，机器人系统本身的温度和环境温度会发生变化，会导致机器人系统本身发生变化，因此在不同时间给机器人系统输入同样的第一控制参数，机器人系统的状态可能会有微小差别，主要表现为末端执行器的相对机器人基座的位置具有差别，而本公开也可以对该差别进行补偿。

其中，是在机器人系统处于停稳状态下，控制点云采集装置采集参考点云图像。即是机器人变换到给定位姿后，等待为停稳状态后，采集参考点云图像，然后控制机器人变换到另一个位姿。其中，机器人变换到指定位姿后，需要一小段时间来停稳，此时采集的参考点云图像能够较准确的确定标志物体的实际位姿。

S502，将参考点云输入机器人模型进行处理，得到标志物体的实际位姿。

具体地，对于图1所示的机器人系统，标志物体B相对于机器人基座的位置是固定的。对于图3所示的机器人系统，标志物体B相对于末端执行器的位置是固定。

其中，参考点云是在机器人系统刚开机后获得的，因此，根据该参考点云与机器人模型确定的位姿可以确定为标志物体的实际位姿。

S503，控制点云采集装置采集目标点云图像。

步骤的具体实现过程，参照S201，需要补充的是，其中，对于图1所示的机器人系统，控制点云采集装置可以采集同时包含第一点云和第二点云的目标点云图像，也可以采集包含第一点云的一目标点云图像和采集包含第二点云的另一目标点云图像。对于图2所示的机器人系统，仅控制点云采集装置可以采集同时包含第一点云和第二点云的目标点云图像。

此外，在采集目标点云图像时，向机器人系统输入和采集参考点云图像时相同的第一控制参数，以控制机器人系统的末端执行器移动至相应位置进行目标点云图像的采集。

进一步地，在标志物体和待处理物体在同一视野下时，即第一点云和第二点云在同一目标点云图像中，可以在机器人变换为对应位姿即进行目标点云图像的采集，具体地，由于标志物体和待处理物体同时参与了机器人同样的震动，所以在后续对待处理物体的位姿进行补偿时，可以根据机器人没停稳时的确定的第一位姿与实际位姿的差值，把机器人没停稳时，确定待处理物体的位姿的误差补偿掉，所以可以一定程度上可以减少机器人等待停稳时间，从而提高机器人处理的节拍。其中，在机器人未停稳时，点云采集装置采集的图像是清晰的，以进行相关计算。

S504，将第一点云输入机器人系统的机器人模型进行处理，得到标志物体的第一位姿。

该步骤的具体实现过程，参照S202，在此不再赘述。

S505，获取标志物体的第六位姿和标志物体的实际位姿之间的第五差值。

其中，第六位姿是机器人系统处理待处理物体之前的物体时确定的标志物体的计算位姿。具体地，待处理物体之前的物体时，确定的标志物体的计算位姿是指标志物体在上一次计算得到的第一位姿。

示例性地，在T0时刻，确定标志物体的计算位姿为实际位姿C0。在T1时刻处理待处理物体A1，确定标志物体的计算位姿为C1，则T1时刻的标志物体的第一差值为“C1-C0”。在T2时刻处理待处理物体A2，确定标志物体的计算位姿(第一位姿)为C2，对应的第六位姿是机器人系统处理待处理物体A2之前的物体A1时确定的标志物体的计算位姿C1。在T3时刻处理待处理物体A3，确定标志物体的计算位姿(第一位姿)为C3，对应的第六位姿是机器人系统处理待处理物体A3之前的物体A2时确定的标志物体的计算位姿C2。在T4时刻处理待处理物体A4，确定标志物体的计算位姿(第一位姿)为C4，对应的第六位姿是机器人系统处理待处理物体A4之前的物体A3时确定的标志物体的计算位姿C3，以此类推。T2时刻，第五差值为C1-C0。T3时刻，第五差值为C2-C0。T4时刻，第五差值为C3-C0。

S506，确定第一位姿与第六位姿之间的第六差值。

综上，第一位姿为当前时刻的标志物体的计算位姿。T2时刻，第六差值为C2-C1。T3时刻，第五差值为C3-C2。T4时刻，第五差值为C4-C3。

S507，确定第六差值和第五差值的和为第一差值。

示例性地，T2时刻，第一差值为C2-C0。T3时刻，第五差值为C3-C0。T4时刻，第五差值为C4-C0。

在本公开中，采用迭代的计算方式，计算第一差值可以直接使用上一次计算得到的位姿。

S508，根据第一差值、第二点云和机器人模型，确定待处理物体的实际位姿。

该步骤的具体实现过程，参照S203，在此不再赘述。

S509，循环执行上述步骤，确定满足第一预设条件，结束循环，得到多个待处理物体的实际位姿。

具体地，为循环执行S503至S508，循环执行上述步骤后，可以得到该待处理物体的多个实际位姿。

其中，第一预设条件包括：循环次数为预设次数、循环时长大于或等于预设时长和机器人系统的环境温度达到稳定状态中的至少一项。预设次数和预设时长均为预先设定的，例如预设次数为3次，即针对每个待处理物体执行上述步骤3次，得到3个该待处理物体的实际位姿。再例如循环时长为2分钟，即2分钟内对待处理物体的实际位姿进行多次计算，得到多个实际位姿。再例如，持续执行上述步骤，直到环境温度达到稳定状态，环境温度达到稳定状态可以理解为环境温度在一定时间内的变化范围在预设温度范围内。

S510，在多个待处理物体的实际位姿中，确定满足第二预设条件的实际位姿为目标实际位姿。

其中，第二预设条件包括：出现频率最高的待处理物体的实际位姿为目标实际位姿或者最后一次确定的实际位姿为目标实际位姿。具体地，最后一次确定的实际位姿可以理解为是环境较温度的时候确定的，因此将该最后一次确定的实际位姿为目标实际位姿能够提高准确度。

进一步地，对于第一预设条件包括：循环次数为预设次数、循环时长大于或等于预设时长时，可以将多个待处理物体的实际位姿取平均值作为目标实际位姿。

在本公开中，通过确定标定物体的第一差值，可以补偿机器人系统的所有时变的刚性误差，同时提高机器人系统处理待处理物体时的节拍和精度。具体地，补偿的机器人的刚性误差包括：补偿机器人、点云采集装置、标定物体和待处理物体在同一个体系内的震动、温漂等产生的误差。提高节拍是指机器人的末端执行器到达待处理位置后，需要停留一下，等机器人的末端执行器停止晃动后，再对待处理物体进行点云采集。而在本公开中，可以通过标定物体对待处理物体进行补偿，因此无需等待末端执行器停止晃动后再进行点云采集，可以到达待处理位置后直接进行点云采集。本公开能够提高机器人系统的处理效率，以及提高机器人系统对待处理物体的定位精度。

图6为本公开示例性实施例提供的一种机器人系统的控制方法的步骤流程图，具体包括以下步骤：

S601，获取待处理物体的实际位姿。

其中，待处理物体的实际位姿是根据上述任一项物体定位方法确定的；

S602，控制机器人系统的末端执行器移动至实际位姿对应的位置。

在本功率实施例中，机器人系统可以本身具有计算控制能力，也可以和服务器连接，采用服务器控制其对待处理物体进行处理。其中，在获取待处理物体的实际位姿后，根据应用场景，以及该实际位姿，按照预设的确定方式，确定末端执行器应当移动至的对应位置，则控制机器人系统的末端执行器移动至该对应位置，后续可以对待处理物体进行处理，如检测、抓取等。

在本公开中，由于通过上述方式可以准确的确定待处理物体的实际位姿，进而在该实施例中，可以根据确定的待处理物体的实际位姿准确的机器人系统。

在本公开实施例中，参照图7，除了提供物体定位方法之外，还提供物体定位装置70应用于上述的物体定位方法，包括：

控制模块71，用于控制点云采集装置采集目标点云图像，目标点云图像包括标志物体的第一点云和待处理物体的第二点云；

处理模块72，用于将第一点云输入机器人系统的机器人模型进行处理，得到标志物体的第一位姿；

第一确定模块73，用于确定第一位姿和标志物体的实际位姿的第一差值；

第二确定模块74，用于根据第一差值、第二点云和机器人模型，确定待处理物体的实际位姿。

一种可选实施例中，第一点云和第二点云包含在同一目标点云图像中，第二确定模块74具体用于：将第二点云输入机器人系统的机器人模型进行处理，得到待处理物体的第二位姿；确定第二位姿和第一差值之间的第二差值，为待处理物体的实际位姿。

一种可选实施例中，第一点云和第二点云在不同的目标点云图像中，第二确定模块74具体用于：将第二点云输入机器人系统的机器人模型进行处理，得到待处理物体的第三位姿；确定第三位姿和第一差值之间的第三差值；获取在采集包含第一点云的目标点云图像时末端执行器的第四位姿，以及获取在采集包含第二点云的目标点云图像时末端执行器的第五位姿；确定第四位姿至第五位姿的变换矩阵；根据第三差值和变换矩阵，确定实际位姿。

一种可选实施例中，第二确定模块74具体用于：根据第一差值，调整机器人模型的模型参数；将第二点云输入调整后的机器人模型进行处理，得到标志物体的实际位姿。

一种可选实施例中，点云采集装置固定在机器人的末端执行器上，标志物体固定在机器人外部，机器人模型的模型参数包括：点云采集装置的相机外参和机器人的机器人参数，处理模块72具体用于：在机器人模型中执行以下步骤：

根据第一点云和相机外参确定标志物体在末端执行器第一坐标系下的第一执行位姿，其中，相机外参包括：点云采集装置第二坐标系至第一坐标系的变换关系；根据第一执行位姿和机器人参数确定标志物体在机器人基座第三坐标系下的第一位姿。

一种可选实施例中，第二确定模块74在将第二点云输入调整后的机器人模型进行处理，得到标志物体的实际位姿之前，还用于：根据第一执行位姿和标志物体在第一坐标系下的实际执行位姿的第四差值，调整相机外参。

一种可选实施例中，点云采集装置固定地安装在机器人外部，标志物体固定在机器人的末端执行器上，机器人模型的模型参数包括：点云采集装置的相机外参，处理模块72具体用于：在机器人模型中执行以下步骤：

根据第一点云和相机外参确定标志物体在机器人基座第三坐标系下的第一位姿，其中，相机外参包括：点云采集装置第二坐标系至第三坐标系的变换关系。

一种可选实施例中，第一确定模块73具体用于：获取标志物体的第六位姿和标志物体的实际位姿之间的第五差值，第六位姿是机器人系统处理待处理物体之前的物体时确定的标志物体的计算位姿；确定第一位姿与第六位姿之间的第六差值；确定第六差值和第五差值的和为第一差值。

一种可选实施例中，控制模块71在控制点云采集装置采集目标点云图像之前，还用于：在机器人系统所处的环境为预设环境的情况下，控制点云采集装置采集参考点云图像，参考点云图像包括标志物体的参考点云；将参考点云输入机器人模型进行处理，得到标志物体的实际位姿。

一种可选实施例中，还包括：第三确定模块(未示出)，用于循环执行物体定位方法；在满足第一预设条件下，结束循环，得到多个待处理物体的实际位姿，第一预设条件包括：循环次数为预设次数、循环时长大于或等于预设时长和机器人系统的环境温度达到稳定状态中的至少一项；在多个待处理物体的实际位姿中，确定满足第二预设条件的实际位姿为目标实际位姿，其中，第二预设条件包括：出现频率最高的待处理物体的实际位姿为目标实际位姿或者最后一次确定的实际位姿为目标实际位姿。

本公开实施例提供的物体定位装置通过控制点云采集装置采集目标点云图像，目标点云图像包括标志物体的第一点云和待处理物体的第二点云；将第一点云输入机器人系统的机器人模型进行处理，得到标志物体的第一位姿；确定第一位姿和标志物体的实际位姿的第一差值；根据第一差值、第二点云和机器人模型，确定待处理物体的实际位姿，能够对机器人系统在使用过程中产生的时变误差进行补偿，进而实现对待处理物体的准确定位。

此外，本申请实施例还提供一种机器人系统的控制装置(未示出)，包括：

获取模块，用于获取待处理物体的实际位姿，待处理物体的实际位姿是根据上述实施例中任一项物体定位方法确定的；

控制模块，用于控制机器人系统的末端执行器移动至实际位姿对应的位置。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图8为本公开一示例实施例提供的电子设备的结构示意图。如图8所示，该电子设备80包括：处理器81，以及与处理器81通信连接的存储器82，存储器82存储计算机执行指令。

其中，处理器执行存储器存储的计算机执行指令，以实现上述任一方法实施例所提供的物体定位方法或机器人系统的控制方法，具体功能和所能实现的技术效果此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述任一方法实施例提供的物体定位方法或机器人系统的控制方法。

本公开实施例还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一方法实施例提供的物体定位方法或机器人系统的控制方法。

在本公开所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本公开各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (14)

1.一种物体定位方法，其特征在于，应用于机器人系统，所述机器人系统包括机器人和点云采集装置，所述物体定位方法包括：

控制所述点云采集装置采集目标点云图像，所述目标点云图像包括标志物体的第一点云和待处理物体的第二点云；

将所述第一点云输入所述机器人系统的机器人模型进行处理，得到所述标志物体的第一位姿；

确定所述第一位姿和所述标志物体的实际位姿的第一差值；

根据所述第一差值、所述第二点云和所述机器人模型，确定所述待处理物体的实际位姿。

2.根据权利要求1所述的物体定位方法，其特征在于，所述第一点云和所述第二点云包含在同一目标点云图像中，所述根据所述第一差值、所述第二点云和所述机器人模型，确定所述待处理物体的实际位姿，包括：

将所述第二点云输入所述机器人系统的机器人模型进行处理，得到所述待处理物体的第二位姿；

确定所述第二位姿和所述第一差值之间的第二差值，为所述待处理物体的实际位姿。

3.根据权利要求1所述的物体定位方法，其特征在于，所述第一点云和所述第二点云在不同的目标点云图像中，所述根据所述第一差值、所述第二点云和所述机器人模型，确定所述待处理物体的实际位姿，包括：

将所述第二点云输入所述机器人系统的机器人模型进行处理，得到所述待处理物体的第三位姿；

确定所述第三位姿和所述第一差值之间的第三差值；

获取在采集包含所述第一点云的目标点云图像时末端执行器的第四位姿，以及获取在采集包含所述第二点云的目标点云图像时所述末端执行器的第五位姿；

确定所述第四位姿至所述第五位姿的变换矩阵；

根据所述第三差值和所述变换矩阵，确定所述实际位姿。

4.根据权利要求1所述的物体定位方法，其特征在于，所述根据所述第一差值、所述第二点云和所述机器人模型，确定所述待处理物体的实际位姿，包括：

根据所述第一差值，调整所述机器人模型的模型参数；

将所述第二点云输入调整后的机器人模型进行处理，得到所述标志物体的实际位姿。

5.根据权利要求1至4中任一项所述的物体定位方法，其特征在于，所述点云采集装置固定在所述机器人的末端执行器上，所述标志物体固定在所述机器人外部，所述机器人模型的模型参数包括：所述点云采集装置的相机外参和所述机器人的机器人参数，所述将所述第一点云输入所述机器人系统的机器人模型进行处理，得到所述标志物体的第一位姿，包括：在所述机器人模型中执行以下步骤：

根据所述第一点云和所述相机外参确定所述标志物体在所述末端执行器第一坐标系下的第一执行位姿，其中，所述相机外参包括：所述点云采集装置第二坐标系至所述第一坐标系的变换关系；

根据所述第一执行位姿和所述机器人参数确定所述标志物体在机器人基座第三坐标系下的所述第一位姿。

6.根据权利要求5所述的物体定位方法，其特征在于，所述将所述第二点云输入调整后的机器人模型进行处理，得到所述标志物体的实际位姿之前，还包括：

根据所述第一执行位姿和所述标志物体在所述第一坐标系下的实际执行位姿的第四差值，调整所述相机外参。

7.根据权利要求1、2和4中任一项所述的物体定位方法，其特征在于，所述点云采集装置固定地安装在所述机器人外部，所述标志物体固定在所述机器人的末端执行器上，所述机器人模型的模型参数包括：所述点云采集装置的相机外参，所述将所述第一点云输入所述机器人系统的机器人模型进行处理，得到所述标志物体的第一位姿，包括：在所述机器人模型中执行以下步骤：

根据所述第一点云和所述相机外参确定所述标志物体在机器人基座第三坐标系下的所述第一位姿，其中，所述相机外参包括：所述点云采集装置第二坐标系至所述第三坐标系的变换关系。

8.根据权利要求1至4任一项所述的物体定位方法，其特征在于，所述确定所述第一位姿和所述标志物体的实际位姿的第一差值，包括：

获取标志物体的第六位姿和所述标志物体的实际位姿之间的第五差值，所述第六位姿是所述机器人系统处理所述待处理物体之前的物体时确定的所述标志物体的计算位姿；

确定所述第一位姿与所述第六位姿之间的第六差值；

确定所述第六差值和所述第五差值的和为所述第一差值。

9.根据权利要求1至4任一项所述的物体定位方法，其特征在于，所述控制所述点云采集装置采集目标点云图像之前，还包括：

在所述机器人系统所处的环境为预设环境的情况下，控制所述点云采集装置采集参考点云图像，所述参考点云图像包括所述标志物体的参考点云；

将所述参考点云输入所述机器人模型进行处理，得到所述标志物体的实际位姿。

10.根据权利要求1至4任一项所述的物体定位方法，其特征在于，还包括：

循环执行所述物体定位方法；

在满足第一预设条件下，结束循环，得到多个所述待处理物体的实际位姿，所述第一预设条件包括：循环次数为预设次数、循环时长大于或等于预设时长和所述机器人系统的环境温度达到稳定状态中的至少一项；

在多个所述待处理物体的实际位姿中，确定满足第二预设条件的实际位姿为目标实际位姿，其中，第二预设条件包括：出现频率最高的待处理物体的实际位姿为所述目标实际位姿或者最后一次确定的实际位姿为所述目标实际位姿。

11.一种机器人系统的控制方法，其特征在于，包括：

获取待处理物体的实际位姿，所述待处理物体的实际位姿是根据权利要求1至10任一项所述物体定位方法确定的；

控制所述机器人系统的末端执行器移动至所述实际位姿对应的位置。

12.一种物体定位装置，其特征在于，用于执行权利要求1至10中任一项所述的物体定位方法，应用于机器人系统，所述机器人系统包括机器人和点云采集装置，所述物体定位装置包括：

控制模块，用于控制所述点云采集装置采集目标点云图像，所述目标点云图像包括标志物体的第一点云和待处理物体的第二点云；

处理模块，用于将所述第一点云输入所述机器人系统的机器人模型进行处理，得到所述标志物体的第一位姿；

第一确定模块，用于确定所述第一位姿和所述标志物体的实际位姿的第一差值；

第二确定模块，用于根据所述第一差值、所述第二点云和所述机器人模型，确定所述待处理物体的实际位姿。

13.一种电子设备，其特征在于，包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如权利要求1至10任一项所述物体定位方法，和/或，如权利要求11所述的机器人系统的控制方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现权利要求1至10任一项所述物体定位方法，和/或，如权利要求11所述的机器人系统的控制方法。

Images