CN110232710A - 基于三维相机的物品定位方法、系统及设备 - Google Patents

Abstract

本发明涉及物品检测定位技术领域，尤其涉及一种基于三维相机的物品定位方法、系统及设备。该方法通过获取模板参数，根据基准机器人拍照位姿对物品进行局部拍摄，得到包含有点云数据的局部图像，点云数据为根据基准三维相机与工具关系转换到机器人的基坐标系的数据；根据局部图像、基准局部模型点云模板计算得到与拍照位姿对应的标记点位置；根据所有与拍照位姿对应的标记点位置、所有基准局部模型点云模板确定物品当前位置与基准位置的平移旋转关系；根据物品当前位置与基准位置的平移旋转关系、基准机器人抓取位姿计算得出机器人当前抓取位姿。本发明的自动化程度高，定位精度高，易于操作节约了生产成本，提高了对位的准确性、一致性。

Description

基于三维相机的物品定位方法、系统及设备

技术领域

本发明涉及物品检测定位技术领域，尤其涉及一种基于三维相机的物品定位方法、系统及设备。

背景技术

近年来三维技术发展迅速，计算机运算能力也越来越强，三维技术广泛运用在物流、医疗、电子制造、逆向工程等领域。在一些大型铸件生产过程中，需要将沙模分为上下两部分分别生产，在浇筑前再将这两个部分沙模合成在一起形成一个完整的沙模，而这两部分沙模对位的准确性将严重影响最终铸件的品质。

现有技术中采用2D相机或线激光生产辅助定位数据，然后根据辅助定位数据人工完成两部分沙模对位，由于工件比较大，往往需要3至4人合力才能完成，费时费力；为了节省人力成本和时间成本，还有的尝试采用大型机械手根据辅助定位数据进行抓取完成两部分沙模对位，也取得一定的效果。但是，由于工厂生产环境恶劣，光照、沙模本身的颜色差异导致采用2D相机进行辅助定位生成的定位数据不稳定并且精度低，导致依据此辅助定位数据的对位准确性比较差；因线激光对色彩比较敏感导致生成的定位数据不稳定并且精度低，而且工件大导致扫描效率低下，导致依据此辅助定位数据的对位准确性比较差。

发明内容

基于此，有必要针对上述问题，提出了一种基于三维相机的物品定位方法、系统及设备。

第一方面，本发明提供了一种基于三维相机的物品定位方法，包括：

获取模板参数，所述模板参数包括基准三维相机与工具关系、基准机器人抓取位姿、基准局部模型点云模板、基准机器人拍照位姿，所述基准局部模型点云模板及所述基准机器人拍照位姿的数量都不少于三个并且一一对应，每个所述基准局部模型点云模板对应一个标记点；

根据基准机器人拍照位姿对物品进行局部拍摄，得到包含有点云数据的局部图像，所述点云数据为根据基准三维相机与工具关系转换到机器人的基坐标系的数据；

根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置；

根据所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定所述物品当前位置与基准位置的平移旋转关系；

根据所述物品当前位置与基准位置的平移旋转关系、所述基准机器人抓取位姿计算得出机器人当前抓取位姿。

进一步的，所述根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置具体包括：

根据所述局部图像、所述基准局部模型点云模板匹配出与所述拍照位姿对应的基准局部模型点云模板；

根据所述局部图像、与所述拍照位姿对应的基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置。

进一步的，在所述获取模板参数，所述模板参数包括基准机器人抓取位姿、基准局部模型点云模板、基准机器人拍照位姿，所述基准局部模型点云模板及所述基准机器人拍照位姿的数量都不少于三个并且一一对应，每个所述基准局部模型点云模板对应一个标记点之前还包括：

获取三维相机与机器人的机器手末端工具的安装关系；

根据所述安装关系确定基准三维相机与工具关系，所述基准三维相机与工具关系用于把三维相机的点云数据转换到机器人的机械手的末端工具的工具坐标系下；

根据预设的基准位姿放置物品；

驱动所述设置有三维相机的机器人抓夹该物品，更新机器人当前位姿为基准机器人抓取位姿；

根据所述物品的外观选择基准局部模型；

驱动所述设置有三维相机的机器人对基准局部模型进行拍摄，得到包含有点云数据的局部图像；

根据所述基准局部模型图像确定与基准局部模型对应的基准局部模型点云模板，更新当前机器人位姿为与基准局部模型对应的基准机器人拍照位姿；

根据与基准局部模型对应的基准局部模型点云模板确定与基准局部模型对应的基准局部模型点云模板中标记点的位置。

进一步的，所述根据所述物品的外观选择基准局部模型具体包括：

根据预设的基准位姿放置物品的外观选择容易拍摄并且有拐角和/或凸起的局部区域作为基准局部模型。

进一步的，所述根据与基准局部模型对应的基准局部模型点云模板确定与基准局部模型对应的基准局部模型点云模板中标记点的位置具体包括：

根据与基准局部模型对应的基准局部模型点云模板选择几何中心作为与基准局部模型对应的基准局部模型点云模板中标记点的位置。

进一步的，所述根据所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定所述物品当前位置与基准位置的平移旋转关系具体包括：

根据所有与所述拍照位姿对应的标记点位置计算得出所有与所述拍照位姿对应的标记点位置的几何中心；

根据所有所述基准局部模型点云模板计算得出所有所述基准局部模型点云模板的几何中心；

根据所有与所述拍照位姿对应的标记点位置的几何中心、所有所述基准局部模型点云模板的几何中心按奇异值分解计算得出平移旋转关系的旋转矩阵；

根据所述旋转矩阵、所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定平移旋转关系的平移矩阵。

进一步的，所述根据所述物品当前位置与基准位置的平移旋转关系、所述基准机器人抓取位姿计算得出机器人当前抓取位姿具体包括：

根据所述基准机器人抓取位姿按所述平移矩阵进行所述基准机器人抓取位姿的平移；

根据所述基准机器人抓取位姿的平移结果按所述旋转矩阵进行旋转后的机器人抓取位姿即为机器人当前抓取位姿。

进一步的，在所述根据所述物品当前位置与基准位置的平移旋转关系、所述基准机器人抓取位姿计算得出机器人当前抓取位姿之后还包括：

根据所述机器人当前抓取位姿执行抓取物品；

根据所述基准机器人抓取位姿执行放置物品；

根据基准机器人拍照位姿对物品进行局部拍摄，得到包含有点云数据的局部图像，所述点云数据为根据基准三维相机与工具关系转换到机器人的基坐标系的数据；

根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置；

根据与所述拍照位姿对应的标记点位置、所述基准局部模型点云模板进行物品放置位姿准确性验证。

第二方面，本发明还提供了一种基于三维相机的物品定位系统，包括：

机器人控制模块，用于控制机器人及三维相机工作，接收机器人及三维相机的工作数据反馈；

模板参数模块，用于记录所述模板参数包括基准三维相机与工具关系、基准机器人抓取位姿、基准局部模型点云模板、基准机器人拍照位姿，所述基准局部模型点云模板及所述基准机器人拍照位姿的数量都不少于三个并且一一对应，每个所述基准局部模型点云模板对应一个标记点；

标记点位置获取模块，用于根据基准机器人拍照位姿对物品进行局部拍摄，得到包含有点云数据的局部图像，所述点云数据为根据基准三维相机与工具关系转换到机器人的基坐标系的数据，根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置；

机器人当前抓取位姿计算模块，用于获取模板参数，根据所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定所述物品当前位置与基准位置的平移旋转关系，根据所述物品当前位置与基准位置的平移旋转关系、所述基准机器人抓取位姿计算得出机器人当前抓取位姿。

第三方面，本发明还提供了一种计算机设备，包括至少一个存储器、至少一个处理器，所述存储器存储有计算机指令程序，所述计算机指令程序被所述处理器执行时，使得所述处理器执行第一方面所述方法的步骤。

综上所述，本发明的基于三维相机的物品定位方法通过获取模板参数；根据基准机器人拍照位姿对物品进行局部拍摄，得到包含有点云数据的局部图像，所述点云数据为根据基准三维相机与工具关系转换到机器人的基坐标系的数据；根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置；根据所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定所述物品当前位置与基准位置的平移旋转关系；根据所述物品当前位置与基准位置的平移旋转关系、所述基准机器人抓取位姿计算得出机器人当前抓取位姿。本发明通过三维相机获取局部模型的点云，精度高；通过局部模型的点云提取标记点，提高了标记点数据的稳定性；通过基准机器人抓取位姿与基准机器人拍照位姿及基准局部模型点云模板的关联，确保了最终得出的机器人当前抓取位姿的准确性和一致性；通过按模板参数控制机器人进行局部拍摄并计算出的机器人当前抓取位姿，最后控制机器人按当前抓取位姿执行抓取物品进行对位，自动化程度高，定位精度高，易于操作节约了生产成本，提高了对位的准确性、一致性。因此，本发明的基于三维相机的物品定位方法自动化程度高，定位精度高，易于操作节约了生产成本，提高了对位的准确性、一致性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中基于三维相机的物品定位方法的流程图；

图2为一个实施例中基于三维相机的物品定位方法的与所述拍照位姿对应的标记点位置计算的流程图；

图3为一个实施例中基于三维相机的物品定位方法的平移旋转关系计算的流程图；

图4为一个实施例中基于三维相机的物品定位方法的机器人当前抓取位姿计算的流程图；

图5为一个实施例中基于三维相机的物品定位方法的对位完成后对准确性验证的流程图；

图6为一个实施例中基于三维相机的物品定位方法的构建模板参数的流程图；

图7为一个实施例中基于三维相机的物品定位系统的结构框图；

图8为一个实施例中计算机设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本实施例提供了一种基于三维相机的物品定位方法，通过三维相机获取局部模型的点云，精度高；通过局部模型的点云提取标记点，提高了标记点数据的稳定性；通过基准机器人抓取位姿与基准机器人拍照位姿及基准局部模型点云模板的关联，确保了最终得出的机器人当前抓取位姿的准确性和一致性；通过按模板参数控制机器人进行局部拍摄并计算出的机器人当前抓取位姿，最后控制机器人按当前抓取位姿执行抓取物品进行对位，自动化程度高，定位精度高，易于操作节约了生产成本，提高了对位的准确性、一致性。所述基于三维相机的物品定位方法具体包括如下步骤：

S02、获取模板参数，所述模板参数包括基准三维相机与工具关系、基准机器人抓取位姿、基准局部模型点云模板、基准机器人拍照位姿，所述基准局部模型点云模板及所述基准机器人拍照位姿的数量都不少于三个并且一一对应，每个所述基准局部模型点云模板对应一个标记点；

具体而言，根据当前物品的名称或者编号获取与物品对应的模板参数，获取的参数包括基准三维相机与工具关系、基准机器人抓取位姿、基准局部模型点云模板、基准机器人拍照位姿。

所述基准三维相机与工具关系用于记录三维相机坐标系与机器人的机器手末端工具坐标系的转换关系。

所述基准机器人抓取位姿用于记录当前模板参数对应的机器人在合适的抓取位置抓取物品时候的抓取位姿。

所述基准局部模型点云模板用于记录基准局部模型的点云数据，包括点云编号、点云中心位置、点云大小、点云体积、点云法向量、标记点的位置、用于计算标记点位置的点云编号；其中，点云中心位置、标记点的位置为机器人基坐标系的位置。

所述基准机器人拍照位姿用于记录拍摄基准局部模型时的机器人的位姿，包括机器人的位置和姿态。

S03、根据基准机器人拍照位姿对物品进行局部拍摄，得到包含有点云数据的局部图像，所述点云数据为根据基准三维相机与工具关系转换到机器人的基坐标系的数据；

具体而言，所述局部图像中点云数据包括包括点云编号、点云中心位置、点云大小、点云体积、点云法向量；拍摄的局部图像的点云中心位置是三维相机坐标系下的，通过基准三维相机与工具关系、工具坐标系转换到机器人的基坐标系方法换算到机器人基坐标系的位置。所述工具坐标系转换到机器人的基坐标系方法用于将工具坐标系下的点云数据转换到机器人的基坐标系下，有利于后续点云数据准确位置的确定。

S04、根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置；

与所述拍照位姿对应的标记点位置是指针对当前物品进行拍摄后所述拍照位姿对应的标记点位置，该标记点位置是机器人的基坐标系下的位置。

在一种实施例中，图2示出了所述步骤S04具体包括如下步骤：

S041、根据所述局部图像、所述基准局部模型点云模板匹配出与所述拍照位姿对应的基准局部模型点云模板；

具体而言，根据所述局部图像中点云的法向量与所述基准局部模型点云模板中点云的法向量匹配出与所述拍照位姿对应的基准局部模型点云模板。在一种实施例中，局部图像中所有的点云的法向量与所述基准局部模型点云模板中所有的点云的法向量，匹配出95％及以上的所述基准局部模型点云模板中的点云即可。

在另一种实施例中，从与基准局部模型对应的基准局部模型点云模板中选择预设数量的有特征的点云，根据所述局部图像中所有的点云的法向量与所述基准局部模型点云模板中选择的点云的法向量匹配出与所述拍照位姿对应的基准局部模型点云模板。比如，选择基准局部模型中凸起的顶部区域的30点云作为预设数量的有特征的点云，在此不作具体限定。

S042、根据所述局部图像、与所述拍照位姿对应的基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置。

具体而言，根据与所述拍照位姿对应的基准局部模型点云模板中标记点位置、所述基准局部模型点云模板中与所述局部图像匹配出的点云中心位置确定标记点与匹配点云转换关系；根据所述标记点与匹配点云转换关系、所述局部图像中与所述基准局部模型点云模板匹配出的点云中心位置确定出与所述拍照位姿对应的标记点位置。

S05、根据所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定所述物品当前位置与基准位置的平移旋转关系；

所述平移旋转关系是物品当前位姿与基准位姿的最佳平移旋转关系，该关系的求解可以分解为求解旋转矩阵和平移矩阵。

比如：设旋转矩阵为R，平移矩阵为t，所有与所述拍照位姿对应的标记点位置的点集为Pcn，所有所述基准局部模型点云模板中标记点位置的点集为Pmc，通过求解如下公式求解出平移旋转关系的旋转矩阵为R和平移矩阵为t：

Pcn＝R*Pmc+t

在一种实施例中，图3示出了所述步骤S05具体包括如下步骤：

S051、根据所有与所述拍照位姿对应的标记点位置计算得出所有与所述拍照位姿对应的标记点位置的几何中心；

S052、根据所有所述基准局部模型点云模板计算得出所有所述基准局部模型点云模板的几何中心；

具体而言，所有所述基准局部模型点云模板的几何中心是指所有所述基准局部模型点云模板中标记点位置的几何中心。

S053、根据所有与所述拍照位姿对应的标记点位置的几何中心、所有所述基准局部模型点云模板的几何中心按奇异值分解计算得出平移旋转关系的旋转矩阵；

S054、根据所述旋转矩阵、所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定平移旋转关系的平移矩阵。

S06、根据所述物品当前位置与基准位置的平移旋转关系、所述基准机器人抓取位姿计算得出机器人当前抓取位姿。

所述机器人当前抓取位姿用于驱动机器人对当前物品进去抓取的姿态，可以理解的是，机器人抓取物品的外观的位置与模板参数中基准机器人抓取位姿抓取基准位姿放置物品的外观的位置相同。

在一种实施例中，图4示出了所述步骤S06具体包括如下步骤：

S061、根据所述基准机器人抓取位姿按所述平移矩阵进行所述基准机器人抓取位姿的平移；

S062、根据所述基准机器人抓取位姿的平移结果按所述旋转矩阵进行旋转后的机器人抓取位姿即为机器人当前抓取位姿。

在另一种实施例中，所述步骤S06具体还可以包括如下步骤：

S063、根据所述基准机器人抓取位姿按所述旋转矩阵进行所述基准机器人抓取位姿的旋转；

S064、根据所述基准机器人抓取位姿的旋转结果按所述平移矩阵进行平移后的机器人抓取位姿即为机器人当前抓取位姿。

S07、根据所述机器人当前抓取位姿执行抓取物品；

具体而言，向机器人发送抓夹信号，所述抓夹信号携带有所述机器人当前抓取位姿，机器人根据抓夹信号执行抓取物品。

S08、根据所述基准机器人抓取位姿执行放置物品；

具体而言，向机器人发送放置信号，所述抓夹信号携带有所述基准机器人抓取位姿，机器人抓取物品调整到所述基准机器人抓取位姿后执行放置物品操作。

在本实施例中，步骤S03至步骤S07中的物品，在执行步骤S03前已根据模板参数中物品的基准位姿进行初步放置，但物品的位姿与模板参数中物品的基准位姿有偏差，比如：偏差5厘米或者偏差10厘米。所以需要步骤S03至步骤S08找到针对当前的物品位姿的机器人当前抓取位姿把物品进行对位，最终使物品的位姿与模板参数中物品的基准位姿没有任何偏差。从而是对位只需要进行较小调整，方便准确确定机器人当前抓取位姿，从而提高了对位的准确性。

在一个实施例中，图5示出了在物品进行对位完成后对准确性验证，从而确保物品对位的准确性，提高了产品质量。

S09、根据基准机器人拍照位姿对物品进行局部拍摄，得到包含有点云数据的局部图像，所述点云数据为根据基准三维相机与工具关系转换到机器人的基坐标系的数据；

具体而言，所述局部图像中点云数据包括包括点云编号、点云中心位置、点云大小、点云体积、点云法向量；拍摄的局部图像的点云中心位置是三维相机坐标系下的，通过基准三维相机与工具关系、工具坐标系转换到机器人的基坐标系方法换算到机器人基坐标系的位置。

S10、根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置；

具体而言，所述与所述拍照位姿对应的标记点位置为机器人的基坐标系下的位置。

S11、根据与所述拍照位姿对应的标记点位置、所述基准局部模型点云模板进行物品放置位姿准确性验证。

具体而言，根据与所述拍照位姿对应的标记点位置的法向量与所述基准局部模型点云模板中点云的法向量匹配，匹配出95％及以上的所述基准局部模型点云模板中的点云即可认定物品放置位姿正确。如物品放置位姿不正确，重新执行步骤S03至S11直至物品放置位姿正确。

在一个实施例中，步骤S01至步骤S11采用相同设置的机器人，从而控制简单。

在另一个实施例中，步骤S01至步骤S11采用至少两种设置的机器人，只需要根据机器人数学模型进行换算即可，换算方法在此不作具体限定。从而提高了构建模板参数、执行确定机器人当前抓取位姿、执行对位的效率，降低了生产成本。

在一个实施例中，步骤S01至步骤S11用于对同一个物品的定位和对位。

在另一个实施例中，步骤S01至步骤S11用于对两个物品的组装进行定位和对位。可以对其中一个物品执行步骤S01至步骤S11；也可以对两个物品分别执行步骤S01至步骤S11，从而确保组装物品组装的准确性，提高了产品质量。

在一种实施例中，图6示出了构建模板参数的方法步骤，所述模板参数记录了物品基准位置的数据，用于为物品的对位提供依据；物品的对位是指把物品按模式参数记录的物品位置和角度进行放置，具体包括如下步骤：

S011、获取三维相机与机器人的机器手末端工具的安装关系；

所述三维相机用于获得真实的三维立体图像，例如双目相机；为了便于拍摄将三维相机安装在机器人的机械手的末端工具上，即“眼在手”。

S012、根据所述安装关系确定基准三维相机与工具关系，所述基准三维相机与工具关系用于把三维相机的点云数据转换到机器人的机械手的末端工具的工具坐标系下；

根据三维相机与机器人的机器手末端工具的安装关系通过手眼标定确定基准三维相机与工具关系，从而有利于在后续步骤中准确的把三维相机的点云数据转换到机器人的机械手的末端工具的工具坐标系下。

末端工具是不断移动变化的，导致工具坐标系是不断变化的，不利于后续点云数据准确位置的确定，因此需要将工具坐标系下的点云数据转换到机器人的基坐标系下。工具坐标系转换到机器人的基坐标系方法如下：设工具坐标系下的点云数据为Pt，设当前机器人在基坐标下的位姿为Pb，根据机器人数学模型可知，将Pt转换到机器人基坐标系下需要将Pt*Pb的逆位姿，设Pb的逆位姿为Pb1，通过这一系列的变换，最终将三维相机坐标下的点云数据转换到机器人基坐标系的点云数据，从而得出了准确唯一的位置数据。

S013、根据预设的基准位姿放置物品；

所述预设的基准位姿是指为了方便后续拍摄、对位工作预先选定的一个物品放置的位姿，可以通过人工或人工与机器人的配合完成预设的基准位姿放置物品。

S014、驱动所述设置有三维相机的机器人抓夹该物品，更新机器人当前位姿为基准机器人抓取位姿；

所述合适的抓取位置需要根据物品的外观、机器人的机械手的形状选择易抓取、抓取后稳定不打滑、不损坏物品的位置。

S015、根据所述物品的外观选择基准局部模型；

所述基准局部模型是物品外观上的局部区域，用于构建模板参数。根据预设的基准位姿放置物品的外观选择容易拍摄并且有拐角和/或凸起的局部区域作为基准局部模型。有利于后续基于三维相机的物品定位方法构建模板参数和确定对位数据的准确性和效率，从而提高了对位准确性，提高了生产效率，降低了生产成本。

S016、驱动所述设置有三维相机的机器人对基准局部模型进行拍摄，得到包含有点云数据的局部图像；

具体而言，驱动所述设置有三维相机的机器人根据基准局部模型在物品上的位置调整到合适的拍照位姿后对基准局部模型进行完整清晰的拍摄，并且记录在三维相机坐标系下的点云数据。基准局部模型进行拍摄的点云可以为密集点云，还可以为稀疏点云，在本发明不做具体限定。

所述局部图像中的点云数据包括点云编号、点云中心位置、点云大小、点云体积、点云法向量；拍摄的局部图像的点云中心位置是三维相机坐标系下的，通过基准三维相机与工具关系、工具坐标系转换到机器人的基坐标系方法换算到机器人基坐标系的位置。

S017、根据所述基准局部模型图像确定与基准局部模型对应的基准局部模型点云模板，更新当前机器人位姿为与基准局部模型对应的基准机器人拍照位姿；

具体而言，根据所述基准局部模型图像确定预设数量的点云为与基准局部模型对应的基准局部模型点云，更新与基准局部模型对应的基准局部模型点云对应的点云编号、点云中心位置、点云大小、点云体积、点云法向量数据为与基准局部模型对应的基准局部模型点云模板，并且更新机器人拍摄该基准局部模型的位姿为与基准局部模型对应的基准机器人拍照位姿。与基准局部模型对应的基准局部模型点云需要包含拐角和/或凸起区域的点云，有利于基于三维相机的物品定位方法确定对位数据的准确性和效率，从而提高了对位准确性，提高了生产效率，降低了生产成本。

S018、根据与基准局部模型对应的基准局部模型点云模板确定与基准局部模型对应的基准局部模型点云模板中标记点的位置。

所述基准局部模型点云模板中标记点的位置用于记录基准局部模型对应的标记点的位置，有利于基于三维相机的物品定位方法确定对位数据的效率，从而提高了生产效率，降低了生产成本。

在本实施例中，计算与基准局部模型对应的基准局部模型点云模板中所有点云的点云中心位置的几何中心，把该几何中心在机器人基坐标系的位置作为与基准局部模型对应的基准局部模型点云模板中标记点的位置。比如：基准局部模型点云模板包含n个点云，点云中心位置为(x1，y1，z1)、(x2，y2，z2)…(xn，yn，zn)，则n个点云的几何中心(Xc，Yc，Zc)计算公式如下：

在另一种实施例中，从与基准局部模型对应的基准局部模型点云模板中选择预设数量的有特征的点云，把选择的点云的点云中心位置的几何中心在机器人基坐标系的位置作为与基准局部模型对应的基准局部模型点云模板中标记点的位置。比如，选择基准局部模型中拐角的顶部区域的1个点云作为预设数量的有特征的点云或选择基准局部模型中凸起的顶部区域的30点云作为预设数量的有特征的点云。

在本实施例中，基准局部模型数量不少于三个，所有基准局部模型的标记点不能位于同一直线上，有利于基于三维相机的物品定位方法确定对位数据的准确性，从而提高了对位准确性。

图7示出了一种基于三维相机的物品定位系统，包括：机器人控制模块701，用于控制机器人及三维相机工作，接收机器人及三维相机的工作数据反馈；模板参数模块702，用于记录所述模板参数包括基准三维相机与工具关系、基准机器人抓取位姿、基准局部模型点云模板、基准机器人拍照位姿，所述基准局部模型点云模板及所述基准机器人拍照位姿的数量都不少于三个并且一一对应，每个所述基准局部模型点云模板对应一个标记点；标记点位置获取模块703，用于根据基准机器人拍照位姿对物品进行局部拍摄，得到包含有点云数据的局部图像，所述点云数据为根据基准三维相机与工具关系转换到机器人的基坐标系的数据，根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置；机器人当前抓取位姿计算模块704，用于获取模板参数，根据所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定所述物品当前位置与基准位置的平移旋转关系，根据所述物品当前位置与基准位置的平移旋转关系、所述基准机器人抓取位姿计算得出机器人当前抓取位姿。所述基于三维相机的物品定位系统通过三维相机获取局部模型的点云，精度高；通过局部模型的点云提取标记点，提高了标记点数据的稳定性；通过基准机器人抓取位姿与基准机器人拍照位姿及基准局部模型点云模板的关联，确保了最终得出的机器人当前抓取位姿的准确性和一致性；通过按模板参数控制机器人进行局部拍摄并计算出的机器人当前抓取位姿，最后控制机器人按当前抓取位姿执行抓取物品进行对位，自动化程度高，定位精度高，易于操作节约了生产成本，提高了对位的准确性、一致性。

在一个实施例中，所述机器人控制模块701向机器人发送控制信号，所述控制信号携带有机器人位姿、需要执行的动作等信息，接收机器人反馈的机器人位姿等信息，向三维相机发送控制信号并接收反馈的拍摄信息；在另一个实施例中，机器人控制模块701控制机器人并接收反馈信息，机器人对三维相机进行控制并接收三维相机的反馈信息。

在一个实施例中，所述控制信号可以是用户发出的命令、基于三维相机的物品定位系统根据用户反馈发出的命令和/或基于三维相机的物品定位系统自身发出的命令。

在一个实施例中，所述基于三维相机的物品定位系统还包括：对位验证模块705，用于根据与所述拍照位姿对应的标记点位置、所述基准局部模型点云模板进行物品放置位姿准确性验证。从而确保对位准确性，提高了生产质量。

在另一个实施例中，所述基于三维相机的物品定位系统还包括：构建模板参数模块706，用于根据根据预设的基准位姿放置物品；驱动所述设置有三维相机的机器人抓夹该物品，更新机器人当前位姿为基准机器人抓取位姿；根据所述物品的外观选择基准局部模型；驱动所述设置有三维相机的机器人对基准局部模型进行拍摄，得到包含有点云数据的局部图像；根据所述基准局部模型图像确定与基准局部模型对应的基准局部模型点云模板，更新当前机器人位姿为与基准局部模型对应的基准机器人拍照位姿；根据与基准局部模型对应的基准局部模型点云模板确定与基准局部模型对应的基准局部模型点云模板中标记点的位置。

图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器、也可以是终端设备，所述服务器包括但不限于高性能计算机和高性能计算机集群；所述终端设备包括但不限于移动终端设备和台式终端设备，所述移动终端设备包括但不限于手机、平板电脑、智能手表和笔记本电脑，所述台式终端设备包括但不限于台式电脑和车载电脑。所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现三维相机的物品定位方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行三维相机的物品定位方法。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的基于三维相机的物品定位方法可以实现为一种计算机程序的形式，计算机程序可在所示的计算机设备上运行。计算机设备的存储器中可存储组成基于三维相机的物品定位系统的各个程序模板。比如，机器人控制模块701、模板参数模块702、标记点位置获取模块703、机器人当前抓取位姿计算模块704、对位验证模块705、构建模板参数模块706。

在一个实施例中，提供了一种计算机设备，该计算机设备可以为服务器，包括至少一个存储器、至少一个处理器，所述存储器存储有计算机指令程序，所述计算机指令程序被所述处理器执行时，使得所述处理器执行如下方法步骤：获取模板参数，所述模板参数包括基准机器人抓取位姿、基准局部模型点云模板、基准机器人拍照位姿，所述基准局部模型点云模板及所述基准机器人拍照位姿的数量都不少于三个并且一一对应，每个所述基准局部模型点云模板对应一个标记点；根据基准机器人拍照位姿对物品进行局部拍摄，得到包含有点云数据的局部图像，所述点云数据为根据基准三维相机与工具关系转换到机器人的基坐标系的数据；根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置；根据所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定所述物品当前位置与基准位置的平移旋转关系；根据所述物品当前位置与基准位置的平移旋转关系、所述基准机器人抓取位姿计算得出机器人当前抓取位姿。

需要说明的是，上述基于三维相机的物品定位方法、基于三维相机的物品定位系统、计算机设备属于一个总的发明构思，基于三维相机的物品定位方法、基于三维相机的物品定位系统、计算机设备实施例中的内容可相互适用。

综上所述，本发明的基于三维相机的物品定位方法通过三维相机获取局部模型的点云，精度高；通过局部模型的点云提取标记点，提高了标记点数据的稳定性；通过基准机器人抓取位姿与基准机器人拍照位姿及基准局部模型点云模板的关联，确保了最终得出的机器人当前抓取位姿的准确性和一致性；通过按模板参数控制机器人进行局部拍摄并计算出的机器人当前抓取位姿，最后控制机器人按当前抓取位姿执行抓取物品进行对位，自动化程度高，定位精度高，易于操作节约了生产成本，提高了对位的准确性、一致性。因此，本发明的基于三维相机的物品定位方法自动化程度高，定位精度高，易于操作节约了生产成本，提高了对位的准确性、一致性。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于三维相机的物品定位方法，其特征在于，包括：

获取模板参数，所述模板参数包括基准三维相机与工具关系、基准机器人抓取位姿、基准局部模型点云模板、基准机器人拍照位姿，所述基准局部模型点云模板及所述基准机器人拍照位姿的数量都不少于三个并且一一对应，每个所述基准局部模型点云模板对应一个标记点；

根据基准机器人拍照位姿对物品进行局部拍摄，得到包含有点云数据的局部图像，所述点云数据为根据基准三维相机与工具关系转换到机器人的基坐标系的数据；

根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置；

根据所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定所述物品当前位置与基准位置的平移旋转关系；

根据所述物品当前位置与基准位置的平移旋转关系、所述基准机器人抓取位姿计算得出机器人当前抓取位姿。

2.根据权利要求1所述的基于三维相机的物品定位方法，其特征在于，

所述根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置具体包括：

根据所述局部图像、所述基准局部模型点云模板匹配出与所述拍照位姿对应的基准局部模型点云模板；

根据所述局部图像、与所述拍照位姿对应的基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置。

3.根据权利要求1所述的基于三维相机的物品定位方法，其特征在于，

在所述获取模板参数，所述模板参数包括基准机器人抓取位姿、基准局部模型点云模板、基准机器人拍照位姿，所述基准局部模型点云模板及所述基准机器人拍照位姿的数量都不少于三个并且一一对应，每个所述基准局部模型点云模板对应一个标记点之前还包括：

获取三维相机与机器人的机器手末端工具的安装关系；

根据所述安装关系确定基准三维相机与工具关系，所述基准三维相机与工具关系用于把三维相机的点云数据转换到机器人的机械手的末端工具的工具坐标系下；

根据预设的基准位姿放置物品；

驱动所述设置有三维相机的机器人抓夹该物品，更新机器人当前位姿为基准机器人抓取位姿；

根据所述物品的外观选择基准局部模型；

驱动所述设置有三维相机的机器人对基准局部模型进行拍摄，得到包含有点云数据的局部图像；

根据所述基准局部模型图像确定与基准局部模型对应的基准局部模型点云模板，更新当前机器人位姿为与基准局部模型对应的基准机器人拍照位姿；

根据与基准局部模型对应的基准局部模型点云模板确定与基准局部模型对应的基准局部模型点云模板中标记点的位置。

4.根据权利要求3所述的基于三维相机的物品定位方法，其特征在于，

所述根据所述物品的外观选择基准局部模型具体包括：

根据预设的基准位姿放置物品的外观选择容易拍摄并且有拐角和/或凸起的局部区域作为基准局部模型。

5.根据权利要求3所述的基于三维相机的物品定位方法，其特征在于，

所述根据与基准局部模型对应的基准局部模型点云模板确定与基准局部模型对应的基准局部模型点云模板中标记点的位置具体包括：

根据与基准局部模型对应的基准局部模型点云模板选择几何中心作为与基准局部模型对应的基准局部模型点云模板中标记点的位置。

6.根据权利要求1至5任一项所述的基于三维相机的物品定位方法，其特征在于，

所述根据所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定所述物品当前位置与基准位置的平移旋转关系具体包括：

根据所有与所述拍照位姿对应的标记点位置计算得出所有与所述拍照位姿对应的标记点位置的几何中心；

根据所有所述基准局部模型点云模板计算得出所有所述基准局部模型点云模板的几何中心；

根据所有与所述拍照位姿对应的标记点位置的几何中心、所有所述基准局部模型点云模板的几何中心按奇异值分解计算得出平移旋转关系的旋转矩阵；

根据所述旋转矩阵、所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定平移旋转关系的平移矩阵。

7.根据权利要求6所述的基于三维相机的物品定位方法，其特征在于，

所述根据所述物品当前位置与基准位置的平移旋转关系、所述基准机器人抓取位姿计算得出机器人当前抓取位姿具体包括：

根据所述基准机器人抓取位姿按所述平移矩阵进行所述基准机器人抓取位姿的平移；

根据所述基准机器人抓取位姿的平移结果按所述旋转矩阵进行旋转后的机器人抓取位姿即为机器人当前抓取位姿。

8.根据权利要求6所述的基于三维相机的物品定位方法，其特征在于，

在所述根据所述物品当前位置与基准位置的平移旋转关系、所述基准机器人抓取位姿计算得出机器人当前抓取位姿之后还包括：

根据所述机器人当前抓取位姿执行抓取物品；

根据所述基准机器人抓取位姿执行放置物品；

根据基准机器人拍照位姿对物品进行局部拍摄，得到包含有点云数据的局部图像，所述点云数据为根据基准三维相机与工具关系转换到机器人的基坐标系的数据；

根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置；

根据与所述拍照位姿对应的标记点位置、所述基准局部模型点云模板进行物品放置位姿准确性验证。

9.一种基于三维相机的物品定位系统，其特征在于，包括：

机器人控制模块，用于控制机器人及三维相机工作，接收机器人及三维相机的工作数据反馈；

模板参数模块，用于记录所述模板参数包括基准三维相机与工具关系、基准机器人抓取位姿、基准局部模型点云模板、基准机器人拍照位姿，所述基准局部模型点云模板及所述基准机器人拍照位姿的数量都不少于三个并且一一对应，每个所述基准局部模型点云模板对应一个标记点；

标记点位置获取模块，用于根据基准机器人拍照位姿对物品进行局部拍摄，得到包含有点云数据的局部图像，所述点云数据为根据基准三维相机与工具关系转换到机器人的基坐标系的数据，根据所述局部图像、所述基准局部模型点云模板计算得到与所述拍照位姿对应的标记点位置；

机器人当前抓取位姿计算模块，用于获取模板参数，根据所有与所述拍照位姿对应的标记点位置、所有所述基准局部模型点云模板确定所述物品当前位置与基准位置的平移旋转关系，根据所述物品当前位置与基准位置的平移旋转关系、所述基准机器人抓取位姿计算得出机器人当前抓取位姿。

10.一种计算机设备，其特征在于，包括至少一个存储器、至少一个处理器，所述存储器存储有计算机指令程序，所述计算机指令程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。