CN114612567A

CN114612567A - 一种相机标定方法、装置、计算机设备和计算机存储介质

Info

Publication number: CN114612567A
Application number: CN202011443763.5A
Authority: CN
Inventors: 王丹
Original assignee: Beijing Jizhijia Technology Co Ltd
Current assignee: Beijing Jizhijia Technology Co Ltd
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2022-06-10

Abstract

本公开提供了一种相机标定方法、装置、计算机设备和计算机存储介质，其中，该方法包括：基于建立的机器人坐标系，获取预设的至少三个参考点在机器人坐标系中的第一坐标位置；利用机器人相机采集包括至少三个参考点的目标图片；基于建立的相机坐标系，根据采集的目标图片和第一坐标位置确定机器人坐标系和相机坐标系之间的旋转矩阵；根据旋转矩阵确定平移矩阵；根据旋转矩阵和平移矩阵确定控制参数。本公开实施例通过获取的预设参考点在机器人坐标系的坐标位置和拍摄的目标图片确定两个坐标系之间的旋转矩阵和平移矩阵，进一步确定出对于机器人的控制参数，简化了确定坐标系之间对应关系的步骤，降低了操作的复杂性，提高了获取货物的效率。

Description

一种相机标定方法、装置、计算机设备和计算机存储介质

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种相机标定方法、装置、计算机设备和计算机存储介质。

背景技术

随着智能仓储系统的普遍应用，各种机器人在货物运输中的优势逐渐体现了出来。在使用机器人进行货物搬运的过程中，为了保证货物搬运的精度和减少货物的损坏风险，需要在搬运货物的时候先对货物和机器人的相对位置进行标定，根据标定的结果调整机器人的搬运角度实现库存容器的合理搬运。

目前常用的标定方法是利用相机基于彩色目标图片的标定，通过相机拍摄一定数量的带有标定图案的标定板的图像，利用灰度或彩色图像解析方法实现对位置的标定。

但是，用于这种方案的标定板的图案是特定的，对于标定板图案的制作精度要求相对较高，提高了标定难度和复杂性，另外，需要使用相机拍摄一定数量的位姿不同的标定目标图片，因此对于标定板的摆放有一定的要求，增加了标定过程的繁琐性，降低了效率。

发明内容

本公开实施例至少提供一种相机标定方法、装置、计算机设备和计算机存储介质。

第一方面，本公开实施例提供了一种相机标定方法，包括：

基于建立的机器人坐标系，获取预设的至少三个参考点在所述机器人坐标系中的第一坐标位置；

利用机器人相机采集包括所述至少三个参考点的目标图片；

基于建立的相机坐标系，根据采集的目标图片和所述第一坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵；

根据所述旋转矩阵确定平移矩阵；

根据所述旋转矩阵和所述平移矩阵确定控制参数。

在一种可能的实施方式中，所述至少三个参考点设置在机器人上；以及

基于建立的相机坐标系，根据采集的目标图片和所述第一坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵，包括：

基于建立的相机坐标系，获取所述至少三个参考点在所述相机坐标系中对应的第二坐标位置；

根据所述第一坐标位置和所述第二坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵。

在一种可能的实施方式中，所述至少三个参考点设置于第一标定板上，所述第一标定板设置在机器人的第一预设位置上；以及

所述基于建立的机器人坐标系确定预设的至少三个参考点在所述机器人坐标系中的第一坐标位置，包括：

基于建立的第一标定板坐标系，获取所述至少三个参考点在所述第一标定板坐标系的第三坐标位置；

基于建立的机器人坐标系和所述第三坐标位置，确定所述至少三个参考点在所述机器人坐标系中的第一坐标位置。

在一种可能的实施方式中，所述至少三个参考点对应于第一标定板预设位置处的至少三个标定孔，以及

基于建立的第一标定板坐标系，获取所述至少三个参考点在所述第一标定板坐标系的第三坐标位置，包括：

分别确定每一标定孔在所述第一标定板上的第一中心点位置；

基于建立的第一标定板坐标系，确定每一第一中心点位置对应的第三坐标位置。

在一种可能的实施方式中，所述基于建立的相机坐标系，根据采集的目标图片和所述第一坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵，包括：

根据采集的目标图片，利用平面拟合的方式确定每一标定孔在所述目标图片中的第二中心点位置；

基于建立的相机坐标系，获取每一第二中心点位置在相机坐标系中的第四坐标位置；

根据所述第一坐标位置和所述第四坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵。

在一种可能的实施方式中，所述至少三个参考点设置在机器人上；所述第二标定板设置在机器人的第二预设位置上；以及

根据所述目标图片，获取所述第二标定板上至少三个特征点在相机坐标系中的第五坐标位置；

根据所述至少三个特征点的第五坐标位置，确定所述第二标定板所在平面在所述相机坐标系中的第四法向量；

根据所述目标图片，获取所述至少三个参考点在相机坐标系中的第六位置坐标；

根据所述第六位置坐标，确定所述三个参考点所在平面在相机坐标系中的第五法向量；

根据所述第四法向量、所述第五法向量和所述第六法向量对应的单位法向量确定所述第二标定板坐标系在所述相机坐标系中的投影矩阵，所述第六法向量为根据所述第四法向量和所述第五法向量的内积确定的；

根据所述投影矩阵和第二标定板坐标系对应的单位法向量确定所述旋转矩阵，所述第二标定板坐标系为根据所述机器人坐标系确定出的。

在一种可能的实施方式中，所述根据所述旋转矩阵确定平移矩阵，包括：

根据所述至少三个参考点的第一坐标位置和所述至少三个参考点的第二坐标位置以及所述旋转矩阵，确定平移矩阵。

根据所述至少三个参考点的第一坐标位置和所述至少三个参考点的第四坐标位置以及所述旋转矩阵，确定平移矩阵。

在一种可能的实施方式中，所述至少三个特征点包括所述第二标定板的中心点；以及

根据所述旋转矩阵确定对应的平移矩阵，包括：

基于建立的第二标定板坐标系，获取所述第二标定板的中心点在所述第二标定板坐标系下的第七位置坐标；

根据所述第五位置坐标和所述第七位置坐标以及旋转矩阵确定平移矩阵。

在一种可能的实施方式中，在所述根据所述旋转矩阵和所述平移矩阵确定控制参数之后，还包括：

根据所述确定出的控制参数控制所述机器人获取货物。

第二方面，本公开实施例还提供一种相机标定装置，包括：

获取模块，用于基于建立的机器人坐标系，获取预设的至少三个参考点在所述机器人坐标系中的第一坐标位置；

采集模块，用于利用机器人相机采集包括所述至少三个参考点的目标图片；

确定模块，用于基于建立的相机坐标系，根据采集的目标图片和所述第一坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵；以及根据所述旋转矩阵确定平移矩阵；以及根据所述旋转矩阵和所述平移矩阵确定控制参数。

在一种可能的实施方式中，所述至少三个参考点设置在机器人上，以及

所述获取模块，具体用于基于建立的相机坐标系，获取所述至少三个参考点在所述相机坐标系中对应的第二坐标位置；

所述确定模块，具体用于根据所述第一坐标位置和所述第二坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵。

在一种可能的实施方式中，所述至少三个参考点设置于第一标定板上，所述第一标定板设置在机器人的第一预设位置上，以及

所述获取模块，具体用于基于建立的第一标定板坐标系，获取所述至少三个参考点在所述第一标定板坐标系的第三坐标位置；基于建立的机器人坐标系和所述第三坐标位置，确定所述至少三个参考点在所述机器人坐标系中的第一坐标位置。

所述获取模块，具体用于分别确定每一标定孔在所述第一标定板上的第一中心点位置；基于建立的第一标定板坐标系，确定每一第一中心点位置对应的第三坐标位置。

在一种可能的实施方式中，所述确定模块，具体用于根据采集的目标图片，利用平面拟合的方式确定每一标定孔在所述目标图片中的第二中心点位置；基于建立的相机坐标系，获取每一第二中心点位置在相机坐标系中的第四坐标位置；根据所述第一坐标位置和所述第四坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵。

所述确定模块，具体用于根据所述目标图片，获取所述第二标定板上至少三个特征点在相机坐标系中的第五坐标位置；根据所述至少三个特征点的第五坐标位置，确定所述第二标定板所在平面在所述相机坐标系中的第四法向量；根据所述目标图片，获取所述至少三个参考点在相机坐标系中的第六位置坐标；根据所述第六位置坐标，确定所述三个参考点所在平面在相机坐标系中的第五法向量；根据所述第四法向量、所述第五法向量和所述第六法向量对应的单位法向量确定所述第二标定板坐标系在所述相机坐标系中的投影矩阵，所述第六法向量为根据所述第四法向量和所述第五法向量的内积确定的；根据所述投影矩阵和第二标定板坐标系对应的单位法向量确定所述旋转矩阵，所述第二标定板坐标系为根据所述机器人坐标系确定出的。

在一种可能的实施方式中，所述确定模块，具体用于根据所述至少三个参考点的第一坐标位置和所述至少三个参考点的第二坐标位置以及所述旋转矩阵，确定平移矩阵。

在一种可能的实施方式中，所述确定模块，具体用于根据所述至少三个参考点的第一坐标位置和所述至少三个参考点的第四坐标位置以及所述旋转矩阵，确定平移矩阵。

所述确定模块，具体用于基于建立的第二标定板坐标系，获取所述第二标定板的中心点在所述第二标定板坐标系下的第七位置坐标；根据所述第五位置坐标和所述第七位置坐标以及旋转矩阵确定平移矩阵。

在一种可能的实施方式中，所述装置还包括：

控制模块，用于在所述确定模块根据所述旋转矩阵和所述平移矩阵确定控制参数之后，根据所述确定出的控制参数控制所述机器人获取货物。

第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

关于上述相机标定装置、计算机设备和计算机存储介质的效果描述参见上述相机标定方法的说明，这里不再赘述。

本公开实施例提供的相机标定方法、装置、计算机设备和计算机存储介质，通过分别获取预设参考点在预设的机器人坐标系和相机坐标系中的每一位置坐标，根据确定的每一位置坐标确定两个坐标系对应的旋转矩阵和平移矩阵并得到控制机器人抱取货物的控制参数的方法，与现有技术中的利用带有特定要求图案的标定板以及复杂的标定板摆放流程确定机器人坐标系和相机坐标系之间的对应关系，进一步根据确定的对应关系确定控制参数的方法相比，其简化了确定坐标系之间对应关系的步骤，降低了操作的复杂性，提高了获取货物的效率。

进一步，本公开实施例提供的相机标定方法，还可以通过确定相机拍摄的目标图片中预设参考点的第二位置坐标，根据第二位置坐标和预设参考点的第一位置坐标确定对应的旋转矩阵和平移矩阵并得出坐标系之间的对应关系的方法，提高了相机定位的速度和效率，增加了相机标定的灵活性。

进一步，本公开实施例提供的相机标定方法，还可以利用设置在机器人上的带有孔状参考点的第二标定板以及拍摄的目标图片确定机器人坐标系和相机坐标系之间对应的旋转矩阵和平移矩阵，并进一步确定坐标系之间的对应关系，得到控制机器人抱取货物的控制参数，降低了标定板的制作难度，提高了相机标定的准确性。

进一步，本公开实施例提供的相机标定方法，还可以利用设置在机器人上的平面标定板确定对应的标定板坐标系，根据标定板坐标系和相机拍摄的带有参考点和标定板的目标图片确定出标定板坐标系对应于相机坐标系的投影矩阵，根据投影矩阵确定出标定板坐标系和相机坐标系之间的旋转矩阵和平移矩阵并得到控制参数，降低了特征提取的复杂性，提高了相机标定的准确性。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种相机标定方法的流程图；

图2示出了本公开实施例所提供的一种根据叉车机器人建立的机器人坐标系的示意图；

图3示出了本公开实施例所提供的一种在叉车机器人的第一预设位置上设置八孔标定板的示意图；

图4示出了本公开实施例所提供的一种在叉车机器人的第二预设位置上设置平面标定板的示意图；

图5示出了本公开实施例所提供的一种在机器人上选取预设参考点进行相机标定的流程图；

图6示出了本公开实施例所提供的一种利用八孔标定板进行相机标定的流程图；

图7示出了本公开实施例所提供的一种利用平面标定板进行相机标定的流程图；

图8示出了本公开实施例所提供的一种相机标定装置的示意图；

图9示出了本公开实施例所提供的一种计算机设备结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

另外，本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。

在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

经研究发现，在利用部署在智能仓储系统中的机器人进行货物抱取的过程中，为了保证货物抱取的精确度和效率，现有技术中常用的方法是在机器人上设置带有特定图案的标定板，通过相机拍摄到的不同位姿的标定板图像分别确定图案中特征点对应的坐标位置，并进一步确定出机器人坐标系和相机坐标系之间对应关系，根据对应关系确定对应参数，控制机器人抱取货物，但是，由于标定板的图案具有特定要求，提高了制作难度，并且需要改变标定板的位姿，提高了相机标定的复杂性。

基于上述研究，本公开提供了一种相机标定方法、装置、计算机设备和计算机存储介质，通过获取的预设参考点在机器人坐标系的坐标位置和拍摄的带有参考点的目标图片确定相机坐标系和机器人坐标系之间的旋转矩阵，通过旋转矩阵确定出平移矩阵并进一步确定出两个坐标系之间的对应关系，根据对应关系确定出对于机器人的控制参数，简化了确定坐标系之间对应关系的步骤，降低了操作的复杂性，提高了获取货物的效率。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种相机标定方法进行详细介绍，本公开实施例所提供的相机标定方法的执行主体一般为具有一定计算能力的计算设备，该计算设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备和机器人等。在一些可能的实现方式中，该相机标定方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

实施例一

下面以执行主体为机器人为例对本公开实施例提供的相机标定方法加以说明。

如图1所示，为本公开实施例提供的一种相机标定方法的流程图，可以包括以下步骤：

S101：基于建立的机器人坐标系，获取预设的至少三个参考点在机器人坐标系中的第一坐标位置。

本步骤中，可以根据机器人的位姿特征预先建立机器人坐标系，其中，该机器人坐标系用于确定每一参考点的第一坐标位置。具体实施时，根据参考点选用位置的不同，第一坐标位置的确定方式也不同，可以包括以下三种方式：

第一种方式，在机器人上选定至少三个预设参考点，根据每一参考点在机器人上的位置确定每一参考点在建立的机器人坐标系中的对应的第一坐标位置。

以机器人为叉车机器人为例，如图2所示，为根据叉车机器人建立的机器人坐标系的示意图，其中，以平行于叉车机器人的两个货叉且在两个货叉中间的位置为Z轴，以挡板与两个货叉的交线位置为X轴，以挡板平面所在的平面为Y轴建立机器人坐标系，具体实施时，可以分别选取每个货叉的叉尖点和叉槽点作为参考点，进一步的，可以根据每个叉尖点和每个叉槽点在叉车机器人上的位置确定其对应的第一位置坐标，即四个预设参考点的第一位置坐标，具体实施时，可以只选择其中的三个参考点的坐标位置使用，为了提高相机标定的精度，也可以使用四个参考点的第一位置坐标，关于参考点的使用选择，本公开实施例不进行限定。

第二种方式，可以在机器人的第一预设位置上设置第一标定板，将至少三个参考点设置在第一标定板上，具体实施时，每一参考点设置为孔状，如图3所示，为在叉车机器人的第一预设位置上设置八孔标定板的示意图，其中，每一个标定孔完全相同，设置在八孔标定板固定位置，每一个标定孔的中心位置是已知的，具体实施时，可以根据八孔标定板在机器人上的位置以及每一个标定孔洞的中心位置确定其对应的第一位置坐标。

第三种方式，可以在机器人的第二预设位置上设置第二标定板，第二标定板可以为平面标定板，如图4所示，为在叉车机器人的第二预设位置上设置平面标定板的示意图，其中，可以将至少三个参考点设置在机器人上，例如，可以设置在第一种方式中提到的同样位置。

S102：利用机器人相机采集包括至少三个参考点的目标图片。

本步骤中，在每个机器人的挡板端设置有用于采集目标图片的机器人相机，目标图片中至少包括预设的每一参考点且为深度图片，具体实施时，由于参考点位置的不同以及标定板是否存在，目标图片也是不一样的。

例如，在第一种方式中，目标图片只需要包括叉车机器人的货叉前端带有叉尖和叉槽的部分即可；在第二种方式中，目标图片需要包括八孔标定板即可，当然，也可以只包括选定的至少三个参考点即可，但为了保证相机标定的准确性，通常情况下，目标图片是包括八孔标定板的；第三种方式，为了保证可以完成相机标定，目标图片需要包括平面标定板和叉车机器人的货叉前端带有叉尖和叉槽的部分。

S103：基于建立的相机坐标系，根据采集的目标图片和第一坐标位置确定机器人坐标系和相机坐标系之间的旋转矩阵。

本步骤中，相机坐标系是根据机器人相机拍摄的目标图片确定的，由于目标图片包含内容的不同，根据目标图片和第一坐标位置确定机器人坐标系和相机坐标系之间的旋转矩阵的方式也是不同的。

具体实施时，在第一种方式中，在相机坐标系中，可以根据采集的目标图片确定目标图片中每一像素点在相机坐标系中的点云数据信息，其中，点云数据信息包括图片中每一点在相机坐标系下的坐标信息，进一步的，由于采集到的目标图片是深度图片，可以在Z深度图上通过分割的方式得到叉车机器人的货叉部分的感兴趣区域，即包含叉尖和叉槽的区域，利用角点检测的方式提取出每一货叉的叉尖和叉槽点，基于提取到的每一叉尖和叉槽点在目标图片中的点云数据，确定其在相机坐标系下对应的每一第二坐标位置。

基于确定的每一叉尖和叉槽点在相机坐标系中的第二坐标位置以及其在机器人坐标系中的第一坐标位置，根据每一叉尖和叉槽点的第一坐标位置组成第一数据集，根据每一叉尖和叉槽点的第二坐标位置组成第二数据集，确定出第一数据集和第二数据集分别对应的第一质心和第二质心，将确定出的第一质心和第二质心平移到机器人坐标系的原点位置，进一步基于第一质心和第二质心在原点的位置可以确定出第一数据集和第二数据集的协方差矩阵，再对协方差矩阵进行奇异值分解就可以得到机器人坐标系和相机坐标系之间的旋转矩阵。

在第二种方式中，由于预设的参考点是孔状的，针对相机采集到的包括八孔标定板的Z深度图，通过分割的方式确定出八个标定孔洞的区域，然后对于确定出的每一标定孔洞区域，可以通过平面拟合的方式确定出每一标定孔洞区域的中心位置，根据目标图片中的点云数据和每一中心位置确定出其在相机坐标系下对应的第三坐标位置，进一步的，根据确定的第三坐标位置以及第一坐标位置确定出机器人坐标系和相机坐标系之间的旋转矩阵与上述确定旋转矩阵的方法相同，这里不再赘述。

在第三种方式中，基于建立的机器人坐标系以及平面标定板设置在机器人上的位置，需要先根据平面标定板建立标定板坐标系，具体实施时，平面标定板坐标系的建立可以根据建立的机器人坐标系平移得到。另外，还需要在平面标定板上选取至少三个特征点用于确定平面标定板在采集到的目标图片中的平面位置，在一种实施方式中，选取的至少三个特征点中可以包括平面标定板的中心点。

具体实施时，根据机器人坐标系与标定板坐标系的位置关系可以确定出标定板坐标系的三个基底矩阵(e_b1，e_b2，e_b3)，然后根据采集到的包括至少三个参考点和平面标定板的目标图像，利用平面拟合的方式确定出标定坐标系的三个基底矩阵(e_b1，e_b2，e_b3)在相机坐标系下的投影矩阵(e_c1，e_c2，e_c3)。

其中，可以通过以下方法确定出投影矩阵，首先在采集的目标Z深度图上通过分割的方式确定出平面标定板区域，进一步利用角点检测的方法确定出选取的每一特征点，基于建立的相机坐标系中的点云数据确定每一特征点对应的第五坐标位置，根据确定出的至少三个特征点确定出包含所有特征点的平面标定板平面，利用最小二乘拟合的方法得出平面标定板平面的平面方程，基于此平面方程，可以得到第二标定板所在平面在相机坐标系中的第四法向量。

其次，在采集的目标Z深度图上通过分割的方式确定出包含每一参考点的感兴趣区域，然后通过角点检测的方法确定出每一参考点在相机坐标系中对应的第六坐标位置，利用最小二乘拟合的方法得出机器人的货叉部分所在的平面方程，基于此，可以得到货叉部分所在平面在相机坐标系中的第五法向量。

最后，根据第四法向量和第五法向量的内积确定与两个向量均垂直的第六法向量，则可以确定第四法向量、第五法向量和第六法向量的对应的单位法向量为平面标定板坐标系在相机坐标系中的投影矩阵(e_c1，e_c2，e_c3)。

基于此，可以通过公式(e_b1，e_b2，e_b3)＝R*(e_c1，e_c2，e_c3)确定平面标定板坐标系和相机坐标系之间的旋转矩阵R。

S104：根据旋转矩阵确定平移矩阵。

本步骤中，在第一种方式中，基于得到的旋转矩阵R，利用公式P_W＝R*P_C+T可以计算出两个坐标系之间的平移矩阵，其中，P_W表示一点在机器人坐标系下的坐标，P_C表示同一点在相机坐标系下的坐标，R表示对应的旋转矩阵，T代表与旋转矩阵对应的平移矩阵。具体实施时，只需要将预设的三个参考点的坐标一一代入即可确定机器人坐标系和相机坐标系之间的平移矩阵。

在第二种方式中，确定平移矩阵的方式与第一种方式相同，这里不再赘述，需要说明的是，由于根据平面拟合的方式可以确定出八个标定孔洞区域对应的中心坐标位置，关于旋转矩阵和平移矩阵的确定，通过使用其中任意三个中心坐标位置即可实现，但是，基于对相机标定的精确度考量，实际确定过程中，将使用所有的中心坐标位置。

在第三种方式中，可以根据设置的平面标定板的尺寸确定出标定板中心在建立的标定板坐标系下的第七坐标位置，进一步的，根据确定的特征点在相机坐标系下的第五坐标位置A_b和第七坐标位置A_c，利用公式T＝A_c-R*A_b可以得到平移矩阵T，基于此，也可以确定出机器人坐标系和相机坐标系之间的变化关系。

S105：根据旋转矩阵和平移矩阵确定控制参数。

本步骤中，在确定出机器人坐标系和相机坐标系或标定板坐标系和相机坐标系之间的旋转矩阵和平移矩阵之后，可以根据两个矩阵确定出机器人的控制参数，其中，控制参数可以包括旋转角度、平移距离和方向，具体实施时，根据旋转矩阵确定出机器人抱取货物时需要调整的旋转角度，根据平移矩阵确定出机器人抱取货物时需要调整的平移距离和方向，进一步的，机器人可以根据确定出的旋转角度、平移距离和方向做出相应的位姿调整以获取货物。

本公开实施例提供了一种通过获取的预设参考点在机器人坐标系的坐标位置和拍摄的带有参考点的目标图片确定相机坐标系和机器人坐标系之间的旋转矩阵，通过旋转矩阵确定出平移矩阵并进一步确定出两个坐标系之间的对应关系，根据对应关系确定出对于机器人的控制参数，进一步根据确定出的控制参数调整机器人的位姿以执行库存容器抱取操作的方法，简化了确定坐标系之间对应关系的步骤，降低了利用相机标定位置的复杂性，提高了获取货物的效率。

实施例二

如图5所示，为本公开实施例提供的一种在机器人上选取预设参考点进行相机标定方法的流程图，可以包括以下步骤：

S501：基于建立的机器人坐标系，获取预设的四个预设参考点在机器人坐标系中的第一坐标位置。

以机器人为叉车机器人为例，预设的四个参考点是在叉车机器人上选取的，具体实施时，可以选取叉车机器人的两个叉尖点和两个叉槽点作为预设的四个参考点，由于选取的每一参考点在叉车机器人上的位置是确定的，则可以获取每一参考点在建立的机器人坐标系中对应的第一坐标位置。

S502：利用机器人相机采集包括四个预设参考点的深度目标图片。

具体实施时，可以利用叉车机器人上部署的机器人相机采集至少包括两个叉尖点和两个叉槽点的深度目标图片。

S503：确定四个预设参考点在相机坐标系中分别对应的第二坐标位置。

本步骤中，关于四个预设参考点在相机坐标系中分别对应的第二坐标位置的获取方式，与实施例一中的涉及的获取方式相同，本公开实施例不再赘述。

S504：根据第一坐标位置和第二坐标位置确定机器人坐标系和相机坐标系之间的旋转矩阵。

S505：根据旋转矩阵确定平移矩阵。

S506：根据旋转矩阵和平移矩阵确定控制参数。

S507：根据控制参数对应调整叉车机器人位置以抱取货物。

关于上述步骤S504-S507的具体实施过程与实施例一中的步骤S103-S105相同，本公开实施例不再赘述。

本公开实施例基于在叉车机器人的预设位置上选取的四个参考点和根据叉车机器人建立的机器人坐标系，确定每一参考点在机器人坐标系中对应的第一坐标位置，利用机器人相机采集的包括参考点的深度目标图片确定每一参考点在相机坐标系下对应的第二坐标位置，基于确定的第一坐标位置和第二坐标位置确定出两个坐标系之间的旋转矩阵和平移矩阵并进一步确定对于机器人的控制参数来实现抱取货物，在不借助标定板的条件下可以直接根据叉车机器人上自带的参考点进行相机标定，降低了由于外参变化引起标定错误的可能性，降低了标定的复杂性。

实施例三

如图6所示，为本公开实施例提供的一种利用八孔标定板进行相机标定的流程图，可以包括以下步骤：

S601：基于建立的机器人坐标系，获取预设的至少三个参考点在机器人坐标系中的第一坐标位置。

以机器人为叉车机器人为例，在本步骤中，需要在叉车机器人的两个货叉的第一预设位置处放置一个八孔标定板，根据八孔标定板放置的第一预设位置与两个货叉的位置关系以及建立的机器人坐标系可以基于八孔标定板建立八孔标定板坐标系，具体实施时，八孔标定板坐标系可以是机器人坐标系在某一坐标轴上平移一定的距离得到的。

另外，每一标定孔在板上位置关系固定且中心位置固定，可以根据建立的八孔标定板坐标系确定出每一标定孔的中心位置在八孔标定板坐标系下对应的第三坐标位置，进一步的，基于八孔标定板坐标系和机器人坐标系的位置关系以及确定出的第三坐标位置可以确定出每一标定孔在机器人坐标系下对应的第一坐标位置。

需要说明的是，可以预先选取八个标定孔中的至少三个标定孔作为参考点并获取其对应的第一位置坐标，也可以直接使用八个标定孔作为参考点进行相机标定。

S602：利用机器人相机采集包括八孔标定板的深度目标图片。

本步骤中，可以利用机器人上部署的机器人相机采集至少包括置于第一预设位置上的八孔标定板的深度目标图片。

S603：根据采集的深度目标图片，确定每一标定孔的第四坐标位置。

具体实施时，在机器人相机采集到包括八孔标定板的深度目标图片之后，通过对深度目标图片进行Z深度图处理之后，得到每一标定孔区域，进一步利用平面拟合的方式确定每一标定孔区域中心在相机坐标系下对应的第四坐标位置。

S604：根据第一坐标位置和第四坐标位置确定机器人坐标系和相机坐标系之间的旋转矩阵。

S605：根据旋转矩阵确定平移矩阵。

S606：根据旋转矩阵和平移矩阵确定控制参数。

S607：根据控制参数对应调整叉车机器人位置以抱取货物。

关于上述步骤S604-S607的具体实施过程与实施例一中的步骤S103-S105相同，本公开实施例不再赘述。

本公开实施例提供了一种根据置于机器人第一预设位置上的八孔标定板与机器人之间的位置关系以及建立的机器人坐标系建立八孔标定板坐标系，并根据在八孔标定板上选取的参考点确定其在机器人坐标系和相机坐标系下对应的第一坐标位置和第四坐标位置，然后确定出两个坐标系之间的旋转矩阵和平移矩阵并进一步确定对于机器人的控制参数来实现抱取货物，利用精确的八孔标定板进行相机标定，提高了标定结果的可靠性和准确率。

实施例四

如图7所示，为本公开实施例提供的一种利用平面标定板进行相机标定方法的流程图，可以包括以下步骤：

S701：基于建立的机器人坐标系确定标定板坐标系。

具体实施时，可以在叉车机器人的两个货叉的第二预设位置处放置一个平面标定板，根据平面标定板放置的第二预设位置与两个货叉的位置关系以及建立的机器人坐标系可以基于平面标定板建立平面标定板坐标系，具体实施时，平面标定板坐标系可以是机器人坐标系在某一坐标轴上平移一定的距离得到的。

S702：基于标定板坐标系获取其对应的基底向量。

本步骤中，根据建立的标定板坐标系可以确定出其在每一坐标轴上对应的单位法向量，其中，X轴对应的单位法向量为e_b1，Y轴对应的单位法向量为e_b2，Z轴对应的单位法向量为e_b3，由不同坐标轴对应的单位法向量组成标定板坐标系的基底向量(e_b1，e_b2，e_b3)。

S703：利用机器人相机采集包括平面标定板和预设的至少三个参考点的深度目标图片。

本步骤中，为了提高利用此方法确定标定结果的可靠性，还需要在叉车机器人上选取至少三个参考点，例如，可以选取叉车机器人的两个叉尖点和两个叉槽点中的任意三个点作为参考点。

具体实施时，在利用机器人相机采集深度目标图片时，深度目标图片中至少包括平面标定板和选取的至少三个参考点。

S704：确定平面标定板平面的第四法向量和至少三个参考点所在平面的第五法向量。

本步骤中，可以基于采集到的深度目标图片，通过分割的方式确定出平面标定板区域所在的平面，进一步利用角点检测的方法确定出选取的每一特征点，需要说明的是，特征点可以是在平面标定板上的任意位置预先选取的，基于建立的相机坐标系中的点云数据确定每一特征点对应的第五坐标位置，根据确定出的至少三个特征点确定出包含所有特征点的平面标定板平面，利用最小二乘拟合的方法得出平面标定板平面的平面方程，基于此平面方程，可以得到平面标定板所在平面在相机坐标系中的第四法向量e_c1。

另外，基于采集到的深度目标图片提取叉车机器人的两个货叉上包含参考点的感兴趣区域，然后通过角点检测的方法确定出选取的每一参考点在相机坐标系中对应的第六坐标位置，利用最小二乘拟合的方法得出至少三个参考点所在平面的平面方程，基于此平面方程，可以得到货叉部分所在平面在相机坐标系中的第五法向量e_c2。

S705：根据第四法向量和第五法向量确定基底向量的投影矩阵。

具体实施时，根据第四法向量和第五法向量的内积可以确定出垂直于至少三个参考点所在平面和平面标定板所在平面的第六法向量e_c3，则组合成的向量(e_c1，e_c2，e_c3)就是基底向量对应的投影矩阵。

S706：根据投影矩阵确定出标定板坐标系和相机坐标系之间的旋转矩阵。

S707：根据旋转矩阵确定平移矩阵。

具体实施时，通过平面标定板的尺寸信息可以确定平面标定板的中心位置，根据建立的标定板坐标系可以确定出平面标定板的中心位置对应的第七坐标位置A_c，基于确定出的第五坐标位置A_b，利用公式T＝A_c-R*A_b可以得到平移矩阵T，基于此，也可以确定出机器人坐标系和相机坐标系之间的变化关系。

S708：根据旋转矩阵和平移矩阵确定控制参数。

S709：根据控制参数对应调整叉车机器人位置以抱取货物。

关于上述步骤S707-S709的具体实施过程与实施例一中的步骤S103-S105相同，本公开实施例不再赘述。

本公开实施例提供了一种利用设置在叉车机器人上的平面标定板确定相机坐标系和平面标定板坐标系之间的旋转矩阵和平移矩阵，并确定对应的控制参数控制叉车机器人调整位姿抱取货物的方法，简化了标定板的复杂程度，提高了相机标定的精度。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与相机标定方法对应的相机标定装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述相机标定方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图8所示，为本公开实施例提供的一种相机标定装置的示意图，包括：

获取模块801，用于基于建立的机器人坐标系，获取预设的至少三个参考点在所述机器人坐标系中的第一坐标位置；

采集模块802，用于利用机器人相机采集包括所述至少三个参考点的目标图片；

确定模块803，用于基于建立的相机坐标系，根据采集的目标图片和所述第一坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵；以及根据所述旋转矩阵确定平移矩阵；以及根据所述旋转矩阵和所述平移矩阵确定控制参数。

所述获取模块801，具体用于基于建立的相机坐标系，获取所述至少三个参考点在所述相机坐标系中对应的第二坐标位置；

所述确定模块803，具体用于根据所述第一坐标位置和所述第二坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵。

所述获取模块801，具体用于基于建立的第一标定板坐标系，获取所述至少三个参考点在所述第一标定板坐标系的第三坐标位置；基于建立的机器人坐标系和所述第三坐标位置，确定所述至少三个参考点在所述机器人坐标系中的第一坐标位置。

所述获取模块801，具体用于分别确定每一标定孔在所述第一标定板上的第一中心点位置；基于建立的第一标定板坐标系，确定每一第一中心点位置对应的第三坐标位置。

在一种可能的实施方式中，所述确定模块803，具体用于根据采集的目标图片，利用平面拟合的方式确定每一标定孔在所述目标图片中的第二中心点位置；基于建立的相机坐标系，获取每一第二中心点位置在相机坐标系中的第四坐标位置；根据所述第一坐标位置和所述第四坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵。

所述确定模块803，具体用于根据所述目标图片，获取所述第二标定板上至少三个特征点在相机坐标系中的第五坐标位置；根据所述至少三个特征点的第五坐标位置，确定所述第二标定板所在平面在所述相机坐标系中的第四法向量；根据所述目标图片，获取所述至少三个参考点在相机坐标系中的第六位置坐标；根据所述第六位置坐标，确定所述三个参考点所在平面在相机坐标系中的第五法向量；根据所述第四法向量、所述第五法向量和所述第六法向量对应的单位法向量确定所述第二标定板坐标系在所述相机坐标系中的投影矩阵，所述第六法向量为根据所述第四法向量和所述第五法向量的内积确定的；根据所述投影矩阵和第二标定板坐标系对应的单位法向量确定所述旋转矩阵，所述第二标定板坐标系为根据所述机器人坐标系确定出的。

在一种可能的实施方式中，所述确定模块803，具体用于根据所述至少三个参考点的第一坐标位置和所述至少三个参考点的第二坐标位置以及所述旋转矩阵，确定平移矩阵。

在一种可能的实施方式中，所述确定模块803，具体用于根据所述至少三个参考点的第一坐标位置和所述至少三个参考点的第四坐标位置以及所述旋转矩阵，确定平移矩阵。

所述确定模块803，具体用于基于建立的第二标定板坐标系，获取所述第二标定板的中心点在所述第二标定板坐标系下的第七位置坐标；根据所述第五位置坐标和所述第七位置坐标以及旋转矩阵确定平移矩阵。

在一种可能的实施方式中，所述装置还包括：

控制模块804，用于在所述确定模块803根据所述旋转矩阵和所述平移矩阵确定控制参数之后，根据所述确定出的控制参数控制所述机器人获取货物。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种计算机设备，如图9所示，为本公开实施例提供的一种计算机设备结构示意图，包括：

处理器91和存储器92；所述存储器92存储有处理器91可执行的机器可读指令，处理器91用于执行存储器92中存储的机器可读指令，所述机器可读指令被处理器91执行时，处理器91执行下述步骤：S101：基于建立的机器人坐标系，获取预设的至少三个参考点在机器人坐标系中的第一坐标位置；S102：利用机器人相机采集包括至少三个参考点的目标图片；S103：基于建立的相机坐标系，根据采集的目标图片和第一坐标位置确定机器人坐标系和相机坐标系之间的旋转矩阵；S104：根据旋转矩阵确定平移矩阵以及S105：根据旋转矩阵和平移矩阵确定控制参数。

上述存储器92包括内存921和外部存储器922；这里的内存921也称内存储器，用于暂时存放处理器91中的运算数据，以及与硬盘等外部存储器922交换的数据，处理器91通过内存921与外部存储器922进行数据交换。

在一种可能的实施方式中，处理器91执行的指令中，所述至少三个参考点设置在机器人上；以及

在一种可能的实施方式中，处理器91执行的指令中，所述至少三个参考点设置于第一标定板上，所述第一标定板设置在机器人的第一预设位置上；以及

在一种可能的实施方式中，处理器91执行的指令中，所述至少三个参考点对应于第一标定板预设位置处的至少三个标定孔，以及

在一种可能的实施方式中，处理器91执行的指令中，所述基于建立的相机坐标系，根据采集的目标图片和所述第一坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵，包括：

在一种可能的实施方式中，处理器91执行的指令中，所述至少三个参考点设置在机器人上；所述第二标定板设置在机器人的第二预设位置上；以及

根据所述第四法向量、所述第五法向量和第六法向量对应的单位法向量确定所述第二标定板坐标系在所述相机坐标系中的投影矩阵，所述第六法向量为根据所述第四法向量和所述第五法向量的内积确定的；

在一种可能的实施方式中，处理器91执行的指令中，所述根据所述旋转矩阵确定平移矩阵，包括：

在一种可能的实施方式中，处理器91执行的指令中，所述至少三个特征点包括所述第二标定板的中心点；以及

根据所述旋转矩阵确定对应的平移矩阵，包括：

在一种可能的实施方式中，处理器91执行的指令中，在所述根据所述旋转矩阵和所述平移矩阵确定控制参数之后，还包括：

根据所述确定出的控制参数控制所述机器人获取货物。

上述指令的具体执行过程可以参考本公开实施例中所述的相机标定方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的相机标定方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的相机标定方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的相机标定方法的步骤，具体可参见上述方法实施例，在此不再赘述。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种相机标定方法，其特征在于，包括：

利用机器人相机采集包括所述至少三个参考点的目标图片；

根据所述旋转矩阵确定平移矩阵；

根据所述旋转矩阵和所述平移矩阵确定控制参数。

2.根据权利要求1所述的方法，其特征在于，所述至少三个参考点设置在机器人上；以及

3.根据权利要求1所述的方法，其特征在于，所述至少三个参考点设置于第一标定板上，所述第一标定板设置在机器人的第一预设位置上；以及

4.根据权利要求3所述的方法，其特征在于，所述至少三个参考点对应于第一标定板预设位置处的至少三个标定孔，以及

5.根据权利要求4所述的方法，其特征在于，所述基于建立的相机坐标系，根据采集的目标图片和所述第一坐标位置确定所述机器人坐标系和所述相机坐标系之间的旋转矩阵，包括：

6.根据权利要求1所述的方法，其特征在于，所述至少三个参考点设置在机器人上；所述第二标定板设置在机器人的第二预设位置上；以及

7.根据权利要求2所述的方法，其特征在于，所述根据所述旋转矩阵确定平移矩阵，包括：

8.一种相机标定装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任意一项所述的相机标定方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至7任意一项所述的相机标定方法的步骤。