CN112767479A - 位置信息检测方法、装置、系统及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种位置信息检测方法、装置、系统及计算机可读存储介质，方法应用于位置信息检测系统，位置信息检测系统包括深度相机和机械臂，且深度相机安装在机械臂上。本发明在标定了深度相机和机械臂的相对位置关系后，确定机械臂的第一姿态，获取深度相机采集得到的第一点云，以将第一点云作为检测位置信息的参考标准，并在机械臂工作一段时间后，控制机械臂的第二姿态与第一姿态完全相同，同时控制深度相机进行图像采集得到第二点云，将第一点云和第二点云进行比较，从而检测出深度相机和机械臂之间的相对位置是否发生变化，不需要肉眼观察来检测，提高了位置信息检测的准确性。

Description

位置信息检测方法、装置、系统及计算机可读存储介质

技术领域

本发明涉及机器视觉技术领域，尤其涉及位置信息检测方法、装置、系统及计算机可读存储介质。

背景技术

随着计算机技术的发展，计算机视觉作为人工智能的一个重要研究领域，已经广泛地应用于各行各业。计算机视觉技术与机器人技术相结合的技术也称为机器视觉技术，机器视觉技术使得智能机器人领域得到大力发展。机械臂是智能机器人的一个典型代表，用于完成一些精度要求高、复杂性高以及重复性高的工作，可大幅度减少人为操作的时间和精力，较大程度上解放生产力。

将深度相机安装到机械臂上后，会进行手眼标定，手眼标定就是对机械臂和深度相机的位置关系进行标定，然后根据识别得到的坐标位置引导机械臂去抓取目标物体。但如果深度相机与机械臂的相对位置发生变化，则会导致机械臂抓取目标物体失败或者抓取到非目标物体。目前一般通过肉眼观察的方式，检测深度相机与机械臂之间的相对位置是否发生变化，很明显，这种检测方式准确度不高。

发明内容

本发明的主要目的在于提出一种位置信息检测方法、装置、系统及计算机可读存储介质，旨在提高位置信息检测的准确性。

为实现上述目的，本发明提供一种位置信息检测方法，所述方法应用于位置信息检测系统，所述位置信息检测系统包括深度相机和机械臂，且所述深度相机安装在所述机械臂上，所述方法包括如下步骤：

在对机械臂与深度相机进行手眼标定后，确定所述机械臂的第一姿态；

基于所述第一姿态，获取所述深度相机采集的第一点云；

当检测到所述机械臂处于第二姿态时，控制所述深度相机进行图像采集，得到第二点云，所述第一姿态和所述第二姿态为所述机械臂在不同时间点对应的相同姿态；

根据所述第一点云和所述第二点云，检测所述深度相机与所述机械臂之间的相对位置是否发生变化。

优选地，所述确定所述机械臂的第一姿态的步骤包括：

控制所述深度相机进行图像采集，得到目标图像，并确定所述目标图像中是否包含所述机械臂；

若包含，则确定所述机械臂当前的姿态为第一姿态。

优选地，所述获取所述深度相机采集的第一点云的步骤包括：

获取所述深度相机采集的目标图像，以及所述目标图像的图像信息和所述深度相机的内参，根据所述图像信息和所述内参，得到第一点云。

优选地，所述根据所述第一点云和所述第二点云，检测所述深度相机与所述机械臂之间的相对位置是否发生变化的步骤包括：

分别对所述第一点云和所述第二点云进行提取，得到对应的第一目标点云和第二目标点云；

根据所述第一目标点云和所述第二目标点云，检测所述深度相机和所述机械臂之间的相对位置是否发生变化。

优选地，所述第一点云和所述第二点云由多个三维点组成，所述分别对所述第一点云和所述第二点云进行提取，得到对应的第一目标点云和第二目标点云的步骤包括：

接收用户输入的目标点选取指令，根据所述目标点选取指令，确定所述第一点云中的第一目标点和第二目标点，并将所述第一目标点和所述第二目标点作为对角线顶点，确定对应的第一长方体区域；

获取所述第一目标点和所述第二目标点在预设坐标系中对应的第一坐标信息和第二坐标信息，根据所述预设坐标系和所述第二点云，确定所述第一坐标信息对应的第三目标点，以及所述第二坐标信息对应的第四目标点，并以所述第三目标点和所述第四目标点为对角线顶点，确定对应的第二长方体区域；

分别将所述第一长方体区域外和所述第二长方体区域外的三维点删除，以提取出所述第一长方体区域内的第一目标点云，以及所述第二长方体区域内的第二目标点云。

优选地，所述根据所述第一目标点云和所述第二目标点云，检测所述深度相机和所述机械臂之间的相对位置是否发生变化的步骤包括：

基于预设的算法模型，求出所述第一目标点云和所述第二目标点云之间的旋转平移矩阵，根据所述旋转平移矩阵，确定所述第一目标点云和所述第二目标点云之间的移动距离；

根据所述移动距离，检测所述深度相机和所述机械臂之间的相对位置是否发生变化。

优选地，所述根据所述移动距离，检测所述深度相机和所述机械臂之间的相对位置是否发生变化的步骤包括：

若检测到所述移动距离小于预设阈值，则确定检测到所述深度相机和所述机械臂之间的相对位置未发生变化；

若检测到所述移动距离大于或等于预设阈值，则确定检测到所述深度相机和所述机械臂之间的相对位置发生变化。

此外，为实现上述目的，本发明还提供一种位置信息检测装置，所述位置信息检测装置包括：

姿态确定模块，用于在对机械臂与深度相机进行手眼标定后，确定所述机械臂的第一姿态；

点云获取模块，用于基于所述第一姿态，获取所述深度相机采集的第一点云；

图像采集模块，用于当检测到所述机械臂处于第二姿态时，控制所述深度相机进行图像采集，得到第二点云，所述第一姿态和所述第二姿态为所述机械臂在不同时间点对应的相同姿态；

检测变化模块，用于根据所述第一点云和所述第二点云，检测所述深度相机与所述机械臂之间的相对位置是否发生变化。

优选地，所述姿态确定模块还用于：

控制所述深度相机进行图像采集，得到目标图像，并确定所述目标图像中是否包含所述机械臂；

若包含，则确定所述机械臂当前的姿态为第一姿态。

优选地，所述点云获取模块还用于：

获取所述深度相机采集的目标图像，以及所述目标图像的图像信息和所述深度相机的内参，根据所述图像信息和所述内参，得到第一点云。

优选地，所述检测变化模块还用于：

分别对所述第一点云和所述第二点云进行提取，得到对应的第一目标点云和第二目标点云；

根据所述第一目标点云和所述第二目标点云，检测所述深度相机和所述机械臂之间的相对位置是否发生变化。

优选地，所述第一点云和所述第二点云由多个三维点组成，所述检测变化模块还用于：

接收用户输入的目标点选取指令，根据所述目标点选取指令，确定所述第一点云中的第一目标点和第二目标点，并将所述第一目标点和所述第二目标点作为对角线顶点，确定对应的第一长方体区域；

获取所述第一目标点和所述第二目标点在预设坐标系中对应的第一坐标信息和第二坐标信息，根据所述预设坐标系和所述第二点云，确定所述第一坐标信息对应的第三目标点，以及所述第二坐标信息对应的第四目标点，并以所述第三目标点和所述第四目标点为对角线顶点，确定对应的第二长方体区域；

分别将所述第一长方体区域外和所述第二长方体区域外的三维点删除，以提取出所述第一长方体区域内的第一目标点云，以及所述第二长方体区域内的第二目标点云。

优选地，所述检测变化模块还用于：

基于预设的算法模型，求出所述第一目标点云和所述第二目标点云之间的旋转平移矩阵，根据所述旋转平移矩阵，确定所述第一目标点云和所述第二目标点云之间的移动距离；

根据所述移动距离，检测所述深度相机和所述机械臂之间的相对位置是否发生变化。

优选地，所述检测变化模块还用于：

若检测到所述移动距离小于预设阈值，则确定检测到所述深度相机和所述机械臂之间的相对位置未发生变化；

若检测到所述移动距离大于或等于预设阈值，则确定检测到所述深度相机和所述机械臂之间的相对位置发生变化。

此外，为实现上述目的，本发明还提供一种位置信息检测系统，所述位置信息检测系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的位置信息检测程序，所述位置信息检测程序被所述处理器执行时实现如上所述的位置信息检测方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有位置信息检测程序，所述位置信息检测程序被处理器执行时实现如上所述的位置信息检测方法的步骤。

本发明提出的位置信息检测方法，应用于位置信息检测系统，位置信息检测系统包括深度相机和机械臂，且深度相机安装在机械臂上。本发明在标定了深度相机和机械臂的相对位置关系后，确定机械臂的第一姿态，获取深度相机采集得到的第一点云，以将第一点云作为检测位置信息的参考标准，并在机械臂工作一段时间后，控制机械臂的第二姿态与第一姿态完全相同，同时控制深度相机进行图像采集得到第二点云，将第一点云和第二点云进行比较，从而检测出深度相机和机械臂之间的相对位置是否发生变化，不需要肉眼观察来检测，提高了位置信息检测的准确性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的系统结构示意图；

图2为本发明位置信息检测方法第一实施例的流程示意图；

图3为本发明位置信息检测方法较佳实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的系统结构示意图。

本发明实施例系统可以是云端服务器、移动终端等。

如图1所示，该系统可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的系统结构并不构成对系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及位置信息检测程序。

其中，操作系统是管理和控制位置信息检测系统与软件资源的程序，支持网络通信模块、用户接口模块、位置信息检测程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。

在图1所示的位置信息检测系统中，所述位置信息检测系统通过处理器1001调用存储器1005中存储的位置信息检测程序，并执行下述位置信息检测方法各个实施例中的操作。

基于上述硬件结构，提出本发明位置信息检测方法实施例。

参照图2，图2为本发明位置信息检测方法第一实施例的流程示意图，所述方法包括：

步骤S10，在对机械臂与深度相机进行手眼标定后，确定所述机械臂的第一姿态；

本实施例位置信息检测方法运用于位置信息检测系统中，位置信息检测系统包括深度相机和机械臂，且深度相机安装在机械臂上。由于机械臂是智能机器人的一个典型代表，用于完成一些精度要求高、复杂性高以及重复性高的工作，可以大幅度减少人为操作的时间和精力，较大程度上解放生产力。但长时间的运作会使得机械臂上的螺丝松动，或者由于人为拆卸安装的原因，导致深度相机与机械臂之间的相对位置发生了变化，从而导致机械臂抓取目标物体失败。因此，在检测到深度相机与机械臂之间的相对位置发生了变化时，需要对机械臂进行手眼标定，以确定深度相机与机械臂的相对位置基本保持不变，其中，深度相机即机械臂的眼，机械臂末端即机械臂的手，深度相机对应的是像素坐标系，而机械臂对应的是空间坐标系，所以手眼标定就是得到像素坐标系和空间机械手坐标系的坐标转化关系。将物体在相机坐标系下的像素坐标转换到机械臂坐标系下，就称作相机和机器人的手眼标定，这是利用计算机视觉进行机械臂抓取的重要前提和基础。

在本实施例中，将深度相机安装到机械臂上后，会进行手眼标定，以标定出深度相机和机械臂的相对位置关系，然后根据该相对位置关系和深度相机采集的点云，控制机械臂进行运动。位置信息检测系统通过对深度相机和机械臂进行手眼标定后，选取对应的参照物如机械臂，控制机械臂上的深度相机进行图像采集，若能采集到该参照物相关的点云，则可将机械臂当前的姿态作为机械臂的第一姿态，或者控制机械臂调整到另一姿态，并将机械臂此时的姿态作为机械臂的第一姿态，用来检测深度相机与机械臂的相对位置是否发生变化。

进一步地，所述确定所述机械臂的第一姿态的步骤包括：

步骤a1，控制所述深度相机进行图像采集，得到目标图像，并确定所述目标图像中是否包含所述机械臂；

在本实施例中，若以机械臂作为参考对象，则控制深度相机进行图像采集，得到目标图像，并判断深度相机采集的目标图像中是否包含机械臂部分。例如，可将目标图像在预设软件上显示出来，用户根据显示的目标图像，判断出该目标图像中是否包含机械臂，具体的，若接收到用户输入的确认指令，则说明目标图像中包含机械臂；若未接收到确认指令，则说明目标图像中不包含机械臂，可控制机械臂进行姿态调整，以确定深度相机在该姿态下，能够采集到包含机械臂的图像。

步骤a2，若包含，则确定所述机械臂当前的姿态为第一姿态。

在本实施例中，当确定目标图像中包含机械臂，如包含机械臂的末端或机械臂的某一关节等，可将此时机械臂的姿态确定为第一姿态。具体的，可预先设置机械臂对应的关键点和预设坐标系，如以机械臂的某一关键点作为坐标原点建立空间直角坐标系，得到预设坐标系；当检测到目标图像中包含机械臂时，记录机械臂在当前姿态时，各个关键点在预设坐标系中的坐标信息或者姿态角信息，从而确定机械臂的第一姿态。

步骤S20，基于所述第一姿态，获取所述深度相机采集的第一点云；

在本实施例中，将机械臂在第一姿态时，深度相机采集得到对应的图像，根据该图像对应的图像信息，可生成第一点云。

进一步地，所述获取所述深度相机采集的第一点云的步骤包括：

步骤b，获取所述深度相机采集的目标图像，以及所述目标图像的图像信息和所述深度相机的内参，根据所述图像信息和所述内参，得到第一点云。

在本实施例中，深度相机每采集一次，就会采集到一张彩色的图片和一张带有深度信息的图片，其中，彩色的图片也即彩色图，携带RGB(Red-Green-Blue)信息；带有深度信息的图片即深度图，因此，目标图像包括一张彩色图和一张深度图，目标图像的图像信息包括RGB信息和深度信息。具体的，点云是根据深度相机内参、RGB信息和深度信息生成的，其中，RGB信息包含目标图像中各点的像素坐标(x，y坐标)，而深度图里提供了相机坐标系下的z坐标，即深度相机与各个像素点之间的距离。由于深度图和彩色图之间存在映射关系，即深度图里每个像素坐标记录的是彩色图片里对应像素坐标的深度信息，也就是说，彩色图和深度图中各个像素点对应的像素坐标是一致的。获取采集图像中某一个像素点的RGB信息和对应的深度信息，再结合深度相机的内参可以生成一个三维点，而多个三维点即构成了点云，以此得到机械臂在第一姿态时采集得到的第一点云。

步骤S30，当检测到所述机械臂处于第二姿态时，控制所述深度相机进行图像采集，得到第二点云，所述第一姿态和所述第二姿态为所述机械臂在不同时间点对应的相同姿态；

在本实施例中，将机械臂控制在同一个姿态条件下，以确定深度相机与机械臂之间的相对位置是否变化。具体的，在确定了机械臂的第一姿态后，获取深度相机采集得到的第一点云，然后在机械臂运作一段时间后，如运作了一周、一个月等，将机械臂移动到第二姿态，控制深度相机采集得到第二点云，其中，第二姿态与第一姿态完全相同，为了区分第一姿态与第二姿态所对应的时间点不同，故以第一姿态和第二姿态进行区分。

步骤S40，根据所述第一点云和所述第二点云，检测所述深度相机与所述机械臂之间的相对位置是否发生变化。

在本实施例中，将第一点云和第二点云进行对比，可检测深度相机与机械臂之间的相对位置是否发生变化。可以理解的，第一点云中包含机械臂对应的点云，可通过检测第二点云中是否包含机械臂对应的点云，或者判断第一点云和第二点云中机械臂对应的点云是否重叠，从而确定深度相机与机械臂之间的相对位置是否发生变化。

进一步地，步骤S40还包括：

步骤c1，分别对所述第一点云和所述第二点云进行提取，得到对应的第一目标点云和第二目标点云；

在本实施例中，为了减少后续第一点云和第二点云进行对比时的数据运算量，可分别对第一点云和第二点云进行提取，减少用于对比检测的点云数，得到对应的第一目标点云和第二目标点云，再将第一目标点云和第二目标点云进行对比，从而确定深度相机和机械臂之间的相对位置是否发生变化。

进一步地，所述第一点云和所述第二点云由多个三维点组成，步骤c1还包括：

步骤c11，接收用户输入的目标点选取指令，根据所述目标点选取指令，确定所述第一点云中的第一目标点和第二目标点，并将所述第一目标点和所述第二目标点作为对角线顶点，确定对应的第一长方体区域；

在本实施例中，可将深度相机采集到的第一点云在预设软件上显示出来，用户根据显示的第一点云，如可通过预设软件上的放大或缩小功能，逐步确定包含机械臂的点云。而点云是由三维点组成的，通过预设软件上的显示工具，可将包含机械臂的点云对应的三维点都显示出来，从而确定第一点云中属于机械臂的三维点。再通过预设的算法模型，从属于机械臂的三维点中选取两个三维点，作为第一目标点和第二目标点，确定以第一目标点和第二目标点作为对角线顶点的长方体区域，作为第一长方体区域。例如，可控制第一长方体区域只包含机械臂的三维点的同时，还可控制第一长方体区域内包含尽可能多的机械臂的三维点，有利于提高位置信息检测的准确性。

步骤c12，获取所述第一目标点和所述第二目标点在预设坐标系中对应的第一坐标信息和第二坐标信息，根据所述预设坐标系和所述第二点云，确定所述第一坐标信息对应的第三目标点，以及所述第二坐标信息对应的第四目标点，并以所述第三目标点和所述第四目标点为对角线顶点，确定对应的第二长方体区域；

在本实施例中，为了尽可能地保持相同的对比条件，在预设坐标系中，需要确保第二点云对应的第二长方体与第一长方体完全相同，因此可根据第一目标点对应的第一坐标信息，在第二点云中确定第三目标点，根据第二目标点对应的第二坐标信息确定第四目标点，并以第三坐标点和第四坐标点作为对角线顶点，确定对应的第二长方体区域。通过设置长方体区域，可提取出第一点云和第二点云中相同区域的点云，有利于进一步检测深度相机和机械臂之间的相对位置是否发生变化。

步骤c13，分别将所述第一长方体区域外和所述第二长方体区域外的三维点删除，以提取出所述第一长方体区域内的第一目标点云，以及所述第二长方体区域内的第二目标点云。

在本实施例中，可选取第一目标点和第二目标点在预设坐标系X轴、Y轴、Z轴方向上的坐标值作为参考值，以此将第一长方体区域外和第二长方体区域外的点云删除，如第一目标点的坐标为(x_min，y_min，z_min)，第二目标点的坐标为(x_max，y_max，z_max)，其中，x_min<x_max，y_min<y_max，z_min<z_max。假设第一点云里某一点的坐标为(x，y，z)，该点坐标同时满足x_min<x<x_max，y_min<y<y_max，z_min<z<z_max这三个条件，则将该点保留，否则，将该点删除，如利用GeomagicStudio(一款工程软件)中删除点的工具，删除不满足这三个条件的三维点，从而删除了在第一长方体区域外的三维点，保留了在第一长方体区域内的三维点，提取出第一长方体区域的第一目标点云。由于第一长方体区域与第二长方体区域在预设坐标系中对应点的坐标信息是一致的，因此，提取出第二长方体区域内的第二目标点云的方法与提取出第一长方体区域内的第一点云的方法类似，此处不再赘述。

步骤c2，根据所述第一目标点云和所述第二目标点云，检测所述深度相机和所述机械臂之间的相对位置是否发生变化。

在本实施例中，若第一目标点云和第二目标点云完全重叠，则说明机械臂上的深度相机和机械臂之间的相对位置未发生变化；若第一目标点云和第二目标点云不完全重叠，说明深度相机与机械臂之间的相对位置实质上发生了变化。

需要说明的是，若深度相机和机械臂之间的相对位置发生了变化，但该变化范围是在允许的范围内，可认为此时深度相机和机械臂之间的相对位置未发生变化。

本实施例的位置信息检测方法，应用于位置信息检测系统，位置信息检测系统包括深度相机和机械臂，且深度相机安装在机械臂上。本发明在标定了深度相机和机械臂的相对位置关系后，确定机械臂的第一姿态，获取深度相机采集得到的第一点云，以将第一点云作为检测位置信息的参考标准，并在机械臂工作一段时间后，控制机械臂的第二姿态与第一姿态完全相同，同时控制深度相机进行图像采集得到第二点云，将第一点云和第二点云进行比较，从而检测出深度相机和机械臂之间的相对位置是否发生变化，不需要肉眼观察来检测，提高了位置信息检测的准确性。

进一步地，基于本发明位置信息检测方法第一实施例，提出本发明位置信息检测方法第二实施例。

位置信息检测方法的第二实施例与位置信息检测方法的第一实施例的区别在于，所述根据所述第一目标点云和所述第二目标点云，检测所述深度相机和所述机械臂之间的相对位置是否发生变化的步骤包括：

步骤d，基于预设的算法模型，求出所述第一目标点云和所述第二目标点云之间的旋转平移矩阵，根据所述旋转平移矩阵，确定所述第一目标点云和所述第二目标点云之间的移动距离；

在本实施例中，为控制机械臂按深度相机采集的点云数据进行相关的运动，需要通过手眼标定可将深度相机的坐标系转换为机械臂的坐标系，如求出一个4×4的旋转平移矩阵，就可以将深度相机采集的点云数据转换到机械臂坐标系下，从而控制机械臂运动。由于点云数据能够以较小的存储成本获得物体准确的拓扑结构和几何结构，因而获得越来越广泛的关注。但在实际的采集过程中，因为物体尺寸过大，物体表面被遮挡或者机械臂中三维扫描器件的扫描角度有限等因素，三维扫描器件进行单次的扫描往往得不到物体完整的几何信息。因此，为了获得被测物体的完整几何信息，需要将不同视角下的两组或者多组点云统一到同一坐标系下，进行点云的配准。而点云配准过程，就是求两组或多组点云之间的旋转平移矩阵。在配准算法中，最常用的是ICP(Iterate Closest Point，迭代最近点)算法，通过将第一目标点云和第二目标点云属于ICP算法模型中，即可得到第一目标点云和第二目标点云之间的旋转平移矩阵。具体的，若以第一姿态下，深度相机所在的位置作为坐标原点建立空间直角坐标系，通过ICP算法，求得第一目标点云和所述第二目标点云之间的旋转平移矩阵为M，假设，

其中，a、b、c、d、e、f、g、h、i分别为第一目标点云和第二目标点云之间的旋转平移参数，点(x，y，z)即为第一目标点云经过M的变换后深度相机所在的位置，也即第二姿态时，深度相机所在的位置，也就是说，第一目标点云经过M的变换后可与第二目标点云大致重合，且深度相机的位置已由点(0，0，0)转移到点(x，y，z)，则深度相机的转移距离即为第一目标点云和第二目标点云之间的移动距离D，因此，

步骤e，根据所述移动距离，检测所述深度相机和所述机械臂之间的相对位置是否发生变化。

在本实施例中，若移动距离为零，则说明检测到深度相机和机械臂之间的相对位置未发生任何变化；若移动距离不为零，则说明检测到深度相机和机械臂之间的相对位置发生了变化。

进一步地，步骤e还包括：

步骤e1，若检测到所述移动距离小于预设阈值，则确定所述深度相机和所述机械臂之间的相对位置未发生变化；

在本实施例中，由于在实际应用中，不要求深度相机与机械臂之间的相对位置完全不变，只要深度相机与机械臂之间相对位置的变化值在允许的范围内，就不影响机械臂抓取目标。而且，用户在选择目标点建立长方体区域时，可能存在错选的情况，使得长方体区域内的三维点不全是属于机械臂的三维点，通过设置预设阈值，有利于减小数据处理过程中测量误差带来的影响。例如，若预设阈值为K，当移动距离D<k，即当深度相机与机械臂之间相对位置的变化值在允许的范围内时，可认为此时深度相机和机械臂之间的相对位置未发生变化，不需要进行手眼标定。

步骤e2，若检测到所述移动距离大于或等于预设阈值，则确定所述深度相机和所述机械臂之间的相对位置发生变化。

在本实施例中，当移动距离D>k或D＝k，即当深度相机与机械臂之间相对位置的变化值不在允许的范围内时，可认为此时深度相机和机械臂之间的相对位置发生了变化，需要进行手眼标定，以将深度相机和机械臂之间的相对位置变化控制在允许范围内，不影响机械臂的抓取工作。

本实施例的位置信息检测方法，若深度相机与机械臂之间的相对位置变化在允许的范围内，即两个点云的移动距离小于预设阈值，则认为深度相机与机械臂之间的相对位置未发生变化，不需要对深度相机和机械臂进行手眼标定；若深度相机与机械臂之间的相对位置变化超过了允许的范围，即两个点云的移动距离大于或等于预设阈值，则认为深度相机与机械臂之间的相对位置发生变化。通过预设阈值可以降低误差带来的影响，而且不需要一检测到深度相机与机械臂的相对位置发生变化，就进行手眼标定，也有利于进一步减少了手眼标定的工作量。

本发明还提供一种位置信息检测装置。参照图3，本发明位置信息检测装置包括：

姿态确定模块10，用于在对机械臂与深度相机进行手眼标定后，确定所述机械臂的第一姿态；

点云获取模块20，用于基于所述第一姿态，获取所述深度相机采集的第一点云；

图像采集模块30，用于当检测到所述机械臂处于第二姿态时，控制所述深度相机进行图像采集，得到第二点云，所述第一姿态和所述第二姿态为所述机械臂在不同时间点对应的相同姿态；

检测变化模块40，用于根据所述第一点云和所述第二点云，检测所述深度相机与所述机械臂之间的相对位置是否发生变化。

优选地，所述姿态确定模块还用于：

控制所述深度相机进行图像采集，得到目标图像，并确定所述目标图像中是否包含所述机械臂；

若包含，则确定所述机械臂当前的姿态为第一姿态。

优选地，所述点云获取模块还用于：

获取所述深度相机采集的目标图像，以及所述目标图像的图像信息和所述深度相机的内参，根据所述图像信息和所述内参，得到第一点云。

优选地，所述检测变化模块还用于：

分别对所述第一点云和所述第二点云进行提取，得到对应的第一目标点云和第二目标点云；

根据所述第一目标点云和所述第二目标点云，检测所述深度相机和所述机械臂之间的相对位置是否发生变化。

优选地，所述第一点云和所述第二点云由多个三维点组成，所述检测变化模块还用于：

接收用户输入的目标点选取指令，根据所述目标点选取指令，确定所述第一点云中的第一目标点和第二目标点，并将所述第一目标点和所述第二目标点作为对角线顶点，确定对应的第一长方体区域；

获取所述第一目标点和所述第二目标点在预设坐标系中对应的第一坐标信息和第二坐标信息，根据所述预设坐标系和所述第二点云，确定所述第一坐标信息对应的第三目标点，以及所述第二坐标信息对应的第四目标点，并以所述第三目标点和所述第四目标点为对角线顶点，确定对应的第二长方体区域；

分别将所述第一长方体区域外和所述第二长方体区域外的三维点删除，以提取出所述第一长方体区域内的第一目标点云，以及所述第二长方体区域内的第二目标点云。

优选地，所述检测变化模块还用于：

基于预设的算法模型，求出所述第一目标点云和所述第二目标点云之间的旋转平移矩阵，根据所述旋转平移矩阵，确定所述第一目标点云和所述第二目标点云之间的移动距离；

根据所述移动距离，检测所述深度相机和所述机械臂之间的相对位置是否发生变化。

优选地，所述检测变化模块还用于：

若检测到所述移动距离小于预设阈值，则确定检测到所述深度相机和所述机械臂之间的相对位置未发生变化；

若检测到所述移动距离大于或等于预设阈值，则确定检测到所述深度相机和所述机械臂之间的相对位置发生变化。

本发明还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有位置信息检测程序，所述位置信息检测程序被处理器执行时实现如上所述的位置信息检测方法的步骤。

其中，在所述处理器上运行的位置信息检测程序被执行时所实现的方法可参照本发明位置信息检测方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端系统(可以是手机，计算机，服务器，空调器，或者网络系统等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种位置信息检测方法，其特征在于，所述方法应用于位置信息检测系统，所述位置信息检测系统包括深度相机和机械臂，且所述深度相机安装在所述机械臂上，所述方法包括如下步骤：

在对机械臂与深度相机进行手眼标定后，确定所述机械臂的第一姿态；

基于所述第一姿态，获取所述深度相机采集的第一点云；

当检测到所述机械臂处于第二姿态时，控制所述深度相机进行图像采集，得到第二点云，所述第一姿态和所述第二姿态为所述机械臂在不同时间点对应的相同姿态；

根据所述第一点云和所述第二点云，检测所述深度相机与所述机械臂之间的相对位置是否发生变化。

2.如权利要求1所述的位置信息检测方法，其特征在于，所述确定所述机械臂的第一姿态的步骤包括：

控制所述深度相机进行图像采集，得到目标图像，并确定所述目标图像中是否包含所述机械臂；

若包含，则确定所述机械臂当前的姿态为第一姿态。

3.如权利要求1所述的位置信息检测方法，其特征在于，所述获取所述深度相机采集的第一点云的步骤包括：

获取所述深度相机采集的目标图像，以及所述目标图像的图像信息和所述深度相机的内参，根据所述图像信息和所述内参，得到第一点云。

4.如权利要求1所述的位置信息检测方法，其特征在于，所述根据所述第一点云和所述第二点云，检测所述深度相机与所述机械臂之间的相对位置是否发生变化的步骤包括：

分别对所述第一点云和所述第二点云进行提取，得到对应的第一目标点云和第二目标点云；

根据所述第一目标点云和所述第二目标点云，检测所述深度相机和所述机械臂之间的相对位置是否发生变化。

5.如权利要求4所述的位置信息检测方法，其特征在于，所述第一点云和所述第二点云由多个三维点组成，所述分别对所述第一点云和所述第二点云进行提取，得到对应的第一目标点云和第二目标点云的步骤包括：

接收用户输入的目标点选取指令，根据所述目标点选取指令，确定所述第一点云中的第一目标点和第二目标点，并将所述第一目标点和所述第二目标点作为对角线顶点，确定对应的第一长方体区域；

获取所述第一目标点和所述第二目标点在预设坐标系中对应的第一坐标信息和第二坐标信息，根据所述预设坐标系和所述第二点云，确定所述第一坐标信息对应的第三目标点，以及所述第二坐标信息对应的第四目标点，并以所述第三目标点和所述第四目标点为对角线顶点，确定对应的第二长方体区域；

分别将所述第一长方体区域外和所述第二长方体区域外的三维点删除，以提取出所述第一长方体区域内的第一目标点云，以及所述第二长方体区域内的第二目标点云。

6.如权利要求4所述的位置信息检测方法，其特征在于，所述根据所述第一目标点云和所述第二目标点云，检测所述深度相机和所述机械臂之间的相对位置是否发生变化的步骤包括：

基于预设的算法模型，求出所述第一目标点云和所述第二目标点云之间的旋转平移矩阵，根据所述旋转平移矩阵，确定所述第一目标点云和所述第二目标点云之间的移动距离；

根据所述移动距离，检测所述深度相机和所述机械臂之间的相对位置是否发生变化。

7.如权利要求6所述的位置信息检测方法，其特征在于，所述根据所述移动距离，检测所述深度相机和所述机械臂之间的相对位置是否发生变化的步骤包括：

若检测到所述移动距离小于预设阈值，则确定检测到所述深度相机和所述机械臂之间的相对位置未发生变化；

若检测到所述移动距离大于或等于预设阈值，则确定检测到所述深度相机和所述机械臂之间的相对位置发生变化。

8.一种位置信息检测装置，其特征在于，所述位置信息检测装置包括：

姿态确定模块，用于在对机械臂与深度相机进行手眼标定后，确定所述机械臂的第一姿态；

点云获取模块，用于基于所述第一姿态，获取所述深度相机采集的第一点云；

图像采集模块，用于当检测到所述机械臂处于第二姿态时，控制所述深度相机进行图像采集，得到第二点云，所述第一姿态和所述第二姿态为所述机械臂在不同时间点对应的相同姿态；

检测变化模块，用于根据所述第一点云和所述第二点云，检测所述深度相机与所述机械臂之间的相对位置是否发生变化。

9.一种位置信息检测系统，其特征在于，所述位置信息检测系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的位置信息检测程序，所述位置信息检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的位置信息检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有位置信息检测程序，所述位置信息检测程序被处理器执行时实现如权利要求1至7中任一项所述的位置信息检测方法的步骤。

Images