CN107234625B - 视觉伺服定位和抓取的方法 - Google Patents

Abstract

本发明涉及机器人技术领域，具体涉及一种视觉伺服定位和抓取的方法。本发明旨在解决现有技术中机器人对目标物体进行自主定位和抓取时不够精准的问题。为此目的，本发明的视觉伺服定位和抓取的方法包括：采集目标物体的图像；确定目标物体在图像中的位置信息；根据位置信息确定目标物体在环境中的实际位置；根据实际位置，控制机器人的机械手抓取目标物体。通过本发明的技术方案，实现了机器人对目标物体高效精准地自主定位和抓取，同时，本发明的技术方案不需要对机器人的硬件系统进行改进，从而降低了环境对机器人硬件系统的限制。

Description

视觉伺服定位和抓取的方法

技术领域

本发明涉及机器人技术领域，具体涉及一种视觉伺服定位和抓取的方法。

背景技术

长期以来，由于深海探测技术的限制，科学界对深海生命、环境和地质过程的了解十分有限。随着深海探测技术的不断突破，深海科学正成为国际海洋科学最新的前沿领域。全海深自主遥控潜水器(ARV，Autonomous&Remotely operated Vehicle)为科学家开展深海前沿科学研究提供了重要的技术手段，通过全海深ARV实现对深海区域大范围高精度探测和局部精细取样作业，科学家可以探索深海物种起源、演化和环境适应机制，研究深海基本环境特征及特有物理和地球化学现象，研究深海地质活动及底部释气作用等重大科学问题。全海深自主遥控潜水器具备遥控和自主作业模式，它既具有大范围水下搜索和探测的能力，又可以通过光纤微缆进行实时遥控完成取样作业。自主识别、定位以及抓取是全海深自主遥控潜水器实现以上两个功能的核心技术。

在当前的研究中，自主识别定位、抓取系统硬件系统一般由双目摄像头或者深度传感器加单目摄像头实现，但是，由于深海环境的特殊性，光线、震动、高压力等因素，所有的零部件(摄像头、传感器、线缆等)都需要做防水、耐压处理。因此，在尽可能不改动全海深自主遥控潜水器本体硬件的基础上，实现一套高效、稳定、可靠、性价比高的视觉伺服定位、抓取系统是亟需解决的技术难题。

因此，如何发明一种高效精准的视觉伺服定位和抓取的方法已经成为亟待解决的问题。

发明内容

为了解决现有技术中的上述至少一个问题，即为了解决现有定位抓取系统不够高效精准的问题，本发明提供了一种视觉伺服定位和抓取的方法，该方法适用于机器人，机器人包括机器人本体、与机器人本体活动连接的机械手、以及设置在机器人本体上的第一摄像头和设置在机械手上的第二摄像头，其特征在于，该方法包括下列步骤：采集目标物体的图像；确定目标物体在图像中的位置信息；根据位置信息确定目标物体在环境中的实际位置；根据实际位置，控制机器人的机械手抓取目标物体。本发明的视觉伺服定位和抓取的方法能够解决全海深自主遥控潜水器对目标物体进行高效精准的识别和抓取的问题，同时，本发明不需要改动全海深自主遥控潜水器本体硬件，从而减少了深海环境中的光线、震动、高压力对全海深自主遥控潜水器本体硬件的影响。

在上述视觉伺服定位和抓取的方法的优选技术方案中，“采集目标物体的图像”的步骤具体包括：通过第一摄像头采集目标物体的第一图像；通过第二摄像头采集目标物体的第二图像，其中，目标物体的图像包括第一图像和第二图像。

在上述视觉伺服定位和抓取的方法的优选技术方案中，“确定所述目标物体在所述图像中的位置信息”的步骤具体包括：确定目标物体在第一图像中的第一位置信息；确定目标物体在第二图像中的第二位置信息，其中，目标物体在图像中的位置信息包括目标物体在第一图像中的第一位置信息和目标物体在第二图像中的第二位置信息。

在上述视觉伺服定位和抓取的方法的优选技术方案中，“根据所述位置信息确定所述目标物体在环境中的实际位置”的步骤具体包括：以所述第一摄像头和所述第二摄像头中的一个为原点建立基准坐标系；相对于所述基准坐标系，以所述第一摄像头和所述第二摄像头中的另一个为原点建立相对坐标系；分别确定所述第一位置信息在所述基准坐标系中的坐标和所述第二位置信息在所述相对坐标系中的坐标；将所述基准坐标系的原点与所述第一位置信息在所述基准坐标系中的坐标相连来确定所述目标物体在所述基准坐标系中的第一轴线；将所述相对坐标系的原点与所述第二位置信息在所述相对坐标系中的坐标相连来确定所述目标物体在所述相对坐标系中的第二轴线；将所述第一轴线与所述第二轴线的交点确定为所述目标物体在环境中的实际位置。

在上述视觉伺服定位和抓取的方法的优选技术方案中，“根据所述实际位置，控制所述机器人的所述机械手抓取所述目标物体”的步骤具体包括：根据实际位置，控制机器人向目标物体移动，直到目标物体位于机器人的可抓取范围；根据实际位置，控制机械手向目标物体移动，使目标物体位于机械手上的第二摄像头图像上的指定位置；当目标物体位于机器人的可抓取范围，且目标物体位于机械手上的第二摄像头图像上的指定位置时，控制机械手抓取目标物体。

在上述视觉伺服定位和抓取的方法的优选技术方案中，“采集所述第一图像和所述第二图像”的步骤具体包括：使第一摄像头和第二摄像头分别向相同或不同的方向搜索目标物体；当第一摄像头和/或第二摄像头的图像中出现目标物体时，使第二摄像头和/或第一摄像头向目标物体的方向搜索；当目标物体同时出现在第一摄像头和第二摄像头的图像中时，确定第一图像和第二图像。

在上述视觉伺服定位和抓取的方法的优选技术方案中，“根据所述实际位置，控制所述机器人向所述目标物体移动”的步骤具体包括：根据采集到的目标物体的图像，判断目标物体周围的障碍物信息；根据目标物体的实际位置和目标物体周围的障碍物信息，建立机器人的移动轨迹；控制机器人按照移动轨迹向目标物体移动。

在上述视觉伺服定位和抓取的方法的优选技术方案中，在“采集目标物体的图像”的步骤之前，所述方法还包括：通过第一摄像头和/或第二摄像头采集机器人周围环境的初始信息；对初始信息去噪；将去噪后的初始信息与目标物体的模型库进行匹配；根据匹配信息，确定目标物体。

在上述视觉伺服定位和抓取的方法的优选技术方案中，还包括：构建目标物体的模型库；存储目标物体的模型库。

在上述视觉伺服定位和抓取的方法的优选技术方案中，机器人为全海深自主遥控潜水器，机械手为海深自主遥控潜水器的手爪。

本领域技术人员能够理解的是，在本发明的技术方案中，通过采用双目轴线交叉法利用两个摄像头对目标物体进行定位、抓取，即，利用全海深自主遥控潜水器自带的单目摄像头、和手爪上固定的摄像头，基于视线轴线相交的原理实现目标空间定位，并驱动机器人上的机械臂带动手爪完成伺服抓取任务，同时，本发明的方法在不改动全海深自主遥控潜水器本体硬件的基础上，实现高效、稳定、可靠、性价比高的视觉伺服定位和抓取目的，减少了深海环境中的光线、震动、高压力等因素对全海深自主遥控潜水器硬件的要求。

附图说明

图1是本发明的一个优选实施例的全海深自主遥控潜水器的结构示意图。

图2是本发明的一个优选实施例的视觉伺服定位和抓取的方法的流程示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式，本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围，本领域技术人员可以根据需要对其作出调整，以便适应具体的应用场合。例如，尽管本说明书中以全海深自主遥控潜水器为实施例对本发明的技术方案进行描述，但是本发明的技术方案所应用的产品不仅仅局限于全海深自主遥控潜水器，本发明的技术方案还可以应用到其他机器上，这种变化并不偏离本发明的原理和范围。

首先参阅图1，图1是本发明的一个优选实施例的全海深自主遥控潜水器的结构示意图。如图1所示，全海深自主遥控潜水器包括本体102，与本体102通过机械臂活动连接的手爪104，设置在本体102上的第一摄像头106，设置在机械臂上靠近手爪104位置的第二摄像头108，第一摄像头106和第二摄像头108可以向指定方向转动，其中，本体102内还设置有控制器、与控制器连接的驱动器、以及与驱动器连接的移动机构。控制器根据接收到的第一摄像头106和第二摄像头108的信号，控制驱动器驱动移动机构移动，其中，控制器可以开启全海深自主遥控潜水器自主作业模式，也可以通过光纤微缆对全海深自主遥控潜水器进行实时遥控。

下面参阅图2，图2是本发明的一个优选实施例的视觉伺服定位和抓取的方法的流程示意图。如图2所示，根据本发明的优选实施例，在不改动全海深自主遥控潜水器本体硬件的基础上，本发明提出了一种高效、精准、稳定、可靠、性价比高的视觉伺服定位和抓取方法，该视觉伺服定位和抓取方法主要包括下列步骤：S102，采集目标物体的图像，具体地，先通过全海深自主遥控潜水器上的第一摄像头采集目标物体的第一图像，再通过第二摄像头采集目标物体的第二图像，其中，目标物体的图像包括第一图像和第二图像。步骤S104，确定目标物体在图像中的位置信息，具体地，确定目标物体在第一图像中的第一位置信息，同时确定目标物体在第二图像中的第二位置信息，其中，目标物体在图像中的位置信息包括目标物体在第一图像中的第一位置信息和目标物体在第二图像中的第二位置信息。然后执行步骤S106，即，根据步骤S104中的位置信息确定目标物体在环境中的实际位置，具体地，在根据位置信息确定目标物体在环境中的实际位置之前，先以所述第一摄像头和所述第二摄像头中的一个为原点建立基准坐标系；然后相对于所述基准坐标系，以所述第一摄像头和所述第二摄像头中的另一个为原点建立相对坐标系；接下来分别确定所述第一位置信息在所述基准坐标系中的坐标和所述第二位置信息在所述相对坐标系中的坐标；再接下来将所述基准坐标系的原点与所述第一位置信息在所述基准坐标系中的坐标相连来确定所述目标物体在所述基准坐标系中的第一轴线；之后将所述相对坐标系的原点与所述第二位置信息在所述相对坐标系中的坐标相连来确定所述目标物体在所述相对坐标系中的第二轴线；最后将所述第一轴线与所述第二轴线的交点确定为所述目标物体在环境中的实际位置。

继续参阅图2，经过步骤S102、步骤S104和步骤S106后，目标物体的实际位置已经确定，最后再执行步骤S108，即根据实际位置，控制机器人的机械手抓取目标物体。步骤S108具体包括：先根据目标物体的实际位置，控制机器人向目标物体移动，直到目标物体位于机器人的可抓取范围；然后控制机械手向目标物体移动，使目标物体位于机械手上的第二摄像头图像上的指定位置；接下来当目标物体位于机器人的可抓取范围，且目标物体位于机械手上的第二摄像头图像上的指定位置时，控制机械手抓取目标物体。更具体地，首先可以建立一个虚拟坐标系，机器人处于所述虚拟坐标系的坐标原点，然后根据目标物体的实际位置，确定目标物体在虚拟坐标系中的位置坐标，接着机器人中的控制器和驱动器伺服驱动移动机构，移动机构带动机器人朝目标物体的坐标位置移动，同时，第一摄像头实时检测机器人与目标物体之间的位置，并将反馈信号发送到控制器，控制器根据反馈信号，对机器人实现闭环控制，实时纠正移动机构的移动方向，直到目标物体位于机器人的可抓取范围。

继续参阅图2，在步骤S102中，为了提高获取目标物体的图像的效率，全海深自主遥控潜水器上的第一摄像头和第二摄像头分别向相同或不同的方向搜索目标物体，当第一摄像头和/或第二摄像头的图像中出现目标物体时，第二摄像头和/或第一摄像头向目标物体的方向搜索；当目标物体同时出现在第一摄像头和第二摄像头的图像中时，确定目标物体的第一图像和第二图像。具体地，第一摄像头和第二摄像头可转动地连接在机器人本体和手臂上，第一摄像头和第二摄像头分别负责向指定的搜索角度范围搜索，当第一摄像头搜索到目标物体后，可以确定目标物体的在第一摄像头所指向的第一轴线上，第二摄像迅速转向第一轴线对目标物体进行搜索，当第二摄像头搜索到目标物体后，可以确定目标物体的在第二摄像头所指向的第二轴线上，第一轴线与第二轴线的交点即为目标物体在环境中的实际位置。

继续参阅图2，在步骤S108中，为了减少全海深自主遥控潜水器向目标物体移动的失误率，根据步骤S102中采集到的目标物体的图像，判断目标物体周围的障碍物信息，然后根据目标物体的实际位置和目标物体周围的障碍物信息，建立机器人的移动轨迹，控制机器人按照移动轨迹向目标物体移动，以减少机器人向目标物体移动过程中的故障。

继续参阅图2，在本发明的方法中，为了获取准确的目标物体，在全海深自主遥控潜水器对目标物体进行搜索之前，需要对全海深自主遥控潜水器内的系统进行预先设置，包括预先构建目标物体的模型库，并存储目标物体的模型库，然后通过第一摄像头和/或第二摄像头采集机器人周围环境的初始信息，对初始信息去噪，将去噪后的初始信息与目标物体的模型库进行匹配，根据匹配信息，确定目标物体。具体地，根据全海深自主遥控潜水器所处的周围环境，构建全海深自主遥控潜水器的环境感知模型，环境感知模型包括主动搜索型传感器如摄像传感器，包括被动搜索型传感器如触感压力传感器，进一步地，根据卡尔曼滤波原理，对采集到的初始信息进行滤波，得到类似目标物体的信息，然后，将类似目标物体的信息与目标物体模型库进行匹配，根据匹配信息的匹配度，确定目标物体。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种视觉伺服定位和抓取的方法，所述方法适用于机器人，所述机器人包括机器人本体、与机器人本体活动连接的机械手、以及设置在所述机器人本体上的第一摄像头和设置在所述机械手上的第二摄像头，其特征在于，所述方法包括下列步骤：

采集目标物体的图像；

确定所述目标物体在所述图像中的位置信息；

根据所述位置信息确定所述目标物体在环境中的实际位置；

根据所述实际位置，控制所述机器人的所述机械手抓取所述目标物体；

其中，“采集目标物体的图像”的步骤具体包括：

通过所述第一摄像头采集所述目标物体的第一图像；

通过所述第二摄像头采集所述目标物体的第二图像；

其中，所述目标物体的图像包括所述第一图像和所述第二图像；

其中，“确定所述目标物体在所述图像中的位置信息”的步骤具体包括：

确定所述目标物体在所述第一图像中的第一位置信息；

确定所述目标物体在所述第二图像中的第二位置信息，

其中，所述目标物体在所述图像中的位置信息包括所述目标物体在所述第一图像中的第一位置信息和所述目标物体在所述第二图像中的第二位置信息；

其中，“根据所述位置信息确定所述目标物体在环境中的实际位置”的步骤具体包括：

以所述第一摄像头和所述第二摄像头中的一个为原点建立基准坐标系；

相对于所述基准坐标系，以所述第一摄像头和所述第二摄像头中的另一个为原点建立相对坐标系；

分别确定所述第一位置信息在所述基准坐标系中的坐标和所述第二位置信息在所述相对坐标系中的坐标；

将所述基准坐标系的原点与所述第一位置信息在所述基准坐标系中的坐标相连来确定所述目标物体在所述基准坐标系中的第一轴线；

将所述相对坐标系的原点与所述第二位置信息在所述相对坐标系中的坐标相连来确定所述目标物体在所述相对坐标系中的第二轴线；

将所述第一轴线与所述第二轴线的交点确定为所述目标物体在环境中的实际位置。

2.根据权利要求1所述的视觉伺服定位和抓取的方法，其特征在于，“根据所述实际位置，控制所述机器人的所述机械手抓取所述目标物体”的步骤具体包括：

根据所述实际位置，控制所述机器人向所述目标物体移动，直到所述目标物体位于所述机器人的可抓取范围内；

根据所述实际位置，控制所述机械手向所述目标物体移动，使所述目标物体位于所述第二摄像头的图像的指定位置；

当所述目标物体位于所述机器人的可抓取范围内，且所述目标物体位于所述第二摄像头的图像的指定位置时，控制所述机械手抓取所述目标物体。

3.根据权利要求1所述的视觉伺服定位和抓取的方法，其特征在于，采集所述第一图像和所述第二图像的步骤具体包括：

使所述第一摄像头和所述第二摄像头分别向相同或不同的方向搜索所述目标物体；

当所述第一摄像头和/或所述第二摄像头的图像中出现所述目标物体时，使所述第二摄像头和/或第一摄像头向所述目标物体的方向搜索；

当所述目标物体同时出现在所述第一摄像头和所述第二摄像头的图像中时，确定所述第一图像和所述第二图像。

4.根据权利要求2所述的视觉伺服定位和抓取的方法，其特征在于，“根据所述实际位置，控制所述机器人向所述目标物体移动”的步骤具体包括：

根据采集到的所述目标物体的图像，判断所述目标物体周围的障碍物信息；

根据所述目标物体的实际位置和所述目标物体周围的障碍物信息，建立所述机器人的移动轨迹；

控制所述机器人按照所述移动轨迹向所述目标物体移动。

5.根据权利要求1所述的视觉伺服定位和抓取的方法，其特征在于，在“采集目标物体的图像”的步骤之前，所述方法还包括：

通过所述第一摄像头和/或所述第二摄像头采集所述机器人周围环境的初始信息；

对所述初始信息去噪；

将去噪后的初始信息与所述目标物体的模型库进行匹配；

根据所述匹配信息，确定所述目标物体。

6.根据权利要求5所述的视觉伺服定位和抓取的方法，其特征在于，在“将去噪后的初始信息与所述目标物体的模型库进行匹配”的步骤之前，所述方法还包括：

构建所述目标物体的模型库；

存储所述目标物体的模型库。

7.根据权利要求1至6中任一项所述的视觉伺服定位和抓取的方法，其特征在于，所述机器人为全海深自主遥控潜水器，所述机械手为所述全海深自主遥控潜水器的手爪。