CN115503024A - 720°视角的双目机器人及其工作方法 - Google Patents

Abstract

本发明提供一种720°视角的双目机器人及其工作方法。该机器人包括：支柱、第一臂体、第二臂体、第三臂体、第一图像采集装置和第二图像采集装置，第一臂体、第二臂体和第三臂体转动设置于支柱，第一图像采集装置能够通过第一臂体与第二臂体沿第一转动平面和第二转动平面转动，第二图像采集装置能够通过第一臂体与第三臂体沿第一转动平面和第二转动平面转动，第一转动平面与第二转动平面相互垂直，实现两个图像采集装置之间的角度和中心距可调，增强了机器人视觉识别的灵活度，扩展了机器人的应用场景。本发明的工作方法，通过分析处理图像采集装置采集到的图像，计算并调整相应臂体至相应位置和角度，实时精准追踪目标，灵活性强，适用性广。

Description

720°视角的双目机器人及其工作方法

技术领域

本发明涉及机器人技术领域，具体涉及一种720°视角的双目机器人及其工作方法。

背景技术

机器人广泛应用于制造业、安防监控、应急救灾、医疗服务、资源勘探、家庭娱乐、军事航天等领域。随着技术的不断发展，对机器人的智能化要求也越来越高，带视觉传感器的机器人将成为未来机器人的标配。机器人的视觉传感器分两类，一类是单目视觉系统二维坐标检测，一类是双目视觉系统三维坐标检测。

单目视觉系统，即搭载一个摄像头，用于机器人环境的感知，其优点是结构简单、算法成熟且计算量较小。但是其缺点是在成像过程中由于从三维客观世界投影到二维图像上，从而损失了深度信息，影响机器人对周围环境感知精度。

双目机器人类似人眼的体视功能，由两个摄像头组成，基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，可以准确地重建周围景物的三维信息和位置。双目机器人具备了人眼的自动3D标定、双眼协调，辐辏调整，自动跟踪等功能，具有自动对焦、根据景物距离自动调整3D摄像、特定目标识别跟踪、避障行走、远程遥控等功能。但是在复杂环境中，例如在救灾环境中，需要机器人对周围环境实时保持720度(水平垂直各360度)的全景感知，固定摄像头的双目机器人虽然可以进行场景深度的计算，但由于两个摄像头固定、两个摄像头之间距离也固定，极大的限制了机器人视觉识别的应用场景及灵活度，无法很好的满足特殊场景的需求。

发明内容

本发明提供一种720°视角的双目机器人及其工作方法，用以解决现有技术中双目机器人的两个摄像头位置固定，导致视觉识别受限，灵活度差的技术问题。

第一方面，本发明提供一种720°视角的双目机器人，包括：支柱、第一臂体、第二臂体、第三臂体、第一图像采集装置和第二图像采集装置，所述第一臂体沿第一转动平面转动设置于所述支柱，所述第二臂体和所述第三臂体分别沿第二转动平面转动设置于所述支柱，且所述第一转动平面与所述第二转动平面相互垂直；

所述第一图像采集装置铰接连接于所述第一臂体与所述第二臂体之间且能够沿所述第一转动平面和所述第二转动平面转动，所述第二图像采集装置铰接连接于所述第一臂体与所述第三臂体之间且能够沿所述第一转动平面和所述第二转动平面转动。

在一个实施例中，该720°视角的双目机器人还包括第一从臂、第二从臂、第三从臂和第四从臂，所述第一从臂的第一端铰接于所述第一臂体，所述第二从臂的第一端铰接于所述第二臂体，所述第一从臂的第二端和所述第二从臂的的第二端连接且所述第一图像采集装置安装于所述第一从臂的第二端和所述第二从臂的的第二端的重合位置上，所述第三从臂的第一端铰接于所述第一臂体，所述第四从臂的第一端铰接于所述第三臂体，所述第三从臂的第二端和所述第四从臂的第二端连接且所述第二图像采集装置安装于所述第三从臂的第二端和所述第四从臂的第二端的重合位置上。

在一个实施例中，该720°视角的双目机器人还包括第五从臂，所述第五从臂的一端连接于所述第一臂体，所述第一从臂的第一端铰接于所述第五从臂，所述第三从臂的第一端铰接于所述第五从臂。

在一个实施例中，该720°视角的双目机器人还包括第一驱动机构、第二驱动机构和第三驱动机构，所述第一驱动机构与所述第一臂体驱动连接，所述第二驱动机构与所述第二臂体驱动连接，所述第三驱动机构与所述第三臂体驱动连接。

在一个实施例中，该720°视角的双目机器人还包括第四驱动机构，所述第四驱动机构与所述支柱驱动连接，用于驱动所述支柱沿水平平面旋转。

在一个实施例中，该720°视角的双目机器人还包括控制器和图像处理器，所述控制器通过所述图像处理器与所述第一图像采集装置和所述第二图像采集装置信号连接，所述图像处理器用于接收并处理所述第一图像采集装置和所述第二图像采集装置采集到的图像，所述控制器分别与所述第一驱动机构、所述第二驱动机构和所述第三驱动机构信号连接，用于控制所述第一驱动机构、所述第二驱动机构和所述第三驱动机构运动。

在一个实施例中，该720°视角的双目机器人还包括无线通信模块，所述无线通信模块与所述控制器信号连接，用于收发数据和指令。

在一个实施例中，该720°视角的双目机器人还包括底座，所述支柱的底部安装于所述底座上。

在一个实施例中，所述第一转动平面为竖直平面，所述第二转动平面为水平平面。

第二方面，本发明提供一种720°视角的双目机器人的工作方法，包括：

S1、获取第一图像采集装置和第二图像采集装置采集到的图形；

S2、对所述图像进行处理并确定特征点景深，根据特征点景深构建三维信息图，计算出第一图像采集装置和第二图像采集装置需要调整的位置参数和转动角度；

S3、依据所述位置参数和所述转动角度调整第一臂体、第二臂体和第三臂体。

本发明提供的一种720°视角的双目机器人，通过第一臂体带动第一图像采集装置和第二图像采集装置沿第一转动平面转动，通过第二臂体带动第一图像采集装置沿第二转动平面转动，通过第三臂体带动第二图像采集装置沿第二转动平面转动，且设定第一转动平面与第二转动平面相互垂直，从而实现第一图像采集装置和第二图像采集装置沿两个平面的360°转动，形成720°实时全景观测视角，通过调整第二臂体和第三臂体的旋转方向和/或旋转角度，可以实现第一图像采集装置和第二图像采集装置两者之间的角度和中心距可调，增强了机器人视觉识别的灵活度，扩展了机器人的应用场景，特别适用于救灾抢险等特殊场景。

进一步地，本发明还提供一种720°视角的双目机器人的工作方法，通过该方法，可以实时调整第一图像采集装置和第二图像采集装置的位置和角度，实时精准追踪目标，灵活性强，适用性广。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种720°视角的双目机器人的结构示意图；

图2是本发明提供的一种720°视角的双目机器人的模块示意图；

图3是本发明提供的一种720°视角的双目机器人的工作方法的流程示意图。

附图标记：

1：底座； 2：支柱； 3：第一臂体；

4：第二臂体； 5：第三臂体； 6：第一图像采集装置；

7：第二图像采集装置； 8：第一从臂； 9：第二从臂；

10：第三从臂； 11：第四从臂； 12：第五从臂。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1和图2描述本发明的一种720°视角的双目机器人，包括：支柱2、第一臂体3、第二臂体4、第三臂体5、第一图像采集装置6和第二图像采集装置7，第一臂体3沿第一转动平面转动设置于支柱2，第二臂体4和第三臂体5分别沿第二转动平面转动设置于支柱2，且第一转动平面与第二转动平面相互垂直；

第一图像采集装置6铰接连接于第一臂体3与第二臂体4之间且能够沿第一转动平面和第二转动平面转动，第二图像采集装置7铰接连接于第一臂体3与第三臂体5之间且能够沿第一转动平面和第二转动平面转动。

具体地，支柱2为竖直设置，第一臂体3可以为绕支柱2的径向进行旋转，而第二臂体4和第三臂体5可以为绕支柱2的轴向进行旋转，即第一转动平面为竖直平面，第二转动平面为水平平面，则第一图像采集装置6和第二图像采集装置7在第一臂体3的带动下可以沿竖直平面进行360°旋转，也即调节俯仰角度。而第一图像采集装置6在第二臂体4的带动下可以沿水平平面进行360°旋转，第二图像采集装置7在第三臂体5的带动下可以沿水平平面进行360°旋转，也即调节水平角度。由此，第一图像采集装置6和第二图像采集装置7分别可以进行水平和垂直的360°旋转，且在旋转过程中，可通过改变第二臂体4和第三臂体5的旋转方向和/或旋转角度来调节第一图像采集装置6和第二图像采集装置7的位置关系以及两者之间的中心距，从而实现双目720°观测，调节灵活。

进一步地，第一图像采集装置6和第二图像采集装置7均可采用摄像头或其他图像采集装置进行图像采集和获取。

本发明提供的一种720°视角的双目机器人，通过第一臂体3带动第一图像采集装置6和第二图像采集装置7沿第一转动平面转动，通过第二臂体4带动第一图像采集装置6沿第二转动平面转动，通过第三臂体5带动第二图像采集装置7沿第二转动平面转动，且设定第一转动平面与第二转动平面相互垂直，从而实现第一图像采集装置6和第二图像采集装置7沿两个不同平面的360°转动，形成720°实时全景观测视角，通过调整第二臂体4和第三臂体5的旋转方向和/或旋转角度，可以实现第一图像采集装置6和第二图像采集装置7两者之间的角度和中心距可调，增强了机器人视觉识别的灵活度，扩展了机器人的应用场景，特别适用于救灾抢险等特殊场景。

在其中一个实施例中，该720°视角的双目机器人还包括第一从臂8、第二从臂9、第三从臂10和第四从臂11，第一从臂8的第一端铰接于第一臂体3，第二从臂9的第一端铰接于第二臂体4，第一从臂8的第二端和第二从臂9的的第二端连接且第一图像采集装置6安装于第一从臂8的第二端和第二从臂9的的第二端的重合位置上，第三从臂10的第一端铰接于第一臂体3，第四从臂11的第一端铰接于第三臂体5，第三从臂10的第二端和第四从臂11的第二端连接且第二图像采集装置7安装于第三从臂10的第二端和第四从臂11的第二端的重合位置上。具体地，在本实施例中，通过从臂将臂体的转动运动传递给相应的图像采集装置，以第一图像采集装置6为例，当第一臂体3沿第一转动平面开始转动时，将该转动运动通过第一从臂8传递给第一图像采集装置6，此时第二从臂9在第二臂体4的铰接端也跟随一同转动，实现第一图像装置的沿竖直平面进行转动；当第二臂体4沿第二转动平面开始转动时，将转动运动通过第二从臂9传递给第一图像采集装置6，此时第一从臂8在第一臂体3的铰接端也跟随一同转动，实现第一图像装置的沿水平平面进行转动。可以理解的是，第二图像采集装置7与第一图像采集装置6的运动原理相同，只是采用不同的臂体进行传动。

在其中一个实施例中，该720°视角的双目机器人还包括第五从臂12，第五从臂12的一端连接于第一臂体3，第一从臂8的第一端铰接于第五从臂12，第三从臂10的第一端铰接于第五从臂12。在本实施例中，第一臂体3的转动运动为通过第五从臂12分别传递给第一从臂8和第三从臂10的。具体地，第五从臂12为一柱体，插设于第一臂体3的顶部，随着第一臂体3进行转动。

在其中一个实施例中，该720°视角的双目机器人还包括第一驱动机构、第二驱动机构和第三驱动机构，第一驱动机构与第一臂体3驱动连接，第二驱动机构与第二臂体4驱动连接，第三驱动机构与第三臂体5驱动连接。在本实施例中，第一驱动机构、第二驱动机构和第三驱动机构均采用电机，每个电机对应驱动一个臂体进行对应的转动，从而实现第一图像采集装置6和第二图像采集装置7可以单独在一个平面转动或同时在两个平面进行转动。

在其中一个实施例中，该720°视角的双目机器人还包括第四驱动机构，第四驱动机构与支柱2驱动连接，用于驱动支柱2沿水平平面旋转。具体地，第四驱动机构也可以采用电机的形式，其作用为驱动整个机器人进行视角转动，一般为驱动机器人进行水平角度调整。通过上述实施例，应用数量最少的电机，即可实现机器人进行720°视角观测和摄像头中心距可调。

在其中一个实施例中，该720°视角的双目机器人还包括控制器和图像处理器，控制器通过图像处理器与第一图像采集装置6和第二图像采集装置7信号连接，图像处理器用于接收并处理第一图像采集装置6和第二图像采集装置7采集到的图像，控制器分别与第一驱动机构、第二驱动机构和第三驱动机构信号连接，用于控制第一驱动机构、第二驱动机构和第三驱动机构运动。进一步地，该720°视角的双目机器人还包括电池模块和无线通信模块，无线通信模块与控制器信号连接，无线通信模块基于无线网络、5G或4G网络，用于收发数据和指令，电池模块为机器人供电。具体地，图像处理器可以对第一图像采集装置6和第二图像采集装置7采集到的图像实时进行处理，计算同一特征点景深。控制器包括中央控制器和电机控制器，中央控制器主要用于对图像进行拼接等综合处理，形成三维信息，对无线通信模块和电机控制器进行管理，收发内容和指令；电机控制器主要用于接收中央控制器的控制指令，并依据控制指令驱动相应的电机

在其中一个实施例中，该720°视角的双目机器人还包括底座1，支柱2的底部安装于底座1上，该底座1用于支撑整个机器人，且可以将上述四个驱动机构置于底座1内部，其输出轴与相应的臂体或支柱2驱动连接。

另一方面，如图3所示，本发明还提供一种720°视角的双目机器人的工作方法，包括：

S1、机器人上电，将第一臂体3、第二臂体4和第三臂体5调整至初始位置；

S2、通过第一图像采集装置6和第二图像采集装置7分别获取第一图像采集装置6和第二图像采集装置7采集到的图形；

S3、利用图像处理器对图像进行初步处理，根据同一特征点在两个图像采集装置的图像的位置以及两个图像采集装置之间的距离，确定特征点景深，中央控制器可以根据每个特征点的景深构建机器人周围环境的三维信息图，计算出第一图像采集装置6和第二图像采集装置7需要调整的位置参数和转动角度；

S4、依据需要调整的位置参数和转动角度，控制相应的驱动机构来驱动第一臂体3、第二臂体4和第三臂体5，使得第一图像采集装置6和第二图像采集装置7调整至预期位置，从而实现目标实时追踪。

进一步地，当两个图像采集装置之间的距离越大时，同一特征点的视差会变大，提高特征点景深的计算精度，根据跟踪点的情况，机器人可以适当调节两个图像采集装置之间的距离，便于更加精确的测定跟踪点的景深。

通过本发明提供的720°视角的双目机器人的工作方法，可以实时调整第一图像采集装置6和第二图像采集装置7的位置和角度，实时精准追踪目标，灵活性强，适用性广。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种720°视角的双目机器人，其特征在于，包括：支柱、第一臂体、第二臂体、第三臂体、第一图像采集装置和第二图像采集装置，所述第一臂体沿第一转动平面转动设置于所述支柱，所述第二臂体和所述第三臂体分别沿第二转动平面转动设置于所述支柱，且所述第一转动平面与所述第二转动平面相互垂直；

所述第一图像采集装置铰接连接于所述第一臂体与所述第二臂体之间且能够沿所述第一转动平面和所述第二转动平面转动，所述第二图像采集装置铰接连接于所述第一臂体与所述第三臂体之间且能够沿所述第一转动平面和所述第二转动平面转动。

2.根据权利要求1所述的720°视角的双目机器人，其特征在于，还包括第一从臂、第二从臂、第三从臂和第四从臂，所述第一从臂的第一端铰接于所述第一臂体，所述第二从臂的第一端铰接于所述第二臂体，所述第一从臂的第二端和所述第二从臂的的第二端连接且所述第一图像采集装置安装于所述第一从臂的第二端和所述第二从臂的的第二端的重合位置上，所述第三从臂的第一端铰接于所述第一臂体，所述第四从臂的第一端铰接于所述第三臂体，所述第三从臂的第二端和所述第四从臂的第二端连接且所述第二图像采集装置安装于所述第三从臂的第二端和所述第四从臂的第二端的重合位置上。

3.根据权利要求2所述的720°视角的双目机器人，其特征在于，还包括第五从臂，所述第五从臂的一端连接于所述第一臂体，所述第一从臂的第一端铰接于所述第五从臂，所述第三从臂的第一端铰接于所述第五从臂。

4.根据权利要求1所述的720°视角的双目机器人，其特征在于，还包括第一驱动机构、第二驱动机构和第三驱动机构，所述第一驱动机构与所述第一臂体驱动连接，所述第二驱动机构与所述第二臂体驱动连接，所述第三驱动机构与所述第三臂体驱动连接。

5.根据权利要求1所述的720°视角的双目机器人，其特征在于，还包括第四驱动机构，所述第四驱动机构与所述支柱驱动连接，用于驱动所述支柱沿水平平面旋转。

6.根据权利要求4所述的720°视角的双目机器人，其特征在于，还包括控制器和图像处理器，所述控制器通过所述图像处理器与所述第一图像采集装置和所述第二图像采集装置信号连接，所述图像处理器用于接收并处理所述第一图像采集装置和所述第二图像采集装置采集到的图像，所述控制器分别与所述第一驱动机构、所述第二驱动机构和所述第三驱动机构信号连接，用于控制所述第一驱动机构、所述第二驱动机构和所述第三驱动机构运动。

7.根据权利要求6所述的720°视角的双目机器人，其特征在于，还包括无线通信模块，所述无线通信模块与所述控制器信号连接，用于收发数据和指令。

8.根据权利要求1所述的720°视角的双目机器人，其特征在于，还包括底座，所述支柱的底部安装于所述底座上。

9.根据权利要求1-8中任意一项所述的720°视角的双目机器人，其特征在于，所述第一转动平面为竖直平面，所述第二转动平面为水平平面。

10.一种720°视角的双目机器人的工作方法，其特征在于，包括：

S1、获取第一图像采集装置和第二图像采集装置采集到的图形；

S2、对所述图像进行处理并确定特征点景深，根据特征点景深构建三维信息图，计算出第一图像采集装置和第二图像采集装置需要调整的位置参数和转动角度；

S3、依据所述位置参数和所述转动角度调整第一臂体、第二臂体和第三臂体。

Images