CN113084873A - 一种机器人视觉装置及机器人 - Google Patents

Abstract

本发明提出了一种机器人视觉装置及机器人，涉及智能机器人技术领域。机器人包括控制芯片以及机器人视觉装置。控制芯片与机器人视觉装置连接，以用于获取机器人视觉装置获取的图像信息，并根据图像信息生成控制指令，以使机器人根据控制指令行走。机器人视觉装置包括：云台以及深度摄像头。云台与深度摄像头连接，以用于带动深度摄像头转动。深度摄像头用于获取图像信息。云台可以向不同位置旋转，因此该云台可以带动深度摄像头进行全方位的旋转和拍摄，从而使得该机器人视觉装置的可视范围变大，从而使安装有该机器人视觉装置的机器人可以在不走动的情况下及时的获取周边信息，继而保证该机器人可以进行灵活的智能活动。

Description

一种机器人视觉装置及机器人

技术领域

本发明涉及智能机器人技术领域，具体而言，涉及一种机器人视觉装置及机器人。

背景技术

机器人飞速发展的今天，机器人的智能化变得尤为重要。当机器人进行行走的过程中，需要实时获取周边信息，判断异常信息是否存在，选取最佳行走前进的路径。机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品，即图像摄取装置将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

当前，市场常见的视觉装置的可视范围有限，仅能对一定的可拍摄范围进行，目标捕捉能力差，从而导致机器人无法及时的获取周边信息，进一步导致该机器人无法灵活的进行智能活动。

发明内容

本发明的目的在于提供一种机器人视觉装置及机器人，用以改善现有技术中可视范围有限的问题。

第一方面，本申请实施例提供一种机器人视觉装置，机器人视觉装置包括：云台以及深度摄像头。云台，其与深度摄像头连接，以用于带动深度摄像头转动。深度摄像头，用于获取图像信息。

上述实现过程中，机器人视觉装置的云台可以向不同位置旋转，因此该云台可以带动深度摄像头进行全方位的旋转和拍摄，从而使得该机器人视觉装置的可视范围变大，从而使安装有该机器人视觉装置的机器人可以在不走动的情况下及时的获取周边信息，继而保证该机器人可以进行灵活的智能活动。

在本发明的一些实施例中，云台包括水平旋转台以及垂直旋转台。垂直旋转台设置于水平旋转台上，深度摄像头设置于垂直旋转台上。通过水平旋转台以及垂直旋转台的共同作用下，深度摄像头可以被带动进行全方位的旋转，进而保证深度摄像头可以获取不同可视范围的图像。

在本发明的一些实施例中，云台还包括水平旋转电机、垂直旋转电机以及电机控制器。水平旋转电机，其与水平旋转台连接，以用于带动水平旋转台水平旋转。垂直旋转电机，其与垂直旋转台连接，以用于带动垂直旋转台垂直旋转。电机控制器，其与机器人的控制芯片连接，其还与水平旋转电机以及垂直旋转电机分别连接，以用于在控制芯片的控制下控制水平旋转电机以及垂直旋转电机运转。

在本发明的一些实施例中，机器人视觉装置还包括：连接转换器，其固定设置于云台上。连接转换器与机器人的控制芯片电连接。深度摄像头与连接转换器连接，深度摄像头通过连接转换器与控制芯片连接。

在本发明的一些实施例中，连接转换器包括多个连接口。

在本发明的一些实施例中，机器人视觉装置还包括：无线通信模块，其与深度摄像头以及机器人的控制芯片分别电连接，且其还与远程终端无线连接，以用于将深度摄像头获取的图像信息发送至远程终端，还用于获取远程终端发送的控制指令并发送至控制芯片。

上述实现过程中，通过无线通信模块使得深度摄像头以及控制芯片可以与远程控制终端连接，从而实现了用户可以通过远程控制终端对该机器人视觉装置获取的图像进行查看，同时，用户还可以通过远程控制终端对机器人进行控制。

在本发明的一些实施例中，无线通信模块包括GPRS模块和/或蓝牙模块。

第二方面，本申请实施例提供一种机器人，包括控制芯片以及上述第一方面中任意一项的机器人视觉装置。控制芯片与机器人视觉装置连接，以用于获取机器人视觉装置获取的图像信息，并根据图像信息生成控制指令，以使机器人根据控制指令行走。

在本发明的一些实施例中，机器人还包括行走装置，行走装置与控制芯片连接，以用于接收控制芯片生成的控制指令，在控制芯片的控制下进行行走操作。

在本发明的一些实施例中，行走装置包括：底盘控制系统、编码器以及电机。底盘控制系统与控制芯片连接，底盘控制系统还与编码器连接，编码器与电机连接。底盘控制系统用于接收控制芯片生成的控制指令，并根据控制指令向编码器发送控制编码；编码器根据控制编码控制电机运转。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种机器人视觉装置的结构示意图；

图2为本发明实施例提供的另一种机器人视觉装置的结构示意图；

图3为本发明实施例提供的一种机器人视觉装置的连接示意图；

图4为本发明实施例提供的一种机器人的连接示意图结构示意图。

图标：100-机器人视觉装置；110-云台；111-水平旋转台；112-垂直旋转台；113-水平旋转电机；114-垂直旋转电机；115-电机控制器；120-深度摄像头；130-连接转换器；200-机器人；210-控制芯片；220-行走装置。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

请参看图1，图1为本发明实施例提供的一种机器人视觉装置100的结构示意图。该机器人视觉装置100包括：云台110以及深度摄像头120。云台110，其与深度摄像头120连接，以用于带动深度摄像头120转动。深度摄像头120，用于获取图像信息。

云台110上设置有深度摄像头120，深度摄像头120可以通过云台110安装在机器人200等设备上。同时，云台110可以带动深度摄像头120进行旋转，使得深度摄像头120可拍摄的范围变大。

深度图像也被称为距离影像，深度图像是指将从图像采集器到场景中各点的距离，也就是深度作为像素值的图像，它直接反映了景物可见表面的几何形状，人工智能就需要借助计算机视觉的来获取和识别外界的信息。因此，该机器人视觉装置100使用深度摄像头120来获取图像信息，以保证机器人200能够对外部环境进行感知。深度摄像头120可以采用kinect深度摄像头120、intel realsense d435深度摄像头120、小觅深度摄像头120、奥比中光深度摄像头120等。

在本发明的一些实施例中，机器人视觉装置100还包括：连接转换器130，其固定设置于云台110上。连接转换器130与机器人200的控制芯片210电连接。深度摄像头120与连接转换器130连接，深度摄像头120通过连接转换器130与控制芯片210连接。

深度摄像头120拍摄获取的图像需要发送至机器人200的控制芯片210，而机器人200的控制芯片210一般都设置在机器人200本体内部，机器人视觉装置100一般设置在机器人200本体顶端位置，因此，可以通过连接转换器130将设置在机器人200本体内部的控制芯片210与设置在机器人200本体顶端位置的深度摄像头120连接起来，以便于控制芯片210获取深度摄像头120获取的图像。

可以理解地，连接转换器130包括多个连接口，以便于安装其他外接感知设备，例如，若用户需要该机器人视觉装置100除了可以获取深度图像之外，还可以获取红外热成像图像，则可以在连接转换器130上的其中一个连接口连接上深度摄像头120后，在另一个连接口连接红外热成像设备。连接转换器130包括多个连接口可以保证该机器人视觉装置100具备多种视觉成像功能，且用户可以根据其实际的需求选择可以选择与连接转换器130上的连接口匹配的其他设备。其中，其他设备还可以包括存储设备、光照设备等，此处对其他设备的种类不做限制。

作为一种实施方式，请参看图2，图2为本发明实施例提供的另一种机器人视觉装置100的结构示意图，云台110包括水平旋转台111以及垂直旋转台112。垂直旋转台112设置于水平旋转台111上，深度摄像头120设置于垂直旋转台112上。水平旋转台111可以进行水平方向的旋转，而垂直旋转台112可以进行垂直方向的旋转，垂直旋转台112设置在水平旋转台111上，从而使垂直旋转台112可以在水平旋转台111的带动下水平旋转，垂直旋转台112上设置有深度摄像头120，则该深度摄像头120可以在垂直旋转台112以及水平旋转台111同时旋转调整的带动下对不同范围的周边环境进行拍摄。

作为上述实施方式中的一种实施例，请参看图3，图3为本发明实施例提供的一种机器人视觉装置100的连接示意图，云台110还包括水平旋转电机113、垂直旋转电机114以及电机控制器115。水平旋转电机113，其与水平旋转台111连接，以用于带动水平旋转台111水平旋转。垂直旋转电机114，其与垂直旋转台112连接，以用于带动垂直旋转台112垂直旋转。电机控制器115，其与机器人200的控制芯片210连接，其还与水平旋转电机113以及垂直旋转电机114分别连接，以用于在控制芯片210的控制下控制水平旋转电机113以及垂直旋转电机114运转。

上述实现过程中，机器人视觉装置100的云台110可以向不同位置旋转，因此该云台110可以带动深度摄像头120进行全方位的旋转和拍摄，从而使得该机器人视觉装置100的可视范围变大，从而使安装有该机器人视觉装置100的机器人200可以在不走动的情况下及时的获取周边信息，继而保证该机器人200可以进行灵活的智能活动。

在本发明的一些实施例中，机器人视觉装置100还包括：无线通信模块，其与深度摄像头120以及机器人200的控制芯片210分别电连接，且其还与远程终端无线连接，以用于将深度摄像头120获取的图像信息发送至远程终端，还用于获取远程终端发送的控制指令并发送至控制芯片210。

该远程终端可以是手机、电脑、手持设备等移动终端，该远程终端可以通过无线通信模块与深度摄像头120以及控制芯片210之间建立无线连接，详细地，深度摄像头120拍摄所获取的图像信息可以通过无线通信模块发送至远程终端，用户则可以在远程终端上对该深度摄像头120拍摄所获取的图像进行查看。此外，用户在远程终端上查看到图像后，可以通过与远程终端连接的输入输出设备进行控制操作，远程终端将用户进行的控制操作对应的控制指令发送至控制芯片210，继而使得控制芯片210控制机器人200根据用户的控制操作进行响应，以保证用户可以对该机器人200进行人工控制。

无线通信模块包括GPRS模块和/或蓝牙模块。GPRS模块数据传输速度较快，还可以保证稳定地进行大容量的高质量音频与视频文件传输，且没有距离限制。蓝牙模块在可以在一定程度上保证数据传输的安全性。因此，机器人视觉装置100中的无线通信模块可以根据用户不同的需求选择GPRS模块或蓝牙模块中的任意一个，机器人视觉装置100中的无线通信模块还可以选择GPRS模块和蓝牙模块，并在不同的应用场景做出转换，如，用户需要保证数据传输范围广，则可以选择GPRS模块工作模式，若用户需要保证数据传输的安全性，则可以选择蓝牙模块工作模式。

其中，控制芯片210还机器人视觉装置100中云台110中的电机控制器115连接，因此，用户不仅可以通过控制芯片210对机器人200进行控制，还可以对机器人视觉装置100进行控制，详细地，若机器人视觉装置100目前拍摄的角度为第一角度，用户根据机器人200所在现场，需要查看第二角度的情况，因此，用户可以通过远程终端发送拍摄第二角度的指令至控制芯片210，控制芯片210再将该指令发送至电机控制器115，以使电机控制器115再控制水平旋转电机113或垂直旋转电机114进行运转，从而可以控制云台110带动深度摄像头120旋转至第二角度进行拍摄。

请参看图4，图4为本发明实施例提供的一种机器人200的连接示意图结构示意图，本申请实施例提供一种机器人200，包括控制芯片210以及机器人视觉装置100。控制芯片210与机器人视觉装置100连接，以用于获取机器人视觉装置100获取的图像信息，并根据图像信息生成控制指令，以使机器人200根据控制指令行走。

在本发明的一些实施例中，机器人200还包括行走装置220，行走装置220与控制芯片210连接，以用于接收控制芯片210生成的控制指令，在控制芯片210的控制下进行行走操作。

控制芯片210中可以采用识别算法对深度摄像头120拍摄获取的图像信息进行识别，当识别出其中目标后则可以再采用跟踪算法生成跟踪控制指令，以控制机器人200的行走装置220进行跟踪行走。详细地，控制芯片210先获取特定目标物以及当前待检测图像信息，其中，当机器人200启动后，机器人200上设置的深度摄像头120等视觉感知装置会获取该机器人200周边的环境，并获取当前待检测图像信息，而特定目标物的获取可以采用人工输入的方式进行获取。然后控制芯片210将待检测图像信息输入至预先训练好的深度学习模型中，并根据深度学习模型从当前待检测图像信息中识别出追踪目标物，最终控制芯片210可以采用追踪算法对追踪目标物在当前待检测图像的下一帧图像中的位置进行追踪，并生成追踪控制指令机器人200中的运动模块，运动模块响应后该机器人200则可以实现自动追踪，其中，追踪算法可以是相关滤波法、均值漂移算法、运动目标建模法等。例如，可以采用相关滤波法中的KCF算法。深度学习模型能够对数据内在的规律和表示层次进行学习，并对人类的思维进行模仿，可以对目标进行准确的识别。通过训练样本集对深度学习模型进行训练，使该深度学习模型具有数据分析的能力，保证的对目标进行识别的准确性。再通过测试样本集对训练后的深度学习模型进行测试和修正，进一步保证深度学习模型识别结果的准确性。

作为其中的一种实施方式，可以基于ROS下应用深度相机的KCF追踪算法实现机器人200的追踪动作。启动ROS环境后，打开深度相机的节点，并发出可播放深度图像和rgb图像的topic，查看ROS的topic列表中是否有深度图像和rgb图像的topic，然后进行编译，编译完成后启动追踪程序。追踪程序启动后，用户可以在图像窗口内通过输入设备框选所要跟踪的目标，并对速度进行规划，例如，可以设置的参数包括与目标之间的最小距离、与目标之间的最大距离、最小直线速度、最大直线速度、最小转旋转度以及最大旋转速度。如，当目标距离机器人200之间的距离为1.5m时开始跟踪，初始速度为0.4m/s，速度随着距离的增大而增加，当目标与机器人200之间的距离达到设定的最大距离5m时，速度可能会增加到最大直线速度0.6m/s。若机器人200最初的旋转速度为0，当目标与相机中心点之间的角度逐渐增大时，机器人200的旋转速度会随之增加，最大旋转速度为0.75rad/s。

在本发明的一些实施例中，行走装置220包括：底盘控制系统、编码器以及电机。底盘控制系统与控制芯片210连接，底盘控制系统还与编码器连接，编码器与电机连接。底盘控制系统用于接收控制芯片210生成的控制指令，并根据控制指令向编码器发送控制编码；编码器根据控制编码控制电机运转。

综上所述，本申请实施例提供的一种机器人视觉装置100及机器人200，机器人200包括控制芯片210以及机器人视觉装置100。控制芯片210与机器人视觉装置100连接，以用于获取机器人视觉装置100获取的图像信息，并根据图像信息生成控制指令，以使机器人200根据控制指令行走。机器人视觉装置100包括：云台110以及深度摄像头120。云台110，其与深度摄像头120连接，以用于带动深度摄像头120转动。深度摄像头120，用于获取图像信息。机器人视觉装置100的云台110可以向不同位置旋转，因此该云台110可以带动深度摄像头120进行全方位的旋转和拍摄，从而使得该机器人视觉装置100的可视范围变大，从而使安装有该机器人视觉装置100的机器人200可以在不走动的情况下及时的获取周边信息，继而保证该机器人200可以进行灵活的智能活动。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种机器人视觉装置，其特征在于，所述机器人视觉装置包括：云台以及深度摄像头；

所述云台，其与所述深度摄像头连接，以用于带动所述深度摄像头转动；

所述深度摄像头，用于获取图像信息。

2.如权利要求1所述的机器人视觉装置，其特征在于，所述云台包括水平旋转台以及垂直旋转台；

所述垂直旋转台设置于所述水平旋转台上，所述深度摄像头设置于所述垂直旋转台上。

3.如权利要求2所述的机器人视觉装置，其特征在于，所述云台还包括水平旋转电机、垂直旋转电机以及电机控制器；

所述水平旋转电机，其与所述水平旋转台连接，以用于带动所述水平旋转台水平旋转；

所述垂直旋转电机，其与所述垂直旋转台连接，以用于带动所述垂直旋转台垂直旋转；

所述电机控制器，其与机器人的控制芯片连接，其还与所述水平旋转电机以及所述垂直旋转电机分别连接，以用于在所述控制芯片的控制下控制所述水平旋转电机以及所述垂直旋转电机运转。

4.如权利要求1所述的机器人视觉装置，其特征在于，所述机器人视觉装置还包括：连接转换器，其固定设置于所述云台上；

所述连接转换器与机器人的控制芯片电连接；

所述深度摄像头与所述连接转换器连接，所述深度摄像头通过所述连接转换器与所述控制芯片连接。

5.如权利要求4所述的机器人视觉装置，其特征在于，所述连接转换器包括多个连接口。

6.如权利要求1所述的机器人视觉装置，其特征在于，所述机器人视觉装置还包括：

无线通信模块，其与所述深度摄像头以及机器人的控制芯片分别电连接，且其还与远程终端无线连接，以用于将所述深度摄像头获取的图像信息发送至所述远程终端，还用于获取所述远程终端发送的控制指令并发送至所述控制芯片。

7.如权利要求6所述的机器人视觉装置，其特征在于，所述无线通信模块包括GPRS模块和/或蓝牙模块。

8.一种机器人，其特征在于，包括控制芯片以及权利要求1-5任意一项所述的机器人视觉装置；

所述控制芯片与所述机器人视觉装置连接，以用于获取所述机器人视觉装置获取的图像信息，并根据所述图像信息生成控制指令，以使所述机器人根据所述控制指令行走。

9.如权利要求8所述的机器人，其特征在于，所述机器人还包括行走装置，所述行走装置与所述控制芯片连接，以用于接收所述控制芯片生成的控制指令，在所述控制芯片的控制下进行行走操作。

10.如权利要求9所述的机器人，其特征在于，所述行走装置包括：底盘控制系统、编码器以及电机；

所述底盘控制系统与所述控制芯片连接，所述底盘控制系统还与所述编码器连接，所述编码器与所述电机连接；

所述底盘控制系统用于接收所述控制芯片生成的控制指令，并根据所述控制指令向所述编码器发送控制编码；所述编码器根据所述控制编码控制所述电机运转。

Images