CN110274599A - 一种基于多深度摄像头的移动机器人室内定位系统及方法 - Google Patents

Abstract

本发明涉及移动机器人室内定位技术领域，具体地说，涉及一种基于多深度摄像头的移动机器人室内定位系统及方法。该系统包括中心控制单元和机器人控制单元，中心控制单元用于对机器人的位置进行定位并发送给机器人控制单元，机器人控制单元用于根据中心控制单元所发送的定位信息控制机器人动作。该方法基于该系统实现。本发明能够较佳地实现对移动机器人的室内定位。

Description

一种基于多深度摄像头的移动机器人室内定位系统及方法

技术领域

本发明涉及移动机器人室内定位技术领域，具体地说，涉及一种基于多深度摄像头的移动机器人室内定位系统及方法。

背景技术

定位技术是移动机器人研究中的一项关键技术，对于一个自主的机器人系统，精确的空间定位是其实现自主导航的前提，目前有很多方法可以得到机器人的位置信息，主要分为以下两类：①通过码盘、电子陀螺仪、加速度计等传感器记录机器人自己的移动过程，通过累计计算当前时刻的位置；②通过雷达、激光测距仪、图像匹配等确定机器人与环境的相对位置进而获得自己的位置信息。现有的移动机器人定位技术，通常会存在较大的盲区，且系统搭建较为复杂。

发明内容

本发明提供了一种基于多深度摄像头的移动机器人室内定位系统，其能够克服现有技术的某种或某些缺陷。

根据本发明的一种基于多深度摄像头的移动机器人室内定位系统，其包括中心控制单元和机器人控制单元，中心控制单元用于对机器人的位置进行定位并发送给机器人控制单元，机器人控制单元用于根据中心控制单元所发送的定位信息控制机器人动作；

中心控制单元包括设于室内的多个摄像机、摄像机控制器、识别模板库、位置解算模块、第一主控模块和第一通信模块，所述多个摄像机均用于对室内环境进行拍摄，摄像机控制器用于接收并处理所述多个摄像机拍摄的图片信息，识别模板库用于存储在不同角度下对机器人拍摄的多张照片，位置解算模块用于实现摄像机坐标系与室内坐标系间的变换，第一主控模块用于自摄像机控制器处接收所述多个摄像机所拍摄的图片信息并与识别模板库进行匹配识别、以及用于在识别到机器人时通过位置解算模块获取机器人在室内坐标系中的坐标信息，第一通信模块用于实现第一主控模块与机器人控制单元间的数据传输；

机器人控制单元包括第二通信单元、第二主控单元、驱动模块和执行模块，第二通信单元用于与第一通信模块进行配合，第二主控单元用于根据所接收的机器人在室内坐标系中的坐标信息对驱动模块进行控制，驱动模块用于根据第二主控单元的控制指令对执行模块进行控制，执行模块用于实现机器人的运动。

通过本发明的定位系统，使得只要有一个摄像机拍摄到机器人，就可以将其在全局世界坐标系中的位置计算出来，从而能够较佳地实现对移动机器人的室内定位，使得盲区较小且能够系统布置较为简单。

作为优选，摄像机包括RGB摄像头和深度摄像头。通过RGB摄像头能够较佳地获取移动机器人的RGB图像，从而便于与识别模板库进行匹配识别，通过深度摄像头能够较佳地建立摄像机坐标系与室内坐标系间的联系，而RGB摄像头坐标系与深度摄像头坐标系间的联系能够通过对相机的标定获取，故能够较佳地通过所拍摄的RGB图像获取移动机器人在室内坐标系中的位置。

作为优选，执行模块包括电机。而能够较佳地对移动机器人的运动进行控制。

基于上述任一系统，本发明还提供了一种基于多深度摄像头的移动机器人室内定位方法，其包括以下步骤：

S1、在室内无死角地设置多个摄像机，并以每个摄像机为基准建立相应的摄像机坐标系、以室内的任一点为基准建立室内坐标系，之后对所述多个摄像机依次进行标定，并获取每个摄像机坐标系与室内坐标系之间的位置变换矩阵Tn，n＝1，2，3，……，N；

并将位置变换矩阵Tn存储在一位置解算模块处，以供调用；

S2、采集自不同角度所拍摄的机器人的图片以形成识别集并存储于一识别模板库中，以供调用；

S3、所述多个摄像机中的任一在有物体进入拍摄范围时均对其进行拍摄并通过一摄像机控制器发送给一第一主控模块，第一主控模块在接收到摄像机控制器所发送的图片信息时首先将所接收的图片信息与识别模板库中的识别集进行匹配，并在匹配成功时第一主控模块控制位置解算模块首先根据图片信息获取机器人在相应摄像机坐标系中的三维坐标、之后根据对应的位置变换矩阵Tn获取机器人在室内坐标系中的三维坐标并发送给机器人处的机器人控制单元；

S4、机器人控制单元处通过一第二主控模块根据所接收的机器人在室内坐标系中的三维坐标，对一驱动模块进行控制，驱动模块用于驱动一执行模块，执行模块用于实现机器人的运动。

通过步骤S1-S4，能够较佳地实现对移动机器人的室内定位。

作为优选，摄像机包括RGB摄像头和深度摄像头，摄像机坐标系包括RGB摄像头坐标系和深度摄像头坐标系，步骤S1中的标定包括RGB摄像头坐标系与深度摄像头坐标系之间的位置变换矩阵Tr，r＝1、2、3、……、N，的获取以及深度摄像头坐标系与室内坐标系之间的位置变换矩阵Tn的获取；

步骤S3中，在获取位置解算模块在对图片信息进行处理时，首先提取机器人在RGB摄像头所拍摄的RGB图像中的像素点位置，之后通过位置变换矩阵Tr，获取机器人在深度摄像头所拍摄的深度图像的中的三维坐标，最后通过位置变换矩阵Tn获取机器人在室内坐标系中的三维坐标。

从而能够较佳地根据所拍摄的RGB图像，获取移动机器人在室内坐标系中的位置，且能够较佳地便于所拍摄的RGB图像与识别模板库进行匹配识别。

作为优选，步骤S2中，自不同角度所拍摄的机器人的图片均为RGB图片。从而能够较佳地便于对移动机器人的识别。

作为优选，步骤S3中，在数量超过1的摄像机同时拍摄到机器人时，采用所有处理结果的均值作为机器人在室内坐标系中的三维坐标。从而能够较佳地提升定位精度。

附图说明

图1为实施例1中的移动机器人室内定位系统的框图示意图；

图2为实施例2中的摄像头支架的示意图；

图3为实施例2中的旋转组件的示意图；

图4为实施例2中的第一组件的示意图；

图5为实施例2中的第二组件的示意图；

图6为实施例2中的第一滑杆的示意图；

图7为实施例2中的第二滑杆的示意图；

图8为实施例2中的摄像机安装杆的示意图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。

实施例1

如图1所示，本实施例提供了一种基于多深度摄像头的移动机器人室内定位系统，其包括中心控制单元和机器人控制单元，中心控制单元用于对机器人的位置进行定位并发送给机器人控制单元，机器人控制单元用于根据中心控制单元所发送的定位信息控制机器人动作；

中心控制单元包括设于室内的多个摄像机、摄像机控制器、识别模板库、位置解算模块、第一主控模块和第一通信模块，所述多个摄像机均用于对室内环境进行拍摄，摄像机控制器用于接收并处理所述多个摄像机拍摄的图片信息，识别模板库用于存储在不同角度下对机器人拍摄的多张照片，位置解算模块用于实现摄像机坐标系与室内坐标系间的变换，第一主控模块用于自摄像机控制器处接收所述多个摄像机所拍摄的图片信息并与识别模板库进行匹配识别、以及用于在识别到机器人时通过位置解算模块获取机器人在室内坐标系中的坐标信息，第一通信模块用于实现第一主控模块与机器人控制单元间的数据传输；

机器人控制单元包括第二通信单元、第二主控单元、驱动模块和执行模块，第二通信单元用于与第一通信模块进行配合，第二主控单元用于根据所接收的机器人在室内坐标系中的坐标信息对驱动模块进行控制，驱动模块用于根据第二主控单元的控制指令对执行模块进行控制，执行模块用于实现机器人的运动。

通过本实施例的定位系统，使得只要有一个摄像机拍摄到机器人，就可以将其在全局世界坐标系中的位置计算出来，从而能够较佳地实现对移动机器人的室内定位。

其中，在多个摄像机均拍摄到移动机器人时，根据每个摄像机拍摄到的图像均能够计算出一个移动机器人的位置，理论上计算出的多个位置应该是相同的，但实际情况下由于标定误差和识别精度误差等原因，会使得每个摄像机定位出来的结果存在一定的偏差，故本实施例中将多个摄像头定位的结果取平均值作为移动机器人的最终位置。

作为优选，摄像机包括RGB摄像头和深度摄像头。通过RGB摄像头能够较佳地获取移动机器人的RGB图像，从而便于与识别模板库进行匹配识别，通过深度摄像头能够较佳地建立摄像机坐标系与室内坐标系间的联系，而RGB摄像头坐标系与深度摄像头坐标系间的联系能够通过对相机的标定获取，故能够较佳地通过所拍摄的RGB图像获取移动机器人在室内坐标系中的位置。

本实施例中，执行模块包括电机。从而能够较佳地对移动机器人的运动进行控制。

基于本实施例的定位系统，本实施例还提供了一种基于多深度摄像头的移动机器人室内定位方法，其包括以下步骤：

S1、在室内无死角地设置多个摄像机，并以每个摄像机为基准建立相应的摄像机坐标系、以室内的任一点为基准建立室内坐标系，之后对所述多个摄像机依次进行标定，并获取每个摄像机坐标系与室内坐标系之间的位置变换矩阵Tn，n＝1，2，3，……，N；

并将位置变换矩阵Tn存储在一位置解算模块处，以供调用；

S2、采集自不同角度所拍摄的机器人的图片以形成识别集并存储于一识别模板库中，以供调用；

S3、所述多个摄像机中的任一在有物体进入拍摄范围时均对其进行拍摄并通过一摄像机控制器发送给一第一主控模块，第一主控模块在接收到摄像机控制器所发送的图片信息时首先将所接收的图片信息与识别模板库中的识别集进行匹配，并在匹配成功时第一主控模块控制位置解算模块首先根据图片信息获取机器人在相应摄像机坐标系中的三维坐标、之后根据对应的位置变换矩阵Tn获取机器人在室内坐标系中的三维坐标并发送给机器人处的机器人控制单元；

S4、机器人控制单元处通过一第二主控模块根据所接收的机器人在室内坐标系中的三维坐标，对一驱动模块进行控制，驱动模块用于驱动一执行模块，执行模块用于实现机器人的运动。

通过步骤S1-S4，能够较佳地实现对移动机器人的室内定位。

本实施例中，摄像机包括RGB摄像头和深度摄像头，摄像机坐标系包括RGB摄像头坐标系和深度摄像头坐标系，步骤S1中的标定包括RGB摄像头坐标系与深度摄像头坐标系之间的位置变换矩阵Tr，r＝1、2、3、……、N，的获取以及深度摄像头坐标系与室内坐标系之间的位置变换矩阵Tn的获取；

步骤S3中，在获取位置解算模块在对图片信息进行处理时，首先提取机器人在RGB摄像头所拍摄的RGB图像中的像素点位置，之后通过位置变换矩阵Tr，获取机器人在深度摄像头所拍摄的深度图像的中的三维坐标，最后通过位置变换矩阵Tn获取机器人在室内坐标系中的三维坐标。

从而能够较佳地根据所拍摄的RGB图像，获取移动机器人在室内坐标系中的位置，且能够较佳地便于所拍摄的RGB图像与识别模板库进行匹配识别。

本实施例中，步骤S2中，自不同角度所拍摄的机器人的图片均为RGB图片。从而能够较佳地便于对移动机器人的识别。

本实施例中，步骤S3中，在数量超过1的摄像机同时拍摄到机器人时，采用所有处理结果的均值作为机器人在室内坐标系中的三维坐标。从而能够较佳地提升定位精度。

本实施例中，解算模块所采用的算法能够采用现有的位姿转换算法，识别模板库所采用的的识别算法能够采用现有的图片匹配算法。

实施例2

如图2-8所示，本实施例提供了一种摄像头支架，其能够较佳地用于对实施例1中的摄像机进行安装固定，且其能够较佳地实现对安装后摄像机的位置进行调节，从而能够较佳地便于对摄像机的摄像范围进行调试，从而便于实现对室内无死角的监控。

结合图2所示，为本实施例中的摄像头支架的示意图。其包括支架本体100，支架本体100包括用于安装于墙面处的第一滑杆110，第一滑杆110处可滑动地设有旋转组件120；旋转组件120处可滑动地设有第二滑杆130，旋转组件120用于实现第一滑杆110与第二滑杆130间的相对转动；第二滑杆130处设有托盘140，托盘140处铰接有摄像机安装杆150，摄像机安装杆150用于实现摄像机的安装。

本实施例中，通过第一滑杆110与旋转组件120滑动配合，使得摄像机安装杆150能够较佳地带动其上安装的摄像机沿第一滑杆110的长度方向进行整体的位置移动；通过第二滑杆130与旋转组件120滑动配合，使得摄像机安装杆150能够较佳地带动其上安装的摄像机沿第二滑杆130的长度方向进行整体的位置移动；从而能够较佳地在摄像机安装完成后，对摄像机的空间位置进行整体微调，从而能够较佳地对摄像机的摄像区域进行调整。另外，通过旋转组件120的设置，使得摄像机安装杆150能够较佳地带动其上安装的摄像机在竖直面上进行角度调节，从而能够较佳地对摄像机的摄像区域进行调整。同时，通过托盘140的设置，使得摄像机安装杆150能够较佳地带动其上安装的摄像机在水平面上进行角度调节，从而能够较佳地对摄像机的摄像区域进行调整。

通过本实施例中的摄像头支架，使得其在安装完成后，也能够较大范围的对摄像机的位置进行多方位调节，进而能够较佳地对摄像机的摄像范围进行较大幅度的调整，便于获取最佳摄像区域。

结合图3所示，为本实施例中的旋转组件120的结构示意图。其中，旋转组件120包括用于与第一滑杆110滑动配合的第一组件210和用于与第二滑杆130滑动配合的第二组件220，第一组件210和第二组件220可相对转动地连接；第二组件220两侧处均设有扇形板221，扇形板221处设有第一扇形槽222；第一组件210对应第一扇形槽222处设有第一定位柱211，第一定位柱211与第一扇形槽222可滑动配合，第一定位柱211伸出第一扇形槽222后与一第一紧固螺母螺纹配合。

本实施例中，通过第一扇形槽222与第一定位柱211的配合，使得旋转组件120在调节至所需位置时，能够通过拧紧第一紧固螺母实现第一组件210和第二组件220间的相对固定，从而能够较佳地实现对旋转组件120旋转角度的调节和定位。

本发明的另一个较佳实施例中，能够采用一螺栓替代第一定位柱211和第一紧固螺母，通过构造螺栓与第一组件210螺纹配合也能够较佳地实现对旋转组件120旋转角度的调节和定位。

结合图4和5所示，第一组件210处设有轴承安装柱310，第二组件220处设有轴承安装槽410，轴承安装柱310与轴承安装槽410通过一第一轴承320进行连接。从而能够较佳地实现第一组件210和第二组件220间的可转动连接。

结合图6和7所示，第一组件210处设有用于与第一滑杆110配合的第一U形槽213，第二组件220处设有用于与第二滑杆130配合的第二U形槽223；第一滑杆110对应第一U形槽213两侧侧壁的侧壁处沿长度方向设有第一滑槽111，第二滑杆130对应第二U形槽223两侧侧壁的侧壁处沿长度方向设有第二滑槽131；

第一滑槽111内可滑动地设有第一滑块510，第一滑块510处设有第二定位柱511，第一组件210对应第二定位柱511处设有第一配合通孔213，第二定位柱511伸出第一配合通孔213后与一第二紧固螺母螺纹配合；

第二滑槽131内可滑动地设有第二滑块610，第二滑块610处设有第三定位柱611，第二组件220对应第三定位柱611处设有第二配合通孔224，第三定位柱611伸出第二配合通孔224后与一第三紧固螺母螺纹配合。

本实施例中，通过第一滑槽111和第一滑块510的配合，能够较佳地实现第一滑杆110与旋转组件120的滑动配合；通过第二滑槽131与第二滑块610的配合，能够较佳地实现第二滑杆130与旋转组件120的滑动配合。

本实施例中，通过第二定位柱511与第一配合通孔213的配合，使得能够通过松开第二紧固螺母实现对第一滑杆110与旋转组件120相对位置的调节、能够通过拧紧第二紧固螺母实现对第一滑杆110与旋转组件120相对位置的定位，从而能够较佳地实现对第一滑杆110与旋转组件120相对位置的调节和定位。

本发明的另一个较佳实施例中，能够采用一螺栓替代第二定位柱511和第二紧固螺母，通过构造螺栓与第一滑块510螺纹配合也能够较佳地实现对第一滑杆110与旋转组件120相对位置的调节和定位。

本实施例中，通过第三定位柱611与第二配合通孔224的配合，使得能够通过松开第三紧固螺母实现对第二滑杆130与旋转组件120相对位置的调节、能够通过拧紧第三紧固螺母实现对第二滑杆130与旋转组件120相对位置的定位，从而能够较佳地实现对第二滑杆130与旋转组件120相对位置的调节和定位。

本发明的另一个较佳实施例中，能够采用一螺栓替代第三定位柱611与第三紧固螺母，通过构造螺栓与第二滑块610螺纹配合也能够较佳地实现对第二滑杆130与旋转组件120相对位置的调节和定位。

本实施例中，第一滑块510与第一滑槽111的配合面，以及第二滑块610与第二滑槽131的配合面，均为楔形面。从而能够较佳地提升定位时的摩擦力，进而能够较佳地提升定位的牢固性。

结合图8所示，托盘140处设有铰接轴141，摄像机安装杆150处设有用于与铰接轴141配合的铰接孔710，铰接孔710与铰接轴141间通过第二轴承连接；托盘140处设有第二扇形槽142，摄像机安装杆150对应第二扇形槽142处相配合地设有第四定位柱151，第四定位柱151伸出第二扇形槽142后与一第四紧固螺母螺纹配合。

本实施例中，通过铰接孔710与铰接轴141的配合，能够较佳地实现摄像机安装杆150相对托盘140的转动。

本实施例中，通过第二扇形槽142与第四定位柱151的配合，能够较佳地通过松开和拧紧第四紧固螺母实现对摄像机安装杆150的位置调节和位置锁定。

本发明的另一个较佳实施例中，能够采用一螺栓替代第四定位柱151和第四紧固螺母，通过构造螺栓与摄像机安装杆150螺纹配合也能够较佳地实现对摄像机安装杆150相对托盘140位置的位置调节和位置锁定。

本实施例中，第一滑杆110两端均设有安装座112，安装座112处设有安装孔113。从而能够较佳地通过如膨胀螺栓、钉子等连接件将第一滑杆110固定于墙面处。

本实施例中，第一紧固螺母、第二紧固螺母、第三紧固螺母和第四紧固螺母均为蝶形螺母。从而能够较佳地便于使用者的调节。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (7)

1.一种基于多深度摄像头的移动机器人室内定位系统，其特征在于：包括中心控制单元和机器人控制单元，中心控制单元用于对机器人的位置进行定位并发送给机器人控制单元，机器人控制单元用于根据中心控制单元所发送的定位信息控制机器人动作；

中心控制单元包括设于室内的多个摄像机、摄像机控制器、识别模板库、位置解算模块、第一主控模块和第一通信模块，所述多个摄像机均用于对室内环境进行拍摄，摄像机控制器用于接收并处理所述多个摄像机拍摄的图片信息，识别模板库用于存储在不同角度下对机器人拍摄的多张照片，位置解算模块用于实现摄像机坐标系与室内坐标系间的变换，第一主控模块用于自摄像机控制器处接收所述多个摄像机所拍摄的图片信息并与识别模板库进行匹配识别、以及用于在识别到机器人时通过位置解算模块获取机器人在室内坐标系中的坐标信息，第一通信模块用于实现第一主控模块与机器人控制单元间的数据传输；

机器人控制单元包括第二通信单元、第二主控单元、驱动模块和执行模块，第二通信单元用于与第一通信模块进行配合，第二主控单元用于根据所接收的机器人在室内坐标系中的坐标信息对驱动模块进行控制，驱动模块用于根据第二主控单元的控制指令对执行模块进行控制，执行模块用于实现机器人的运动。

2.根据权利要求1所述的一种基于多深度摄像头的移动机器人室内定位系统，其特征在于：摄像机包括RGB摄像头和深度摄像头。

3.根据权利要求1所述的一种基于多深度摄像头的移动机器人室内定位系统，其特征在于：执行模块包括电机。

4.一种基于多深度摄像头的移动机器人室内定位方法，其包括以下步骤：

S1、在室内无死角地设置多个摄像机，并以每个摄像机为基准建立相应的摄像机坐标系、以室内的任一点为基准建立室内坐标系，之后对所述多个摄像机依次进行标定，并获取每个摄像机坐标系与室内坐标系之间的位置变换矩阵Tn，n＝1，2，3，……，N；

并将位置变换矩阵Tn存储在一位置解算模块处，以供调用；

S2、采集自不同角度所拍摄的机器人的图片以形成识别集并存储于一识别模板库中，以供调用；

S3、所述多个摄像机中的任一在有物体进入拍摄范围时均对其进行拍摄并通过一摄像机控制器发送给一第一主控模块，第一主控模块在接收到摄像机控制器所发送的图片信息时首先将所接收的图片信息与识别模板库中的识别集进行匹配，并在匹配成功时第一主控模块控制位置解算模块首先根据图片信息获取机器人在相应摄像机坐标系中的三维坐标、之后根据对应的位置变换矩阵Tn获取机器人在室内坐标系中的三维坐标并发送给机器人处的机器人控制单元；

S4、机器人控制单元处通过一第二主控模块根据所接收的机器人在室内坐标系中的三维坐标，对一驱动模块进行控制，驱动模块用于驱动一执行模块，执行模块用于实现机器人的运动。

5.根据权利要求4所述的一种基于多深度摄像头的移动机器人室内定位方法，其特征在于：摄像机包括RGB摄像头和深度摄像头，摄像机坐标系包括RGB摄像头坐标系和深度摄像头坐标系，步骤S1中的标定包括RGB摄像头坐标系与深度摄像头坐标系之间的位置变换矩阵Tr，r＝1、2、3、……、N，的获取以及深度摄像头坐标系与室内坐标系之间的位置变换矩阵Tn的获取；

步骤S3中，在获取位置解算模块在对图片信息进行处理时，首先提取机器人在RGB摄像头所拍摄的RGB图像中的像素点位置，之后通过位置变换矩阵Tr，获取机器人在深度摄像头所拍摄的深度图像的中的三维坐标，最后通过位置变换矩阵Tn获取机器人在室内坐标系中的三维坐标。

6.根据权利要求5所述的一种基于多深度摄像头的移动机器人室内定位方法，其特征在于：步骤S2中，自不同角度所拍摄的机器人的图片均为RGB图片。

7.根据权利要求4所述的一种基于多深度摄像头的移动机器人室内定位方法，其特征在于：步骤S3中，在数量超过1的摄像机同时拍摄到机器人时，采用所有处理结果的均值作为机器人在室内坐标系中的三维坐标。