CN110919644B - 一种利用摄像头设备和机器人进行定位交互的方法及系统 - Google Patents

Abstract

一种利用摄像头设备和机器人进行定位交互的方法及系统，属于机器人技术领域。采用视觉定位和建图(SLAM)的方法运用到家用或者室内商用清洁机器人中，实现空间定位和导航；机器人本体搭载视觉系统能够采用单目或者双目系统，使用手机的前置或者后置摄像头对需要定点的区域进行拍照，采用空间中特征匹配的方式计算出目前摄像头对应的空间位置，机器人收到定位的空间位置后，导航到需要工作的空间位置。本发明实现了人(通过摄像头设备，具体例如带摄像头的手机)和机器人设备的自然交互，不用通过人工的估计或者人为的搬动机器人就能把所需定位的空间位置传递到机器人中，提高了人和机器人(或者设备与机器人)交互的效率和准确性。

Description

一种利用摄像头设备和机器人进行定位交互的方法及系统

技术领域

本发明涉及一种利用摄像头设备和机器人进行定位交互的方法及系统，属于机器人技术领域。

背景技术

随着用于个人或商业用途的自动装置(即机器人设备)的广泛使用，对于机器人的效率，智能化的要求越来越高，如对于自主行走机器人来说，要求准确快速定位到具体的作业空间位置。目前基于视觉SLAM的自主行走机器人能够在室内的场景工作良好，但是人和机器人的交互还不够自然。例如对于家用清洁机器人，如果希望在家庭中某地点进行定点清扫，一种方法是把机器人手工搬到需要清扫的地点，一种方法是用手机(或其他遥控器)指挥清洁机器人到达地图中地址(如果有2D地图)，但是具体的清洁位置很难在地图中精确定位，只能人工预估，准确性不能保证，另外操作中不够方便和自然。

发明内容

为了克服现有技术的不足,本发明提供一种利用摄像头设备和机器人进行定位交互的方法及系统。

本发明提出了一种运用摄像头设备(例如手机的摄像头)来和机器人交互，给机器人定位的一种方法。

一种利用摄像头设备和机器人进行定位交互的方法，包括如下步骤；采用视觉定位和建图(SLAM)的方法运用到家用或者室内商用清洁机器人中，实现空间定位和导航；机器人本体搭载视觉系统能够采用单目或者双目系统，使用手机的前置或者后置摄像头对需要定点的区域进行拍照，采用空间中特征匹配的方式计算出目前摄像头对应的空间位置，机器人收到定位的空间位置后，导航到需要工作的空间位置。

还包括如下步骤；

步骤1、家用清洁机器人，用手机拍摄需要清扫的位置，指挥清洁机器人过来清扫；

步骤2、家用清洁机器人采用VSLAM的方式进行空间地图构建和导航；

步骤3、摄像头置于清洁机器人顶部，拍摄天花板和周围的场景进行地图构建和定位。

机器人本体包含图像传感器、视觉SLAM计算单元和视觉特征地图的存储单元；

在VSLAM计算中采用SIFT特征点作为建图的模式特征；

提取原始图片上的SIFT特征(也可以采用SURF特征，ORB特征，或者其他视觉特征)；

清洁机器人在家庭环境中工作并形成家庭环境的VSLAM特征地图；

特征地图存储在机器人本体的存储器中；当用户希望和机器人进行空间位置信息的交互时，清洁机器人到当前位置进行清扫。

还包括如下步骤；机器人上搭载的图像传感器将视觉图像传给视觉SLAM计算单元，视觉SLAM计算单元将视觉特征传给视觉特征地图存储单元，独立的摄像头将视觉图像传给特征模式计算单元，特征模式计算单元将视觉特征传给模式对比计算单元，其他辅助信息源单元将信息传给模式对比计算单元，视觉特征地图存储单元将视觉地图信息传给模式对比计算单元，传给模式对比计算单元将定位信息发给机器人。

一种利用摄像头设备和机器人进行定位交互系统，包括采用视觉SLAM机器人，独立的摄像头设备(带有摄像头的手机设备)，进行模式对比的计算单元；

采用视觉SLAM的机器人具体包含：

视觉传感器可以是单目或者是双目，产生视觉图像数据；

视觉SLAM计算模块接收视觉图像数据，并进行视觉特征提取，同时生成视觉特征的空间地图；

视觉特征地图的存储单元flash存储器；同时视觉地图的存储单元或者是云端的存储器，机器人把生产的视觉特征地图传递到云端保存；

独立摄像头设备包括：

和机器人本体分离的摄像头设备带有摄像头的手机设备，独立的摄像头产生图像数据；

图像特征模式计算单元接收独立摄像头采集图像产生的视觉特征信息和机器人视觉SLAM产生的视觉特征地图进行比较计算，产生空间的定位信息，此定位信息能够传递给机器人进行导航控制操作；

进行模式对比的计算单元或者接收其他辅助信息源产生的辅助信息和机器人视觉SLAM产生的视觉特征地图进行比较计算，产生空间的定位信息，此定位信息能够传递给机器人进行导航控制操作；

视觉特征指通过原始图像提取出的图像上具有某种可被识别的模式特征及点特征或者线特征SIFT特征集合、SURF特征集合、ORB特征集合及线特征集合，或者是几种特征的混合集合。

本发明的优点是解决了人和机器人，或者独立设备和机器人交换准确空间位置信息的难题，实现简单。

本发明实现了人(通过摄像头设备，具体例如带摄像头的手机)和机器人设备的自然交互，不用通过人工的估计或者人为的搬动机器人就能把所需定位的空间位置传递到机器人中，提高了人和机器人(或者设备与机器人)交互的效率和准确性。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，如图其中：

图1为本发明的步骤流程示意图。

图2为本发明的结构示意图。

图3为本发明的结构示意图。

图4为用户用带有前置摄像头的手机拍摄当前位置天花板的照片。

图5为拍摄出来的照片。

图6为用手机的计算资源计算出图像的视觉模式特征照片。

图7为进行图像的匹配照片。

下面结合附图和实施例对本发明进一步说明。

具体实施方式

显然，本领域技术人员基于本发明的宗旨所做的许多修改和变化属于本发明的保护范围。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当称元件、组件被“连接”到另一元件、组件时，它可以直接连接到其他元件或者组件，或者也可以存在中间元件或者组件。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与所属领域中的普通技术人员的一般理解相同的意义。

为便于对实施例的理解，下面将结合做进一步的解释说明，且各个实施例并不构成对本发明的限定。

实施例1：如图1、图2、图3、图4、图5、图6及图7所示，一种利用摄像头设备和机器人进行定位交互的方法，包括如下步骤；采用视觉定位和建图(SLAM)的方法运用到家用或者室内商用清洁机器人中，实现空间定位和导航；

机器人1本体搭载视觉系统能够采用单目或者双目系统，使用手机的前置或者后置摄像头2对需要定点的区域进行拍照，采用空间中特征匹配的方式计算出目前摄像头2对应的空间位置，机器人1收到定位的空间位置后，导航到需要工作的空间位置。

摄像头2连接在机器人1顶部或者侧面。

一种利用摄像头设备和机器人进行定位交互系统，包括采用视觉SLAM机器人，独立的摄像头设备(例如带有摄像头的手机设备)，进行模式对比的计算单元。

采用视觉SLAM的机器人具体包含：

1、视觉传感器可以是单目或者是双目，产生视觉图像数据；

2、视觉SLAM计算模块接收视觉图像数据，并进行视觉特征提取，同时生成视觉特征的空间地图；

3、视觉特征地图的存储单元：例如flash存储器；同时视觉地图的存储单元也可以是云端的存储器，机器人把生产的视觉特征地图传递到云端保存。

独立摄像头设备包括：

1、和机器人本体分离的摄像头设备：例如带有摄像头的手机设备等，独立的摄像头产生图像数据；

2、图像特征模式计算单元接收独立摄像头采集图像产生的视觉特征信息和机器人视觉SLAM产生的视觉特征地图进行比较计算，产生空间的定位信息，此定位信息可以传递给机器人进行导航控制等操作。

进行模式对比的计算单元或者接收其他辅助信息源产生的辅助信息和机器人视觉SLAM产生的视觉特征地图进行比较计算，产生空间的定位信息，此定位信息可以传递给机器人进行导航控制等操作。

视觉特征指通过原始图像提取出的图像上具有某种可被识别的模式特征，例如特殊的点特征或者线特征，具体例如SIFT特征集合，SURF特征集合，ORB特征集合，线特征集合，或者是几种特征的混合集合等。

一种利用摄像头设备和机器人进行定位交互系统，还包括其他辅助信息源；例如和独立摄像头固定在一起的惯性传感器，可以解算出当前摄像头的朝向信息。

其他的辅助信息有利于进行辅助计算，但是并不是必须的。

实施例2：如图1、图2、图3、图4、图5、图6及图7所示，一种利用摄像头设备和机器人进行定位交互的方法，包括如下步骤；

步骤1、家用清洁机器人，用手机拍摄需要清扫的位置，指挥清洁机器人过来清扫。

步骤2、家用清洁机器人采用VSLAM的方式进行空间地图构建和导航。

步骤3、摄像头置于清洁机器人顶部，拍摄天花板和周围的场景进行地图构建和定位。

机器人本体包含图像传感器、视觉SLAM计算单元和视觉特征地图的存储单元。

在VSLAM计算中采用SIFT特征点作为建图的模式特征。

提取原始图片上的SIFT特征(也可以采用SURF特征，ORB特征，或者其他视觉特征)如图7所示，图中用圆圈圈出了SIFT特征点的位置。

清洁机器人在家庭环境中工作并形成家庭环境的VSLAM特征地图。

特征地图存储在机器人本体的存储器中。当用户希望和机器人进行空间位置信息的交互时，例如希望清洁机器人到当前位置进行清扫。

如图1所示，一种利用摄像头设备和机器人进行定位交互的方法，还包括如下步骤；

机器人上搭载的图像传感器将视觉图像传给视觉SLAM计算单元，视觉SLAM计算单元将视觉特征传给视觉特征地图存储单元，独立的摄像头将视觉图像传给特征模式计算单元，特征模式计算单元将视觉特征传给模式对比计算单元，其他辅助信息源单元将信息传给模式对比计算单元，视觉特征地图存储单元将视觉地图信息传给模式对比计算单元，传给模式对比计算单元将定位信息发给机器人。

如图4所示,用户用带有前置摄像头的手机拍摄当前位置天花板的照片。

如图5所示,拍摄出来的照片。

如图6所示,用手机的计算资源计算出图像的视觉模式特征，也采用SIFT特征。

同时从手机中提取出惯性导航的手机姿态值作为辅助信息，因为手机的摄像头和手机是刚体固定的。手机的姿态值可以推算出拍摄图片时摄像头的姿态值。通过姿态值进行图片特征的姿态转换。

转换后的特征模式通过无线网络传输到机器人本体上。

机器人本体上的计算单元作为模式对比的计算单元进行模式对比计算。

如图7所示,进行图像的匹配，匹配可以分为以下四个步骤：

步骤1、提取检测子：在两张待匹配的图像中寻找那些最容易识别的像素点(角点)，比如纹理丰富的物体边缘点等。

步骤2、提取描述子：对于检测出的角点，用一些数学上的特征对其进行描述，如梯度直方图，局部随机二值特征等。

步骤3、匹配：通过各个角点的描述子来判断它们在两张图像中的对应关系。

步骤4、消噪：去除错误匹配的外点，保留正确的匹配点。

通过匹配得到的空间位置信息再传递给机器人，控制机器人到导航的目的地。

实施例3：如图1、图2、图3、图4、图5、图6及图7所示，一种利用摄像头设备和机器人进行定位交互的方法，还包括如下步骤；

在商场内的清洁机器人，采用VSLAM的建图和导航方式。如图3所示，摄像头朝前方，摄像头拍摄周围的场景进行SLAM的定位和构建地图。因为商场环境比较大，清洁机器人会把视觉地图数据上传到服务器中。

当某个商家希望清洁某个特定领域，只需要在特定领域周围环境的照片。照片会上传到服务器上，服务器来计算视觉特征。这样服务器的计算单元就是模式对比计算单元。服务器经过计算后，把计算得到的空间位置信息传递给机器人，机器人导航到目的地。

术语：

SLAM是同步定位与地图构建，是指根据传感器的信息，一边计算自身位置，一边构建环境地图的过程，解决在未知环境下运动时的定位与地图构建问题。VSLAM则更为高级，是基于视觉的定位与建图，中文也叫视觉SLAM，相当于装上眼睛，通过眼睛来完成定位和扫描，更加精准和迅速。参差不齐的SLAM技术有很多，推荐一微半导体的SLAM和VSLAM方案，已被陆续运用在各种机器人产品上，比如智能扫地机、陪伴机器人、娱乐机器人等，还有配套的SDK开发平台。

建图(SLAM)：即时定位与地图构建，或并发建图与定位运行全自主移动机器人。

SIFT(Scale-invariant feature transform)是一种检测局部特征的算法，该算法通过求一幅图中的特征点(interest points,or corner points)及其有关scale和orientation的描述子得到特征并进行图像特征点匹配。

如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。

Claims (1)

1.一种利用摄像头设备和机器人进行定位交互的方法，包括采用视觉SLAM机器人，独立的摄像头设备，进行模式对比的计算单元；

采用视觉SLAM的机器人具体包含：

视觉传感器可以是单目或者是双目，产生视觉图像数据；

视觉SLAM计算模块接收视觉图像数据，并进行视觉特征提取，同时生成视觉特征的空间地图；

视觉特征地图的存储单元是flash存储器或云端的存储器；机器人把生产的视觉特征地图传递到云端保存；

独立摄像头设备包括：

和机器人本体分离的摄像头设备，独立的摄像头产生图像数据；

图像特征模式计算单元接收独立摄像头采集图像产生的视觉特征信息和机器人视觉SLAM产生的视觉特征地图进行比较计算，产生空间的定位信息，此定位信息能够传递给机器人进行导航控制操作；

进行模式对比的计算单元或者接收其他辅助信息源产生的辅助信息和机器人视觉SLAM产生的视觉特征地图进行比较计算，产生空间的定位信息，此定位信息能够传递给机器人进行导航控制操作；

视觉特征指通过原始图像提取出的图像上具有某种可被识别的模式特征;

其特征在于包括如下步骤：采用视觉定位和建图SLAM的方法运用到家用或者室内商用清洁机器人中，实现空间定位和导航；机器人本体搭载视觉系统能够采用单目或者双目系统，使用手机的前置或者后置摄像头对需要定点的区域进行拍照，采用空间中特征匹配的方式计算出目前摄像头对应的空间位置，机器人收到定位的空间位置后，导航到需要工作的空间位置，

还包括如下步骤：

步骤1、家用清洁机器人，用手机拍摄需要清扫的位置，指挥清洁机器人过来清扫；

步骤2、家用清洁机器人采用VSLAM的方式进行空间地图构建和导航；

步骤3、摄像头置于清洁机器人顶部，拍摄天花板和周围的场景进行地图构建和定位；

机器人本体包含图像传感器、视觉SLAM计算单元和视觉特征地图的存储单元，摄像头连接在机器人顶部或者侧面，和独立摄像头固定在一起的惯性传感器，解算出当前摄像头的朝向信息；

在VSLAM计算中采用SIFT特征点，或者采用SURF特征，ORB特征及其他视觉特征作为建图的模式特征；

提取原始图片上的SIFT特征,或者采用SURF特征，ORB特征及其他视觉特征；

清洁机器人在家庭环境中工作并形成家庭环境的VSLAM特征地图；

特征地图存储在机器人本体的存储器中；当用户希望和机器人进行空间位置信息的交互时，清洁机器人到当前位置进行清扫；

还包括如下步骤：机器人上搭载的图像传感器将视觉图像传给视觉SLAM计算单元，视觉SLAM计算单元将视觉特征传给视觉特征地图存储单元，独立的摄像头将视觉图像传给特征模式计算单元，特征模式计算单元将视觉特征传给模式对比计算单元，其他辅助信息源单元将信息传给模式对比计算单元，视觉特征地图存储单元将视觉地图信息传给模式对比计算单元，传给模式对比计算单元将定位信息发给机器人，

还包括如下步骤：

从手机中提取出惯性导航的手机姿态值作为辅助信息，因为手机的摄像头和手机是刚体固定的，手机的姿态值可以推算出拍摄图片时摄像头的姿态值，通过姿态值进行图片特征的姿态转换，转换后的特征模式通过无线网络传输到机器人本体上，机器人本体上的计算单元作为模式对比的计算单元进行模式对比计算，

进行图像的匹配，匹配可以分为以下四个步骤：

步骤1、提取检测子：在两张待匹配的图像中寻找那些最容易识别的像素点，像素点具体是角点或者纹理丰富的物体边缘点，

步骤2、提取描述子：对于检测出的角点，用一些数学上的特征对其进行描述，数学上的特征是梯度直方图、局部随机二值特征，

步骤3、匹配：通过各个角点的描述子来判断它们在两张图像中的对应关系，

步骤4、消噪：去除错误匹配的外点，保留正确的匹配点，

通过匹配得到的空间位置信息再传递给机器人，控制机器人到导航的目的地。

Images