CN110262283A - 一种多场景的视觉机器人仿真平台及方法 - Google Patents

Abstract

一种多场景的视觉机器人仿真平台及方法，属于机器人及计算机技术领域。利用数据采集装置获取实际机器人定位信息和机器人模拟仿真需要传感器信息，其中定位追踪装置和传感器采集装置都安置在真实机器人上，采集扫地机真实的轨迹信息和其它传感器信息，再将传感器采集装置采集的信息录入AR图像仿真装置中，AR图像仿真装置是一个包含图像处理器的微型电脑和实时仿真软件组成。本发明的优点是解决了因室内外场景的复杂性，给Slam算法升级和迭代带来的技术挑战；解决了因室内外场景的复杂性，实现简单，可重复性高。

Description

一种多场景的视觉机器人仿真平台及方法

技术领域

本发明涉及一种多场景的视觉机器人仿真平台及方法，属于机器人及计算机技术领域。

背景技术

在现有技术中，一种方法是将SLAM算法放入机器人中进行实时测试调试，遇到有问题再现场解决。一种方法是在机器人实时测试遇到问题后将数据保存，再跑数据集复现后解决。

在科技的日益发展中，越来越多的个人或者商业的自动化装置(即机器人设备)得到了广泛的应用。在此过程中，对于机器人的执行效率，智能化要求也越来越高，对于带视觉的机器人来说，要求机器人对于各种场景的适应性要求非常的高。

目前基于视觉SLAM的自主行走机器人能够在有限的室内场景工作中良好，这是因为室内环境能够提供较为丰富的视觉地标信息，使得SLAM算法总是能够捕捉到足够多的地标点(Landmark)，进而完成自主定位和导航。例如天花板中存在的直线或拐角的地标点信息总是能够被指向朝上的图像传感器捕捉。

然而，如果基于视觉SLAM的自主行走机器人(如自主行走的超市导购机器人)在环境更复杂的室内工作时，则可能遇到较多的挑战，适应于扫地机器人上的SLAM算法并不能很好地解决在超市的环境下遇到的环境问题。

例如，在一些情况下，图像传感器通过一片漆黑的区域，而图中没有任何可被识别为地标点的视觉信息，例如一段长走廊。此时Slam将无法获得足够多和足够好的地标点进而完成自主定位。再例如，机器人的图像传感器在机器人第一姿态时捕捉到了较好的地标点，而由于作业需求，机器人短时间内转变为第二姿态(例如行进方向转变)，此时图像传感器视野地标点瞬间变差，进而导致自主定位丢失。

再比如，机器人工作时间处于黄昏与傍晚交接时分，在光线充足的时候视觉机器人工作良好，但随着光线逐渐变暗，图像传感器的噪点会越来越多，最终定位效果会受到很大的影响。这些多场景的切换变化过程中，SLAM定位导航算法都需要针对每一个场景进行重复大量的测试。

发明内容

为了克服现有技术的不足,本发明提供一种多场景的视觉机器人仿真平台及方法。

一种多场景的视觉机器人仿真方法,含有以下步骤；定位追踪装置从扫地机真实运行过程中获取信息，AR图像仿真装置获取到真实机器人信息后，仿真出在同样运行轨迹下不同场景的数据。

还含有以下步骤；

利用数据采集装置获取实际机器人定位信息和机器人模拟仿真需要传感器信息，其中定位追踪装置和传感器采集装置都安置在真实机器人上，采集扫地机真实的轨迹信息和其它传感器信息，再将传感器采集装置采集的信息录入AR图像仿真装置中，AR图像仿真装置是一个包含图像处理器的微型电脑和实时仿真软件组成。

AR图像仿真装置在获取到传感器信息后，根据需求在真实的运动轨迹过程中生成非常多的室内场景与之对应；

SLAM算法直接在这样的环境下进行仿真，将得到的结果与定位追踪装置中获取的真实结果进行比较，进而快速对算法进行改进升级。

一种多场景的视觉机器人仿真平台，利用数据采集装置获取实际机器人定位信息和机器人模拟仿真需要传感器信息，其中定位追踪装置和传感器采集装置都安置在真实机器人上，采集扫地机真实的轨迹信息和其它传感器信息，再将传感器采集装置采集的信息录入AR图像仿真装置中，AR图像仿真装置是一个包含图像处理器的微型电脑和实时仿真软件组成。

AR图像仿真装置在获取到传感器信息后，能够根据需求在真实的运动轨迹过程中生成非常多的室内场景与之对应；SLAM算法能够直接在这样的环境下进行仿真，将得到的结果与定位追踪装置中获取的真实结果进行比较，进而快速对算法进行改进升级。

一种多场景的视觉机器人仿真平台，包括：

数据采集装置：采集机器人实际信息传入AR图像仿真装置；

SLAM计算模块：其中包含有计算处理单元、图像处理单元和通讯单元；

AR图像仿真装置：根据需求产生不同场景信息。

AR图像仿真装置在获取到数据后会进行图像场景的构建，图像场景的设计构建方面使用三维软件3Dmax完成建模和贴图，在完成基本素材的构建后，图像仿真装置基于这些素材进行自由的拖拽和拼接，能够实际打开门关闭门，能够开关墙上的灯或者对房间家具的移动。

所述构建的方案是使用Unity3D，Unity3D是由UnityTechnologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业引擎。

数据采集装置包括传感器采集装置与定位追踪装置两部分；

Slam计算模块接收AR图像仿真装置产生的仿真信息；将整体测试效果与实际获取扫地运动信息进行比较优化；

场景图像信息相对于自动行走机器人框架的姿态变化参数由AR图像仿真装置传入Slam计算模块。

数据采集装置获取实际信息，需要将数据装置固定到机器人身上，实时采集和保存机器人实时运动过程中的信息；

传感器采集装置可根据采集信息的不同添加多个模块进行采集，定位追踪装置提供实时的机器人位姿信息，这个在最后的SLAM模块计算寄过出来后可以与SLAM计算模块进行结果分析的比较；

AR图像仿真装置主要用于生成图像场景，使视觉计算模块在计算的时候能在多种场景下进行测试；SLAM算模块基于图像数据完成同时的定位和地图构建。

本发明的优点是解决了因室内外场景的复杂性，给Slam算法升级和迭代带来的技术挑战；解决了因室内外场景的复杂性，实现简单，可重复性高。

在本发明的Slam仿真统中，定位追踪装置从扫地机真实运行过程中获取信息，AR图像仿真装置获取到真实机器人信息后，能够仿真出在同样运行轨迹下不同场景的数据，使得SLAM算法获取数据的成本大大降低，迭代速度进一步加快。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，如图其中：

图1为视觉机器人仿真平台AR图像仿真流程图。

图2为本发明的多场景的视觉机器人仿真平台流程图。

图3为本发明的不同场景下清扫示意之一图。

图4为本发明的不同场景下清扫示意之二图。

图5为本发明的不同场景下清扫示意之三图。

下面结合附图和实施例对本发明进一步说明。

具体实施方式

显然，本领域技术人员基于本发明的宗旨所做的许多修改和变化属于本发明的保护范围。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当称元件、组件被“连接”到另一元件、组件时，它可以直接连接到其他元件或者组件，或者也可以存在中间元件或者组件。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与所属领域中的普通技术人员的一般理解相同的意义。

为便于对实施例的理解，下面将结合做进一步的解释说明，且各个实施例并不构成对本发明的限定。

实施例1：如图2、图3、图4及图5所示，一种多场景的视觉机器人仿真平台，包括：

数据采集装置：采集机器人实际信息传入AR图像仿真装置。

SLAM计算模块：其中包含有计算处理单元、图像处理单元和通讯单元。

AR图像仿真装置：根据需求产生不同场景信息。

AR图像仿真装置在获取到数据后会进行图像场景的构建，图像场景的设计构建方面使用三维软件3Dmax完成建模和贴图，在完成基本素材的构建后，图像仿真装置可以基于这些素材进行自由的拖拽和拼接，可以实际打开门关闭门，可以开关墙上的灯或者对房间家具的移动等等。

所述构建的方案是使用Unity3D，Unity3D是由UnityTechnologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业引擎。

Unity类似于Director,Blendergameengine,Virtools或TorqueGameBuilder等利用交互的图型化开发环境为首要方式的软件。

系统对象可分为三类：灯、墙、地板以及柱子这样的空间对象，门、窗以及装饰品这样的装饰品对象以及二维图片、视频或者音频信息等场景对象。

通过对象乘此的划分，有利于对不同场景的管理于绘制，系统对象都由对象管理模块在三位场景中得已展示出来。

如图1所示，视觉机器人仿真平台AR图像仿真流程主要分为数据采集、系统环境捕捉搜集数据和最后进行Unity3d渲染三部分。

在经过环境搭建后可以在基础环境下利用场景数据库构建不同时刻的场景。

图2中的AR图像仿真装置的核心原理如图1所示,通过这种方式构建的仿真环境。

实施例2：如图2所示，一种多场景的视觉机器人仿真平台，其软件架构为：

数据采集包括传感器采集装置与定位追踪装置两部分。

Slam计算模块接收AR图像仿真装置产生的仿真信息。

将整体测试效果与实际获取扫地运动信息进行比较优化。

其中，场景图像信息相对于自动行走机器人框架的姿态变化参数由AR图像仿真装置传入Slam计算模块。

图2中给出了本发明方法流程示意图，其中机器人仿真信息由数据采集装置中的传感器采集装置提供机器人传感器信息以及AR图像仿真装置提供。

数据采集装置获取实际信息，需要将数据装置固定到机器人身上，实时采集和保存机器人实时运动过程中的信息。

传感器采集装置可根据采集信息的不同添加多个模块进行采集，定位追踪装置提供实时的机器人位姿信息，这个在最后的SLAM模块计算寄过出来后可以与SLAM计算模块进行结果分析的比较

AR图像仿真装置主要用于生成图像场景，使视觉计算模块在计算的时候能在多种场景下进行测试。

SLAM算模块基于图像数据完成同时的定位和地图构建。

以上各模块仅为功能性划分的模块，具体实施中也可以将数据采集装置模块不放入机器人上而通过网络传输直接传入AR图像仿真装置中，进而与AR图像仿真装置模块合并。

实施例3：如图2、图3、图4及图5所示，一种多场景的视觉机器人仿真方法,含有以下步骤；

扫地机机器人在进行家庭测试时会针对同一个家庭进行不同时间段和场景的测试。

图3是在阳光光线比较充足，各个视角和场景都看得比较清晰的环境下进行的测试，可以看到在这样的环境下扫地机是可以定位得很不错的，在与实际的定位进行比较后我们发现没有出现较大的偏差，整体定位效果视觉和定位追踪装置获取的位姿非常接近。在这样的测试场景下SLAM得到的结果是比较理想的。

图4是在黄昏太阳即将落山的后场景做的场景测试，在这样的场景下部分远离窗户的地方已经不能很好的分辨此时的角落细节，实际的测试效果也是在这样的区域内进行测试的过程中SLAM定位产生了比较大的偏差，但在靠近窗户区域的定位效果就比较理想，和实际的定位追踪装置相差比较下，和在图3环境下的测试没有太大的区别。

还有一种情况如图4所示，这是在太阳落山黑暗的环境下进行的测试，场景中房间基本没有光线，在没有开灯的情况下测试效果全场景跑下来基本都不理想，与实际效果相比产生了很多地方的偏差，整体效果都差。

最后仿真的场景是在夜晚没有阳光，依靠开灯的情况下扫地机进行清扫环境仿真的情况，如图5所示，整体的情况都是与光源有很大关系的，但部分靠经灯光的区域有出现过曝的情况，在扫地机定位过程中也存在一些比较大的偏差。

在本例中，通过不同时刻扫地机场景进行仿真，能够比较迅速的发现SLAM算法所存在的问题，并能进行有针对性地进行问题的解决。相比于人工进行场景地测试，基本上一次场景地仿真测试可能就会浪费一整天的时间，这对于算法的迭代速度来说是非常难以忍受的。

通过这种多场景的视觉机器人仿真平台，就可以摆脱物理平台的限制，能够多次进行仿真，实时看到结果，具有很强的实时性。

除了同一间房间在不同时刻的仿真效果进行测试以外，还可以进行在同一个光照条件下不同房间的室内测试场景进行测试。

实施例4：如图2、图3、图4及图5所示，一种多场景的视觉机器人仿真方法,含有以下步骤；

多场景的视觉机器人仿真平台可以应用于超市视觉导航机器人进行测试的过程中，能够简化测试环境，能很大程度上减少超市正常营业时做测试对其造成的影响。

如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。

Claims (10)

1.一种多场景的视觉机器人仿真方法,其特征在于含有以下步骤；定位追踪装置从扫地机真实运行过程中获取信息，AR图像仿真装置获取到真实机器人信息后，仿真出在同样运行轨迹下不同场景的数据。

2.根据权利要求1所述的一种多场景的视觉机器人仿真方法，其特征在于还含有以下步骤；

利用数据采集装置获取实际机器人定位信息和机器人模拟仿真需要传感器信息，其中定位追踪装置和传感器采集装置都安置在真实机器人上，采集扫地机真实的轨迹信息和其它传感器信息，再将传感器采集装置采集的信息录入AR图像仿真装置中，AR图像仿真装置是一个包含图像处理器的微型电脑和实时仿真软件组成。

3.根据权利要求1所述的一种多场景的视觉机器人仿真方法，其特征在于AR图像仿真装置在获取到传感器信息后，根据需求在真实的运动轨迹过程中生成非常多的室内场景与之对应；

SLAM算法直接在这样的环境下进行仿真，将得到的结果与定位追踪装置中获取的真实结果进行比较，进而快速对算法进行改进升级。

4.一种多场景的视觉机器人仿真平台，其特征在于利用数据采集装置获取实际机器人定位信息和机器人模拟仿真需要传感器信息，其中定位追踪装置和传感器采集装置都安置在真实机器人上，采集扫地机真实的轨迹信息和其它传感器信息，再将传感器采集装置采集的信息录入AR图像仿真装置中，AR图像仿真装置是一个包含图像处理器的微型电脑和实时仿真软件组成。

5.根据权利要求4所述的一种多场景的视觉机器人仿真平台，其特征在于AR图像仿真装置在获取到传感器信息后，能够根据需求在真实的运动轨迹过程中生成非常多的室内场景与之对应；SLAM算法能够直接在这样的环境下进行仿真，将得到的结果与定位追踪装置中获取的真实结果进行比较，进而快速对算法进行改进升级。

6.一种多场景的视觉机器人仿真平台，其特征在于包括：

数据采集装置：采集机器人实际信息传入AR图像仿真装置；

SLAM计算模块：其中包含有计算处理单元、图像处理单元和通讯单元；

AR图像仿真装置：根据需求产生不同场景信息。

7.根据权利要求6所述的一种多场景的视觉机器人仿真平台，其特征在于AR图像仿真装置在获取到数据后会进行图像场景的构建，图像场景的设计构建方面使用三维软件3Dmax完成建模和贴图，在完成基本素材的构建后，图像仿真装置基于这些素材进行自由的拖拽和拼接，能够实际打开门关闭门，能够开关墙上的灯或者对房间家具的移动。

8.根据权利要求7所述的一种多场景的视觉机器人仿真平台，其特征在于所述构建的方案是使用Unity3D，Unity3D是由UnityTechnologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业引擎。

9.根据权利要求7所述的一种多场景的视觉机器人仿真平台，其特征在于数据采集装置包括传感器采集装置与定位追踪装置两部分；

Slam计算模块接收AR图像仿真装置产生的仿真信息；将整体测试效果与实际获取扫地运动信息进行比较优化；

场景图像信息相对于自动行走机器人框架的姿态变化参数由AR图像仿真装置传入Slam计算模块。

10.根据权利要求9所述的一种多场景的视觉机器人仿真平台，其特征在于数据采集装置获取实际信息，需要将数据装置固定到机器人身上，实时采集和保存机器人实时运动过程中的信息；

传感器采集装置可根据采集信息的不同添加多个模块进行采集，定位追踪装置提供实时的机器人位姿信息，这个在最后的SLAM模块计算寄过出来后可以与SLAM计算模块进行结果分析的比较；

AR图像仿真装置主要用于生成图像场景，使视觉计算模块在计算的时候能在多种场景下进行测试；SLAM算模块基于图像数据完成同时的定位和地图构建。