CN109725580A

CN109725580A - 机器人的远程控制方法

Info

Publication number: CN109725580A
Application number: CN201910044025.4A
Authority: CN
Inventors: 高子庆
Original assignee: Sharp Graceful Intelligent Equipment Ltd Shenzhen
Current assignee: Sharp Graceful Intelligent Equipment Ltd Shenzhen
Priority date: 2019-01-17
Filing date: 2019-01-17
Publication date: 2019-05-07

Abstract

本发明公开一种机器人的远程控制方法，包括：获取服务器端发送的消息指令，其中，所述消息指令为所述服务器端以SSE方式发送的通讯信息；根据所述消息指令进行移动，同时采集所述机器人周围的图像信息以及构建地图信息；发送所述图像信息以及构建地图信息至服务器端以供用户查看。本发明通过利用互联网视频通信，用户在服务器端向机器人发送消息指令，机器人在不断移动过程中采集所述机器人周围的图像信息上传至服务器端供用户参考以调整机器人的位移方向或速度。机器人在服务器端的引导下完成预设区域完整地图的自我构建，从而让用户无需亲临现场就可以操作机器人进行地图构建，大大降低了部署的成本，提高了效率。

Description

机器人的远程控制方法

技术领域

本发明涉及机器人导航的技术领域，尤其涉及一种机器人的远程控制方法。

背景技术

移动机器人在导航过程中，其拥有的地图至关重要，关系到其能不能实现导航功能。现有的构建地图的方案往往都需要技术人员到现场操作机器人进行构建，劳动强度大，成本高，效率低，在技术人员较少时弊端尤为明显。

另一方面，随着移动互联网的发展，视频通信使用场景越来越多，如视频聊天、视频会议、网络直播等，互联网视频通信的成本越来越低。

随着服务机器人的需求不断增大，部署过程对技术人员的占用越来越明显。按照传统的构建地图方案，需要技术人员亲自到现场操作机器人构建地图，时间成本和财务成本都非常高。

发明内容

针对上述技术中存在的不足之处，本发明提供一种效率高、操作简单的机器人的远程控制方法。

为了达到上述目的，本发明一种机器人的远程控制方法，包括：

获取服务器端发送的消息指令，其中，所述消息指令为所述服务器端以SSE方式发送的通讯信息；

根据所述消息指令进行移动，同时采集所述机器人周围的图像信息以及构建地图信息；

发送所述图像信息以及构建地图信息至服务器端以供用户查看。

其中，所述消息指令包括控制机器人移动的移动指令或控制所述机器人自行移动的导航指令；

当所述服务器端与所述机器人的通讯速度大于或等于第一阈值时，所述消息指令为控制所述机器人移动的移动指令；

当所述服务器端与所述机器人的通讯速度小于所述第一阈值时，所述消息指令为控制所述机器人自行移动的导航指令。

其中，当所述消息指令为控制所述机器人自行移动的导航指令时，所述根据所述消息指令进行移动的方法包括：

获取当前的地图信息和预设位置；

根据所述地图信息移动至所述预设位置。

其中，所述消息指令包括体现消息发送的时间信息，在执行所述根据所述消息指令进行移动之前还包括：

获取所述消息指令中的时间信息；

判断所述时间信息所表征的时长是否超过预设时长；

当超过所述预设时长，停止移动，并发送消息获取请求至所述服务器端以重新获取消息指令。

其中，所述构建地图信息的方法包括：

预设初始位置信息；

在初始位置通过激光装置检测环境中的障碍物特征信息，并绘制初始位置地图；

根据所述服务器端发送的消息指令移动，实时获取当前位置信息，并在每移动相等距离的位置通过激光装置检测环境中的相应障碍物特征信息；

对比所述每移动相等距离的位置通过激光装置检测环境中的相应障碍物特征信息，计算相应障碍物精准位置，并实时更新地图。

其中，所述机器人的当前位置信息的获取方法包括：

首次获取所述服务器发送的消息指令后，定义所述机器人所在位置为所述地图信息的坐标原点；

根据所述机器人轮子的转动角度以及轮子半径计算得出里程以确定当前所在的地图位置即当前位置信息。

其中，所述采集所述机器人周围的图像信息的方法包括：

通过安装在机器人上的摄像装置采集视频数据；

利用GPU对所述视频数据按照预设格式编码以减小体积；

将编码后的视频数据封装打包成图像信息。

其中，所述利用GPU对所述视频数据按照预设格式编码中的所述预设格式为H.264格式。

其中，所述图像信息发送至服务器端以供用户查看的方法包括：

服务器端将所述图像信息解码为所述机器人周围的视频数据并播放；

服务器端用户根据所述机器人周围的视频数据以确认向机器人发送消息指令。

本发明一种机器人，包括摄像装置、激光装置、机器人轮子以及处理器，所述处理器上配置所述的机器人的远程控制方法，所述摄像装置、激光装置以及机器人轮子分别与处理器电连接通信。

本发明一种计算机可读存储介质，所述计算机可读存储介质上存储有机器人的远程控制程序，所述机器人的远程控制程序被处理器执行时实现所述的机器人的远程控制方法的步骤。

本发明的有益效果是：

与现有技术相比，本发明通过利用互联网视频通信，用户在服务器端向机器人发送消息指令，机器人在不断移动过程中采集所述机器人周围的图像信息上传至服务器端供用户参考以调整机器人的位移方向或速度。机器人在服务器端的引导下完成预设区域完整地图的自我构建，从而让用户无需亲临现场就可以操作机器人进行地图构建，大大降低了部署的成本，提高了效率。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明机器人的远程控制方法的流程图；

图2为本发明消息指令的超时处理方法的流程图；

图3为本发明根据导航指令移动的方法流程图；

图4为本发明构建地图信息的方法流程图；

图5为本发明采集所述机器人周围的图像信息的方法流程图；

图6为本发明一实施例中的机器人结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的远程控制设备，其包括但不限于手机、计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远程控制设备、终端设备与WNS服务器之间可通过任何通信方式实现通信，包括但不限于，基于3GPP、LTE、WIMAX的移动通信、基于TCP/IP、UDP协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。

本发明一种机器人的远程控制方法，请参阅图1，包括：

S100、获取服务器端发送的消息指令，其中，所述消息指令为所述服务器端以SSE方式发送的通讯信息；

在本发明一实施例中，机器人进入陌生区域，保持与服务器端之间的无线连接。服务器端采用长连接发送事件方式不断向机器人发送消息指令。SSE为服务器发送事件：Server-Sent Events，简称SSE，这种方式允许服务器主动向客户端发送消息，比客户端向服务器发送请求查询数据更有效率，同时支持断线重连。

在本发明一实施例中，进一步参阅图2，所述消息指令包括体现消息发送的时间信息，机器人在执行所述根据所述消息指令进行移动之前还包括：

S110、获取所述消息指令中的时间信息；

S120、判断所述时间信息所表征的时长是否超过预设时长；

S130、当超过所述预设时长，停止移动，并发送消息获取请求至所述服务器端以重新获取消息指令。

消息指令中的时间信息主要运用在机器人连接超时的情况下，当机器人连续1秒未收到服务器端发送的消息指令时，即机器人最后一次收到的消息指令中的时间信息起算，超过1秒未收到下一次消息指令，则认为机器人与服务器端连接超时，此时机器人就停止一切方向、速度或加速度的位移，并尝试重连。

S200、根据所述消息指令进行移动，同时采集所述机器人周围的图像信息以及构建地图信息；

由于机器人与服务器端通过无线连接，所以可能存在网速好或网速不好的情况，也就是机器人接收到的信息指令是否具有时效性，所述消息指令包括控制机器人移动的移动指令或控制所述机器人自行移动的导航指令；

S210、当所述服务器端与所述机器人的通讯速度大于或等于第一阈值时，即网速好的情况下，服务器端的消息指令可以实时发送到机器人时，所述消息指令为控制所述机器人移动的移动指令；

S220、当所述服务器端与所述机器人的通讯速度小于所述第一阈值时，即网速差的情况下，服务器端的消息指令就会根据机器人已构建地图的情况，在所述消息指令为控制所述机器人自行移动的导航指令。

在本发明一实施例中，进一步参阅图3，当网速差时，所述消息指令为控制所述机器人自行移动的导航指令，所述根据所述消息指令进行移动的方法包括：

S221、获取当前的地图信息和预设位置；

机器人在移动过程中不断构建所移动区域以及可检测区域的地图，当网速差时，服务器端查找机器人构建的地图并在地图中指定一具体位置，直接想机器人发送移动至该具体位置的导航指令。

S222、根据所述地图信息移动至所述预设位置。

地图信息为机器人自行构建形成的，所以在已知地图的情况下，机器人可以做出分析判断，并按照计算结果自行移动至预设位置，在此期间，服务器端并不间断向机器人发送消息指令，机器人也不断向服务器端发送实时图像信息以及构建的地图信息。

在本发明一实施例中，进一步参阅图4，所述构建地图信息的方法包括：

S231、预设初始位置信息；

首次获取所述服务器发送的消息指令后，定义所述机器人所在位置为所述地图信息的坐标原点，之后根据所述机器人轮子的转动角度以及轮子半径计算得出里程以确定当前所在的地图位置即当前位置信息。

S232、在初始位置通过激光装置检测环境中的障碍物特征信息，并绘制初始位置地图；

S233、根据所述服务器端发送的消息指令移动，实时获取当前位置信息，并在每移动相等距离的位置通过激光装置检测环境中的相应障碍物特征信息；

激光装置上的激光雷达可以测量所述机器人与周围障碍物的各个方向的激光数据；激光数据根据机器人移动的位置以及所旋转的方向进行一一匹配和记录。由于机器人所处的周围环境可能有多个不同的障碍物，因此，对于不同距离和不同方向上的激光数据是不一样的。

S234、对比所述每移动相等距离的位置通过激光装置检测环境中的相应障碍物特征信息，计算相应障碍物精准位置，并实时更新地图。

在本发明的一实施例中，所述激光数据为根据所述机器人上的激光雷达每隔一段距离或角度测量得到的机器人与障碍物之间的距离分布曲线。

进一步的通过不同距离和不同角度的表征机器人与障碍物的曲线，可从中提取出特征点，具体的，其特征点的提取方法包括：

定义积分算子，将输入曲线映射到多个尺度上：

S(α(s)；t)＝∫_Γk(s，u；t)α(u)du

k(s，u；t)＝N((s-u；t)

其中，Γ是输入曲线，α是曲线在测地线坐标s中的参数，k为一个高斯核。然后通过用采样密度p(s；t)对高斯核进行归一化，使算子独立于曲线的采样密度：

p(s；t)＝∫k(s，u；t)p(u)du

通过使用高斯核在局部进行核密度估计来估算尺度t中的采样密度，会在每个尺度产生一条相应的平滑曲线：

通过下面的指数衰减表达式，可以找到我们需要的特征点：

其中，是原曲线与滤波后的曲线在笛卡尔空间中的误差，在尺度t中的特征点对应于t等于平滑曲线的局部曲率的逆的位置。

本特征检测算子分别检测在最大尺度上的距离不连续的背景部分、在所有尺度上的前景部分、所有尺度上响应的凸角和第一、第二尺度上响应的凹钝角。

进一步的，本申请中，采用局部形状上下文来描述特征点。选择线性极坐标直方图，因为距离数据中的噪声类型和范围与图像数据中的噪声不同。距离数据的噪音通常在径向上，并且幅度较大。因此，相对于局部结构，噪声更容易被捕获到，而将其放到极坐标中后，这种效果会减弱。通常情况下，上述提取的特征点P的描述子可表达为：

h_det(j)＝#{p_i≠p_det:(p_i-p_det)∈bin_j)

其中，bin_j通过离散点的距离和视角来定义。

以每一个特征点作为中心点画一组同心圆，我们设同心圆有5层，并按角度分成12个分区，这样就存在5*12＝60个网格，接着统计其他点在这60个网格中的分布情况。这样就可以用一个长度为60的数组表示出其他点在当前点的周围的分布情况，以此作为该特征点的描述子。

码盘通常安装在机器人的底部，靠近滑轮的位置，以对机器人的移动以及旋转进行控制。通过对机器人设定一个初始位置，当机器人移动或者旋转的时候，则可通过码盘获取机器人移动时的相对位移，该相对位移需要与激光雷达测量的激光数据一一对应，以便于后续的匹配和定位。

通过所述激光数据与所述相对位移基于slam算法构建成预设激光地图。

SLAM(simultaneous localization and mapping),也称为CML(ConcurrentMapping and Localization),即时定位与地图构建，或并发建图与定位。

通过将上述的激光数据与码盘获取的相对位移一一匹配即可根据slam算法构建成激光地图。

在本发明的一实施例中，进一步参阅图5，所述采集所述机器人周围的图像信息的方法包括：

S241、通过安装在机器人上的摄像装置采集视频数据；

通过摄像装置采集图像数据，摄像装置设置在机器人的头部，机器人在一个位置时头部可旋转，以保证摄像装置可以在当前位置扫描得到全方位无死角地图信息。当然，本发明中的摄像装置也不一定设置在机器人头部，也可以设置在机器人的其他位置，如在机器人正面和背面分别设置一组摄像装置，也可以进行全方位摄像。

S242、利用GPU对所述视频数据按照H.264格式格式编码以减小体积；

利用GPU对采集到的数据按照H.264格式编码以减小体积。H.264是国际标准化组织(ISO)和国际电信联盟(ITU)共同提出的继MPEG4之后的新一代数字视频压缩格式。H.264是ITU-T以H.26x系列为名称命名的视频编解码技术标准之一。H.264是ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(活动图像编码专家组)的联合视频组(JVT：joint videoteam)开发的一个数字视频编码标准。该标准最早来自于ITU-T的称之为H.26L的项目的开发。H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。举个例子，原始文件的大小如果为88GB，采用MPEG-2压缩标准压缩后变成3.5GB，压缩比为25∶1，而采用H.264压缩标准压缩后变为879MB，从88GB到879MB，H.264的压缩比达到惊人的102∶1。低码率(Low Bit Rate)对H.264的高的压缩比起到了重要的作用，和MPEG-2和MPEG-4ASP等压缩技术相比，H.264压缩技术将大大节省用户的下载时间和数据流量收费。尤其值得一提的是，H.264在具有高压缩比的同时还拥有高质量流畅的图像，正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。

S243、将编码后的视频数据封装打包成图像信息。编码视频被分为多个小文件以便于文件的实时高速传输，然后封装打包推流到服务器终端。

S300、发送所述图像信息以及构建地图信息至服务器端以供用户查看。

图像信息发送至服务器端后由服务器端解码播放，以作为导航指引，构建地图以及激光数据发送至服务器端后作为建图进度反馈。

S310、服务器端将所述图像信息解码为所述机器人周围的视频数据并播放；服务器终端运用解码算法对编码解码并播放，以供技术人员参考。

S320、服务器端用户根据所述机器人周围的视频数据以确认向机器人发送消息指令。技术人员根据视频中显示的障碍物方向与位置，向机器人发出向前、向后、向左、向右以及加速或减速的指令，以便于机器人自动扫描未知区域无死角地图。

请进一步参阅图6，本发明一种机器人，包括摄像装置100、激光装置200、机器人轮子300以及处理器400，所述处理器400上配置所述的机器人的远程控制方法，所述摄像装置100、激光装置200以及机器人轮子300分别与处理器电连接通信。

机器人为一种可移动的机器人400，摄像装置100可全面扫描当前位置的环境中视频，激光装置200安装在可移动机器人的身体正面，激光装置200可以扫描前方240度空间的具体环境，并读取机器人与障碍物之间的距离，机器人轮子300设置在机器人的底部，便于360度自由移动。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上公开的仅为本发明的几个具体实施例，但是本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims

1.一种机器人的远程控制方法，其特征在于，包括：

2.根据权利要求1所述的机器人的远程控制方法，其特征在于，所述消息指令包括控制机器人移动的移动指令或控制所述机器人自行移动的导航指令；

3.根据权利要求2所述的机器人的远程控制方法，其特征在于，当所述消息指令为控制所述机器人自行移动的导航指令时，所述根据所述消息指令进行移动的方法包括：

获取当前的地图信息和预设位置；

根据所述地图信息移动至所述预设位置。

4.根据权利要求1所述的机器人的远程控制方法，其特征在于，所述消息指令包括体现消息发送的时间信息，在执行所述根据所述消息指令进行移动之前还包括：

获取所述消息指令中的时间信息；

判断所述时间信息所表征的时长是否超过预设时长；

5.根据权利要求1所述的机器人的远程控制方法，其特征在于，所述构建地图信息的方法包括：

预设初始位置信息；

6.根据权利要求5所述的机器人的远程控制方法，其特征在于，所述机器人的当前位置信息的获取方法包括：

7.根据权利要求5所述的机器人的远程控制方法，其特征在于，所述采集所述机器人周围的图像信息的方法包括：

通过安装在机器人上的摄像装置采集视频数据；

利用GPU对所述视频数据按照预设格式编码以减小体积；

将编码后的视频数据封装打包成图像信息。

8.根据权利要求7所述的机器人的远程控制方法，其特征在于，所述图像信息发送至服务器端以供用户查看的方法包括：

9.一种机器人，其特征在于，包括摄像装置、激光装置、机器人轮子以及处理器，所述处理器上配置上述权利要求1-8任意一项所述的机器人的远程控制方法，所述摄像装置、激光装置以及机器人轮子分别与处理器电连接通信。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有机器人的远程控制程序，所述机器人的远程控制程序被处理器执行时实现如权利要求1至8中任一项所述的机器人的远程控制方法的步骤。