CN117863190A - 足式机器人的移动控制方法及足式机器人 - Google Patents

Abstract

本申请提供一种足式机器人的移动控制方法及足式机器人，所述方法包括：通过视觉传感器获取周围环境的视觉图；根据机器人足端的当前和/或历史落足点，确定触觉图；根据视觉图和触觉图，确定刚体图；获取当前触觉图权重值和当前刚体图权重值；根据触觉图、所述刚体图、当前触觉图权重值以及当前刚体图权重值，确定融合图；根据融合图，规划机器人足端轨迹。通过上述方法随着足式机器人的移动，融合图会随着地形的改变实时调整，准确表征周围环境的地形信息，从而根据融合图能正确规划机器人足端轨迹，使机器人能在各类地形上正常移动，并且无需预先采集训练数据并进行训练，大大降低了开发成本，还适用于不同类型的足式机器人，可移植性强。

Description

足式机器人的移动控制方法及足式机器人

技术领域

本申请涉及机器人技术领域，尤其涉及一种足式机器人的移动控制方法及足式机器人。

背景技术

足式机器人在移动时，需要感知地形信息以规划足端轨迹。相关技术中，存在两种感知地形信息的方式：第一种是触觉感知方式，通过记录机器人的历史落足点的位置及高度，基于历史落足点的高度去预估其它未落足点位置的高度，从而感知地形信息；第二种是视觉感知方式，通过机器人的机载相机探测地形，构建三维点云数据，确定各个位置的高度，从而感知地形信息。

但触觉感知方式存在预估的高度与真实高度的误差较大的问题，视觉感知方式存在预估的被遮挡或视野之外位置的高度的误差较大，并且对于非刚性地形（例如草地、沙地和雪地等），存在视觉感知的高度与机器人踏入时真实高度误差较大的问题，从而无法正确规划机器人足端轨迹，机器人容易失稳摔倒。

相关技术中还存在基于机器学习来控制机器人移动的方式，需要机器人预先在不同地形进行移动，采集大量的数据进行训练，开发成本较高，并且机器学习的方式训练出的模型只适用于同款的足式机器人，可移植性低。

发明内容

有鉴于此，本申请提供一种足式机器人的移动控制方法及足式机器人，以解决相关技术中的技术问题。

为实现上述目的，本申请提供技术方案如下：

根据本发明实施例的第一方面，提供一种足式机器人的移动控制方法，包括：

通过视觉传感器获取周围环境的视觉图；

根据机器人足端的当前和/或历史落足点，确定触觉图；

根据所述视觉图和所述触觉图，确定刚体图；

获取当前触觉图权重值和当前刚体图权重值；

根据所述触觉图、所述刚体图、所述当前触觉图权重值以及当前刚体图权重值，确定融合图；

根据所述融合图，规划机器人足端轨迹。

根据本发明实施例的第二方面，提供一种足式机器人，包括：机身；与所述机身通信的控制系统，所述控制系统包括处理器和与所述处理器通信的存储器，所述存储器存储指令，所述指令在所述处理器上被运行时使所述处理器执行操作，所述操作包括：

通过视觉传感器获取周围环境的视觉图；

根据机器人足端的当前和/或历史落足点，确定触觉图；

根据所述视觉图和所述触觉图，确定刚体图；

获取当前触觉图权重值和当前刚体图权重值；

根据所述触觉图、所述刚体图、所述当前触觉图权重值以及当前刚体图权重值，确定融合图；

根据所述融合图，规划机器人足端轨迹。

由以上技术方案可见，本申请通过将视觉图和触觉图进行融合，得到融合图，随着足式机器人的移动，融合图会随着地形的改变实时调整，准确表征周围环境的地形信息，从而根据融合图能正确规划机器人足端轨迹，使机器人能在各类地形上正常移动，并且无需预先采集训练数据并进行训练，大大降低了开发成本，还适用于不同类型的足式机器人，可移植性强。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本申请的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据本申请实施例示出的一种足式机器人的硬件结构示意图；

图2是根据本申请实施例示出的一种足式机器人的机械结构示意图；

图3是根据本申请实施例示出的一种足式机器人的移动控制方法的流程图；

图4是根据本申请实施例示出的一种触觉图确定方法的流程图；

图5是根据本申请实施例示出的一种刚体图确定方法的流程图；

图6是根据本申请实施例示出的一种触觉图权重值和刚体图权重值确定方法的流程图；

图7是根据本申请实施例示出的足式机器人进行移动时的示意图；

图8是根据本申请实施例示出的一种计算机设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

请参阅图1，图1为本申请其中一个实施例提供的足式机器人100的硬件结构示意图。足式机器人100可以为单足机器人、双足机器人或者多足机器人。多足机器人是指具有三个足或者三个以上的足式机器人，例如多足机器人具体可以是四足机器人。足式机器人是指一种能够半自主或全自主执行工作的机器，机器人并不限定于人形的机器装置，还可以包括例如狗、马、蛇、鱼、猿或猴等构型的机器人，例如机器人具体可以是一种四足的机器马。在图1所示的实施方式中，足式机器人100包括机械单元101、通讯单元102、传感单元103、接口单元104、存储单元105、显示单元106、输入单元107、控制模块110、电源111。足式机器人100的各种部件可以以任何方式连接，包括有线或无线连接等。本领域技术人员可以理解，图1中示出的足式机器人100的具体结构并不构成对足式机器人100的限定，足式机器人100可以包括比图示更多或更少的部件，某些部件也并不属于足式机器人100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略，或者组合某些部件。

图2是根据本申请一个实施例提供的足式机器人的机械结构示意图。下面结合图1和图2对机器人100的各个部件进行具体的介绍：

机械单元101为足式机器人100的硬件。如图1所示，机械单元101可包括驱动板1011、电机1012、机械结构1013，如图2所示，机械结构1013可包括机身主体1014、可伸展的腿部1015、足部1016，在其他实施方式中，机械结构1013还可包括可伸展的机械臂（图未示）、可转动的头部结构1017、可摇动的尾巴结构1018、载物结构1019、鞍座结构1020、摄像头结构1021等。需要说明的是，机械单元101的各个部件模块可以为一个也可以为多个，可根据具体情况设置，比如腿部1015可为4个，每个腿部1015可配置3个电机1012，对应的电机1012为12个。

通讯单元102可用于信号的接收和发送，还可以通过与网络和其他设备通信，比如，接收遥控器或其他机器人100发送的按照特定步态以特定速度值向特定方向移动的指令信息后，传输给控制模块110处理。通讯单元102包括如WiFi模块、4G模块、5G模块、蓝牙模块、红外模块等。

传感单元103用于获取足式机器人100周围环境的信息数据以及监控足式机器人100内部各部件的参数数据，并发送给控制模块110。传感单元103包括多种传感器，如获取周围环境信息的传感器：激光雷达(用于远程物体检测、距离确定和/或速度值确定)、毫米波雷达(用于短程物体检测、距离确定和/或速度值确定)、摄像头、红外摄像头、全球导航卫星系统（GNSS，Global Navigation Satellite System）等。如监控足式机器人100内部各部件的传感器：惯性测量单元（IMU，Inertial Measurement Unit）（用于测量速度值、加速度值和角速度值的值），足底传感器（用于监测足底着力点位置、足底姿态、触地力大小和方向）、温度传感器（用于检测部件温度）。至于足式机器人100还可配置的载荷传感器、触摸传感器、电机角度传感器、扭矩传感器等其他传感器，在此不再赘述。

接口单元104可以用于接收来自外部装置的输入(例如，数据信息、电力等)并且将接收到的输入传输到足式机器人100内的一个或多个部件，或者可以用于向外部装置输出(例如，数据信息、电力等)。接口单元104可包括电源端口、数据端口（如USB端口）、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口等。

存储单元105用于存储软件程序以及各种数据。存储单元105可主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统程序、运动控制程序、应用程序（比如文本编辑器）等；数据存储区可存储足式机器人100在使用中所生成的数据（比如传感单元103获取的各种传感数据，日志文件数据）等。此外，存储单元105可以包括高速随机存取存储器，还可以包括非易失性存储器，例如磁盘存储器、闪存器、或其他易失性固态存储器。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器（Liquid Crystal Display，LCD）、有机发光二极管（Organic Light-Emitting Diode, OLED）等形式来配置显示面板1061。

输入单元107可用于接收输入的数字或字符信息。具体地，输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户的触摸操作（比如用户使用手掌、手指或适合的附件在触控面板1071上或在触控面板1071附近的操作），并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置1073和触摸控制器1074两个部分。其中，触摸检测装置1073检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器1074；触摸控制器1074从触摸检测装置1073上接收触摸信息，并将它转换成触点坐标，再送给控制模块110，并能接收控制模块110发来的命令并加以执行。除了触控面板1071，输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于遥控操作手柄等中的一种或多种，具体此处不做限定。

进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给控制模块110以确定触摸事件的类型，随后控制模块110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来分别实现输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现输入和输出功能，具体此处不做限定。

控制模块110是足式机器人100的控制中心，利用各种接口和线路连接整个足式机器人100的各个部件，通过运行或执行存储在存储单元105内的软件程序，以及调用存储在存储单元105内的数据，从而对足式机器人100进行整体控制。

电源111用于给各个部件供电，电源111可包括电池和电源控制板，电源控制板用于控制电池充电、放电、以及功耗管理等功能。在图1所示的实施方式中，电源111电连接控制模块110，在其它的实施方式中，电源111还可以分别与传感单元103（比如摄像头、雷达、音箱等）、电机1012电性连接。需要说明的是，各个部件可以各自连接到不同的电源111，或者由相同的电源111供电。

在上述实施方式的基础上，具体地，在一些实施方式中，可以通过终端设备来与足式机器人100进行通信连接，在终端设备与足式机器人100进行通信时，可以通过终端设备来向足式机器人100发送指令信息，足式机器人100可通过通讯单元102来接收指令信息，并可在接收到指令信息的情况下，将指令信息传输至控制模块110，使得控制模块110可根据指令信息来处理得到目标速度值。终端设备包括但不限于：具备图像拍摄功能的手机、平板电脑、服务器、个人计算机、可穿戴智能设备、其它电器设备。

指令信息可以根据预设条件来确定。在一个实施方式中，足式机器人100可以包括传感单元103，传感单元103可根据足式机器人100所在的当前环境可生成指令信息。控制模块110可根据指令信息来判断足式机器人100的当前速度值是否满足对应的预设条件。若满足，则会保持足式机器人100的当前速度值和当前步态移动；若不满足，则会根据对应的预设条件来确定目标速度值和相应的目标步态，从而可控制足式机器人100以目标速度值和相应的目标步态移动。环境传感器可以包括温度传感器、气压传感器、视觉传感器、声音传感器。指令信息可以包括温度信息、气压信息、图像信息、声音信息。环境传感器与控制模块110之间的通信方式可以为有线通信，也可以为无线通信。无线通信的方式包括但不限于：无线网络、移动通信网络（3G、4G、5G等）、蓝牙、红外。

图3是根据本申请实施例示出的一种足式机器人的移动控制方法的流程图，所述方法包括：

步骤S101，通过视觉传感器获取周围环境的视觉图；

在本实施例中，可以预先建立以机器人为中心的栅格地图，栅格地图的尺寸及分辨率可以根据实际需求设置，例如栅格地图的尺寸可以为3m*3m，分辨率可以为0.03m*0.03m，该栅格地图包括100*100个栅格，分辨率也可以表征每个栅格的尺寸。

通过视觉传感器可以获取周围环境的三维点云数据，三维点云数据包括各个点的三维坐标（x，y，z），可以根据三维坐标将三维点云数据映射到栅格地图中，使得各个栅格可以保存有根据对应点的z轴坐标确定的视觉高度，由此可以得到包含视觉高度信息的栅格地图，作为视觉图。

在本实施例中，视觉传感器可以包括三维激光雷达、三维红外相机和双目相机等，本申请对此不作限制。

在本申请中，三维坐标所属的坐标系可以为世界坐标系，世界坐标系的原点可以位于机器人的初始位置，也可以位于所采用的导航地图的原点位置。

在一实施例中，通过视觉传感器可以获取周围环境的若干图像，对这些图像进行语义分割，可以得到周围环境对应的语义地图，语义地图信息可以存储于视觉图中，通过语义地图信息可以确定周围环境的地形信息。

可以预先设置不同的语义地图信息，并设置对应的预设触觉图权重值和预设刚体图权重值，预设的语义地图信息可以是机器人在先前的移动过程中所确定的，其对应的预设触觉图权重值和预设刚体图权重值可以是机器人在对应的语义地图中移动时所确定的。

在机器人移动的过程中，若识别到视觉图出现预设的第一语义地图信息，即视觉图当前存储的语义地图信息与预设的语义地图信息中的第一语义地图信息相匹配，可以确定机器人将要移动到第一语义地图，则可以在获取当前触觉图权重值和当前刚体图权重值之前，在机器人即将进入第一语义地图前，调用第一语义地图信息对应的预设触觉图权重值和预设刚体图权重值，再根据触觉图、刚体图、预设触觉图权重值以及预设刚体图权重值，确定融合图以规划机器人足端轨迹，从而可以在不实时计算出当前触觉图权重值和当前刚体图权重值的情况下，也可以确定能准确表征周围环境的地形信息的融合图，正确规划机器人足端轨迹，并且减少了计算量，降低了计算成本。

在一实施例中，若识别到预设触觉图权重值和预设刚体图权重值不适应当前的环境，例如当前周围环境发生了改变，没有与其对应的语义地图信息匹配的预设语义地图信息，继续根据触觉图、刚体图、预设触觉图权重值以及预设刚体图权重值，确定融合图来规划机器人足端轨迹，可能会导致机器人失稳摔倒，此时可以获取当前触觉图权重值和当前刚体图权重值，根据触觉图、刚体图、当前触觉图权重值以及当前刚体图权重值，确定融合图，从而可以继续正确规划机器人足端轨迹，避免机器人失稳摔倒。

步骤S102，根据机器人足端的当前和/或历史落足点，确定触觉图。

如图4所示，本步骤确定触觉图的具体过程可以为：

步骤S1021，获取第一栅格的触觉高度，第一栅格的触觉高度由落足点的垂直坐标确定。

步骤S1022，将第一栅格的触觉高度输入至预测算法中，预测第二栅格的触觉高度。

步骤S1023，根据第一栅格、第一栅格的触觉高度，第二栅格以及第二栅格的触觉高度，确定触觉图。

在本实施例中，可以在机器人移动时，记录机器人足端的落足点在世界坐标系下的三维坐标（x，y，z），可以根据落足点三维坐标，将落足点映射到与视觉图的尺寸及分辨率相同的栅格地图中，使得落足点对应的栅格可以保存有根据落足点的垂直坐标(z轴坐标)确定的触觉高度，栅格地图中包括落足点的栅格可称为第一栅格，不包括落足点的栅格可称为第二栅格。

第一栅格的触觉高度可以通过其对应的落足点的垂直坐标确定，进而可以将第一栅格的触觉高度输入至预测算法中，确定第二栅格的触觉高度。通过预测算法可以基于若干第一栅格的触觉高度，补全栅格地图中若干第二栅格的触觉高度，由此可以得到包含触觉高度信息的栅格地图，作为触觉图。

其中，预测算法可以为高斯过程回归算法、线性插值算法或非线性插值算法，本申请对此不作限制。

在本实施例中，历史落足点可以指在预设范围内的历史落足点，预设范围可以指预设地理范围，也可以指预设时间范围，本申请对此不作限制。

在一实施例中，预设地理范围可以指以机器人为中心的指定区域范围。在预设地理范围大于触觉图的情况下，存在于预设地理范围内、触觉图范围外并且包括历史落足点的栅格可以称为第三栅格，可以将第一栅格以及第三栅格的触觉高度输入至预测算法中，预测第二栅格的触觉高度，从而可以用更多的触觉高度数据预测第二栅格的触觉高度，提高预测准确性。

进一步的，考虑到预设范围外的落足点，通常对于确定栅格地图范围内地形的真实高度帮助不大的情况，例如预设地理或时间范围外的落足点与第二栅格距离过远，又例如机器人原地踏步或在小范围内持续转圈的时间较长，预设时间范围外与范围内的相同落足点过多，对于预测第二栅格的触觉高度的参考价值较小。并且考虑可能存在当前落足点与历史落足点位于同一栅格的情况，由于每个栅格通常只存储一个触觉高度，并且比起历史落足点通常根据当前落足点确定的触觉高度的更准确。

在一实施例中，可以删除预设范围外的历史落足点，若当前落足点与历史落足点位于同一栅格中，可以用当前落足点覆盖历史落足点，根据当前落足点的垂直坐标确定该栅格的触觉高度，从而可以避免信息冗余导致数据溢出的情况，并且可以节省存储空间，降低存储成本。

步骤S103，根据视觉图和触觉图，确定刚体图。

如图5所示，本步骤确定刚体图的具体过程可以为：

步骤S1031，基于视觉图的三维点云数据，确定第一栅格的视觉高度和第二栅格的视觉高度。

在本实施例中，通过视觉传感器确定的视觉图中的各个栅格有对应的三维点云数据，通过三维点云数据的垂直坐标(z轴坐标)可以确定第一栅格以及第二栅格的视觉高度。

步骤S1032，将第一栅格的视觉高度与触觉高度的差值，作为第一栅格的非刚体高度。

在本实施例中，包括落足点的第一栅格的触觉高度最接近于栅格的真实高度，而在非刚体地形中视觉高度与真实高度往往存在差值，由此可以将同一第一栅格的视觉高度与触觉高度的差值，称为该第一栅格的非刚体高度。

在一实施例中，计算第一栅格的非刚体高度的公式可以为：

=/>-/>

其中，表征第i个第一栅格的非刚体高度，/>表征第i个第一栅格的视觉高度，/>表征第i个第一栅格的触觉高度，i的取值范围为[1,N]，N表征第一栅格的数量。

在本实施例中，对于当前落足点对应的第一栅格，其视觉高度可以指当前获取的视觉高度；若当前落足点并非首个落足点，其视觉高度可以指机器人位于其它栅格时所确定的该栅格的历史视觉高度，可以将第一栅格的历史视觉高度与触觉高度的差值，作为第一栅格的非刚体高度，由于在当前落足点所获取的对应的第一栅格的当前视觉高度与当前触觉高度可能较为接近，使用历史视觉高度可以更准确地确定当前第一栅格的非刚体高度。

步骤S1033，基于第一栅格的非刚体高度，预测第二栅格的非刚体高度。

在本实施例中，可以针对每个第二栅格，将第一栅格的非刚体高度，以及第二栅格对应的衰减因子输入至数据平滑算法中，预测第二栅格的非刚体高度；其中，衰减因子的大小，与第二栅格和第一栅格之间的距离成反比。

在一实施例中，可以针对每个第一栅格，将第一栅格的非刚体高度，以及第一栅格对应的衰减因子输入至数据平滑算法中，更新第一栅格的非刚体高度。

在一实施例中，数据平滑算法的公式可以为：

其中，表征当前栅格的非刚体高度，/>表征第i个第一栅格的非刚体高度，/>为当前栅格与第i个第一栅格的水平距离，/>表征当前栅格的衰减因子，k和r为正实数，N表征第一栅格的数量。

在本实施例中，衰减因子也可以为，k为大于1的正实数，r为正实数，还可以为其它函数曲线与上述衰减因子相似的函数，本申请对此不作限制。

在本实施例中，衰减因子可以表征第i个第一栅格的非刚体高度对当前栅格的非刚体高度的影响程度，随着的增大，衰减因子会逐渐减小，影响程度逐渐减弱。k可以表征衰减因子减小的速率，随着k的增大，针对于同一区间[/>]衰减因子的减少量越大，影响程度的减弱效果更明显。r可以表征对当前栅格的非刚体高度影响程度较大的区域范围，可以确定以当前栅格为中心，半径为r的圆形区域范围为该区域范围，在/>小于或等于r时，衰减因子的值及减小的速率会明显大于/>大于r时，距当前栅格的距离在r范围内的第一栅格的非刚体高度，对当前栅格的非刚体高度影响程度较大。

本实施例的数据平滑算法在确定当前栅格的非刚体高度时，考虑到了包括真实落足点的所有第一栅格的非刚体高度的影响，并且基于距离确定不同第一栅格的非刚体高度对当前栅格的非刚体高度影响程度，越近的第一栅格影响程度越大，非刚体高度的值也更接近，从而可以有效地减少噪声和异常值的影响，提高计算栅格的非刚体高度的准确性。

步骤S1034，基于第一栅格的视觉高度与非刚体高度的差值，确定第一栅格的刚体高度。

步骤S1035，基于第二栅格的视觉高度与非刚体高度的差值，确定第二栅格的刚体高度。

在一实施例中，针对第一或第二栅格，计算其刚体高度的公式可以为：

=/>-/>

其中，表征当前栅格的刚体高度，/>表征当前栅格的视觉高度，/>表征当前栅格的非刚体高度。

步骤S1036，根据第一栅格、第一栅格的刚体高度，第二栅格以及第二栅格的刚体高度，确定刚体图。

在本实施例中，确定了第一以及第二栅格的刚体高度后，可以得到包含刚体高度信息的栅格地图，作为刚体图。

步骤S104，获取当前触觉图权重值和当前刚体图权重值。

如图6所示，本步骤获取触觉图以及刚体图权重值的具体过程可以为：

步骤S1041，计算第一栅格的触觉高度的方差，得到触觉高度方差。

在本实施例中，触觉高度方差可以表征第一栅格的落足点之间的地形高低起伏程度，方差越大表征起伏程度越大，方差越小表征起伏程度越小。

在一实施例中，计算第一栅格的触觉高度的方差的公式可以为：

其中，表征第i个第一栅格的触觉高度，/>表征第i-1个第一栅格的触觉高度，N表征第一栅格的数量。

步骤S1042，计算第一栅格的非刚体高度的方差，得到非刚体高度方差。

在本实施例中，非刚体高度方差可以表征第一栅格的总体非刚体高度的高低程度，方差越大表征非刚体高度总体偏高，方差越小表征非刚体高度总体偏低。

在一实施例中，计算第一栅格的非刚体高度的方差的公式可以为：

其中，表征第i个第一栅格的非刚体高度，N表征第一栅格的数量。

步骤S1043，针对每个第一栅格和第二栅格，将触觉高度方差、非刚体高度方差以及栅格对应的权重调节因子输入至归一化算法中，获得每个栅格的触觉高度权重和刚体高度权重；其中，权重调节因子包括栅格与指定落足点的水平距离，和/或，指定落足点的生成时间。

在一实施例中，归一化算法的公式可以为：

其中，为触觉高度方差，/>为非刚体高度方差，/>为权重调节因子，权重调节因子可以包括当前栅格与指定落足点的距离/>，和/或，指定落足点的生成时间与当前时间的差值t。

在本实施例中，当前栅格与指定落足点的距离，可以是指当前栅格与指定落足点对应的第一栅格的距离，也可以指当前栅格与所有落足点的距离之和的均值；指定落足点可以是距离当前栅格最近的落足点，也可以是根据实际需求选定的其它落足点，本申请对此不作限制。

在本实施例中，当前栅格与指定落足点的距离越小，和/或指定落足点的生成时间与当前时间的差值越小，可以表征当前栅格越接近指定落足点，其真实高度受落足点真实高度，即落足点对应的第一栅格的触觉高度的影响越大，由此当前栅格对应的触觉高度权重越大。

当前栅格与指定落足点的距离越大，和/或指定落足点的生成时间与当前时间的差值越大，可以表征当前栅格离指定落足点越远，其真实高度受落足点真实高度，即落足点对应的第一栅格的触觉高度的影响越小，由此当前栅格对应的触觉高度权重越小，相应的当前栅格对应的刚体高度权重越大。

在一实施例中，归一化算法的公式中还可以包括参数调节因子p，归一化算法的公式可以为：

由于获取栅格视觉高度的传感器与获取触觉高度的传感器的灵敏度和精度可能不同，导致计算出的触觉高度方差和非刚体高度方差的数量级不同，使得最终计算出的触觉高度和刚体高度的权重准确性较低，此时参数调节因子可以用于将触觉高度方差和非刚体高度方差调整为同一数量级，提高通过归一化算法计算出的触觉高度以及刚体高度的权重的准确性。例如触觉高度方差差非刚体高度方差一个数量级，参数调节因子p可以取值为10；非刚体高度方差差触觉高度方差一个数量级，参数调节因子p可以取值为。

在本实施例中，由于触觉高度方差越大表征地形起伏程度越大，地形较崎岖，方差越小表征地形起伏程度越小，地形较平缓，并且非刚体高度方差越大表征非刚体高度总体偏高，地形为非刚体地形的可能性越大，方差越小表征非刚体高度总体偏低，地形为刚体地形的可能性越大。

因此当触觉高度方差越小且非刚体高度方差越大时，当前栅格位于非刚体地形的可能性更高，其真实高度与触觉高度更为接近，当前栅格的触觉高度权重越大；当触觉高度方差越大且非刚体高度方差越小时，当前栅格位于刚体地形的可能性更高，其真实高度与视觉高度更为接近，当前栅格的刚体高度权重越大。

步骤S1044，基于所有栅格的触觉高度权重和刚体高度权重，确定当前触觉图权重值和当前刚体图权重值。

在本实施例中，当前触觉图权重值包括触觉图中各个栅格对应的触觉高度权重，当前刚体图权重值包括刚体图中各个栅格对应的刚体高度权重。

步骤S105，根据触觉图、刚体图、当前触觉图权重值以及当前刚体图权重值，确定融合图。

在本实施例中，融合图可以是包含融合高度信息的栅格地图，确定融合图中各个栅格的融合高度的公式可以为：

其中，表征当前栅格的触觉高度权重，/>表征当前栅格的触觉高度，/>表征当前栅格的刚体高度权重，/>表征当前栅格的刚体高度。

在本实施例中，由于不同地形中所确定栅格的触觉高度和视觉高度会有所不同，进而计算出的触觉高度方差、非刚体高度方差、触觉高度权重以及刚体高度权重都会随之变化，最终得到的融合图也会随之发生改变。

举例而言，如表1所示，对于柏油路、水泥路等刚体地形，触觉高度方差和非刚体高度方差都较小，触觉高度权重和刚体高度权重相近，可以反映出融合图与触觉图以及视觉图的贴近程度比较接近；对于平缓土地、毛糙草坪等非刚体地形，触觉高度方差会明显小于非刚体高度方差，触觉高度权重明显大于刚体高度权重，可以反映出融合图更贴近于触觉图；对于崎岖硬质地形或台阶，非刚体高度方差会明显小于触觉高度方差，刚体高度权重明显大于触觉高度权重，可以反映出融合图更贴近于视觉图；对于崎岖非刚性地形，触觉高度方差和非刚体高度方差都较大，触觉高度权重和刚体高度权重相近，可以反映出融合图与触觉图以及视觉图的贴近程度比较接近。

表1

步骤S106，根据融合图，规划机器人足端轨迹。

在本申请中，如图7所示，随着足式机器人的移动，可以实时得到当前周围环境的地形所对应的融合图(对应于图中以机器人为中心的圆形区域)，融合图会随着地形的改变实时调整，从而能准确表征周围环境的地形信息，机器人根据融合图能正确规划机器人足端轨迹，在各类地形上正常移动。例如机器人从刚体地形进入非刚体地形时，此时先根据更贴近视觉图的融合图去规划机器人足端轨迹，机身倾角上抬，踏入非刚体地形后发现预计足端的高度比真实高度要大，足端实际上陷入了非刚体地形，融合图会及时降低落足点周围的高度，从而使预计足端的高度接近真实高度，机身倾角回归水平，机器人继续正常移动。

在一实施例中，足式机器人不同足对应轨迹规划策略可能不同，由此在机器人移动时，可以记录机器人足端的落足点所对应的足的编号，不同足的历史落足点的预设范围可以不同，例如前足的历史落足点为最近100个落足点，后足的历史落足点位最近50个落足点，进而可以针对不同足确定其对应的融合图，再结合对应的轨迹规划策略规划其足端轨迹。

在一实施例中，对于已存在的根据相关技术中触觉或视觉感知方式控制机器人移动的项目，可以将本申请的栅格地图的尺寸、分辨率以及栅格存储的高度信息的格式，设置成与该项目的触觉图或视觉图一致，从而通过本申请的足式机器人的移动控制方法所得到的融合图，可以直接替换掉现有项目的触觉图或视觉图，可移植性强，便于用户使用。

本申请实施例还提供一种机器人，包括：机身；与所述机身通信的控制系统，所述控制系统包括处理器和与所述处理器通信的存储器，所述存储器存储指令，所述指令在所述处理器上被运行时使所述处理器执行操作，所述操作包括：

通过视觉传感器获取周围环境的视觉图；

根据机器人足端的当前和/或历史落足点，确定触觉图；

根据所述视觉图和所述触觉图，确定刚体图；

获取当前触觉图权重值和当前刚体图权重值；

根据所述触觉图、所述刚体图、所述当前触觉图权重值以及当前刚体图权重值，确定融合图；

根据所述融合图，规划机器人足端轨迹。

在一实施例中，所述视觉图包括语义地图信息；在根据所述视觉图和所述触觉图，确定刚体图之前，所述操作还可以包括：若识别到所述视觉图出现预设的第一语义地图信息；

所述获取当前触觉图权重值和当前刚体图权重值之前，包括：

在所述机器人即将进入第一语义地图前，调用与所述第一语义地图信息对应的预设触觉图权重值和预设刚体图权重值。

在实施例中，所述视觉图包括若干个第一栅格和若干个第二栅格，所述第一栅格内包括机器人足端的当前和/或历史落足点，所述第二栅格内不包括所述落足点；

所述根据机器人足端的当前和/或历史落足点，确定触觉图包括：

获取所述第一栅格的触觉高度，所述第一栅格的触觉高度由所述落足点的垂直坐标确定；

将所述第一栅格的触觉高度输入至预测算法中，预测所述第二栅格的触觉高度；

根据所述第一栅格、第一栅格的触觉高度，第二栅格以及第二栅格的触觉高度，确定触觉图。

在一实施例中，根据所述视觉图和所述触觉图，确定刚体图包括：

基于所述视觉图的三维点云数据，确定所述第一栅格的视觉高度和所述第二栅格的视觉高度；

将所述第一栅格的视觉高度与触觉高度的差值，作为所述第一栅格的非刚体高度；

基于所述第一栅格的非刚体高度，预测所述第二栅格的非刚体高度；

基于所述第一栅格的视觉高度与非刚体高度的差值，确定所述第一栅格的刚体高度；

基于所述第二栅格的视觉高度与非刚体高度的差值，确定所述第二栅格的刚体高度；

根据所述第一栅格、第一栅格的刚体高度，第二栅格以及第二栅格的刚体高度，确定刚体图。

在实施例中，获取当前触觉图权重值和当前刚体图权重值包括：

基于所述第一栅格的触觉高度和非刚体高度，得到触觉图权重值和刚体图权重值；

计算所述第一栅格的触觉高度的方差，得到触觉高度方差；

计算所述第一栅格的非刚体高度的方差，得到非刚体高度方差；

针对每个第一栅格和第二栅格，将所述触觉高度方差、所述非刚体高度方差以及所述栅格对应的权重调节因子输入至归一化算法中，获得每个所述栅格的触觉高度权重和刚体高度权重；其中，所述权重调节因子包括所述栅格与指定落足点的水平距离，和/或，所述指定落足点的生成时间与当前时间的差值；

基于所有所述栅格的触觉高度权重和刚体高度权重，确定当前触觉图权重值和当前刚体图权重值。

在一实施例中，基于所述第一栅格的非刚体高度，预测所述第二栅格的非刚体高度包括：

针对每个第二栅格，将所述第一栅格的非刚体高度，以及所述第二栅格对应的衰减因子输入至数据平滑算法中，预测所述第二栅格的非刚体高度；

其中，所述衰减因子的大小，与所述第二栅格和所述第一栅格之间的距离成反比。

图8为根据本申请实施例示出的一种计算机设备的硬件结构示意图。该计算机设备可包括处理器801、存储有机器可执行指令的机器可读存储介质802。处理器801与机器可读存储介质802可经由系统总线803通信。并且，通过读取并执行机器可读存储介质802中与足式机器人的移动控制方法对应的机器可执行指令，处理器801可执行上文描述的足式机器人的移动控制方法。

基于上述任意实施例所述的方法，本申请实施例还提供了一种计算机可读存储介质，所述介质上存储有计算机程序，计算机程序被处理器执行时可用于执行上述任一实施例所述的足式机器人的移动控制方法。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种足式机器人的移动控制方法，其特征在于，包括：

通过视觉传感器获取周围环境的视觉图；

根据机器人足端的当前和/或历史落足点，确定触觉图；

根据所述视觉图和所述触觉图，确定刚体图；

获取当前触觉图权重值和当前刚体图权重值；

根据所述触觉图、所述刚体图、所述当前触觉图权重值以及当前刚体图权重值，确定融合图；

根据所述融合图，规划机器人足端轨迹。

2.根据权利要求1所述的方法，其特征在于，所述视觉图包括语义地图信息；在根据所述视觉图和所述触觉图，确定刚体图之前，还包括：若识别到所述视觉图出现预设的第一语义地图信息；

所述获取当前触觉图权重值和当前刚体图权重值之前，包括：

在所述机器人即将进入第一语义地图前，调用与所述第一语义地图信息对应的预设触觉图权重值和预设刚体图权重值。

3.根据权利要求1或2所述的方法，其特征在于，所述视觉图包括若干个第一栅格和若干个第二栅格，所述第一栅格内包括机器人足端的当前和/或历史落足点，所述第二栅格内不包括所述落足点；

所述根据机器人足端的当前和/或历史落足点，确定触觉图包括：

获取所述第一栅格的触觉高度，所述第一栅格的触觉高度由所述落足点的垂直坐标确定；

将所述第一栅格的触觉高度输入至预测算法中，预测所述第二栅格的触觉高度；

根据所述第一栅格、第一栅格的触觉高度，第二栅格以及第二栅格的触觉高度，确定触觉图。

4.根据权利要求3所述的方法，其特征在于，根据所述视觉图和所述触觉图，确定刚体图包括：

基于所述视觉图的三维点云数据，确定所述第一栅格的视觉高度和所述第二栅格的视觉高度；

将所述第一栅格的视觉高度与触觉高度的差值，作为所述第一栅格的非刚体高度；

基于所述第一栅格的非刚体高度，预测所述第二栅格的非刚体高度；

基于所述第一栅格的视觉高度与非刚体高度的差值，确定所述第一栅格的刚体高度；

基于所述第二栅格的视觉高度与非刚体高度的差值，确定所述第二栅格的刚体高度；

根据所述第一栅格、第一栅格的刚体高度，第二栅格以及第二栅格的刚体高度，确定刚体图。

5.根据权利要求4所述的方法，其特征在于，获取当前触觉图权重值和当前刚体图权重值包括：

计算所述第一栅格的触觉高度的方差，得到触觉高度方差；

计算所述第一栅格的非刚体高度的方差，得到非刚体高度方差；

针对每个第一栅格和第二栅格，将所述触觉高度方差、所述非刚体高度方差以及所述栅格对应的权重调节因子输入至归一化算法中，获得每个所述栅格的触觉高度权重和刚体高度权重；其中，所述权重调节因子包括所述栅格与指定落足点的水平距离，和/或，所述指定落足点的生成时间与当前时间的差值；

基于所有所述栅格的触觉高度权重和刚体高度权重，确定当前触觉图权重值和当前刚体图权重值。

6.根据权利要求4所述的方法，其特征在于，基于所述第一栅格的非刚体高度，预测所述第二栅格的非刚体高度包括：

针对每个第二栅格，将所述第一栅格的非刚体高度，以及所述第二栅格对应的衰减因子输入至数据平滑算法中，预测所述第二栅格的非刚体高度；

其中，所述衰减因子的大小，与所述第二栅格和所述第一栅格之间的距离成反比。

7.一种足式机器人，其特征在于，包括：

机身；

与所述机身通信的控制系统，所述控制系统包括处理器和与所述处理器通信的存储器，所述存储器存储指令，所述指令在所述处理器上被运行时使所述处理器执行操作，所述操作包括：

通过视觉传感器获取周围环境的视觉图；

根据机器人足端的当前和/或历史落足点，确定触觉图；

根据所述视觉图和所述触觉图，确定刚体图；

获取当前触觉图权重值和当前刚体图权重值；

根据所述触觉图、所述刚体图、所述当前触觉图权重值以及当前刚体图权重值，确定融合图；

根据所述融合图，规划机器人足端轨迹。

8.根据权利要求7所述的机器人，其特征在于，所述视觉图包括语义地图信息；在根据所述视觉图和所述触觉图，确定刚体图之前，所述操作还包括：若识别到所述视觉图出现预设的第一语义地图信息；

所述获取当前触觉图权重值和当前刚体图权重值之前，包括：

在所述机器人即将进入第一语义地图前，调用与所述第一语义地图信息对应的预设触觉图权重值和预设刚体图权重值。

9.根据权利要求7所述的机器人，其特征在于，所述视觉图包括若干个第一栅格和若干个第二栅格，所述第一栅格内包括机器人足端的当前和/或历史落足点，所述第二栅格内不包括所述落足点；

所述根据机器人足端的当前和/或历史落足点，确定触觉图包括：

获取所述第一栅格的触觉高度，所述第一栅格的触觉高度由所述落足点的垂直坐标确定；

将所述第一栅格的触觉高度输入至预测算法中，预测所述第二栅格的触觉高度；

根据所述第一栅格、第一栅格的触觉高度，第二栅格以及第二栅格的触觉高度，确定触觉图。

10.根据权利要求9所述的机器人，其特征在于，根据所述视觉图和所述触觉图，确定刚体图包括：

基于所述视觉图的三维点云数据，确定所述第一栅格的视觉高度和所述第二栅格的视觉高度；

将所述第一栅格的视觉高度与触觉高度的差值，作为所述第一栅格的非刚体高度；

基于所述第一栅格的非刚体高度，预测所述第二栅格的非刚体高度；

基于所述第一栅格的视觉高度与非刚体高度的差值，确定所述第一栅格的刚体高度；

基于所述第二栅格的视觉高度与非刚体高度的差值，确定所述第二栅格的刚体高度；

根据所述第一栅格、第一栅格的刚体高度，第二栅格以及第二栅格的刚体高度，确定刚体图。

11.根据权利要求10所述的机器人，其特征在于，获取当前触觉图权重值和当前刚体图权重值包括：

基于所述第一栅格的触觉高度和非刚体高度，得到触觉图权重值和刚体图权重值；

计算所述第一栅格的触觉高度的方差，得到触觉高度方差；

计算所述第一栅格的非刚体高度的方差，得到非刚体高度方差；

针对每个第一栅格和第二栅格，将所述触觉高度方差、所述非刚体高度方差以及所述栅格对应的权重调节因子输入至归一化算法中，获得每个所述栅格的触觉高度权重和刚体高度权重；其中，所述权重调节因子包括所述栅格与指定落足点的水平距离，和/或，所述指定落足点的生成时间与当前时间的差值；

基于所有所述栅格的触觉高度权重和刚体高度权重，确定当前触觉图权重值和当前刚体图权重值。

12.根据权利要求10所述的机器人，其特征在于，基于所述第一栅格的非刚体高度，预测所述第二栅格的非刚体高度包括：

针对每个第二栅格，将所述第一栅格的非刚体高度，以及所述第二栅格对应的衰减因子输入至数据平滑算法中，预测所述第二栅格的非刚体高度；

其中，所述衰减因子的大小，与所述第二栅格和所述第一栅格之间的距离成反比。