CN112224304A - 一种轮步复合移动平台及其手势、语音控制方法 - Google Patents

Abstract

本发明提供了一种轮步复合移动平台及其手势、语音控制方法，所述移动平台包括平台躯体、四个轮式运动机构、以及与平台躯体连接的四条腿式运动机构，所述腿式运动机构包括第一驱动结构、第一支腿、第二驱动结构和第二支腿，所述第一支腿与平台躯体通过第一驱动结构活动连接，所述第二支腿与第一支腿通过第二驱动结构活动连接，所述轮式运动机构包括与第二支腿转动连接的车轮。本发明省去了操作人员低头进行遥控的时间，无需携带遥控设备，一个手势或者几句指令就可以实现对平台的任务下达，十分方便，也很容易掌握。

Description

一种轮步复合移动平台及其手势、语音控制方法

技术领域

本发明属于移动机器人技术领域，尤其涉及一种轮步复合移动平台及其手势、语音控制方法。

背景技术

地面移动机器人大致可分为三类：轮式、履带式和足式机器人，车辆属于典型的轮式机器人，它可以轻松将我们送达各种目的地，但自然界有许多地形是传统轮式或履带式难以到达的，而哺乳动物却能在这些地形行走自如，这充分显示了四足移动方式的灵活性。目前较完善的四足机器人研发成果有：波士顿Spot、MIT Cheetah、已经参与美军军演的Ghost Robotics、瑞士苏黎世联邦理工学院的轮腿复合四足机器人Anymal等等。其中，Anymal与常见的四足机器人不同，采用轮足复合的形式，兼具了轮式、足式的优点，遇到障碍物，抬腿的同时辅助轮的转动，将更有利于机器人的越障。这些四足机器人都具备不同程度的自我感知能力，可以完成自主导航、上下楼梯等任务，但在实际使用过程中，仍离不开人为的遥控操作，借助遥控器实现不同模式的切换，以及某些复杂的运动决策。

目前的手势控制多见于智能家具、智能小车等领域，以Kinect手势识别为例，Kinect手势识别实质是基于视觉的手势识别，体感设备采集图像，获取手指骨骼坐标，提取手部运动特征来实现。常见的手部运动特征主要包括左右手的向前、向左、向右、向上伸展等手势。利用Kinect获取的人体骨骼信息来识别手势动作，并通过计算不同骨骼关节之间的夹角来识别人体的特定姿势。

现有技术的客观缺点：

1、纯足式机器人运动速度以及效率不高，纯轮式机器人越障能力不强。

2、现有轮足以及四足机器人普遍采用遥控操作，在工业化应用以及其他特殊场合，遥控设备的使用也是操作者增加的负担，将操作者的一部分注意力分散在遥控器的操作上，降低了工作或任务完成的效率，尤其是一些复杂、危机的任务工况，如地震救援、警用防爆等，时间是非常宝贵的，对机器人操作的实时性十分重要，这种情况下，低头进行遥控操作很有可能耽误某些有效的任务时机，并且对遥控设备的熟练控制也并不是一项容易的技能。轮腿机器人遥操作领域的研究还需填补。

3、目前手势识别(用于遥控小车等方面)大多采用Leap Motion、Kinect等体感设备实现，成本较高，功能实现也相对较繁琐。

4、单一的手势识别控制很容易在复杂工作环境下，如丛林任务等，受到灌木等障碍物的遮挡，出现失效的情况。

发明内容

鉴于现有技术的不足，本发明公开了一种轮步复合移动平台及其手势、语音控制方法，本发明省去了操作人员低头进行遥控的时间，无需携带遥控设备，一个手势或者几句指令就可以实现对平台的任务下达，十分方便，也很容易掌握。

为了实现上述目的，本发明采用了如下技术方案：

一种轮步复合移动平台，包括平台躯体、四个轮式运动机构、以及与平台躯体连接的四条腿式运动机构，所述腿式运动机构包括第一驱动结构、第一支腿、第二驱动结构和第二支腿，所述第一支腿与平台躯体通过第一驱动结构活动连接，所述第二支腿与第一支腿通过第二驱动结构活动连接，所述轮式运动机构包括与第二支腿转动连接的车轮。

进一步地，所述轮式运动机构还包括驱动车轮转动的驱动元件。

进一步地，所述轮步复合移动平台还包括设置在平台躯体前端的摄像头，所述摄像头配置有百度人体分析API系统和手势处理控制系统，所述摄像头与百度人体分析API系统连接，以将摄像头识别的手势发送给百度人体分析API系统，所述百度人体分析API系统与手势处理控制系统连接，以使百度人体分析API系统识别到的不同手势指令发送给手势处理控制系统，所述手势处理控制系统分别与四个轮式运动机构和四条腿式运动机构连接，以使手势处理控制系统根据不同手势控制轮步复合平台实现相应的轮步切换、姿态调整、爬楼梯等动作。

进一步地，所述轮步复合移动平台还包括语音接收器，所述语音接收器配置有语音预存对比系统和语音处理控制系统，所述语音接收器与语音预存对比系统连接，以将语音接收器识别的目标语音指令发送给语音预存对比系统，所述语音预存对比系统与语音处理控制系统连接，所述语音预存对比系统将目标语音指令与预存的语音指令对比匹配，所述语音预存对比系统将匹配成功的目标语音指令发送给语音处理控制系统，以使目标语音处理控制系统根据不同语音指令控制轮步复合平台实现相应的轮步切换、姿态调整、爬楼梯等动作。

一种轮步复合移动平台的手势控制方法，包括如下步骤：

A1：通过摄像头识别的人体手势，并将所述人体手势发送给百度人体分析API系统；

A2：通过百度人体分析API系统识别不同手势，并将正确的手势发送给手势处理控制系统；

A3：通过手势发送给手势处理控制系统根据正确手势控制轮步复合平台实现相应的轮步切换、姿态调整、爬楼梯等动作。

一种轮步复合移动平台的语音控制方法，包括如下步骤：

B1：通过语音接收器接收的用户发出的目标语音指令，并将所述目标语音指令发送给语音预存对比系统；

B2：通过语音预存对比系统将接收的所述目标语音指令与预存在语音库中的语音指令进行对比匹配，并将匹配成功的目标语音指令发送给语音处理控制系统；

B3：通过语音处理控制系统根据目标语音指令控制轮步复合平台实现相应的轮步切换、姿态调整、爬楼梯等动作。

本发明具有如下有益效果：

1、本发明提供的轮步复合移动平台及其手势、语音控制方法，其兼具了轮式和四足机器人的运动优势，根据不同地形采取不同的运动模式，此外，在腿式越障的同时，辅助轮式转动，可大大提高机器人行进效率。

2、本发明提供的轮步复合移动平台及其手势、语音控制方法，在轮足以及四足机器人操纵领域，本专利的手势语音控制减轻了传统遥控操作的工作负担，控制更加简便，提高了操作者工作或任务完成的效率，尤其对于一些复杂、危机的任务工况，如地震救援、警用防爆等，时间非常宝贵，对机器人操作的实时性十分重要，本控制方法省去了操作人员低头进行遥控操作的时间，无需携带遥控设备，一个手势或者几句指令就可以实现对平台的任务下达，十分方便，也很容易掌握。

3、本发明提供的轮步复合移动平台及其手势、语音控制方法，其利用手势语音联合控制，在某些复杂应用场景，手势识别失效时，可提供语音辅助控制。

4、本发明提供的轮步复合移动平台及其手势、语音控制方法，其中，手势识别控制利用Python Opencv，摄像头获取操作者手势图像，调用百度人体分析API完成，与LeapMotion、Kinect等体感设备相比，摄像头成本低廉，接口调用方便，非常适合在实验平台上的部署。

附图说明

图1为本发明提供的一种轮步复合移动平台的结构示意图；

图2为本发明提供的一种轮步复合移动平台的手势、语音控制方法的流程示意图。

其中：1-摄像头；2-平台躯体；3-腿式运动机构；31-第一驱动结构；32-第一支腿；33-第二驱动结构；34-第二支腿；4-移动平台的车轮。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

自然界中很多地形是轮式或履带式难以到达的，四足机器人具备很好的越障性能，可穿越各种复杂地形，但其在行进效率和速度方面不如轮式等机器人的高效运动。在一些特殊复杂工况，如抗震救灾、警用防爆等，需要一种兼具越障性能与高效行进的移动平台，来协助进行环境勘察、人员搜索、物资运输等任务，因此设计一种兼具轮式与四足运动优势的轮步复合移动平台是十分必要的。

目前在四足以及轮足机器人的操控领域，大多采用的是传统的遥控操作，但类似于地震救援、警用防爆等复杂、危机的任务环境，时间是非常宝贵的，此时平台操作的实时性变得十分重要，传统的遥控操作方式将人员的一部分注意力分散到了低头遥控操作上，很有可能就会耽误某些有效的任务时机，并且对遥控设备的熟练控制也并不是一项容易的技能，很显然，轮步复合移动装置需要一种高效简便的操纵方式来发挥出其优秀的性能。

如图1所示，一种轮步复合移动平台，包括平台躯体2、四个轮式运动机构、以及与平台躯体连接的四条腿式运动机构3，所述腿式运动机构3包括第一驱动结构31、第一支腿32、第二驱动结构33和第二支腿34，所述第一支腿32与平台躯体1通过第一驱动结构31活动连接，所述第二支腿34与第一支腿32通过第二驱动结构33活动连接，所述轮式运动机构包括与第二支腿34转动连接的车轮4；所述轮式运动机构还包括驱动车轮4转动的驱动元件。

在本实施例中，所述轮步复合移动平台还包括设置在平台躯体前端的摄像头1，所述摄像头1配置有百度人体分析API系统和手势处理控制系统，所述摄像头1与百度人体分析API系统连接，以将摄像头1识别的手势发送给百度人体分析API系统，所述百度人体分析API系统与手势处理控制系统连接，以使百度人体分析API系统识别到的不同手势指令发送给手势处理控制系统，所述手势处理控制系统分别与四个轮式运动机构和四条腿式运动机构连接，以使手势处理控制系统根据不同手势控制轮步复合平台实现相应的轮步切换、姿态调整、爬楼梯等动作。

在本实施例中，所述轮步复合移动平台还包括语音接收器，所述语音接收器配置有语音预存对比系统和语音处理控制系统，所述语音接收器与语音预存对比系统连接，以将语音接收器识别的目标语音指令发送给语音预存对比系统，所述语音预存对比系统与语音处理控制系统连接，所述语音预存对比系统将目标语音指令与预存的语音指令对比匹配，所述语音预存对比系统将匹配成功的目标语音指令发送给语音处理控制系统，以使目标语音处理控制系统根据不同语音指令控制轮步复合平台实现相应的轮步切换、姿态调整、爬楼梯等动作。

如图2所示，一种轮步复合移动平台的手势控制方法，包括如下步骤：

(1)通过摄像头1识别的人体手势，并将所述人体手势发送给百度人体分析API系统；

(2)通过百度人体分析API系统识别不同手势，并将正确的手势发送给手势处理控制系统；

(3)通过手势发送给手势处理控制系统根据正确手势控制轮步复合平台实现相应的轮步切换、姿态调整、爬楼梯等动作。

一种轮步复合移动平台的语音控制方法，包括如下步骤：

(1)通过语音接收器接收的用户发出的目标语音指令，并将所述目标语音指令发送给语音预存对比系统；

(2)通过语音预存对比系统将接收的所述目标语音指令与预存在语音库中的语音指令进行对比匹配，并将匹配成功的目标语音指令发送给语音处理控制系统；

(3)通过语音处理控制系统根据目标语音指令控制轮步复合平台实现相应的轮步切换、姿态调整、爬楼梯等动作。

本轮步复合移动平台不同于单纯的轮式以及四足移动机械，其具备多种运行模式，并在越障、行进等操作的执行效率上有着显著优势，本移动平台具备轮腿切换、姿态调整、自动跟随、爬楼梯等障碍、奔跑跳跃、左右转向等操作模式，满足抗震救灾等应急场合的基本功能需求。

本轮步复合移动平台所具备的各种优良性能需要一种高效简便的操作手段才能得以充分发挥，因此本专利提出了一种轮步复合移动平台及其手势、语音协同控制方法，来完成以上各种模式的切换操控。与传统遥控操作相比，本控制方法省去了操作人员低头进行遥控的时间，无需携带遥控设备，一个手势或者几句指令就可以实现对平台的任务下达，十分方便，也很容易掌握。

手势识别利用Python Opencv，安装于移动平台前部的摄像头实时获取操作者手势图像，调用百度人体分析API系统完成手势识别，根据识别到的不同手势指令，移动平台实现相应的轮步切换、姿态调整、爬楼梯等动作。以一个简单例子进行说明，移动平台正以轮式行进方式跟随着前方操作者，此时需要爬越前方出现的楼梯，操作者只需给出爬楼梯的相应手势指令，后方的移动平台识别之后，就会立即进入爬楼梯模式，最终成功完成任务，从障碍发现到命令下达再到最后的任务完成，整个操作过程不需要人员低头进行遥控器命令，避免了人员注意力的分散，减轻了工作负担，保证任务完成的效率。

考虑到实际工作环境的复杂性，如丛林任务等，由于灌木等障碍物的遮挡，手势识别很可能存在失效的情况，因此本专利进行了语音与手势协同控制的研究，两种控制互相协作，确保对移动平台的最有效操纵。当手势识别输入失效的情况下，操作者可进行语音指令的下达，如逻辑图所示，移动平台将输入的指令与指令库命令进行比对，发现匹配指令后就下达给平台，使其执行相应动作。在这里，系统只对符合指令列表的语音输入做出反应，有效减少了外界干扰因素的影响，确保移动平台动作执行的准确性。并且，为了在手势失效情况下，能迅速切换至语音识别控制模式，语音控制的优先级应大于手势控制。

部分模式控制说明如下：

1、轮腿切换：本平台可根据输入的手势以及语音指令实现轮式行进以及腿式行进两种不同切换(模式一)。当要求处于轮式运动状态时，只需做出相应的控制手势，或者发出语音指令(环境影响，手势识别失效时)，此时，腿式运动机构3收缩，第一驱动机构31使第一支腿32几乎处于水平位置，同样，第二驱动机构33也使第二支腿34收缩至预设的合适位置，全部收缩完成后，腿式运动机构的驱动元件固定当前角度，此时移动平台靠车轮4行进；当平台收到腿式行进指令时，则根据具体工况，腿式运动机构的驱动元件进行相应的合适驱动，完成步态前进。

2、姿态调整：对移动平台下达通过某些低矮隧道、栅栏等低姿态前进命令时(模式二)，平台躯干前端的摄像头一旦采集到相应手势，或者平台收到相应语音命令后，则会开启姿态调整模式，评估工况，然后根据处理系统计算的关节输入角度，第一驱动机构31、第二驱动机构33控制相应支腿，使移动平台以合适的高度通过障碍。(其余姿态调整类似)

3、爬楼梯等越障：下达命令后(模式四)，平台借助各种视觉装置的图像输入，处理系统规划平台合适的运动轨迹以及四足依次的最优落地位置等，腿式运动机构驱动第一驱动机构31、第二驱动机构33根据输入角度进行动作，完成最终的越障任务。以Trot爬楼梯为例，Trot步态兼具速度与稳定性，该步态有两个节拍，左前腿与右后腿一起迈上台阶，然后右前腿与左后腿再一起迈出，对角交叉迈步实现整体的腿式运动，在步态迈台阶的同时，车轮4辅助转动，提高了平台的行进效率。

4、左右转向等：本平台采用轮式的差速转向，位于同一侧的车轮4为一组，左右侧两组车轮在收到左右转向指令(模式六)时，形成不同的速度差，完成平台的整体左右行进。

本发明给出的步态案例为Trot行进，可换为walk等其余步态，原理都一样，只是各足的摆动相、支撑相发生变化，因此不以此限制本发明的保护范围。

本平台各模式的输入指令可替换为其他输入，原理都是一样的，因此不以此限制本发明的保护范围。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种轮步复合移动平台，其特征在于，包括平台躯体、四个轮式运动机构、以及与平台躯体连接的四条腿式运动机构，所述腿式运动机构包括第一驱动结构、第一支腿、第二驱动结构和第二支腿，所述第一支腿与平台躯体通过第一驱动结构活动连接，所述第二支腿与第一支腿通过第二驱动结构活动连接，所述轮式运动机构包括与第二支腿转动连接的车轮。

2.根据权利要求1所述的轮步复合移动平台，其特征在于，所述轮式运动机构还包括驱动车轮转动的驱动元件。

3.根据权利要求2所述的轮步复合移动平台，其特征在于，所述轮步复合移动平台还包括设置在平台躯体前端的摄像头，所述摄像头配置有百度人体分析API系统和手势处理控制系统，所述摄像头与百度人体分析API系统连接，以将摄像头识别的手势发送给百度人体分析API系统，所述百度人体分析API系统与手势处理控制系统连接，以使百度人体分析API系统识别到的不同手势指令发送给手势处理控制系统，所述手势处理控制系统分别与四个轮式运动机构和四条腿式运动机构连接，以使手势处理控制系统根据不同手势控制轮步复合平台实现相应的轮步切换、姿态调整、爬楼梯等动作。

4.根据权利要求2所述的轮步复合移动平台，其特征在于，所述轮步复合移动平台还包括语音接收器，所述语音接收器配置有语音预存对比系统和语音处理控制系统，所述语音接收器与语音预存对比系统连接，以将语音接收器识别的目标语音指令发送给语音预存对比系统，所述语音预存对比系统与语音处理控制系统连接，所述语音预存对比系统将目标语音指令与预存的语音指令对比匹配，所述语音预存对比系统将匹配成功的目标语音指令发送给语音处理控制系统，以使目标语音处理控制系统根据不同语音指令控制轮步复合平台实现相应的轮步切换、姿态调整、爬楼梯等动作。

5.一种根据权利要求3所述的轮步复合移动平台的手势控制方法，其特征在于，包括如下步骤：

A1：通过摄像头识别的人体手势，并将所述人体手势发送给百度人体分析API系统；

A2：通过百度人体分析API系统识别不同手势，并将正确的手势发送给手势处理控制系统；

A3：通过手势发送给手势处理控制系统根据正确手势控制轮步复合平台实现相应的轮步切换、姿态调整、爬楼梯等动作。

6.一种根据权利要求4所述的轮步复合移动平台的语音控制方法，其特征在于，包括如下步骤：

B1：通过语音接收器接收的用户发出的目标语音指令，并将所述目标语音指令发送给语音预存对比系统；

B2：通过语音预存对比系统将接收的所述目标语音指令与预存在语音库中的语音指令进行对比匹配，并将匹配成功的目标语音指令发送给语音处理控制系统；

B3：通过语音处理控制系统根据目标语音指令控制轮步复合平台实现相应的轮步切换、姿态调整、爬楼梯等动作。

Images