CN104656676B - 一种仿人机器人手腿眼伺服控制的装置与方法 - Google Patents

Abstract

本发明提供了一种仿人机器人手腿眼伺服控制的装置，即操作、移动、视觉伺服控制的装置，包括仿人机器人操作系统、移动系统、视觉系统以及手腿眼协调控制器。本发明还提供了一种上述装置的控制方法，包括根据作业任务对仿人机器人进行全身协调控制，充分发挥仿人机器人特有的优势。增加仿人机器人的应用场合以及环境适应能力，提高仿人机器人的应用性。

Description

一种仿人机器人手腿眼伺服控制的装置与方法

技术领域

本发明公开了一种仿人机器人手腿眼伺服控制的装置与方法，属于机器人领域。

背景技术

仿人机器人具有人类的外形，够像人一样在人类的环境中工作，使用为人类设计的工具而不必对工具进行改造。仿人机器人具有的优势使其成为为人类服务的最理想的机器人。近年来，仿人机器人的相关技术有了重要进展，特别是在在稳定行走，灵巧操作以及智能交互方面发展迅速。

人类的生活环境是复杂的、动态变化的，仿人机器人不仅要具有对人类环境的适应能力，还需代替人类完成一系列的工作，这就使得仿人机器人应具有较高移动作业能力。不仅要求机器人同时具备强大的移动能力以及灵巧操作能力，还需要具备在移动中作业的能力。由此需要将仿人机器人的视觉、移动以及操作系统有机结合起来。

现有仿人机器人视觉伺服主要包括外部视觉或者内部视觉，可以完成目标识别和环境感知等功能。但是对于需要视觉、移动、操作三种功能协同操作的作业，现有方法无法实现，不能满足仿人机器人在复杂环境中移动作业的需要。

中国发明专利200810063150.1中公开了一种仿人机器人视觉系统，该系统通过无线视觉对仿人机器人进行远程遥控。主要是利用视觉系统进行场景识别，不涉及视觉、移动、操作相互协调控制。

发明内容：

本发明涉及一种仿人机器人手腿眼伺服控制的装置，主要基于手腿眼伺服协调控制，以增强机器人的移动作业能力。

一种仿人机器人手腿眼伺服控制的装置，能够基于手腿眼伺服协调控制，以增强机器人的移动作业能力，所述装置包括：

仿人机器人本体的视觉系统，

仿人机器人的双足移动系统，

仿人机器人的双手操作系统，以及

基于手腿眼伺服的协调控制器。

优选地，所述仿人机器人本体的视觉系统包括：

由两个高速摄像头组成的嵌入式双目视觉识别系统，包括高速嵌入式DSP和FPGA，实现两路PAL/NTSL制式摄像头图像的实时采集、处理、显示和传输任务。

优选地，所述仿人机器人的双足移动系统包括仿人机器人双腿，每条腿包括六个旋转自由度，能够实现行走、转弯、横移的基本运动功能。

优选地，所述仿人机器人双手操作系统包括仿人机器人双手，每条手臂具有6个自由度，每只手有5个具有主动关节的手指，可以实现对目标物体的抓取，推，拉的基本操作功能。

优选地，所述基于手腿眼伺服协调控制器能够接收视觉系统采集的视觉信息，结合机器人自身状态，针对操作任务，通过仿人机器人全身协调控制，规划机器人手部和腿部的运动轨迹。并实时的检测机器人状态变化，改变机器人的规划数据。

优选地，所述仿人机器人全身协调控制包括：考虑运动学约束和动力学约束所构成的全身约束控制。

优选地，所述运动学约束包括：机器人正运动学，机器人逆运动学，机器人各个关节的运动范围，机器人末端的运动范围，外界环境的几何约束。

优选地，所述动力学约束包括：外界环境作用在机器人上面的外力，包括地面的支撑力，摩擦力，以及作业目标和外界环境与机器人的接触力，仿人机器人由于运动对自身产生的各种作用力和力矩。

一种使用以上技术方案中任一项所述的装置的仿人机器人移动中作业的控制方法，其步骤主要包括：

视觉系统识别环境信息，将所述环境信息发送给基于手腿眼伺服的协调控制器；

所述协调控制器分析视觉信息，并根据操作任务，在考虑机器人全身运动学和动力学的条件下，实时规划机器人手臂和腿部的运动；

使用双手操作系统和双足移动系统执行协调控制器发送的指令；

使用视觉系统根据视觉反馈的环境变化信息，调整规划轨迹和参数，直到完成操作任务。

本发明将仿人机器人三个主要系统：手(操作系统)，腿(移动系统)，眼(视觉系统)有机结合起来，增加了仿人机器人的应用场景和环境适应能力，使仿人机器人在人类的生活环境内完成更多的任务。

附图说明：

图1为本发明所提供的手脚眼伺服协调控制器。

图2为本发明所提供的全身协调控制。

具体实施方式：

为使本发明的技术方案更加清楚，下面将结合附图对本发明实施方式进一步的详细描述。

一种仿人机器人手腿眼伺服控制的装置，由仿人机器人视觉系统，仿人机器人双足移动系统，仿人机器人双手操作系统，以及基于手腿眼伺服的协调控制器。

所述仿人机器人视觉系统包括：

由两个高速摄像头组成的嵌入式双目视觉识别系统，由高速嵌入式DSP和FPGA硬件和固化在上面的软件组成，实现两路PAL/NTSL制式摄像头图像的实时采集、处理、显示和传输任务。

所述仿人机器人双足移动系统包括：

由仿人机器人双腿所组成，每条腿包括六个旋转自由度，可以实现行走、转弯、横移等基本运动功能。

所述仿人机器人双手操作系统包括：

由仿人机器人双手所组成，每条手臂具有6个自由度，每只手有5个具有主动关节的手指。可以实现对目标物体的抓取，推，拉等基本操作功能。

所述基于手腿眼伺服协调控制器包括：

接收视觉系统采集的视觉信息，结合机器人自身状态，针对操作任务，根据机器人全身运动学与动力学，规划机器人手部和腿部的运动轨迹。并实时的检测机器人状态变化，改变机器人的规划数据。

一种仿人机器人手腿眼伺服控制的方法，其主要步骤包括：

根据作业任务，双目视觉系统检测作业目标深度、颜色和形状，在完成目标物体匹配之后，采用特征点标记目标物体，进行目标物体的定位；将目标物体的位置、姿态信息实时传送给手腿眼伺服协调控制器。

手腿眼伺服协调控制器工作过程如图1所示。手腿眼伺服协调控制器根据作业指令和作业目标，结合机器人自身位置姿态以及作业目标的位置和姿态，在考虑仿人机器人全身运动学和动力学的基础之上，进行全身协调控制，对移动系统和操作系统进行规划，并将运动指令传送给机器人的移动系统和操作系统。

所述全身协调控制如图2所示，运动学约束包括：机器人正运动学，机器人逆运动学，机器人各个关节的运动范围，机器人末端，即手部、脚部的运动范围，外界环境的几何约束。动力学约束包括：外界环境作用在机器人上面的外力，包括地面的支撑力，摩擦力，以及作业目标和外界环境与机器人的接触力。仿人机器人由于运动对自身产生的各种作用力和力矩等。

移动系统和操作系统按照协调控制器的指令运动，并将机器人本体的信息实时的反馈给协调控制器。

协调控制系统根据更新之后的机器人信息和环境、作业目标信息，修正对移动系统和操作系统的运动规划，形成闭环控制。

重复上述步骤，直到机器人完成任务。

以上所述的实施例，只是本发明较优选的具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (1)

1.一种使用仿人机器人手腿眼伺服控制的装置的仿人机器人移动中作业的控制方法，所述仿人机器人手腿眼伺服控制的装置能够基于手腿眼伺服协调控制，以增强机器人的移动作业能力，所述装置包括：

仿人机器人本体的视觉系统，

仿人机器人的双足移动系统，

仿人机器人的双手操作系统，以及

基于手腿眼伺服的协调控制器；

所述仿人机器人本体的视觉系统包括：

由两个高速摄像头组成的嵌入式双目视觉识别系统，包括高速嵌入式DSP和FPGA，实现两路PAL/NTSC制式摄像头图像的实时采集、处理、显示和传输任务；

所述仿人机器人的双足移动系统包括仿人机器人双腿，每条腿包括六个旋转自由度，能够实现行走、转弯、横移的基本运动功能；

所述仿人机器人双手操作系统包括仿人机器人双手，每条手臂具有6个自由度，每只手有5个具有主动关节的手指，可以实现对目标物体的抓取，推，拉的基本操作功能；

所述基于手腿眼伺服协调控制器能够接收视觉系统采集的视觉信息，结合机器人自身状态，针对操作任务，通过仿人机器人全身协调控制，规划机器人手部和腿部的运动轨迹，并实时的检测机器人状态变化，改变机器人的规划数据；

所述仿人机器人全身协调控制包括：考虑运动学约束和动力学约束所构成的全身约束控制；

所述运动学约束包括：机器人正运动学，机器人逆运动学，机器人各个关节的运动范围，机器人末端的运动范围，外界环境的几何约束；

所述动力学约束包括：外界环境作用在机器人上面的外力，包括地面的支撑力，摩擦力，以及作业目标和外界环境与机器人的接触力，仿人机器人由于运动对自身产生的各种作用力和力矩；

所述控制方法的步骤主要包括：

根据作业任务，所述视觉系统检测作业目标深度、颜色和形状，在完成目标物体匹配之后，采用特征点标记目标物体，进行目标物体的定位；将目标物体的位置、姿态信息实时传送给基于手腿眼伺服的协调控制器；

基于手腿眼伺服的协调控制器根据作业指令和作业目标，结合仿人机器人自身位置姿态以及作业目标的位置和姿态，在考虑仿人机器人全身运动学和动力学的基础之上，进行全身协调控制，对双足移动系统和双手操作系统进行规划，并将运动指令传送给所述仿人机器人的双足移动系统和双手操作系统；

双足移动系统和双手操作系统按照基于手腿眼伺服的协调控制器的指令运动，并将仿人机器人本体的信息实时的反馈给基于手腿眼伺服的协调控制器；

基于手腿眼伺服的协调控制器根据更新之后的机器人信息和环境、作业目标信息，修正对移动系统和操作系统的运动规划，形成闭环控制；

重复上述步骤，直到机器人完成任务。