CN107336233B - 基于惯性动捕的人-机器人虚实交互控制系统 - Google Patents

基于惯性动捕的人-机器人虚实交互控制系统 Download PDF

Info

Publication number
CN107336233B
CN107336233B CN201710412172.3A CN201710412172A CN107336233B CN 107336233 B CN107336233 B CN 107336233B CN 201710412172 A CN201710412172 A CN 201710412172A CN 107336233 B CN107336233 B CN 107336233B
Authority
CN
China
Prior art keywords
robot
virtual
action
human
data information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710412172.3A
Other languages
English (en)
Other versions
CN107336233A (zh
Inventor
徐国政
向明
陈雯
罗熊
王雯露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201710412172.3A priority Critical patent/CN107336233B/zh
Publication of CN107336233A publication Critical patent/CN107336233A/zh
Application granted granted Critical
Publication of CN107336233B publication Critical patent/CN107336233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于惯性动捕的人‑机器人虚实交互控制系统,包括基于MSP430和九轴传感器的运动测量方法和虚拟现实技术机器人交互界面模块。基于MSP430和九轴传感器的运动测量方法主要是设计可穿戴式惯性动作捕捉节点用以采集人体的实时姿态,运用卡尔曼滤波器解算姿态信息,再经过无线收发器将姿态以数据包的形式返回给主机系统,主机将数据进行分析处理,并产生指令控制已建立的三维人体模型作出响应,同时产生指令控制类人实体机器人运动,机器人将自身的响应情况反馈给主机;虚拟现实技术机器人交互界面模块,主要是通过SolidWorks设计一套虚拟人零件,再次,利用Labview构建虚拟环境进行动作还原,实现交互。

Description

基于惯性动捕的人-机器人虚实交互控制系统
技术领域
本发明涉及一种虚实交互控制系统领域,尤其是一种基于惯性动捕的人-机器人虚实交互控制系统,基于MPU9250惯性动作捕捉传感器来实现人机交互中动作的捕捉和再现,适合在各种环境中采集动作以控制机器人运动。
背景技术
从上个世纪末开始,国外就开展了人体动作捕捉技术的研究,其中声学、光学、机械、电磁和微机电等原理的动作捕捉技术逐渐兴起,随着微机电技术的进步,在欧美市场上逐渐出现惯性式的人体动作捕获装备。和一些发达国家相比,我国动作捕捉系统研究还有一定的差距,但己引起科学家们的高度重视,某些研究团队已经开始着手研究动作捕捉技术,如中科院吴健康教授及其团队正在研究MMocap动作捕捉系统。
但从国内外的研究现状和发展趋势来看,基于惯性传感器的动作捕捉系统对于人体生物力学基础研究平台的建设和应用主要有以下缺点:
1、设备成本高
国外的基于惯性传感器的商业动作捕捉系统,其具有安装简单、操作容易、方便佩戴和具有极强灵活性的特点,因而广受业界青睐,但是其也有不足的地方,价格昂贵,一套设备在50万左右,大大提高了数字人体跟踪研究平台的构建成本。
2、开发接口难以控制
由于国外的商业动作捕捉系统只有开放接口平台,购买之后却得不到关键源码,增加了与原有数字人体跟踪研究平台融合的难度,开发接口不易控制。
3、精确度差
国内对于惯性式动作捕捉系统的研究尚处于在探索阶段,达到应用级别的惯性动作捕捉系统屈指可数,并且在应用精度方面还有待提高。
4、性价比很低
相对于国外的动作捕捉系统,MMocap系统虽然已经推出市场,但是其捕捉精度相对于国外商业动作捕捉系统还是有差距的,其在整个性价比上来说是不划算的。
综合以上发现,国内的惯性动作捕捉系统还存在很多问题,在性价比上和精确度上是不如国外商业动作捕捉系统,但是国外动作捕捉系统又比较昂贵,开放接口不容易控制,无疑提高了人体生物力学基础研究平台的成本,成本低、简单易用、快速标定、姿态精确的动作捕捉系统将是我们惯性动作捕捉的探索方向。
发明内容
本发明目的是设计一套动作采集系统,且基于MPU9250惯性动作捕捉传感器来实现人机交互中动作的捕捉和再现,为了解决上述技术问题,本发明通过以下的技术方案来实现:支持系统的硬件主要包括两部分:一是本发明采用的MPU9250惯性动作捕捉传感器、组合型的测量仪器、分析仪器、MSP430主控微处理器、微型计算机等工具类硬件,动作采集模块使用MPU9250通过IIC总线检测,各个模块分别通过导线连接至MSP430主控微处理器,人机交互模块和动作合成模块分别通过RS232无线串口连接至上位机;二是为设计和实现诊断的设备、工具的使用者。支持系统的软件主要包括数据处理和分析软件,即嵌入动作采集模块和动作合成模块内部的算法代码,以及存在于大脑内的专项知识,研究经验,决策能力等。
本发明公开了一种基于惯性动捕的人-机器人虚实交互控制系统,旨在评估机器人模仿人体姿态动作的准确性,包括了动作采集模块,动作合成模块,人机交互模块。动作采集模块使用MPU9250惯性动作捕捉传感器来采集人体姿态的原始数据,实现对人体动作的实时采集;动作合成模块利用卡尔曼滤波算法对人体进行姿态解算,解耦得出最终动作反馈;人机交互模块通过Labview将虚拟环境和现实环境链接构成交互,其具体的步骤如下:
步骤1:设计一套虚拟动作场景,要求实现操作者各肢的水平、垂直、旋转的综合姿态动作;
步骤2:假设在操作者类人实体机器人上肢的各个重要关节安装传感器节点,分别进行标记;
步骤3:利用九轴传感器获取人体关节点的三维空间位置,得到动作角度数据信息,利用卡尔曼滤波算法进行姿态解算和滤波,计算出各个关节的相对参考节点的角度信息,建立实际运动数据信息;
步骤4:将得到的实际运动数据信息传送到Labview中,在虚拟端操纵虚拟机器人进行动作还原;
步骤5:由步骤3计算虚拟环境中类人实体机器人对虚拟机器人行动作还原后,生成类人实体机器人实际运动数据信息;
步骤6:对比虚拟机器人动作角度数据信息和实际运动数据信息,类人实体机器人继承动作角度数据信息中的有效的信息,操作者通过卡尔曼滤波算法滤除无效的动作信息,对动作反馈的过程进行评估,给操作者提供相应的反馈。
有益效果
本发明与现有技术相比具有如下优点:
本发明采用人机交互技术和虚拟现实技术,交互方式友好,通过类人机器人的反馈使得交互更加直观可靠;
本发明通过九轴传感器捕获追踪操作者动作角度信息,实时效果好,准确性高;
本发明优于传统的光学动捕技术的方面在于设备成本小,不受遮挡或光干扰的影响,易携带。
附图说明
图1为本发明的具体工作流程图。
图2为本发明中人体关节点。
图3为本发明总体电路框图。
图4为本发明核心节点MPU9250外围电路图。
图5为本发明中虚实交互控制系统界面图。
具体实施方式
为了加深对本发明的理解,下面以图2的节点场景示意图为例,并且结合图1、图3、图4、图5说明本发明的具体实施步骤:
本发明公开了一种基于惯性动捕的人-机器人虚实交互控制系统,包括了动作采集模块如图,动作合成模块,人机交互模块如。按图4来设计动作采集模块,使用MPU9250惯性动作捕捉传感器来采集人体姿态的原始数据,实现对人体动作的实时采集;动作合成模块利用卡尔曼滤波算法对人体进行姿态解算,人机交互模块通过Labview将虚拟环境和现实环境链接构成交互如图5。
其具体的步骤如下:
步骤1:设计一套虚拟动作场景,要求实现操作者各肢的水平、垂直、旋转的综合姿态动作;
步骤2:假设在操作者及类人实体机器人上肢的各个重要关节安装传感器节点,分别进行标记;
步骤3:利用九轴传感器获取人体关节点的三维空间位置,得到动作角度数据信息,利用卡尔曼滤波算法进行姿态解算和滤波,计算出各个关节的相对参考节点的角度信息,建立实际运动数据信息;
步骤4:将得到的实际运动数据信息传送到Labview中,在虚拟端操纵虚拟机器人进行动作还原;
步骤5:由步骤3计算虚拟环境中类人实体机器人对虚拟机器人行动作还原后,生成类人实体机器人实际运动数据信息;
步骤6:对比虚拟机器人动作角度数据信息和实际运动数据信息,类人实体机器人继承动作角度数据信息中的有效的信息,操作者通过卡尔曼滤波算法滤除无效的动作信息,对动作反馈的过程进行评估,给操作者提供相应的反馈。
本发明采用人机交互技术和虚拟现实技术,交互方式友好,通过类人机器人的反馈使得交互更加直观可靠;本发明通过九轴传感器捕获追踪操作者动作角度信息,对比动作角度数据信息和实际运动数据信息,继承动作角度数据信息中的有效的信息,通过卡尔曼滤波算法滤除无效的动作信息,对动作反馈的过程进行评估,实时效果好,准确性高;本发明优于传统的光学动捕技术的方面在于设备成本小,不受遮挡或光干扰的影响,易携带。

Claims (1)

1.一种基于惯性动捕的人-机器人虚实交互控制系统,旨在评估机器人模仿人体姿态动作的准确性,包括基于MSP430即主控微处理器和九轴传感器的运动测量方法和虚拟现实技术机器人交互界面模块,所述虚拟现实技术机器人交互界面模块包括动作采集模块,动作合成模块,人机交互模块;动作采集模块使用MPU9250通过IIC总线检测,各个模块分别通过导线连接至MSP430主控微处理器,人机交互模块和动作合成模块分别通过RS232无线串口连接至上位机;
其特征在于,所述基于MSP430和九轴传感器的运动测量方法为人机交互模块通过Labview将虚拟环境和现实环境链接构成交互,其具体的步骤如下:
步骤1:设计一套虚拟动作场景,要求实现操作者上肢的水平、垂直、旋转的综合姿态动作;
步骤2:假设在操作者及类人实体机器人上肢的各个重要关节安装传感器节点,分别进行标记;
步骤3:利用九轴传感器获取人体关节点的三维空间位置,得到动作角度数据信息,利用卡尔曼滤波算法进行姿态解算和滤波,计算出各个关节的相对参考节点的角度信息,建立实际运动数据信息;
步骤4:将得到的实际运动数据信息传送到Labview中,在虚拟端操纵虚拟机器人进行动作还原;
步骤5:由步骤3计算虚拟环境中类人实体机器人对虚拟机器人行动作还原后,生成类人实体机器人实际运动数据信息;
步骤6:对比虚拟机器人动作角度数据信息和实际运动数据信息,类人实体机器人继承动作角度数据信息中的有效的信息,操作者通过卡尔曼滤波算法滤除无效的动作信息,对动作反馈的过程进行评估,给操作者提供相应的反馈。
CN201710412172.3A 2017-06-02 2017-06-02 基于惯性动捕的人-机器人虚实交互控制系统 Active CN107336233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710412172.3A CN107336233B (zh) 2017-06-02 2017-06-02 基于惯性动捕的人-机器人虚实交互控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710412172.3A CN107336233B (zh) 2017-06-02 2017-06-02 基于惯性动捕的人-机器人虚实交互控制系统

Publications (2)

Publication Number Publication Date
CN107336233A CN107336233A (zh) 2017-11-10
CN107336233B true CN107336233B (zh) 2020-10-09

Family

ID=60220255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710412172.3A Active CN107336233B (zh) 2017-06-02 2017-06-02 基于惯性动捕的人-机器人虚实交互控制系统

Country Status (1)

Country Link
CN (1) CN107336233B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112775931B (zh) * 2019-11-05 2022-06-28 深圳市优必选科技股份有限公司 机械臂控制方法、装置、计算机可读存储介质及机器人
WO2021138577A1 (en) 2019-12-31 2021-07-08 Human Mode, LLC Proxy controller suit with optional dual range kinematics
CN112224303B (zh) * 2020-10-23 2021-12-21 之江实验室 一种基于惯性测量单元组的双足运动数据采集系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104379A (en) * 1996-12-11 2000-08-15 Virtual Technologies, Inc. Forearm-supported exoskeleton hand-tracking device
CN203039726U (zh) * 2012-12-12 2013-07-03 西安理工大学 人体三维空间姿态识别系统
CN104856684A (zh) * 2015-04-10 2015-08-26 深圳市虚拟现实科技有限公司 运动目标采集方法和系统
CN205581785U (zh) * 2016-04-15 2016-09-14 向京晶 一种多人室内虚拟现实互动系统
CN105975091A (zh) * 2016-07-05 2016-09-28 南京理工大学 一种基于惯性传感器的虚拟键盘人机交互技术
CN106445176A (zh) * 2016-12-06 2017-02-22 腾讯科技(深圳)有限公司 基于虚拟现实技术的人机交互系统及交互方法
CN106648116A (zh) * 2017-01-22 2017-05-10 隋文涛 一种基于动作捕捉的虚拟现实综合系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104379A (en) * 1996-12-11 2000-08-15 Virtual Technologies, Inc. Forearm-supported exoskeleton hand-tracking device
CN203039726U (zh) * 2012-12-12 2013-07-03 西安理工大学 人体三维空间姿态识别系统
CN104856684A (zh) * 2015-04-10 2015-08-26 深圳市虚拟现实科技有限公司 运动目标采集方法和系统
CN205581785U (zh) * 2016-04-15 2016-09-14 向京晶 一种多人室内虚拟现实互动系统
CN105975091A (zh) * 2016-07-05 2016-09-28 南京理工大学 一种基于惯性传感器的虚拟键盘人机交互技术
CN106445176A (zh) * 2016-12-06 2017-02-22 腾讯科技(深圳)有限公司 基于虚拟现实技术的人机交互系统及交互方法
CN106648116A (zh) * 2017-01-22 2017-05-10 隋文涛 一种基于动作捕捉的虚拟现实综合系统

Also Published As

Publication number Publication date
CN107336233A (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
Liu et al. High-fidelity grasping in virtual reality using a glove-based system
CN107336233B (zh) 基于惯性动捕的人-机器人虚实交互控制系统
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN102566523B (zh) 管家机器人及基于管家机器人的网络控制系统
CN103455657B (zh) 一种基于Kinect的现场作业仿真方法及其系统
CN109215774B (zh) 实时远程脉诊系统及其工作方法
CN102799270B (zh) 一种基于静电和肌电探测的人机交互方法
Seo et al. A comparative study of in-field motion capture approaches for body kinematics measurement in construction
CN109108970B (zh) 一种基于骨骼节点信息的交互式机械臂控制方法
Roy et al. Kinect camera based gait data recording and analysis for assistive robotics-an alternative to goniometer based measurement technique
CN103942829A (zh) 单幅图像的人体三维姿态重构方法
Baak et al. Analyzing and evaluating markerless motion tracking using inertial sensors
CN113221726A (zh) 一种基于视觉与惯性信息融合的手部姿态估计方法及系统
CN108932060A (zh) 手势立体互动投影技术
US11422625B2 (en) Proxy controller suit with optional dual range kinematics
CN103941869A (zh) 一种基于动作元的体感姿势识别方法
CN110142769B (zh) 基于人体姿态识别的ros平台在线机械臂示教系统
CN107643820B (zh) Vr被动型机器人及其实现方法
CN103034344A (zh) 一种可佩戴无线运动传感器与视频融合系统
CN102341767A (zh) 使用运动捕获的角色动画控制接口
CN103699214A (zh) 一种基于三维自然手势的三维跟踪和交互方法
Otto et al. Presenting a holistic framework for scalable, marker-less motion capturing: Skeletal tracking performance analysis, sensor fusion algorithms and usage in automotive industry
CN108268088A (zh) 基于表面心肌信号的可穿戴交互系统
Wang et al. Study on virtual coordinate measuring machine based on augmented virtuality
Yu et al. Implementation of media player simulator using Kinect sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant