CN107632699B - 基于多感知数据融合的人机自然交互系统 - Google Patents

基于多感知数据融合的人机自然交互系统 Download PDF

Info

Publication number
CN107632699B
CN107632699B CN201710646851.7A CN201710646851A CN107632699B CN 107632699 B CN107632699 B CN 107632699B CN 201710646851 A CN201710646851 A CN 201710646851A CN 107632699 B CN107632699 B CN 107632699B
Authority
CN
China
Prior art keywords
arm
module
finger
fusion
machine interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710646851.7A
Other languages
English (en)
Other versions
CN107632699A (zh
Inventor
宋爱国
张慧
余玉卿
秦欢欢
李会军
徐宝国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201710646851.7A priority Critical patent/CN107632699B/zh
Publication of CN107632699A publication Critical patent/CN107632699A/zh
Priority to PCT/CN2018/088077 priority patent/WO2019024577A1/zh
Priority to US16/475,384 priority patent/US11409357B2/en
Application granted granted Critical
Publication of CN107632699B publication Critical patent/CN107632699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。

Description

基于多感知数据融合的人机自然交互系统
技术领域
本发明涉及人机自然交互系统，尤其涉及一种基于多感知数据融合的人机自然交互系统。
背景技术
自从计算机发明以后，各种人机交互设备应运而生。从字符、键盘到鼠标的发明，再到多媒体交互设备、语音识别技术、脑电检测技术的出现，人机交互手段不断创新，越来越趋于自然化、智能化。
然而，人体的运动涉及很多部位，包括人整个身体的运动或某个部位的运动，如手部运动、腿部运动或者头部运动，甚至人的表情、手势等。这些运动分别具有自己的特点和不同的复杂度，所用的识别手段以及研究方法也都不同。对于传统的人机交互设备，它们尽管在某些方面性能优越，但也各有局限性。如：基于视觉信息的人机交互设备虽然可以实现较高精度的非接触式交互，但其算法复杂的也较高，计算量大，实时性较差；基于MEMS传感器的人机自然交互系统探测实时性较强，但传感器必须与操作者接触安装，不利于安装在关节密集的部位；基于超声波定位的人机交互设备探测距离较远，但容易受到障碍物影响，抗干扰性差。
发明内容
发明目的：为了解决现有技术存在的问题，本发明的目的是提供一种可有效提高人机交互效率、增强操作者的临场感的基于多感知数据融合的人机自然交互系统。
技术方案：一种基于多感知数据融合的人机自然交互系统，包括用于采集手臂关节角信息和手臂运动轨迹的MEMS手臂跟踪装置、用于采集图像信息和手指的运动轨迹的视觉跟踪装置，以及安装在操作者的手掌上的用于给手指提供力反馈力的反馈装置，上述各装置由PC终端控制，所述PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；其中，MEMS手臂跟踪装置与手臂运动解算模块连接，视觉跟踪装置与图像处理模块连接，力学解算模块与手臂运动解算模块连接；所述虚拟场景渲染模块根据计算出的手臂运动轨迹和手指运动轨迹生成虚拟手臂和虚拟手指，所述力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量，并将力反馈数据发送至力反馈装置。
优选的，所述MEMS手臂跟踪装置包括三个分别用于测量肩、肘、腕三个关节的欧拉角的MEMS传感器；所述视觉跟踪装置为双目摄像头；所述力反馈装置包括直流电机、力传感器和机械手柄。
所述碰触信息包括碰触方式、速度、角度、力度和纹理反馈中的一种或多种。
所述PC终端还包括用于显示测量参数的数据显示模块。
工作原理：操作者手臂运动时，本发明采集其手臂各个关节的欧拉角，以及操作者手部的图像，将数据发送至PC终端；PC终端根据欧拉角和虚拟手臂的大臂、小臂和手掌的尺寸解算出手掌末端的运动轨迹，根据手部图像解算出手指的运动轨迹；最终，操作者手臂和手指各个关节的运动被并映射到虚拟手臂上，使虚拟手臂做出相应的动作。因此，操作者可以与虚拟场景中的物体进行交互，PC终端的力学解算模块可根据实时交互信息计算力反馈数据并发送到力反馈模块，为用户提供力反馈。
有益效果：与现有技术相比，本发明具有如下显著优势：首先，本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，本发明可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，本发明可为操作者提供力反馈，增强系统的临场感、交互性。
附图说明
图1为本发明的系统框架结构图；
图2为力反馈装置工作流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本发明的一种基于多感知数据融合的人机自然交互系统，其执行机构包括：MEMS手臂跟踪装置、视觉跟踪装置、力反馈装置，上述三个装置由PC终端控制；MEMS手臂跟踪装置由3组独立的MEMS传感器构成，分别用于测量肩、肘、腕关节的欧拉角，跟踪手臂运动轨迹；视觉跟踪装置采用双目摄像头，用于采集图像信息，测量手指的运动轨迹；力反馈装置安装在操作者的手掌上，用于给手指提供力反馈；PC终端包括数据显示模块、手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；采集肩、肘、腕关节的欧拉角后将通过蓝牙通信将数据传输至手臂运动结算模块，双目摄像头将采集到的图像信息通过USB通信传输至图像处理模块。
当整个系统上电后，各模块均进行初始化工作。在初始化过程中，MEMS手臂跟踪装置1会根据程序配置MEMS传感器，蓝牙通信装置自动与PC终端连接；视觉跟踪装置与PC通过USB接口连接，其双目摄像头检查硬件设备，并尝试捕获图像；力反馈装置会根据预设程序进行初始化；PC终端各模块也进入准备状态，虚拟场景渲染模块构建出初始虚拟场景。初始化结束后，MEMS手臂跟踪装置安装在操作者的手臂上，肩关节MEMS传感器模块、肘关节MEMS传感器模块、腕关节MEMS传感器模块分别固定在操作者的大臂、小臂和手掌，用于测量肩、肘、腕关节的欧拉角，力反馈装置被固定在操作者手掌上，并与手掌绑定，视觉跟踪装置固定于操作者手臂的正下方，镜头垂直向上，用于捕获手掌的图像信息。在工作过程中，手臂跟踪装置按照固定频率读取三组MEMS传感器采集到的数据，并将数据格式转换为更为直观的欧拉角，然后通过蓝牙发送至PC终端；视觉跟踪装置按固定频率采集图像，并将图像压缩后发送至图像处理模块。PC终端的MEMS手臂运动解算模块将接收到的欧拉角数据结合预设的大臂、小臂、手掌尺寸计算出手掌末端在三维空间坐标系中的实时运动轨迹；图像处理模块自动识别接收到图像的手掌，并计算手掌各个关节的角度，跟踪手指运动轨迹；虚拟场景渲染模块构建虚拟场景，包括：场景3D模型、场景光照、阴影等，并根据计算出的手臂运动轨迹和手指运动轨迹实时渲染虚拟手臂的运动，当虚拟手指与虚拟物体进行碰触时，力学解算模块会根据碰触信息和运动信息，如：碰触方式、速度、角度等，计算操作者当前状态下应得到的期望反馈力矢量并将这些数据发送至力反馈装置。如图2所示为力反馈装置的控制器工作流程图，力反馈装置的传感器会实时测量操作者手指当前的受力情况经滤波后得到并将该信号反馈到控制系统中，构成反馈回路。此时期望作用力与实际作用力的差值为然后通过PID控制器计算出控制电机的激励信号最终直流电机则根据期望位反馈力以及当前反馈力不断调整力反馈机构的位移为操作者提供反馈力控制器不断调整电机运动，使与相等。同时，PC终端数据显示模块还会实时显示手臂关节角、手掌关节角、反馈力等关键信息。
在交互过程中，系统将MEMS传感器的欧拉角信息、双目摄像头的图像信息以及操作者手指的受力信息融合在一起，并为操作者提供力反馈和虚拟场景的视觉反馈。
如上所述，尽管参照特定的优选实施例已经表述和阐明了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (6)

1.一种基于多感知数据融合的人机自然交互系统，其特征在于：包括用于采集手臂关节角信息和手臂运动轨迹的MEMS手臂跟踪装置、用于采集图像信息和手指的运动轨迹的视觉跟踪装置，以及安装在操作者的手掌上的用于给手指提供反馈力的力反馈装置，上述各装置由PC终端控制，所述PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；其中，MEMS手臂跟踪装置与手臂运动解算模块连接，视觉跟踪装置与图像处理模块连接，力学解算模块与手臂运动解算模块连接；所述虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和虚拟手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量，并将期望反馈力矢量发送至力反馈装置。
2.根据权利要求1所述的基于多感知数据融合的人机自然交互系统，其特征在于：所述MEMS手臂跟踪装置包括三个分别用于测量肩、肘、腕三个关节的欧拉角的MEMS传感器。
3.根据权利要求1所述的基于多感知数据融合的人机自然交互系统，其特征在于：所述视觉跟踪装置为双目摄像头。
4.根据权利要求1所述的基于多感知数据融合的人机自然交互系统，其特征在于：所述力反馈装置包括直流电机、力传感器和机械手柄。
5.根据权利要求1所述的基于多感知数据融合的人机自然交互系统，其特征在于：所述碰触信息包括碰触方式、速度、角度、力度和纹理信息中的一种或多种。
6.根据权利要求1所述的基于多感知数据融合的人机自然交互系统，其特征在于：所述PC终端还包括用于显示测量参数的数据显示模块。
CN201710646851.7A 2017-08-01 2017-08-01 基于多感知数据融合的人机自然交互系统 Active CN107632699B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710646851.7A CN107632699B (zh) 2017-08-01 2017-08-01 基于多感知数据融合的人机自然交互系统
PCT/CN2018/088077 WO2019024577A1 (zh) 2017-08-01 2018-05-23 基于多感知数据融合的人机自然交互系统
US16/475,384 US11409357B2 (en) 2017-08-01 2018-05-23 Natural human-computer interaction system based on multi-sensing data fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710646851.7A CN107632699B (zh) 2017-08-01 2017-08-01 基于多感知数据融合的人机自然交互系统

Publications (2)

Publication Number Publication Date
CN107632699A CN107632699A (zh) 2018-01-26
CN107632699B true CN107632699B (zh) 2019-10-11

Family

ID=61099144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710646851.7A Active CN107632699B (zh) 2017-08-01 2017-08-01 基于多感知数据融合的人机自然交互系统

Country Status (3)

Country Link
US (1) US11409357B2 (zh)
CN (1) CN107632699B (zh)
WO (1) WO2019024577A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632699B (zh) * 2017-08-01 2019-10-11 东南大学 基于多感知数据融合的人机自然交互系统
CN110162180A (zh) * 2019-05-28 2019-08-23 欣旺达电子股份有限公司 力反馈控制方法和控制系统
CN110275537B (zh) * 2019-06-27 2022-05-17 中国电子科技集团公司信息科学研究院 运动轨迹协同控制方法及其装置、计算机可读存储介质
CN110652423B (zh) * 2019-10-12 2021-11-12 东南大学 带有精确力控制的可穿戴式上肢康复训练机器人
CN110742775B (zh) 2019-10-12 2022-04-12 东南大学 基于力反馈技术的上肢主被动康复训练机器人系统
US11531392B2 (en) * 2019-12-02 2022-12-20 Finchxr Ltd. Tracking upper arm movements using sensor modules attached to the hand and forearm
CN110861096B (zh) * 2019-12-21 2021-02-05 江苏开璇智能科技有限公司 一种机器人关节交互力感知与控制方法及装置
CN111673745A (zh) * 2020-05-27 2020-09-18 上海瑞界网络科技有限公司 一种基于体感互动的机器人控制系统和方法
CN112022175A (zh) * 2020-09-09 2020-12-04 东南大学 一种手部自然动作脑电测量装置
CN114310903A (zh) * 2022-01-19 2022-04-12 梅蓉 一种基于双边遥操作的机械手控制方法及系统
CN115202471A (zh) * 2022-06-21 2022-10-18 京东方科技集团股份有限公司 一种全身姿态追踪及触觉设备及虚拟现实系统
CN117415821A (zh) * 2023-11-30 2024-01-19 广东电网有限责任公司广州供电局 一种基于力反馈的机器人控制方法、装置、系统及控制器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202584010U (zh) * 2012-04-06 2012-12-05 寇传阳 一种腕上手势操控系统
CN202771366U (zh) * 2011-12-19 2013-03-06 苏茂 外构架式双向力反馈数据手套
CN103399628A (zh) * 2013-05-13 2013-11-20 重庆大学 一种人机交互游戏系统
CN103793060A (zh) * 2014-02-14 2014-05-14 杨智 一种用户交互系统和方法
CN105204611A (zh) * 2014-06-24 2015-12-30 北京创思博德科技有限公司 一种基于手指运动模式的莫尔斯码字符输入系统和方法
CN105630168A (zh) * 2015-12-24 2016-06-01 联想(北京)有限公司 一种信息处理方法、第一电子设备及第二电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317108B2 (en) * 2004-11-02 2016-04-19 Pierre A. Touma Hand-held wireless electronic device with accelerometer for interacting with a display
US8696458B2 (en) * 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US9690376B2 (en) * 2012-11-01 2017-06-27 Eyecam, Inc. Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
CN103488291B (zh) * 2013-09-09 2017-05-24 北京诺亦腾科技有限公司 一种基于运动捕捉的浸入式虚拟现实系统
US9606654B2 (en) * 2015-04-29 2017-03-28 Yongqiang Li Activated display
CN106779045A (zh) 2016-11-30 2017-05-31 东南大学 基于虚拟场景交互的康复训练机器人系统及其使用方法
CN106648116B (zh) * 2017-01-22 2023-06-20 隋文涛 一种基于动作捕捉的虚拟现实综合系统
CN107632699B (zh) * 2017-08-01 2019-10-11 东南大学 基于多感知数据融合的人机自然交互系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202771366U (zh) * 2011-12-19 2013-03-06 苏茂 外构架式双向力反馈数据手套
CN202584010U (zh) * 2012-04-06 2012-12-05 寇传阳 一种腕上手势操控系统
CN103399628A (zh) * 2013-05-13 2013-11-20 重庆大学 一种人机交互游戏系统
CN103793060A (zh) * 2014-02-14 2014-05-14 杨智 一种用户交互系统和方法
CN105204611A (zh) * 2014-06-24 2015-12-30 北京创思博德科技有限公司 一种基于手指运动模式的莫尔斯码字符输入系统和方法
CN105630168A (zh) * 2015-12-24 2016-06-01 联想(北京)有限公司 一种信息处理方法、第一电子设备及第二电子设备

Also Published As

Publication number Publication date
WO2019024577A1 (zh) 2019-02-07
US11409357B2 (en) 2022-08-09
US20210132681A1 (en) 2021-05-06
CN107632699A (zh) 2018-01-26

Similar Documents

Publication Publication Date Title
CN107632699B (zh) 基于多感知数据融合的人机自然交互系统
Yang et al. Gesture interaction in virtual reality
US10394334B2 (en) Gesture-based control system
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
CN103116857B (zh) 一种基于体感控制的虚拟样板房漫游系统
Matsumoto et al. Behavior recognition based on head pose and gaze direction measurement
CN102778953B (zh) 基于Kinect的皮影戏远程数字表演的体感控制方法
CN108509026B (zh) 基于增强交互方式的远程维修支持系统及方法
KR20090113084A (ko) 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법
JP2004094288A (ja) 指示位置検出装置及び自律ロボット
CN107688390A (zh) 一种基于体感交互设备的手势识别控制器
CN109839827B (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
CN106293099A (zh) 手势识别方法及系统
Jaemin et al. A robust gesture recognition based on depth data
CN109395375A (zh) 一种基于增强现实与移动交互的三维游戏接口设计方法
Dan et al. Survey on hand gesture recognition approaches
CN106774938A (zh) 基于体感设备的人机交互集成装置
Liang et al. Bare-hand depth perception used in augmented reality assembly supporting
KR20160141023A (ko) 액션이벤트·실감미디어컨텐츠연동을 수행하는 비접촉 스마트제스처인식장치 및 방법
CN106125927B (zh) 图像处理系统及方法
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
KR101519589B1 (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
CN115494938A (zh) 非接触式交互方法及装置
CN203070205U (zh) 一种基于手势识别的输入设备
Shah et al. Gesture recognition technique: a review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant