CN105955467A - 基于移动终端的多人人机交互方法 - Google Patents

基于移动终端的多人人机交互方法 Download PDF

Info

Publication number
CN105955467A
CN105955467A CN201610264805.6A CN201610264805A CN105955467A CN 105955467 A CN105955467 A CN 105955467A CN 201610264805 A CN201610264805 A CN 201610264805A CN 105955467 A CN105955467 A CN 105955467A
Authority
CN
China
Prior art keywords
mobile terminal
acceleration
man
gravity
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610264805.6A
Other languages
English (en)
Inventor
黄戈
李炜
王家福
张赐
王晟
张毓茜
吕思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Sichuan Chuanda Zhisheng Software Co Ltd
Wisesoft Co Ltd
Original Assignee
Sichuan University
Sichuan Chuanda Zhisheng Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University, Sichuan Chuanda Zhisheng Software Co Ltd filed Critical Sichuan University
Priority to CN201610264805.6A priority Critical patent/CN105955467A/zh
Publication of CN105955467A publication Critical patent/CN105955467A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

本发明公开了一种基于移动终端的多人人机交互方法，包括以下步骤：采用加速度传感器得到加速度，采用陀螺仪得到角速度，采用磁场传感器测量移动终端周围的磁场强度；对重力加速度进行分离，gravity[i]＝alpha×gravity[i]+(1‑alpha)×g.event.value[i]，对线性加速度进行提取，linear_accelcration[i]＝g.event.value[i]‑gravity[i]，得到一定时间t内各个轴的实际位移，计算出移动终端姿态；得到移动终端围绕xyz三个轴旋转的角速度，对角速度求和，得到移动终端在一段时间内的角度变化；将加速度将分析得到的传感器数据，发送指令到服务器，服务器根据收到的指令交互场景中的对象做出变化。本发明在无线网络环境下，实时搜集三维陀螺仪和加速计的数据，判断出交互对象的动作，通过网络传输协议，使所有交互对象连接到服务器，实现了大规模的多人交互。

Description

基于移动终端的多人人机交互方法
技术领域
本发明涉及人机交互领域，具体涉及一种基于移动终端的多人人机交互方法。
背景技术
虚拟现实领域是目前最热门的领域，在该领域中，人机交互方式一直是研究的重点。但从目前在超大视场范围(全景渲染、超大屏高分辨渲染)内的虚拟现实人机交互方法的研究成果来看，单人或针对少数人的交互方式研究和应用得比较多。比如利用摄像头来进行单人或少数个人的动作，又如利用Kinect来进行最多不超过6个人的动作，或者是通过一些针对个人的穿戴式交互产品来进行交互。这些交互方式共同的缺点是同时可交互的对象太少，不超过10个人。限制了可交互人数，也制约了虚拟现实的发展。
发明内容
本发明所要解决的技术问题是提供一种基于移动终端的多人人机交互方法，针对人机交互对象少的缺点，采用传感器获取移动终端用户的动作变化，通过网络传输协议，将指令传递到服务器，达到多人群体互动的目的。
为解决上述技术问题，本发明采用的技术方案是：
一种基于移动终端的多人人机交互方法，包括以下步骤：
采用加速度传感器得到加速度，采用陀螺仪得到角速度，采用磁场传感器测量移动终端周围的磁场强度；
根据加速度传感器得到的加速度，采用低通滤波对重力加速度进行分离，即gravity[i]＝alpha×gravity[i]+(1-alpha)×g.event.value[i]，采用高通滤波对线性加速度进行提取，linear_accelcration[i]＝g.event.value[i]-gravity[i]，其中，alpha＝t/(t+dT)，g.event.value[i]是从线性传感器传递的数据，i为1、2、3分别代表x、y、z，进一步求得某一时刻移动终端在三维空间中的速度变化和一段时间内各个方向的位移，Vi＝ai×dT，Si＝V0+ai×(dT)2/2，Vi为该时刻的速度，dT两次测量的时间间隔，ai为高通滤波提取的三维空间线性加速度，计算得到一定时间t内各个轴的实际位移，
根据到的周围磁场强度，计算出移动终端姿态，即移动终端相对地球的物理方位，联合使用加速度计、地磁传感器以及系统提供的getRotationMatrix()方法来获取旋转矩阵和倾角矩阵；
由陀螺仪得到移动终端围绕xyz三个轴旋转的角速度，对角速度求和，得到移动终端在一段时间内的角度变化，具体公式为Angle[i]＝∑a.event.value[i]×dT，a.event.value[i]为从陀螺仪得到的数据，i为1、2、3分别代表x、y、z，dT为两次获取角速度的时间间隔；
得到移动终端的移动速度、角度变化、方位信息后，结合移动终端需求，包括判断左右或者上下移动，将加速度将分析得到的传感器数据，发送指令到服务器，服务器根据收到的指令交互场景中的对象做出变化。
根据上述方案，本方法采用UDP网络传输协议搭建通信环境。
与现有技术相比，本发明的有益效果是：在无线网络环境下，交互对象使用移动终端中的三维陀螺仪和加速度传感器等，实时搜集三维陀螺仪和加速计的数据，根据算法准确地判断出交互对象的动作，并通过网络传输协议，使所有交互对象连接到服务器，从而实现了大规模的多人交互。
附图说明
图1是本发明基于移动终端的多人人机交互方法中原始数据获取示意图。
图2是本发明基于移动终端的多人人机交互方法实现流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明提出了一种全新的大规模多人人机交互方法，利用几乎每个人都有的移动终端(比如手机)，这种移动终端内置了加速度传感器、陀螺仪、方向传感器等八种传感器。这些传感器能提供高精度、准确度的原始数据，可以用于监控移动终端三维运动、位置及移动终端周围的环境变化。常用于人机交互的传感器有加速传感器、陀螺仪、方向传感器、电磁场传感器四种。
(1)利用UDP网络传输协议搭建通信环境
UDP(User Datagram Protocol，用户数据包协议)是一种无连接的、不可靠的传输层协议，使用UDP协议的目的是希望以最小的开销来达到网络环境中的进程通信目的。本发明使用UDP传输协议来达到大规模人机交互的目的。
(2)数据获取
传感数据的变化与移动终端的坐标系统的运动是密切相关的。当移动终端运动或者旋转的时候，这些坐标轴与移动终端的相对位置始终保持不变。本发明主要使用加速传感器、磁场传感器及陀螺仪，当传感器数据变化时，实时发送数据到数据分析模块。
如图1所示，在使用传感器获取原始数据时，为了获取手机的运动速度和姿态，一般通过传感器得到其加速度、角速度、磁场强度几个数据。
加速度是由加速传感器得到的，加速传感器以m/s2测量它移动终端所有三个物理轴线方向(x，y，和z)加速度，包括重力。角速度是由陀螺仪以rad/s测量移动终端三个物理轴线方向(x，y，和z)的旋转速度。磁场强度以uT(超声检测，Ultrasonic Testing)测量周围的三个物理轴线方向的磁场。使用重力传感器和磁场传感器能获取移动终端的倾斜矩阵和旋转矩阵。
(3)数据分析
a.分析移动终端的线性加速度
加速度传感器测量作用于移动终端的加速度，该数值包含地心引力的影响。从概念上，加速度传感器通过测试作用于传感器本身的作用力(Fs)，并使用下列公式来判断作用于移动终端的(Ad)加速度：
Ad＝-∑Fs/mass
但是，重力作用始终会影响下列公式的测量结果：
Ad＝-g-∑F/mass
由于这个原因，当移动终端位于桌面(并没有加速度)时，加速度传感器的读取结果是g＝9.81m/s2。同样，当移动终端自由落体运动时，因为快速向下的加速度是9.81m/s2，所以加速度传感器读取的结果是g＝0m/s2。因此要测量移动终端的实际加速度，重力作用的影响必须要从加速度传感器数据中删除。这种问题可以通过高通滤波来实现，而重力加速度通过低通滤波器来分离。实际可以使用很多技术来过滤传感器数据。本发明使用过滤器常量(alpha)来创建一个低通滤波器，这个过滤器常量是由时间常量(t)和传感器事件报送频率(dt)推导出来的，t大致等于过滤器触发传感器事件的间隔时间。
低通滤波：重力加速度分离，gravity[i]＝alpha×gravity[i]+(1-alpha)×g.event.value[i]
高通滤波：线性加速度的提取，linear_accelcration[i]＝g.event.value[i]-gravity[i]
其中alpha＝t/(t+dT)，g.event.value[i]是从线性传感器传递的数据，i为1、2、3分别代表x、y、z。
进一步求得某一时刻移动终端在三维空间中的速度变化和一段时间内各个方向的位移，Vi＝ai×dT，Si＝V0+ai×(dT)2/2，Vi为该时刻的速度，dT两次测量的时间间隔，ai为高通滤波提取出来的三维空间线性加速度。
计算得到一定时间t内各个轴的实际位移：
b.分析移动终端的姿态
移动终端姿态在本发明中主要指移动终端相对地球的物理方位，联合使用加速度计、地磁传感器、getRotationMatrix()方法来获取旋转矩阵和倾角矩阵(getRotationMatrix()方法是由系统提供的)，但处理工作比较繁重，得到的移动终端姿态精度和准确度会有所降低(只有在翻滚度为0时此传感器的数据才是可靠的)。因此一般情况下忽略移动终端翻滚度，如需获取移动终端的运动轨迹还需结合陀螺仪进行分析。
c.获取移动终端的角度变化
移动终端的角度变化是由陀螺仪得到的，陀螺仪可以捕捉很微小的运动轨迹变化，因此可以做高分辨率和快速反应的旋转，但不能测量当前的运行方向。由陀螺仪可以得到移动终端围绕xyz三个轴旋转的角速度，对得到的角速度求和，即可得到移动终端在一段时间内的角度变化。具体公式为：Angle[i]＝∑a.event.value[i]×dT，a.event.value[i]为从陀螺仪得到的数据，i为1、2、3分别代表x、y、z，dT为两次获取角速度的时间间隔。
(4)数据传递
通过数据分析模块得到了移动终端的移动速度、角度变化、方位信息等，就可以根据根据移动终端需求，如只需判断左右或者上下移动，则将加速度将分析得到的传感器数据，根据需要发送相应指令到服务器，服务器根据收到的指令交互场景中的对象做出相应变化。

Claims (2)

1.一种基于移动终端的多人人机交互方法，其特征在于，包括以下步骤：
采用加速度传感器得到加速度，采用陀螺仪得到角速度，采用磁场传感器测量移动终端周围的磁场强度；
根据加速度传感器检测得到的加速度，采用低通滤波对重力加速度进行分离，即gravity[i]＝alpha×gravity[i]+(1-alpha)×g.event.value[i]，采用高通滤波对线性加速度进行提取，linear_accelcration[i]＝g.event.value[i]-gravity[i]，其中，alpha＝t/(t+dT)，g.event.value[i]是从线性传感器传递的数据，i为1、2、3分别代表x、y、z，进一步求得某一时刻移动终端在三维空间中的速度变化和一段时间内各个方向的位移，Vi＝ai×dT，Si＝V0+ai×(dT)2/2，Vi为该时刻的速度，dT两次测量的时间间隔，ai为高通滤波提取的三维空间线性加速度，计算得到一定时间t内各个轴的实际位移，
根据检测到的周围磁场强度，计算出移动终端姿态，即移动终端相对地球的物理方位，联合使用加速度计、地磁传感器以及系统提供的getRotationMatrix()方法来获取旋转矩阵和倾角矩阵；
由陀螺仪得到移动终端围绕xyz三个轴旋转的角速度，对角速度求和，得到移动终端在一段时间内的角度变化，具体公式为Angle[i]＝∑a.event.value[i]×dT，a.event.value[i]为从陀螺仪得到的数据，i为1、2、3分别代表x、y、z，dT为两次获取角速度的时间间隔；
得到移动终端的移动速度、角度变化、方位信息后，结合移动终端需求，包括判断左右或者上下移动，将加速度将分析得到的传感器数据，发送指令到服务器，服务器根据收到的指令交互场景中的对象做出变化。
2.如权利要求1所述的基于移动终端的多人人机交互方法，其特征在于，本方法采用UDP网络传输协议搭建通信环境。
CN201610264805.6A 2016-04-26 2016-04-26 基于移动终端的多人人机交互方法 Pending CN105955467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610264805.6A CN105955467A (zh) 2016-04-26 2016-04-26 基于移动终端的多人人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610264805.6A CN105955467A (zh) 2016-04-26 2016-04-26 基于移动终端的多人人机交互方法

Publications (1)

Publication Number Publication Date
CN105955467A true CN105955467A (zh) 2016-09-21

Family

ID=56915353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610264805.6A Pending CN105955467A (zh) 2016-04-26 2016-04-26 基于移动终端的多人人机交互方法

Country Status (1)

Country Link
CN (1) CN105955467A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106872794A (zh) * 2017-01-09 2017-06-20 佳禾智能科技股份有限公司 一种无线通讯产品的信号场强测试系统和测试方法
CN106896940A (zh) * 2017-02-28 2017-06-27 杭州乐见科技有限公司 虚拟物品呈现效果控制方法及装置
CN109753141A (zh) * 2017-11-03 2019-05-14 黄海量 一种基于用户手势的互动方法和服务器
CN110568859A (zh) * 2019-09-12 2019-12-13 深圳慧源创新科技有限公司 无人机控制方法、移动终端及计算机可读存储介质
CN111854752A (zh) * 2019-04-30 2020-10-30 意法半导体公司 确定移动方向与传感器行进方向间的失准角进行航位推算
CN112509284A (zh) * 2020-10-29 2021-03-16 石家庄铁道大学 一种地质灾害的监测与预警方法、装置及终端设备
CN112659115A (zh) * 2019-10-15 2021-04-16 大族激光科技产业集团股份有限公司 工业机器人控制方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201514612U (zh) * 2009-09-23 2010-06-23 吴健康 一种三维动态定位设备
CN102023700A (zh) * 2009-09-23 2011-04-20 吴健康 一种三维人机交互系统
CN103185577A (zh) * 2011-12-29 2013-07-03 盛乐信息技术（上海）有限公司 获取空间姿态数据的方法及系统
CN103649903A (zh) * 2011-07-14 2014-03-19 无锡立刻新科技发展有限公司 移动应用增强

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201514612U (zh) * 2009-09-23 2010-06-23 吴健康 一种三维动态定位设备
CN102023700A (zh) * 2009-09-23 2011-04-20 吴健康 一种三维人机交互系统
CN103649903A (zh) * 2011-07-14 2014-03-19 无锡立刻新科技发展有限公司 移动应用增强
CN103185577A (zh) * 2011-12-29 2013-07-03 盛乐信息技术（上海）有限公司 获取空间姿态数据的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
网友LAOPOLINA83: "关于加速度计", 《CSDN博客》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106872794A (zh) * 2017-01-09 2017-06-20 佳禾智能科技股份有限公司 一种无线通讯产品的信号场强测试系统和测试方法
CN106896940A (zh) * 2017-02-28 2017-06-27 杭州乐见科技有限公司 虚拟物品呈现效果控制方法及装置
CN106896940B (zh) * 2017-02-28 2020-01-07 杭州乐见科技有限公司 虚拟物品呈现效果控制方法及装置
CN109753141A (zh) * 2017-11-03 2019-05-14 黄海量 一种基于用户手势的互动方法和服务器
CN111854752A (zh) * 2019-04-30 2020-10-30 意法半导体公司 确定移动方向与传感器行进方向间的失准角进行航位推算
CN111854752B (zh) * 2019-04-30 2024-06-04 意法半导体公司 确定移动方向与传感器行进方向间的失准角进行航位推算
CN110568859A (zh) * 2019-09-12 2019-12-13 深圳慧源创新科技有限公司 无人机控制方法、移动终端及计算机可读存储介质
CN110568859B (zh) * 2019-09-12 2023-01-17 深圳慧源创新科技有限公司 无人机控制方法、移动终端及计算机可读存储介质
CN112659115A (zh) * 2019-10-15 2021-04-16 大族激光科技产业集团股份有限公司 工业机器人控制方法、装置、设备及存储介质
CN112509284A (zh) * 2020-10-29 2021-03-16 石家庄铁道大学 一种地质灾害的监测与预警方法、装置及终端设备

Similar Documents

Publication Publication Date Title
CN105955467A (zh) 基于移动终端的多人人机交互方法
CN109579853B (zh) 基于bp神经网络的惯性导航室内定位方法
CN103226398B (zh) 基于微惯性传感器网络技术的数据手套
CN108592950B (zh) 一种单目相机和惯性测量单元相对安装角标定方法
CN110108279B (zh) 一种杆塔倾斜测量系统及倾斜解算方法
JP4989660B2 (ja) モーションキャプチャー装置およびそれに係る方法
CN109141433A (zh) 一种机器人室内定位系统及定位方法
CN104548555A (zh) 运动分析方法、运动分析装置
KR100962552B1 (ko) 촬영된 영상에 음원 정보를 표시하는 카메라 시스템
CN112771576A (zh) 位置信息获取方法、设备及存储介质
JP2011528438A (ja) 位置及び経路地図生成データ取得解析システム
Zhilenkov et al. Based on MEMS sensors man-machine interface for mechatronic objects control
CN107543546A (zh) 一种六轴运动传感器的姿态解算方法及装置
CN103175502A (zh) 一种基于数据手套低速运动的姿态角检测方法
CN104713556B (zh) 一种球磨机内介质运动状态的分析系统及方法
CN102867055A (zh) 一种图像文件格式及生成方法及装置及应用
CN105068657B (zh) 手势的识别方法及装置
CN208751577U (zh) 一种机器人室内定位系统
CN108444468B (zh) 一种融合下视视觉与惯导信息的定向罗盘
US20130186202A1 (en) Device and method for recording at least one acceleration and a corresponding computer program and a corresponding computer-readable storage medium and also use of such a device
Bai et al. Application of low cost inertial sensors to human motion analysis
CN106970705A (zh) 动作捕捉方法、装置和电子设备
CN106227368B (zh) 一种人体关节角度解算方法及装置
CN106291567A (zh) 一种激光雷达、激光雷达系统及数据处理方法
CN106108909A (zh) 一种人体姿态检测穿戴设备、系统及控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160921