CN106227332A - 一种基于特征图像旋转来响应事件的交互方法 - Google Patents

一种基于特征图像旋转来响应事件的交互方法 Download PDF

Info

Publication number
CN106227332A
CN106227332A CN201610545411.8A CN201610545411A CN106227332A CN 106227332 A CN106227332 A CN 106227332A CN 201610545411 A CN201610545411 A CN 201610545411A CN 106227332 A CN106227332 A CN 106227332A
Authority
CN
China
Prior art keywords
virtual
exchange method
feature based
point
bar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610545411.8A
Other languages
English (en)
Other versions
CN106227332B (zh
Inventor
王锐
鲍虎军
张孝舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201610545411.8A priority Critical patent/CN106227332B/zh
Publication of CN106227332A publication Critical patent/CN106227332A/zh
Application granted granted Critical
Publication of CN106227332B publication Critical patent/CN106227332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03541—Mouse/trackball convertible devices, in which the same ball is used to track the 2D relative movement

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于特征图像旋转来响应事件的交互方法，包括：为特征图像绑定虚拟点和虚拟杆，其中虚拟点与特征图像同步旋转，虚拟杆保持朝向不变，且与虚拟点的旋转路径相交，旋转特征图像至虚拟点和虚拟杆相交或分离时，触发事件。本发明提供的基于特征图像旋转来响应事件的交互方法，通过罗盘指针实现鼠标的左键功能，相比于虚拟按钮有更好的交互体验。

Description

一种基于特征图像旋转来响应事件的交互方法
技术领域
本发明涉及计算机科学的虚拟现实领域，具体涉及一种基于特征图像旋转来响应事件的交互方法。
背景技术
虚拟现实，简称VR(virtual reality)，是由美国VPL公司创建人拉尼尔(JaronLanier)在20世纪80年代初提出的，在90年代经历了彻底的失败之后再次闪耀地出现在大众的视野中。其具体内涵是：综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。VR(虚拟现实)技术可广泛地应用于城市规划、室内设计、工业仿真、古迹复原、桥梁道路设计、房地产销售、旅游教学、水利电力、地质灾害、教育培训等众多领域，为其提供切实可行的解决方案。
如今使用最多的VR设备是Google Cardboard，因为其价格较低、能搭配手机直接使用，所以大部分用户愿意通过它来尝试这一新兴领域，然而使用手机作为VR设备也有一个缺点，那就是没有合适的输入设备，用户不能再通过触摸屏幕来操作软件。如果我们通过应用市场搜索VR，搜出来的软件基本分为以下3类：视频播放器类，漫游体验类，游戏类。其中视频播放器和漫游体验类几乎没有用到任何交互方式，用户所需要做的仅仅是戴上Cardboard和耳机，安静地坐着欣赏就行。除此之外，其他应用用到的交互方式无非是以下几种。
1.使用Cardboard盒子上的物理按钮
Cardboard 2.0相较于之前的版本，在纸盒上多了一个物理按钮。这个按钮连接的是一个末端装有导电垫板的三角形折翼，按下按钮，折翼就会接触触屏。在用户不能接触到触摸屏的情况下起到点击触屏的效果。但是，该按钮的触发位置是固定的，始终位于屏幕的正上方。这个按钮一般作为返回或者退出键使用，没有特别大的交互意义。
2.视觉中心凝视触发
这是目前市面上VR应用中最常见的交互方式，在屏幕中心会有一个用于瞄准的原点，由于用户无法触摸到屏幕，用户可以通过旋转头部，使得该小圆点对准某些触发器，通过短时间的凝视该物体来达到触发事件的效果。大部分漫游体验类和游戏类软件用到的交互方式都是这种，例如月球体验，将中心对准不同的数字可以看到不同的信息，再例如打僵尸游戏，会一直朝屏幕中心开枪，玩家只需要转动头部使得中心对准僵尸即可。
3.虚拟按钮
虚拟按钮是由Vuforia套件提供的一种增强现实交互方式，通过摄像头识别出现实空间中的特征图像，在屏幕上对应位置创建一个虚拟的按钮，如果用户用手指触摸这个按钮，则会触发相应事件。但是这种交互方式响应准确率不高，速度也不佳。
平常用户在使用电脑时，用到最多的往往是鼠标。鼠标的移动和单击满足了日常使用电脑的绝大部分需求，然而手机并没有这样的外设，只能通过摄像头来捕捉物体，用于实现鼠标的移动比较简单，但为了响应单击左键和一直按住左键这样的输入操作仍有难度。
发明内容
本发明提供了一种基于特征图像旋转来响应事件的交互方法，通过罗盘指针实现鼠标的左键功能，相比于虚拟按钮有更好的交互体验。
一种基于特征图像旋转来响应事件的交互方法，包括：为特征图像绑定虚拟点和虚拟杆，其中虚拟点与特征图像同步旋转，虚拟杆保持朝向不变，且与虚拟点的旋转路径相交，旋转特征图像至虚拟点和虚拟杆相交或分离时，触发事件。
本发明通过虚拟点和虚拟杆的配合实现鼠标左键的功能，虚拟点和虚拟杆共同构成罗盘指针，优选地，记录虚拟点和虚拟杆的相交以及分离的时刻，利用虚拟点和虚拟杆的位置变化与时间的关系，触发相应的事件。
具体地，当虚拟点与虚拟杆相交时，相当于点击鼠标左键，如果一直保持相交的状态，则相当于一直按下鼠标左键，如果再次旋转至虚拟点和虚拟杆分离，则相当于松开鼠标左键，如果虚拟点和虚拟杆的接触时间较短，则相当于一次鼠标左键单击。
作为优选，特征图像由Vuforia提供识别，虚拟点和虚拟杆的渲染由Unity3D引擎实现。
所述的虚拟点并非严格为点状，而是可以根据需要设置为各种形状，作为优选，所述虚拟点为球状，虚拟杆为圆柱状。
作为优选，采用Unity的LookAt函数，使虚拟杆的朝向保持不变。
作为优选，所述虚拟点的旋转路径为圆形，旋转路径与虚拟杆具有两个交点。进一步优选，旋转路径的圆心为虚拟杆上的一点。再优选，旋转路径的圆心为虚拟杆的中点。
本发明提供的基于特征图像旋转来响应事件的交互方法，通过罗盘指针实现鼠标的左键功能，相比于虚拟按钮有更好的交互体验。
附图说明
图1为本发明基于特征图像旋转来响应事件的交互方法中采用的罗盘指针的示意图。
具体实施方式
下面结合附图，对本发明基于特征图像旋转来响应事件的交互方法做详细描述。
如图1所示，本发明提供的基于特征图像旋转来响应事件的交互方法基于如图1所示的罗盘指针实现，为特征图像绑定一个罗盘指针，罗盘指针包括一个虚拟点(即图1中的圆球2)和一个虚拟杆(即图1中的圆柱1)，用户在现实中旋转物体，该物体在虚拟现实中的特征图像也相应旋转，虚拟点随特征图像旋转，旋转轨迹如图1中虚线所示为圆形，虚拟杆并不随用户的操作而旋转，而是始终朝向屏幕的上方，类似于指南针，虚拟点的旋转轨迹的圆心为虚拟杆的中心重合，虚拟点的旋转轨迹与虚拟杆有两个交点。
当虚拟点随特征图像旋转到某个角度时，虚拟点和虚拟杆相碰，相当于点击鼠标左键，如果一直保持相碰的状态，则相当于一直按下鼠标左键，如果再次旋转至虚拟点和虚拟杆分离，则相当于松开鼠标左键，如果虚拟点和虚拟杆的接触时间较短，则相当于一次鼠标左键单击。
在Unity3D引擎中，使用Vuforia作为特征图像识别工具，使用ImageTarget绑定虚拟物体(例如虚拟点和虚拟杆)时，该虚拟物体始终会和特征图像保持初始的相对位置关系，也就是随着图像旋转而旋转。因此，只需要考虑使虚拟杆保持垂直方向即可。调用Unity的LookAt函数，使得虚拟杆一直朝向某个点。观察到相机屏幕的渲染层在Unity中是会随时运动的，那么只需要实时的获取它的位置即可，也就是ARCamera.StereoCameraLeft.BackgroundPlane这个部件，通过获取它的坐标，再在y轴正方向偏移一定常数，就是需要朝向的目标点了，使虚拟杆一直朝向目标点，即可实现虚拟杆朝向的不变。
虚拟点与虚拟杆的碰撞检测由Unity提供的接口实现。为虚拟点绑定Collider脚本，为虚拟杆绑定Collider脚本，勾选is Trigger，绑定Rigidbody脚本，反选use Gravity，这样虚拟杆会被当成一个刚体，虚拟点会被当成一个碰撞接收器，每当刚体碰撞到触发器的时候，会调用如表1所示的3个函数。
表1
函数名 功能
void OnTriggerEnter() 当初次碰撞时调用
void OnTriggerStay() 当碰撞持续时调用
void OnTriggerExit() 当碰撞结束时调用
通过编写调用函数，记录碰撞时间便可以实现类似鼠标单击，长按的功能。

Claims (8)

1.一种基于特征图像旋转来响应事件的交互方法，其特征在于，包括：为特征图像绑定虚拟点和虚拟杆，其中虚拟点与特征图像同步旋转，虚拟杆保持朝向不变，且与虚拟点的旋转路径相交，旋转特征图像至虚拟点和虚拟杆相交或分离时，触发事件。
2.如权利要求1所述的基于特征图像旋转来响应事件的交互方法，其特征在于，所述虚拟点的旋转路径为圆形，旋转路径与虚拟杆具有两个交点。
3.如权利要求2所述的基于特征图像旋转来响应事件的交互方法，其特征在于，旋转路径的圆心为虚拟杆上的一点。
4.如权利要求3所述的基于特征图像旋转来响应事件的交互方法，其特征在于，旋转路径的圆心为虚拟杆的中点。
5.如权利要求4所述的基于特征图像旋转来响应事件的交互方法，其特征在于，记录虚拟点和虚拟杆的相交以及分离的时刻，利用虚拟点和虚拟杆的位置变化与时间的关系，触发相应的事件。
6.如权利要求5所述的基于特征图像旋转来响应事件的交互方法，其特征在于，特征图像由Vuforia提供识别，虚拟点和虚拟杆的渲染由Unity3D引擎实现。
7.如权利要求6所述的基于特征图像旋转来响应事件的交互方法，其特征在于，所述虚拟点为球状，虚拟杆为圆柱状。
8.如权利要求7所述的基于特征图像旋转来响应事件的交互方法，其特征在于，采用Unity的LookAt函数，使虚拟杆的朝向保持不变。
CN201610545411.8A 2016-07-06 2016-07-06 一种基于特征图像旋转来响应事件的交互方法 Active CN106227332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610545411.8A CN106227332B (zh) 2016-07-06 2016-07-06 一种基于特征图像旋转来响应事件的交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610545411.8A CN106227332B (zh) 2016-07-06 2016-07-06 一种基于特征图像旋转来响应事件的交互方法

Publications (2)

Publication Number Publication Date
CN106227332A true CN106227332A (zh) 2016-12-14
CN106227332B CN106227332B (zh) 2018-12-28

Family

ID=57520475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610545411.8A Active CN106227332B (zh) 2016-07-06 2016-07-06 一种基于特征图像旋转来响应事件的交互方法

Country Status (1)

Country Link
CN (1) CN106227332B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145222A (zh) * 2017-04-06 2017-09-08 北京讯腾智慧科技股份有限公司 基于Unity三维引擎和VR设备的工具自动绑定系统和方法
CN108983954A (zh) * 2017-05-31 2018-12-11 腾讯科技（深圳）有限公司 基于虚拟现实的数据处理方法、装置以及系统
CN111739352A (zh) * 2020-06-03 2020-10-02 长沙理工大学 一种中央空调虚拟维修训练系统的仿真方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118201A (zh) * 2013-02-28 2013-05-22 上海斐讯数据通信技术有限公司 一种触摸屏解锁系统及方法
CN104020949A (zh) * 2013-03-01 2014-09-03 鸿富锦精密工业（深圳）有限公司 鼠标指针控制方法
CN104636158A (zh) * 2013-11-14 2015-05-20 博雅网络游戏开发（深圳）有限公司 基于Android操作系统的鼠标指针控制方法和装置
CN205281417U (zh) * 2015-12-25 2016-06-01 安徽师范大学 一种适用于全息成像的3d鼠标及其系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118201A (zh) * 2013-02-28 2013-05-22 上海斐讯数据通信技术有限公司 一种触摸屏解锁系统及方法
CN104020949A (zh) * 2013-03-01 2014-09-03 鸿富锦精密工业（深圳）有限公司 鼠标指针控制方法
CN104636158A (zh) * 2013-11-14 2015-05-20 博雅网络游戏开发（深圳）有限公司 基于Android操作系统的鼠标指针控制方法和装置
CN205281417U (zh) * 2015-12-25 2016-06-01 安徽师范大学 一种适用于全息成像的3d鼠标及其系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145222A (zh) * 2017-04-06 2017-09-08 北京讯腾智慧科技股份有限公司 基于Unity三维引擎和VR设备的工具自动绑定系统和方法
CN107145222B (zh) * 2017-04-06 2019-03-05 北京讯腾智慧科技股份有限公司 基于Unity三维引擎和VR设备的工具自动绑定系统和方法
CN108983954A (zh) * 2017-05-31 2018-12-11 腾讯科技（深圳）有限公司 基于虚拟现实的数据处理方法、装置以及系统
CN108983954B (zh) * 2017-05-31 2022-11-18 腾讯科技（深圳）有限公司 基于虚拟现实的数据处理方法、装置以及系统
CN111739352A (zh) * 2020-06-03 2020-10-02 长沙理工大学 一种中央空调虚拟维修训练系统的仿真方法

Also Published As

Publication number Publication date
CN106227332B (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
US10401951B2 (en) Motion tracking user interface
Araujo et al. Snake charmer: Physically enabling virtual objects
Boring et al. Scroll, tilt or move it: using mobile phones to continuously control pointers on large public displays
Hespanhol et al. Investigating intuitiveness and effectiveness of gestures for free spatial interaction with large displays
Ferracani et al. Locomotion by natural gestures for immersive virtual environments
Leithinger et al. Direct and gestural interaction with relief: a 2.5 D shape display
US10289214B2 (en) Method and device of controlling virtual mouse and head-mounted displaying device
Billinghurst et al. Advanced interaction techniques for augmented reality applications
Aliprantis et al. Natural Interaction in Augmented Reality Context.
Wingrave et al. Overcoming world in miniature limitations by a scaled and scrolling wim
CN106227332A (zh) 一种基于特征图像旋转来响应事件的交互方法
Lv et al. Imagining in-air interaction for hemiplegia sufferer
Santos-Torres et al. Exploring interaction mechanisms for map interfaces in virtual reality environments
Goh et al. An inertial device-based user interaction with occlusion-free object handling in a handheld augmented reality
Steed et al. 3d interaction with the desktop bat
Liu et al. COMTIS: Customizable touchless interaction system for large screen visualization
CN112181139B (zh) 一种虚拟现实和混合现实的协作控制交互方法
Bhakar et al. Product Application to Recognize the Marker Through Augmented Reality
Rodrigues et al. Mid-air manipulation of 3D models in (semi-) immersive virtual environments
Henrysson et al. Mobile phone based augmented reality
Maciel et al. Collaborative interaction through spatially aware moving displays
Na et al. TMAR: Extension of a tabletop interface using mobile augmented reality
Li et al. Application and research of kinect motion sensing technology on substation simulation training system
Du Preez et al. Comparing Hand-Gesture and Finger-Touch Interfacing to Navigate Bulk Image-Sequence Data
Hoang et al. Ultrasonic glove input device for distance-based interactions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant