CN106997241A - 虚拟现实环境中与真实世界互动的方法与虚拟现实系统 - Google Patents

虚拟现实环境中与真实世界互动的方法与虚拟现实系统 Download PDF

Info

Publication number
CN106997241A
CN106997241A CN201710046290.7A CN201710046290A CN106997241A CN 106997241 A CN106997241 A CN 106997241A CN 201710046290 A CN201710046290 A CN 201710046290A CN 106997241 A CN106997241 A CN 106997241A
Authority
CN
China
Prior art keywords
virtual reality
controller
notice
wearing device
reality head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710046290.7A
Other languages
English (en)
Other versions
CN106997241B (zh
Inventor
大卫.布琳达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN106997241A publication Critical patent/CN106997241A/zh
Application granted granted Critical
Publication of CN106997241B publication Critical patent/CN106997241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H04M1/724097—Worn on the head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

虚拟现实环境中与真实世界互动的方法与虚拟现实系统。此方法适用于包括虚拟现实头戴装置以及控制器的虚拟现实系统，其中虚拟现实系统是由处理装置接收数据，并且包括下列步骤。首先，一事件信号是触发于虚拟现实头戴装置以及控制器中的至少一个，其中事件信号是接受自处理装置且指出关联于真实世界的通知的到来。由控制器产生动数据并且反应于判断移动数据符合第一移动数据，第一互动接口是产生以让虚拟现实头戴装置以及控制器中的至少一个与通知进行互动。藉此，可提供连接现实与虚拟世界的管道。

Description

虚拟现实环境中与真实世界互动的方法与虚拟现实系统
技术领域
本发明涉及一种虚拟现实环境中与真实世界互动的方法与虚拟现实系统。
背景技术
虚拟现实创造出具有真实图像、声音以及其它感官上的拟真世界，以复制出真实环境或是虚构场景。使用者得以融入、探索以及操控虚拟现实环境而感觉仿佛身历其境。
此技术最初的发展是致力于让使用者完全地融入于虚拟现实而不受外界的干扰。然而，在通信服务的蓬勃发展下，使用者时常频繁地藉由电话、网络通话、电话简讯、应用程序讯息等方式与他人联系。此时，若使用者将自己隔绝至虚拟现实环境中则将显得不切实际。
发明内容
有鉴于此，本发明提供一种虚拟现实环境中与真实世界互动的方法与虚拟现实系统，其不仅可避免使用者完全隔绝于真实世界，更可在最少的突兀感与干扰下提供使用者一种真实世界与虚拟世界的连接管道。
在本发明的一实施例中，上述的方法适用于包括虚拟现实头戴装置以及控制器的虚拟现实系统，其中虚拟现实系统是由处理装置接收数据，并且包括下列步骤。首先，一事件信号是触发于虚拟现实头戴装置以及控制器中的至少一个，其中事件信号是接受自处理装置且指出关联于真实世界的通知的到来。由控制器产生动数据并且反应于判断移动数据符合第一移动数据，第一互动接口是产生以让虚拟现实头戴装置以及控制器中的至少一个与通知进行互动。
本发明的一实施例中，上述的虚拟现实系统包括虚拟现实头戴装置以及控制器，其中虚拟现实头戴装置以及控制器是连接于处理装置，且其中指出关联于真实世界的通知的到来的一事件信号是接收自处理装置并触发于虚拟现实头戴装置以及控制器中的至少一个，并且反应于反应于判断由控制器产生的移动数据符合第一移动数据，一第一互动接口是产生以让虚拟现实头戴装置以及控制器中的至少一个与通知进行互动。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1为根据本发明一实施例所绘示的虚拟现实系统的方块图。
图2为根据本发明的一实施例所绘示的虚拟现实环境中与真实世界互动的方法流程图。
图3为根据本发明的一实施例所绘示的通知到来的情境示意图。
图4为根据本发明的一实施例所绘示的与通知互动的情境示意图。
图5为根据本发明的另一实施例所绘示的与通知互动的情境示意图。
图6A～图6D为根据本发明的一实施例所绘示的虚拟现实环境与通知之间转换的情境示意图。
【符号说明】
100：虚拟现实系统
110：处理装置
120：虚拟现实头戴装置
130：控制器
S202～S208：虚拟现实环境中与真实世界互动的方法流程
VR：虚拟现实环境
302：灯光效果
310：虚拟控制器
MSG：通知
KB：虚拟键盘
510：字母键
514：选择键
VS：虚拟现实环境
VSImgA：画面
VSImgB：模糊化提取画面
VSImgC：缩小画面
VSImgD：使用中的空间视窗
610：实体控制器的图案
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法与系统的范例。
图1为根据本发明一实施例所绘示的虚拟现实系统的方块图。首先图1先介绍虚拟现实系统的所有构件以及配置关系，详细功能将配合图2一并公开。
请参照图1，虚拟现实系统100至少包括处理装置110、虚拟现实头戴装置120以及控制器130，其中处理装置110连接于虚拟现实头戴装置120以及控制器130。
处理装置110可以是具有运算能力并且具有处理器的运算装置，例如是文件服务器、数据库服务器、应用程序服务器、工作站、个人计算机、笔记型计算机等。处理器可以是北桥(North Bridge)、南桥(South Bridge)、现场可编程门阵列(Field ProgrammableArray，FPGA)、可编程逻辑装置(Programmable Logic Device，PLD)、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)或其他类似装置或这些装置的组合。处理器也可以是中央处理单元(Central Processing Unit，CPU)、应用处理器(Application Processor，AP)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、图形处理器(Graphics Processing Unit，GPU)或其他类似装置或这些装置的组合。处理装置110可创造出具有立体视觉效果的真实环境或是虚构场景，并且其可与虚拟现实头戴装置120以及控制器130进行沟通，以让使用者得以在虚拟世界中进行探索以及互动。此外，处理装置110更可以产生声音效果，以提供使用者身历其境与真实的体验。
用于例示，处理装置110可与虚拟现实头戴装置120整合为一装置，或可与虚拟现实头戴装置120有线或无线连接。
本领域技术人员应明了，处理装置110包括数据存储装置。数据存储装置可以是任意型式的非暂态性、易失性、非易失性的存储器，其用以存储缓冲数据、永久数据以及用来执行处理装置110的功能的编译程序代码。此外，数据存储装置可以是外接于并且可被处理装置110存取的外接硬盘、云端存储或是其它外接记录装置。
虚拟现实头戴装置120可以是具有内建头部追踪系统的头戴显示器或是眼镜。虚拟现实头戴装置120至少包括整合显示器、动作传感器以及通信接口。显示器例如是液晶显示器(Liquid-Crystal Display，LCD)、发光二极管(Light-Emitting Diode，LED)显示器或其他类似装置。动作传感器可以是加速度计(例如：重力传感器)、陀螺仪(例如：陀螺仪传感器)或任何可检测虚拟现实头戴装置120的线性移动、线性移动方向以及旋转移动(例如旋转角速度或旋转角度)的传感器。虚拟现实头戴装置120会将所感测到的数据藉由通信接口以已知的无线或有线方式输出至处理装置110，而处理装置110会将图像传送给虚拟现实头戴装置120的显示器呈现。此外，虚拟现实头戴装置120更可包括播放来自处理装置110的声音频号的耳机。
控制器130可以例如是具有动作传感器的手持控制器、鼠标、摇杆、轨迹球、触摸板及/或按钮等允许使用者与虚拟世界的环境、物体或人物互动的输入装置。在此假设控制器130为可以任何无线通信标准与处理装置110及/或虚拟现实头戴装置120进行沟通的无线手持控制器。
在一实施例中，虚拟现实系统100可包括至少一个定位器，其可以例如是激光或红外线的发射器以及接收器并且挂于墙上或放置于使用者活动空间的角落。定位器不仅可定位出虚拟现实头戴装置120以及控制器130的所在位置，更可定义出此活动空间的边界，以避免沉浸于虚拟世界中的使用者碰撞到墙壁或是实际物体。
图2为根据本发明的一实施例所绘示的虚拟现实环境中与真实世界互动的方法流程图。图2的步骤可以是以图1所绘示的虚拟现实系统100来实现。
请同时参照图1以及图2，当关联于真实世界的通知到来时，处理装置110将在虚拟现实头戴装置120以及控制器130中的至少一个触发事件信号(步骤S202)。在此的通知可以是简讯、应用程序讯息、即时讯息、电子邮件讯息或其它本领域所熟知的相关形式。事件信号则表示通知的到来，藉以告知融入于虚拟现实环境中的使用者。在此的事件信号可以是控制器130所产生的触觉回馈、虚拟现实头戴装置120所产生的声音效果或是视觉效果等。在一些实施例中，虚拟现实头戴装置120可具有内建的扬声器或可有线或无线地与一耳机连接，如此声音效果可被使用者透过扬声器或耳机听见。
举例来说，图3为根据本发明的一实施例所绘示的通知到来的情境示意图。请参照图3，当通知到来时，使用者将会在虚拟现实环境VR中感觉到实际的触觉感受或是听到声响。此时，当使用者向下看或将控制器举起，具有灯光效果302的虚拟控制器310将会显示于视野中。此效果会追踪控制器130实际的空间位置而呈现出，且其仅为一个提醒的指示以提醒使用者有一通知，并不会打扰使用者游玩游戏。或者，也可以是将与通知内容相关的图示显示于使用者的视野角落，本发明不在此设限。
请再回到图2，处理装置110将自控制器130接收移动数据(步骤S204)。详细来说，控制器130将不断地检测本身是否移动。当检测到移动时，控制器130将产生对应于控制器130移动的移动数据，并且将其传送至处理装置110。值得注意的是，在检测任何移动之前，处理装置110可提供使用者来定义关联于控制器130的特定功能的移动手势。换句话说，控制器130可在检测到移动时产生移动数据，并且处理装置130将移动数据对应至特定功能并且将此移动数据存储于移动数据库。或者，移动数据库的移动数据也可以是系统预设设定。移动数据可包括位置、图案、轨迹、加速度等等。在本实施例中，已定义的移动数据包括对应于致能与通知互动的第一移动数据以及对应于禁能与通知互动的第二移动数据。
接着，处理装置110将判断移动数据是否在容许误差上符合第一移动数据(步骤S206)。当移动数据不符合第一移动数据时，有可能是使用者仍欲利用控制器130来做为其它用途而选择在此时忽略通知。流程将回到步骤S204，而处理装置110将持续接收来自控制器130的移动数据。
另一方面，当移动数据符合第一移动数据时，处理装置110将允许虚拟现实头戴装置120以及控制器130中的至少一个与通知进行互动(步骤S208)。也就是说，当处理装置110成功地确认所接收到的移动数据时，将允许使用者在虚拟现实环境中藉由虚拟现实头戴装置120和/或控制器130与关联于真实世界的通知进行互动，例如可藉由显示一第一互动接口。因此，使用者可在完全融入于虚拟世界的状态下与真实世界具有一定程度的联系。
举例来说，图4为根据本发明的一实施例所绘示的与通知互动的情境示意图。在此假设通知为讯息，而第一移动数据以及第二移动数据分别为关联于控制器130的向上移动以及向下移动。
请参照图4，当使用者欲预视通知时，可将控制器130举起以使虚拟控制器310突出于视野中。当处理装置110确认完自控制器130所接收的移动数据时，将会控制虚拟现实头戴装置120在虚拟现实环境VR中显示通知(即，简讯MSG)。此时，控制器130的实际位置仍被追踪。在本实施例中，虚拟控制器310以及通知MSG将以半透明呈现，而控制器130将持续地主导虚拟现实环境VR中的功能。换句话说，虚拟世界的进度，例如游玩游戏，仍持续进行，而控制器130仍可与虚拟物体以及人物进行互动。
当使用者阅读完通知MSG时，可将控制器130放下以移除通知MSG。以另一观点而言，当通知显示时，处理装置110将同时自控制器130接收移动数据并且判断移动数据是否在容许误差上符合第二移动数据。当移动数据符合第二移动数据时，处理装置110将自虚拟现实环境VR中移除通知MSG。藉此，使用者无须离开虚拟现实环境VR也可观看通知MSG的内容。
图5为根据本发明的另一实施例所绘示的与通知互动的情境示意图。在本实施例中，使用者可藉由控制器130回复通知。
请参照图5，接续于图4，当通知MSG显示于虚拟现实环境VR时，使用者可藉由例如是按压控制器130上的按钮来回复通知MSG，以产生第一触发信号并且传输至处理装置110。当处理装置110接收到第一触发信号时，将会暂停虚拟现实环境VR的进度并且指示控制器130与通知MSG互动。
在本实施例中，处理装置110将控制虚拟环境头戴装置120来显示通知MSG以及对应于控制器130的一第二互动接口，例如虚拟键盘KB及/或其他输入方式。虚拟键盘针对不同的语言可具有不同的类型及排列方式以及针对同一语言可具有不同的排列方式以供使用者选择。虚拟键盘KB的字母键510的排列方式将会对应于控制器130的实体按钮及/或触摸板，以提供直觉的文字输入。举例来说，当使用者按压控制器130上对应于字母键510中的A～D键的按钮时，A～D键将会显示于选择键514来提供选择。当使用者按压控制器130上对应于选择键514中的B键的按钮时，字母「B」将会做为通知MSG的文字输入。当使用者结束对话时，可例如是藉由按压控制器130上相同的按钮来移除通知MSG，以产生第二触发信号并且传输至处理装置110。当处理装置110接收到第二触发信号时，将会接续虚拟现实环境VR中的进度并且指示控制器130可再次与虚拟现实环境VR互动。
由于使用者可在不离开目前虚拟现实环境的前提下方便地观看通知，使用者可能希望最少的干扰，以维持虚拟世界的情境。在此将会提供一个虚拟现实环境与通知之间的平稳过渡方式，以让使用者可在不同状态下进行切换并且不会感受到突兀的转变。
以图5为例，当显示通知MSG并且虚拟现实环境VR的进度暂停时，处理装置110将会提取目前虚拟空间的视野的画面。接着，处理装置110将针对画面进行模糊化处理，并且控制虚拟现实头戴装置120来设定并且显示模糊化提取画面为通知的背景画面，如此使用者即可在虚拟现实环境中看见2D的模糊化撷取画面悬浮在3D的空间中。当移除通知MSG时，原本的虚拟现实环境VR将会自通知显示前的进度接续。
以视觉化而言，图6A～图6D为根据本发明的一实施例所绘示的虚拟现实环境与通知之间转换的情境示意图。
请先参照图6A，当虚拟现实环境VS的进度暂停时，目前虚拟空间的画面VSImgA将会被提取。此时，控制器130的功能将会自与虚拟物体以及人物的互动转向与通知的互动。此种转变将会是以虚拟控制器自原本的模样渐渐消失而显示成实体控制器的模样610，样并且将画面VSImgA进行模糊化以产生如图6B所示的模糊化提取画面VSImgB。在本实施例中，如图6C所示，模糊化提取画面VSImgB可被缩放成缩小画面VSImgC，而实体控制器的模样610将会逐渐地显示，当实体控制器的图案610完全地显示时，代表控制器130可以与通知进行互动。使用者的视野将会呈现出实体控制器的图案610、缩小画面VSImgC以及位于前述两者之间的通知。
当使用者结束通知时，如图6D所示，缩小画面VSImgC将会转变成使用中的空间视窗VSImgD并且融入于虚拟现实环境VS之中，而实体控制器的模样610将换转换回先前所呈现的虚拟控制器。值得注意的是，除了通知以外，此种概念可延伸至其他接口、界面、模型、互动等，例如是菜单设定视窗等，本发明不在此设限。
请再回到图2，步骤S208中的通知不限定于讯息。在另一实施例中，此通知可以是经由电信业者或是网络电话业者的来电。在一范例中，当处理装置110在步骤S206判断所接收的移动数据符合第一移动数据时，处理装置110将会允许使用者利用虚拟现实头戴装置120接听来电。在另一范例中，当处理装置110在步骤S206判断所接收的移动数据符合第一移动数据时，处理装置110将控制虚拟现实头戴装置120显示来电的相关信息(例如来电显示)，而使用者可藉由例如是按压控制器130上的按钮来接听来电，以产生第一触发信号并且传输至处理装置110。当处理装置110接收到第一触发信号时，将会暂停虚拟现实环境VR的进度并且指示虚拟现实头戴装置120来接听来电。类似地，当使用者在接听来电时，处理装置110可选择性地暂停虚拟现实环境的进度，并且在来电结束后接续虚拟现实环境的进度。在更另一实施例中，通知可为未接来电通知、社群网络事件通知、新闻通知、服务应用程序的通知、警告通知等。
综上所述，本发明所提出的方法、虚拟现实系统以及计算机可读取记录介质可让使用者在不受干扰的情况下将到来的通知显示于虚拟现实环境之中。其他人仍可与融入于虚拟现实环境中的使用者进行联系，并且使用者无须移除虚拟现实头戴装置即可利用控制器执行指定功能，以在最少干扰的前提下在虚拟世界与真实世界之间移动。本发明不仅可避免完全隔绝于真实世界，更以一种简单明了的方式来提供连接现实与虚拟世界的管道。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。

Claims (22)

1.一种在虚拟现实环境中与真实世界互动的方法，适用于包括虚拟现实头戴装置及控制器的虚拟现实系统，其中该虚拟现实系统是由处理装置接收数据，该方法包括下列步骤：
一事件信号是触发于该虚拟现实头戴装置以及该控制器中的至少一个触发事件信号，其中该事件信号是接受自该处理装置，且该事件信号指出关联于该真实世界的通知的到来；
由该控制器产生移动数据；以及
反应于判断该移动数据符合该第一移动数据，第一互动接口是产生以让该虚拟现实头戴装置以及该控制器中的至少一个与该通知进行互动。
2.如权利要求1所述的方法，其中一事件信号是触发于该虚拟现实头戴装置以及该控制器中的至少一个触发事件信号的步骤包括：
在该控制器产生触觉回馈。
3.如权利要求1所述的方法，其中一事件信号是触发于该虚拟现实头戴装置以及该控制器中的至少一个触发事件信号的步骤包括：
在该处理装置控制该虚拟现实头戴装置产生声音效果。
4.如权利要求1所述的方法，其中一事件信号是触发于该虚拟现实头戴装置以及该控制器中的至少一个触发事件信号的步骤包括：
在该处理装置控制该虚拟现实头戴装置产生视觉效果。
5.如权利要求1所述的方法，其中该通知为讯息，而由该处理装置允许该虚拟现实头戴装置以及该控制器中的至少一个与该通知进行互动的步骤包括：
在该虚拟现实头戴装置显示该通知的内容，以使使用者得以在该虚拟现实环境中观看该讯息。
6.如权利要求5所述的方法，其中该方法还包括：
由该控制器产生另一移动数据；以及
反应于判断该另一移动数据符合该第二移动数据，该虚拟现实头戴装置移除该通知。
7.如权利要求5所述的方法，其中第一互动接口是产生以让该虚拟现实头戴装置以及该控制器中的至少一个与该通知进行互动的步骤包括：
反应于该处理装置自该控制器接收到第一触发信号，第二互动接口是产生以让该控制器与该通知互动，以使该使用者得以回复该讯息。
8.如权利要求7所述的方法，其中第二互动接口是产生以让该控制器来与该通知互动的步骤包括：
在该虚拟现实头戴装置显示对应于该控制器的虚拟键盘。
9.如权利要求7所述的方法，其中该方法还包括：
反应于自该控制器接收到第二触发信号，该虚拟现实头戴装置移除该通知且该控制器恢复与该虚拟现实环境互动。
10.如权利要求9所述的方法，反应于自该控制器接收到该第一触发信号，该方法还包括：
该虚拟现实环境中的目前虚拟空间的画面是被提取并进行模糊化处理，以产生模糊化提取画面；以及
在暂停进度的该虚拟现实环境中显示该模糊化提取画面以作为该通知的背景画面。
11.如权利要求10所述的方法，其中反应于自该控制器接收到该第二触发信号，该方法还包括：
接续该虚拟现实环境中的该进度。
12.如权利要求1所述的方法，其中该通知为来电，该方法还包括：
由该虚拟现实头戴装置接听该来电。
13.一种在虚拟现实环境中与真实世界互动的虚拟现实系统，包括：
虚拟现实头戴装置；以及
控制器；
其中，该虚拟现实头戴装置以及该控制器是连接于一处理装置，且其中指出关联于该真实世界的通知的到来的一事件信号是接收自该处理装置并触发该虚拟现实头戴装置以及该控制器中的至少一个，并且反应于判断由该控制器产生的移动数据符合第一移动数据，一第一互动接口是产生以让该虚拟现实头戴装置以及该控制器中的至少一个与该通知进行互动。
14.如权利要求13所述的虚拟现实系统，其中该事件信号包括触觉回馈、声音效果以及视觉效果至少其中的一个。
15.如权利要求13所述的虚拟现实系统，其中该通知为讯息，而该虚拟现实头戴装置显示该通知的内容，以使使用者得以在该虚拟现实环境中观看该讯息。
16.如权利要求15所述的虚拟现实系统，其中反应于判断自该控制器接收的另一移动数据符合第二移动数据，该虚拟现实头戴装置移除该通知。
17.如权利要求15所述的虚拟现实系统，其中反应于自该控制器接收到第一触发信号，第二互动接口是产生以让该控制器与该讯息互动，以使该使用者得以回复该讯息。
18.如权利要求15所述的虚拟现实系统，其中该虚拟现实头戴装置显示对应于该控制器的虚拟键盘。
19.如权利要求17所述的虚拟现实系统，其中反应于自该控制器接收到第二触发信号，该虚拟现实头戴装置移除该通知且该控制器恢复与该虚拟现实环境互动。
20.如权利要求19所述的虚拟现实系统，其中反应于自该控制器接收到该第一触发信号，该虚拟现实环境中的目前虚拟空间的画面是被提取并进行模糊化处理以产生模糊化提取画面，并且在暂停进度的该虚拟现实环境中显示该模糊化提取画面以作为该通知的背景画面。
21.如权利要求20所述的虚拟现实系统，其中反应于自该控制器接收到该第二触发信号，接续该虚拟现实环境中的该进度。
22.如权利要求13所述的虚拟现实系统，其中该通知为来电，而反应于该移动数据符合该第一移动数据，该虚拟现实头戴装置接听该来电。
CN201710046290.7A 2016-01-22 2017-01-20 虚拟现实环境中与真实世界互动的方法与虚拟现实系统 Active CN106997241B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662281745P 2016-01-22 2016-01-22
US201662281746P 2016-01-22 2016-01-22
US62/281,746 2016-01-22
US62/281,745 2016-01-22

Publications (2)

Publication Number Publication Date
CN106997241A true CN106997241A (zh) 2017-08-01
CN106997241B CN106997241B (zh) 2020-04-21

Family

ID=59359390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710046290.7A Active CN106997241B (zh) 2016-01-22 2017-01-20 虚拟现实环境中与真实世界互动的方法与虚拟现实系统

Country Status (3)

Country Link
US (1) US10477006B2 (zh)
CN (1) CN106997241B (zh)
TW (1) TWI688879B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598797A (zh) * 2017-10-02 2019-04-09 宏碁股份有限公司 可支持虚拟现实应用程序的混合现实系统及其显示方法
CN110196641A (zh) * 2017-12-29 2019-09-03 南京轩世琪源软件科技有限公司 一种带3d扫描装置的可连续工作的虚拟现实显示系统
CN115268739A (zh) * 2022-08-16 2022-11-01 北京字跳网络技术有限公司 控制方法、装置、电子设备和存储介质

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9092954B2 (en) 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US10254836B2 (en) 2014-02-21 2019-04-09 Immersion Corporation Haptic power consumption management
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US10073523B2 (en) 2014-12-23 2018-09-11 Immersion Corporation Position control of a user input element associated with a haptic output device
US10269392B2 (en) 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10216277B2 (en) 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
CN107615213A (zh) 2015-04-21 2018-01-19 意美森公司 蚀刻输入的动态呈现
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
US10109161B2 (en) 2015-08-21 2018-10-23 Immersion Corporation Haptic driver with attenuation
US10556175B2 (en) 2016-06-10 2020-02-11 Immersion Corporation Rendering a haptic effect with intra-device mixing
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
US20180059788A1 (en) * 2016-08-23 2018-03-01 Colopl, Inc. Method for providing virtual reality, program for executing the method on computer, and information processing apparatus
US20180096506A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10147460B2 (en) 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
KR20180099182A (ko) * 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
US10564725B2 (en) 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
US10366584B2 (en) 2017-06-05 2019-07-30 Immersion Corporation Rendering haptics with an illusion of flexible joint movement
US10194078B2 (en) 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
US10477298B2 (en) 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
TWI642903B (zh) * 2017-10-13 2018-12-01 緯創資通股份有限公司 用於頭戴式顯示裝置的定位方法、定位器以及定位系統
US10583359B2 (en) 2017-12-28 2020-03-10 Immersion Corporation Systems and methods for providing haptic effects related to touching and grasping a virtual object
CN108170275B (zh) * 2017-12-29 2022-03-18 青岛小鸟看看科技有限公司 虚拟现实设备外接设备的输入信息的处理方法及装置
US10275919B1 (en) * 2018-02-06 2019-04-30 International Business Machines Corporation Preventing transition shocks during transitions between realities
US10768426B2 (en) * 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
US10665067B2 (en) 2018-06-15 2020-05-26 Immersion Corporation Systems and methods for integrating haptics overlay in augmented reality
US11481965B2 (en) * 2020-04-10 2022-10-25 Samsung Electronics Co., Ltd. Electronic device for communicating in augmented reality and method thereof
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
WO2024085996A1 (en) * 2022-10-21 2024-04-25 Meta Platforms Technologies, Llc Overlay on an artificial reality environment
CN118363594B (zh) * 2024-05-06 2024-10-01 北京恒歌零一信息科技有限公司 一种基于沉浸式虚拟现实的用户界面设计方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120302289A1 (en) * 2011-05-27 2012-11-29 Kang Heejoon Mobile terminal and method of controlling operation thereof
CN103207677A (zh) * 2013-04-22 2013-07-17 北京工业大学 一种数字曾侯乙编钟虚拟现实体感交互系统与方法
CN104281260A (zh) * 2014-06-08 2015-01-14 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
WO2015102464A1 (ko) * 2014-01-06 2015-07-09 삼성전자 주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
CN104793731A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200729062A (en) * 2006-01-25 2007-08-01 yue-ming Liu Interactive shopping method having 3D virtual reality
US8803881B2 (en) 2007-09-26 2014-08-12 Autodesk, Inc. Navigation system for a 3D virtual scene
US20100005480A1 (en) * 2008-07-07 2010-01-07 International Business Machines Corporation Method for virtual world event notification
US9878235B2 (en) * 2013-06-07 2018-01-30 Sony Interactive Entertainment Inc. Transitioning gameplay on a head-mounted display
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10152495B2 (en) * 2013-08-19 2018-12-11 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
US9866757B2 (en) * 2014-10-27 2018-01-09 Wichita State University Computer program, system, and method for observation and communication for mobile settings, mobile applications, and wearable mobile devices
US10108256B2 (en) * 2014-10-30 2018-10-23 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
CN104618712A (zh) * 2015-02-13 2015-05-13 北京维阿时代科技有限公司 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120302289A1 (en) * 2011-05-27 2012-11-29 Kang Heejoon Mobile terminal and method of controlling operation thereof
CN103207677A (zh) * 2013-04-22 2013-07-17 北京工业大学 一种数字曾侯乙编钟虚拟现实体感交互系统与方法
WO2015102464A1 (ko) * 2014-01-06 2015-07-09 삼성전자 주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
CN104281260A (zh) * 2014-06-08 2015-01-14 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN104793731A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598797A (zh) * 2017-10-02 2019-04-09 宏碁股份有限公司 可支持虚拟现实应用程序的混合现实系统及其显示方法
CN109598797B (zh) * 2017-10-02 2023-05-30 宏碁股份有限公司 可支持虚拟现实应用程序的混合现实系统及其显示方法
CN110196641A (zh) * 2017-12-29 2019-09-03 南京轩世琪源软件科技有限公司 一种带3d扫描装置的可连续工作的虚拟现实显示系统
CN110196641B (zh) * 2017-12-29 2020-01-17 南京轩世琪源软件科技有限公司 一种带3d扫描装置的可连续工作的虚拟现实显示系统
CN115268739A (zh) * 2022-08-16 2022-11-01 北京字跳网络技术有限公司 控制方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
TWI688879B (zh) 2020-03-21
CN106997241B (zh) 2020-04-21
TW201732501A (zh) 2017-09-16
US10477006B2 (en) 2019-11-12
US20170214782A1 (en) 2017-07-27

Similar Documents

Publication Publication Date Title
CN106997241A (zh) 虚拟现实环境中与真实世界互动的方法与虚拟现实系统
KR102045170B1 (ko) 햅틱 메시지들을 송신하기 위한 시스템 및 방법
US20180288391A1 (en) Method for capturing virtual space and electronic device using the same
CN107533373A (zh) 虚拟现实中经由手与对象的场境敏感碰撞的输入
US8913990B2 (en) Mobile terminal and locked state cancelling method
JP7173024B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20220032059A (ko) 증강 현실 시스템용 터치프리 인터페이스
JP2019520012A (ja) 手持ち式装置のエッジカメラアセンブリを有するシステム及び方法
CN101321352A (zh) 基于运动的通信的方法和设备
CN109815462B (zh) 一种文本生成方法及终端设备
CN111176764B (zh) 显示控制方法和终端设备
CN110673770B (zh) 消息展示方法及终端设备
WO2011110727A1 (en) Gestural messages in social phonebook
JP6514376B1 (ja) ゲームプログラム、方法、及び情報処理装置
CN110069180A (zh) 一种功能控制方法及终端设备
CN111258420A (zh) 信息交互方法、头戴式设备及介质
CN109144176A (zh) 虚拟现实中的显示屏交互显示方法、终端及存储介质
CN111314208A (zh) 一种信息提示方法及电子设备
CN109618055A (zh) 一种位置共享方法及移动终端
CN117311490A (zh) 腕戴设备控制方法及相关系统、存储介质
KR20150118036A (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
CN114327197B (zh) 消息发送方法、装置、设备及介质
CN111258482B (zh) 信息分享方法、头戴式设备及介质
KR20120125938A (ko) 가상현실 구현 방법 및 그를 위한 이동통신 시스템
KR101790216B1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant