CN109240487B - 沉浸式系统、控制方法及非暂态计算机可读取媒体 - Google Patents

沉浸式系统、控制方法及非暂态计算机可读取媒体 Download PDF

Info

Publication number
CN109240487B
CN109240487B CN201810758177.6A CN201810758177A CN109240487B CN 109240487 B CN109240487 B CN 109240487B CN 201810758177 A CN201810758177 A CN 201810758177A CN 109240487 B CN109240487 B CN 109240487B
Authority
CN
China
Prior art keywords
vibration
axis
event
haptic feedback
immersive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810758177.6A
Other languages
English (en)
Other versions
CN109240487A (zh
Inventor
潘晟阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN109240487A publication Critical patent/CN109240487A/zh
Application granted granted Critical
Publication of CN109240487B publication Critical patent/CN109240487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/0207—Driving circuits
    • B06B1/0215—Driving circuits for generating pulses, e.g. bursts of oscillations, envelopes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/0207—Driving circuits
    • B06B1/0223—Driving circuits for generating signals continuous in time
    • B06B1/023—Driving circuits for generating signals continuous in time and stepped in amplitude, e.g. square wave, 2-level signal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/0207—Driving circuits
    • B06B1/0223—Driving circuits for generating signals continuous in time
    • B06B1/0269—Driving circuits for generating signals continuous in time for generating multiple frequencies
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/04—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B2201/00—Indexing scheme associated with B06B1/0207 for details covered by B06B1/0207 but not provided for in any of its subgroups
    • B06B2201/50—Application to a particular transducer type
    • B06B2201/52—Electrodynamic transducer
    • B06B2201/53—Electrodynamic transducer with vibrating magnet or coil
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种沉浸式系统、控制方法及非暂态计算机可读取媒体。沉浸式系统包含处理装置。处理装置通讯连接至界面装置以及头戴式显示装置中的电子显示器。界面装置包含触觉回馈电路用以产生触觉回馈。处理装置用以提供一沉浸式内容至该电子显示器。处理装置用以在该沉浸式内容中辨识对应该界面装置的一第一模拟物件。处理装置用以辨识该沉浸式内容中发生在该第一模拟物件上的一互动事件。处理装置用以根据该互动事件以及该第一模拟物件决定一振动模型。处理装置用以控制该触觉回馈电路根据该振动模型产生该触觉回馈。藉此，沉浸式系统可透过简单的方式提供多样化且贴近真实的触觉回馈。

Description

沉浸式系统、控制方法及非暂态计算机可读取媒体
技术领域
本揭示是关于沉浸式系统以及其控制方法，更进一步而言，本揭示是关于能够根据互动事件产生触觉回馈的沉浸式系统。
背景技术
近来，虚拟实境(virtual reality,VR)、增强实境(augmented reality,AR)、替代实境(substitutional reality,SR)或混合实境(mixed reality,MR)应用快速发展。许多不同的技术方案包含高规格系统(例如HTC VIVE)至低价系统(例如Google Cardboard)可以给使用者带来各种虚拟实境、增强实境、替代实境或混合实境的沉浸式体验。上述各种实境系统的目的是给使用者提供尽可能贴近真实的感官体验(包含视线、声音、气味及/或触感)，在这些感官知觉当中触觉是相当重要的一个环节。
发明内容
本揭示文件提供一种沉浸式系统，沉浸式系统包含处理装置。处理装置通讯连接至界面装置以及头戴式显示装置中的电子显示器。界面装置包含触觉回馈电路用以产生触觉回馈。处理装置经设置用以：提供一沉浸式内容至该电子显示器；在该沉浸式内容中辨识对应该界面装置的一第一模拟物件；辨识该沉浸式内容中发生在该第一模拟物件上的一互动事件；根据该互动事件以及该第一模拟物件决定一振动模型；以及，控制该触觉回馈电路根据该振动模型产生该触觉回馈。
于一实施例中，触觉回馈电路包含一多轴振动致动器其用以沿着一第一轴以及一第二轴振动，或者该触觉回馈电路包含用以沿着该第一轴振动的一第一线性振动致动器以及用以沿着该第二轴振动的一第二线性振动致动器，该第一轴相异于该第二轴。
于一实施例中，界面装置包含一动态感测器用以侦测该界面装置的一空间指向，该处理装置根据该界面装置的该动态感测器所侦测到的该空间指向得知该第一轴与该第二轴的方向。
于一实施例中，处理装置决定的该振动模型包含沿着该第一轴的一第一振动分量以及沿着该第二轴的一第二振动分量。
于一实施例中，当该互动事件经辨识为一碰撞事件，该碰撞事件中的该第一模拟物件与该沉浸式内容中的一第二模拟物件发生碰撞，该处理装置决定由该第二模拟物件对该第一模拟物件造成的一碰撞应力向量，该处理装置将该碰撞应力向量投射至该第一轴以计算该第一振动分量，并且将该碰撞应力向量投射至该第二轴以计算该第二振动分量，该触觉回馈电路用以根据该第一振动分量在该第一轴产生该触觉回馈并同时根据该第二振动分量在该第二轴产生该触觉回馈。
于一实施例中，当该互动事件经辨识为一动作事件，该动作事件中的该第一模拟物件是用以朝一第一方向进行一动作，该处理装置用以沿着与该第一方向相反的一第二方向上决定一反作用力向量，该处理装置将该反作用力向量投射至该第一轴以计算该第一振动分量，并且将该反作用力向量投射至该第二轴以计算该第二振动分量，该触觉回馈电路用以根据该第一振动分量在该第一轴产生该触觉回馈并同时根据该第二振动分量在该第二轴产生该触觉回馈。
于一实施例中，沿着该第一轴的该第一振动分量包含一第一振动幅度、一第一振动频率或一第一振动持续期间，沿着该第二轴的该第二振动分量包含一第二振动幅度、一第二振动频率或一第二振动期间。
于一实施例中，在对应该界面装置的该第一模拟物件辨识完成后，该处理装置取得对应该第一模拟物件的多个候选互动事件，该多个候选互动事件的每一者分别对应至多个基本振动模型的其中一者，该处理装置由该多个候选互动事件当中选出其中一者决定为该互动事件，该处理装置根据被选出的候选互动事件所对应的其中一个基本振动模型决定该振动模型的一波形。
于一实施例中，该多个基本振动模型是由该沉浸式系统执行的一应用程序所提供，该应用程序用以提供该沉浸式内容，该应用程序是由一供应商所开发，该供应商相异与该沉浸式系统的一制造商。
于一实施例中，该第一振动分量与该第二振动分量的振动幅度、振动频率或振动持续期间是由该应用程序或该处理装置执行的一主控程序所决定，该主控程序是由该沉浸式系统的该制造商所开发。
于一实施例中，该处理装置用以判断在该沉浸式内容中该第一模拟物件的一参数，该参数包含该第一模拟物件在该沉浸式内容中的一型态、一重量、一硬度、一弹性或一材质，该振动模型是根据该第一模拟物件的该参数而决定。
于一实施例中，该界面装置包含一手持控制器，该触觉回馈电路用以产生该触觉回馈至一使用者的一手部。
于一实施例中，该界面装置包含一穿戴式装置穿戴在一使用者的一身体部位，该触觉回馈电路用以产生该触觉回馈至该身体部位。
本揭示文件更提供一种控制方法，控制方法适用于沉浸式系统，控制方法包含：提供一沉浸式内容；在该沉浸式内容中辨识对应一界面装置的一第一模拟物件；辨识该沉浸式内容中发生在该第一模拟物件上的一互动事件；根据该互动事件以及该第一模拟物件决定一振动模型；以及，根据该振动模型产生一触觉回馈。
于一实施例中，振动模型包含沿着一第一轴的一第一振动分量以及沿着一第二轴的一第二振动分量，该第一轴相异于该第二轴。
于一实施例中，界面装置包含一动作感测器，该控制方法还包含：以该动态感测器侦测该界面装置的一空间指向；以及，由该空间指向得知该第一轴与该第二轴的方向。
于一实施例中，该互动事件经辨识为一碰撞事件，该碰撞事件中的该第一模拟物件与该沉浸式内容中的一第二模拟物件发生碰撞，该控制方法包含：决定由该第二模拟物件对该第一模拟物件造成的一碰撞应力向量；将该碰撞应力向量投射至该第一轴以计算该第一振动分量；以及，将该碰撞应力向量投射至该第二轴以计算该第二振动分量，其中，该触控回馈是根据该第一振动分量在该第一轴上产生并同时根据该第二振动分量在该第二轴上产生。
于一实施例中，当该互动事件经辨识为一动作事件，该动作事件中的该第一模拟物件是用以朝一第一方向进行一动作，该控制方法包含：沿着与该第一方向相反的一第二方向上决定一反作用力向量；将该反作用力向量投射至该第一轴以计算该第一振动分量；将该反作用力向量投射至该第二轴以计算该第二振动分量，其中，该触控回馈是根据该第一振动分量在该第一轴上产生并同时根据该第二振动分量在该第二轴上产生。
于一实施例中，沿着该第一轴的该第一振动分量包含一第一振动幅度、一第一振动频率或一第一振动持续期间，沿着该第二轴的该第二振动分量包含一第二振动幅度、一第二振动频率或一第二振动持续期间。
于一实施例中，对应该界面装置的该第一模拟物件辨识完成后，该控制方法还包含：取得对应该第一模拟物件的多个候选互动事件，该多个候选互动事件的每一者分别对应至多个基本振动模型的其中一者，由该多个候选互动事件当中选出其中一者决定为该互动事件，该振动模型的一波形是根据被选出的候选互动事件所对应的其中一个基本振动模型决定。
于一实施例中，该控制方法还包含：判断在该沉浸式内容中该第一模拟物件的一参数，该参数包含该第一模拟物件在该沉浸式内容中的一型态、一重量、一硬度、一弹性或一材质，根据该第一模拟物件的该参数而决定该振动模型是根据该第一模拟物件的该参数。
本揭示文件更提供一种非暂态计算机可读取媒体，其包含计算机程序指令，当处理器执行计算机程序指令时，使处理器执行下列操作包含：提供一沉浸式内容；在该沉浸式内容中辨识对应一界面装置的一第一模拟物件；辨识该沉浸式内容中发生在该第一模拟物件上的一互动事件；根据该互动事件以及该第一模拟物件决定一振动模型；以及，根据该振动模型产生一触觉回馈。
透过上述实施方式，本揭示文件的沉浸式系统、控制方法以及非暂态计算机可读取媒体可以简单的方式提供多样化且贴近真实的触觉回馈。
须说明的是，上述说明以及后续详细描述是以实施例方式例示性说明本案，并用以辅助本案所请求的发明内容的解释与理解。
附图说明
为让本揭示内容的上述和其他目的、特征、优点与实施例能更明显易懂，所附附图的说明如下：
图1绘示根据本揭示文件的一实施例中一种沉浸式系统的示意图；
图2绘示图1中界面装置的侧视图；
图3A绘示根据本揭示文件一些实施例中界面装置的功能方块图；
图3B绘示根据本揭示文件另一实施例的界面装置的功能方块图；
图4绘示根据本揭示文件的一些实施例中一种控制方法的流程图；
图5绘示在本揭示文件一个示范实例的中图4所示的其中一个操作进一步包含详细子操作的流程图；
图6A绘示图5所示的示范实例所对应的沉浸式内容的示意图；
图6B绘示图5所示的示范实例中碰撞应力向量、第一振动分量以及第二振动分量彼此的空间关系的示意图；
图7A绘示根据本揭示文件的一实施例中沿着第一轴的第一振动控制信号以及沿着第二轴的第二振动控制信号的信号波形图；
图7B绘示根据本揭示文件的另一实施例中沿着第一轴的第一振动控制信号以及沿着第二轴的第二振动控制信号的信号波形图；
图8绘示在本揭示文件另一个示范实例的中图4所示的其中一操作进一步包含详细子操作的流程图；
图9A绘示图8所示的示范实例所对应的沉浸式内容的示意图；
图9B绘示图8所示的示范实例中碰撞应力向量、第一振动分量以及第二振动分量彼此的空间关系的示意图；
图10绘示根据本揭示文件的一些实施例中控制方法的流程图；
图11A绘示与一候选互动事件相关联的基本振动模型的信号示意图；
图11B绘示了与另一候选互动事件相关联的另一基本振动模型的信号示意图；
图11C绘示了与另一候选互动事件相关联的另一基本振动模型的信号示意图；
图12绘示根据本揭示文件的一实施例中沿着第一轴的第一振动控制信号以及沿着第二轴的第二振动控制信号的信号波形图；以及
图13绘示根据本揭示文件的一实施例中沿着第一轴的第一振动控制信号以及沿着第二轴的第二振动控制信号的信号波形图。
具体实施方式
以下揭示提供许多不同实施例或例证用以实施本揭示文件的不同特征。特殊例证中的元件及配置在以下讨论中被用来简化本揭示。所讨论的任何例证只用来作解说的用途，并不会以任何方式限制本揭示文件或其例证的范围和意义。在适当的情况下，在图示之间及相应文字说明中采用相同的标号以代表相同或是相似的元件。
请参阅图1，其绘示根据本揭示文件的一实施例中一种沉浸式系统100的示意图。如图1所示，于一实施例中，沉浸式系统100包含界面装置120、处理装置140以及头戴式显示(head mounted display,HMD)装置160。
于图1所示的实施例中，头戴式显示装置160包含电子显示器162。电子显示器162用以将沉浸式内容IMC显示给佩戴着头戴式显示装置160的使用者。沉浸式内容IMC可以是经过两眼视差处理的立体影像(或者立体串流影像)用以将虚拟实境(virtual reality,VR)、增强实境(augmented reality,AR)、替代实境(substitutional reality,SR)或混合实境(mixed reality,MR)的体验提供给使用者。
如图1的实施例所示，界面装置120包含使用者的手掌HD中所握的手持式控制器。于一些实施例中，界面装置120包含触觉回馈电路122。触觉回馈电路122用以产生触觉回馈至使用者的手掌HD。举例来说，触觉回馈电路122可以包含一或多个振动致动器，可以用来在界面装置120上产生振动效果。当沉浸式内容IMC中发生了一些事件或一些情况时，就会产生相应的触控回馈(例如触觉回馈电路122所产生的振动)让使用者可以由他/她的手掌HD感觉到触控回馈。
于图1的实施例中，界面装置120是握在使用者手掌HD当中的手持式控制器，然而本揭示文件并不以此为限。
于其他实施例中，界面装置(图中未示)也可以是穿戴式装置，穿戴在使用者的特定身体部位。触觉回馈电路产生触觉回馈至这个特定身体部位。于一个例子中，界面装置可以是腕带，穿戴在使用者的手腕上，而触控回馈装置产生触控回馈至使用者的手腕，如此一来使用者可以透过手腕的肌肤感觉到触控回馈。于另一个例子中，界面装置可以是背心，穿戴在使用者的躯干上，而触控回馈装置产生触控回馈至使用者的躯干，如此一来使用者可以透过胸口或背部感觉到触控回馈。于再一个例子中，界面装置可以是头带，穿戴在使用者的头部，而触控回馈装置产生触控回馈至使用者的头部，如此一来使用者可以透过头部感觉到触控回馈。
于图1所示的实施例中，处理装置140透过无线连接方式(例如WiFi、蓝芽、低功率蓝芽或红外线通讯)通讯连接至界面装置120以及头戴式显示装置160。处理装置140包含处理器142。处理装置140的处理器142可以执行计算机程序指令144。处理装置140可以是计算机、游戏主机、服务器或任何具有计算能力其他相等性的装置。处理器142可以是中央处理单元、图形处理单元、特殊应用集成电路(Application-specific integrated circuit,ASIC)或是处理装置140的控制单元。计算机程序指令144可以是处理器142所执行的软体或韧体。处理装置140用以提供沉浸式内容IMC并将其显示在头戴式显示装置160的电子显示器162上。
请一并参阅图2及图3A，图2绘示图1中界面装置120的侧视图。图3A绘示根据本揭示文件一些实施例中界面装置120的功能方块图。
如图2及图3A所示，界面装置120包含触觉回馈电路122、动态感测器124、控制电路126以及通讯电路128。于图3A的实施例中，触觉回馈电路122包含多轴振动致动器122a其至少可以沿着第一轴AX1以及第二轴AX2产生振动。第一轴AX1以及第二轴AX2彼此指向不同的方向。
于图2所示的实施例中，第一轴AX1是由界面装置120的右侧延伸至界面装置120的左侧，而第二轴AX2是由界面装置120的前方延伸至界面装置120的后方。换句话说，多轴振动致动器122a可以驱动界面装置120沿着第一轴AX1侧向振动并且可以驱动界面装置120沿着第二轴AX2前后振动。于此实施例中，多轴振动致动器122a可以是一个双轴振动致动器其能够沿着第一轴AX1以及第二轴AX2两个方向分别振动。举例来说，双轴振动致动器可以透过设置在两个电磁端点之间的震荡器线圈所构成。当高频信号施加至两个电磁端点时，震荡器线圈会根据电磁端点上的高频信号发生共振，高频信号可以驱动震荡器线圈沿着一个轴向(例如水平轴)在一个共振频率下振动，并且驱动震荡器线圈沿着另一个轴向(例如垂直轴)在另一个共振频率下振动。
然而，多轴振动致动器122a并不限于在如图2所示的侧向方向以及前后方向上进行振动。于其他实施例中，多轴振动致动器122a可以设置为沿着三个不同的轴进行振动，例如侧向方向、前后方向以及上下方向。于再一实施例中，多轴振动致动器122a可以设置为沿着两个或多个不同轴向所形成的组合上进行振动(例如侧向、前后、上下、顺时针及/或逆时针)。
如图2所示，界面装置120的动态感测器124可以用来侦测界面装置120的空间指向ORI。动态感测器124可以由惯性量测单元(Inertial Measurement Unit,IMU)来实现。惯性量测单元用以感测界面装置120沿着不同轴向的加速度及角速度。然而，本揭示文件并不以此为限。动态感测器124也可以利用加速度计、陀螺仪或其他指向感测器来实现。
触觉回馈电路122与动态感测器124均固定设置在界面装置120上。因此，第一轴AX1、第二轴AX2以及动态感测器124所感测到的空间指向ORI彼此之间具有固定空间关系。因此，只要得知空间指向ORI，便可以同样推知第一轴AX1及第二轴AX2所面对的方向。
控制电路126耦接至触觉回馈电路122、动态感测器124以及通讯电路128。通讯电路128用以与处理装置140通讯。控制电路126可以取得动态感测器124所侦测的空间指向ORI，并将空间指向ORI透过通讯电路128传输至处理装置140。控制电路126可用以触发及控制触觉回馈电路122沿着第一轴AX1以及第二轴AX2振动。
此外，本揭示文件的触觉回馈电路122并不限于包含图3A所示的多轴振动致动器122a。请一并参阅图3B，图3B绘示根据本揭示文件另一实施例的界面装置120的功能方块图。如图3B所示，界面装置120包含触觉回馈电路122、动态感测器124、控制电路126以及通讯电路128。须特别注意的是，图3B的实施例中触觉回馈电路122包含第一线性振动致动器122b以及第二线性振动致动器122c。第一线性振动致动器122b可以沿着第一轴AX1(参阅图2)振动，第二线性振动致动器122c可以沿着第二轴AX2(参阅图2)振动。藉此，第一线性振动致动器122b以及第二线性振动致动器122c可以驱动界面装置120分别沿着第一轴AX1与沿着第二轴AX2振动。
于其他一些实施例中，触觉回馈电路122可以包含两个以上的线性振动致动器(例如沿着三个不同轴向设置的三个线性振动致动器，或是沿着六个不同轴向设置的六个线性振动致动器)，如此一来，触觉回馈电路122可以沿着各种不同方向产生更真实的触控回馈。
为了说明上的简洁，后续段落中的触觉回馈电路122是以能够沿着两个轴(参阅图2中的第一轴AX1以及第二轴AX2)振动进行举例说明。然而，触觉回馈电路122并不以此为限。
于本揭示文件的一些实施例中，处理装置140根据不同的环境状态(例如沉浸式内容IMC当中发生不同的事件、或者沉浸式内容IMC中一个事件发生在不同的虚拟物件上)下用以控制触觉回馈电路122沿着第一轴AX1以及第二轴AX2根据不同的参数(例如振动幅度、振动持续期间或振动频率)产生触觉回馈。关于在不同的环境状态下如何决定产生触觉回馈的不同参数设定将在后续段落中进一步讨论。
请一并参阅图4，其绘示根据本揭示文件的一些实施例中一种控制方法400的流程图。控制方法400适用于图1及先前实施例中所示的沉浸式系统100。如图1、图2以及图4所示，在操作S410当中，处理装置140的处理器142将沉浸式内容IMC提供至头戴式显示装置160的电子显示器162。
在沉浸式内容IMC可能包含主要场景、背景、使用者的虚拟化身、对应界面装置120的第一模拟物件及/或一些其他虚拟物件，这些其他虚拟物件可能是沉浸式系统100为了提供虚拟实境、增强实境、替代实境或混合实境体验所建立的虚拟物件。
在沉浸式内容IMC当中，对应界面装置120的第一模拟物件可以根据虚拟实境、增强实境、替代实境或混合实境体验的主要场景或背景而有所改变。在一个例子中，假设使用者的虚拟化身是一个矿工，对应界面装置120的第一模拟物件可以变形为一把铲子。另一个例子中，假设使用者的虚拟化身是一个士兵，对应界面装置120的第一模拟物件可以变形为一把手枪、一把散弹枪、一把狙击枪获一把自动步枪。再另一个例子中，假设使用者的虚拟化身是一个棒球运动员或是网球运动员，对应界面装置120的第一模拟物件可以变形为棒球球棒或网球球拍。再另一个例子中，假设使用者的虚拟化身是一个赛车手，对应界面装置120的第一模拟物件可以变形为方向盘或排档杆。换句话说，对应界面装置120的第一模拟物件是根据沉浸式内容IMC的当前数据而决定。
于操作S430当中，处理装置140的处理器142用以辨识沉浸式内容IMC当中对应界面装置120的第一模拟物件。
使用者可以用手操纵界面装置120。基于使用者的操纵状态，在沉浸式内容IMC中将可能有互动事件发生在第一模拟物件上。于一个例子中，使用者在沉浸式内容IMC当中可以利用铲子(即第一虚拟物件)朝向地面进行挖掘的动作，此时互动事件是挖角动作事件。于另一个例子中，使用者在沉浸式内容IMC当中可以扣下手枪(即第一虚拟物件)的扳机，此时互动事件是射击动作事件。于另一个例子中，使用者在沉浸式内容IMC当中可以用网球球拍(即第一虚拟物件)挥击一个虚拟的网球，此时互动事件是虚拟网球与网球球拍之间的碰撞事件。于另一个例子中，使用者在沉浸式内容IMC当中可以操纵排档杆(即第一虚拟物件)进行换档，此时互动事件是排档杆的换档动作事件。
在操作S450当中，处理装置140的处理器142辨识上述在沉浸式内容IMC中发生在第一模拟物件上的互动事件。
在操作S470当中，处理装置140的处理器142根据互动事件以及第一模拟物件决定一振动模型。处理装置140所决定的振动模型包含了沿着第一轴AX1的第一振动分量以及沿着第二轴AX2的第二振动分量。沿着第一轴AX1的第一振动分量包含第一振动幅度、第一振动频率或第一振动持续期间。沿着第二轴AX2的第二振动分量包含第二振动幅度、第二振动频率或第二振动持续期间。振动模型可用来决定沿着第一轴AX1以及第二轴AX2的振动分别有多强烈(例如第一振动幅度与第二振动幅度各自的大小)、持续多久(例如第一振动持续期间与第二振动持续期间各自的长度)及/或多密集(例如第一振动频率与第二振动频率各自的高低)。
于一些实施例中，处理装置140用以根据沉浸式内容IMC当中的互动事件来决定振动模型。如果互动事件是一个强烈的动作(例如开枪射击、击出全垒打)，则振动模型中的多个振动幅度会加大。如果互动事件是一个微弱的动作，则振动模型中的多个振动幅度会减小。如果互动事件是一个长时间持续动作(例如用手握住一个物体)，则振动模型中的多个振动持续期间会拉长。如果互动事件是一个瞬间暂态动作(例如爆炸)，则振动模型中的多个振动持续期间会缩短。
于一些实施例中，处理装置140更进一步用以根据沉浸式内容IMC当中的第一模拟物件的参数来决定振动模型。第一模拟物件的参数可以包含第一模拟物件的型态、重量、硬度、弹性或材质。振动模型可以根据第一模拟物件的参数而决定。若第一模拟物件的重量较重，振动模型的多个振动幅度将变小或者振动持续期间将缩短。若第一模拟物件的重量较轻，振动模型的多个振动幅度将变大或者振动持续期间将延长。若第一模拟物件的弹性较佳，振动模型的多个振动幅度将变大或者振动持续期间将延长。若第一模拟物件不具有弹性(或弹性较小)，振动模型的多个振动幅度将变小或者振动持续期间将缩短。
在操作S490当中，处理装置140的处理器142将之前操作S470所决定的振动模型传送至界面装置120的触觉回馈电路122，藉此根据振动模型在界面装置120上产生相应的触觉回馈。
换句话说，处理装置140在操作S470中会相应于发生在第一模拟物件上的互动事件决定适当的振动模型。振动模型是根据操作S430所辨识的第一模拟物件的参数以及操作S450所辨识的互动事件的事件特性来决定。接着，界面装置120的触觉回馈电路122便会根据振动模型产生触觉回馈，如此一来，使用者感受到的触学回馈便会对应到第一模拟物件的参数以及互动事件的事件特色而有所不同。
请一并参阅图5、图6A以及图6B，图5绘示在本揭示文件一个示范实例的中图4所示的操作S470进一步包含详细子操作S471a-S475a的流程图。图6A绘示图5所示的示范实例所对应的沉浸式内容IMC1的示意图。图6B绘示图5所示的示范实例中碰撞应力向量CFV、第一振动分量CPV1以及第二振动分量CPV2彼此的空间关系的示意图。
如图6A所示的沉浸式内容IMC1的示范实例当中，第一模拟物件OBJ1a是辨识为网球球拍以及互动事件是辨识为第一模拟物件OBJ1a与第二模拟物件OBJ2(例如网球)之间的碰撞事件。在此碰撞事件中第一模拟物件OBJ1a与沉浸式内容IMC1中的第二模拟物件OBJ2发生撞击。举例来说，当使用者用网球球拍击打网球时，沉浸式系统100希望能透过界面装置120提供接近真实的触觉回馈，如此一来，使用者能够感受到网球与网球球拍之间的碰撞事件。
如图1、图2、图5及图6A所示，在操作S471a当中，界面装置120的动态感测器124用以侦测界面装置120的空间指向ORI，处理装置140由界面装置120取得空间指向ORI。由于触觉回馈电路122与动态感测器124均固定设置在界面装置120上。因此，第一轴AX1、第二轴AX2以及动态感测器124所感测到的空间指向ORI彼此之间具有固定空间关系。于操作S472a当中，处理装置140根据动态感测器124侦测的空间指向ORI得知第一轴AX1与第二轴AX2的方向。
如图1、图2、图5及图6B所示，在操作S473a当中，处理装置140决定由第二模拟物件OBJ2对第一模拟物件OBJ1a造成的碰撞应力向量CFV。于图6A及图6B的示范实例当中，碰撞应力向量CFV是根据第二模拟物件OBJ2(例如网球)在碰撞之前初始的动量向量MV而决定。如果初始的动量向量MV愈大(例如网球的质量愈大或是网球的初始速度愈快)，碰撞应力向量CFV便愈大。如果初始的动量向量MV愈小(例如网球的质量愈小或是网球的初始速度愈慢)，碰撞应力向量CFV便愈小。于此示范实例当中，碰撞应力向量CFV的方向对齐第二模拟物件OBJ2其初始的动量向量MV的方向。
如图1、图2、图5及图6B所示，在操作S474a当中，处理装置140将碰撞应力向量CFV投射至第一轴AX1以计算第一振动分量CPV1，第一振动分量CPV1的长度可由碰撞应力向量CFV的长度与角度θ1的乘积而定，可以表示为下列公式：
L(CPV1)＝L(CFV)*cosθ1
当中，L(CPV1)代表第一振动分量CPV1的长度；L(CFV)代表碰撞应力向量CFV的长度；以及，θ1为碰撞应力向量CFV与第一轴AX1之间的夹角。
如图1、图2、图5及图6B所示，在操作S475a当中，处理装置140将碰撞应力向量CFV投射至第二轴AX2以计算第二振动分量CPV2，第二振动分量CPV2的长度可由碰撞应力向量CFV的长度与角度θ2的乘积而定，可以表示为下列公式：
L(CPV2)＝L(CFV)*cosθ2
当中，L(CPV2)代表第二振动分量CPV2的长度；L(CFV)代表碰撞应力向量CFV的长度；以及，θ2为碰撞应力向量CFV与第二轴AX2之间的夹角。
于此示范实例当中，操作S470所决定的振动模型中包含了如图6B所示沿着第一轴AX1的第一振动分量CPV1以及沿着第二轴AX2的第二振动分量CPV2。
在操作S490当中，触觉回馈电路122用以基于第一轴AX1的第一振动分量CPV1以及沿着第二轴AX2的第二振动分量CPV2在两个轴上同时产生振动回馈。
于此示范实例中，第二振动分量CPV2的长度大于第一振动分量CPV1的长度，这代表了触觉回馈电路122将在第二轴AX2产生较大程度的振动而在第一轴AX1上产生较小程度的振动。
于一些实施例中，第一轴AX2上的振动与第二轴AX2上的振动之间震动程度的关系可以按照第一振动分量CPV1与第二振动分量CPV2之间长度比例而定。
请一并参阅图7A，其绘示根据本揭示文件的一实施例中沿着第一轴AX1的第一振动控制信号以及沿着第二轴AX2的第二振动控制信号的信号波形图。
于一实施例中，第一振动控制信号与第二振动控制信号提供给图3A中的多轴振动致动器122a以分别控制多轴振动致动器122a在第一轴AX1及第二轴AX2产生的振动。于另一实施例中，第一振动控制信号是提供给图3B所示的第一线性振动致动器122b，以控制第一线性振动致动器122b在第一轴AX1上产生的振动，第二振动控制信号是提供给图3B所示的第二线性振动致动器122c，以控制第二线性振动致动器122c在第二轴AX2上产生的振动。第一振动控制信号与第二振动控制信号是分别根据第一振动分量CPV1的长度与第二振动分量CPV2的长度而决定。
于图7A的实施例中，第二振动控制信号的幅度A2是第一振动控制信号的幅度A1的两倍。于此例子中，触觉回馈电路122沿着第二轴AX2产生的振动强度将设定为沿着第一轴AX1产生的振动强度的两倍。如此一来，使用者可以感觉到由第一轴AX1上的振动与第二轴AX2上的振动共同形成的一个组合振动。这个组合振动可以模拟接近网球对网球拍所造成的碰撞力道。这个组合振动可以模拟来自各种不同进入方向的冲击力道(并不限于单单第一轴AX1本身的方向或是单单第二轴AX2本身的方向)，如此一来，使用者可以在界面装置120上感受到来自不同方向的碰撞应力的冲击力道。
于一些实施例中，如果界面装置120是穿在使用者躯干上的背心，则使用者的躯干可以感受到来自不同方向的碰撞应力的冲击力道。
请一并参阅图7B，其绘示根据本揭示文件的另一实施例中沿着第一轴AX1的第一振动控制信号以及沿着第二轴AX2的第二振动控制信号的信号波形图。
于图7B的实施例中，第二振动控制信号的持续期间D2是第一振动控制信号的持续期间D1的两倍。于此例子中，触觉回馈电路122沿着第二轴AX2产生的振动持续期间将设定为沿着第一轴AX1产生的振动持续期间的两倍。如此一来，使用者可以感觉到由第一轴AX1上的振动与第二轴AX2上的振动将具有不同长短的持续时间。如此一来，使用者也可以感受到两个不同轴向(第一轴AX1及第二轴AX2)共同形成的组合振动。
基于图7A的实施例，界面装置120上沿着第一轴AX1的第一振动分向CPV1产生的振动具有第一振动幅度A1，沿着第二轴AX2的第二振动分向CPV2产生的振动具有第二振动幅度A2不同于第一振动幅度A1。基于图7B的实施例，界面装置120上沿着第一轴AX1的第一振动分向CPV1产生的振动具有第一振动持续期间D1，沿着第二轴AX2的第二振动分向CPV2产生的振动具有第二振动持续期间D2不同于第一振动持续期间D1。在另一实施例中，沿着第一轴AX1的第一振动分向CPV1产生的振动具有第一振动频率(例如5赫兹或相对较低频率)，沿着第二轴AX2的第二振动分向CPV2产生的振动具有第二振动频率(例如20赫兹或相对较高频率)不同于第一振动频率。
请一并参阅图8、图9A以及图9B，图8绘示在本揭示文件另一个示范实例的中图4所示的操作S470进一步包含详细子操作S471b-S475b的流程图。图9A绘示图8所示的示范实例所对应的沉浸式内容IMC2的示意图。图9B绘示图8所示的示范实例中碰撞应力向量CFV、第一振动分量CPV1以及第二振动分量CPV2彼此的空间关系的示意图。
如图9A所示的沉浸式内容IMC2的示范实例当中，第一模拟物件OBJ1b是辨识为手枪以及互动事件是辨识为与第一模拟物件OBJ1b有关的动作事件。例如，当使用者在沉浸式内容IMC2中体验射击游戏时，使用者可以按压(或是扣下)图1所示的界面装置120上的开关按钮，便会根据使用者的操纵状态产生相应的一个动作事件ACT发生至第一模拟物件OBJ1b。于此示范实例中，动作事件是沿着第一方向(例如朝向手枪的前方)进行射击。当使用者在沉浸式内容IMC2当中扣下手枪的扳机，沉浸式系统100希望能透过界面装置120提供接近真实的触觉回馈，如此一来，使用者能够感受到手枪上发生的动作事件。
如图1、图2、图8及图9A所示，在操作S471b当中，界面装置120的动态感测器124用以侦测界面装置120的空间指向ORI，处理装置140由界面装置120取得空间指向ORI。第一轴AX1、第二轴AX2以及动态感测器124所感测到的空间指向ORI彼此之间具有固定空间关系。于操作S472b当中，处理装置140根据动态感测器124侦测的空间指向ORI得知第一轴AX1与第二轴AX2的方向。
如图1、图2、图8、图9A及图9B所示，在操作S473b当中，处理装置140决定发生在第一模拟物件OBJ1b上的动作事件ACT产生的反作用力向量RFV。于图9A及图9B的示范实例当中，反作用力向量RFV是沿着第二方向(朝向手枪的后方)与动作事件ACT的射击方向相反。反作用力向量RFV另外受到动作事件ACT所造成的动作力道的影响。如果动作事件ACT所造成的动作力道愈大(例如第一模拟物件OBJ1b变为一把散弹枪)，反作用力向量RFV便愈大。如果动作事件ACT所造成的动作力道愈小，反作用力向量RFV便愈小。于此示范实例当中，反作用力向量RFV的方向是相反于发生在第一模拟物件OBJ1b上的动作事件ACT的方向。
如图1、图2、图8及图9B所示，在操作S474b当中，处理装置140将反作用力向量RFV投射至第一轴AX1以计算第一振动分量CPV1，第一振动分量CPV1的长度可由反作用力向量RFV的长度与角度θ3的乘积而定，可以表示为下列公式：
L(CPV1)＝L(RFV)*cosθ3
当中，L(CPV1)代表第一振动分量CPV1的长度；L(RFV)代表反作用力向量RFV的长度；以及，θ3为反作用力向量RFV与第一轴AX1之间的夹角。
如图1、图2、图8及图9B所示，在操作S475b当中，处理装置140将反作用力向量RFV投射至第二轴AX2以计算第二振动分量CPV2，第二振动分量CPV2的长度可由反作用力向量RFV的长度与角度θ4的乘积而定，可以表示为下列公式：
L(CPV2)＝L(RFV)*cosθ2
当中，L(CPV2)代表第二振动分量CPV2的长度；L(RFV)代表反作用力向量RFV的长度；以及，θ4为反作用力向量RFV与第二轴AX2之间的夹角。
于此示范实例当中，操作S470所决定的振动模型中包含了如图9B所示沿着第一轴AX1的第一振动分量CPV1以及沿着第二轴AX2的第二振动分量CPV2。
在操作S490当中，触觉回馈电路122用以基于第一轴AX1的第一振动分量CPV1以及沿着第二轴AX2的第二振动分量CPV2在两个轴上同时产生振动回馈。
于此示范实例中，第二振动分量CPV2的长度大于第一振动分量CPV1的长度，这代表了触觉回馈电路122将在第二轴AX2产生较大程度的振动而在第一轴上产生较小程度的振动。
于一实施例中，界面装置120上沿着第一轴AX1的第一振动分向CPV1产生的振动具有第一振动幅度，沿着第二轴AX2的第二振动分向CPV2产生的振动具有第二振动幅度不同于第一振动幅度(可一并参照图7A)。于另一实施例中，界面装置120上沿着第一轴AX1的第一振动分向CPV1产生的振动具有第一振动持续期间，沿着第二轴AX2的第二振动分向CPV2产生的振动具有第二振动持续期间不同于第一振动持续期间。在另一实施例中，沿着第一轴AX1的第一振动分向CPV1产生的振动具有第一振动频率(例如5赫兹或相对较低频率)，沿着第二轴AX2的第二振动分向CPV2产生的振动具有第二振动频率(例如20赫兹或相对较高频率)不同于第一振动频率。
基于上述实施例，处理装置140可以对应发生在第一模拟物件上的互动事件，并基于操作S430辨识到的第一模拟物件的参数以及操作S450辨识到的互动事件的事件特性，决定一个适当的振动模型。界面装置120的触觉回馈电路122会根据振动模型沿着两个或两个以上的方向轴产生触觉回馈。沿着不同轴向上的多个振动可以分别具有独立的振幅、持续期间及/或频率。使用者可以对应第一模拟物件的参数及互动事件的事件特性感受到适当的触觉回馈。
于一实施例中，沉浸式系统100的处理装置140可以执行一个主控程序(hostprogram)用来控制界面装置120及头戴式显示装置160的基本操作功能(例如信号传输、电力管理及/或提供基本的使用者界面)。处理装置140可进一步执行一个应用程序以提供沉浸式内容IMC。此应用程序可以是沉浸式游戏应用、沉浸式互动影片播放程序或沉浸式系统100可执行的其他相等性应用程序。于一实施例中，此应用程序可由一供应商进行开发，此供应商可以不同于沉浸式系统100的制造商。于另一实施例中，此应用程序也可以由沉浸式系统100的制造商进行开发。
于一实施例中，应用程序可以提供对应不同互动事件的多个不同基本振动模型。请一并参阅图10，其绘示根据本揭示文件的一些实施例中控制方法500的流程图。于图1及图10所示，在操作S510当中，处理装置140的处理器142将沉浸式内容IMC提供至头戴式显示装置160的电子显示器162。沉浸式内容IMC可以根据沉浸式系统100目前正在执行的应用程序而改变。当应用程序为网球有关的运动游戏时，图6A所示的沉浸式内容IMC1将可能显示在电子显示器162。当应用程序为射击游戏时，图9A所示的沉浸式内容IMC2将可能显示在电子显示器162。
如图1及图10所示，在步骤S530当中，处理装置140的处理器142用以辨识目前显示中的沉浸式内容IMC当中对应界面装置120的第一模拟物件。第一模拟物件可能随着沉浸式内容IMC变化，其关联于沉浸式系统100目前正在执行的应用程序。在图6A的实施例，处理装置140会将第一模拟物件OBJ1a辨识为网球球拍。在图9A的实施例，处理装置140会将第一模拟物件OBJ1b辨识为手枪。
于一实施例中，沉浸式系统100所执行的应用程序可提供与第一模拟物件有关的一些候选互动事件。举例来说，若辨识到沉浸式内容IMC1中第一模拟物件OBJ1a时，存在与第一模拟物件OBJ1a相关联的两个候选互动事件CIE1及CIE2。其中一个候选互动事件CIE1可以是网球球拍与网球的碰撞事件。另一个候选互动事件CIE2可以是网球球拍与地面的摩擦事件。于此实施例中，应用程序一并提供了与两个候选互动事件相关联的不同的基本振动模型。
请一并参阅图11A及图11B，图11A绘示了与候选互动事件CIE1(例如网球球拍与网球的碰撞事件)相关联的基本振动模型BVP1的信号示意图。图11B绘示了与候选互动事件CIE2(例如网球球拍与地板的摩擦事件)相关联的基本振动模型BVP2的另一个信号示意图。
于此例子中，对应碰撞事件的基本振动模型BVP1不同于对应摩擦事件的基本振动模型BVP2。对碰撞事件来说，基本振动模型BVP1所示的振动强度先是随时间逐渐提高，接着再随时间逐渐降低。基本振动模型BVP1的设计上的变化方式可以是用来模拟网球球拍与网球碰撞时的弹性。对摩擦事件来说，基本振动模型BVP2所示的振动强度在一开始的振动强度较高，接着摩擦事件的剩下的时间内维持一定持续的振动强度。基本振动模型BVP1的设计上的变化方式用来模拟网球球拍与地板之间的摩擦力。基本振动模型BVP1与基本振动模型BVP2具有不同的设计以模拟互动事件的不同特性。于此实施例中，应用程序用以将两种候选互动事件CIE1及CIE2关联的基本振动模型BVP1及BVP2，提供给沉浸式系统100的主控程序。
举例来说，若辨识到沉浸式内容IMC2中第一模拟物件OBJ1b时，存在与第一模拟物件OBJ1b相关联的两个候选互动事件CIE2及CIE3。其中一个候选互动事件CIE2可以是手枪与墙面的摩擦事件。另一个候选互动事件CIE3可以是手枪的射击事件。于此实施例中，应用程序一并提供了与两个候选互动事件相关联的不同的基本振动模型。
请一并参阅图11B及图11C，图11B绘示了与候选互动事件CIE2(例如手枪与墙面的摩擦事件)相关联的基本振动模型BVP2的信号示意图。图11C绘示了与候选互动事件CIE3(例如手枪的射击事件)相关联的基本振动模型BVP3的另一个信号示意图。
于此实施例中，手枪与墙面的摩擦事件可以被视为与网球球拍在地板上拖行的摩擦事件具有相同的事件类型。
于另一实施例中，手枪与墙面的摩擦事件也可以与网球球拍在地板上拖行的摩擦事件被视为两个独立的不同的事件类型，在此情况下，应用程序可以对应两种不同的摩擦事件提供两个不同的基本振动模型(图中未示)。
于此例中，射击事件的基本振动模型BVP3不同于先前的两种基本振动模型BVP1及BVP2。对射击事件来说，基本振动模型BVP3所示的振动的强度在一开始剧烈地上升，接着振动的强度逐渐下降。基本振动模型BVP3可以设计来模拟使用者扣下手枪的扳机时产生的冲击力道。于此实施例中，应用程序用以将两种候选互动事件CIE2及CIE3关联的基本振动模型BVP2及BVP3，提供给沉浸式系统100的主控程序。
当对应界面装置的第一模拟物件辨识之后，执行操作S550，由处理器142辨识在沉浸式内容IMC中发生在第一模拟物件上的互动事件。于图10的实施例中，操作S550是根据操作S530中所辨识的第一模拟物件而进行。
如果操作S530中所辨识的第一模拟物件为第一模拟物件OBJ1a，则操作S550包含操作S551a及S552a。操作S551a执行以取得与第一模拟物件OBJ1a相关联的两个候选互动事件CIE1及CIE2。操作S552a执行以由两个候选互动事件CIE1及CIE2当中选择其中一者作为沉浸式内容中发生在第一模拟物件OBJ1a上的互动事件。
接着，执行操作S570以根据互动事件以及第一模拟物件OBJ1a决定振动模式。若操作S530中辨识到第一模拟物件OBJ1a，操作S570包含操作S571a及操作S572a。在操作S571a当中，处理装置140根据两个候选互动事件当中被选出的候选互动事件(候选互动事件CIE1或CIE2)所对应的基本振动模型(基本振动模型BVP1或BVP2)决定振动模型的波形。
如果是候选互动事件CIE1被选为发生在第一模拟物件OBJ1a上的互动事件，振动模型的波形将根据基本振动模型BVP1而决定。于操作S572a，处理装置140计算振动模型的沿着第一轴的第一振动分量与沿着第二轴的第二振动分量。关于如何计算沿着第一轴的第一振动分量与沿着第二轴的第二振动分量的详细作法已经在先前实施例有完整说明。对于候选互动事件CIE1(网球球拍与网球之间的碰撞事件)，相关的计算过程已经在操作S471a至S475a、图5、图6A及图6B中完整讨论。接着，执行操作S590以控制触觉回馈电路122根据振动模型产生触觉回馈。
请一并参阅图12，其绘示根据本揭示文件的一实施例中，若辨识到第一模拟物件OBJ1a、候选互动事件CIE1被选为互动事件且基本振动模型BVP1用来决定振动模型的波形时，此情况下沿着第一轴AX1的第一振动控制信号以及沿着第二轴AX2的第二振动控制信号的信号波形图。如图12所示，沿着第一轴AX1的第一振动控制信号以及沿着第二轴AX2的第二振动控制信号可以具有不同的振动幅度A1及A2根据操作S572a计算的第一振动分量与第二振动分量。
第一振动分量与第二振动分量的振动幅度、振动频率或振动持续时间可以由处理装置140所执行的应用程序或是主控程序所决定。沿着第一轴AX1的第一振动控制信号以及沿着第二轴AX2的第二振动控制信号的波形则是由应用程序所提供的基本振动模型BVP1所决定。
当操作S530中辨识到第一模拟物件OBJ1a，若是在操作S552a当中选择的是候选互动事件CIE2作为互动事件，则基本振动模型BVP2将会被用来决定振动模型的波形。在此情况下，请一并参阅图13，其绘示根据本揭示文件的一实施例中，若辨识到第一模拟物件OBJ1a、候选互动事件CIE2被选为互动事件且基本振动模型BVP2用来决定振动模型的波形时，此情况下沿着第一轴AX1的第一振动控制信号以及沿着第二轴AX2的第二振动控制信号的信号波形图。
另一方面，若操作S530中辨识到第一模拟物件为图9A中所示的第一模拟物件OBJ1b，便会执行操作S551b以取得与第一模拟物件OBJ1b相关联的两个候选互动事件CIE2及CIE3。执行操作S552b，由两个候选互动事件CIE2及CIE3当中选出互动事件。接着，执行操作S571b，处理装置140根据与两个候选互动事件当中被选出的候选互动事件(候选互动事件CIE2或CIE3)所对应的基本振动模型(基本振动模型BVP2或BVP3)决定振动模型的波形。在操作S572b当中，处理装置140计算振动模型的沿着第一轴的第一振动分量与沿着第二轴的第二振动分量。关于如何计算沿着第一轴的第一振动分量与沿着第二轴的第二振动分量的详细作法已经在先前实施例有完整说明。对于候选互动事件CIE3(手枪的动作事件)，相关的计算过程已经在操作S471b至S475b、图8、图9A及图9B中完整讨论。接着，执行操作S590以控制触觉回馈电路122根据振动模型产生触觉回馈。振动模型的波形是根据基本振动模型BVP2或BVP3而决定。
需特别注意的是，图10当中的控制方法并不限于处理如图6A以及图9A所示的两种不同类型的第一模拟物件OBJ1a及OBJ1b。若是操作S530当中辨识到另一种相异类型的第一模拟物件OBJ1x，控制方法500会取得与第一模拟物件OBJ1x相关联的一些候选互动事件，并执行相应的操作S550至S590。如此一来，控制方法500并不仅限于对应上述的两种类型的第一模拟物件OBJ1a及OBJ1b。
于一些实施例中，应用程序的开发者只需要提供关联于不同候选互动事件CIE1至CIE3的不同基本振动模型BVP1至BVP3，关于振动模型的详细参数(例如第一振动分量及第二振动分量上各自的振动幅度、振动频率或振动持续时间)可由沉浸式系统100的主控程序自动加以计算。
于本揭示文件的另一实施例是一种非暂态计算机可读取媒体。此非暂态计算机可读取媒体可以用以储存图1所示的计算机程序指令144。当处理器142运行计算机程序指令144时，计算机程序指令144使处理器144执行前述实施例中控制方法400或500的各种操作。
虽然本发明的实施例已揭露如上，然其并非用以限定本发明，任何熟悉此技艺者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当以所附的权利要求书所界定的范围为准。

Claims (20)

1.一种沉浸式系统，其特征在于，该沉浸式系统包含：
一处理装置，通讯连接至一界面装置以及一头戴式显示装置中的一电子显示器，该界面装置包含一触觉回馈电路用以产生一触觉回馈，该处理装置经设置用以：
提供一沉浸式内容至该电子显示器；
在该沉浸式内容中辨识对应该界面装置的一第一模拟物件；
在该第一模拟物件辨识完成后，取得对应该第一模拟物件的多个候选互动事件，提供与该多个候选互动事件相关联的多个基本振动模型，该多个候选互动事件的每一者分别对应至该多个基本振动模型的其中一者；
辨识该沉浸式内容由该多个候选互动事件当中选出其中一者决定为发生在该第一模拟物件上的一互动事件；
根据该互动事件以及该第一模拟物件决定一振动模型，根据被选出的候选互动事件所对应的其中一个基本振动模型决定该振动模型的一波形；以及
控制该触觉回馈电路根据该振动模型沿着两个以上的方向轴产生该触觉回馈；
其中该多个候选互动事件包含一碰撞事件以及一摩擦事件，对应该碰撞事件的一第一基本振动模型与对应该摩擦事件的一第二基本振动模型相异，对应该碰撞事件的该第一基本振动模型的振动强度先是随时间逐渐提高接着再随时间逐渐降低，对应该摩擦事件的该第二基本振动模型在该摩擦事件开始时具有高振动强度接着的剩下时间内维持持续的低振动强度。
2.根据权利要求1所述的沉浸式系统，其特征在于，该触觉回馈电路包含一多轴振动致动器其用以沿着一第一轴以及一第二轴振动，或者该触觉回馈电路包含用以沿着该第一轴振动的一第一线性振动致动器以及用以沿着该第二轴振动的一第二线性振动致动器，该第一轴相异于该第二轴。
3.根据权利要求2所述的沉浸式系统，其特征在于，该界面装置包含一动态感测器用以侦测该界面装置的一空间指向，该处理装置根据该界面装置的该动态感测器所侦测到的该空间指向得知该第一轴与该第二轴的方向。
4.根据权利要求2所述的沉浸式系统，其特征在于，该处理装置决定的该振动模型包含沿着该第一轴的一第一振动分量以及沿着该第二轴的一第二振动分量。
5.根据权利要求4所述的沉浸式系统，其特征在于，当该互动事件经辨识为一碰撞事件，该碰撞事件中的该第一模拟物件与该沉浸式内容中的一第二模拟物件发生碰撞，该处理装置决定由该第二模拟物件对该第一模拟物件造成的一碰撞应力向量，该处理装置将该碰撞应力向量投射至该第一轴以计算该第一振动分量，并且将该碰撞应力向量投射至该第二轴以计算该第二振动分量，该触觉回馈电路用以根据该第一振动分量在该第一轴产生该触觉回馈并同时根据该第二振动分量在该第二轴产生该触觉回馈。
6.根据权利要求4所述的沉浸式系统，其特征在于，当该互动事件经辨识为一动作事件，该动作事件中的该第一模拟物件是用以朝一第一方向进行一动作，该处理装置用以沿着与该第一方向相反的一第二方向上决定一反作用力向量，该处理装置将该反作用力向量投射至该第一轴以计算该第一振动分量，并且将该反作用力向量投射至该第二轴以计算该第二振动分量，该触觉回馈电路用以根据该第一振动分量在该第一轴产生该触觉回馈并同时根据该第二振动分量在该第二轴产生该触觉回馈。
7.根据权利要求4所述的沉浸式系统，其特征在于，沿着该第一轴的该第一振动分量包含一第一振动幅度、一第一振动频率或一第一振动持续期间，沿着该第二轴的该第二振动分量包含一第二振动幅度、一第二振动频率或一第二振动期间。
8.根据权利要求4所述的沉浸式系统，其特征在于，该多个基本振动模型是由该沉浸式系统执行的一应用程序所提供，该应用程序用以提供该沉浸式内容，该应用程序是由一供应商所开发，该供应商相异与该沉浸式系统的一制造商。
9.根据权利要求8所述的沉浸式系统，其特征在于，该第一振动分量与该第二振动分量的振动幅度、振动频率或振动持续期间是由该应用程序或该处理装置执行的一主控程序所决定，该主控程序是由该沉浸式系统的该制造商所开发。
10.根据权利要求1所述的沉浸式系统，其特征在于，该处理装置用以判断在该沉浸式内容中该第一模拟物件的一参数，该参数包含该第一模拟物件在该沉浸式内容中的一型态、一重量、一硬度、一弹性或一材质，该振动模型是根据该第一模拟物件的该参数而决定。
11.根据权利要求1所述的沉浸式系统，其特征在于，该界面装置包含一手持控制器，该触觉回馈电路用以产生该触觉回馈至一使用者的一手部。
12.根据权利要求1所述的沉浸式系统，其特征在于，该界面装置包含一穿戴式装置穿戴在一使用者的一身体部位，该触觉回馈电路用以产生该触觉回馈至该身体部位。
13.一种控制方法，其特征在于，该控制方法适用于一沉浸式系统，该控制方法包含：
提供一沉浸式内容；
在该沉浸式内容中辨识对应一界面装置的一第一模拟物件；
在该第一模拟物件辨识完成后，取得对应该第一模拟物件的多个候选互动事件，提供与该多个候选互动事件相关联的多个基本振动模型，该多个候选互动事件的每一者分别对应至该多个基本振动模型的其中一者；
辨识该沉浸式内容由该多个候选互动事件当中选出其中一者决定为发生在该第一模拟物件上的一互动事件；
根据该互动事件以及该第一模拟物件决定一振动模型，根据被选出的候选互动事件所对应的其中一个基本振动模型决定该振动模型的一波形；以及
根据该振动模型沿着两个以上的方向轴产生一触觉回馈；
其中该多个候选互动事件包含一碰撞事件以及一摩擦事件，对应该碰撞事件的一第一基本振动模型与对应该摩擦事件的一第二基本振动模型相异，对应该碰撞事件的该第一基本振动模型的振动强度先是随时间逐渐提高接着再随时间逐渐降低，对应该摩擦事件的该第二基本振动模型在该摩擦事件开始时具有高振动强度接着的剩下时间内维持持续的低振动强度。
14.根据权利要求13所述的控制方法，其特征在于，该振动模型包含沿着一第一轴的一第一振动分量以及沿着一第二轴的一第二振动分量，该第一轴相异于该第二轴。
15.根据权利要求14所述的控制方法，其特征在于，该界面装置包含一动态感测器，该控制方法还包含：
以该动态感测器侦测该界面装置的一空间指向；以及
由该空间指向得知该第一轴与该第二轴的方向。
16.根据权利要求14所述的控制方法，其特征在于，当该互动事件经辨识为一碰撞事件，该碰撞事件中的该第一模拟物件与该沉浸式内容中的一第二模拟物件发生碰撞，该控制方法包含：
决定由该第二模拟物件对该第一模拟物件造成的一碰撞应力向量；
将该碰撞应力向量投射至该第一轴以计算该第一振动分量；以及
将该碰撞应力向量投射至该第二轴以计算该第二振动分量，
其中，该触觉回馈是根据该第一振动分量在该第一轴上产生并同时根据该第二振动分量在该第二轴上产生。
17.根据权利要求14所述的控制方法，其特征在于，当该互动事件经辨识为一动作事件，该动作事件中的该第一模拟物件是用以朝一第一方向进行一动作，该控制方法包含：
沿着与该第一方向相反的一第二方向上决定一反作用力向量；
将该反作用力向量投射至该第一轴以计算该第一振动分量；以及
将该反作用力向量投射至该第二轴以计算该第二振动分量，
其中，该触觉回馈是根据该第一振动分量在该第一轴上产生并同时根据该第二振动分量在该第二轴上产生。
18.根据权利要求14所述的控制方法，其特征在于，沿着该第一轴的该第一振动分量包含一第一振动幅度、一第一振动频率或一第一振动持续期间，沿着该第二轴的该第二振动分量包含一第二振动幅度、一第二振动频率或一第二振动持续期间。
19.根据权利要求14所述的控制方法，其特征在于，还包含：
判断在该沉浸式内容中该第一模拟物件的一参数，该参数包含该第一模拟物件在该沉浸式内容中的一型态、一重量、一硬度、一弹性或一材质，根据该第一模拟物件的该参数而决定该振动模型是根据该第一模拟物件的该参数。
20.一种非暂态计算机可读取媒体，其特征在于，该非暂态计算机可读取媒体包含一计算机程序指令，当一处理器执行该计算机程序指令时，使该处理器执行下列操作包含：
提供一沉浸式内容；
在该沉浸式内容中辨识对应一界面装置的一第一模拟物件；
在该第一模拟物件辨识完成后，取得对应该第一模拟物件的多个候选互动事件，提供与该多个候选互动事件相关联的多个基本振动模型，该多个候选互动事件的每一者分别对应至该多个基本振动模型的其中一者；
辨识该沉浸式内容由该多个候选互动事件当中选出其中一者决定为发生在该第一模拟物件上的一互动事件；
根据该互动事件以及该第一模拟物件决定一振动模型，根据被选出的候选互动事件所对应的其中一个基本振动模型决定该振动模型的一波形；以及
根据该振动模型沿着两个以上的方向轴产生一触觉回馈；
其中该多个候选互动事件包含一碰撞事件以及一摩擦事件，对应该碰撞事件的一第一基本振动模型与对应该摩擦事件的一第二基本振动模型相异，对应该碰撞事件的该第一基本振动模型的振动强度先是随时间逐渐提高接着再随时间逐渐降低，对应该摩擦事件的该第二基本振动模型在该摩擦事件开始时具有高振动强度接着的剩下时间内维持持续的低振动强度。
CN201810758177.6A 2017-07-11 2018-07-11 沉浸式系统、控制方法及非暂态计算机可读取媒体 Active CN109240487B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762530861P 2017-07-11 2017-07-11
US62/530,861 2017-07-11

Publications (2)

Publication Number Publication Date
CN109240487A CN109240487A (zh) 2019-01-18
CN109240487B true CN109240487B (zh) 2021-11-12

Family

ID=65000219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810758177.6A Active CN109240487B (zh) 2017-07-11 2018-07-11 沉浸式系统、控制方法及非暂态计算机可读取媒体

Country Status (3)

Country Link
US (1) US11068058B2 (zh)
CN (1) CN109240487B (zh)
TW (1) TWI674134B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
TWI760654B (zh) * 2018-11-12 2022-04-11 宏達國際電子股份有限公司 虛擬實境控制器
TWI689334B (zh) * 2019-05-30 2020-04-01 弘光科技大學 具備代償動作判別之虛擬實境復健訓練系統
TW202326360A (zh) 2021-12-28 2023-07-01 財團法人工業技術研究院 嵌入式系統以及振動驅動方法
US11927752B2 (en) * 2022-02-16 2024-03-12 Htc Corporation Control method and mobile device in immersive system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101496954A (zh) * 2008-01-28 2009-08-05 联想(北京)有限公司 一种游戏控制器及其游戏处理方法
CN103425245A (zh) * 2012-05-22 2013-12-04 三星电子株式会社 用于提供用户接口的方法和应用该方法的便携式装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7345672B2 (en) * 1992-12-02 2008-03-18 Immersion Corporation Force feedback system and actuator power management
US6417638B1 (en) * 1998-07-17 2002-07-09 Sensable Technologies, Inc. Force reflecting haptic interface
US9990774B2 (en) * 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
US10296086B2 (en) 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
KR102074380B1 (ko) * 2015-06-02 2020-02-07 한국전자통신연구원 촉각전달장치 및 이를 구비한 촉각전달 디스플레이
CN105117016A (zh) 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101496954A (zh) * 2008-01-28 2009-08-05 联想(北京)有限公司 一种游戏控制器及其游戏处理方法
CN103425245A (zh) * 2012-05-22 2013-12-04 三星电子株式会社 用于提供用户接口的方法和应用该方法的便携式装置

Also Published As

Publication number Publication date
US20190018489A1 (en) 2019-01-17
TWI674134B (zh) 2019-10-11
US11068058B2 (en) 2021-07-20
CN109240487A (zh) 2019-01-18
TW201907994A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109240487B (zh) 沉浸式系统、控制方法及非暂态计算机可读取媒体
US10974138B2 (en) Haptic surround functionality
US9884248B2 (en) Display control method for head-mounted display (HMD) and image generation device
US20170076503A1 (en) Method for generating image to be displayed on head tracking type virtual reality head mounted display and image generation device
KR20150109269A (ko) 공유된 햅틱 경험을 위한 시스템 및 방법
EP1060772A2 (en) Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
JP6368411B1 (ja) 仮想体験を提供するためにコンピュータで実行される方法、プログラム及びコンピュータ
US7999812B2 (en) Locality based morphing between less and more deformed models in a computer graphics system
US10698490B2 (en) Haptic feedback device, method and system
JP2008307392A (ja) 可動コントローラを使った対話式制御のための自己完結式慣性ナビゲーション・システム
JP6509955B2 (ja) 情報処理方法、プログラム及び情報処理装置
JP7071823B2 (ja) シミュレーションシステム及びプログラム
WO2016079828A1 (ja) 打撃操作のためのユーザーインターフェースシステムと操作信号解析方法及びプログラム
JP6580619B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6290490B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018171320A (ja) シミュレーションシステム及びプログラム
JP7194495B2 (ja) プログラム、コンピュータシステムおよびゲーム実行制御方法
KR20150142991A (ko) 센싱장치 및 이를 구비한 스크린 사격 시뮬레이션 시스템
JP2019083028A (ja) 情報処理方法、プログラム及びコンピュータ
JP2018175849A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN215769661U (zh) 包括提供触觉反馈的外围设备的仿真系统
KR20190046030A (ko) 타격감 개선 시스템을 이용한 1인칭 슈팅 게임 방법
WO2004053636A2 (en) Human-computer interfaces incorporating haptics and path-based interaction
Logsdon Arm-Hand-Finger Video Game Interaction
JP2023016047A (ja) 情報処理システム、プログラム及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant