CN109976507A - 直观触觉设计 - Google Patents

直观触觉设计 Download PDF

Info

Publication number
CN109976507A
CN109976507A CN201811490556.8A CN201811490556A CN109976507A CN 109976507 A CN109976507 A CN 109976507A CN 201811490556 A CN201811490556 A CN 201811490556A CN 109976507 A CN109976507 A CN 109976507A
Authority
CN
China
Prior art keywords
tactile
haptic effect
tracking
emitters
timeline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811490556.8A
Other languages
English (en)
Inventor
W·S·里恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN109976507A publication Critical patent/CN109976507A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/126—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of individual notes, parts or phrases represented as variable length segments on a 2D or 3D representation, e.g. graphical edition of musical collage, remix files or pianoroll representations of MIDI-like files

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及直观触觉设计。从视频设计触觉包括在视频回放期间实时跟踪音频/视觉(A/V)元素，以及基于对A/V元素的跟踪将A/V元素的触觉效果实时分配给时间线上A/V元素的不同位置，以生成分配的触觉效果位置。基于时间线上A/V元素的分配的触觉效果位置来生成触觉回放轨道。

Description

直观触觉设计
技术领域
示例实施例涉及利用空间化触觉来设计触觉反馈，更具体地涉及基于通过与音频/视频元素的多个位置交叉参考而空间化的触觉来设计触觉反馈。
背景技术
在诸如数字音频工作站(“DAW”)或非线性编辑系统(“NLE”)的传统触觉设计工具中，通常为待触觉化的移动音频/视频(“A/V”)元素的每个位置生成单个触觉回放轨道。
发明内容
示例实施例提供了通过以下来设计触觉：在视频回放期间实时跟踪音频/视觉(A/V)元素；基于对A/V元素的跟踪将A/V元素的触觉效果实时分配给时间线上A/V元素的不同位置，以生成分配的触觉效果位置；以及基于时间线上A/V元素的指定触觉效果位置来生成触觉回放轨道。
通过使用虚拟现实(“VR”)/增强现实(“AR”)系统或实时编辑系统，第一实施例包括通过创建触觉发射器并将其放置到视频的空间环境中来跟踪A/V元素，在视频回放期间在空间环境中与A/V元素一起实时移动触觉发射器，以及在移动触觉发射器期间获得触觉发射器的空间数据。通过实时地将触觉发射器的空间数据与时间线上A/V元素的不同位置相关联，为A/V元素分配触觉效果。
通过使用VR/AR系统或实时编辑系统，第二实施例包括通过将粒子效果放置到视频的空间环境中来跟踪A/V元素，通过在视频回放期间在空间环境中实时移动粒子效果来创建A/V元素的路径，以及在粒子效果移动期间获得A/V元素的空间数据。通过实时地将A/V元素的空间数据与时间线上A/V元素的不同位置相关联，为A/V元素分配触觉效果。
通过使用编辑系统，第三实施例包括通过在视频回放期间实时可视地跟踪A/V元素来获得A/V元素的空间数据，从而跟踪A/V元素。通过实时地将A/V元素的空间数据与时间线上A/V元素的不同位置相关联，为A/V元素分配触觉效果。
上述实施例克服了在具有多个视角的线性体验中添加触觉的困难。
附图说明
从下面结合附图的详细描述中将更清楚地理解示例性实施例。图1至图16表示如本文所述的非限制性示例性实施例。
图1是根据示例性实施例的设计触觉的流程图。
图2是根据示例性实施例的利用编辑系统来设计触觉的流程图。
图3、图4以及图6至图9是根据示例性实施例的触觉效果的图。
图5是根据示例性实施例的空间化触觉的图。
图10是根据示例性实施例的利用VR/AR系统或实时编辑系统来设计触觉的流程图。
图11是根据示例性实施例的触觉设计系统的框图。
图12是根据示例性实施例的实时主机系统的框图。
图13是根据示例性实施例的电子设备中的触觉设计系统的框图。
图14至图16是根据示例性实施例的触觉编辑窗口的图像。
具体实施方式
示例性实施例针对基于通过与音频/视频元素的多个位置交叉参考而空间化的触觉来设计触觉反馈，从而产生更沉浸的体验。
触觉是一种触觉和/或动觉反馈技术，为使用个人触觉的个人产生触觉反馈效果(也称为“触觉反馈”或“触觉效果”)，例如力、振动和运动。支持触觉的设备可以包括被配置为应用触觉效果的嵌入式硬件(例如，致动器或其他输出机构)。嵌入式硬件通常被编程为应用(或回放)一组特定的触觉效果。当指定播放哪个(哪些)触觉效果的信号被支持触觉的设备接收时，支持触觉的设备呈现指定的触觉效果。例如，当个人想要体验触觉事件时，支持触觉的设备的嵌入式硬件通过控制电路来接收播放命令。嵌入式硬件接着应用适当的触觉效果。
指定要播放哪个(哪些)触觉效果的信号在此被称为触觉回放轨道。根据示例性实施例的触觉回放轨道可以使用DAW(用于记录、编辑和产生音频文件(例如NLE)的电子设备或应用软件)、VR/AR系统和/或粒子(particle)效果库来设计或生成。
根据示例性实施例的NLE是音频、视频或图像编辑的形式，其中原始内容在编辑过程中不被修改。NLE中的编辑由专门的软件指定和修改。
NLE的一种类型是Adobe Systems公司的“Adobe After Effects”应用软件，该软件用于将视频更改为在时间线上组织的层系统，以从视频文件(如静止图像和/或运动镜头)创建合成物。
根据示例性实施例，可以通过创建触觉模式(tactile haptic pattern)来呈现触觉以用于VR/AR系统中的虚拟鼓的敲击。触觉模式可以通过在视频回放期间观察虚拟鼓的位置(或撞击虚拟鼓的虚拟对象的位置)，并将触觉分配给视频时间线上虚拟鼓的观察位置来设计或生成。或者，触觉模式可以通过将触觉发射器放置在虚拟鼓上，并在回放期间观察触觉发射器的移动来设计。触觉模式是通过将触觉发射器的运动与视频时间线上虚拟鼓的图像交叉参考来设计的。触觉模式接着在VR/AR系统上呈现给用户。
图1是根据示例性实施例的设计触觉的流程图。
参考图1，触觉100的设计包括在120，在视频回放期间实时跟踪音频/视觉(“A/V”)元素。A/V元素可以是例如视频中的对象、化身或现象。根据示例性实施例，实时意味着基本上没有延迟或以可以忽略的延迟来执行任务，并且在用户看来几乎是即时执行的。
一旦A/V元素的合成物被组织在时间线中，在150，基于对A/V元素的跟踪，A/V元素的触觉效果被分配给时间线中A/V元素的不同位置，以生成分配的触觉效果位置。
接着，在190，基于时间线中A/V元素的分配的触觉效果位置，生成触觉回放轨道，以及可选地元数据文件。元数据文件可以包括空间数据和触觉回放轨道。
触觉回放轨道以及可选地元数据文件可以被输出到支持触觉的设备。
下面提供根据示例性实施例的使用编辑系统、VR/AR系统、实时编辑系统和粒子效果库设计触觉反馈的详细说明。图2是根据示例性实施例的利用编辑系统来设计触觉反馈的流程图。
参考图2，在210，可以将视频导入编辑系统的编辑环境中。视频可以是360度的视频。360度视频是一种视频记录，其中使用全向摄像机或摄像机集合同时记录各个方向的视图。在220，使用跟踪系统，选择要与触觉相关联或与触觉一起呈现的视频中的A/V元素(例如，鼓被敲击、蜜蜂嗡嗡叫等)，并对其进行实时跟踪以在A/V元素上固定点。A/V元素可以是任何对象或事件，例如枪击、爆炸、发动机、电力、天气、自然灾害、跑步、坠落等。A/V元素可以有引人注意的声音或运动。
在230，如果使用音频通道/轨道(例如，在NLE中)经由音频-触觉驱动器将触觉路由到致动器，则选择或创建用于A/V元素的一个或多个音频通道。音频触觉驱动器的使用可能需要区分用于音频的音频通道和用于触觉的音频通道。
然后回放视频。可以通过计算机、移动设备或头戴式显示器(“HMD”)上的编辑环境来观看回放。在回放360度视频期间，观看者可以像全景一样控制观看方向。因此，观看者可以扫视视频，从不同的角度或视角在视觉上跟随A/V元素。
在视频回放期间，在240，A/V元素的固定位置/坐标被可视地示出以获得空间数据。可以设置A/V元素的触觉效果的衰减(falloff)范围。因此，对A/V元素的跟踪包括在视频回放期间通过视觉跟踪A/V元素的固定点/坐标和/或衰减范围来获得A/V元素的空间数据。
接着，A/V元素的合成物被组织在所期望的时间线中。在250，通过将A/V元素的空间数据(或者固定点/坐标和/或衰减范围)与时间线上A/V元素的不同位置相关联，将触觉效果分配给时间线上A/V元素的不同位置。
触觉效果可以基于编辑者和/或观看者/用户偏好或期望如何呈现触觉来实时分配，触觉呈现方式例如全氛围、视点(“POV”)、角色选择、角色注视、触摸、强调的三维(“3D”)对象和/或致动器选择。观看者的偏好可以通过维护所有数据并使用元数据(与观看者的偏好交叉参考)以确定要播放的触觉轨道来实现。触觉轨道可以提前或实时生成。
图3、图4以及图6至图9是根据示例性实施例的触觉效果的图。
触觉效果可以基于POV来分配。一种类型的POV是全氛围，在全氛围中，触觉效果可以分配给所有动作，但强度不同。重点可以放在特定的POV上，如图3所示。参考图3，在(a)中，重点放在中心视图中的视觉动作上。在(b)中，重点放在外围视图和/或POV之外的非视觉动作上。在(c)中，重点放在360度视图中的所有动作上。
全氛围驱动的触觉效果可以使用单个触觉轨道来实现，并且可以在任何支持触觉的设备(例如移动设备、HMD、计算机等)上呈现。全氛围驱动的触觉效果对于360度动作摄像机是理想的，其中A/V元素通过普通对象(例如，喷气式飞机内部或自行车)接触地面。
在POV驱动的触觉效果中，通过识别几个关键角度作为参考点，并且如同触觉效果是单独视频一样地应用触觉效果，360度视频的所有可能角度都可以被视为传统内容。参考图4，可以为POV中的动作呈现触觉，如(a)所示。或者，对于环境感知，触觉可以反转以为POV之外的动作呈现触觉效果，如图4的(b)所示。视觉元素的POV驱动的触觉效果可能需要知道被观看的方向(例如在头部跟踪(head tracking)中)。
为了将POV驱动的触觉效果分配给视频中的音频元素，优选双耳(binaural)音频。双耳音频是使用两个麦克风产生的音频，以产生三维立体声感觉。为了在HMD上呈现POV驱动的触觉效果，HMD可能需要触觉外设。
POV驱动的触觉效果对于任何一般的内容用例是理想的。
图5是根据示例性实施例的空间化触觉的图。
参考图5，因为触觉效果可以被空间化，或者被分配给例如全氛围POV驱动的触觉效果中的所有动作，所以触觉混合器可以用于混合触觉效果，以产生从一个触觉效果到另一个触觉效果的平滑过渡。在没有混合器的情况下，当例如摇摄时，从一个触觉效果到另一个触觉效果的过渡可能显得突然。
在角色驱动的触觉效果中，触觉是基于单个角色的动作来分配的，如图6所示。角色驱动的触觉效果可以使用单个触觉轨道来实现，但是更优选使用空间化的触觉来实现。空间化允许用户跟踪角色的位置。为了跟踪角色的动作，可以使用“热或冷”的空间化风格。“热或冷”空间化风格指的是调节(modulate)与角色相关联的触觉轨道或效果。例如，当在视野(“FOV”)之外的角色接近FOV时，可以柔和地呈现与角色相关联的触觉效果。当角色进入FOV时，触觉效果的强度会达到峰值。作为另一示例，可以使用“热或冷”的空间化风格，使得用户感觉到他们FOV之外的东西，以鼓励他/她找到触觉效果的来源。角色驱动的触觉效果可能需要知道被观看的方向(例如在头部跟踪中)。
例如，参考图16，该图是根据示例性实施例的触觉编辑窗口的图像，从鸟瞰图中示出了“归属”方向和方位。
由于跟踪角色位置和运动的复杂性(特别是在360度视频中)，通常需要先进的设计工具来产生角色驱动的触觉效果。例如，算法选项可以包括仅播放可见、播放全部、播放全部焦点可见、播放全部焦点隐藏、仅播放隐藏等。
为了将角色驱动的触觉效果分配给视频中的音频元素，优选双耳音频。为了在HMD上呈现角色驱动的触觉效果，HMD可能需要触觉外设。
角色驱动的触觉效果对于关注对象或角色的广告、具有有限角色数、预示角色触觉的视频短片是理想的。
在注视驱动的触觉效果中，触觉是基于用户视觉聚焦或观看的一般区域来分配的，如图7所示。可以在移动设备或HMD上进行的眼睛跟踪对于注视驱动的触觉效果是最佳的。注视驱动的触觉效果可以与注视点渲染(foveated rendering)一起使用，后者是一种图形呈现技术，其使用VR头盔进行眼睛跟踪以通过降低周边视觉(眼睛视网膜中央凹注视的区域之外)中的图像质量来减少渲染工作量。
注视驱动的触觉效果对于实时触觉事件和创作具有额外的复杂性。为了将注视驱动的触觉效果分配给视频中的音频元素，优选双耳音频。
注视驱动的触觉效果对于现场实况活动(如体育比赛、戏剧表演等)以及专注于产品的广告是理想的。
在触摸驱动的触觉效果中，基于用户的触摸点来分配触觉，如图8所示。触摸驱动的触觉效果可以通过跟踪用户触摸的位置来实现，这可以在具有电容屏幕的移动设备或任何基于手的外设上完成。或者，当在HMD内观看时，可以使用空手跟踪来跟踪观看者的手。
当用户在例如不使用HMD的情况下观看360度视频时，通常会使用触摸驱动的触觉效果。当使用HMD时，使用保持手接触的基于手的外设或分离控制器。为了将触摸驱动的触觉效果分配给视频中的音频元素，优选双耳音频。
触摸驱动的触觉效果对于环境探索和视频游戏是理想的。
在3D聚焦触觉效果中，触觉被分配给在虚拟空间中观看的3D对象，如图9所示。3D对象可能看起来像是从虚拟环境中“弹出”出来的，这是预期的设计美学。3D聚焦触觉效果可用于进一步强调3D对象的外观，这些3D对象例如可能已经被创建者选择来应用3D效果。当传统2D内容通过3D序列被增强时(例如，当观看者戴上3D眼镜来观看效果时)，可以使用3D聚焦触觉效果。
3D聚焦触觉效果适用于虚拟或模拟的影院环境。3D聚焦触觉效果可以被创作成立体视频。在呈现3D聚焦触觉效果时在HMD中观看(可能使用外设)是优选的，以实现期望的效果。3D聚焦触觉效果与HMD触摸驱动触觉效果很好地配合工作。
3D聚焦触觉效果对于具有立体3D效果的非360-视频内容是理想的。
返回参考图2，在260，基于时间线上的触觉效果或者通过将时间线上的触觉效果插入到期望的触觉轨道中，创建触觉轨道。
在270处，确定是否存在将具有触觉的未被跟踪的A/V元素。如果存在将具有触觉的未被跟踪的A/V元素，则将相应的触觉效果插入到触觉轨道中。
在280处，确定是否存在将被跟踪的附加A/V元素。如果存在将被跟踪的附加A/V元素，则在220开始重复该过程。
在290，生成触觉回放轨道，并且可选地生成元数据文件。触觉回放轨道可以由单个混合触觉轨道或几个触觉轨道组成。例如，单个混合触觉轨道可以由一个或多个被跟踪的A/V元素和/或一个或多个未被跟踪的A/V元素组成。元数据文件可以包括空间数据和触觉回放轨道。
触觉回放轨道以及可选地元数据文件可以被输出到支持触觉的设备。
图10是根据示例性实施例的利用VR/AR系统或实时编辑系统来设计触觉的流程图。
参考图10，在1000，利用VR/AR系统或实时编辑系统来设计触觉包括导入或生成空间内容的触觉轨道。
在1010，触觉发射器被放置在3D空间环境中，诸如在游戏引擎(像例如“Unity 3D”或“虚幻引擎”)、编辑器工具的实时编辑环境或VR/AR环境内。在1020，创建触觉发射器并将其放置到相应的环境中。触觉发射器可以通过在空间环境中以2D或3D绘制波形或形状来创建并放置到相应的环境中。例如，在以3D绘图时，Y轴可以控制强度，X轴可以控制时间，Z轴可以控制频率。或者，可以使用除强度、时间和频率之外的参数。
在1050，触觉发射器可以可选地被分配给视频中的A/V元素。可以为触觉效果设置衰减范围。例如，如果蜜蜂在化身的头部嗡嗡作响，则可以在蜜蜂身上放置触觉发射器。或者，通过放置在3D环境中，创建者可以容易地看到触觉发射器相对于A/V元素的位置，将触觉发射器放置在A/V元素附近而不直接将触觉发射器分配给A/V元素，并且将触觉发射器与A/V元素一起移动。
在示例性实施例中，在1050，可以将粒子效果分配给视频中的A/V元素。粒子效果是一种游戏或计算机图形技术，其使用大量非常小的精灵、3D模型或其他图形对象(这里称为“粒子”)来模拟某些动态事件或现象(例如，高度混乱系统、自然现象、由化学反应引起的能量或过程，诸如火、爆炸、烟、激光束、流动的水、雪、岩石坠落、星星等)，这是用传统渲染技术难以再现的。
在1055，确定视频中期望的时间线的位置。
接着，在1060，确定触觉发射器是否应该以当前时间码开始回放。如果确定触觉发射器/粒子效果不应该以当前时间码开始回放，则在1065处，视频被清理(scrub)到触觉效果/粒子效果应该开始回放的时间码。如果触觉发射器/粒子效果应该以当前时间码开始回放，则视频的回放开始，并且在1070，编辑者(即人)应该实时移动和定位触觉发射器/粒子效果以对应于A/V元素的位置。
当在视频回放期间移动和定位触觉发射器/粒子效果时，获得触觉发射器/粒子效果的空间数据。接着，将触觉发射器/粒子效果的空间数据与时间线中的A/V元素的不同位置相关联。例如，在蜜蜂示例中，当蜜蜂可见时，将触觉效果插入时间线中。当蜜蜂不可见时，触觉效果不会插入到时间线中。
在1075，确定是否需要额外的触觉轨道。如果需要额外的触觉轨道，则在1000开始重复该过程。
如果不需要额外的触觉轨道，则在1080确定触觉发射器/粒子效果是否需要微调。如果触觉发射器/粒子效果需要微调，则在1085，视频被清理和调整。
对粒子效果的微调可以包括调整粒子效果的参数。粒子效果参数可以包括例如产卵速率(每单位时间产生多少粒子)、粒子的初始速度矢量(它们在产生时的发射方向)、粒子寿命(每个单独粒子消失前存在的时间长度)和粒子颜色。编辑者可以通过指定中心值和中心值两侧允许的随机性程度(即，平均粒子寿命可能是50帧±20％)来使参数“模糊”(与精确的数值相反)。
如果对触觉发射器/粒子效果的微调不是必需的，则在1090生成触觉回放轨道。在1090，还可以生成包括空间数据的元数据文件。
触觉回放轨道和元数据文件可以被输出到支持触觉的设备(例如移动设备、控制台、计算机等)、手持游戏控制器、VR/AR控制器或另一外围设备(例如，游戏垫、计算机鼠标、轨迹球、键盘、平板电脑、麦克风和耳机，或者可穿戴设备)。
图11是根据示例性实施例的编辑系统的框图。
参考图11，根据示例性实施例的编辑系统1105通过视频输入1110接收视频。编辑系统1105可以是NLE。视频可以是360度的视频。
编辑系统1105包括跟踪系统1115，其跟踪视频中被选择与触觉相关联或与触觉一起呈现的A/V元素。在回放期间，跟踪系统1115在A/V元素上固定点。
可以通过连接到编辑系统1105的视觉显示器1120上的窗口观看回放。视觉显示器1120可以是计算机屏幕、移动设备屏幕或头戴式显示器(“HMD”)。在回放视频期间，编辑者可以像全景一样控制观看方向。因此，编辑者可以扫视视频，从不同的角度或视角在视觉上跟随A/V元素。
例如，参考图14，该图是根据示例性实施例的触觉编辑窗口的图像，预览窗口1410可以显示视频。在视频回放期间，A/V元素的固定位置/坐标可以在图11所示的视觉显示器1120上的跟踪窗口1420中可视地显示，以获得空间数据。或者，触觉轨道可以被固定到视频中的A/V元素，并且可以跟踪A/V元素的坐标。
如图11所示，编辑系统1105包括触觉轨道生成器1125，该触觉轨道生成器1125基于由编辑者使用从视频输入1110接收到的视频在期望时间线中组织的A/V元素与由编辑者分配给时间线上A/V元素的不同位置的触觉效果的合成物来生成触觉轨道，其中通过将从跟踪系统1115接收到的A/V元素的空间数据(或者固定点/坐标和/或衰减范围)与时间线上A/V元素的不同位置相关联，触觉效果被分配给上述不同位置。
可以从编辑系统1105中的触觉效果数据库1127获得触觉效果。或者，可以从外部来源获得触觉效果。
如上所述，触觉效果可以基于编辑者期望如何呈现触觉来分配，触觉呈现方式例如全氛围、视点(“POV”)、角色选择、角色注视、触摸、强调的三维(“3D”)对象和/或致动器选择。
如果存在将具有触觉的未被跟踪的A/V元素，则触觉轨道生成器1125将相应的触觉效果插入到触觉轨道中。
如果有将被跟踪的额外的A/V元素，则视频将被再次回放，并且跟踪系统1115在回放期间固定A/V元素的点。或者，跟踪系统1115可以被配置为在视频回放期间跟踪多于一个的A/V元素。
触觉回放轨道生成器1130生成触觉回放轨道，并且可选地生成元数据文件。触觉回放轨道可以由单个混合触觉轨道或几个触觉轨道组成。单个混合触觉轨道例如可以由一个或多个被跟踪的A/V元素和/或一个或多个未被跟踪的A/V元素组成。元数据文件可以包括空间数据和触觉回放轨道。
触觉回放轨道生成器1130将一个或多个触觉回放轨道或包含多个触觉回放轨道的触觉文件，以及可选地元数据文件输出到支持触觉的设备1135。
编辑系统1105可以电气和无线地连接到支持触觉的设备1135。支持触觉的设备1135可以是移动设备、控制台、计算机、手持游戏控制器、VR/AR控制器或另一外围设备(例如游戏垫、计算机鼠标、轨迹球、键盘、平板电脑、麦克风和耳机，或者可穿戴设备)。
触觉效果由支持触觉的设备1135施加。触觉效果可以作为振动触觉效果、变形触觉效果、超声波触觉效果和/或静电摩擦触觉效果来施加。触觉效果的施加可以包括使用触觉、变形、超声波和/或静电源来施加振动。
根据示例性实施例的支持触觉的设备1135还可以包括触觉输出设备1145。触觉输出设备1145是包括被配置为响应于触觉驱动信号而输出任何形式的触觉效果(例如振动触觉效果、静电摩擦触觉效果、变形触觉效果、超声波触觉效果等)的机构的设备。
触觉输出设备1145可以是机电致动器，例如压电致动器或电活性聚合物(“EAP”)致动器，以施加触觉效果。在示例性实施例中，压电致动器可以是陶瓷致动器或宏纤维复合材料(“MFC”)致动器。然而，示例性实施例不限于此。例如，作为触觉输出设备1145的附加，还可以使用电动机、电磁致动器、音圈、形状记忆合金、螺线管、偏心旋转质量马达(“ERM”)、线性谐振致动器(“LRA”)或高带宽致动器。
在另选的示例性实施例中，可使用直流(“DC”)电机作为触觉输出设备1145的替代或附加，来施加振动。
在其他示例性实施例中，支持触觉的设备1135可以包括非机械设备以施加触觉效果。非机械设备可以包括植入用户肌梭附近从而使用以与产生真实(或自然)运动的感觉刺激相同的速率发射的电流来激励肌梭的电极，使用静电摩擦(“ESF”)或超声波表面摩擦(“USF”)的设备、使用超声波触觉换能器来感应声辐射压力的设备、使用触觉基底和柔性或可变形表面或形状改变设备并且可以附着到个人身体的设备、提供投射触觉输出(诸如强制空气(例如使用空气喷射的一股空气)、基于激光的抛射物、基于声音的抛射物等)的设备。
根据一个示例性实施例，基于激光的抛射物使用激光能量来电离空气中高浓度区域中的空气分子，从而提供等离子体(正粒子和负粒子的高浓度混合物)。激光器可以是飞秒激光器，其以非常快和非常强的速度发射脉冲。激光越快，人类接触越安全。基于激光的抛射物可以表现为触觉和交互的全息图。当等离子体接触到个人的皮肤时，个人可以感觉到高浓度区域中被激发的空气分子的振动。个人皮肤上的感觉是由在个人与空气中的等离子体相互作用时产生的波引起的。因此，可以通过使个人暴露于等离子体浓度高的区域来向个人提供触觉效果。替代地或附加地，触觉效果可以通过使个人暴露于由定向声能产生的振动而提供给个人。
图12是根据示例实施例的实时主机系统的框图。
参考图12，根据示例性实施例的实时主机系统1200可以是虚拟现实/增强现实系统或任何实时编辑系统。主机系统1200包括实时触觉设计系统1205，其通过触觉轨道输入1210接收触觉轨道。实时触觉设计系统1205可以是NLE。视频可以是360度的视频。
触觉轨道的空间内容由提取器1215提取到3D空间环境、VR/AR环境或实时编辑环境中，并呈现在显示器1220上。
触觉发射器放置系统1217创建触觉发射器，并将触觉发射器放置在显示器1220上显示的环境中。可以通过在空间环境中绘制波形或形状来创建触觉发射器并将其放置到相应的环境中。
触觉发射器被分配给相应视频中的A/V元素。可以为触觉效果设置衰减范围。
例如，参考图15，该图是根据示例性实施例的触觉编辑窗口的图像，次级窗口1510表示触觉发射器的变化区域/减退。羽化边缘1520表示触觉发射器的衰减。
在示例性实施例中，来自粒子效果库1230的粒子效果可以被分配给视频中的A/V元素。
确定视频中期望的时间线的位置。
当在视频回放期间移动和定位触觉发射器/粒子效果时，触觉轨道编辑器1225通过获得触觉发射器/粒子效果的空间数据，并将触觉发射器/粒子效果的空间数据与时间线中A/V元素的不同位置相关联，来调节或编辑触觉轨道。对触觉轨道的调节可以实时完成。
如果触觉发射器/粒子效果需要微调，则通过微调器1227对视频进行清理和调整。
对触觉发射器的微调可导致触觉效果的至少一个参数(例如位置、幅度(或强度)、频率、持续时间等)的改变。
根据示例性实施例，定义特定触觉效果的高级参数包括位置、幅度、频率和持续时间。诸如流式电机命令之类的低级参数也可以用于呈现触觉效果。这些参数的一些变化可以改变对触觉效果的感觉，和/或可以进一步使触觉效果被认为是“动态的”。
对粒子效果的微调可以包括调整粒子效果的参数。粒子效果参数可以包括例如产卵速率(每单位时间产生多少粒子)、粒子的初始速度矢量(它们在创建时的发射方向)、粒子寿命(每个单个粒子消失前存在的时间长度)和粒子颜色。编辑者可以通过指定中心值和中心值任一侧允许的随机性程度(即平均粒子寿命可能是50帧±20％)来使参数“模糊”(与精确的数值相反)。
在对触觉发射器/粒子效果进行微调之后，由触觉回放轨道生成器1230生成触觉回放轨道。还可以生成包括空间数据的元数据文件。
触觉回放轨道生成器1230输出触觉回放轨道和元数据文件到支持触觉的设备1235。
根据示例性实施例的支持触觉的设备1235还可以包括触觉输出设备1245。触觉输出设备1245是包括被配置为输出任何形式的触觉效果的机构的设备。
图13是根据示例性实施例的电子设备中的触觉设计系统的框图。
参考图13，根据示例性实施例的电子设备中的系统1300为设备提供触觉编辑功能。
尽管示出为单个系统，但是系统1300的功能可以实现为分布式系统。系统1300包括总线1304或用于传递信息的其他通信机制，以及耦合到总线1304用于处理信息的处理器1314。处理器1314可以是任何类型的通用或专用处理器。系统1300还包括存储器1302，用于存储将由处理器1314执行的信息和指令。存储器1302可以由随机存取存储器(“RAM”)、只读存储器(“ROM”)、诸如磁盘或光盘之类的静态存储器或任何其他类型的非暂时性计算机可读介质的任意组合组成。
非暂时性计算机可读介质可以是处理器1314可访问的任何可用介质，并且可以包括易失性和非易失性介质、可移动和不可移动介质、通信介质和存储介质。通信介质可以包括计算机可读指令、数据结构、程序模块或者诸如载波的调制数据信号或其他传输机制中的其他数据，并且可以包括本领域已知的任何其他形式的信息传递介质。存储介质可以包括RAM、闪存、ROM、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、寄存器、硬盘、可移动盘、光盘只读存储器(“CD-ROM”)或本领域已知的任何其他形式的存储介质。
根据示例性实施例，存储器1302存储在由处理器1314执行时提供功能的软件模块。软件模块包括为系统1300以及电子设备的其余部分提供操作系统功能的操作系统1306。软件模块还可以包括触觉设计系统1305，其提供触觉混合和调节功能(如上所述)。然而，示例性实施例不限于此。例如，触觉设计系统1305可以在电子设备外部，例如在与电子设备通信的中央游戏控制台中。软件模块还包括其他应用1308，例如视频-触觉转换算法。
系统1300还可以包括通信设备1312(例如，网络接口卡)，其为红外、无线电、Wi-Fi或蜂窝网络通信提供无线网络通信。或者，通信设备1312可以提供有线网络连接(例如，电缆/以太网/光纤连接，或调制解调器)。
处理器1314还经由总线1304耦合到视觉显示器1320，用于向最终用户显示图形表示或用户界面。视觉显示器1320可以是被配置为发送和接收来往处理器1314的信号的触敏输入设备(即触摸屏)，并且可以是多点触摸屏。
系统1300还包括支持触觉的设备1335。处理器1314可以将与触觉效果相关联的触觉信号发送到支持触觉的设备1335，支持触觉的设备1335又输出触觉效果(例如，振动触觉效果或变形触觉效果)。
虽然使用虚拟现实(“VR”)/增强现实(“AR”)系统或实时编辑系统描述了一些示例性实施例，使用编辑系统描述了其他示例性实施例，但是这些实施例可以在同一工作流中一起使用。
根据示例性实施例，基于用户输入/输出的位置、设计的触觉轨道、偏好和硬件，实时混合和调节触觉数据。一段动态的360度内容，期望实时混合和调节，因为例如无法预测用户的FOV。
根据示例性实施例，触觉反馈是根据触觉设计的，所述触觉通过用触觉发射器交叉参考A/V元素的多个位置或将触觉分配给A/V元素的固定位置而空间化的。
以上是各种示例性实施例的说明，不应被解释为对其的限制。因此，所有这些修改都旨在包括在如权利要求所限定的公开的范围内。

Claims (20)

1.一种设计触觉的方法，包括：
在视频回放期间实时跟踪音频/视觉A/V元素；
基于对A/V元素的跟踪将A/V元素的触觉效果实时分配给时间线上A/V元素的不同位置，以生成分配的触觉效果位置；以及
基于时间线上A/V元素的分配的触觉效果位置来生成触觉回放轨道。
2.根据权利要求1所述的方法，其中
跟踪A/V元素包括：
创建触觉发射器并将所述触觉发射器放置到视频的空间环境中，
在视频回放期间，在所述空间环境中与A/V元素一起实时移动所述触觉发射器，以及
在移动所述触觉发射器期间获得所述触觉发射器的空间数据，并且
分配A/V元素的触觉效果包括实时地将所述触觉发射器的空间数据与时间线上A/V元素的不同位置相关联。
3.根据权利要求2所述的方法，还包括：
生成包括所述空间数据的元数据文件。
4.根据权利要求2所述的方法，其中，分配A/V元素的触觉效果还包括实时设置触觉效果的衰减范围。
5.根据权利要求2所述的方法，其中，创建和放置所述触觉发射器包括在空间环境中以2D或3D绘制波形或形状。
6.根据权利要求1所述的方法，其中
跟踪A/V元素包括：
将粒子效果放置到视频的空间环境中，
通过在视频回放期间在空间环境中实时移动所述粒子效果，创建路径以便A/V元素遵循，以及
在移动所述粒子效果期间获得A/V元素的空间数据，并且
分配A/V元素的触觉效果包括实时地将A/V元素的所述空间数据与时间线上A/V元素的不同位置相关联。
7.根据权利要求6所述的方法，其中，生成所述触觉回放轨道包括调整所述粒子效果的参数。
8.根据权利要求1所述的方法，其中
跟踪A/V元素包括在视频回放期间通过实时视觉地跟踪A/V元素来获得A/V元素的空间数据，以及
分配A/V元素的触觉效果包括实时地将A/V元素的所述空间数据与时间线上A/V元素的不同位置相关联。
9.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有指令，所述指令当由处理器执行时使所述处理器执行包括以下的操作：
在视频回放期间实时跟踪音频/视觉A/V元素；
基于对A/V元素的跟踪将A/V元素的触觉效果实时分配给时间线上A/V元素的不同位置，以生成分配的触觉效果位置；以及
基于时间线上A/V元素的分配的触觉效果位置来生成触觉回放轨道。
10.根据权利要求9所述的非暂时性计算机可读介质，其中
跟踪A/V元素包括：
创建触觉发射器并将所述触觉发射器放置到视频的空间环境中，
在视频回放期间，在空间环境中与A/V元素一起实时移动所述触觉发射器，以及
在移动所述触觉发射器期间获得所述触觉发射器的空间数据，并且
分配A/V元素的触觉效果包括实时地将所述触觉发射器的空间数据与时间线上A/V元素的不同位置相关联。
11.根据权利要求10所述的非暂时性计算机可读介质，还包括:
生成包括所述空间数据的元数据文件。
12.根据权利要求10所述的非暂时性计算机可读介质，其中，分配A/V元素的触觉效果还包括实时设置触觉效果的衰减范围。
13.根据权利要求10所述的非暂时性计算机可读介质，其中，创建和放置所述触觉发射器包括在空间环境中以2D或3D绘制波形或形状。
14.根据权利要求9所述的非暂时性计算机可读介质，其中
跟踪A/V元素包括：
将粒子效果放置到视频的空间环境中，
在视频回放期间通过在空间环境中实时移动所述粒子效果，创建路径以便A/V元素遵循，以及
在移动所述粒子效果期间获得A/V元素的空间数据，并且
分配A/V元素的触觉效果包括实时地将A/V元素的空间数据与时间线上A/V元素的不同位置相关联。
15.根据权利要求14所述的非暂时性计算机可读介质，其中，生成所述触觉回放轨道包括调整所述粒子效果的参数。
16.根据权利要求9所述的非暂时性计算机可读介质，其中
跟踪A/V元素包括在视频回放期间通过实时视觉地跟踪A/V元素来获得A/V元素的空间数据，以及
分配A/V元素的触觉效果包括实时地将A/V元素的空间数据与时间线上A/V元素的不同位置相关联。
17.一种触觉设计系统，包括：
跟踪系统，所述跟踪系统被配置为在视频回放期间实时跟踪音频/视觉A/V元素，其中所述跟踪系统被配置为基于对A/V元素的跟踪允许将A/V元素的触觉效果实时分配给时间线上A/V元素的不同位置，以生成分配的触觉效果位置；以及
触觉回放轨道生成器，所述触觉回放轨道生成器基于时间线上A/V元素的分配的触觉效果位置来生成触觉回放轨道。
18.根据权利要求17所述的触觉设计系统，其中，所述跟踪系统包括：
触觉发射器放置系统，所述触觉发射器放置系统被配置为将触觉发射器放置到视频的空间环境中，所述触觉发射器在视频回放期间可与A/V元素一起在空间环境中实时移动，以及
触觉轨道编辑器，所述触觉轨道编辑器被配置为在触觉发射器的移动期间获得所述触觉发射器的空间数据，并实时地将所述触觉发射器的空间数据与时间线上A/V元素的不同位置关联。
19.根据权利要求17所述的触觉设计系统，其中，所述跟踪系统包括：
触觉发射器放置系统，所述触觉发射器放置系统被配置为将粒子效果放置到视频的空间环境中，其中在视频回放期间通过在空间环境中实时移动所述粒子效果来创建路径以便A/V元素遵循，以及
触觉轨道编辑器，所述触觉轨道编辑器被配置为在所述粒子效果的移动期间获得A/V元素的空间数据，并实时地将A/V元素的空间数据与时间线上A/V元素的不同位置关联。
20.根据权利要求17所述的触觉设计系统，其中，所述跟踪系统包括：
触觉跟踪编辑器，所述触觉跟踪编辑器被配置为在视频回放期间通过实时视觉地跟踪A/V元素来获得A/V元素的空间数据，并实时地将A/V元素的空间数据与时间线上A/V元素的不同位置关联。
CN201811490556.8A 2017-12-28 2018-12-07 直观触觉设计 Pending CN109976507A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/856,520 US20190204917A1 (en) 2017-12-28 2017-12-28 Intuitive haptic design
US15/856,520 2017-12-28

Publications (1)

Publication Number Publication Date
CN109976507A true CN109976507A (zh) 2019-07-05

Family

ID=64556647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811490556.8A Pending CN109976507A (zh) 2017-12-28 2018-12-07 直观触觉设计

Country Status (5)

Country Link
US (1) US20190204917A1 (zh)
EP (1) EP3506262A1 (zh)
JP (1) JP2019121368A (zh)
KR (1) KR20190080734A (zh)
CN (1) CN109976507A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220387885A1 (en) * 2019-11-19 2022-12-08 Immersion Corporation Dynamic modification of multiple haptic effects
JP7345387B2 (ja) * 2019-12-26 2023-09-15 Kddi株式会社 触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラム
WO2021252998A1 (en) * 2020-06-12 2021-12-16 Emerge Now Inc. Method and system for the generation and management of tactile commands for tactile sensation
KR102349002B1 (ko) * 2020-06-19 2022-01-11 서울미디어대학원대학교 산학협력단 동적 프로젝션 매핑 연동 제스처 인식 인터랙티브 미디어 콘텐츠 제작 방법 및 장치
EP3955585A4 (en) * 2020-06-30 2023-01-04 Baidu Online Network Technology (Beijing) Co., Ltd VIDEO PROCESSING METHOD AND DEVICE, ELECTRONIC DEVICE AND STORAGE MEDIA
WO2022053439A1 (en) * 2020-09-14 2022-03-17 Interdigital Ce Patent Holdings, Sas Haptic scene representation format
JP7346513B2 (ja) * 2021-09-22 2023-09-19 任天堂株式会社 ゲームプログラム、ゲームシステム、ゲーム装置、およびゲーム処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9478109B2 (en) * 2014-12-29 2016-10-25 Immersion Corporation Virtual sensor in a virtual environment
EP3118723A1 (en) * 2015-07-13 2017-01-18 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
US20180232051A1 (en) * 2017-02-16 2018-08-16 Immersion Corporation Automatic localized haptics generation system
US11122258B2 (en) * 2017-06-30 2021-09-14 Pcms Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements

Also Published As

Publication number Publication date
KR20190080734A (ko) 2019-07-08
US20190204917A1 (en) 2019-07-04
EP3506262A1 (en) 2019-07-03
JP2019121368A (ja) 2019-07-22

Similar Documents

Publication Publication Date Title
CN109976507A (zh) 直观触觉设计
Schneider et al. Tactile animation by direct manipulation of grid displays
CN108701371B (zh) 用于提供虚拟现实输出和增强现实输出的方法和装置
US10241580B2 (en) Overlaying of haptic effects
US10657727B2 (en) Production and packaging of entertainment data for virtual reality
KR102398252B1 (ko) 오디오 트랙들을 통해 햅틱 효과들을 제공하는 햅틱 디바이스들 및 방법들
KR20140082266A (ko) 혼합현실 콘텐츠 시뮬레이션 시스템
JP2021002288A (ja) 画像処理装置、コンテンツ処理システム、および画像処理方法
JP2008546079A (ja) 複数の視点を有する没入環境
JP2012128854A (ja) 増強型３次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法
KR20190122581A (ko) 다중 사용자 공유 가상 및 증강 현실 기반 햅틱스를 위한 시스템들 및 방법들
CN110036416A (zh) 用于空间音频的装置和相关方法
Saggio et al. New trends in virtual reality visualization of 3D scenarios
Kim et al. Construction of a haptic-enabled broadcasting system based on the MPEG-V standard
US20220387885A1 (en) Dynamic modification of multiple haptic effects
CN109782903A (zh) 一种基于虚拟现实技术的园区展示系统及方法
Grani et al. Spatial sound and multimodal interaction in immersive environments
CN103325135B (zh) 一种资源展示方法、装置和终端
Takeuchi et al. Haptic duplicator
KR20120013021A (ko) 인터랙티브 가상현실 서비스 방법 및 장치
Son et al. Interacting automultiscopic 3D with haptic paint brush in immersive room
EP2611184B1 (en) Method and recorded medium for providing 3d information service
KR20180098936A (ko) 위치센서 기반 hmd 워킹 가상현실 콘텐츠 체험시스템
Shinoda Creation of Realistic Haptic Experiences for Materialized Graphics
Yong et al. Stereo‐Vision‐Based Human‐Computer Interaction with Tactile Stimulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190705