CN107835971A - 基于用户触觉空间（HapSpace）提供触觉反馈和交互的方法和装置 - Google Patents
基于用户触觉空间（HapSpace）提供触觉反馈和交互的方法和装置 Download PDFInfo
- Publication number
- CN107835971A CN107835971A CN201680040980.5A CN201680040980A CN107835971A CN 107835971 A CN107835971 A CN 107835971A CN 201680040980 A CN201680040980 A CN 201680040980A CN 107835971 A CN107835971 A CN 107835971A
- Authority
- CN
- China
- Prior art keywords
- bit stream
- descriptor
- user
- positioning
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 56
- 230000003993 interaction Effects 0.000 title abstract description 10
- 230000003655 tactile properties Effects 0.000 claims abstract description 26
- 230000000694 effects Effects 0.000 claims description 93
- 230000005540 biological transmission Effects 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 abstract description 15
- 238000003860 storage Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000000429 assembly Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009023 proprioceptive sensation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
- A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
在特定实现方式中，提出了用于触觉反馈和交互的用户环境空间(HapSpace)。在一个实施例中，HapSpace是附于用户的虚拟空间，并且通过用户的身体可以到达的最大距离来定义。HapSpace可以随用户移动而移动。也可以在HapSpace中定义触觉对象和触觉设备以及关联触觉属性。为了描述HapSpace而定义新的描述符，诸如实现精确定位和用户与触觉对象/设备之间的链接的那些描述符。
Description
技术领域
本发明涉及提供触觉反馈和交互的方法和装置，更具体而言，本发明涉及基于用户触觉空间提供触觉反馈和交互的方法和装置。
背景技术
新技术的发展使创建越来越多的沉浸式多媒体系统成为可能。3D图像和声音空间化现在存在于用户的生活空间中。这些系统通常与两种感觉、即视觉和听觉的刺激有关。此外，虚拟现实的研究已经表明，触觉感知似乎与沉浸感有很强的联系，这导致对新的科学领域、考虑触觉感知和视听(A/V)内容二者的HAV(触觉视听)领域的定义。
发明内容
根据本原理的一方面，提出了一种传送触觉效果的方法，包括：定义包括用户可访问的至少一个触觉对象的空间；指定与所述至少一个触觉对象相关联的触觉属性；将与所述至少一个触觉对象相关联的触觉属性编码到比特流中；以及经由通信接口传送比特流。本实施例还提供了一种用于执行这些步骤的装置。
根据本原理的另一方面，提出了一种提供触觉反馈的方法，包括：定义包括用户可访问的至少一个触觉对象的空间；从比特流解码与所述至少一个触觉对象相关联的触觉属性；以及响应于经解码的与所述至少一个触觉对象相关联的触觉属性向用户提供触觉反馈。本实施例还提供了一种用于执行这些步骤的装置。
根据本原理的另一方面，信号被格式化为包括：包括用户可访问的至少一个触觉对象的空间；空间中的用户接收触觉效果的位置，通过三个笛卡尔坐标来指定该位置；以及与所述至少一个触觉对象相关联的触觉属性。
本实施例还提供了一种计算机可读存储介质，具有存储在其上的指令，用于根据以上描述的方法来传送或提供触觉效果。
本实施例还提供了一种计算机可读存储介质，具有存储在其上的根据以上描述的方法生成的比特流。
根据本原理的一方面，一种传送比特流的方法，所述比特流包括表示触觉效果的数据，所述方法包括：将表示空间的原点的定位的第一描述符编码到所述比特流中；将表示具有关联触觉属性的虚拟对象关于所述空间的定位的第二描述符编码到所述比特流中；传送所述比特流。
根据实施例，该方法还包括将表示触觉设备关于所述空间的定位的第三描述符编码到所述比特流中。
根据本原理的一方面，一种对表示触觉效果的信息进行解码的方法，所述方法包括：接收比特流；从所述比特流解码表示空间的原点的定位的第一描述符；从所述比特流解码表示具有关联触觉属性的虚拟对象关于所述空间的定位的第二描述符。
根据实施例，该方法还包括从所述比特流解码表示触觉设备关于所述空间的定位的第三描述符。
根据本原理的一方面，一种被配置为传送比特流的设备，所述比特流包括表示触觉效果的数据，所述设备包括：编码器，其被配置为将表示空间的原点的定位的第一描述符编码到所述比特流中，并且将表示具有关联触觉属性的虚拟对象关于所述空间的定位的第二描述符编码到所述比特流中；以及传送所述比特流的传送器。
根据本原理的一方面，一种被配置为传送比特流的设备，所述比特流包括表示触觉效果的数据，所述设备包括：用于将表示空间的原点的定位的第一描述符编码到所述比特流中的部件；用于将表示具有关联触觉属性的虚拟对象关于所述空间的定位的第二描述符编码到所述比特流中的部件；以及用于传送所述比特流的部件。
根据本原理的一方面，一种被配置为对表示触觉效果的信息进行解码的设备，所述设备包括：接收比特流的接收器；解码器，其被配置为从所述比特流解码表示空间的原点的定位的第一描述符，并且从所述比特流解码表示具有关联触觉属性的虚拟对象关于所述空间的定位的第二描述符。
根据本原理的一方面，一种被配置为对表示触觉效果的信息进行解码的设备，所述设备包括：用于接收比特流的部件；用于从所述比特流解码表示空间的原点的定位的第一描述符的部件；以及用于从所述比特流解码表示具有关联触觉属性的虚拟对象关于所述空间的定位的第二描述符的部件。
根据本原理的一方面，一种至少携带分组的信号，所述分组包括表示触觉效果的数据，其中所述信号还携带表示空间的原点的定位的第一描述符和表示具有关联触觉属性的虚拟对象关于所述空间的定位的第二描述符。
根据本原理的一方面，一种非临时性处理器可读介质，具有存储在其中的指令，用于使处理器至少执行传送方法的步骤。
根据本原理的一方面，一种非临时性处理器可读介质，具有存储在其中的指令，用于使处理器至少执行解码方法的步骤。
附图说明
图1图示了示例性HAV系统的工作流程。
图2图示了定位模型。
图3图示了根据本原理的实施例的示例性HapSpace。
图4图示了身体部位位置。
图5图示了示例性创作工具(H-STUDIO)。
图6图示了根据本原理的实施例的制作与视听内容一起的触觉效果的示例性方法。
图7图示了根据本原理的实施例的描述HapSpace内的触觉效果的示例性方法。
图8图示了根据本原理的实施例的呈现(render)与视听内容一起的触觉效果的示例性方法。
图9图示了根据本原理的实施例的解释HapSpace内的触觉效果的示例性方法。
图10图示了其中可以实现本原理的示例性实施例的各方面的示例性系统的框图。
图11图示了描绘可以以一个或多个实现方式使用的视频处理系统的示例的框图。
图12图示了描绘可以以一个或多个实现方式使用的视频处理系统的另一示例的框图。
具体实施方式
图1图示了提供触觉效果和视听效果二者的示例性HAV系统100的工作流程，其包括三个主要部分：制作(110)、呈现(130)和分发(120)。
触觉数据的制作/创建(110)
可以使用不同技术来完成内容的制作，即与视听内容同步的触觉效果的创建和生成。例如，如图1所示，可以通过以下来执行触觉效果制作：
-捕获和处理(111)从传感器(例如，惯性运动单元、GPS)采集的数据，
-来自视听媒体的一个或多个组分(114，例如，从图像、音频或注释)的自动提取(112)，和/或
-触觉效果的手动创作(113)，例如，使用图形用户界面(GUI)。
制作方法的选择取决于应用和创建意图二者。要注意，当使用从传感器采集的数据(111)或使用来自视听媒体的自动提取(113)而生成触觉效果(115)时，制作通常仍然通过创作工具(113)来合成触觉效果。
有不同类型的触觉感知能力，例如但不限于触知、动觉和本体感受，并且要创建的触觉效果可以分为：温度、振动、压力、移动、力和身体运动，如表1所示。在本申请中，我们可互换地使用术语“触觉效果”和“触觉反馈”。
表1
呈现触觉反馈(130)
大多数现有的提供与视听内容一起的触觉反馈的工作依赖于振动触知设备的使用，该振动触知设备可以是独立的设备或者被集成到椅子或力反馈设备中。大多数振动触知座椅将低频声音转换成振动。像低音音箱一样，这种类型的座椅插在低频音频通道上，但是传递振动而不是实际的声音。这种类型的座椅可以全部振动，或者具有嵌入的多个振动电机。在最近开发的振动触知椅中，在椅背中嵌入具有12个振动触知致动器的阵列，并且通过触知幻觉来控制用户的感觉，该触知幻觉在致动器处于离散定位时使用户感到连续刺激。一般而言，由振动触知设备提供的触觉效果相对简单，其通常提供仿真的振动模式或抽象的力反馈。
呈现运动通常比以上讨论的呈现振动更复杂。运动模拟器是被设计为使用户感到运动的众所周知的设备。它们广泛用于针对学习目的的驾驶或飞行模拟器中或者游乐园中。它们中的大多数基于斯图尔特平台，其为使用六个液压缸的六自由度(DOF)平台。运动模拟器基本上是附接到这样的平台的座椅。可以在平台上设置多于一个座椅，例如在“4D电影院”中，4(或更多)个座椅一起移动。由D-Box开发了为消费者设计的类似系统。座椅放置在4个致动器上，致动器允许3DOF：俯仰(pitch)、滚动(roll)和升降(heave)，这提供有限幅度的移动。为了提供更大幅度，模拟器可以安装在轨道上或旋转表面上。例如，401CR运动模拟器是安装在旋转平台上的3DOF模拟器(滚动、俯仰、升降)，并且其旋转移动(偏转，yaw)可能不受限。
呈现简单振动与复杂运动之间的触觉效果的中间设备是G座椅，其被设计为向用户提供涉及关于运动感觉的动觉提示。例如，通过用户背部上的压力来模拟向上移动。通过用于提供大腿区域上的压力的两个气囊的镶嵌(mosaic)、用于提供用户腿部侧面上的压力的两个蛤壳形气囊和用于提供腹部区域压力变化的安全带来生成动觉系统的刺激。
近来也已经提出了专用于视频观看的触觉设备，其可以提供广泛的触觉效果。在一种方法中，在座椅周围布置一组力反馈设备，诸如可移动扶手或头靠，以便它们可以向用户身体施加力以生成体验被动导航的运动感觉。在本申请中，触觉设备是指可以提供触觉反馈(例如，如表1中所定义的那些触觉反馈)的任何设备。
如图1所示，在呈现侧，可以通过视听呈现器(131)来重建视听信息。然后将输出发送到显示屏或者一个或多个扬声器(134)以供回放。
此外，也可以通过触觉呈现器133来呈现触觉效果。然后将输出发送到触觉设备135以提供触觉效果。如果从视听媒体提取触觉效果，则使用自动提取模块(132)来处理视听呈现器(131)的输出以向触觉呈现器(133)提供输入。因此，用户可以通过访问视听效果和触觉效果二者而具有更为沉浸式的体验。
格式表示和分发(120)
视听媒体和触觉效果都可以被编码(121)、存储在容器文件(123)中或者通过网络(122)传送。然后可以将视听媒体和触觉效果解码(124)以供呈现。视听媒体和触觉效果在呈现之前被解码。可以在如图1所示的工作流程中使用由MPEG提供的传输协议或音频/视频压缩标准。
对于一种媒体，媒体格式定义结构，包括数据类型和内部表示细节。尽管视听内容的媒体格式已被公认，但是在解决触觉媒体格式方面有很少工作。大多数现有的定义触觉媒体格式的方法依赖于通用格式，诸如XML(可扩展标记语言，通用描述语言)，或者简单CSV(逗号分隔值)格式。例如，感官效果描述语言(SEDL)基于XML，MPEG-4BIFS(场景的二进制格式)格式基于VRML/X3D(虚拟现实建模语言，用于表示3D世界)，以及最新MPEG-V标准基于XML，其专门设计为提供与音频/视频数据相关联的多感官内容，以通过使用高级交互设备来控制多媒体展示和应用。
现有的触觉格式遭受某些限制或缺失信息之苦，例如，不清楚如何在用户前面指定他可以触摸的效果，或者如何描述向他而来、在他前面飞行、或接触他身体的部位的效果。正如下面将描述的那样，我们增加用户骨架和其中可以包括对象的用户空间的概念。在知道这些对象及其在空间中的位置、用户身体部位的位置的情况下，可以知道对象何时与用户接触或向用户施加压力，或者描述用户空间中的对象位移。
MPEG-V标准描述传感器和设备属性，以及对象、触觉设备和效果。例如，如表2所示，MPEG-V根据如图2所示的定位模型使用XML来指定从用户的角度期望接收到振动效果的定位。具体而言，该示例示出了对使用音频触知资源的触知效果的描述。触知效果在si:pts＝″5″处被激活，并且优选的触知效果为振动。将定位指定为在胸前靠近人的心脏区。基于作为MP3格式音频文件(即heartbeat1.mp3)的触知资源来创建振动效果，将其存储在与SEDL脚本本身相同的父定位(parent location)(URL)中。触知效果的持续时间和速度全部从音频文件的持续时间和默认速度导出。
在下文中，我们使用来自MPEG-V的表示法并提供补充MPEG-V标准的实施例。应注意，本原理还可以应用于与主题有关的其他标准，诸如但不限于虚拟现实、沉浸式体验以及触觉效果和处理。
表2
根据MPEG-V的对定位的描述不允许对象和用户的精确定位。在MPEG-V中没有在MPEG-V定位字段中指定用户的语法。此外在MPEG-V标准中没有用户移动和身体部位的概念。
本原理针对通过引入用于触觉反馈和交互的用户环境空间(也称为用户触觉空间或HapSpace)的概念来提供触觉反馈和交互的方法和装置。在一个实施例中，通过包括用户可访问的空间的所定义的用户箱(例如包含用户能够访问的事物的箱)或者处于用户物理范围内的任何空间来指定用户触觉空间。所定义的空间包括用户，并且还可以包括不同的触觉设备和触觉对象。触觉对象是具有关联触觉属性的虚拟对象。在一个示例中，当用户触摸触觉对象时，用户得到某些振动并且从而得到触摸对象表面的感觉。在另一示例中，当用户与虚拟乐器接触时，触觉设备也可以制作实时声音并且从而提供交互。
图3图示了根据本原理的示例性HapSpace，其中HapSpace包括触觉呈现设备、触觉对象和玩击剑游戏的用户。用户可以从包括滚动地毯(310)、振动背心(320)和风扇(340)的多个触觉设备接收触觉反馈。用户还可以访问包括被触摸传感器(330)和图标(350)的多个触觉对象。更具体而言，滚动地毯(310)可以在用户移动时提供行走效果，振动背心(320)可以在用户被另一玩家接触时提供触摸感觉效果，被触摸传感器(330)可以在用户按压它时提供光，风扇(340)可以提供模拟户外游戏的风力效果，并且图标(350)可以在它被触摸时创建振动。只要风力效果可以到达用户，风扇也可以放置在HapSpace之外。当触觉设备在HapSpace之外时，我们可以使用外部HapSpace码字来管理来自触觉设备的触觉效果的存在。
更一般而言，可以将HapSpace定义为提供用于精确地指定对象、用户和效果的框架。在一个实施例中，HapSpace可以通过具有归一化为1(箱大小在每个轴(X,Y,Z)上在[0-1]之间被归一化)的尺寸的立方体来表示，并且对应于包括用用户的手在他周围以最大距离绘制的球体的立方体，用户是静止的。一般而言，HapSpace也可以是任何形状的任何3-D空间，其包括用户可以用他身体的任何部位到达的任何地方。HapSpace的原点可以是用户的骨盆、用户的另一部位、用户周围的定位(例如，就在用户前一英尺)、或者关于用户的任何其他定位。通过为用户定义HapSpace，用户也可以仅传送空间内的触觉对象/设备的触觉属性。由于HapSpace是关于用户定义的，所以如果用户移动，箱随之移动。当有多个用户时，每个用户可以定义单独的HapSpace。
触觉设备或触觉对象也可以安置在该空间中，例如具有相对于空间的原点位于坐标(x,y,z)处的重心或几何中心。通常在诸如游戏(gaming)之类的一些应用中，对象的粗略描述不足以提供交互。在一个实施例中，为了实现交互，我们提出如表3所示的消息，以通过使用三个笛卡尔坐标为HapSpace中的用户或者任何触觉设备和触觉对象提供准确位置。在以下示例中，我们使用MPEG-V的表示法来提供新的描述符。这些新的描述符可以补充MPEG-V以更准确地描述触觉空间。
表3
在表3中，我们引入两个新的描述符：RelativePositionType和Float3DPositionType。描述符RelativePositionType指定归一化HapSpace中的位置。描述符Float3DPositionType指定RelativePositionType描述符的参数，并且可能在用浮点表示(0与1之间)来指定X、Y、Z中的位置时有用。
然后，MPEG-V定位字段(例如，如表2第8行所示)可以被location＝“RelativePositionType”字段代替，诸如作为示例的location＝“:0.01:0.983:0.134”，其中三个值表示HapSpace中的坐标，即X＝0.01，Y＝0.983，Z＝0.134。
在所提出的HapSpace中，我们也可以将触觉设备或触觉对象与用户链接。在一个实施例中，我们提出如表4所示的消息，以提供用户与触觉设备/对象之间的链接。
表4
在表4中，我们引入另一新的描述符：BodyLinkType。描述符BodyLinkType用参数BodyPart指定触觉设备/对象在用户身上哪里。例如，手表可以链接到用户的左手腕，并且我们可以使用location＝“LeftWrist”来描述它。
可以使用例如MPEG-V(第2部分)的用户感官偏好规范来描述用户的物理属性，例如但不限于“臂展”、身高和体重。为了指定每个身体部位位置，我们可以使用如图4所示的身体模型，其在F.Danieau，J.Fleureau，P.Guillotel和D.Doyen的题为“Method anddevice for controlling a haptic device”的共有专利申请(EP14305823.8，代理人案号第PF140144号)中描述，其教导通过引用在此明确并入。在本申请中，我们还引入新的描述符，以描述身体部位位置，如表5所示。
表5
描述符BodyDescriptionType描述所定义的用户空间中的不同用户身体部位的位置。每次用户移动时，需要发送新的定位，例如只是移动部位的定位。
对应于以上身体模型，触觉属性(即触觉效果的参数)可以通过MPEG-V消息(诸如描述动觉效果的以下的一个(表6))来定义。
表6
类似地，可以定义其他触觉效果的属性。例如，可以将VibrationSpecificationType描述符定义为描述振动，其可以包括两个属性：信号的幅度和频率。
假设我们知道用户的“臂展”、身高和其他物理参数，则可以通过呈现器来计算HapSpace大小，例如，以值1为臂展。此外，为了创建所定义的触觉属性，呈现器需要追踪用户移动(使用适当的传感器，诸如例如Kinect)。
可以提供(相对于所定义的空间的)深度图作为扩展，以提供安置对象之处的更高精度的图。深度图可以与每个触觉设备/对象或用户相关联以描述空间中的位置。
表7
在表7中，通过参数Depth-x和Depth-y来指定深度图的(x,y)大小，其中深度图相对于HapSpace，并且我们假设与触觉设备/对象相关联的深度是最接近于深度图的空间位置处的深度。深度图在指定位置时提供替选。
在下文中，我们假设有一个用户在他前面有振动球，并且将HapSpace定义为他周围的立方体。我们使用MPEG-V规范在表8中描述该场景。应注意，这是概念的高级别说明。对于确切的语法，读者应参考MPEG-V规范。具体而言，该示例指定在用户的location＝”:0.01:0.283:0.134”处，振动球在location＝”:0.51:0.983:0.8”处生成振动。振动的频率和幅度随时间变化，如(xn,an)所指定的那样。
表8
在表9中，我们说明另一示例，其中将球链接到身体部位(右手)，并且球将以通过(xn,an)指定的频率和幅度在右手处生成振动。
表9
在表10中，我们说明使用深度图来提供Z轴上的位置的示例。对于表9所示的示例，现在将用户的location＝”:0.01:0.283:0.134”表示为location＝“:0.01:0.283:depth1(201,301)”。
表10
应注意，表8-10中的描述仅用于示例性目的，并且确切的实现方式可以不同。为了便于表示，我们将如表8-10中所示的触觉属性的描述表示为触觉描述或触觉效果描述。一般而言，触觉描述可以是例如但不限于描述触觉属性的语法结构、伪代码或软件代码。
可以由艺术家完成触觉描述的创建。可以使用具有必要界面的触觉编辑软件来执行触觉效果的创建。在图5中示出示例性创作工具H-STUDIO，其中正在编辑运动效果。具体而言，在图5中，在时刻t定义运动方向(由箭头表示)和方位(由车表示)。创作工具还允许艺术家生成与视听内容同步的一系列触觉属性(即，触觉轨迹)。替选地，可以使用运动单元来捕获角色的运动并将运动信息插入触觉描述中。
触觉描述可以在封装在例如mp4文件或TS流中之后被传送到接收器。接收器包括适配引擎，其对触觉描述进行解码并解释语法以便使用不同的触觉反馈设备来呈现所定义的效果。我们假设有将适当的信号发送到触觉设备以使其按照描述中定义的那样来行动的通信链路。信号中包含的触觉描述可以基于接收触觉设备的能力来适配。在一个实施例中，接收器知道场景(范围)的每个触觉设备/对象的“能力”，并且每个呈现设备包括适配引擎，以将所传送的值转换为在其本身的能力中。例如，如果最大频率是100Hz并且接收器接收到呈现200Hz振动的命令，则适配引擎可以决定将频率裁剪(clip)到100Hz。
对于表8所示的示例，可以为用户前面的球传送专用振动信号。如果玩家能使用具有完全呈现能力的触觉设备，则将球显示给用户，并且在用户触摸球的地方施加振动。对于能使用具有更有限的呈现能力的触觉设备的另一玩家，例如，对于具有简单智能电话设备的用户，不将球显示给用户，并且球的振动被智能电话的振动代替。可以定义更复杂的情况以适配具有各种能力的设备。
考虑到任何种类的呈现设备，例如座椅、传感器、风扇、压电元件和扬声器，本实施例可以用于为用户呈现触觉效果。这些触觉效果链接到视听(电影)内容，而且链接到用户可以与之交互(例如通过用户界面)的虚拟对象。
图6图示了根据本原理的制作与视听内容一起的触觉效果的示例性方法600。方法600在步骤605开始。在步骤610，访问视听内容和具有用户的HapSpace的触觉效果作为输入。触觉效果可以使用传感器捕获、从视听内容提取、或者由艺术家创建。在步骤620，然后可以使用如以上描述的触觉描述来描述触觉效果。然后在步骤630对触觉效果描述以及视听内容进行编码。可以使用例如但不限于zip算法、MPEG BIFS二进制格式来对触觉效果描述进行编码。也可以在比特流中指示HapSpace的大小。然后在步骤640存储或传送编码结果，即经编码的比特流。方法600在步骤699结束。
图7图示了根据本原理的描述HapSpace内的触觉效果的示例性方法700。可以使用方法700来执行方法600中的步骤620。在步骤710，基于用户将HapSpace定义为例如包括用户可以到达的事物的立方体。然后为用户、触觉设备和触觉对象定义触觉效果的属性以及触觉效果在HapSpace内的定位。例如，在步骤720，例如使用表3和表7中描述的描述符来定义准确位置和/或位置的深度图。在步骤730，也可以例如使用如表4中描述的描述符将触觉对象/设备链接到用户。在步骤740，可以例如使用如表5中描述的描述符来指定身体部位位置。可以在步骤750定义触觉效果的触觉属性。在步骤760，检查是否需要更多描述。如果是，则将控制返回到步骤720。当用户的移动导致HapSpace的原点移动时，可以在步骤770更新HapSpace。
可以以与图7中所示的顺序不同的顺序来执行方法700的步骤。例如，可以以任何顺序执行步骤720-750。同样，步骤720-750中的任何一个可以实现或者可以不实现，取决于需要描述的触觉效果是什么。如果用户不移动，则也可以跳过步骤770。
图8图示了根据本原理的呈现与视听内容一起的触觉效果的示例性方法800。方法800在步骤805开始。在步骤810，访问包括视听内容和触觉效果的比特流作为输入。例如，可以使用根据方法600生成的比特流作为输入。可以将比特流组织到不同的轨道中，一些轨道用于音频，一些用于视频，一些用于触觉，所有都同步。替选地，经编码的触觉效果比特流可以与AV比特流分开传送，并且由使比特流和展现同步的接收器来接收。
在步骤820，对视听内容和触觉效果描述进行解码。然后在步骤830，经解码的视听内容和触觉效果可用于呈现。呈现设备应该知道如何导出HapSpace的大小。例如，当HapSpace基于用户的手臂长度时，呈现设备应该知道手臂有多长，并且从而可以导出HapSpace的大小。替选地，如果传送信息，则可以从比特流导出HapSpace的大小。在步骤840，可以提供视听内容以用于与触觉反馈一起回放。例如，可以将视听内容发送到显示器和发音器，并且可以使用触觉设备来提供触觉效果。方法800在步骤899结束。然后可以使用经解释的触觉效果以用于呈现。
图9图示了根据本原理的解释HapSpace内的触觉效果的示例性方法900。可以使用方法900来执行方法800中的步骤830。在步骤910，访问触觉效果描述。然后解释触觉效果。具体而言，可以例如使用表3和表7中描述的描述符来解释位置。在步骤930，可以例如使用表4中描述的描述符来解释链接到用户的触觉对象。在步骤940，可以例如使用表5中描述的描述符来解释身体部位位置。可以在步骤950解释触觉效果的触觉属性。在步骤960，检查是否需要解释更多的描述。如果是，则将控制返回到步骤920。取决于呈现设备的能力，还可以在步骤970适配触觉效果。
可以以与图9中所示的顺序不同的顺序来执行方法900的步骤。例如，可以以任何顺序执行步骤920-950。同样，步骤920-950中的任何一个可以实现或者可以不实现，取决于需要描述的触觉效果是什么。如果触觉设备具有完全呈现能力，则也可以跳过步骤970。
有利地，本实施例提供虚拟空间，即附于用户并且可以与用户一起移动的用户HapSpace。HapSpace还包括用户可以访问的触觉对象和可以向用户提供触觉效果的触觉设备。HapSpace是基于用户定义的，并且优选被定义为他可以用他的身体接触的空间。在HapSpace中，触觉对象可以用其触觉属性来定义。此外，可以在HapSpace中准确安置用户和不同的触觉呈现设备。
图10图示了其中可以实现本原理的示例性实施例的各方面的示例性系统的框图。系统1000可以实施为包括下面描述的各种组件的设备，并且被配置为执行以上描述的处理。这样的设备的示例包括但不限于个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连网家用电器和服务器。系统1000可以经由如图10所示并且本领域技术人员已知的通信信道被通信地耦接到其他类似的系统以及耦接到显示器，以实现以上描述的示例性视频系统。
系统1000可以包括被配置为执行加载在其中的指令以用于实现以上描述的各种处理的至少一个处理器1010。处理器1010可以包括嵌入式存储器、输入输出接口以及本领域已知的各种其他电路。系统1000还可以包括至少一个存储器1020(例如，易失性存储器设备，非易失性存储器设备)。系统1000可以另外包括存储设备1040，其可以包括非易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备和/或网络可访问的存储设备。系统1000还可以包括被配置为处理数据以提供经编码的HAV内容或经解码的HAV内容的编码器/解码器模块1030。
编码器/解码器模块1030表示可被包括在设备中以执行编码和/或解码功能的模块。如已知的那样，设备可以包括编码和解码模块中的一个或两个。此外，如本领域技术人员已知的那样，编码器/解码器模块1030可以实现为系统1000的单独元件，或者可以作为硬件和软件的组合并入处理器1010内。
要被加载到处理器1010上以执行在上文中描述的各种处理的程序代码可以被存储在存储设备1040中，并且随后被加载到存储器1020上以供处理器1010执行。根据本原理的示例性实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行在上文中讨论的处理期间存储各种项目中的一个或多个，包括但不限于基本层输入视频、增强层输入视频、方程、公式、矩阵、变量、操作和操作逻辑。
系统1000还可以包括通信接口1050，其经由通信信道1060实现与其他设备的通信。通信接口1050可以包括但不限于被配置为从通信信道1060传送和接收数据的收发器。通信接口可以包括但不限于调制解调器或网卡，并且通信信道可以在有线和/或无线介质内实现。系统1000的各种组件可以使用各种合适的连接(包括但不限于内部总线、电线和印刷电路板)来连接或通信地耦接在一起。
可以通过由处理器1010实现的计算机软件或者通过硬件或者通过硬件和软件的组合来执行根据本原理的示例性实施例。作为非限制性示例，可以通过一个或多个集成电路来实现根据本原理的示例性实施例。作为非限制性示例，存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术(诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器1010可以是适合于技术环境的任何类型，并且可以包含微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。
参考图11，示出了数据传输系统1100，可以对其应用以上描述的特征和原理。数据传输系统1100可以是例如使用诸如卫星、缆线、电话线或地面广播之类的各种媒体中的任何媒体来传送信号的头端或传输系统。数据传输系统1100也可以用于提供用于存储的信号。可以通过互联网或某个其他网络来提供传输。数据传输系统1100能够生成和传递例如视听内容和触觉效果。
数据传输系统1100从处理器1101接收经处理的数据和其他信息。在一个实现方式中，处理器1101生成捕获触觉效果、从视听内容提取触觉效果、或者接受由艺术家创建的触觉效果。处理器1101还可以向1100提供元数据。
数据传输系统或装置1100包括编码器1102和能够传送经编码的信号的传送器1104。编码器1102从处理器1101接收数据信息。编码器1102生成经编码的信号。
编码器1102可以包括子模块，包括例如组装单元，用于将各种信息接收并组装成用于存储或传输的结构化格式。各种信息可以包括例如经编码或未编码的视频、以及经编码或未编码的元素。在一些实现方式中，编码器1102包括处理器1101，并且因此执行处理器1101的操作。
传送器1104从编码器1102接收经编码的信号，并且以一个或多个输出信号传送经编码的信号。传送器1104可以例如适配于传送具有表示经编码的图片和/或与其有关的信息的一个或多个比特流的节目信号。典型的传送器执行诸如例如以下中的一个或多个的功能：提供纠错编码、使信号中的数据交织、使信号中的能量随机化以及使用调制器1106将信号调制到一个或多个载波上。传送器1104可以包括天线(未示出)或者与其对接。此外，传送器1104的实现方式可以受限于调制器1106。
数据传输系统1100还通信地耦接到存储单元1108。在一个实现方式中，存储单元1108耦接到编码器1102，并且存储来自编码器1102的经编码的比特流。在另一实现方式中，存储单元1108耦接到传送器1104，并且存储来自传送器1104的比特流。来自传送器1104的比特流可以包括例如已经被传送器1104进一步处理的一个或多个经编码的比特流。在不同的实现方式中，存储单元1108为标准DVD、蓝光盘、硬盘驱动器或某个其他存储设备中的一个或多个。
参考图12，示出了数据接收系统1200，可以对其应用以上描述的特征和原理。数据接收系统1200可以被配置为通过诸如存储设备、卫星、缆线、电话线或地面广播之类的各种媒体来接收信号。可以通过互联网或某个其他网络来接收信号。
数据接收系统1200可以是例如蜂窝电话、计算机、机顶盒、电视机或接收经编码的视频并提供例如用于显示(例如显示给用户)、用于处理或用于存储的经解码的视频信号的其他设备。因此，数据接收系统1200可以将其输出提供给例如电视机的屏幕、计算机监视器、计算机(用于存储、处理或显示)、G座椅、振动背心或某个其他存储、处理、触觉或显示设备。
数据接收系统1200能够接收和处理数据信息。数据接收系统或装置1200包括用于接收经编码的信号(诸如例如在本申请的实现方式中描述的信号)的接收器1202。接收器1202可以接收例如提供比特流的信号或者从图11的数据传输系统1100输出的信号。
接收器1202可以例如适配于接收具有表示经编码的视听内容和触觉效果的多个比特流的节目信号。典型的接收器执行诸如例如以下中的一个或多个的功能：接收经调制和经编码的数据信号、使用解调器1204从一个或多个载波解调数据信号、将信号中的能量去随机化、将信号中的数据解交织以及对信号进行纠错解码。接收器1202可以包括天线(未示出)或与其对接。接收器1202的实现方式可以受限于解调器1204。
数据接收系统1200包括解码器1206。接收器1202将接收到的信号提供给解码器1206。由接收器1202提供给解码器1206的信号可以包括一个或多个经编码的比特流。解码器1206输出经解码的信号，诸如例如包括视频信息、音频信号和触觉效果描述的经解码的视频信号。
数据接收系统或装置1200还通信地耦接到存储单元1207。在一个实现方式中，存储单元1207耦接到接收器1202，并且接收器1202从存储单元1207访问比特流。在另一实现方式中，存储单元1207耦接到解码器1206，并且解码器1206从存储单元1207访问比特流。在不同的实现方式中，从存储单元1207访问的比特流包括一个或多个经编码的比特流。在不同的实现方式中，存储单元1207为标准DVD、蓝光盘、硬盘驱动器或某个其他存储设备中的一个或多个。
在一个实现方式中，将来自解码器1206的输出数据提供给处理器1208。在一个实现方式中，处理器1208是被配置用于执行后处理的处理器。在一些实现方式中，解码器1206包括处理器1208，并且因此执行处理器1208的操作。在其他实现方式中，处理器1208是诸如例如机顶盒或电视机之类的下游设备的一部分。
在此描述的实现方式可以以例如方法或处理、装置、软件程序、数据流或信号来实现。即使仅仅在单一形式的实现方式的背景下讨论(例如，仅作为方法讨论)，所讨论的特征的实现方式也可以以其他形式(例如，装置或程序)来实现。装置可以以例如适当的硬件、软件和固件来实现。例如，方法可以在诸如例如处理器之类的装置中实现，该处理器是指一般的处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备，诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及促进最终用户之间的信息通信的其他设备。
对本原理的“一个实施例”或“实施例”或“一个实现方式”或“实现方式”以及其他变型的引用意指结合实施例所描述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，贯穿说明书出现在各处的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型的出现不一定都指的是相同的实施例。
此外，本申请或其权利要求可以涉及“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器取回信息中的一个或多个。
此外，本申请或其权利要求可以涉及“访问”各种信息。访问信息可以包括例如接收信息、(例如，从存储器)取回信息、存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。
此外，本申请或其权利要求可以涉及“接收”各种信息。与“访问”一样，接收意图为广义术语。接收信息可以包括例如访问信息或(例如，从存储器)取回信息中的一个或多个。此外，在诸如例如存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息之类的操作期间，通常以某种方式涉及“接收”。
如对于本领域技术人员显而易见的那样，实现方式可以产生被格式化为携带信息的各种信号，其可以例如是存储的或传送的。该信息可以包括例如用于执行方法的指令或者由所描述的实现方式之一产生的数据。例如，信号可以被格式化为携带所描述的实施例的比特流。这样的信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或者基带信号。格式化可以包括例如对数据流进行编码和用经编码的数据流来调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的那样，可以通过各种不同的有线或无线链路来传送信号。可以在处理器可读介质上存储信号。
Claims (15)
1.一种传送比特流的方法，所述比特流包括表示触觉效果的数据，所述方法包括：
-将表示空间的原点的定位的第一描述符编码到所述比特流中；(第8页，[0042]，[0040])
-将表示具有关联触觉属性的虚拟对象关于所述空间的定位的第二描述符编码到所述比特流中；(第8页，[0041]，[0062])
-传送所述比特流。
2.根据权利要求1所述的方法，还包括将表示触觉设备关于所述空间的定位的第三描述符编码到所述比特流中。(第8页，[0041]，[0062])
3.一种对表示触觉效果的信息进行解码的方法，所述方法包括：
-接收比特流；
-从所述比特流解码表示空间的原点的定位的第一描述符；
-从所述比特流解码表示具有关联触觉属性的虚拟对象关于所述空间的定位的第二描述符。
4.根据权利要求3所述的方法，还包括从所述比特流解码表示触觉设备关于所述空间的定位的第三描述符。
5.根据权利要求1、2、3和4之一所述的方法，其中所述第二描述符指示所述虚拟对象所位于的用户的身体的部位。(第9页，[0045])
6.根据权利要求2或4所述的方法，其中所述第三描述符指示所述触觉设备所位于的用户的身体的部位。(第9页，[0045])
7.根据权利要求1或3所述的方法，其中所述第一描述符对应于第一坐标，并且所述第二描述符对应于第二坐标。
8.根据权利要求1至2之一所述的方法，还包括对表示用户的身体的至少一个部位在确定的时间的位置的第四描述符进行编码。
9.根据权利要求3至4之一所述的方法，还包括对表示用户的身体的至少一个部位在确定的时间的位置的第四描述符进行解码。
10.根据权利要求1至9之一所述的方法，其中所述原点与用户的身体的部位相关联。
11.一种被配置为传送比特流的设备，所述比特流包括表示触觉效果的数据，所述设备包括：
-编码器，其被配置为：
○将表示空间的原点的定位的第一描述符编码到所述比特流中；
○将表示具有关联触觉属性的虚拟对象关于所述空间的定位的第二描述符编码到所述比特流中；
-传送所述比特流的传送器。
12.一种被配置为对表示触觉效果的信息进行解码的设备，所述设备包括：
-接收比特流的接收器；
-解码器，其被配置为：
○从所述比特流解码表示空间的原点的定位的第一描述符；
○从所述比特流解码表示具有关联触觉属性的虚拟对象关于所述空间的定位的第二描述符。
13.一种至少携带分组的信号，所述分组包括表示触觉效果的数据，其中所述信号还携带表示空间的原点的定位的第一描述符和表示具有关联触觉属性的虚拟对象关于所述空间的定位的第二描述符。
14.一种非临时性处理器可读介质，具有存储在其中的指令，用于使处理器至少执行根据权利要求1所述的方法的步骤。
15.一种非临时性处理器可读介质，具有存储在其中的指令，用于使处理器至少执行根据权利要求3所述的解码方法的步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15306156.9 | 2015-07-13 | ||
| EP15306156.9A EP3118723A1 (en) | 2015-07-13 | 2015-07-13 | Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace) |
| PCT/EP2016/066157 WO2017009181A1 (en) | 2015-07-13 | 2016-07-07 | Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace) |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107835971A true CN107835971A (zh) | 2018-03-23 |
| CN107835971B CN107835971B (zh) | 2023-06-20 |
Family
ID=53758150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680040980.5A Active CN107835971B (zh) | 2015-07-13 | 2016-07-07 | 基于用户触觉空间（HapSpace）提供触觉反馈和交互的方法和装置 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US11964200B2 (zh) |
| EP (2) | EP3118723A1 (zh) |
| JP (1) | JP2018527655A (zh) |
| KR (1) | KR20180030515A (zh) |
| CN (1) | CN107835971B (zh) |
| BR (1) | BR112018000796A2 (zh) |
| CA (1) | CA2992128A1 (zh) |
| MX (1) | MX2018000441A (zh) |
| RU (1) | RU2721410C2 (zh) |
| WO (1) | WO2017009181A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112840294A (zh) * | 2018-10-19 | 2021-05-25 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| CN112840295A (zh) * | 2018-10-19 | 2021-05-25 | 索尼公司 | 信息处理器、信息处理方法和程序 |
| US12003886B2 (en) | 2018-12-26 | 2024-06-04 | Sony Group Corporation | Transmission device, transmission method, reception device, and reception method |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3112987A1 (en) * | 2015-06-29 | 2017-01-04 | Thomson Licensing | Method and schemes for perceptually driven encoding of haptic effects |
| KR101678455B1 (ko) * | 2015-10-14 | 2016-11-23 | 한국과학기술연구원 | 질감인지공간을 이용한 햅틱 속성 적용 장치 및 방법 |
| US11379042B2 (en) | 2017-07-10 | 2022-07-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Transmission of haptic input |
| CN111095018B (zh) | 2017-08-31 | 2022-03-29 | 深圳市大疆创新科技有限公司 | 固态光探测和测距(lidar)系统、用于提高固态光探测和测距(lidar)分辨率的系统和方法 |
| US20190204917A1 (en) * | 2017-12-28 | 2019-07-04 | Immersion Corporation | Intuitive haptic design |
| US10698490B2 (en) * | 2018-01-10 | 2020-06-30 | Jonathan Fraser SIMMONS | Haptic feedback device, method and system |
| CN111712779A (zh) * | 2018-02-20 | 2020-09-25 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| CN112673334B (zh) * | 2018-09-11 | 2024-06-25 | 索尼公司 | 信息处理装置、信息处理方法和记录介质 |
| CN113260488A (zh) * | 2019-02-01 | 2021-08-13 | 索尼集团公司 | 解码装置、解码方法和程序 |
| WO2021172040A1 (ja) * | 2020-02-28 | 2021-09-02 | ソニーグループ株式会社 | 情報処理装置および方法 |
| US11698680B2 (en) * | 2020-06-23 | 2023-07-11 | Immersion Corporation | Methods and systems for decoding and rendering a haptic effect associated with a 3D environment |
| KR20220012073A (ko) | 2020-07-22 | 2022-02-03 | 삼성전자주식회사 | 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치 |
| TWI831081B (zh) * | 2021-11-11 | 2024-02-01 | 國立陽明交通大學 | 模組化氣動體感裝置 |
| WO2023099233A1 (en) * | 2021-12-03 | 2023-06-08 | Interdigital Ce Patent Holdings, Sas | Adaptation of a haptic signal to device capabilities |
| WO2023176928A1 (ja) * | 2022-03-18 | 2023-09-21 | ソニーグループ株式会社 | 情報処理装置および方法 |
| US11775072B1 (en) * | 2022-04-13 | 2023-10-03 | Immersion Corportion | Methods and systems for distributing and/or generating a haptic effect associated with video content and/or audio content |
| WO2024002508A1 (en) * | 2022-07-01 | 2024-01-04 | Go Touch Vr | Method and apparatus of transmitting haptic data |
| US20240127680A1 (en) * | 2022-10-18 | 2024-04-18 | Tencent America LLC | Method and apparatus for timed referenced access unit packetization of haptics elementary streams |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101059717A (zh) * | 2006-04-21 | 2007-10-24 | 佳能株式会社 | 呈现从虚拟对象接收的触觉的信息处理方法和设备 |
| US20100302015A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Systems and methods for immersive interaction with virtual objects |
| WO2013096327A1 (en) * | 2011-12-21 | 2013-06-27 | Qualcomm Incorporated | Using haptic technologies to provide enhanced media experiences |
| EP2733575A1 (en) * | 2012-11-20 | 2014-05-21 | Immersion Corporation | System and method for feedforward and feedback with haptic effects |
| US20150154966A1 (en) * | 2013-11-19 | 2015-06-04 | Dolby Laboratories Licensing Corporation | Haptic Signal Synthesis and Transport in a Bit Stream |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3983640A (en) | 1974-11-06 | 1976-10-05 | The Singer Company | Advanced G seat for aircraft simulation |
| JP4173951B2 (ja) | 2000-10-25 | 2008-10-29 | 日本放送協会 | 多感覚情報送信装置及び多感覚情報受信装置 |
| US7667700B1 (en) * | 2004-03-05 | 2010-02-23 | Hrl Laboratories, Llc | System and method for navigating operating in a virtual environment |
| US7990374B2 (en) | 2004-06-29 | 2011-08-02 | Sensable Technologies, Inc. | Apparatus and methods for haptic rendering using data in a graphics pipeline |
| RU2407072C1 (ru) | 2006-09-29 | 2010-12-20 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов |
| US8952888B2 (en) * | 2008-05-09 | 2015-02-10 | Koninklijke Philips N.V. | Method and system for conveying an emotion |
| JP5502348B2 (ja) | 2009-03-12 | 2014-05-28 | ファナック株式会社 | シミュレーション方法 |
| US8659658B2 (en) * | 2010-02-09 | 2014-02-25 | Microsoft Corporation | Physical interaction zone for gesture-based user interfaces |
| US8540571B2 (en) | 2010-03-31 | 2013-09-24 | Immersion Corporation | System and method for providing haptic stimulus based on position |
| KR101108145B1 (ko) | 2010-05-07 | 2012-02-06 | 광주과학기술원 | 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법 |
| US20130208899A1 (en) | 2010-10-13 | 2013-08-15 | Microsoft Corporation | Skeletal modeling for positioning virtual object sounds |
| US9480907B2 (en) * | 2011-03-02 | 2016-11-01 | Microsoft Technology Licensing, Llc | Immersive display with peripheral illusions |
| US9478067B1 (en) * | 2011-04-08 | 2016-10-25 | Amazon Technologies, Inc. | Augmented reality environment with secondary sensory feedback |
| KR101546654B1 (ko) | 2012-06-26 | 2015-08-25 | 한국과학기술원 | 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치 |
| US8532675B1 (en) * | 2012-06-27 | 2013-09-10 | Blackberry Limited | Mobile communication device user interface for manipulation of data items in a physical space |
| US9230368B2 (en) * | 2013-05-23 | 2016-01-05 | Microsoft Technology Licensing, Llc | Hologram anchoring and dynamic positioning |
| US9274603B2 (en) * | 2013-05-24 | 2016-03-01 | Immersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
| CN103543830B (zh) | 2013-10-28 | 2017-02-15 | 四川大学 | 一种人体骨骼点映射至立体显示中虚拟三维空间点的方法 |
| US20150178930A1 (en) | 2013-12-20 | 2015-06-25 | Qualcomm Incorporated | Systems, methods, and apparatus for generating metadata relating to spatial regions of non-uniform size |
-
2015
- 2015-07-13 EP EP15306156.9A patent/EP3118723A1/en not_active Withdrawn
-
2016
- 2016-07-07 JP JP2018500919A patent/JP2018527655A/ja active Pending
- 2016-07-07 KR KR1020187000859A patent/KR20180030515A/ko unknown
- 2016-07-07 US US15/742,722 patent/US11964200B2/en active Active
- 2016-07-07 CA CA2992128A patent/CA2992128A1/en not_active Abandoned
- 2016-07-07 EP EP16738389.2A patent/EP3323032A1/en not_active Ceased
- 2016-07-07 RU RU2018105082A patent/RU2721410C2/ru active
- 2016-07-07 WO PCT/EP2016/066157 patent/WO2017009181A1/en active Application Filing
- 2016-07-07 CN CN201680040980.5A patent/CN107835971B/zh active Active
- 2016-07-07 BR BR112018000796-0A patent/BR112018000796A2/pt not_active IP Right Cessation
- 2016-07-07 MX MX2018000441A patent/MX2018000441A/es unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101059717A (zh) * | 2006-04-21 | 2007-10-24 | 佳能株式会社 | 呈现从虚拟对象接收的触觉的信息处理方法和设备 |
| US20100302015A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Systems and methods for immersive interaction with virtual objects |
| WO2013096327A1 (en) * | 2011-12-21 | 2013-06-27 | Qualcomm Incorporated | Using haptic technologies to provide enhanced media experiences |
| EP2733575A1 (en) * | 2012-11-20 | 2014-05-21 | Immersion Corporation | System and method for feedforward and feedback with haptic effects |
| US20150154966A1 (en) * | 2013-11-19 | 2015-06-04 | Dolby Laboratories Licensing Corporation | Haptic Signal Synthesis and Transport in a Bit Stream |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112840294A (zh) * | 2018-10-19 | 2021-05-25 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| CN112840295A (zh) * | 2018-10-19 | 2021-05-25 | 索尼公司 | 信息处理器、信息处理方法和程序 |
| CN112840294B (zh) * | 2018-10-19 | 2024-05-28 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| US12003886B2 (en) | 2018-12-26 | 2024-06-04 | Sony Group Corporation | Transmission device, transmission method, reception device, and reception method |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3118723A1 (en) | 2017-01-18 |
| KR20180030515A (ko) | 2018-03-23 |
| RU2018105082A3 (zh) | 2019-12-17 |
| CA2992128A1 (en) | 2017-01-19 |
| US20180200619A1 (en) | 2018-07-19 |
| WO2017009181A1 (en) | 2017-01-19 |
| RU2018105082A (ru) | 2019-08-13 |
| CN107835971B (zh) | 2023-06-20 |
| EP3323032A1 (en) | 2018-05-23 |
| JP2018527655A (ja) | 2018-09-20 |
| RU2721410C2 (ru) | 2020-05-19 |
| US11964200B2 (en) | 2024-04-23 |
| BR112018000796A2 (pt) | 2018-09-04 |
| MX2018000441A (es) | 2018-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107835971A (zh) | 基于用户触觉空间（HapSpace）提供触觉反馈和交互的方法和装置 | |
| CN107170030A (zh) | 一种虚拟主播直播方法及系统 | |
| CN105915849A (zh) | 一种虚拟现实体育赛事播放方法及系统 | |
| CN107103801A (zh) | 远程三维场景互动教学系统及控制方法 | |
| CN104706499A (zh) | 上肢脑神经康复训练系统及训练方法 | |
| CN106249868A (zh) | 广播触觉架构 | |
| CN109710057A (zh) | 一种动感重现虚拟现实的方法及系统 | |
| KR20160138908A (ko) | 햅틱 효과를 나타내는 데이터를 포함하는 패킷을 인코딩/디코딩하기 위한 방법 및 장치 | |
| US10871829B2 (en) | Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects | |
| CN106249903A (zh) | 一种虚拟现实场景内容的播放方法及装置 | |
| US20230367395A1 (en) | Haptic scene representation format | |
| CN106406522A (zh) | 一种虚拟现实场景内容的调整方法及装置 | |
| KR101239370B1 (ko) | 가상 환경의 햅틱 속성의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템 | |
| Kim et al. | Construction of a haptic-enabled broadcasting system based on the MPEG-V standard | |
| JP2009194597A (ja) | 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 | |
| US10536682B2 (en) | Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method | |
| CN106534142A (zh) | 多媒体数据的实时传输方法及装置 | |
| WO2023046899A1 (en) | Location-based haptic signal compression | |
| KR101731476B1 (ko) | 가상 인체를 통한 촉각 상호작용 방법과 장치 | |
| KR200421496Y1 (ko) | 모바일기기를 이용한 꼭지점댄스 학습장치 | |
| CN109634424A (zh) | 基于新型成像与多种技术使物理空间映射为虚拟的方法 | |
| WO2009101998A1 (ja) | 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 | |
| KR20240088941A (ko) | 위치 기반 햅틱 신호 압축 | |
| WO2023202899A1 (en) | Mipmaps for haptic textures | |
| Danieau et al. | Enhancing audiovisual experience with haptic feedback: A review on HAV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190606 Address after: Paris France Applicant after: Interactive digital CE patent holding Co. Address before: I Si Eli Murli Nor, France Applicant before: THOMSON LICENSING |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |