CN110083240A - 基于动态缩放值的空间化的触觉反馈 - Google Patents

基于动态缩放值的空间化的触觉反馈 Download PDF

Info

Publication number
CN110083240A
CN110083240A CN201910336365.4A CN201910336365A CN110083240A CN 110083240 A CN110083240 A CN 110083240A CN 201910336365 A CN201910336365 A CN 201910336365A CN 110083240 A CN110083240 A CN 110083240A
Authority
CN
China
Prior art keywords
media
touch feedback
control signal
media content
priority value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910336365.4A
Other languages
English (en)
Inventor
S·S·巴哈迪亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN110083240A publication Critical patent/CN110083240A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及基于动态缩放值的空间化的触觉反馈。一种系统，基于媒体内容提供触觉反馈。所述系统把媒体内容处理成包括第一成分和第二成分的成分。所述系统还确定与第一成分相关的第一优先级值和与第二成分相关的第二优先级值。所述系统还比较第一优先级值与第二优先级值。所述系统还基于所述比较生成第一控制信号和第二控制信号，其中第一控制信号配置为使第一触觉反馈输出，并且第二控制信号配置为使与第一触觉反馈相同或不同的第二触觉反馈输出。

Description

基于动态缩放值的空间化的触觉反馈
本申请是申请日为2014年09月05日，申请号为201410449870.7，发明名称为“基于动态缩放值的空间化的触觉反馈”的发明专利申请的分案申请。
对相关申请的交叉引用
本申请要求于2013年9月6日提交的美国临时专利申请序列号61/874,678的优先权(其全部公开内容通过引用被结合于此)。
技术领域
一种实施例一般涉及设备，并且更具体地涉及产生触觉效果的设备。
背景技术
电子设备制造商努力为用户生产丰富的接口。传统设备使用视觉和听觉提示向用户提供反馈。在一些接口设备中，也向用户提供动觉反馈(kinesthetic feedback)(诸如主动力和抵抗力反馈)和/或触知反馈(诸如振动、纹理和热度)，更一般地统称为“触觉反馈”或“触觉效果”。触觉反馈可提供增强和简化用户接口的提示。具体而言，振动效果，或者说振动触觉效果，会有助于给电子设备用户提供提示以提醒用户特定事件，或者在模拟或虚拟环境中提供逼真的反馈以产生更强烈的感官沉浸。
基于媒体内容的媒体成分动态地提供触觉反馈可以为用户提供强大和沉浸式的体验。但是，在有些情况下，不同的媒体成分会具有不同但足够相似的媒体特性，使得基于媒体成分动态生成的触觉反馈难以区分。例如，在立体声音频实现中，当用于左右音频通道的音频足够相似时，对应于“右”音频通道并且经“右”触觉反馈输出设备提供的触觉反馈会与对应于“左”音频通道并且经“左”触觉反馈输出设备提供的触觉反馈不可区分。在以上例子中，用户不能察觉到对应于左右通道的触觉反馈之间的区别。
发明内容
一种实施例是一种基于媒体内容提供触觉反馈的系统。所述系统把媒体内容处理成包括第一成分和第二成分的成分。所述系统还确定与第一成分相关的第一优先级值和与第二成分相关的第二优先级值。所述系统还比较第一优先级值与第二优先级值。所述系统还基于所述比较生成第一控制信号和第二控制信号，其中第一控制信号配置为使第一触觉反馈输出，并且第二控制信号配置为使与第一触觉反馈相同或不同的第二触觉反馈输出。
附图说明
进一步的实施例、细节、优点和修改将从以下对优选实施例的具体描述变得显然，优选实施例要结合附图来理解。
图1根据本发明的实施例说明了用于基于媒体内容的媒体成分的动态缩放优先级值提供触觉反馈的系统。
图2是根据本发明的实施例说明在用于基于媒体内容的媒体成分的动态缩放优先级值提供触觉反馈的系统中部件之间数据流的流程图。
图3A根据本发明的实施例说明了用于利用集成的触觉和音频输出设备把音频通道排定优先次序的计算设备的例子。
图3B根据本发明的实施例说明了用于利用集成的触觉和图像输出设备把图像成分排定优先次序的计算设备的例子。
图4根据本发明的实施例说明了用于利用远端触觉和音频输出设备把音频通道排定优先次序的计算设备的例子。
图5A是根据本发明的实施例说明缩放优先级值的图的例子。
图5B是根据本发明的实施例说明缩放优先级值的图的例子。
图5C是根据本发明的实施例说明缩放优先级值的图的例子。
图5D是根据本发明的实施例说明缩放优先级值的图的例子。
图6根据本发明的实施例说明了用于基于媒体内容的媒体成分的动态缩放优先级值提供触觉反馈的过程的例子。
图7根据本发明的实施例说明了缩放优先级值的例子。
图8根据本发明的实施例说明了缩放优先级值的例子。
图9根据本发明的实施例说明了用于基于媒体内容的输入成分提供触觉反馈的过程的例子。
具体实施方式
一种实施例是提供基于媒体成分的动态缩放值空间变化的触觉反馈的系统，其中媒体成分诸如音频通道、图像的区域或者媒体内容的其它媒体成分。所述系统可以分析媒体成分并且基于所述分析自动生成触觉反馈。所述系统可以与媒体内容的输出配合地经触觉输出设备提供触觉反馈，其中媒体内容的输出是经扬声器、图像显示器或者其它媒体输出设备。因而，给定的媒体成分可以连同其对应的触觉反馈一起输出，其中触觉反馈可以由系统动态确定。
为了比基于其它媒体成分的其它触觉反馈更多地强调基于某些媒体成分的某些触觉反馈，所述系统可以基于对媒体成分的分析来缩放触觉反馈的一个或多个部分。例如，系统可以缩放使触觉反馈生成、使触觉反馈更显著(例如，增加的量级、持续时间等)和/或使其它触觉反馈更不显著(例如，减小的量级、持续时间等)的信息。系统可以缩放信息，使得在被重放时原始媒体成分的图像、音频和/或其它输出成分不被更改。换句话说，在从媒体内容自动生成的某些触觉反馈比其它触觉反馈更显著或更不显著的情况下，原始媒体内容可以不被更改地重放(但是，在有些实现中，媒体内容可以与触觉反馈分开和/或一起缩放)。因此，即使在这种触觉反馈是基于彼此相似的媒体成分的时候，所述系统也有助于可以被用户区分的动态触觉反馈。
以这种方式，所述系统可以提高区分与不同媒体成分相关联提供的不同触觉反馈的能力，并且可以提供更丰富、更沉浸式的媒体体验。这种增强可以应用到音频、图像(诸如视频或静止图像)、视频游戏，和/或其它媒体内容。
在一种实施例中，所述系统可以把媒体成分排定优先次序并且生成使触觉输出设备基于所述优先次序提供触觉反馈的控制信号。在有些实现中，例如，所述系统可以把媒体内容处理成不同的媒体成分并且分析每个媒体成分以便自动确定用来动态确定触觉反馈的对应优先级值。分析可以基于给定媒体成分的一个或多个媒体属性。媒体属性可以包括例如用于音频内容的声音量级(除别的音频属性之外)、用于图像内容的颜色(除别的图像属性之外)、和/或可以为了分析而被量化或以别的方式进行评估的媒体内容的其它属性。
所述系统可以比较媒体成分的每个优先级值与至少另一个媒体成分的优先级值(或者累计值，诸如平均值)。如果优先级值之间的差值超过阈值，则优先级值可以按比例放大或缩小。因而，有些优先级值可以按比例放大，有些可以按比例缩小，还有一些可以完全不缩放。以这种方式，由于缩放，基于媒体成分的优先级值生成的触觉反馈可以更好区分。在有些实现中，所述系统可以不考虑是否到达阈值差地缩放优先级值，使得缩放的程度可以基于优先级值之间的差值。应当理解，“缩放优先级值”或类似的语言可以包括缩放实际的媒体成分值(例如，音频级别)和/或为了基于媒体内容生成缩放后的触觉反馈而基于实际的媒体成分值生成新值。
例如，在涉及具有左通道和右通道的音频内容的立体声实施例中，如果预期的触觉反馈要在右触觉输出设备但不在左触觉输出设备播放，则系统可以在朝上的方向缩放与右通道关联的音频内容的一部分，并且可以在朝下的方向缩放与左通道关联的音频内容的一部分。所述系统还可以基于与右通道关联的音频内容的缩放部分生成触觉效果，并且使所述触觉效果在右触觉输出设备输出。同样，系统还可以基于与左通道关联的音频内容的缩放部分生成触觉效果，并且使所述触觉效果在左触觉输出设备输出。因而，基于动态缩放，在右触觉输出设备输出的触觉效果可以更“显著”或者“增强”，而在左触觉输出设备输出的触觉效果可以更“减小”。
图1根据本发明的实施例说明了用于基于媒体内容122的媒体成分的动态缩放值提供触觉反馈的系统100。系统100可以包括媒体源120、计算设备140、触觉输出设备162、图像输出设备164、音频输出设备166，和/或其它部件。虽然以上提到的部件在图1中都只说明了单个实例，但是可以包括多于一个的这些部件。媒体内容122可以包括音频内容、图像内容(例如，视频、静止图像、视频游戏的视觉表示，等等)、和/或其它内容。音频内容的例子可以包括5.1多通道音频、6.1多通道音频、7.1多通道音频、11.1多通道音频，等等。媒体内容122可以配置为视频、音频、视频游戏表示、和/或可以被播放或以别的方式输出的其它媒体。
在有些实施例中，媒体源120可以包括诸如在线视频提供者或游戏服务器的在线媒体提供者，诸如盘播放器或视频游戏控制台的媒体播放器，另一计算设备，和/或可以把媒体122提供给计算设备140的其它设备。
在有些实施例中，计算设备140可以包括利用一个或多个计算机程序模块编程的一个或多个处理器142，这些程序模块可以存储在一个或多个非暂时性的存储介质144中。计算设备140可以由一个或多个模块来编程，以便把媒体内容122的媒体成分排定优先次序并且基于该优先次序缩放触觉反馈。模块可以包括媒体处理模块146、优先化模块148、缩放模块150、触觉反馈模块152、媒体输出模块154、协调模块156、和/或其它模块。在备选实施例中，计算设备140可以由单个模块诸如触觉空间化模块(图1中未说明)来编程，以便把媒体内容122的媒体成分排定优先次序并且基于该优先次序缩放触觉反馈。
在有些实施例中，媒体处理模块146可以配置为从媒体源120、计算机可读介质132、非暂时性存储介质144(例如，当媒体内容122本地存储在计算设备140时)和/或媒体内容122的其它源获得媒体内容122。例如，媒体内容122可以被媒体处理模块146流化、下载、拷贝、本地存储、本地创建(例如，经图1中未说明的媒体捕捉设备)或以别的方式获得。
不管媒体内容122以何种方式获得，媒体处理模块146都可以配置为在存储器中缓冲媒体内容122，以便把媒体内容122处理成一个或多个媒体成分，诸如用于音频内容的音频通道和用于图像内容的图像区域。
例如，媒体内容122可以包括利用立体声(即，双通道)或环绕(即，多通道)声音格式编码的音频内容。在这些情况下，媒体处理模块146可以利用常规的立体声/多通道音频解码技术把媒体内容122(例如，其音频部分)解码成单独的音频通道，用于把不同的音频通道交付给单独音频输出设备，诸如扬声器。
媒体内容122可以附加地或者作为选择包括图像内容，图像内容包括多个流(例如，对于独立的显示屏)和/或可以分成独立图像区域的单个流。在这些情况下，媒体处理模块146可以利用常规的图像处理技术处理媒体内容122(例如，其图像部分)，诸如利用图像分段把图像分成多个区域。每个区域可以基于像素的群集分组或者利用其它常规的图像处理技术分组。
在有些实施例中，优先化模块148可以分析各个媒体成分并且基于该分析为每个媒体成分确定优先级值。分析可以实时地进行，使得当每个媒体成分被媒体输出设备输出时，该媒体成分的优先级值可以被确定。或者，可以执行分析，使得分析的结果被存储，供随后处理。
在媒体内容122包括音频内容的实施例中，优先化模块148可以采样音频内容，以确定音频通道的音频特性。音频特性可以包括音频的量级和/或音频通道的其它特性。
在有些实施例中，优先化模块148可以以特定的帧速率采样音频内容。每一帧音频内容可以被处理，使得该帧的特性可以被分析，以确定该音频帧的音频特性。对于音频内容的每个被采样部分(例如，一个或多个帧)，优先化模块148可以确定对于音频内容的给定帧或其它部分的音频特性。处理音频内容可以利用如在于2012年2月3日提交且标题为“Soundto Haptic Effect Conversion System using Amplitude Value”的共同拥有美国专利申请No.13/365,984(该申请的全部内容通过引用被结合于此)和于2012年2月3日提交且标题为“Sound to Haptic Effect Conversion System using Waveform”的美国专利申请No.13/366,010(该申请的全部内容通过引用被结合于此)中所公开的系统来实现。
在有些实施例中，优先化模块148可以基于音频特性确定优先级值。例如，优先级值可以等于或者以别的方式从音频特性的值得出。音频实施例中优先级值的不同可以指示不同音频通道的声音的不同级别、类型、持续时间等，系统可以使用这些作为提供空间变化的触觉反馈的基础。
在媒体内容122包括图像内容的实施例中，优先化模块148可以确定用于图像(例如，静止图像或者视频图像帧)的给定分段区域的色相饱和度值(“HSV”)颜色柱状图或其它图像处理值并且确定该HSV颜色柱状图是否从一个图像区域到另一个区域有所不同。当使用单独的视频流时，优先化模块148可以为每个流确定HSV值或基于图像处理获得的其它值。
当HSV颜色柱状图从一个区域到另一个区域或者从一个图像流到另一个图像流有所不同时，场景中不同对象或差别的存在可以被指示，系统可以使用这些作为提供空间变化的触觉反馈的基础。其它图像变化也可以用作提供空间变化的触觉反馈的基础。
在有些实施例中，优先化模块148可以生成或以别的方式获得与每一帧相关的时间戳并且存储关于该时间戳的采样媒体特性。以这种方式，可以存储关于时间戳的媒体特性，用于触觉反馈和媒体内容122输出的配合。
在有些实施例中，缩放模块150可以配置为比较为每个媒体成分确定的优先级值并且基于该比较确定所述值是否应当缩放。比较可以基于各种技术来执行。
在有些实施例中，例如，缩放模块150可以对每个优先级值执行按对比较，以确定给定的一对优先级值之间的差值是否超过预定的阈值，使得缩放应当被执行。当分析两个媒体成分时(诸如对于立体声音频实施例)，以上例子会是有用的，但是在分析其它数量的媒体成分时这种比较也可以适用。以上和本文所述的其它阈值可以是可配置的，使得个别销售商/实体可以调整阈值。
在有些实施例中，缩放模块150可以为两个或更多个媒体成分确定优先级值的平均值，并且确定给定的优先级值与该平均值之间的差值是否超过预定的阈值(这个阈值可以与以上提到的阈值相同或不同)。在这些实施例的一些当中，缩放模块150可以确定标准偏差并且执行各种统计技术来确定优先级值是否变化超过阈值方差，使得缩放应当被执行。当分析多个媒体成分时(诸如对于环绕音频实施例)，以上例子会是有用的，但是在分析其它数量的媒体成分时这种比较也可以适用。
不管如何比较优先级值，在有些实施例中，缩放模块150都可以缩放一个或多个优先级值。例如，缩放模块150可以生成高于或低于原始优先级值的缩放后的值。当一对优先级值的优先级值之间的差值超过预定的阈值时，缩放模块150可以按比例放大两个优先级值当中较高的一个和/或按比例缩小两个优先级值当中较低的一个。类似地，当给定的优先级值与多个优先级值的平均值之间的差值超过预定的阈值时，如果给定的优先级值高于平均值，则缩放模块150可以按比例放大给定的优先级值，并且如果给定的优先级值低于平均值，则缩放模块150可以按比例缩小给定的优先级值。在有些实施例中，缩放模块150可以基于未缩放的优先级值确定要提供的基准触觉反馈。在这些实施例中，缩放模块150可以确定触觉反馈的特性(例如，量级、频率、持续时间等)之间的差异并且关于彼此缩放触觉反馈特性。
不管执行哪个缩放实施例，缩放模块150都可以增强两个或更多个优先级值之间的差值，其中每个优先级值都是为给定的媒体成分确定的。这允许用于对应优先级值的第一触觉反馈在第一空间位置提供，这比在第二空间位置提供的第二触觉反馈更可独立察觉。
另一方面，当差异没有超过预定的阈值时，缩放模块150不能缩放优先级值。这可以是当媒体成分的差异不一定有可察觉的不同的情况(例如，当巨大的爆炸声跨不同的音频通道发生时)。
在有些实施例中，触觉反馈模块152可以配置为基于缩放后的优先级值(为缩放后的优先级值)和/或未缩放的优先级值(为没有缩放的优先级值)生成控制信号。例如，触觉反馈模块152可以配置为基于(可以或不可以缩放的)第一优先级值生成第一控制信号并且基于(可以或不可以缩放的)第二优先级值生成第二控制信号。其它控制信号也可以为对应于其它媒体成分的其它优先级值生成。第一控制信号可以配置为使得它使第一触觉输出设备提供第一触觉反馈。同样，第二控制信号可以配置为使得它使第二触觉输出设备提供第二触觉反馈。
如本文关于控制信号所使用的，术语“第一控制信号”和“第二控制信号”(以及单独地识别控制信号的类似语言)是要传达可以使不同触觉输出设备提供不同触觉反馈的意思。在有些实施例中，例如，“第一控制信号”和“第二控制信号”可以单独提供给第一和第二触觉输出设备，每个设备基于它们各自的控制信号使触觉反馈被提供。在有些实施例中，“第一控制信号”和“第二控制信号”可以带适当的寻址机制一起同时提供给第一和第二触觉输出设备，使得第一和第二触觉输出设备解码该寻址机制来确定输出哪个触觉反馈。
在有些实施例中，排定优先次序的值可以与对应触觉反馈相关联地存储，以便在诸如非暂时性存储介质144的存储器中所存储的查找表中提供，和/或可以基于优先级值动态确定。例如，优先级值可以用来确定触觉反馈的特性(例如，量级)，使得较高优先级值导致较高量级的触觉反馈。
在有些实施例中，媒体输出模块154可以配置为输出媒体内容122。媒体输出模块154可以利用常规媒体格式向例如媒体输出设备164、音频输出设备166和/或其它媒体输出设备提供媒体122。
在有些实施例中，协调模块156可以配置为分别向媒体输出设备(例如，图像输出设备164和音频输出设备166)和触觉输出设备162协调媒体输出和控制信号输出。在有些实施例中，协调模块156可以根据嵌入到媒体内容122中的同步代码和/或经总体上为输出视频输出、音频输出和触觉反馈中每一个而设置时间的时间戳同步图像输出、控制信号(例如，由控制信号造成的触觉反馈)和音频输出。
如将理解的，媒体内容122可以既包括音频内容又包括视频内容。计算设备140可以如本文所描述的那样处理媒体内容122的音频、视频和/或其它媒体，以提供空间变化的触觉反馈。
在有些实施例中，触觉输出设备162可以包括致动器，例如，诸如其中偏心质块被电动机移动的偏心旋转质块(“ERM”)的电磁致动器、其中附连到弹簧的质块被前后驱动的线性共振致动器(“LRA”)，或者诸如压电材料、电活性聚合物或形状记忆合金的“智能材料”、宏观复合纤维致动器、静电致动器、电触感致动器、和/或提供诸如触觉(例如，振动触感)反馈的物理反馈的其它类型致动器。触觉输出设备162可以包括非机械或者非振动设备，诸如使用静电摩擦(ESF)、超声表面摩擦(USF)的设备，或者利用超声触觉换能器感应出声辐射压力的设备，或者使用触觉衬底和弹性或可变形表面的设备，或者提供突出的触觉输出的设备，诸如利用空气喷嘴的一股空气，等等。
在有些实施例中，图像输出设备164可以包括显示器，诸如触摸屏显示器、监视器、和/或可以显示诸如视频、静止图像、游戏表示等内容的其它显示器。在有些实施例中，音频输出设备166可以包括扬声器、头戴式耳机或者可以发射音频的其它设备。在有些实施例中，图像输出设备164、触觉输出设备162和/或音频输出设备166可以与计算设备140集成。在有些实施例中，图像输出设备164、触觉输出设备162和/或音频输出设备166可以与计算设备140分开放置。
在有些实施例中，媒体源120可以利用关于计算设备140所讨论的模块来编程。因而，以上关于计算设备140所述的至少一些或全部功能可以在媒体源120执行。
非暂时性存储介质144可以包括与计算设备140一体化(即，基本上不可移动)提供的系统存储器和/或经例如端口(例如，通用串行总线(“USB”)端口、firewire端口等)或驱动器(例如，盘驱动器等)可移动地连接到计算设备140的可移动存储器之一或者二者都包括。非暂时性存储介质144可以包括光学可读存储介质(例如，光盘等)、磁性可读存储介质(例如，磁带、磁性硬驱、软驱等)、基于电荷的存储介质(例如，电可擦除可编程只读存储器(“EEPROM”)、随机存取存储器(“RAM”)等)、固态存储介质(例如，闪存驱动器等)和/或其它以电子方式可读的存储介质中的一种或多种。非暂时性存储介质144可以包括一个或多个虚拟存储资源(例如，云存储、虚拟私有网络、和/或其它虚拟存储资源)。非暂时性存储介质144可以存储软件算法、由处理器142确定的信息、从计算设备140接收到的信息、和/或使计算设备140能够如本文所述那样起作用的其它信息。
处理器142配置为在计算设备140中提供信息处理能力。因此，处理器142可以包括数字处理器、模拟处理器、设计成处理信息的数字电路、设计成处理信息的模拟电路、状态机、和/或用于以电的方式处理信息的其它机制中的一个或多个。虽然处理器142在图1中示为单个实体，但这仅仅是为了说明。在有些实施例中，处理器142可以包括多个处理单元。这些处理单元可以物理地位于同一个设备中，或者处理器142可以代表协同操作的多个设备的处理功能性。处理器142可以配置为通过软件；硬件；固件；软件、硬件和/或固件的某种组合；和/或用于在处理器142上配置处理能力的其它机制执行模块。
本文所描述的各种模块仅仅是示例性的。也可以使用其它配置和数量的模块，以及使用非模块化的方法，只要一个或多个物理处理器被编程为执行本文所述的功能就可以。应当认识到，虽然各个模块在图1中说明为共同位于单个处理单元中，但是在其中处理器142包括多个处理单元的实施例中，一个或多个模块可以远离其它模块定位。本文所述由不同模块提供的功能性的描述是为了说明，而不是要作为限制，因为任何一个模块都可以提供比所述更多或更少的功能性。例如，这些模块中的一个或多个可以被除去，而且其一些或全部功能性可以由这些模块中的其它模块提供。作为另一个例子，处理器142可以配置为执行可以执行在本文中属于其中一个模块的一些或全部功能性的一个或多个附加模块。
图1中所说明的部件可以经诸如网络的各种通信链路彼此耦合。网络可以包括有线或无线连接。在本发明的一些方面中，网络可以包括例如互联网、内联网、个人区域网(“PAN”)、局域网(“LAN”)、广域网(“WAN”)、存储区域网(“SAN”)、城域网(“MAN”)、无线网络、蜂窝通信网络、公共交换电话网络(“PSTN”)、和/或其它网络。
本文中描述为被存储或可存储的各种输入、输出、配置和/或其它信息可以存储在一个或多个数据库中(图1中未说明)。这种数据库可以是包括或者接口到例如Oracle公司商业销售的OracleTM关系数据库。诸如InfomixTM、Database2(“DB2”)的其它数据库，或者包括基于文件的其它数据存储器，或者诸如在线分析处理(“OLAP”)、标准查询语言(“SQL”)、SAN、Microsoft AccessTM或其它的查询格式、平台或资源，也可以使用、结合或者被访问。数据库可以包括驻留在一个或多个物理设备中和一个或多个物理位置的一个或多个这种数据库。数据库可以存储多种类型的数据和/或文件以及关联的数据或文件描述、管理信息，或者任何其它数据。
虽然没有在图1中说明，但是媒体源122可以包括不同的传感器信息。在有些实施例中，不同的传感器信息可以与图像上的不同对象关联。每个传感器信息可以被媒体处理模块146分离并且如关于其它媒体成分在本文所描述的那样排定优先次序并缩放。如此，计算设备140可以对媒体内容122中所包括的各种类型的信息排定优先次序、缩放并提供动态触觉反馈。
图2是根据本发明的实施例说明系统100中部件之间数据流的流程图200，该系统用于基于媒体内容的媒体成分的动态缩放优先级值提供触觉反馈。各种触觉输出设备162(在图2中说明为触觉输出设备162A、162B…162N)可以与对应的媒体输出设备210(在图2中说明为媒体输出设备210A、210B、210N)协调或以别的方式关联。媒体输出设备210可以包括音频输出设备、图像输出设备、和/或其它类型的媒体输出设备。触觉输出设备162可以配置为输出基于媒体内容122动态生成并缩放的触觉反馈。触觉反馈可以经触觉输出设备162与媒体内容122的输出配合地输出，从而为用户丰富媒体体验。
在有些实施例中，媒体处理模块146可以获得媒体内容122并且把媒体内容处理成多个(例如，两个或更多个)媒体成分(在图2中说明为MC(A)、MC(B)和MC(N))。优先化模块148可以为对应的媒体成分确定优先级值(在图2中说明为PV(A)、PV(B)和PV(N))。缩放模块150可以比较优先级值并缩放每个优先级值以生成缩放后的优先级值(在图2中说明为SV(A)、SV(B)和SV(N))。在有些实施例中，缩放模块150不能对一个或多个优先级值执行缩放，使得给定的缩放后的优先级值等于来自优先化模块150的未缩放的优先级值。
在有些实施例中，缩放模块150只在给定的优先级值与另一个值之间的差值超过阈值时才按比例放大或缩小给定的优先级值。
例如，当给定的优先级值与另一个值之间的差值超过预定阈值时，缩放模块150可以把给定优先级值按比例放大或缩小和/或把另一个优先级值按比例放大或缩小。在有些实施例中，给定的优先级值被按比例放大，而其它优先级值被按比例缩小。
在另一个例子中，当给定的优先级值与全体优先级值中优先级值的平均值之间的差值超过预定的阈值时，依赖于给定的值是高于还是低于该平均值，缩放模块150可以按比例放大和/或缩小给定的优先级值(例如，当给定优先级值高于平均值时，它可以被按比例放大，而当其低于平均值时可以被按比例缩小)。缩放模块150还可以基于其它标准执行缩放。
在还有另一个例子中，当全体优先级值中的标准偏差是或者超过预定的阈值时，缩放模块150可以确定是否对该优先级值的全体执行缩放，然后如本文所述的那样执行个性化的缩放。
基于缩放后的优先级值(这可以包括未缩放的优先级值)，触觉反馈模块152可以生成对应的控制信号(在图2中说明为CS(A)、CS(B)和CS(N))。每个控制信号可以配置为使对应的触觉反馈设备162与媒体输出设备210输出的媒体配合地输出触觉反馈。
在其它实施例中，缩放模块150可以不考虑差值是否超过预定阈值来执行缩放。在这些实施例中，缩放模块150可以在优先级值之间存在非零差值时缩放优先级值。
图3A根据本发明的实施例说明了利用集成的触觉输出设备162(在图3A中说明为触觉输出设备162A、162B、162N)和音频输出设备166(在图3A中说明为音频输出设备166A、166B、166N)把音频通道排定优先次序的计算设备140A的例子。虽然说明为具有两个触觉设备162(即，162A和162B)和两个音频输出设备166(即，166A和166B)，但是计算设备140A可以包括附加的集成的触觉和音频输出设备(即，162N和166N)。
如所说明的，计算设备140A可以用于输出立体声音频并且协调基于缩放与对应音频通道相关的优先级值的触觉反馈的输出。例如，计算设备140A可以基于对“右”和“左”音频通道的分析来确定“右”和“左”优先级值。计算设备140A可以使“右”和“左”触觉反馈与通过右和左扬声器的右和左音频通道的输出一起输出。右触觉反馈可以基于右优先级值，并且左触觉反馈可以基于左优先级值。如此，当右和左优先级值彼此不同但相似时，右和左触觉反馈会难以区分，尤其是在计算设备140A包括手持式设备的实施例中。通过缩放右优先级值和/或左优先级值，计算设备140A可以生成彼此可区分的右和左触觉反馈，由此增强动态确定的触觉反馈。
计算设备140A可以经左音频输出设备166A和右音频输出设备166B输出右和左音频通道，并且协调这种输出与经左触觉输出设备162A和右触觉输出设备162B的左和右触觉反馈。因为左触觉反馈和/或右触觉反馈是基于左和右音频通道的缩放后的优先级值，所以即使左和右音频通道每个都包括彼此相似的音频，用户也可以区分左和右触觉反馈。
图3B根据本发明一方面说明了利用集成的触觉输出设备162(在图3B中说明为触觉输出设备162A、162B、162C、162N)和图像输出设备164把图像成分排定优先次序的计算设备140B的例子。如所说明的，图像输出设备164可以包括触摸屏显示器和/或可以输出图像内容(例如，视频、静止图像、游戏表示等)的其它类型显示器。图像输出设备164可以被分成显示区域310(在图3B中说明为显示区域310A、310B、310C、310N)。显示区域310可以是概念性的(例如，基于软件的)或者实际的(例如，包括单独的硬件显示器)。
每个显示区域310可以配置为显示图像内容的一个对应区域并且与对应的触觉输出设备162(即，触觉输出设备162A、162B、162C、162N之一)关联。计算设备140B可以利用常规的图像处理技术处理图像内容的每个区域并且确定对应的优先级值。控制信号的缩放和生成可以如本文所描述的那样来执行，以便向触觉输出设备162提供不同的触觉反馈。
图4根据本发明的实施例说明了利用远端触觉输出设备162(在图4中说明为触觉输出设备162A、162B、162N)和音频输出设备166(在图4中说明为音频输出设备166A、166B、166N)把音频通道排定优先次序的计算设备140的例子。图4还说明了装置410。装置410可以被分成软件驱动的或者实际的区域412(在图4中说明为区域412A、412B、412N)。区域412的相对定位可以对应于音频输出设备166的相对定位。
在有些实施例中，装置410可以配置为具有不同的区域的椅子，每个区域具有对应的触觉输出设备162(即，触觉输出设备162A、162B、162N之一)。每个不同的区域可以对应于一个音频输出设备166(即，音频输出设备166A、166B、166N之一)，使得计算设备140协调在给定音频输出设备166的音频输出与输出到对应触觉输出设备162的触觉反馈，其中该对应触觉输出设备162位于椅子当中与给定音频输出设备166的位置对应的位置。例如，在“中间”音频输出设备166的音频输出可以与经“中间”触觉输出设备162提供的触觉反馈配合。图4还说明了装置420。虽然以阴影轮廓说明，但是装置420可以具有与装置410相似的配置。也可以使用其它数量的触觉和音频输出设备166。
虽然没有说明，但是图像内容可以附加地或者作为选择与装置410配合，使得不同的图像区域可以被排定优先次序并缩放，并且具有经对应触觉输出设备162提供的触觉反馈。
参考图5A、5B、5C和5D(即，图5A-D)，所说明的图在缩放程度(说明为“缩放”)与给定优先级值和另一个值(诸如另一个优先级值、与平均值的方差，等等)(说明为“PV差值”)之间的差值的关系曲线的图上绘出了函数510。
图5A是根据本发明的实施例说明在优先级值与另一个值之间的差值增加时减小的优先级值缩放的图500A的例子。计算设备(例如，计算设备140)可以基于函数510A来执行缩放。在有些实施例中，计算设备可以不考虑优先级值之间的差值是否超过预定的阈值来缩放优先级值。例如，计算设备可以一旦确定非零差值就缩放优先级值并且可以在差值增加时减小缩放的程度。对于这些实施例，当差值增加时，缩放可能不再是必要的，因为优先级值会使彼此足够可区分的触觉反馈动态生成。
图5B是根据本发明的实施例说明当优先级值与另一个值之间的差值增加时增加的优先级值缩放的图500B的例子。计算设备(例如，计算设备140)可以基于函数510B执行缩放。在有些实施例中，计算设备可以不考虑优先级值之间的差值是否超过预定的阈值来缩放优先级值。例如，计算设备可以一旦确定非零差值就缩放优先级值并且可以在差值增加时增加缩放的程度。对于这些实施例，当差值增加时，缩放也可以增加，以利用动态生成的触觉反馈进一步加强音频、视频和/或其它媒体内容中的差异。
图5C是根据本发明的实施例说明当优先级值与另一个值之间的差值增加时只有在满足阈值差值520A之后才减小的优先级值缩放的图500C的例子。计算设备(例如，计算设备140)可以基于函数510C执行缩放。在有些实施例中，计算设备可以只在优先级值之间的差值超过预定阈值520A之后才缩放优先级值并且可以在差值增加时增加缩放的程度。
图5D是根据本发明的实施例说明当优先级值与另一个值之间的差值增加时只有在满足阈值差值520B之后才增加的优先级值缩放的图500D的例子。计算设备(例如，计算设备140)可以基于函数510D执行缩放。在有些实施例中，计算设备可以只在优先级值之间的差值超过预定阈值520B之后才缩放优先级值并且可以在差值增加时减少缩放的程度。
虽然图5A-D中所说明的函数说明为是非线性的，但是也可以使用其它形式和形状。例如，对于上述任一函数的至少一部分，缩放可以是线性的，使得缩放的量随着差值线性地增加。此外，缩放的最大和/或最小程度可以限制每个函数，使得缩放根据特定的需求被封顶(capped)或封底(floored)。阈值、函数、最大值、最小值等当中的每一个都可以配置成适合特定的需求。
图6根据本发明的实施例说明了基于媒体内容的媒体成分的动态缩放优先级值提供触觉反馈的过程600的例子。在一种实施例中，图6流程图的功能以及图7、8和9的流程图的功能，每个都是由存储在存储器或其它计算机可读或有形介质中的软件实现的，并且由处理器执行。在其它实施例中，每个功能可以由硬件(例如，通过专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等的使用)或者硬件和软件的任意组合执行。
本文更具体地描述图6、7、8和9的流程图中所绘出的功能。所述功能可以利用以上具体描述过的一些或全部系统部件来实现。根据本发明的一方面，功能可以以不同的序列执行。在其它实施例中，附加的功能可以连同图6、7、8和9中所示出的一些或全部功能来执行，或者有些功能可以被略去。在还有其它实施例中，一些或全部功能可以同时执行。据此，如所说明的(并且以下更具体描述的)功能是根据本发明实施例提供的功能的例子并且因此不应当看作限制。
在602，媒体内容可以被处理成多个媒体成分。例如，媒体内容可以包括音频内容、图像内容和/或其它类型的内容。音频内容可以被处理成单独的音频通道并且图像内容可以被处理成图像的不同区域和/或(例如)不同的视频流。
在604，可以为每个媒体成分确定优先级值。优先级值可以基于媒体成分的各种特性(例如，用于音频的音频级别和用于图像的亮度级别)来确定。在606，可以比较所确定的优先级值。这种比较可以包括按对比较、给定优先级值与用于媒体成分的优先级值的平均值的比较、和/或其它比较。
在608，控制信号可以基于比较而生成。在610，每个控制信号可以提供给对应的触觉输出设备，其中控制信号使触觉反馈得以输出。在612，媒体内容可以提供给媒体输出设备，媒体输出设备可以包括音频输出设备、图像输出设备、和/或其它媒体输出设备。
图7根据本发明的实施例说明了缩放优先级值的例子。在有些实施例中，过程600的608可以包括以下基于606的比较的功能当中的至少一些。
在702，可以基于比较来确定差值。在704，可以做出差值是否超过(例如，大于或等于)预定阈值的决定。如果差值没有超过预定的阈值，则在706，可以在不缩放的情况下生成控制信号。相反，如果差值超过预定的阈值，则在708，一个或多个优先级值可以被缩放。在710，控制信号可以基于缩放后的优先级值生成。
图8根据本发明的实施例说明了缩放优先级值的例子。在有些实施例中，过程600的608可以包括以下基于606的比较的功能当中的至少一些。在802，可以基于比较来确定差值。在804，优先级值可以基于差值来缩放，而不考虑这种差值是否超过预定的阈值。在806，控制信号可以基于缩放后的优先级值生成。
图9根据本发明的实施例说明了基于媒体内容的输入成分提供触觉反馈的过程的例子。流程在输入媒体内容被处理成n个输入成分的时候开始，其中n可以是任何数字。在图9所说明的实施例中，输入音频内容被采样到n个输入音频流或通道中。但是，在备选实施例中，输入图像内容可以被采样到n个输入视频流或通道中。然后，流程前进到910。在910，n个输入成分的一个或多个属性被分析。示例属性可以包括量级、力输出、密度、纹理、或者任何其它类型的属性。在所说明的其中n个输入成分是n个音频输入流的实施例中，可以分析每个音频输入流的具体频率范围，诸如低频范围。然后，流程前进到920。
在920，对每个时间片段，通过比较为n个输入成分确定的优先级值，确定n个输入成分中哪个具有最高优先级。基于每个输入成分的一个或多个分析后的属性，可以为n个输入成分中的每个输入成分确定优先级值。用于每个输入成分的优先级值可以与用于至少一个其它输入成分的优先级值(或者累计值，诸如平均值)进行比较。在实施例中，可以定义比较性阈值(例如，40％或者任何其它百分比)，其中，为了让适应性缩放(以下结合930更具体地描述)发生，可能需要满足该阈值。例如，如果多个输入成分的优先级值进行比较并且确定在彼此的40％以内(即，不满足阈值)，则比较后的输入成分被认为具有相同的优先级，并且不对比较后的输入成分执行缩放。但是，如果输入成分的优先级值进行比较并且确定不在彼此的40％之内(即，满足阈值)，则比较后的输入成分被认为具有不同的优先级，并且可以对一个或多个比较后的输入成分执行缩放。在备选实施例中，可以使用绝对阈值，而不是比较性阈值。在这种备选实施例中，n个输入成分的优先级值可以与绝对阈值进行比较。如果输入成分的优先级值满足阈值，则可以对该输入成分执行缩放。否则，如果输入成分不满足阈值，则不对该输入成分执行缩放。然后，流程前进到930。
在930，n个输入成分当中的一个或多个输入成分基于在920中n个输入成分的优先级值的比较来缩放。被确定具有较高优先级的输入成分可以按比例放大，而被确定具有较低优先级的输入成分可以按比例缩小，或者是二者的组合。根据实施例，通过缩放输入成分，输入成分的一个或多个属性可以被缩放。在备选实施例中，用来基于输入成分生成触觉反馈的信息可以被缩放，使得输入成分不更改，并且触觉反馈或者更强(当信息被按比例放大时)或者更弱(当信息被按比例缩小时)。在还有另一种备选实施例中，优先级值可以被缩放，并且该优先级值可以用来生成触觉反馈，其中触觉反馈也基于输入成分。通过缩放一个或多个输入成分，被确定具有较高优先级的输入成分可以增加清晰度，并且不太可能被其它输入成分遮蔽。在备选实施例中，不是缩放输入成分，而是输入成分可以被修改(例如，频移或移调(pitch-shifted))或过滤。在某些实施例中，没有输入成分被缩放，并且930被忽略。然后，流程前进到940。
在940，n个输入成分被输出到媒体输出设备。在某些实施例中，控制信号是基于n个输入成分生成的，并且控制信号输出到触觉输出设备，其中每个控制信号使触觉反馈输出。在所说明的其中n个输入成分是n个音频输入流的实施例中，n个音频输入流可以输出到音频输出设备。在某些实施例中，少于n个输入成分被输出到媒体输出设备。在这些实施例中，输出被确定具有较高优先级的输入成分，并且剩余的输入成分可以被丢弃。另外，在某些实施例中，少于n的多个控制信号可以被生成并发送到也少于n的多个触觉输出设备。然后，流程结束。
因而，在一种实施例中，系统可以提供基于媒体成分的动态缩放值空间变化的触觉反馈。系统可以基于媒体成分的分析缩放触觉反馈的一个或多个部分。以这种方式，系统可以提高区分与不同媒体成分相关联提供的不同触觉反馈的能力，并且可以提供更丰富、更沉浸式的媒体体验。换句话说，通过突出并夸大触觉反馈当中的差异，系统可以帮助创建更空间化的触觉体验。例如，在多通道体验中，系统可以区分与一个通道关联的触觉效果和与其它通道关联的其它触觉效果。这会导致理想的多通道体验，产生让用户愉悦的触觉效果的空间化。
根据本发明的一个方面，提供了一种其上存储指令的计算机可读介质，当指令被处理器执行时，使处理器基于媒体内容提供触觉反馈，所述提供包括：把媒体内容处理成包括第一成分和第二成分的多个成分；确定与第一成分相关的第一优先级值和与第二成分相关的第二优先级值；比较第一优先级值与第二优先级值；以及基于所述比较生成第一控制信号和第二控制信号；其中第一控制信号配置为使第一触觉反馈输出，并且第二控制信号配置为使与第一触觉反馈相同或不同的第二触觉反馈输出。
根据一种实施例，所述提供还包括：向第一触觉输出设备提供第一控制信号，其中第一控制信号使第一触觉输出设备输出第一触觉反馈；以及向第二触觉输出设备提供第二控制信号，其中第二控制信号使第二触觉输出设备输出第二触觉反馈。
根据一种实施例，所述提供还包括：基于所述比较确定第一优先级值与第二优先级值之间的差值，其中第一控制信号和第二控制信号是基于所确定的差值生成的。
根据一种实施例，所述提供还包括：确定差值没有超过阈值；以及基于第一成分的特性的值确定第一触觉反馈，其中生成第一控制信号，使得使第一触觉反馈被输出。
根据一种实施例，所述提供还包括：确定差值超过阈值；基于第一成分的特性的第一值确定第一基准触觉反馈；以及把第一基准触觉反馈缩放成第一触觉反馈，使得第一触觉反馈是第一基准触觉反馈基于差值超过阈值的确定的缩放后的版本，其中生成第一控制信号，使得使第一触觉反馈被输出。
根据一种实施例，其中把第一基准触觉反馈缩放成第一触觉反馈还包括更改以下至少一个：第一基准触觉反馈的数量；量级；频率；或者持续时间。
根据一种实施例，所述提供还包括：基于第二成分的特性的第二值确定第二基准触觉反馈，第二成分的特性与第一成分的特性相同；以及把第二基准触觉反馈缩放成第二触觉反馈，使得第二触觉反馈是第二基准触觉反馈基于差值超过阈值的确定的缩放后的版本，其中生成第二控制信号，使得使第二触觉反馈被输出。
根据一种实施例，其中第一基准触觉反馈被按比例放大成第一触觉反馈，并且第二基准触觉反馈被按比例缩小成第二触觉反馈，使得第一触觉反馈的程度相对于第一基准触觉反馈增加，而第二触觉反馈的程度相对于第二基准触觉反馈减小。
根据一种实施例，其中媒体内容包括音频内容，以及第一成分包括所述音频内容的第一音频通道并且第二成分包括所述音频内容的第二音频通道。
根据一种实施例，所述提供还包括：确定第一音频通道的第一音频属性，其中第一优先级值基于所述第一音频属性。
根据一种实施例，所述提供还包括：把第一控制信号提供给第一触觉输出设备，其中第一控制信号使第一触觉输出设备输出第一触觉反馈；把第一音频通道提供给第一音频输出设备，所述第一音频输出设备使与第一音频通道相关的第一音频被输出；把第二控制信号提供给第二触觉输出设备，其中第二控制信号使第二触觉输出设备输出第二触觉反馈；以及把第二音频通道提供给第二音频输出设备，所述第二音频输出设备使与第二音频通道相关的第二音频被输出。
根据一种实施例，其中提供第一控制信号和第一音频通道，使得使第一触觉反馈和第一音频被同时输出。
根据一种实施例，其中媒体内容包括图像内容，以及第一成分包括所述图像内容的第一图像区域并且第二成分包括所述图像内容的第二图像区域。
根据一种实施例，所述提供还包括：确定第一图像区域的第一图像属性，其中第一优先级值基于所述第一图像属性。
贯穿本说明书描述的特征、结构或特性可以在一种或多种实施例中以任何合适的方式组合。例如，“一种实施例”、“一些实施例”、“某个实施例”、“某些实施例”或者其它类似语言的使用贯穿本说明书都指结合该实施例描述的特定特征、结构或特性可以包括在本发明的至少一种实施例中。因而，短语“一种实施例”、“一些实施例”、“某个实施例”、“某些实施例”或者其它类似语言的出现不一定贯穿本说明书全都指相同的实施例组，并且所描述的特征、结构或特性可以在一种或多种实施例中以任何合适的方式组合。
本领域普通技术人员将很容易认识到，以上所讨论的本发明可以利用不同次序的步骤和/或利用与所公开的那些不同的配置中的元件来实践。因此，虽然本发明已经基于这些优选实施例进行了描述，但是对本领域技术人员来说将很显然，某些修改、变化和备选构造将是显然的，同时仍然在本发明的主旨与范围内。因此，为了确定本发明的边界和范围，应当参考所附权利要求。

Claims (14)

1.一种用于基于媒体内容提供触觉反馈的计算机实现方法，所述计算机实现方法包括：
接收包括多个媒体成分的媒体内容，所述媒体内容至少包括第一通道和第二通道；
根据所述多个媒体成分中的一个媒体成分，生成触觉控制信号；以及
向远端设备发送包括触觉控制信号和媒体内容的触觉使能媒体内容，所述触觉使能媒体内容被配置成使得在所述远端设备上生成触觉反馈，
其中所述触觉反馈空间变化，使得基于所述媒体成分中的至少一个媒体成分的缩放值或优先级值使所述触觉反馈显著或者减小。
2.如权利要求1所述的计算机实现方法，其中，所述媒体内容是由媒体捕捉设备生成的。
3.如权利要求2所述的计算机实现方法，其中，由媒体捕捉设备生成的所述媒体内容被实时地发送到所述远端设备。
4.如权利要求1所述的计算机实现方法，其中，所述触觉控制信号包括力信息，所述力信息具有量级成分。
5.如权利要求1所述的计算机实现方法，其中，所述触觉控制信号包括传感器信息，所述传感器信息与所述多个媒体成分中的一个媒体成分相关联。
6.如权利要求1所述的计算机实现方法，其中，所述媒体内容与所述触觉控制信号的触觉反馈同步。
7.如权利要求1所述的计算机实现方法，其中，所述媒体内容包括视频成分。
8.一种设备，包括：
处理器；
存储器，所述存储器存储由所述处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
接收包括多个媒体成分的媒体内容，所述媒体内容至少包括第一通道和第二通道；
根据所述多个媒体成分中的一个媒体成分，生成触觉控制信号；以及
向远端设备发送包括触觉控制信号和媒体内容的触觉使能媒体内容，所述触觉使能媒体内容被配置成使得在所述远端设备上生成触觉反馈，
其中所述触觉反馈空间变化，使得基于所述媒体成分中的至少一个媒体成分的缩放值或优先级值使所述触觉反馈显著或者减小。
9.如权利要求8所述的设备，其中，所述媒体内容是由媒体捕捉设备生成的并且被实时地发送到所述远端设备。
10.如权利要求8所述的设备，其中，所述触觉控制信号包括力信息，所述力信息具有量级成分。
11.如权利要求8所述的设备，其中，所述触觉控制信号包括传感器信息，所述传感器信息与所述多个媒体成分中的一个媒体成分相关联。
12.如权利要求8所述的设备，其中，所述媒体内容与所述触觉控制信号的触觉反馈同步。
13.一种用于基于媒体内容提供触觉反馈的计算机实现方法，所述计算机实现方法包括：
处理包括多个媒体成分的媒体内容，所述媒体内容至少包括第一通道和第二通道；
根据所述多个媒体成分中的一个或多个媒体成分，生成第一控制信号和第二控制信号；
向具有第一触觉输出设备的第一远端设备发送所述第一控制信号，所述第一控制信号被配置成使得在所述第一远端设备上生成第一触觉反馈，以及
向具有第二触觉输出设备的第二远端设备发送所述第二控制信号，所述第二控制信号被配置成使得在所述第二远端设备上生成第二触觉反馈，
其中所述触觉反馈空间变化，使得基于缩放值或优先级值使所述第一触觉反馈或所述第二触觉反馈显著或者减小。
14.一种在其上存储有指令的计算机可读介质，所述指令当被处理器执行时使处理器使用致动器生成触觉反馈效果，所述生成包括如权利要求1-7或权利要求13所述的计算机实现方法中的一个或多个。
CN201910336365.4A 2013-09-06 2014-09-05 基于动态缩放值的空间化的触觉反馈 Pending CN110083240A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361874678P 2013-09-06 2013-09-06
US61/874,678 2013-09-06
US14/467,184 US9514620B2 (en) 2013-09-06 2014-08-25 Spatialized haptic feedback based on dynamically scaled values
US14/467,184 2014-08-25
CN201410449870.7A CN104423587B (zh) 2013-09-06 2014-09-05 基于动态缩放值的空间化的触觉反馈

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410449870.7A Division CN104423587B (zh) 2013-09-06 2014-09-05 基于动态缩放值的空间化的触觉反馈

Publications (1)

Publication Number Publication Date
CN110083240A true CN110083240A (zh) 2019-08-02

Family

ID=51492793

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910336365.4A Pending CN110083240A (zh) 2013-09-06 2014-09-05 基于动态缩放值的空间化的触觉反馈
CN201410449870.7A Active CN104423587B (zh) 2013-09-06 2014-09-05 基于动态缩放值的空间化的触觉反馈

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410449870.7A Active CN104423587B (zh) 2013-09-06 2014-09-05 基于动态缩放值的空间化的触觉反馈

Country Status (5)

Country Link
US (4) US9514620B2 (zh)
EP (3) EP3623911A1 (zh)
JP (2) JP6426404B2 (zh)
KR (3) KR102119286B1 (zh)
CN (2) CN110083240A (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2645748A1 (en) 2012-03-28 2013-10-02 Thomson Licensing Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
JP6327417B2 (ja) * 2014-05-30 2018-05-23 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US10838378B2 (en) * 2014-06-02 2020-11-17 Rovio Entertainment Ltd Control of a computer program using media content
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
KR102278456B1 (ko) * 2016-04-07 2021-07-19 재팬 사이언스 앤드 테크놀로지 에이전시 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램, 및, 소자 배치 구조체
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) * 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
EP3291054B8 (en) * 2016-09-06 2019-07-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
JP6977312B2 (ja) * 2016-10-07 2021-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
KR20180048227A (ko) 2016-10-31 2018-05-10 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
KR102369905B1 (ko) 2016-10-31 2022-03-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
KR20180048193A (ko) * 2016-10-31 2018-05-10 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
KR20220126259A (ko) * 2016-10-31 2022-09-15 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
KR102429901B1 (ko) * 2017-11-17 2022-08-05 삼성전자주식회사 부분 영상을 생성하기 위한 전자 장치 및 그의 동작 방법
US10871829B2 (en) * 2017-12-05 2020-12-22 Tactai, Inc. Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
US10754428B1 (en) * 2019-02-25 2020-08-25 Facebook Technologies, Llc Systems, methods, and devices for audio-tactile mapping

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070038164A1 (en) * 2005-08-15 2007-02-15 Afshar Shahriar S Systems and methods for haptic sound
CN101763193A (zh) * 2008-12-23 2010-06-30 捷讯研究有限公司 便携式电子设备以及控制其提供触觉反馈的方法
US20110128132A1 (en) * 2006-04-13 2011-06-02 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
CN102736732A (zh) * 2006-04-13 2012-10-17 伊默生公司 从数字音频信号自动产生触觉事件的系统和方法
US20130117718A1 (en) * 2011-01-06 2013-05-09 Research In Motion Limited Electronic device and method of displaying information in response to a gesture

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030040361A1 (en) * 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
US5684722A (en) * 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
JP3280336B2 (ja) * 1999-02-24 2002-05-13 東海技研株式会社 聴覚補助装置
JP2002152880A (ja) 2000-08-28 2002-05-24 Nippon Columbia Co Ltd 音楽鑑賞用椅子
GB2370353A (en) * 2000-12-20 2002-06-26 Nokia Mobile Phones Ltd Navigation system
JP2003099177A (ja) 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US10258576B2 (en) * 2004-05-24 2019-04-16 Takeda As Particulate comprising a calcium-containing compound and a sugar alcohol
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US8098234B2 (en) * 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
BR112012032082B1 (pt) 2010-06-30 2019-11-26 Avon Products, Inc. Composição e método cosmético para melhorar a aparência estética da pele humana
US9230419B2 (en) * 2010-07-27 2016-01-05 Rite-Hite Holding Corporation Methods and apparatus to detect and warn proximate entities of interest
KR101513459B1 (ko) 2010-09-01 2015-04-21 우저 리미티드 개인용 미디어 플레이 시스템
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
EP2521066A1 (en) 2011-05-05 2012-11-07 Axiomatics AB Fine-grained relational database access-control policy enforcement using reverse queries
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US8804093B2 (en) 2011-10-26 2014-08-12 LeVoy Haight Systems and methods for theater seat movement
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
JP6081705B2 (ja) 2012-02-03 2017-02-15 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 波形を利用した音響−触覚効果変換システム
EP2629178B1 (en) 2012-02-15 2018-01-10 Immersion Corporation High definition haptic effects generation using primitives
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
CN102907936B (zh) 2012-04-12 2015-02-18 北京太阳光影影视科技有限公司 一种多通道音频控制动感座椅平台
CN102681727B (zh) * 2012-05-09 2018-08-14 闻泰通讯股份有限公司 一种触摸及动作感应结合的电子设备控制系统及方法
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US20140056461A1 (en) * 2012-08-21 2014-02-27 Immerz, Inc. Systems and methods for a vibrating input device
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US10410180B2 (en) * 2012-11-19 2019-09-10 Oath Inc. System and method for touch-based communications
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
WO2014138504A2 (en) * 2013-03-06 2014-09-12 Udaya Sankar Devanaboyina Systems and methods for exerting force on bodies
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US20140354570A1 (en) * 2013-06-01 2014-12-04 Senseg Ltd. Haptic companion device
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9245429B2 (en) 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US20150079563A1 (en) * 2013-09-17 2015-03-19 Sony Corporation Nonverbal audio cues during physical activity
US9827904B2 (en) * 2014-10-20 2017-11-28 Immersion Corporation Systems and methods for enhanced continuous awareness in vehicles using haptic feedback
KR102518400B1 (ko) * 2017-11-22 2023-04-06 삼성전자주식회사 진동을 제공하는 방법 및 이를 지원하는 전자 장치
US10681485B2 (en) * 2018-05-07 2020-06-09 Google Llc Dynamics processing effect architecture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070038164A1 (en) * 2005-08-15 2007-02-15 Afshar Shahriar S Systems and methods for haptic sound
US20110128132A1 (en) * 2006-04-13 2011-06-02 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
CN102736732A (zh) * 2006-04-13 2012-10-17 伊默生公司 从数字音频信号自动产生触觉事件的系统和方法
CN101763193A (zh) * 2008-12-23 2010-06-30 捷讯研究有限公司 便携式电子设备以及控制其提供触觉反馈的方法
US20130117718A1 (en) * 2011-01-06 2013-05-09 Research In Motion Limited Electronic device and method of displaying information in response to a gesture

Also Published As

Publication number Publication date
US20180068537A1 (en) 2018-03-08
KR102215355B1 (ko) 2021-02-15
US20200175828A1 (en) 2020-06-04
EP3623911A1 (en) 2020-03-18
KR20200064045A (ko) 2020-06-05
US9514620B2 (en) 2016-12-06
US20170084140A1 (en) 2017-03-23
EP2857933A1 (en) 2015-04-08
KR102119286B1 (ko) 2020-06-26
EP3410259A1 (en) 2018-12-05
KR20200064046A (ko) 2020-06-05
JP2015053045A (ja) 2015-03-19
US20150070153A1 (en) 2015-03-12
US10553083B2 (en) 2020-02-04
KR20150028748A (ko) 2015-03-16
JP6426404B2 (ja) 2018-11-21
EP2857933B1 (en) 2018-05-02
EP3410259B1 (en) 2020-04-29
US9852590B2 (en) 2017-12-26
CN104423587A (zh) 2015-03-18
CN104423587B (zh) 2019-05-10
US10909821B2 (en) 2021-02-02
JP2019012574A (ja) 2019-01-24

Similar Documents

Publication Publication Date Title
CN104423587B (zh) 基于动态缩放值的空间化的触觉反馈
US10409380B2 (en) Dynamic haptic conversion system
US10429933B2 (en) Audio enhanced simulation of high bandwidth haptic effects
EP2846221B1 (en) Method, system and computer program product for transforming haptic signals
US10102725B2 (en) Method of and apparatus for converting control tracks for providing haptic feedback
CN104471640B (zh) 基于对象的环绕声编码解码器的具有反馈的可缩放降混设计
JP2015518182A (ja) レイアウト及びフォーマットに依存しない３ｄオーディオ再生のための方法及び装置
CN104303132A (zh) 多感官情感表达
CN114779937A (zh) 多媒体互动成像方法、装置、存储介质和计算机程序产品
US20230147412A1 (en) Systems and methods for authoring immersive haptic experience using spectral centroid
Potetsianakis et al. A Kinect-based framework for better user experience in real-time audiovisual content manipulation
Marshall et al. Gesture Control of Sound Spatialization
Bargar Toward Formalization of Display Grammar for Interactive Media Production with Multimedia Information Extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190802