CN110703903A - 用于针对视频内容提供自动触觉生成的系统和方法 - Google Patents

用于针对视频内容提供自动触觉生成的系统和方法 Download PDF

Info

Publication number
CN110703903A
CN110703903A CN201910608097.7A CN201910608097A CN110703903A CN 110703903 A CN110703903 A CN 110703903A CN 201910608097 A CN201910608097 A CN 201910608097A CN 110703903 A CN110703903 A CN 110703903A
Authority
CN
China
Prior art keywords
audio
video
attribute
haptic effect
haptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910608097.7A
Other languages
English (en)
Inventor
伍黎雯
贾马尔·萨波恩
胡安·曼纽尔·克鲁兹-赫尔南德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN110703903A publication Critical patent/CN110703903A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

公开了用于针对视频内容提供自动触觉生成的系统和方法。本文描述的一个说明性系统包括：处理器，该处理器执行非暂时性程序代码，被配置为：接收音频信号；识别与音频信号相关联的音频属性；接收视频信号；识别与视频信号相关联的视频属性，其中，视频属性对应于音频属性；至少部分地基于音频属性和视频属性确定触觉效果；并且输出与触觉效果相关联的触觉信号。

Description

用于针对视频内容提供自动触觉生成的系统和方法
技术领域
本申请涉及用户接口设备的领域。更具体地，本申请涉及针对视频内容的自动触觉生成。
背景技术
随着时间的推移，视频观看体验变得更加身临其境。更大的屏幕和更复杂的声音系统提供增强的用户体验。然而，传统系统常常缺乏向所有感觉(包括触摸的感觉)提供反馈的能力。对于确实提供触觉反馈的那些系统，创建一组触觉效果以伴随视频的过程可能是费时费力的。需要用于针对视频内容提供自动触觉生成的系统和方法。
发明内容
本公开的实施例包括用于针对视频内容提供自动触觉生成的系统和方法。在一个实施例中，一种系统包括：处理器，该处理器执行非暂时性程序代码，被配置为：接收音频信号；识别与音频信号相关联的音频属性；接收视频信号；识别与视频信号相关联的视频属性，其中，视频属性对应于音频属性；至少部分地基于音频属性和视频属性确定触觉效果；并且输出与触觉效果相关联的触觉信号。
在另一实施例中，根据本公开的方法包括：接收音频信号；识别与音频信号相关联的音频属性；接收视频信号；识别与视频信号相关联的视频属性，其中，视频属性对应于音频属性；至少部分地基于音频属性和视频属性确定触觉效果；以及输出与触觉效果相关联的触觉信号。
提及这些说明性实施例不是为了限制或者限定本主题的限制，而是为了提供示例来帮助其理解。在具体实施方式中讨论说明性实施例，并且在那里提供进一步描述。通过检查本说明书和/或通过实践所要求保护的主题的一个或多个实施例，可以进一步理解由各种实施例所提供的优点。
附图说明
在本说明书的剩余部分中更具体地阐述充分且可行的公开内容。本说明书参考以下附图。
图1示出了用于基于音频和视频数据生成触觉反馈的说明性系统。
图2是用于基于音频和视频生成触觉效果的一个示例实施例的方法步骤的流程图。
图3是用于基于音频和视频生成触觉效果的另一示例实施例的方法步骤的流程图。
具体实施方式
现在将详细地参考各种和替代说明性实施例并且参考附图。每个示例通过说明而不作为限制来提供。对于本领域的技术人员而言将显而易见的是，可做出修改和变化。例如，可以在另一实施例中使用作为一个实施例的一部分所图示或者描述的特征来产生又一个实施例。因此，本公开旨在包括如出现在所附权利要求及其等同物的范围内的修改和变化。
用于从音频和视频生成触觉效果的系统的说明性示例
在一个说明性实施例中，触觉设计者正在为动作电影场景设计触觉。触觉设计者在包括触觉设计工具的计算机上观看电影。他正在使用的设计工具允许他观看电影并且在特定时间点(例如，在逐帧基础上)添加效果。可手动地(使用工具)或者基于电影的属性自动地完成添加效果的过程。
在自动模式下，工具使用音频和视频的组合来确定要添加的适当的触觉效果。如果设计者将使用仅音频或视频选项，则所生成的触觉可能是压倒性的，例如，产生许多效果并因此导致“有噪声”。如果设计者将使用仅视频选项，则所生成的触觉可能是干净的，但是触觉效果的强度可能与电影中检测到的各种事件不匹配。因此音频和视频的组合可以提供更有意义的效果。
本发明的实施例允许设计者使用组合音频/视频方法，其导致更准确的事件检测，并且触觉的强度、频率和状况与所检测到的事件的特征更匹配。这种选项依赖于音频轨道的各种属性(诸如幅度、梅尔频率倒谱(cepstral)系数(MFCC)、梅尔对数光谱图和频率光谱图)以及视频轨道的各种属性(诸如颜色和运动矢量)，这些属性当被组合时生成更准确地反映电影中的活动的触觉效果。一旦生成了所建议的效果，触觉设计者就可手动地修订这些效果以进一步改进它们。前面的示例仅仅是说明性的，而不意在以任何方式限制所要求保护的发明。
用于使用音频和视频的触觉效果生成的说明性系统
图1示出用于使用音频和视频来生成触觉效果的说明性系统100。特别地，在此示例中，系统100包括计算设备101，该计算设备101具有经由总线106与其他硬件对接的处理器102。可包括诸如RAM、ROM、EEPROM等之类的任何适合的有形(和非暂时性)计算机可读介质的存储器104具体实现配置计算设备的操作的程序组件。在此示例中，计算设备101进一步包括一个或多个网络接口设备110、输入/输出(I/O)接口组件112和附加存储装置114。
网络设备110可表示促进网络连接的任何组件中的一个或多个。示例包括但不限于诸如以太网、USB、IEEE 1394之类的有线接口和/或诸如IEEE 802.11、蓝牙之类的无线接口，或用于接入蜂窝电话网络的无线电接口(例如，用于接入CDMA、GSM、UMTS或其他移动通信网络的收发器/天线)。
I/O组件112可以用于促进连接到诸如以下各项的设备：一个或多个显示器、触摸屏显示器、键盘、鼠标、扬声器、麦克风、相机和/或用于输入数据或输出数据的其他硬件。存储装置114表示诸如被包括在设备101中的磁、光学或其他存储介质之类的非易失性存储装置。
系统100进一步包括触摸表面116，在此示例中，该触摸表面116被集成到设备101中。触摸表面116表示被配置为感测用户的触摸输入的任何表面。一个或多个传感器108被配置为当物体接触触摸表面时检测触摸区域中的触摸，并且提供适当的数据以供处理器102使用。可使用任何适合数量、类型或布置的传感器。例如，电阻式和/或电容式传感器可以被嵌入触摸表面116中并用来确定触摸的定位和其他信息，诸如压力。作为另一示例，具有触摸表面的视图的光学传感器可以用于确定触摸位置。
在一些实施例中，可以将传感器108、触摸表面116和I/O组件112集成到诸如触摸屏显示器之类的单个组件中。例如，在一些实施例中，触摸表面116和传感器108可以包括安装在显示器之上的触摸屏，显示器被配置为接收显示信号并向用户输出图像。用户然后可以使用显示器来既看电影或其他视频又与触觉生成设计应用交互。
在其他实施例中，传感器108可以包括LED检测器。例如，在一个实施例中，触摸表面116可以包括安装在显示器的侧面上的LED手指检测器。在一些实施例中，处理器102与单个传感器108通信，在其他实施例中，处理器102与多个传感器108(例如，第一触摸屏和第二触摸屏)通信。传感器108被配置为检测用户交互，并且基于该用户交互，向处理器102发送信号。在一些实施例中，传感器108可以被配置为检测用户交互的多个方面。例如，传感器108可以检测用户交互的速度和压力并且将此信息并入到接口信号中。
设备101进一步包括触觉输出设备118。在图1中所示的示例中，触觉输出设备118与处理器102通信并耦合到触摸表面116。图1中所示的实施例包括单个触觉输出设备118。在其他实施例中，计算设备101可以包括多个触觉输出设备。触觉输出设备可以允许触觉设计者随着效果被生成而体验效果，以便在为视频创建最终触觉效果集之前确定是否应该以任何方式修改效果。
尽管这里示出了单个触觉输出设备118，然而实施例可以使用相同或不同类型的多个触觉输出设备来输出触觉效果。例如，触觉输出设备118可以包括例如以下各项中的一个或多个：压电致动器、电动机、电磁致动器、音圈(voice coil)、形状记忆合金、电活性聚合物、螺线管(solenoid)、偏心旋转质量马达(ERM)或线性谐振致动器(LRA)、低轮廓触觉致动器、触觉带或被配置为输出静电效果的触觉输出设备，诸如静电摩擦(ESF)致动器。在一些实施例中，触觉输出设备118可以包括多个致动器，例如低轮廓触觉致动器、压电致动器和LRA。
转向存储器104，描绘了示例性程序组件124、126和128以图示设备如何可以被配置为确定并输出触觉效果。在此示例中，检测模块124将处理器102配置为经由传感器108监视触摸表面116以确定触摸的位置。例如，模块124可以对传感器108进行采样以便跟踪是否存在触摸，并且在触摸存在的情况下，跟踪触摸随着时间的推移的定位、路径、速率、加速度、压力和/或其他特性中的一个或多个。
触觉效果确定模块126表示分析有关音频和视频特性的数据以选择要生成的触觉效果的程序组件。特别地，模块126包括基于音频或视频属性来确定由触觉输出设备生成并输出的效果的代码。模块126可以进一步包括用于选择要提供的一个或多个现有的触觉效果以便指派给音频和视频属性的特定组合的代码。例如，与高峰值声音幅度组合的高强度颜色可以指示爆炸并且因此触发强烈振动的生成。可以基于这些特征的各种组合来选择不同的触觉效果。甚至可以经由触摸表面116提供触觉效果，以便设计者可预览效果并且必要时修改效果以更好地对视频中的场景或帧进行建模。
触觉效果生成模块128表示使处理器102生成触觉信号并将其发送到触觉输出设备118的编程，所述触觉信号使触觉输出设备118生成所选择的触觉效果。例如，生成模块128可以访问所存储的要发送到触觉输出设备118的波形或命令。作为另一示例，触觉效果生成模块128可以接收期望类型的触觉效果并且利用信号处理算法来生成要发送到触觉输出设备118的适当的信号。作为另一个示例，可以连同纹理的目标坐标以及被发送到一个或多个致动器以生成表面(和/或其他设备组件)的适当位移以提供触觉效果的适当的波形一起指示期望的触觉效果。一些实施例可以一起使用多个触觉输出设备来模拟特征。例如，纹理的变化可以用于模拟跨越界面上的按钮之间的边界，然而振动触觉效果模拟当按钮被按压时的响应。
用于使用音频和视频的触觉效果生成的说明性方法
图2和图3是用于基于音频和视频生成触觉效果的示例实施例的方法步骤的流程图。图2图示了音频和视频信号被一起串联处理的过程200。在该过程的第一步骤中，触觉效果确定模块126接收音频信号(202)。例如，触觉效果确定模块126可以接收被存储在缓冲器中的来自电影的特定时间戳处的音频轨道。可以与视频同时地接收音频信号，诸如以包含音频和视频的多媒体文件的形式，或者可以与视频异步地接收音频。
触觉效果确定模块126然后识别音频信号的一个或多个属性(204)。可以被识别的音频属性的示例包括但不限于幅度、频率、包络、间距和峰值。在一些实施例中，可以在识别音频属性之前预处理音频信号。例如，实施例可以利用滤波器或音频处理算法来去除背景噪声。在另一实施例中，如果幅度太低或者声音帧的频率在预设范围之外，则可以忽视音频的某些帧。在一个实施例中，在创建触觉效果时忽视语音。因此，应用在试图确定要与视频相关联的触觉效果之前移除与人类语音相关联的频率的滤波器。
虽然图2中所示的过程可以在特定时间戳上操作，但是该过程也可以包括随着时间的推移而比较属性。例如，在一个实施例中，可以分析若干连续帧以确定特定音频属性随着时间的推移的变化。
触觉效果确定模块126接下来接收对应于音频信号的视频信号，例如，在相同时间戳处对两个信号进行采样(206)。触觉效果确定模块126然后识别视频的一个或多个属性(208)。在识别步骤之前或者作为识别步骤的一部分，本发明的实施例可以预处理视频。在识别要针对其生成触觉效果的视频属性之前，这种预处理可以从视频信号中去除不相关的信息。在一个实施例中，利用滤波器或图像处理算法来针对每个帧处理像素，并且例如，用黑色替换不相关的像素。如果颜色例如不在指示特定事件的颜色范围内，则颜色可能是不相关的。
可以被识别的视频属性的示例包括运动矢量、边缘、特征点、颜色和亮度。与上述音频属性的情况一样，图2中所示的过程可以在特定时间戳上操作或者还可以包括随着时间的推移而比较属性。例如，在一个实施例中，可以分析若干连续帧以确定力矢量。
触觉效果确定模块126然后使用一个或多个音频属性和一个或多个视频属性来确定触觉效果(210)。实施例然后输出与触觉效果相关联的触觉信号(212)。触觉效果的确定可以基于预先设计的算法。触觉效果确定模块126还可以建议然后可由触觉设计者修改的触觉效果。在一些实施例中，给予音频和视频属性的相对权重可以变化。例如，在一个实施例中，音频属性可以被加权为60％，然而视频属性被以40％加权。因此，所生成的触觉效果将更依赖于特定时间处的声音而不是视频。可以静态地设置给予音频和视频的相对权重，或者可以基于音频或视频的其他属性、用户的偏好或者基于其他变量来动态地确定给予音频和视频的相对权重。在一些实施例中，音频或视频中的每一个的权重可以在0％与100％之间变化。在这样的实施例中，总权重可以等于或者可以不等于100。例如，可以将音频设置为50％同时将视频设置为55％，从而给予视频稍微较大的权重。
可以实时地或者基于视频的记录执行图2中所示的过程200。然而，基于记录处理视频可能是有利的，使得可将各种帧彼此相比较，作为确定要与特定时间戳相关联的触觉效果的一部分。
图3是用于基于音频和视频生成触觉效果的另一示例实施例的方法步骤的流程图。在图3中所示的实施例中，分别基于音频和视频确定提出的效果。然后一起分析所提出的效果和信号以确定应该输出什么触觉效果。
与图2中所示的过程一样，过程300通过接收音频信号(302)并且识别一个或多个音频属性(304)而开始。此时在过程300中，触觉效果确定模块126仅基于音频属性确定触觉效果(306)。
触觉效果确定模块126还接收视频信号(308)并且识别一个或多个视频属性(310)。此时在过程300中，触觉效果确定模块126仅基于视频属性确定触觉效果(312)。
触觉效果确定模块126然后分析两个单独的触觉效果以确定要输出的触觉效果(314)。例如，如果基于两个不同属性(音频和视频)中的每一个提出了相同或类似的效果，则触觉效果确定模块126将确定应该输出相同或类似的触觉。然而，如果效果是明显不同的，则触觉效果确定模块126可以更重地对音频或视频中的一个进行加权并且相应地确定最终触觉效果。
例如，在一个实施例中，触觉效果确定模块126基于音频以几乎100％的确定性确定发生了爆炸，但是没有一个视频属性表明发生了爆炸。触觉效果确定模块将生成触觉信号并将其输出到反映了爆炸的触觉轨道。类似地，如果视频显示了爆炸但是爆炸不可听见(例如，视点来自聋人的角色)，则触觉效果可能仍然被添加到触觉轨道。然而，如果触觉事件在一个轨道中被检测为>50％的确定性但是在另一个轨道中被检测为<50％的确定性，则需要进一步分析以确定它是否是假检测。视频和音频可能不匹配的一个示例是可能爆炸的情况。在视频中移动的一些物体可能具有类似于爆炸的颜色和颜色强度。然而，音频可以指示物体只是在高速移动通过帧，因此不是爆炸。通过分析两个轨道，过程200能够进行区分。
单独地处理音频和视频可能不会产生适当效果的事件的另一示例是碰撞。在碰撞的情况下，屏幕上的两个物体可能合并。然而，当物体合并时，可能是它们正在通过而不是碰撞。然而，如果两个物体的合并与大声或特定类型的声音一起发生，则触觉效果确定模块能够将视频中的物体的合并识别为碰撞。
在另一实施例中，如果在音频轨道和视频轨道两者上以不到50％确定性检测到触觉信号，则将不会向最终触觉轨道输出触觉效果。取决于正在分析的音频和视频的类型，可以利用各种替代方案。
一旦触觉效果确定模块126已基于音频属性和视频属性确定了适当的触觉效果，则输出与该触觉效果相关联的触觉信号(316)。
在一些实施例中，可以针对各种类型的效果重复图2和图3中所示的过程。例如，在一个实施例中，执行该过程以识别潜在的爆炸。然后重复该过程以识别潜在的枪声。最后，重复该过程以寻找各种物体(诸如汽车)之间的碰撞。一旦已针对这些潜在的事件中的每一个完成了该过程，就将各种效果合并到最终触觉轨道上，所述最终触觉轨道然后可由触觉设计者评估和修改。
本发明的实施例提供优于基于音频或视频的触觉效果的传统生成的各种优点。例如，实施例可以有助于减少误报检测。例如，如果使用视觉处理算法检测到爆炸，则应该在确认爆炸的相同时间帧处出现音频中的对应高峰值。如果缺少该高峰值，则对爆炸的检测可能是假的。
本发明的实施例还可以有助于减少漏报检测。例如，爆炸事件可能发生在背景中但是在视频中不可见。然而，基于在音频轨道上的对应时间处出现的音频属性，显然实际上发生了爆炸。
本发明的实施例可有助于生成更准确和沉浸式的触觉效果。通过组合视觉和音频处理，可使用更多的属性来调谐所生成的触觉以便更好地匹配与触觉效果相关联的事件的特性。并且因为可以自动地生成触觉，所以本发明的实施例可以有利于以经济的方式为诸如移动设备的应用或者为针对游戏的广告生成触觉。
一般考虑事项
上面讨论的方法、系统和设备是示例。各种配置可以酌情省略、取代或者添加各种过程或组件。例如，在替代配置中，可以以与所描述的次序不同的次序执行方法，并且/或者可以添加、省略和/或组合各种阶段。另外，可以按照各种其他配置组合关于某些配置所描述的特征。可以以类似的方式组合配置的不同方面和元件。另外，技术会演进，因此，许多元件是示例，而不限制本公开或权利要求的范围。
在说明书中给出具体细节以提供对示例配置(包括实施方式)的透彻理解。然而，可以在没有这些具体细节的情况下实践配置。例如，为了避免模糊配置，已在没有不必要的细节的情况下示出了众所周知的电路、过程、算法、结构和技术。本说明书仅提供示例配置，而不限制权利要求的范围、适用性或配置。相反，前面对配置的描述将给本领域的技术人员提供用于实现所描述的技术的可行描述。在不脱离本公开的精神或范围的情况下，可以在元件的功能和布置方面进行各种变化。
另外，可以将配置描述为被描绘为流程图或框图的过程。尽管每个配置可以将操作描述为顺序过程，然而可并行或同时执行许多操作。此外，可以重新布置操作的次序。流程可以具有图中未包括的附加步骤。此外，可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现方法的示例。当用软件、固件、中间件或微码来实现时，可以将用于执行必要任务的程序代码或代码段存储在诸如存储介质这样的非暂时性计算机可读介质中。处理器可以执行所描述的任务。
在已描述了若干示例配置后，在不脱离本公开的精神的情况下，可以使用各种修改、替代构造和等同物。例如，上述元件可以是较大系统的组件，其中其他规则可以优先于本发明的应用或者以其他方式修改本发明的应用。另外，可以在考虑上述元件之前、期间或之后进行许多步骤。因此，上述描述不会约束权利要求的范围。
“被适配为”或“被配置为”在本文中的使用意味着不排除被适配为或者被配置为执行附加任务或步骤的设备的开放且包括性语言。此外，“基于”的使用意在为开放且包括性的，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作实际上可以基于超过所述那些条件或值的附加条件或值。本文包括的标题、列表和编号仅为了易于说明，而不意在为限制性的。
根据本主题的各方面的实施例可用数字电子电路、用计算机硬件、固件、软件或者用前述的组合来实现。在一个实施例中，计算机可以包括一个或多个处理器。处理器包括或者能够访问计算机可读介质，诸如耦合到处理器的随机存取存储器(RAM)。处理器执行存储在存储器中的计算机可执行程序指令，诸如执行包括传感器采样例程、选择例程和其他例程的一个或多个计算机程序以执行上述的方法。
此类处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和状态机。此类处理器可以进一步包括可编程电子设备，诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电子可编程只读存储器(EPROM或EEPROM)或其他类似的设备。
此类处理器可以包括或者可以与介质(例如有形计算机可读介质)通信，所述介质可以存储指令，所述指令当由处理器执行时，可使处理器像由处理器实行或者协助的那样执行本文描述的步骤。计算机可读介质的实施例可以包括但不限于能够给处理器(诸如web服务器中的处理器)提供计算机可读指令的所有电子、光学、磁或其他存储设备。介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其他磁介质，或计算机处理器可从中读取的任何其他介质。另外，各种其他设备可以包括计算机可读介质，诸如路由器、专用或公用网络或其他传输设备。所描述的处理器和处理可以位于一个或多个结构中，并且可以通过一个或多个结构来分散。处理器可以包括用于执行本文描述的方法中的一个或多个(或方法的部分)的代码。
虽然已经相对于本主题的具体实施例详细地描述了本主题，但是应领会的是，本领域的技术人员在实现对上文的理解后可以容易地产生对此类实施例的变更、变化和等同物。因此，应该理解的是，本公开是出于示例而非限制的目的而给出的，并且不排除包括对本领域的普通技术人员而言显而易见的对本主题的此类修改、变化和/或添加。

Claims (25)

1.一种包括程序代码的非暂时性计算机可读介质，所述程序代码当由处理器执行时被配置为使所述处理器用于：
接收音频信号；
识别与所述音频信号相关联的音频属性；
接收视频信号；
识别与所述视频信号相关联的视频属性，其中，所述视频属性对应于所述音频属性；
至少部分地基于所述音频属性和所述视频属性确定触觉效果；以及
输出与所述触觉效果相关联的触觉信号。
2.根据权利要求1所述的计算机可读介质，进一步包括程序代码，所述程序代码当被执行时，被配置为：
至少部分地基于所述音频信号确定第一初步触觉效果；
至少部分地基于所述音频信号确定第二初步触觉效果；以及
至少部分地基于所述第一初步触觉效果和所述第二初步触觉效果确定所述触觉效果。
3.根据权利要求1所述的计算机可读介质，进一步包括程序代码，所述程序代码当被执行时，被配置为在识别所述音频属性之前对音频数据进行滤波。
4.根据权利要求1所述的计算机可读介质，进一步包括程序代码，所述程序代码当被执行时，被配置为：
基于所述音频属性确定已发生事件的第一可能性；并且
基于所述视频属性确定已发生所述事件的第二可能性。
5.根据权利要求4所述的计算机可读介质，进一步包括程序代码，所述程序代码当被执行时，被配置为在所述第一可能性和所述第二可能性都大于百分之五十的情况下确认已发生所述事件。
6.根据权利要求4所述的计算机可读介质，进一步包括程序代码，所述程序代码当被执行时，被配置为在所述第一可能性或所述第二可能性小于百分之五十的情况下进一步分析所述音频属性和所述视频属性。
7.根据权利要求1所述的计算机可读介质，其中，所述音频属性包括幅度、频率、包络、间距和峰值中的一种或多种。
8.根据权利要求1所述的计算机可读介质，其中，所述视频属性包括颜色、运动矢量、边缘、特征点和亮度中的一种或多种。
9.根据权利要求1所述的计算机可读介质，进一步包括程序代码，所述程序代码当被执行时，被配置为从像素数据中提取所述音频属性。
10.根据权利要求1所述的计算机可读介质，进一步包括程序代码，所述程序代码当被执行时，被配置为对视频数据或音频数据执行预处理。
11.根据权利要求10所述的计算机可读介质，其中，所述预处理包括滤波。
12.根据权利要求1所述的计算机可读介质，进一步包括程序代码，所述程序代码当被执行时，被配置为从多媒体文件中提取所述音频信号和所述视频信号。
13.根据权利要求12所述的计算机可读介质，其中，所述音频信号和所述视频信号被异步地接收。
14.根据权利要求1所述的计算机可读介质，进一步包括程序代码，所述程序代码当被执行时，被配置为在确定触觉效果时将相对权重指派给所述音频属性和所述视频属性。
15.根据权利要求14所述的计算机可读介质，其中，所述相对权重被静态地或动态地指派。
16.根据权利要求14所述的计算机可读介质，其中，所述相对权重是介于0与100之间的数字。
17.一种方法，所述方法包括：
接收音频信号；
识别与所述音频信号相关联的音频属性；
接收视频信号；
识别与所述视频信号相关联的视频属性，其中，所述视频属性对应于所述音频属性；
至少部分地基于所述音频属性和所述视频属性确定触觉效果；以及
输出与所述触觉效果相关联的触觉信号。
18.根据权利要求17所述的方法，进一步包括程序代码，所述程序代码当被执行时，被配置为：
至少部分地基于所述音频信号确定第一初步触觉效果；
至少部分地基于所述音频信号确定第二初步触觉效果；
并且
至少部分地基于所述第一初步触觉效果和所述第二初步触觉效果确定所述触觉效果。
19.根据权利要求17所述的方法，进一步包括在识别所述音频属性之前对音频数据进行滤波。
20.根据权利要求17所述的方法，进一步包括：
基于所述音频属性确定已发生事件的第一可能性；以及
基于所述视频属性确定已发生所述事件的第二可能性。
21.根据权利要求20所述的方法，进一步包括在所述第一可能性和所述第二可能性都大于百分之五十的情况下确认已发生所述事件。
22.根据权利要求20所述的方法，进一步包括在所述第一可能性或所述第二可能性小于百分之五十的情况下进一步分析所述音频属性和所述视频属性。
23.根据权利要求17所述的方法，其中，所述音频属性包括幅度、频率、包络、间距和峰值中的一种或多种。
24.根据权利要求17所述的方法，其中，所述视频属性包括颜色、运动矢量、边缘、特征点和亮度中的一种或多种。
25.根据权利要求17所述的方法，进一步包括从像素数据中提取所述音频属性。
CN201910608097.7A 2018-07-09 2019-07-08 用于针对视频内容提供自动触觉生成的系统和方法 Pending CN110703903A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/029,876 2018-07-09
US16/029,876 US20200012347A1 (en) 2018-07-09 2018-07-09 Systems and Methods for Providing Automatic Haptic Generation for Video Content

Publications (1)

Publication Number Publication Date
CN110703903A true CN110703903A (zh) 2020-01-17

Family

ID=67226066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910608097.7A Pending CN110703903A (zh) 2018-07-09 2019-07-08 用于针对视频内容提供自动触觉生成的系统和方法

Country Status (5)

Country Link
US (1) US20200012347A1 (zh)
EP (1) EP3594785A1 (zh)
JP (1) JP2020010322A (zh)
KR (1) KR20200006002A (zh)
CN (1) CN110703903A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113453048A (zh) * 2020-03-25 2021-09-28 上海哔哩哔哩科技有限公司 音视频的触觉反馈设置方法、播放方法及计算机设备
WO2022116297A1 (zh) * 2020-12-01 2022-06-09 瑞声声学科技(深圳)有限公司 一种振动效果的生成方法、装置、终端设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111610856B (zh) * 2020-04-30 2024-04-26 北京小米移动软件有限公司 震动反馈方法、震动反馈装置及存储介质
WO2022056915A1 (zh) * 2020-09-21 2022-03-24 深圳大学 一种基于电容按键的人机交互方法和交互系统
JP2022097227A (ja) * 2020-12-18 2022-06-30 株式会社Ｊｖｃケンウッド 情報提供装置、情報提供方法、およびプログラム
US20220305379A1 (en) * 2021-03-24 2022-09-29 D-Box Technologies Inc. Motion track generation for motion platform
KR102575318B1 (ko) * 2021-05-07 2023-09-07 포항공과대학교 산학협력단 모션효과제공장치 및 방법
CN117441150A (zh) * 2021-06-15 2024-01-23 索尼集团公司 触觉信号生成装置、触觉信号生成方法和程序
GB2615361B (en) * 2022-02-08 2024-05-29 Sony Interactive Entertainment Europe Ltd Method for generating feedback in a multimedia entertainment system

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5388992A (en) * 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
US6374095B1 (en) * 1997-11-07 2002-04-16 Honeywell International Inc. Method and apparatus for providing a squelch function on narrow band radio receivers
US20060227237A1 (en) * 2005-03-31 2006-10-12 International Business Machines Corporation Video surveillance system and method with combined video and audio recognition
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US20110125790A1 (en) * 2008-07-16 2011-05-26 Bum-Suk Choi Method and apparatus for representing sensory effects and computer readable recording medium storing sensory effect metadata
CN103003775A (zh) * 2010-06-28 2013-03-27 Tp视觉控股有限公司 增强内容观看体验
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR101869562B1 (ko) * 2011-12-27 2018-07-24 삼성전자주식회사 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법
US9891709B2 (en) * 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US8861858B2 (en) * 2012-06-01 2014-10-14 Blackberry Limited Methods and devices for providing companion services to video
KR101427993B1 (ko) * 2012-12-17 2014-08-08 포항공과대학교 산학협력단 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
KR102099086B1 (ko) * 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
US8984568B2 (en) * 2013-03-13 2015-03-17 Echostar Technologies L.L.C. Enhanced experience from standard program content
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9064385B2 (en) * 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619980B2 (en) * 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9576445B2 (en) * 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
JP2017506008A (ja) * 2013-11-25 2017-02-23 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 自己回帰モデルを用いて触覚係数を発生するための方法、そのような係数を再生するための信号およびデバイス
US9411422B1 (en) * 2013-12-13 2016-08-09 Audible, Inc. User interaction with content markers
US10437341B2 (en) * 2014-01-16 2019-10-08 Immersion Corporation Systems and methods for user generated content authoring
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
US10139907B2 (en) * 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
US9588588B2 (en) * 2014-09-22 2017-03-07 Disney Enterprises, Inc. Customized haptic effects
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10129608B2 (en) * 2015-02-24 2018-11-13 Zepp Labs, Inc. Detect sports video highlights based on voice recognition
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
US9734866B2 (en) * 2015-09-25 2017-08-15 Intel Corporation Perceptual computing input to determine post-production effects
US20170178346A1 (en) * 2015-12-16 2017-06-22 High School Cube, Llc Neural network architecture for analyzing video data
GB2548614A (en) * 2016-03-24 2017-09-27 Nokia Technologies Oy Methods, apparatus and computer programs for noise reduction
CN106267552B (zh) * 2016-07-25 2020-03-10 京东方科技集团股份有限公司 一种穿戴设备、虚拟现实方法和终端系统
US10102723B2 (en) * 2016-10-31 2018-10-16 Immersion Corporation Dynamic haptic generation based on detected video events
US10942569B2 (en) * 2017-06-26 2021-03-09 SonicSensory, Inc. Systems and methods for multisensory-enhanced audio-visual recordings
US11567726B2 (en) * 2017-07-21 2023-01-31 Google Llc Methods, systems, and media for providing information relating to detected events
US10360775B1 (en) * 2018-06-11 2019-07-23 Immersion Corporation Systems and methods for designing haptics using speech commands

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113453048A (zh) * 2020-03-25 2021-09-28 上海哔哩哔哩科技有限公司 音视频的触觉反馈设置方法、播放方法及计算机设备
WO2022116297A1 (zh) * 2020-12-01 2022-06-09 瑞声声学科技(深圳)有限公司 一种振动效果的生成方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
KR20200006002A (ko) 2020-01-17
US20200012347A1 (en) 2020-01-09
EP3594785A1 (en) 2020-01-15
JP2020010322A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
CN110703903A (zh) 用于针对视频内容提供自动触觉生成的系统和方法
KR101932210B1 (ko) 터치 신호에 의하여 이동 단말기의 조작을 실현하는 방법, 시스템 및 이동 단말기
CN105320267B (zh) 用于拟音风格的触觉内容创建的系统和方法
US8842919B2 (en) Gesture based interface system and method
JP5540002B2 (ja) 画像センサ式ヒューマンマシンインターフェイスを提供するための方法、システムと関連モジュール、およびソフトウエアコンポーネント
US10572017B2 (en) Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
KR20150110403A (ko) 햅틱 효과의 자동 튜닝
JP2013531305A (ja) タッチイベントの判定方法およびタッチ感応装置
JP2013527947A5 (zh)
CN104281647B (zh) 搜索输入方法和装置
CN103336687B (zh) 一种应用界面的切换方法及终端
CN105917350B (zh) 隐私保护传感器装置
US10101813B2 (en) Automatic haptic generation based on color features and motion analysis
WO2017184274A1 (en) System and method for determining and modeling user expression within a head mounted display
CN111158487A (zh) 使用无线耳机与智能终端进行交互的人机交互方法
CN106506975A (zh) 一种拍摄方法及终端
CN113676592A (zh) 录音方法、装置、电子设备及计算机可读介质
CN105607804A (zh) 一种信息显示方法及终端
EP3654205A1 (en) Systems and methods for generating haptic effects based on visual characteristics
KR20160133305A (ko) 제스쳐 인식 방법, 컴퓨팅 장치 및 제어 장치
WO2017052880A1 (en) Augmented reality with off-screen motion sensing
KR101926074B1 (ko) 촉각자극 제공 방법 및 컴퓨터로 읽을 수 있는 기록매체
CN113596240B (zh) 录音方法、装置、电子设备及计算机可读介质
US20180374196A1 (en) A Method, Apparatus or Computer Program for Controlling Image Processing of a Captured Image of a Scene to Adapt the Captured Image
CN108960213A (zh) 目标跟踪方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200117

WD01 Invention patent application deemed withdrawn after publication