CN109876431A - 用于触觉数据编码和流传输的方法和系统 - Google Patents

用于触觉数据编码和流传输的方法和系统 Download PDF

Info

Publication number
CN109876431A
CN109876431A CN201910153699.8A CN201910153699A CN109876431A CN 109876431 A CN109876431 A CN 109876431A CN 201910153699 A CN201910153699 A CN 201910153699A CN 109876431 A CN109876431 A CN 109876431A
Authority
CN
China
Prior art keywords
data
haptic
haptic data
tactile
digital content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910153699.8A
Other languages
English (en)
Inventor
L·凡
S·S·巴哈迪亚
S·D·兰克
C·J·尤尔里奇
J·F·迪奥内
H-A·奥利弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN109876431A publication Critical patent/CN109876431A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

本发明涉及用于触觉数据编码和流传输的方法和系统。一种方法包括接收包括音频数据和/或视频数据的数字内容数据，利用接收到的数字内容数据中的至少一些来生成触觉数据，对触觉数据编码以便通过通信网络来高效传送，将经编码的触觉数据与接收到的数字内容数据复用，把用于对经编码的触觉数据解码的信息嵌入在复用的数据流的元数据中，以及通过通信网络发送复用的数据流。该方法可包括分析触觉数据以确定触觉数据的至少一个特性，并且对触觉数据编码可包括基于所确定的特性来对触觉数据编码以符合预定义的标准。

Description

用于触觉数据编码和流传输的方法和系统
本分案申请是2014年5月26日递交的题为“用于触觉数据编码和流传输的方法和系统”的中国专利申请NO.201410224872.6的分案申请。
相关申请的交叉引用
本申请要求2013年5月24日递交的标题为“System and Method of Haptic MediaEncoding”的美国临时专利申请61/827,341号、2013年9月6日递交的标题为“HapticContent Creation,Distribution and Playback Solution”的美国临时专利申请61/874,920号以及2013年11月21日递交的标题为“Method and System for Haptic DataEncoding and Streaming”的美国临时专利申请61/907,318号的优先权权益，所有这些申请的内容都通过引用被全部并入在此。
技术领域
本发明涉及用于将触觉流(haptic stream)作为数字内容的一部分进行编码以便存储和/或通过网络传送的系统和方法。
背景技术
随着越来越多地使用触觉效果来增强用户在众多的数字内容应用中的体验，希望高效地存储触觉数据和/或将触觉数据与其他数字内容(例如多媒体数据)一起通过网络传送。触觉数据流通常是以原始脉冲码调制(pulse code modulation,“PCM”)数据格式来表示的。为了通过网络(有线或无线)以8000样本每秒对以8比特采样的触觉数据进行流传输，在带宽上应当传送64千比特(8KB)每秒或者说额外的8KBps。然而，在流中会存在静默时段，即没有流传输触觉数据的时段，这会因为通过网络流传输零或不必要数据而浪费时间和带宽，并且对于内容分发者和终端用户都不是理想的。触觉数据流的存储面临着相同的挑战。
对于数字内容流传输，自适应比特率流传输是在通过数字网络流传输或传送大量数据时改变音频/视频信号的质量的常见做法。这样做是为了使得通过适应于变化的网络速度和/或拥塞，音频和视频信号的平滑流传输或重放仍然可行。例如，如果视频在以非常高的质量流传输，然后通过其来流传输的网络经历了严重的网络拥塞，或者下载速度突然变得更慢，则流传输服务器仍可发送数据，但将发送更低质量数据以节约网络带宽。一旦拥塞已得到缓和并且网络速度已增大，发送的数据就将具有更高质量，因为网络带宽更自由可用了。这可通过以多个比特率对数据编码以使得要传送的数据的量少得多来完成。
触觉信号如果只单纯是波形则可被解读为音频信号。然而，简单地像对待音频信号那样对待触觉信号并且以多个比特率对触觉信号转码可能不会提供太多空间来使质量适应于各种网络速度。高质量触觉信号可被认为具有8kHz的采样率，对于音频信号这被认为是非常低的采样率并且将是低质量信号。通过简单地降低触觉信号的质量，可引出完全不同的用户体验，并且通过就任意去除同一流的比特来降低质量可导致意外的纹理和信号的清晰性的消失。
发明内容
希望提供允许更高效地存储和/或通过网络传送触觉数据的触觉数据编码方案。
根据本发明的一个方面，提供了一种方法，包括：接收包括音频数据和/或视频数据的数字内容数据；利用接收到的数字内容数据中的至少一些来生成触觉数据；对触觉数据编码以便通过通信网络来高效传送；将经编码的触觉数据与接收到的数字内容数据复用；把用于对经编码的触觉数据解码的信息嵌入在复用的数据流的元数据中；以及通过通信网络发送复用的数据流。
在一实施例中，该方法可以是一种由计算机实现的方法，用于丰富关于触觉数据的用户数字内容体验，并且可实现在具有处理器的计算设备上，其中该处理器被编码有计算机程序模块。该由计算机实现的方法可将触觉数据与其他数字内容数据一起通过通信网络传送以便终端用户体验在耦合到网络的终端用户设备上生成的触觉效果。
在一实施例中，该方法包括分析触觉数据以确定触觉数据的至少一个特性，并且对触觉数据编码包括基于所确定的特性来对触觉数据编码以符合预定义的标准。
在一实施例中，预定义的标准包括具有最少数目的比特的输出经编码触觉比特流。
在一实施例中，该方法包括从终端用户设备接收该终端用户设备的端点配置，并且预定义的标准包括保留触觉数据的与接收到的终端用户设备的端点配置相对应的频率范围。
在一实施例中，对触觉数据编码包括基于所确定的特性从预定编码器的列表中选择编码器并应用所选择的编码器来变换触觉数据。
在一实施例中，预定编码器的列表包括高级音频编码编码器和/或自由无损音频编码器。
在一实施例中，触觉数据的特性包括用于基于触觉数据生成触觉效果的触觉输出设备的一种或多种类型、触觉数据的打算用例、触觉数据的量值、触觉数据的频率、以及触觉数据中的静默的长度。
在一实施例中，触觉输出设备的类型包括由以下各项构成的组中的一个或多个：偏心旋转质量致动器、线性谐振致动器、压电致动器。
在一实施例中，触觉数据的打算用例是从由音乐、电影和游戏构成的组中选择的。
在一实施例中，对触觉数据编码包括向触觉数据应用预定编码器的列表中的每一个以生成经编码触觉数据流的相应列表，以及利用预定义的标准来从经编码触觉数据流的列表中选择一经编码触觉数据流。
在一实施例中，对触觉数据编码包括对于密度因子的预定列表对触觉数据编码以生成多个经编码触觉数据流，每个经编码触觉数据流对应于密度因子的预定列表的一密度因子，并且该方法包括通过通信网络从终端用户设备接收网络带宽信息，并且基于与通信网络带宽的条件匹配的相应密度因子选择经编码触觉数据流之一来与接收到的数字内容数据复用。
在一实施例中，多个经编码数据流中的第一经编码数据流对应于密度因子的预定列表的第一密度因子，并且多个经编码数据流中的第二经编码数据流对应于密度因子的预定列表的第二密度因子，并且其中第二经编码数据流包括比第一数据流更多的触觉数据并且第二密度因子大于第一密度因子。
在一实施例中，该方法包括检测网络带宽信息的变化，基于与通信网络带宽的条件匹配的相应密度因子来选择经编码触觉数据流中的不同一个，以及将所选择的经编码数据流中的不同一个发送到终端用户设备。
根据本发明的一个方面，提供了一种系统，其包括处理器，该处理器被配置为：接收包括音频数据和/或视频数据的数字内容数据，利用接收到的数字内容数据中的至少一些来生成触觉数据，对触觉数据编码以便通过通信网络来高效传送，将经编码的触觉数据与接收到的数字内容数据复用，把用于对经编码的触觉数据解码的信息嵌入在复用的数据流的元数据中，以及通过通信网络发送复用的数据流。该系统包括用户设备，该用户设备被配置为通过通信网络接收复用的经编码触觉数据和数字内容数据。该用户设备包括被配置为基于触觉数据输出触觉效果的触觉输出设备。
在一实施例中，处理器还被配置为分析触觉数据以确定触觉数据的至少一个特性，并且基于所确定的特性来对触觉数据编码以符合预定义的标准。
在一实施例中，处理器被配置为从用户设备接收用户设备的端点配置，并且预定义的标准包括保留触觉数据的与接收到的终端用户设备的端点配置相对应的频率范围。
在一实施例中，处理器被配置为基于所确定的特性从预定编码器的列表中选择编码器并应用所选择的编码器来变换触觉数据。
在一实施例中，处理器被配置为向触觉数据应用预定编码器的列表中的每一个以生成经编码触觉数据流的相应列表，并且利用预定义的标准来从经编码触觉数据流的列表中选择一经编码触觉数据流。
在一实施例中，处理器被配置为对于密度因子的预定列表对触觉数据编码以生成多个经编码触觉数据流，每个经编码触觉数据流对应于密度因子的预定列表的一密度因子，通过通信网络从终端用户设备接收网络带宽信息，并且基于与通信网络带宽的条件匹配的相应密度因子选择经编码触觉数据流之一来与接收到的数字内容数据复用。
在一实施例中，处理器被配置为检测网络带宽信息的变化，基于与通信网络带宽的条件匹配的相应密度因子来选择经编码触觉数据流中的不同一个，并且将所选择的经编码数据流中的不同一个发送到终端用户设备。
在参考附图考虑接下来的描述和所附权利要求后，本技术的这些和其他特征和特性以及操作的方法和结构的相关元素的功能以及部件的组合和制造的组织将变得更加清楚，其中所有附图都形成本说明书的一部分，其中相似的标号在各幅图中指示相应的部件。然而，要明确理解，附图只是用于图示和描述的，而并不打算作为对本发明的范围的限定。按照说明书中和权利要求中使用的，“一”和“该”的单数形式包括多数指称，除非上下文另有明确规定。
附图说明
图1图示了用于在本地或远程创建并编码要与其他多媒体数据一起播放的触觉数据的方法的示例；
图2图示了用于与其他经编码的多媒体数据同步地解码并显示触觉数据的方法的实施例；
图3图示了用于通过通信网络将经编码的触觉数据与多媒体数据一起传送的系统的实施例；
图4图示了存储用于触觉数据的创建的不同简档(profile)的数据结构的实施例；
图5图示了一种用户可选择方法的实施例，其中基于端点和用例来生成触觉数据；
图6图示了一种自动检测方法的实施例，其中基于端点和用例来生成触觉数据；
图7图示了用于对触觉数据流编码以便通过网络传送的方法的实施例；
图8A-8C图示了具有不同密度因子的触觉信号的实施例；
图9图示了用于自适应触觉密度转码的方法的实施例；
图10图示了随着时间的流逝与可用网络带宽相关操作的自适应密度转码的实施例；
图11图示了用于MP4文件内的音频数据的句柄结构的实施例；
图12图示了用于MP4文件内的视频数据的句柄结构的实施例；
图13图示了用于MP4文件内的触觉数据的句柄结构的实施例；
图14图示了MP4文件中的音频、视频和触觉数据头部的实施例；
图15图示了对于MP4文件中的触觉数据的有效设定的实施例；并且
图16图示了对于MP4文件中的触觉数据的无效设定的实施例。
具体实施方式
本发明的实施例涉及用于将触觉数据作为数字内容的一部分来生成、传送和/或存储以丰富消费数字内容时的用户体验的系统和方法。按照本文使用的，“数字内容”指的是能够传送和在非暂态存储介质上存储的信息，并且可包括例如音频和/或视频数据。这样，数字内容包括利用各种文件格式编码的信息和/或能够传送和在非暂态存储介质上存储的其他未编码的内容。
在一实施例中，可能希望向多媒体数据的重放添加触觉效果。图1根据本发明一实施例图示了用于在本地或远程创建并编码最终要与其他数字内容一起播放的触觉数据的方法100。如图所示，方法100包括源多媒体处理阶段110、音频到触觉转换阶段120、触觉编码阶段130、复用阶段140和多媒体交织阶段150。
在一实施例中，可从多媒体数据流的音频数据创建触觉数据。可在源多媒体处理阶段110期间提取音频数据，并且如下文更详细说明的，可在音频到触觉转换阶段120期间将音频数据转换成原始触觉数据流。在触觉编码阶段130期间可对原始触觉数据进一步编码，以使得触觉数据的传送或存储将需要更少的网络带宽或更少的存储空间。在复用阶段140期间，经编码的触觉数据加入源多媒体数据流，使得经编码的触觉数据和源多媒体数据可在多媒体交织阶段150被交织。
在一实施例中，在阶段110期间从多媒体数据中提取的音频数据可以就是原始数据，例如在PCM格式的比特流中。在一实施例中，音频数据可能已经被编码，例如利用高级音频编码(Advanced Audio Coding，AAC)编码器来编码。在后一种情况中，经编码的音频数据可首先被解码，这或者作为阶段110的最后一步，或者作为阶段120期间的第一步。在一实施例中，在阶段130期间使用的触觉数据可不从多媒体数据110中包含的音频数据生成，而可改为来自不同的来源，例如来自原始触觉数据存储125，如图1中所示。在一实施例中，取代音频数据或者除了音频数据以外，视频数据可用于在上述方法100中生成触觉数据。例如，某些视频数据转变，例如闪电场景，可用作对要提供给用户的触觉效果的触发，使得用户可体验到与闪电场景相关联的隆隆雷声的感觉。
图2根据本发明一实施例图示了用于与其他经编码的多媒体数据同步地解码并显示触觉数据的方法200。在一实施例中，解复用器204可首先在将要播放交织的多媒体数据202的终端设备处将交织的多媒体数据流202分离成不同的数据流，其中包括音频数据流206、视频数据流208和触觉数据流210。在一实施例中，解码器/同步器212可包含一个或多个音频解码器、一个或多个视频解码器和一个或多个触觉解码器(未图示)。经解码的音频数据和视频数据可被发送到音频/视频渲染器214(例如扬声器和显示屏幕)以便重放。经解码的触觉数据流216可被发送到一个或多个触觉输出设备，例如设备H1、H2、H3、H4和/或H5，以便与音频和视频数据同步地显示。
在一实施例中，触觉输出设备H1…H5可由至少一个端点处理器218、振动幅度调制器220、振动渲染器224和至少一个致动器226构成。也可使用其他信号处理设备222来更改由(一个或多个)端点处理器输出的(一个或多个)信号。图示的实施例不打算以任何方式进行限定。
按照本文提到的，“触觉输出设备”可包括致动器，例如电磁致动器、宏观复合纤维致动器、静电致动器、电触感致动器和/或另外类型的提供诸如触觉(例如振动触感)反馈之类的物理反馈的致动器，其中电磁致动器例如是其中由电机来移动偏心质量的偏心旋转质量(Eccentric Rotating Mass，“ERM”)，其中来回驱动附着于弹簧的质量的线性谐振致动器(Linear Resonant Actuator，“LRA”)，或者诸如压电材料、电活性聚合物或形状记忆合金之类的“智能材料”。触觉输出设备可包括非机械或非振动设备，例如使用静电摩擦(electrostatic friction，“ESF”)、超声表面摩擦(ultrasonic surface friction，“USF”)的那些，或者以超声触觉换能器诱发声辐射压力的那些，或者使用触觉基底和柔性或可变形表面的那些，或者提供投射的触觉输出——例如利用空气喷嘴提供一阵空气——的那些，等等。触觉输出设备的这种实现方式是本领域普通技术人员已知的，因此在本文中不作更详细论述。
图3图示了用于通过通信网络将经编码的触觉数据与多媒体数据一起传送的系统300的实施例。如图所示，系统300包括处理器310、远程存储装置330、终端用户设备334、336和338以及连接处理器310、远程存储装置330和终端用户设备334、336、338的一个或多个通信网络332。在一实施例中，除了远程存储装置330以外或者取代远程存储装置330，处理器310可包括其自己的电子存储装置328。在一实施例中，远程存储装置330也可包括处理器329和非暂态存储介质331。处理器329可维护数字内容数据库和终端用户设备334、336、338的简档信息，如下文联系图4更详细描述。
处理器310可以是通用或专用处理器或微控制器，用于管理或控制系统300的操作和功能。在一实施例中，处理器310可被具体设计为专用集成电路(“ASIC”)，其被嵌入在例如终端用户设备334中并且被配置为通过终端用户设备334中的触觉输出设备提供触觉效果以增强用户对在终端用户设备334上播放的电影的享受。在一实施例中，处理器310还可被配置为基于预定的因素来确定基于通过(一个或多个)通信网络332从另一远程终端用户设备336接收的反馈要生成什么触觉效果，然后例如提供可用于驱动终端用户设备336上的触觉输出设备的流传输命令。网络332可包括有线或无线连接。在本发明的一些方面中，网络可包括例如因特网、内联网、PAN(个人区域网)、LAN(局域网)、WAN(广域网)、SAN(存储区域网)、MAN(城域网)、无线网络、蜂窝通信网络、公共交换电话网和/或其他网络中的任何一个或多个。
例如，通信网络332可以是CDN(内容分发网络)，其通常用于分发内容(例如网站、视频、音乐等等)以使得能够从全球对这种资源或内容进行快得多的访问。CDN利用世界各地的边缘(Edge)服务器来实质上镜像被频繁访问的内容，并且还自动管理边缘服务器上的内容的生命周期。实际资源(或称为资产(asset))或内容通常是在更永久的起源服务器上存储和更新的，并且CDN根据需要自动访问这些资源和内容，并且将它们镜像到适当的边缘服务器。
在一实施例中，处理器310可包括多个处理器，其中每个被配置为在系统300内执行某些功能。在一实施例中，处理器310可被配置为执行一个或多个计算机程序模块。这一个或多个计算机程序模块可包括至少一个多媒体模块312、一个或多个触觉编码模块314、用户界面模块324和通信模块326。在一实施例中，触觉编码模块314可包括音频到触觉转换模块316、触觉压缩模块318、触觉密度转码模块320和多媒体组装模块322。例如，多媒体组装模块322可被配置为根据MP4容器格式来组装包括音频、视频和触觉数据的多媒体数据流，如图3中所示。在一实施例中，本地存储装置328和远程存储装置330可用于存储触觉的不同用例的各种简档并且在压缩前和压缩后存储所生成的触觉数据流，如下文更详细论述。
虽然模块312-326在图3中被示为共同位于单个处理单元310内，但在处理器310包括多个处理单元的实施例中，模块312-326中的一个或多个可位于其他模块的远程。下文更详细描述的不同模块312-326提供的功能的描述是用于说明的，而并不打算进行限定，因为模块312-326中的任何一个可提供与所描述的相比更多或更少的功能。例如，模块312-326中的一个或多个可被消除，并且其功能中的一些或全部可由模块312-326中的其他一些来提供。又例如，处理器310可被配置为执行一个或多个额外的模块，这些模块可执行下文归属于模块312-326之一的功能中的一些或全部。模块312-326的功能和操作在下文更详细描述。
自适应音频到触觉转换
如上所述，存在各种类型的触觉输出设备可用于显示或重放触觉数据。为每种类型的触觉输出设备具体定制的音频到触觉算法，以及不同类型的触觉输出设备和不同的音频到触觉算法可产生具有不同特性的触觉数据流。维护用于触觉数据生成的音频到触觉转换算法的包括为每种类型的触觉输出设备并针对特定的终端用户设备具体定制的特定音频到触觉转换算法的列表可随着音频到触觉转换算法和触觉输出设备的数目增加而变得难以维护。
在一实施例中，一般包括音频到触觉转换算法的终端用户设备中包括的每种类型的触觉输出设备可被视为一端点，并且用于该触觉输出设备的每个算法可被视为目标在于给出特定体验的简档。本发明的实施例允许了系统自动检测触觉输出设备的类型，以及可用于改变音频到触觉转换简档的任何额外因素。在系统的一实施例中，用户还可选择在给定用例期间其希望哪些简档是活化的。
本发明的实施例可通过仅让一开发者为每个端点(即触觉输出设备)编译所有可用算法最多一次来节省编译时间。存在不同的情形，其中用户可能想要不同的体验，使得设备上一次一个算法可能不够。音频到触觉自动转换算法对于音乐与对于电影可能是不同的，并且与对于游戏等等也可能是不同的。终端用户设备中的(一个或多个)端点(即(一个或多个)触觉输出设备)通常是固定的，但本文描述的实施例允许终端用户设备基于应用焦点、基于传感器的数据和环境因素来适应性地改变其行为。
图4图示了用于生成触觉数据的不同简档的数据库400的实施例。在一实施例中，简档可被存储在电子存储装置328中。在一实施例中，可根据其用例来组织简档，例如电影用例410、音乐用例420和游戏用例430。在电影用例410中，触觉效果打算供终端用户在观看电影或诸如电视节目或广告之类的任何其他视频的同时体验。在音乐用例420中，触觉效果打算供终端用户在聆听音乐的同时体验。类似地，在游戏用例430中，触觉效果打算供终端用户在玩游戏的同时体验。
基于用例来组织简档可能是有利的，因为在每个不同的用例中，用户可能想要不同的触觉体验。理想情况下，触觉效果对于音乐与对于电影可能是不同的，并且与对于游戏等等也可能是不同的。在每个用例内，可为每个端点(即，一般具有音频到触觉转换算法的终端用户设备上的触觉输出设备)存储简档。例如，对于电影用例410，对于具有具体用于压电致动器的音频到触觉转换算法的终端用户设备334存储简档412，对于具有ERM致动器和相应的音频到触觉转换算法的终端用户设备336存储简档414，并且对于具有LRA和相应的音频到触觉转换算法的终端用户设备338存储简档416。对于音乐用例420，对于具有压电致动器的终端用户设备334存储简档422，对于包括ERM致动器的终端用户设备336存储简档424，并且对于包括LRA的终端用户设备338存储简档426。类似地，对于其中触觉输出设备是压电致动器的游戏用例430存储简档432，对于游戏用例和ERM致动器存储简档434，并且对于游戏用例和LRA存储简档436。在一实施例中，单个终端用户设备可包含多于一个端点。
本发明的实施例可通过让所有可用简档算法对于每个端点被离线或实时地编译最多一次来节省编译时间。此外，本发明的实施例允许了端点基于应用焦点、基于传感器的数据和环境因素来适应性地改变其行为，虽然单个设备中的端点(触觉输出设备)可不被改变。
在一实施例中，系统300可自动检测触觉输出设备的类型和额外的因素。例如，音频到触觉模块316可经由通信网络332通过通信模块326与终端用户设备334通信以确定终端用户设备334具有的(一个或多个)触觉输出设备的类型，这些类型可用于改变音频到触觉转换简档。在一实施例中，终端用户设备336的用户可通过用户界面模块324经由通信网络332与触觉编码模块314通信以选择在给定用例期间其希望哪些简档是活化的。
图5图示了音频到触觉模块316的一种用户可选择实施例，其中触觉数据是基于端点和用例来生成的。在此实施例中，在502，音频到触觉模块316把所有可用的音频到触觉算法预存储在图4所示的数据库400中。可以按用户可理解的方式来标识每个音频到触觉算法。这可经由音频到触觉设定应用/活动或者单独的应用/活动来完成。
当想要向在终端用户设备处要播放的数字内容添加触觉效果时，在504，音频到触觉模块316基于请求的信息或者用户输入来确定用例。在一实施例中，音频到触觉模块316还可在用例确定步骤504期间检查哪个应用在前台或后台运行，以使得设备可重配置音频到触觉模块316以执行用户选择的音频到触觉算法。
在506，音频到触觉模块316确定作出请求的终端用户设备的端点配置。在一实施例中，音频到触觉模块316可以简单地通过经由用户界面模块324获得用户输入来作出该确定。在一实施例中，音频到触觉模块316可以在电子存储装置328中存储的注册终端用户设备数据库中查找来获得端点配置。在一实施例中，音频到触觉模块316可经由通信模块326与作出请求的终端用户设备通信来获得端点配置。在一实施例中，终端用户设备可具有多个端点以便显示不同类型的触觉效果。例如，终端用户设备338可具有LRA、压电致动器和ERM致动器。
在获得了关于用例和端点配置两者的信息之后，在508，音频到触觉模块316可识别(一个或多个)用户选择的简档。在一实施例中，这可通过使用数据库400中的查找表来实现，如图4中所示。
基于端点的配置和(一个或多个)用户选择简档，在512，音频到触觉模块316可配置自身来向音频数据510应用(一个或多个)适当的算法并生成原始触觉数据514。例如，如果用户拥有具有LRA的设备并且对于音乐重放选择了“低音加重”简档，则当音乐在播放时，音频到触觉模块316理解到这是音乐用例，并且选择为LRA具体创建的简档416之中的“低音加重”处理算法(例如，仅低频)。如果设备具有压电致动器或ERM致动器而不是LRA，则将从用于这些端点中的任一个的简档410、414中选择相应的算法。
在一实施例中，处理器310可包括触觉到触觉模块(未示出)，该模块被配置为应用适当的算法来将打算用于一个端点的原始触觉数据514转换成用于另一端点的原始触觉数据。例如，触觉到触觉模块可将为LRA生成的原始触觉数据514转换成用于压电致动器的触觉数据，或者反之。这种触觉到触觉信号转换可在触觉数据被编码时或者在触觉数据在终端用户设备处被解码时完成。
图6图示了音频到触觉模块316的一种自动检测实施例600，其中在没有用户指定音频到触觉算法的情况下基于端点和用例生成触觉数据。在610，音频到触觉模块316可在数字内容播放应用被安装在终端用户设备(或系统300)上时注册该应用的信息。这种应用的示例包括音频播放器、视频播放器或游戏机。在612，音频到触觉模块316可注册环境因素，例如可由终端用户设备或系统上的(一个或多个)传感器测量的因素。例如，终端用户设备周围的照明(例如亮或暗)、设备外部的温度等等可被感测并用作输入来确定在给定时间使用哪个简档。例如，如果判定是在低照明环境中使用设备，则用户可能想要更明显或更不明显的触觉效果。
当想要向在终端用户设备处要播放的数字内容添加触觉效果时，在614，音频到触觉模块316可基于请求信息或用户输入来确定用例。在616，音频到触觉模块316确定在其上要与多媒体数据一起显示触觉效果的终端用户设备的端点配置。
在一实施例中，音频到触觉模块316可通过经由用户界面模块324获得用户输入来作出该确定。在一实施例中，音频到触觉模块316可经由通信模块326与作出请求的终端用户设备(例如终端用户设备338)通信来获得端点配置。在一实施例中，终端用户设备可具有多个端点以便显示不同的触觉效果。例如，终端用户设备338可具有LRA、压电致动器和/或ERM致动器。
在获得了关于用例和端点配置两者的信息之后，在618，音频到触觉模块316可在没有用户选择情况下识别要使用的适当简档或转换算法，其中考虑到了在步骤610-616期间收集和确定的所有信息。在一实施例中，这可通过使用图4中所示的数据库400中的查找表来实现。在620，音频到触觉模块316随后可配置自身来向音频数据622应用所确定的转换算法并生成原始触觉数据624。
图6中所示的自动检测实施例600与图5中所示的用户可选择实施例500的不同之处在于用户不必直接与系统300或终端用户设备334、336、338交互来配置音频到触觉模块316。在自动检测实施例600中，音频到触觉模块316可使用包括传感器信息、用例以及终端用户设备中的端点(触觉输出设备)配置在内的外部因素来为要播放的数字内容自适应地选择对于给定的特定应用最适合的音频到触觉转换算法。
在一实施例中，编码器可为每个端点对触觉数据编码并复用触觉流，并且所有触觉流可被传输到终端用户设备。终端用户设备可识别并提取匹配该特定终端用户设备中的端点(触觉输出设备)的适当触觉信号。
触觉流的可变编码
如上所述生成的触觉数据可被称为原始触觉数据流。如上所述，出于各种原因，原始触觉数据流的存储和/或传送可能不是传输触觉数据的最高效方式。例如，在流中可能有静默(没有触觉数据)的时段。
图7图示了用于对原始触觉数据流编码以便通过网络传送的方法700的实施例。在一实施例中，在702，触觉编码模块314接收可由音频到触觉模块316(例如，图5的步骤514和图6中的步骤624)和/或触觉到触觉模块生成的原始触觉数据。在704，分析触觉数据的内容以确定原始触觉数据流的特性，这些特性可包括触觉数据打算由其来播放的触觉输出设备的类型、原始触觉数据的打算用例、原始触觉数据的频率、原始触觉数据流中的静默的长度、原始触觉数据的幅度，等等。在706，触觉编码模块314随后可基于所确定的原始触觉数据的特性来对原始触觉数据编码以符合预定义的标准。
在一实施例中，在708，触觉编码模块314可首先从编码器的列表中为该特定流选择编码器，然后在710将所选择的编码器应用到原始触觉数据流。例如，存在许多音频编码器可用于出于压缩目的对触觉流编码。然而，各音频编码器具有其优点和缺点。例如，以上提到的AAC对于一般编码就空间和质量而言可能更好，而自由无损音频编解码器(FreeLossless Audio Codec，FLAC)在流具有大量静默时可能更好。可以使用任何其他合适的编码器，即除了AAC或FLAC以外的数字信号编码器/压缩器。应当选择适当的编码器来匹配所确定的原始触觉数据流的特性以确保经编码的数据流的效力和效率。
在一实施例中，可以使用预定的标准来保留原始触觉数据的与在终端用户设备处要用于重放的触觉输出设备相匹配的频率范围，这可要求触觉编码模块314访问上文联系图4论述的包括预存储的用例和端点简档的数据库400。
在一实施例中，在712，触觉编码模块314可利用预定编码器的列表中的每个编码器对原始触觉数据流编码，然后在714选择具有最少数目的比特的经编码触觉数据流作为编码输出。在一实施例中，在716，触觉编码模块314随后可存储关于所使用的编码器的信息和对经编码的触觉数据流解码所需要的任何其他信息。在一实施例中，经编码的触觉数据流的编码器信息可被嵌入在容器格式的元数据中。在终端用户设备侧，可将此信息解析出来，并且可使用正确的解码器来对流解码。例如，编码器信息可被嵌入在MPEG4格式中的用户私有或定制的原子中。
在一实施例中，当原始触觉数据要被通过通信网络来流传输时，触觉编码模块314在对原始触觉数据编码时还可考虑到带宽可用性，如下文更详细论述。
自适应密度转码
在一实施例中，通过在也发送更少比特的同时利用触觉数据流中的触觉波形的特性，提供了一种保持触觉信号质量的方法。因为使用多编码方案的目标是对于拥塞的网络传送更少量的数据，所以本发明的实施例提供了对于触觉数据流的自适应密度流传输。密度因子可通过基于阈值向一定量的数据应用触觉来确定一个信号有多密集或稀疏。如果这在转码阶段完成以利用不同密度因子对触觉数据流编码，则当网络带宽不自由可用时可以用更少数据来发送触觉，而当有充裕的可用网络带宽时可以用更多的数据来发送触觉。
在一实施例中，保持触觉数据的相关且高质量的部分，同时削减不必要的数据，以使得在给定的时刻占用更少的可用网络带宽。当传送数字内容时，添加一种单独类型的媒体来与音频/视频/多媒体一起流传输自然可影响音频/视频/多媒体质量。本发明的实施例可帮助使音频/视频信号的质量受影响的程度达到最低，同时以更少的开销提供宜人的触觉体验。
图8A-8C图示了可用于对原始触觉信号(数据流)编码以通过网络流传输的不同密度因子的实施例。图8A图示了中等密度因子，图8B图示了高密度因子，并且图8C图示了低密度因子。图8A-8C中的更浅阴影区域(“使用的数据”区域)指示出信号的什么部分被使用和编码，并且图8A和8C中的更深阴影区域(“忽略的数据”区域)指示出信号的什么部分被忽略。
例如，图8A图示了要利用中等密度因子编码的原始触觉数据信号。如果该信号表示被输入到转码器中的原始触觉数据，则转码器可输出与仅“使用的数据”区域内的信号相对应的触觉数据，这将是比具有高密度因子的信号中存在的数据更少的数据。图8B图示了要利用高密度因子来编码的原始触觉数据。对于网络带宽可用时的流，在转码中使用这种高密度因子可能是有用的，因为更多数据可在网络上流传输。图8C图示了要利用低密度因子来编码的原始触觉数据。对于有大量网络拥塞时的流，这类转码可能是合适的，因为输出流将递送更少数据比特，并且仅为相对高量值的事件发送数据。
如图8A-8C中所示，可通过改变密度因子来调整输出信号中出现的数据的量，这允许了触觉编码模块314在需要时放弃信号中的某些信息，这些信息可能是不那么重要的(例如，量值低到该信号不值得播放的信号，或者触觉信号中的可被忽略以保留带宽的极小细节)，并且在网络上的更多带宽变得可用时包括更多数据。在一实施例中，假定信号中的具有零值的数据(即，图8A-8C中的中心线处)指示出触觉信号中没有什么需要被传送。
图9图示了自适应触觉密度转码方法900的实施例。按照本文使用的，转码与原始触觉数据的编码是可互换的，但强调了编码是用于从源(例如，流传输服务器)到一不同的目的地(例如，远程终端用户设备)的转换的。如图所示，输入是原始触觉数据902，例如由音频到触觉模块316生成的数据，如上所述。触觉转码器904以多个比特率对原始触觉数据902编码，每个比特率对应于如上文联系图8A-8C所述的特定密度因子。触觉web服务器906存储以不同密度因子编码的触觉比特流，并且为经编码的触觉数据流维护一清单文件908。终端用户设备912(例如图3中的终端用户设备334、336、338)通过网络910(或者如图3中的332)与触觉web服务器906通信以对于给定的原始触觉数据902接收经编码的触觉数据流之一。
在一实施例中，可通过在1与15之间修改密度因子来调整触觉数据流的密度(15是最高密度，1是最低密度)。此值充当关于多少数据将被包括在经编码的触觉数据流中的阈值(如上所述)。结果，密度值越低，就有越少的低量值(低重要度)原始触觉数据将被包括在经编码的触觉数据流中。随着转码器904增大密度阈值，更多的低量值和详细数据被递增地添加到经编码的触觉数据流。因此，更高的密度映射到更好的网络连通性，并且更低的密度映射到更少的网络连通性。
如图9中所示，触觉web服务器906存储以五个不同密度因子编码的触觉比特流1-5，并且为与特定的原始触觉数据输入相对应的经编码的触觉数据流维护清单文件908。例如，web服务器906中的流1是以密度因子1编码的，流2是以密度因子2编码的，等等依此类推。使终端用户设备912知晓不同比特率下的可用触觉数据流和经编码的触觉数据流的片段。当开始时，终端用户设备912可请求来自最低比特率触觉数据流1的片段。如果终端用户设备912发现网络的下载速度大于下载的片段的比特率，则终端用户设备912可请求接下来较高的比特率片段，例如流2或者被认为是中等密度流的片段，如图10中所示。然后，如果终端用户设备912确定片段的下载速度低于该片段的比特率，则终端用户设备912确定网络吞吐量已恶化，并且可请求更低比特率片段，如图10中所示。如果可用带宽大幅增加，则终端用户设备912可请求更高比特率片段或者被认为是高密度流的片段，如图10中所示，等等依此类推。片段大小可取决于实现方式而有所不同。在一实施例中，片段大小可低至2秒。在一实施例中，片段大小可高至10秒。
在一实施例中，触觉密度转码模块320可与为了网络传送而对音频/视频转码的那些算法(例如图3中的多媒体模块312)相集成。所创建的触觉流的数目将等于所创建的音频/视频流的数目，并且每个触觉流的密度因子不一定要对于每个转码都是不同的。例如，在一实施例中，如果创建了10个不同的音频/视频流，则原始触觉数据可被转码5次，具有5个不同的密度因子。
应当注意，以上论述的触觉数据的自适应比特率转码可能不与在流传输媒体数据时用于以不同质量预渲染音频/视频以支持变化的网络连通性的自适应比特率流传输相同。后者通常专注于通过向所有输入的音频数据或视频数据应用(一个或多个)压缩算法来发送更少的比特。对于触觉数据流，根据本发明的实施例的自适应比特率转码发送更少的信号，但仍通过放弃触觉信号的不重要(即，低量值)的特定部分并专注于触觉信号的更高优先级部分来提供相关触觉效果。这可通过利用触觉波形的特性来保持实际触觉质量，同时也发送更少的比特，从而减少了需要的带宽。本发明的实施例的另一个潜在益处是对于具有不同密度的经编码触觉数据可保持原始触觉信号的同一格式。在传统的转码中，源的格式可不被保持，因为其可被重编码成不同的格式以压缩数据来进行网络传送。
带嵌入触觉的MP4
本发明的实施例还提供了一种方法，用于将触觉比特流嵌入在MP4兼容文件容器中以使得触觉数据可与其他数字内容一起被流传输，而对于其他数字内容的递送没有影响。同样的方法也可应用到其他类似的文件容器。
虽然以下描述了MP4作为用于通过网络流传输数字内容的容器格式，因为当前认为MP4在支持的格式方面提供了最大的灵活性，并提供了对其进行修改以嵌入与标准的音频和视频流交织的不同类型的数据以创建新的体验的能力，但应当理解，本发明的实施例也可应用到其他容器格式。虽然不同类型的数据包括额外的音频流、隐藏字幕流等等，但是将联系将触觉流与可存在于MP4容器内的音频和/或视频流相交织来描述本发明的实施例。在终端用户设备侧，与标准音频和视频重放同时地，可在触觉输出设备上提取并重放嵌入的触觉信号。应当明白，所提出的方案适用于除了音频和视频以外的其他数字内容。
在音频信号与触觉信号之间存在许多相似之处。当使用上文联系图7的论述中的可变触觉编码器时，触觉信号的编码与音频信号的类似。在其当前形式中，这允许了触觉信号被MP4所支持，但也要求在触觉和音频盒结构之间存在足够的区分以确保触觉信号不被标准MP4播放器解读为音频信号。相反，现有的音频信号不应当被误解为触觉信号。
为了方便，触觉信号可被编码为AAC。由于如上所述的提供经编码的触觉信号(数据流)的各种方法，允许这个编码变化，但盒结构将能够保持相似。触觉信号在标准的“moov”盒内需要单独的“trak”盒，与为音频和视频存在的其他“trak”盒并存。以下表I列出了触觉盒结构。MPEG4Part-12标准(ISO/IEC 14496-12媒体文件格式)(以下称为“格式标准”)提供了关于表I中的MP4盒层次体系的一般信息。
表I：用于触觉的盒层次体系
触觉数据不应当被渲染为音频或视频。因为大多数播放器将尝试渲染由其各自的“trak”盒指定的任何组合或数目的视频流或者任何组合的音频流，所以触觉数据应当被标示为定时元数据(timed metadata)轨道(“meta”)。这可通过在“hdlr”盒中将handler_type字段设定为“meta”来完成。
格式标准中的第8.4.3节中指定的定时元数据轨道是用于存储基于时间的媒体内容的。在此类轨道中存储触觉信号允许了该流被认为是媒体，但不是音频或视频格式的。在此情况下，需要对于触觉数据指定定时元数据流以确保在重放期间，触觉数据不会被渲染为音频，尽管其原始编码是音频格式的。
图11-13图示了用于声音1100、视频1200和触觉1300的句柄引用盒，并且示出了声音、视频和触觉句柄类型在一起被嵌入在MP4文件内时如何不同。每个“trak”1102、1202、1302的handler_type在“hdlr”盒1104、1204、1304中指定，如图11-13中所示。用于声音、视频和定时元数据轨道的句柄类型分别是“soun”(图11中的1106)、“vide”(图12中的1206)和“meta”(图13中的1306)，如格式标准的第8.4.3中所指定的。
此外，由于触觉流被标记为定时元数据轨道，所以空媒体头部盒(参见“nmhd”)(图14中的1408)在“minf”容器盒(图14中的1406)下面，如格式标准中的第8.4.5.5节下指定的。这指示出该流不是音频(“smhd”—声音媒体头部)(图14中的1402)或视频(“vmhd”—视频媒体头部)(图14中的1404)，但仍可被解读为媒体流。图14通过分别示出声音、视频和触觉的完整盒结构对此进行了更详细图示。
在盒结构内进一步地，在“stbl”(样本表格盒)下面是“stsd”盒，其是样本描述盒，如以上表I中可见。在此盒中，指定“trak”的格式。例如，“stsd”中的第一子盒对于AAC音频轨道通常是“mp4a”。对于触觉，创建具有四字符代码(“FOURCC”)值“hapt”的新通用盒。这指示出这个定时元数据轨道包含描述触觉信号的信息。根据格式标准中的第8.5.2.2节，“meta”句柄类型要求实现元数据样本条目(“MetaDataSampleEntry”)类，但其被定义为可由新的子类来扩展的空类。在一实施例中，不用任何额外信息来扩展这个空类。任何触觉专用信息被存储在“esds”盒中，如表I中可见以及下文所述。
诸如轨道持续时间和时间尺度之类的所有定时信息应当存在于“mdhd”盒中以描述触觉轨道的整体持续时间和时间尺度。根据MPEG4Part-1标准(ISO/IEC 14496-1系统)(以下称为“系统标准”)，时间尺度是包含一秒中经过的时间单位的数目的32位无符号整数。例如，如果触觉轨道具有50样本每秒的更新率，则这个时间尺度被设定为50。持续时间字段是64位无符号整数，其声明按时间尺度的尺度此触觉轨道的长度。例如，如果时间尺度被设定为50，则每个样本具有20ms的长度。如果触觉轨道为5秒长，则持续时间字段应当具有250(5*1000/20)的值。
如以上表I中列出的，“hapt”容器盒下面的唯一子盒是“esds”盒(基本流描述)，也称为ES_Descriptor。当应用到音频时，此盒包含用于对与其所在的“trak”相关联的流解码的信息。其可类似地用于触觉。关于“esds”盒的语法细节在系统标准的第8.3.3.1节中提供。
图15图示了对于MP4文件中的触觉数据的对象简档指示(“objectProfileIndication”)值的有效设定的实施例。根据系统标准的第8.3.3节，ES_Descriptor盒包含解码器配置描述符(“DecoderConfigDescriptor”)结构，该结构包含用于解析和读取基本流的参数和要求。在DecoderConfigDescriptor内，有用于objectProfileIndication值的字段和解码器特定信息(“DecoderSpecificInfo”)结构。
objectProfileIndication值提供了流的对象简档类型。这个字段被设定为0xC0与0xFE之间的值，这是用户私有对象简档类型的范围，这些类型当用在“hapt”盒结构内时将被称为触觉类型(参见系统标准的表8-5)。
DecoderSpecificInfo结构是基于objectProfileIndication值由其他类扩展的抽象类(参见系统标准的表8-5)。对于一种触觉实现，此结构可由触觉特定配置(“HapticSpecificConfig”)类扩展，该类包含触觉特定信息，例如信号类型和为其创建经编码信号的致动器。
说明一下，只有包含利用0xC0与0xFE之间的值作为对象简档类型的“hapt”盒的“trak”盒结构会被认为是有效触觉流，如图15中可见。如果对象简档类型是任何其他的值，则其将被认为是无效的，如图16中可见，其中objectProfileIndication值被设定到AAC主简档。
MPEG-4流一般预期对于解码过程所需的基本描述符中的配置信息。DecoderConfigDescriptor必须包含DecoderSpecificInfo抽象类的子类，如系统标准的第8.3.3节中所述。对于音频流，DecoderSpecificInfo由音频特定配置(“AudioSpecificConfig”)类所扩展，如MPEG4Part-3标准(ISO/IEC 14496-3音频)(以下称为“音频标准”)的第1.6.2.1节中所述。对于触觉流，DecoderSpecificInfo如本文所述由HapticSpecificConfig类来扩展。
当objectTypeIndication的值和streamType值为指示出此流包含触觉信息的0xC0和0x20时，HapticSpecificConfig扩展如系统标准中定义的抽象类DecoderSpecificInfo。以下的表II-VIII提供了可用于HapticSpecificConfig的语法、触觉流类型、采样频率、致动器配置、通道配置、端点配置和触觉解码器类型的额外信息。
表II：HapticSpecificConfig的语法
表III：触觉流类型
触觉流类型 描述
0x0 预留
0x1 预留
0x2 触觉编码流
0x3 音频编码流
表IV：采样频率索引
采样频率索引 值
0x0 8000
0x1–0xE 预留
0xF 转义值
表V：致动器配置
致动器配置 描述
0x0 预留
0x1 单个致动器
0x2–0xF 预留
表VI：通道配置
值 通道数目
0 -
1 单通道
表VII：端点配置
端点配置 描述
0x0 幅度调制
0x1–0xFF 预留
表VIII：触觉解码器类型
触觉解码器类型 描述
0x0 原始流
0x1–0xF 预留
以上描述指定了经编码的触觉流而不是实际流本身。通常，具有声音、视频或定时元数据类型的每个“trak”对象有一个流与之相关联。这些流被交织在“mdat”盒中，该盒在MP4盒结构中与“moov”盒存在于同一级别。“mdat”盒包含播放器在终端平台上解析、解码和渲染的实际数据。确定每个流的片段大小并交织视频、音频和元数据(触觉)样本的所有经编码片段是格式化软件的职责。在此情况下，可通过参考样本表格中的到片段的偏移量来从交织数据盒中提取出触觉信号，这与为音频和视频信号进行提取的方式是类似的。
本文描述为被存储或可存储的各种输入、输出、配置和/或其他信息可被存储在一个或多个数据库中。这种数据库可包括或接口到由甲骨文公司商业销售的ORACLETM关系数据库。也可使用、包含或访问其他数据库，例如INFORMIXTM、DB2(数据库2)或其他数据存储，包括基于文件的，或者查询格式、平台或资源，例如OLAP(On Line AnalyticalProcessing，在线分析处理)、SQL(Standard Query Language，标准查询语言)、SAN(storage area network，存储区域网络)、MICROSOFT ACCESSTM或其他的。数据库可包括存在于一个或多个物理设备中和一个或多个物理位置中的一个或多个这种数据库。数据库可存储多种类型的数据和/或文件和关联的数据或文件描述、管理信息或任何其他数据。
根据本发明的一个方面，提供了一种由计算机实现的方法，用于丰富关于触觉数据的用户数字内容体验。该方法是在具有处理器的计算设备上实现的，其中该处理器被计算机程序模块编程。该方法包括：接收包括音频数据和/或视频数据的数字内容数据；利用接收到的数字内容数据中的至少一些来生成触觉数据；对所生成的触觉数据编码以便通过通信网络来高效传送；将经编码的触觉数据与接收到的数字内容数据复用；把用于对经编码的触觉数据解码的信息嵌入在复用的数据流的元数据中；以及通过通信网络发送复用的数据流。
根据本发明的一个方面，提供了一种由计算机实现的方法，用于将触觉数据与其他数字内容数据一起通过网络传送以便终端用户体验在终端用户设备上生成的触觉效果。终端用户设备耦合到网络。该方法是在具有处理器的计算设备上实现的，其中该处理器被计算机程序模块编程。该方法包括分析触觉数据以确定触觉数据的至少一个特性，以及基于所确定的特性来对触觉数据编码以符合预定义的标准。
根据本发明的一个方面，提供了一种由计算机实现的方法，用于丰富关于触觉数据的用户数字内容体验。该方法是在具有处理器的计算设备上实现的，其中该处理器被计算机程序模块编程。该方法包括接收原始触觉数据，对于预定密度因子列表对接收到的原始触觉数据编码以生成经编码的触觉数据流的列表，每个经编码的触觉数据流对应于预定密度因子列表的一密度因子，通过通信网络从终端用户设备接收网络带宽信息，基于与通信网络带宽的条件匹配的相应密度因子选择经编码的触觉数据流之一，并且将所选的经编码的触觉数据流发送到终端用户设备。
本领域技术人员通过考虑说明书并实践本文公开的发明，将清楚本发明的其他方面、用途和优点。说明书应当被认为只是示范性的，并且本发明的范围因此打算仅由所附权利要求来限定。

Claims (13)

1.一种方法，包括：
接收包括音频数据和视频数据中的至少一个的数字内容数据；
使用至少一些数字内容数据生成触觉数据；
通过通信网络从终端用户设备接收网络带宽信息；
根据确定编码比特率的密度因子编码触觉数据，以创建用于通过通信网络传输的触觉数据流，所述密度因子是根据网络带宽信息选择的；
由复用器将触觉数据流与数字内容数据复用以产生复用数据流；和
通过通信网络发送复用数据流。
2.如权利要求1所述的方法，还包括：将用于解码所编码的触觉数据的信息嵌入在复用数据流的文件容器的元数据中。
3.如权利要求1所述的方法，还包括：
检测网络带宽信息的变化；和
按照根据网络带宽信息的变化选择的新的密度因子编码新的触觉数据流。
4.如权利要求1所述的方法，还包括：
通过通信网络从终端用户设备接收网络带宽信息的变化；和
按照根据网络带宽信息的变化选择的新的密度因子编码新的触觉数据流。
5.如权利要求1所述的方法，还包括根据对应的密度因子对多个触觉数据流进行编码。
6.如权利要求1所述的方法，其中编码所述触觉数据流包括消除所述触觉数据的低幅度信号。
7.一种系统，包括：
处理器，被配置为：
接收包括音频数据和视频数据中的至少一个的数字内容数据；
使用至少一些数字内容数据生成触觉数据；
通过通信网络从终端用户设备接收网络带宽信息；
根据确定编码比特率的密度因子编码触觉数据，以创建用于通过通信网络传输的触觉数据流，所述密度因子是根据网络带宽信息选择的；
由复用器将触觉数据流与数字内容数据复用以产生复用数据流；和
通过通信网络发送复用数据流。
8.如权利要求7所述的系统，其中，所述处理器还被配置为将用于解码所编码的触觉数据的信息嵌入在复用数据流的文件容器的元数据中。
9.如权利要求7所述的系统，其中，所述处理器还被配置为：
检测网络带宽信息的变化；和
按照根据网络带宽信息的变化选择的新的密度因子编码新的触觉数据流。
10.如权利要求7所述的系统，其中，所述处理器还被配置为：
通过通信网络从终端用户设备接收网络带宽信息的变化；和
按照根据网络带宽信息的变化选择的新的密度因子编码新的触觉数据流。
11.一种方法，包括：
接收包括音频数据和视频数据中的至少一个的数字内容数据；
使用至少一些数字内容数据生成触觉数据；
由编码器编码触觉数据，以创建用于通过通信网络传输的编码的触觉数据；
由复用器将编码的触觉数据与数字内容数据复用以创建复用数据流；
将用于对编码的触觉数据解码的信息嵌入在复用数据流的MP4兼容文件容器的元数据中；和
通过通信网络发送复用数据流。
12.一种方法，包括：
接收包括音频数据和视频数据中的至少一个的数字内容数据；
使用至少一些数字内容数据生成触觉数据；
分析触觉数据以确定触觉数据的至少一个特性，所述至少一个特性包括用于基于触觉数据生成触觉效果的触觉输出设备的一种或多种类型、触觉数据的打算用例、触觉数据的幅度、触觉数据的频率和触觉数据中的静默长度；
基于所确定的特性编码触觉数据，以创建用于通过通信网络传输的编码的触觉数据；
由复用器将编码的触觉数据与数字内容数据复用以创建复用数据流；
将用于对编码的触觉数据解码的信息嵌入在复用数据流的元数据中；和
通过通信网络发送复用数据流。
13.一种方法，包括：
接收包括音频数据和视频数据中的至少一个的数字内容数据；
使用至少一些数字内容数据生成触觉数据；
分析触觉数据以确定触觉数据的至少一个特性；
从终端用户设备接收终端用户设备的端点配置；
为了通过通信网络传输和基于所确定的特性，编码触觉数据以创建编码的触觉数据，其中保留与终端用户设备的端点配置相对应的触觉数据的频率范围；
由复用器将编码的触觉数据与数字内容数据复用以创建复用数据流；
将用于对编码的触觉数据解码的信息嵌入在复用数据流的元数据中；和
通过通信网络发送复用数据流。
CN201910153699.8A 2013-05-24 2014-05-26 用于触觉数据编码和流传输的方法和系统 Pending CN109876431A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361827341P 2013-05-24 2013-05-24
US61/827,341 2013-05-24
US201361874920P 2013-09-06 2013-09-06
US61/874,920 2013-09-06
US201361907318P 2013-11-21 2013-11-21
US61/907,318 2013-11-21
CN201410224872.6A CN104184721B (zh) 2013-05-24 2014-05-26 用于触觉数据编码和流传输的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410224872.6A Division CN104184721B (zh) 2013-05-24 2014-05-26 用于触觉数据编码和流传输的方法和系统

Publications (1)

Publication Number Publication Date
CN109876431A true CN109876431A (zh) 2019-06-14

Family

ID=50943052

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410224872.6A Active CN104184721B (zh) 2013-05-24 2014-05-26 用于触觉数据编码和流传输的方法和系统
CN201910153699.8A Pending CN109876431A (zh) 2013-05-24 2014-05-26 用于触觉数据编码和流传输的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410224872.6A Active CN104184721B (zh) 2013-05-24 2014-05-26 用于触觉数据编码和流传输的方法和系统

Country Status (5)

Country Link
US (3) US9437087B2 (zh)
EP (2) EP3399763A1 (zh)
JP (2) JP6411069B2 (zh)
KR (1) KR102176391B1 (zh)
CN (2) CN104184721B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3399763A1 (en) * 2013-05-24 2018-11-07 Immersion Corporation Method and system for haptic data encoding
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
WO2016007426A1 (en) * 2014-07-07 2016-01-14 Immersion Corporation Second screen haptics
US10268286B2 (en) 2014-12-23 2019-04-23 Immersion Corporation Controlling power distribution to haptic output devices
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
EP3267288A1 (en) * 2016-07-08 2018-01-10 Thomson Licensing Method, apparatus and system for rendering haptic effects
JP2018060313A (ja) * 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム
CN106454365B (zh) * 2016-11-22 2018-07-10 包磊 多媒体数据的编码、解码方法及编码、解码装置
US11290755B2 (en) * 2017-01-10 2022-03-29 Qualcomm Incorporated Signaling data for prefetching support for streaming media data
US10075251B2 (en) 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
CN106803982A (zh) * 2017-03-01 2017-06-06 深圳市集贤科技有限公司 一种带按摩功能的vr遥控器
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
CN107566847B (zh) * 2017-09-18 2020-02-14 浙江大学 一种将触感数据编码为视频流进行保存和传输的方法
CN112313603B (zh) * 2018-06-28 2024-05-17 索尼公司 编码装置、编码方法、解码装置、解码方法和程序
WO2020008716A1 (ja) * 2018-07-03 2020-01-09 ソニー株式会社 符号化装置、符号化方法、復号装置、復号方法、伝送システム、受信装置、プログラム
CN113196210A (zh) * 2018-12-13 2021-07-30 索尼集团公司 信息处理装置、信息处理系统、信息处理方法和程序
CN113260488A (zh) * 2019-02-01 2021-08-13 索尼集团公司 解码装置、解码方法和程序
US10921893B2 (en) * 2019-02-04 2021-02-16 Subpac, Inc. Personalized tactile output
CN113841107A (zh) * 2019-04-26 2021-12-24 惠普发展公司，有限责任合伙企业 空间音频和触觉
US10951951B2 (en) * 2019-07-30 2021-03-16 Sony Interactive Entertainment Inc. Haptics metadata in a spectating stream
WO2021035189A1 (en) * 2019-08-21 2021-02-25 Subpac, Inc. Tactile audio enhancement
US11881201B2 (en) 2019-09-03 2024-01-23 Sony Group Corporation Control apparatus, loudspeaker apparatus, and audio output method
US10984638B1 (en) * 2019-10-17 2021-04-20 Immersion Corporation Systems, devices, and methods for encoding haptic tracks
US11282281B2 (en) * 2019-11-13 2022-03-22 At&T Intellectual Property I, L.P. Activation of extended reality actuators based on content analysis
CN115190990A (zh) * 2020-03-05 2022-10-14 索尼集团公司 比特流生成方法、编码装置和解码装置
US20230145547A1 (en) * 2020-04-29 2023-05-11 Sony Group Corporation Decoding device, decoding method, program, encoding device, and encoding method
JP2022097227A (ja) * 2020-12-18 2022-06-30 株式会社Ｊｖｃケンウッド 情報提供装置、情報提供方法、およびプログラム
CN114115538A (zh) * 2021-11-23 2022-03-01 瑞声开泰声学科技(上海)有限公司 一种触觉反馈数据处理方法、装置及计算机可读存储介质
GB2615361B (en) * 2022-02-08 2024-05-29 Sony Interactive Entertainment Europe Ltd Method for generating feedback in a multimedia entertainment system
WO2023176928A1 (ja) * 2022-03-18 2023-09-21 ソニーグループ株式会社 情報処理装置および方法
US20240129578A1 (en) * 2022-10-17 2024-04-18 Tencent America LLC Method and apparatus for defining frames and timed referenced network abstraction layer (nals) structure in haptics signals
US20240129579A1 (en) * 2022-10-17 2024-04-18 Tencent America LLC Isobmff haptic tracks with sample anchoring of haptic effects
US20240129047A1 (en) * 2022-10-17 2024-04-18 Tencent America LLC Method for creating sparse isobmff haptics tracks
WO2024096812A1 (en) * 2022-10-31 2024-05-10 Razer (Asia-Pacific) Pte. Ltd. Method and system for generating haptic effects

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1436423A (zh) * 2000-09-22 2003-08-13 皇家菲利浦电子有限公司 细粒可分级性的最佳传输/流式顺序
CN1926861A (zh) * 2003-11-12 2007-03-07 索尼电子有限公司 用于提供动态比特率编码的设备和方法
CN101416139A (zh) * 2006-04-06 2009-04-22 伊梅森公司 用于增强的触觉效果的系统和方法
CN101828382A (zh) * 2007-10-16 2010-09-08 伊梅森公司 媒体传输流中的触觉效应数据的同步
CN102208188A (zh) * 2011-07-13 2011-10-05 华为技术有限公司 音频信号编解码方法和设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163579A (ja) * 2004-12-03 2006-06-22 Sony Corp 情報処理システム、情報処理装置及び情報処理方法
US8378964B2 (en) * 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
WO2008023346A1 (en) * 2006-08-24 2008-02-28 Koninklijke Philips Electronics N.V. Device for and method of processing an audio signal and/or a video signal to generate haptic excitation
US20090079690A1 (en) * 2007-09-21 2009-03-26 Sony Computer Entertainment America Inc. Method and apparatus for enhancing entertainment software through haptic insertion
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
CN102090058A (zh) * 2008-07-15 2011-06-08 夏普株式会社 数据发送装置、数据接收装置、数据发送方法、数据接收方法及视听环境控制方法
EP2350773B1 (en) * 2008-10-10 2017-04-19 Internet Services, Llc Haptic otuput device for use with haptic encoded media
US20110280398A1 (en) * 2010-05-17 2011-11-17 Anatoly Fradis Secured content distribution system
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
WO2013008869A1 (ja) * 2011-07-14 2013-01-17 株式会社ニコン 電子機器及びデータ生成方法
WO2013034944A1 (en) * 2011-09-06 2013-03-14 Telefonaktiebolaget L M Ericsson (Publ) Device and method for progressive media download with multiple layers or streams
EP3399763A1 (en) * 2013-05-24 2018-11-07 Immersion Corporation Method and system for haptic data encoding
CN104980247B (zh) * 2014-04-04 2019-11-22 北京三星通信技术研究有限公司 自适应调整调制编码方式和参考信号图样的方法、基站、终端和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1436423A (zh) * 2000-09-22 2003-08-13 皇家菲利浦电子有限公司 细粒可分级性的最佳传输/流式顺序
CN1926861A (zh) * 2003-11-12 2007-03-07 索尼电子有限公司 用于提供动态比特率编码的设备和方法
CN101416139A (zh) * 2006-04-06 2009-04-22 伊梅森公司 用于增强的触觉效果的系统和方法
CN101828382A (zh) * 2007-10-16 2010-09-08 伊梅森公司 媒体传输流中的触觉效应数据的同步
CN102208188A (zh) * 2011-07-13 2011-10-05 华为技术有限公司 音频信号编解码方法和设备

Also Published As

Publication number Publication date
US9437087B2 (en) 2016-09-06
EP3399763A1 (en) 2018-11-07
JP6411069B2 (ja) 2018-10-24
CN104184721B (zh) 2019-03-12
EP2806353A1 (en) 2014-11-26
KR102176391B1 (ko) 2020-11-09
US10542325B2 (en) 2020-01-21
US20160345073A1 (en) 2016-11-24
KR20140138087A (ko) 2014-12-03
US20190098368A1 (en) 2019-03-28
JP6630798B2 (ja) 2020-01-15
JP2019024228A (ja) 2019-02-14
US10085069B2 (en) 2018-09-25
CN104184721A (zh) 2014-12-03
JP2014239430A (ja) 2014-12-18
US20140347177A1 (en) 2014-11-27
EP2806353B1 (en) 2018-07-18

Similar Documents

Publication Publication Date Title
CN104184721B (zh) 用于触觉数据编码和流传输的方法和系统
TWI700686B (zh) 用於接收媒體資料之方法，器件及非暫時性電腦可讀儲存媒體
JP5266327B2 (ja) 媒体トランスポートストリームにおける触覚効果データの同期化
CN105612753B (zh) 媒体流传输期间在适配集合间的切换方法和装置
CN106850586B (zh) 媒体提供方法
CA2636172C (en) Dynamic media serving infrastructure
CN103493499B (zh) 提供使用表示的流媒体内容的装置及方法
CN104509064A (zh) 替换丢失的媒体数据以进行网络流式传输
CN103314579A (zh) 用于在多媒体流传输系统中存储和播放内容的装置及方法
CN113748659B (zh) 接收会话的媒体数据的方法、装置和非易失性计算机可读介质
CN113767639B (zh) 接收媒体数据的方法、装置和非易失性计算机可读介质
CN113661680B (zh) 用于接收媒体内容的媒体数据的处理方法和装置
Krishnamoorthi et al. Empowering the creative user: personalized HTTP-based adaptive streaming of multi-path nonlinear video
CN115398924A (zh) 用于媒体流传输的方法和设备
KR100580437B1 (ko) 상호 작용식 통신에서 클라이언트-서버 상호 작용에 관한방법 및 시스템
CN112188256B (zh) 信息处理方法、信息提供方法、装置、电子设备及存储介质
CN113364728B (zh) 媒体内容接收方法、装置、存储介质和计算机设备
CN111837401B (zh) 信息处理设备、信息处理方法
CN117256136A (zh) 用于处理备选媒体表示描述的方法、设备和计算机可读介质
CN115462063A (zh) 用于通过http的动态自适应流传输的方法和设备
TR201905118T4 (tr) Kodlanmış olan video verilerinin ağ akışı için hile modları

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190614

WD01 Invention patent application deemed withdrawn after publication