JP2014239430A - 触覚データを符号化及びストリーミングする方法及びシステム - Google Patents
触覚データを符号化及びストリーミングする方法及びシステム Download PDFInfo
- Publication number
- JP2014239430A JP2014239430A JP2014106684A JP2014106684A JP2014239430A JP 2014239430 A JP2014239430 A JP 2014239430A JP 2014106684 A JP2014106684 A JP 2014106684A JP 2014106684 A JP2014106684 A JP 2014106684A JP 2014239430 A JP2014239430 A JP 2014239430A
- Authority
- JP
- Japan
- Prior art keywords
- data
- haptic
- haptic data
- encoded
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000015541 sensory perception of touch Effects 0.000 title abstract description 8
- 238000004891 communication Methods 0.000 claims abstract description 41
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 230000000694 effects Effects 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 8
- 238000004321 preservation Methods 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 58
- 238000003860 storage Methods 0.000 description 16
- 230000003044 adaptive effect Effects 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 2
- 238000007664 blowing Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 239000002520 smart material Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
- H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
- A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/633—Control signals issued by server directed to the network components or client
- H04N21/6332—Control signals issued by server directed to the network components or client directed to client
- H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
- H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
- H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
Abstract
【解決手段】音声データ及び/又は動画データを含むデジタル・コンテンツ・データを受信する工程と、受信したデジタル・コンテンツ・データの少なくとも一部を用いて触覚データを生成する工程と、通信ネットワーク経由で効率的に伝送するために生成された触覚データを符号化する工程と、符号化した触覚データを受信したデジタル・コンテンツ・データと多重化する工程と、多重化したデータ・ストリームのメタ・データ内に、符号化した触覚データを復号するための情報を埋め込む工程と、多重化したデータを通信ネットワーク経由で送信する工程と、を含む。
【選択図】図1
Description
本出願は、米国特許仮出願第61/827,341号(出願日:2013年5月24日、名称:「触覚メディア符号化のシステム及び方法」)、米国特許仮出願第61/874,920号(出願日:2013年9月6日、名称:「触覚コンテンツの生成、配信、及び再生の方法」)、及び米国特許仮出願第61/907,318号(出願日:2013年11月21日、名称:「触覚データを符号化及びストリーミングする方法及びシステム」)に基づく優先権を主張し、その内容は全体として参照により本明細書に組み込まれる。
適応音声触覚変換
触覚ストリームの様々な符号化
適応密度コード変換
埋め込まれた触覚を有するMP4
Claims (26)
- 音声データ及び/又は動画データを含むデジタル・コンテンツ・データを受信する工程と、
前記受信したデジタル・コンテンツ・データの少なくとも一部を用いて触覚データを生成する工程と、
通信ネットワーク経由の効率的な伝送のために前記触覚データを符号化する工程と、
前記符号化された触覚データを前記受信したデジタル・コンテンツ・データと多重化する工程と、
前記符号化された触覚データを復号するための情報を、前記多重化により生成されたデータ・ストリームのメタデータ内に埋め込む工程と、
前記多重化により生成されたデータ・ストリームを前記通信ネットワーク経由で送信する工程と、
を備える方法。 - 前記触覚データを分析して前記触覚データの少なくとも1つの特性を決定する工程をさらに備え、
前記触覚データを符号化する工程が、前記決定された特性に基づいて、所定の基準に合致するように前記触覚データを符号化する工程からなる、請求項1に記載の方法。 - 前記所定の基準が、最小のビット数を有する出力符号化触覚ビット・ストリームを含む、請求項2に記載の方法。
- エンド・ユーザ装置のエンド・ポイント構成を前記エンド・ユーザ装置から受信する工程をさらに備え、
前記所定の基準が前記エンド・ユーザ装置の前記受信されたエンド・ポイント構成に対応する前記触覚データの周波数の範囲を維持することを含む、請求項2に記載の方法。 - 前記触覚データを符号化する工程が、前記決定された特性に基づいて所定のエンコーダのリストからエンコーダを選択する工程と、前記選択したエンコーダを適用して前記触覚データを変換する工程と、を含む、請求項2に記載の方法。
- 所定のエンコーダの前記リストが、高等音声符号化エンコーダ及び/又はフリー無損失音声エンコーダを含む、請求項5に記載の方法。
- 前記触覚データの前記特性が、前記触覚データに基づいて触覚効果を生成するために用いる触覚出力装置の一又は複数の種類と、前記触覚データの意図される使用事例と、前記触覚データの重要度と、前記触覚データの周波数と、前記触覚データ内の無音部分の長さとを含む、請求項2に記載の方法。
- 前記触覚出力装置の種類が、偏心回転質量体アクチュエータ、リニア共振アクチュエータ、及び圧電アクチュエータからなる群のうちの一又は複数を含む、請求項7に記載の方法。
- 前記触覚データの前記意図される使用事例が、音楽、映画、及びゲームからなる群から選択される、請求項7に記載の方法。
- 前記触覚データを符号化する工程が、
所定のエンコーダのリスト内の各々のエンコーダを前記触覚データに適用して、対応する符号化された触覚データ・ストリームのリストを生成する工程と、
前記所定の基準を用いて、符号化された触覚データ・ストリームの前記リストから、符号化された触覚データ・ストリームを選択する工程と、
からなる、請求項2に記載の方法。 - 前記触覚データを符号化する工程が、密度係数の所定のリストに対応して前記触覚データを符号化して、各々が密度係数の前記所定のリスト内の1つの密度係数に対応する複数の符号化された触覚データ・ストリームを生成する工程からなる、請求項1に記載の方法であって、前記方法が、
エンド・ユーザ装置から通信ネットワーク経由でネットワーク帯域幅情報を受信する工程と、
前記通信ネットワーク帯域幅の条件に合致する対応する密度係数に基づいて、前記符号化された触覚データ・ストリームの1つを選択し、前記受信したデジタル・コンテンツ・データと多重化する工程と、
をさらに含む、請求項1に記載の方法。 - 前記複数の符号化されたデータ・ストリームのうちの第1の符号化されたデータ・ストリームが、密度係数の前記所定のリストのうちの第1の密度係数に対応しており、前記複数の符号化されたデータ・ストリームのうちの第2の符号化されたデータ・ストリームが、密度係数の前記所定のリストのうちの第2の密度係数に対応しており、前記第2の符号化されたデータ・ストリームが、前記第1のデータ・ストリームよりも多くの触覚データを含み、前記第2の密度係数が前記第1の密度係数よりも大きい、請求項11に記載の方法。
- 前記ネットワーク帯域幅情報の変化を検出する工程と、
前記通信ネットワーク帯域幅の前記条件と合致する前記対応する密度係数に基づいて、前記複数の符号化された触覚データ・ストリームのうちの異なる触覚データ・ストリームを選択する工程と、
前記複数の符号化された触覚データ・ストリームのうちの前記選択された異なる触覚データ・ストリームを前記エンド・ユーザ装置に伝送する工程と、
をさらに含む、請求項11に記載の方法。 - 音声データ及び/又は動画データを含むデジタル・コンテンツ・データを受信し、
前記受信したデジタル・コンテンツ・データの少なくとも一部を用いて触覚データを生成し、
通信ネットワーク経由の効率的な伝送のために前記触覚データを符号化し、
前記符号化された触覚データを前記受信したデジタル・コンテンツ・データと多重化し、
前記符号化された触覚データを復号するための情報を、前記多重化により生成されたデータ・ストリームのメタデータ内に埋め込み、
前記多重化により生成されたデータ・ストリームを前記通信ネットワーク経由で送信する
ように構成されたプロセッサと、
前記通信ネットワーク経由で前記多重化された符号化された触覚データ及びデジタル・コンテンツ・データを受信するように構成され、前記触覚データに基づいて触覚効果を出力するように構成された触覚出力装置を備えるユーザ装置と、
を備えるシステム。 - 前記プロセッサが、前記触覚データを分析して前記触覚データの少なくとも1つの特性を決定し、前記決定された特性に基づいて、所定の基準を満たすように前記触覚データを符号化するようにさらに構成された、請求項14に記載のシステム。
- 前記所定の基準が、最小のビット数を有する出力符号化触覚ビット・ストリームを含む、請求項15に記載のシステム。
- 前記プロセッサが前記ユーザ装置のエンド・ポイント構成を前記ユーザ装置から受信するようにさらに構成され、前記所定の基準が、前記受信したエンド・ユーザ装置のエンド・ポイント構成に対応する前記触覚データの周波数の範囲を維持することを含む、請求項15に記載のシステム。
- 前記プロセッサが、前記決定された特性に基づいて所定のエンコーダのリストからエンコーダを選択し、前記選択したエンコーダを適用して前記触覚データを変換するようにさらに構成された、請求項15に記載のシステム。
- 所定のエンコーダの前記リストが、高等音声符号化エンコーダ及び/又はフリー無損失音声エンコーダを含む、請求項18に記載のシステム。
- 前記触覚データの前記特性が、前記触覚データに基づいて触覚効果を生成するために用いる触覚出力装置の一又は複数の種類と、前記触覚データの意図される使用事例と、前記触覚データの重要度と、前記触覚データの周波数と、前記触覚データ内の無音部分の長さとを含む、請求項15に記載のシステム。
- 前記触覚出力装置の種類が、偏心回転質量体アクチュエータ、リニア共振アクチュエータ、及び圧電アクチュエータからなる群のうちの一又は複数を含む、請求項20に記載のシステム。
- 前記触覚データの前記意図される使用事例が、音楽、映画、及びゲームからなる群から選択される、請求項20に記載のシステム。
- 前記プロセッサが
所定のエンコーダのリスト内の各々のエンコーダを前記触覚データに適用して、対応する符号化された触覚データ・ストリームのリストを生成し、
前記所定の基準を用いて、符号化された触覚データ・ストリームの前記リストから、符号化された触覚データ・ストリームを選択する
ようにさらに構成された、請求項15に記載のシステム。 - 前記プロセッサが
密度係数の所定のリストに対応して前記触覚データを符号化して、各々が密度係数の前記所定のリスト内の1つの密度係数に対応する複数の符号化された触覚データ・ストリームを生成し、
エンド・ユーザ装置から通信ネットワーク経由でネットワーク帯域幅情報を受信し、
前記通信ネットワーク帯域幅の条件に合致する対応する密度係数に基づいて、前記符号化された触覚データ・ストリームの1つを選択し、前記受信したデジタル・コンテンツ・データと多重化する
ようにさらに構成された、請求項14に記載のシステム。 - 前記複数の符号化されたデータ・ストリームのうちの第1の符号化されたデータ・ストリームが、密度係数の前記所定のリストのうちの第1の密度係数に対応しており、前記複数の符号化されたデータ・ストリームのうちの第2の符号化されたデータ・ストリームが、密度係数の前記所定のリストのうちの第2の密度係数に対応しており、前記第2の符号化されたデータ・ストリームが、前記第1のデータ・ストリームよりも多くの触覚データを含み、前記第2の密度係数が前記第1の密度係数よりも大きい、請求項24に記載のシステム。
- 前記プロセッサが
前記ネットワーク帯域幅情報の変化を検出し、
前記通信ネットワーク帯域幅の前記条件と合致する前記対応する密度係数に基づいて、前記複数の符号化された触覚データ・ストリームのうちの異なる触覚データ・ストリームを選択し、
前記複数の符号化された触覚データ・ストリームのうちの前記選択された異なる触覚データ・ストリームを前記エンド・ユーザ装置に伝送する
ようにさらに構成された、請求項24に記載のシステム。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361827341P | 2013-05-24 | 2013-05-24 | |
US61/827,341 | 2013-05-24 | ||
US201361874920P | 2013-09-06 | 2013-09-06 | |
US61/874,920 | 2013-09-06 | ||
US201361907318P | 2013-11-21 | 2013-11-21 | |
US61/907,318 | 2013-11-21 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018181077A Division JP6630798B2 (ja) | 2013-05-24 | 2018-09-26 | 触覚データを符号化及びストリーミングする方法及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014239430A true JP2014239430A (ja) | 2014-12-18 |
JP6411069B2 JP6411069B2 (ja) | 2018-10-24 |
Family
ID=50943052
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014106684A Active JP6411069B2 (ja) | 2013-05-24 | 2014-05-23 | 触覚データを符号化及びストリーミングする方法及びシステム |
JP2018181077A Active JP6630798B2 (ja) | 2013-05-24 | 2018-09-26 | 触覚データを符号化及びストリーミングする方法及びシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018181077A Active JP6630798B2 (ja) | 2013-05-24 | 2018-09-26 | 触覚データを符号化及びストリーミングする方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (3) | US9437087B2 (ja) |
EP (2) | EP2806353B1 (ja) |
JP (2) | JP6411069B2 (ja) |
KR (1) | KR102176391B1 (ja) |
CN (2) | CN109876431A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021044901A1 (ja) * | 2019-09-03 | 2021-03-11 | ソニー株式会社 | 制御装置、スピーカ装置および音声出力方法 |
JPWO2020008716A1 (ja) * | 2018-07-03 | 2021-08-02 | ソニーグループ株式会社 | 符号化装置、符号化方法、復号装置、復号方法、伝送システム、受信装置、プログラム |
WO2021176904A1 (ja) * | 2020-03-05 | 2021-09-10 | ソニーグループ株式会社 | ビットストリーム生成方法、符号化装置、復号装置 |
WO2021220659A1 (ja) * | 2020-04-29 | 2021-11-04 | ソニーグループ株式会社 | 復号装置、復号方法、プログラム、符号化装置、符号化方法 |
WO2022131343A1 (ja) * | 2020-12-18 | 2022-06-23 | 株式会社Jvcケンウッド | 情報提供装置、情報提供方法、およびプログラム |
WO2023176928A1 (ja) * | 2022-03-18 | 2023-09-21 | ソニーグループ株式会社 | 情報処理装置および方法 |
US11922797B2 (en) | 2018-06-28 | 2024-03-05 | Sony Corporation | Encoding device, encoding method, decoding device, decoding method, and program |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2806353B1 (en) * | 2013-05-24 | 2018-07-18 | Immersion Corporation | Method and system for haptic data encoding |
US9652945B2 (en) * | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9711014B2 (en) | 2013-09-06 | 2017-07-18 | Immersion Corporation | Systems and methods for generating haptic effects associated with transitions in audio signals |
US9349378B2 (en) * | 2013-11-19 | 2016-05-24 | Dolby Laboratories Licensing Corporation | Haptic signal synthesis and transport in a bit stream |
KR20170030510A (ko) | 2014-07-07 | 2017-03-17 | 임머숀 코퍼레이션 | 제2 스크린 햅틱 |
US10268286B2 (en) | 2014-12-23 | 2019-04-23 | Immersion Corporation | Controlling power distribution to haptic output devices |
KR101790892B1 (ko) * | 2016-05-17 | 2017-10-26 | 주식회사 씨케이머티리얼즈랩 | 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치 |
EP3267288A1 (en) * | 2016-07-08 | 2018-01-10 | Thomson Licensing | Method, apparatus and system for rendering haptic effects |
JP2018060313A (ja) * | 2016-10-04 | 2018-04-12 | ソニー株式会社 | 受信装置および方法、送信装置および方法、並びにプログラム |
CN106454365B (zh) * | 2016-11-22 | 2018-07-10 | 包磊 | 多媒体数据的编码、解码方法及编码、解码装置 |
US11290755B2 (en) * | 2017-01-10 | 2022-03-29 | Qualcomm Incorporated | Signaling data for prefetching support for streaming media data |
US10075251B2 (en) | 2017-02-08 | 2018-09-11 | Immersion Corporation | Haptic broadcast with select haptic metadata based on haptic playback capability |
CN106803982A (zh) * | 2017-03-01 | 2017-06-06 | 深圳市集贤科技有限公司 | 一种带按摩功能的vr遥控器 |
US20190041987A1 (en) * | 2017-08-03 | 2019-02-07 | Immersion Corporation | Haptic effect encoding and rendering system |
CN107566847B (zh) * | 2017-09-18 | 2020-02-14 | 浙江大学 | 一种将触感数据编码为视频流进行保存和传输的方法 |
CN113196210A (zh) * | 2018-12-13 | 2021-07-30 | 索尼集团公司 | 信息处理装置、信息处理系统、信息处理方法和程序 |
CN113260488A (zh) * | 2019-02-01 | 2021-08-13 | 索尼集团公司 | 解码装置、解码方法和程序 |
US10921893B2 (en) * | 2019-02-04 | 2021-02-16 | Subpac, Inc. | Personalized tactile output |
CN113841107A (zh) * | 2019-04-26 | 2021-12-24 | 惠普发展公司,有限责任合伙企业 | 空间音频和触觉 |
US10951951B2 (en) * | 2019-07-30 | 2021-03-16 | Sony Interactive Entertainment Inc. | Haptics metadata in a spectating stream |
US11340704B2 (en) * | 2019-08-21 | 2022-05-24 | Subpac, Inc. | Tactile audio enhancement |
US10984638B1 (en) * | 2019-10-17 | 2021-04-20 | Immersion Corporation | Systems, devices, and methods for encoding haptic tracks |
US11282281B2 (en) * | 2019-11-13 | 2022-03-22 | At&T Intellectual Property I, L.P. | Activation of extended reality actuators based on content analysis |
CN114115538A (zh) * | 2021-11-23 | 2022-03-01 | 瑞声开泰声学科技(上海)有限公司 | 一种触觉反馈数据处理方法、装置及计算机可读存储介质 |
GB2615361B (en) * | 2022-02-08 | 2024-05-29 | Sony Interactive Entertainment Europe Ltd | Method for generating feedback in a multimedia entertainment system |
US20240129047A1 (en) * | 2022-10-17 | 2024-04-18 | Tencent America LLC | Method for creating sparse isobmff haptics tracks |
US20240129578A1 (en) * | 2022-10-17 | 2024-04-18 | Tencent America LLC | Method and apparatus for defining frames and timed referenced network abstraction layer (nals) structure in haptics signals |
US20240129579A1 (en) * | 2022-10-17 | 2024-04-18 | Tencent America LLC | Isobmff haptic tracks with sample anchoring of haptic effects |
WO2024096812A1 (en) * | 2022-10-31 | 2024-05-10 | Razer (Asia-Pacific) Pte. Ltd. | Method and system for generating haptic effects |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006163579A (ja) * | 2004-12-03 | 2006-06-22 | Sony Corp | 情報処理システム、情報処理装置及び情報処理方法 |
JP2009072600A (ja) * | 2007-09-21 | 2009-04-09 | Sony Computer Entertainment America Inc | 体感の導入を通じたエンタテインメントソフトウェアを強化するための方法と装置 |
JP2011501575A (ja) * | 2007-10-16 | 2011-01-06 | イマージョン コーポレイション | 媒体トランスポートストリームにおける触覚効果データの同期化 |
JP2012168947A (ja) * | 2011-02-11 | 2012-09-06 | Immersion Corp | 振幅値を利用した音響−触覚効果変換システム |
US20120306631A1 (en) * | 2011-06-03 | 2012-12-06 | Apple Inc. | Audio Conversion To Vibration Patterns |
WO2013008869A1 (ja) * | 2011-07-14 | 2013-01-17 | 株式会社ニコン | 電子機器及びデータ生成方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1258922C (zh) * | 2000-09-22 | 2006-06-07 | 皇家菲利浦电子有限公司 | 细粒可分级性的最佳传输/流式顺序 |
US7016409B2 (en) * | 2003-11-12 | 2006-03-21 | Sony Corporation | Apparatus and method for use in providing dynamic bit rate encoding |
CN104063056B (zh) * | 2006-04-06 | 2018-04-20 | 意美森公司 | 用于增强的触觉效果的系统和方法 |
US8378964B2 (en) * | 2006-04-13 | 2013-02-19 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
US20090189748A1 (en) * | 2006-08-24 | 2009-07-30 | Koninklijke Philips Electronics N.V. | Device for and method of processing an audio signal and/or a video signal to generate haptic excitation |
US7911328B2 (en) * | 2007-11-21 | 2011-03-22 | The Guitammer Company | Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events |
EP2315441A4 (en) * | 2008-07-15 | 2014-07-16 | Sharp Kk | DATA TRANSMISSION DEVICE, DATA RECEIVING DEVICE, DATA TRANSMISSION METHOD, DATA RECEIVING METHOD AND METHOD FOR CONTROLLING THE AUDIOVISUAL ENVIRONMENT |
CN102227694A (zh) * | 2008-10-10 | 2011-10-26 | 因特网服务有限责任公司 | 供触觉编码的媒体使用的触觉输出装置 |
US20110280398A1 (en) * | 2010-05-17 | 2011-11-17 | Anatoly Fradis | Secured content distribution system |
CN102208188B (zh) * | 2011-07-13 | 2013-04-17 | 华为技术有限公司 | 音频信号编解码方法和设备 |
CN103765856B (zh) * | 2011-09-06 | 2017-12-15 | 瑞典爱立信有限公司 | 用于具有多层或多个流的渐进媒体下载的装置和方法 |
EP2806353B1 (en) * | 2013-05-24 | 2018-07-18 | Immersion Corporation | Method and system for haptic data encoding |
CN104980247B (zh) * | 2014-04-04 | 2019-11-22 | 北京三星通信技术研究有限公司 | 自适应调整调制编码方式和参考信号图样的方法、基站、终端和系统 |
-
2014
- 2014-05-23 EP EP14169721.9A patent/EP2806353B1/en active Active
- 2014-05-23 JP JP2014106684A patent/JP6411069B2/ja active Active
- 2014-05-23 US US14/286,591 patent/US9437087B2/en active Active
- 2014-05-23 EP EP18180688.6A patent/EP3399763A1/en not_active Ceased
- 2014-05-26 KR KR1020140063058A patent/KR102176391B1/ko active IP Right Grant
- 2014-05-26 CN CN201910153699.8A patent/CN109876431A/zh active Pending
- 2014-05-26 CN CN201410224872.6A patent/CN104184721B/zh active Active
-
2016
- 2016-08-02 US US15/226,213 patent/US10085069B2/en not_active Expired - Fee Related
-
2018
- 2018-09-24 US US16/140,088 patent/US10542325B2/en active Active
- 2018-09-26 JP JP2018181077A patent/JP6630798B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006163579A (ja) * | 2004-12-03 | 2006-06-22 | Sony Corp | 情報処理システム、情報処理装置及び情報処理方法 |
JP2009072600A (ja) * | 2007-09-21 | 2009-04-09 | Sony Computer Entertainment America Inc | 体感の導入を通じたエンタテインメントソフトウェアを強化するための方法と装置 |
JP2011501575A (ja) * | 2007-10-16 | 2011-01-06 | イマージョン コーポレイション | 媒体トランスポートストリームにおける触覚効果データの同期化 |
JP2012168947A (ja) * | 2011-02-11 | 2012-09-06 | Immersion Corp | 振幅値を利用した音響−触覚効果変換システム |
US20120306631A1 (en) * | 2011-06-03 | 2012-12-06 | Apple Inc. | Audio Conversion To Vibration Patterns |
WO2013008869A1 (ja) * | 2011-07-14 | 2013-01-17 | 株式会社ニコン | 電子機器及びデータ生成方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11922797B2 (en) | 2018-06-28 | 2024-03-05 | Sony Corporation | Encoding device, encoding method, decoding device, decoding method, and program |
JPWO2020008716A1 (ja) * | 2018-07-03 | 2021-08-02 | ソニーグループ株式会社 | 符号化装置、符号化方法、復号装置、復号方法、伝送システム、受信装置、プログラム |
JP7351299B2 (ja) | 2018-07-03 | 2023-09-27 | ソニーグループ株式会社 | 符号化装置、符号化方法、復号装置、復号方法、プログラム |
US11823557B2 (en) | 2018-07-03 | 2023-11-21 | Sony Corporation | Encoding apparatus, encoding method, decoding apparatus, decoding method, transmission system, receiving apparatus, and program |
WO2021044901A1 (ja) * | 2019-09-03 | 2021-03-11 | ソニー株式会社 | 制御装置、スピーカ装置および音声出力方法 |
US11881201B2 (en) | 2019-09-03 | 2024-01-23 | Sony Group Corporation | Control apparatus, loudspeaker apparatus, and audio output method |
WO2021176904A1 (ja) * | 2020-03-05 | 2021-09-10 | ソニーグループ株式会社 | ビットストリーム生成方法、符号化装置、復号装置 |
WO2021220659A1 (ja) * | 2020-04-29 | 2021-11-04 | ソニーグループ株式会社 | 復号装置、復号方法、プログラム、符号化装置、符号化方法 |
WO2022131343A1 (ja) * | 2020-12-18 | 2022-06-23 | 株式会社Jvcケンウッド | 情報提供装置、情報提供方法、およびプログラム |
WO2023176928A1 (ja) * | 2022-03-18 | 2023-09-21 | ソニーグループ株式会社 | 情報処理装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019024228A (ja) | 2019-02-14 |
US9437087B2 (en) | 2016-09-06 |
EP2806353B1 (en) | 2018-07-18 |
US10085069B2 (en) | 2018-09-25 |
US20190098368A1 (en) | 2019-03-28 |
JP6630798B2 (ja) | 2020-01-15 |
EP3399763A1 (en) | 2018-11-07 |
EP2806353A1 (en) | 2014-11-26 |
US20160345073A1 (en) | 2016-11-24 |
CN104184721A (zh) | 2014-12-03 |
KR20140138087A (ko) | 2014-12-03 |
CN104184721B (zh) | 2019-03-12 |
JP6411069B2 (ja) | 2018-10-24 |
CN109876431A (zh) | 2019-06-14 |
US10542325B2 (en) | 2020-01-21 |
KR102176391B1 (ko) | 2020-11-09 |
US20140347177A1 (en) | 2014-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6630798B2 (ja) | 触覚データを符号化及びストリーミングする方法及びシステム | |
CN105187850B (zh) | 提供经编码视频数据的信息及接收经编码视频数据的方法和设备 | |
US10375373B2 (en) | Method and apparatus for encoding three-dimensional (3D) content | |
WO2016002738A1 (ja) | 情報処理装置および情報処理方法 | |
JP2018532146A (ja) | コーディングされたオーディオデータのトランスポート | |
GB2533624A (en) | Methods, devices, and computer programs for improving coding of media presentation description data | |
CN103814562A (zh) | 用信号表示片段的特性以用于媒体数据的网络流式传输 | |
CN113748659B (zh) | 接收会话的媒体数据的方法、装置和非易失性计算机可读介质 | |
CN113661692B (zh) | 接收媒体数据的方法、装置和非易失性计算机可读存储介质 | |
KR102635342B1 (ko) | Http를 통한 동적 적응 스트리밍을 위한 세션 기반 정보 | |
CN113767639A (zh) | 基于http的动态自适应流传输的方法和装置 | |
CN113767608A (zh) | 用于基于http的动态自适应流传输的基于会话的信息 | |
KR20220131314A (ko) | 미디어 스트리밍을 위한 방법 및 장치 | |
Angelides et al. | The handbook of MPEG applications: standards in practice | |
CN115299022A (zh) | 基于http的动态自适应流传输的方法和装置 | |
CN112188256B (zh) | 信息处理方法、信息提供方法、装置、电子设备及存储介质 | |
CN114208107A (zh) | 用于基于会话的dash操作的模式寻址 | |
CN113364728B (zh) | 媒体内容接收方法、装置、存储介质和计算机设备 | |
JP7395766B2 (ja) | Httpを介した動的適応ストリーミングのための方法および装置 | |
CN101465861A (zh) | 用于传输和/或接收媒体流的系统、方法和计算机编程产品 | |
KR20230101907A (ko) | 미디어 플레이백 동안 프리롤 및 미드롤 콘텐츠를 지원하기 위한 mpeg dash를 위한 방법 및 장치 | |
TW202403508A (zh) | 編碼/解碼觸覺資料的方法及設備 | |
Suchomski | Format independence provision of audio and video data in multimedia database management systems | |
KR20090110200A (ko) | 사용자 인터페이스를 제공/수신하는 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180123 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180926 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6411069 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |