JP2019195181A - マルチメディアコンテンツを補足する情報に基づいて触覚効果を提供するための方法及びシステム - Google Patents
マルチメディアコンテンツを補足する情報に基づいて触覚効果を提供するための方法及びシステム Download PDFInfo
- Publication number
- JP2019195181A JP2019195181A JP2019104958A JP2019104958A JP2019195181A JP 2019195181 A JP2019195181 A JP 2019195181A JP 2019104958 A JP2019104958 A JP 2019104958A JP 2019104958 A JP2019104958 A JP 2019104958A JP 2019195181 A JP2019195181 A JP 2019195181A
- Authority
- JP
- Japan
- Prior art keywords
- haptic
- multimedia content
- haptic effect
- supplemental data
- multimedia
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】周知の自動化(automated)触覚化(haptification)のアルゴリズムは、不正確で重い処理要求の影響を受けるため、マルチメディアコンテンツを記述する補足データに基づいて触覚効果を提供する。【解決手段】システムは、マルチメディアコンテンツとこのマルチメディアコンテンツの特徴を記述する補足データとを含むマルチメディアデータを受信することと、前記補足データの少なくとも一部に基づいて触覚効果を判断することと、前記マルチメディアコンテンツを再生している間に前記触覚効果を出力することを備える。【選択図】図3
Description
(関連出願の参照)
本出願は「オーディオの触覚」という名称で、2013年9月6日に出願された、米国仮特許出願番号61/874,933号明細書の全体を援用する。
本出願は「オーディオの触覚」という名称で、2013年9月6日に出願された、米国仮特許出願番号61/874,933号明細書の全体を援用する。
本出願は「オーディオ信号への遷移と関連した触覚効果を発生するためのシステム及び方法」という名称で、2013年11月12日に出願された、米国特許出願番号14/078,438号明細書の全体を援用する。
本出願は「オーディオ信号におけるエンベロープと関連した触覚効果を発生するためのシステム及び方法」という名称で、2013年11月12日に出願された、米国特許出願番号14/078,442号明細書の全体を援用する。
本出願は「オーディオ信号と関連した触覚効果を発生するためのシステム及び方法」という名称で、2013年11月12日に出願された、米国特許出願番号14/078,445号明細書の全体を援用する。
本発明は全般的にはマルチメディアデータに基づいた触覚効果を提供するための方法及びシステムに関し、より詳細にはマルチメディアコンテンツを補足する情報に基づいて触覚効果を提供するための方法及びシステムに関する。
ここ数年にわたるマルチメディア技術の進歩はユーザにこれまでより没入型の視認体験を強調して提供する役割を継続して果たしてきた。今日のテレビジョンは大きなスクリーンと、高分解能スクリーン解像度と、さらに3D(次元)性能を有する。さらに、ハンドヘルドデバイス(handheld devices)はいつも明るく輝く色を表現する高解像度スクリーンを有し、さらにインターネットを介して莫大なコンテンツソースにアクセスする。同様に、向上されたサラウンドサウンドシステム、高忠実度ホームシアタースピーカ及び高分解能オーディオなどのようなオーディオ技術の進歩は、さらにユーザのマルチメディア視聴体験を強調する。ビデオ及びオーディオ技術の進歩に加えて、視聴デバイスのタッチ感覚を通した触覚効果がユーザを視聴体験に夢中にさせるために用いられる。ビデオゲームにおける事象(イベント、events)に対応して触覚効果を提供する触覚的に動作可能なビデオゲームコンソールコントローラは、ユーザの視聴体験を強調する触覚効果の使用の普及例である。同様に、大部分のハンドヘルドモバイルデバイス(例えば、携帯電話、タブレットコンピュータ)は今日、触覚効果を提供するためのアプリケーションを可能にするハードウェアを備える。
オーディオ及び/又はビデオコンテンツの再生を強調する触覚効果の使用がよく知られている。いくつかの場合にあって、触覚デザイナは複数の触覚トラック(tracks)を編集する。触覚トラックは、触覚効果を提供するためにマルチメディアファイルを再生するシステム又はデバイスによって用いられる、マルチメディアコンテンツの再生の間に特定の時間にて出力される触覚効果の具体的なセットである。この従来の方法の有利な点は特別に適合された触覚トラックをマルチメディアコンテンツに与えることであるが、各マルチメディアコンテンツアイテムのために触覚効果を手動にて設計する触覚デザイナの使用を必要とする。手動デザインに代わる方法は、出力される触覚効果を判断するためにオーディオ及び/又はビデオコンテンツを分析するアルゴリズムを使用する自動化(automated)プロセスを含む。そのような技術の具体例は、前述の関連出願の参照における、米国特許出願番号14/078,445明細書や、同出願番号14/078,445明細書にあって記載されている、ブラインドソースセパレーション(Blind Source Separation (“BSS”))のような音響イベント検出(Acoustic Event Detection (“AED”))や、画像パターンマッチングを含む。しかし、これらの周知の自動化(automated)触覚化(haptification)のアルゴリズムは、不正確で重い処理要求の影響を受ける。さらに、自動化触覚化アルゴリズムは、過度に包括的な傾向、つまり所望されず、度を超えてうるさい触覚トラック(例えば、キーボード上のタイピング、叫び、音楽)をしばしばもたらす傾向があるし、逆に、不十分に包括的な傾向、つまりマルチメディアコンテンツにあっては重要なイベントを触覚表現することに失敗する傾向がある。
本開示は、全般的には、マルチメディアコンテンツとこのマルチメディアコンテンツの特徴を記述する補足データとを含むマルチメディアデータを受信することと、補足データの少なくとも一部に基づいて触覚効果を判断することと、マルチメディアコンテンツを再生している間に触覚効果を出力することとを備える方法に関する。別の実施形態にあって、コンピュータ読み取り可能な媒体は、そのような方法をプロセッサに実行させるためのプログラムコードを備える。
これらの例示の実施形態は、本発明を制限するよう又は定義してしまうように言及されるものではなく、本発明の理解を助けるような実施形態を提供するために言及される。例示の実施形態は、発明の詳細な説明にて考察され、かつ本発明の別の説明も発明の詳細な説明にて提供される。本発明の様々な実施形態によって提案される有利な効果は、本明細書を検討することによってさらに理解される。
本開示に係るこれらの又は他の特徴、態様、及び有利な効果は本明細書に添付されている図面を参照して以下の発明な詳細を検討することによってより理解される。
本開示に係る実施形態はマルチメディアデータに基づいた触覚効果を提供する方法及びシステムに関し、さらに詳細にはマルチメディアコンテンツを補うための情報(本明細書では「補足的な情報、補足情報」として言及する)に基づいた触覚効果を提供するための方法及びシステムに関する。本明細書にて用いられる「マルチメディアデータ」はマルチメディアコンテンツ及び補足的な情報の両方を含む。
例示される実施形態
一例示の実施形態にあって、ある家族は、テレビジョンと、インターネット接続動作可能であり触覚的に動作可能な受信機と、複数スピーカと触覚ソファ/長椅子(couch)とを備える、ホームシアターシステムを有する。その一家は、A/V受信機がマルチメディアデータストリームを受信するインターネットベースの映画ストリーミングサービスを利用して定期的に映画を観ている。マルチメディアデータストリームは、選択された映画はもちろんその映画のための補足的な情報(例えば、メタデータタグ、クローズドキャプション情報)を含む。一つの具体的な例にあって、その家族は、第1次世界大戦のアクション/ドラマフィルムを観ることを選択する。その映画のためのデータストリームが到着し始めると、A/V受信機は、一般的にタグとして周知のメタデータコンテナが存在しているか否かを判断する。タグを分析することによって、A/V受信機は、タグのジャンルフィールドにテキスト「戦争」があるか否かを判断し、さらにデフォルトレベルが適用されるより上の触覚効果出力の強度を増加する触覚テーマがあるのかを判断する。さらに、A/V受信機は、そのジャンルを自動化(automated)触覚化(haptification)アルゴリズムに提供する。自動化触覚化アルゴリズムは、映画のオーディオ及びビデオトラックを触覚効果の生成のためにパターン識別するように分析する。本具体例にあって、A/V受信機は、戦争映画に一般的に見つけられる、例えば、爆発、銃撃戦などのパターンに焦点を合わせ、触覚化アルゴリズムに基づいて触覚効果を発生する。さらに、オーディオ及びビデオトラックの分析に加えて、A/V受信機は、キーワードのためにクローズドキャプションテキストも分析する。例えば、A/V受信機が言葉「爆発」をクローズドキャプションにおける特別のタイプスタンプにて発見すると、A/V受信機はこの情報を自動化触覚化アルゴリズムに入力する。自動化触覚化アルゴリズムは、そのタイムスタンプ周辺の爆発パターンを探し、さらに爆発に相当する強烈な振動のような対応する触覚効果を発生する。映画が再生するので、A/V受信機は、触覚ソファ(sofa)に信号を送信する。触覚ソファは、そのフィルム内にて生じるイベントに対応する時間での触覚効果を出力する。
一例示の実施形態にあって、ある家族は、テレビジョンと、インターネット接続動作可能であり触覚的に動作可能な受信機と、複数スピーカと触覚ソファ/長椅子(couch)とを備える、ホームシアターシステムを有する。その一家は、A/V受信機がマルチメディアデータストリームを受信するインターネットベースの映画ストリーミングサービスを利用して定期的に映画を観ている。マルチメディアデータストリームは、選択された映画はもちろんその映画のための補足的な情報(例えば、メタデータタグ、クローズドキャプション情報)を含む。一つの具体的な例にあって、その家族は、第1次世界大戦のアクション/ドラマフィルムを観ることを選択する。その映画のためのデータストリームが到着し始めると、A/V受信機は、一般的にタグとして周知のメタデータコンテナが存在しているか否かを判断する。タグを分析することによって、A/V受信機は、タグのジャンルフィールドにテキスト「戦争」があるか否かを判断し、さらにデフォルトレベルが適用されるより上の触覚効果出力の強度を増加する触覚テーマがあるのかを判断する。さらに、A/V受信機は、そのジャンルを自動化(automated)触覚化(haptification)アルゴリズムに提供する。自動化触覚化アルゴリズムは、映画のオーディオ及びビデオトラックを触覚効果の生成のためにパターン識別するように分析する。本具体例にあって、A/V受信機は、戦争映画に一般的に見つけられる、例えば、爆発、銃撃戦などのパターンに焦点を合わせ、触覚化アルゴリズムに基づいて触覚効果を発生する。さらに、オーディオ及びビデオトラックの分析に加えて、A/V受信機は、キーワードのためにクローズドキャプションテキストも分析する。例えば、A/V受信機が言葉「爆発」をクローズドキャプションにおける特別のタイプスタンプにて発見すると、A/V受信機はこの情報を自動化触覚化アルゴリズムに入力する。自動化触覚化アルゴリズムは、そのタイムスタンプ周辺の爆発パターンを探し、さらに爆発に相当する強烈な振動のような対応する触覚効果を発生する。映画が再生するので、A/V受信機は、触覚ソファ(sofa)に信号を送信する。触覚ソファは、そのフィルム内にて生じるイベントに対応する時間での触覚効果を出力する。
この例示の実施形態は、単なる具体例であり、複数の別の実施形態が本明細書に記述されるように実行される。
例示されるデバイス
いくつかの図を通して同様の番号が同じエレメントに示される図面を参照すると、図1A及び1Bは本開示の実施形態に係る補足的な情報に基づいた触覚効果を提供するためのシステムのブロック図である。
いくつかの図を通して同様の番号が同じエレメントに示される図面を参照すると、図1A及び1Bは本開示の実施形態に係る補足的な情報に基づいた触覚効果を提供するためのシステムのブロック図である。
図1Aは様々な部品を備えるシステム100を示す。いくつかの実施形態にあって、図1Aに示されるシステム100は、テレビジョン、A/V受信機、複数スピーカ、ゲームコントローラ付きゲームコンソール、ユニバーサルリモートコントローラ、触覚的に動作可能な家具、及び/又は装着可能な触覚出力デバイスを備えるホームエンタティンメントシステムである。図1Bに示される一つの具体的な実施形態にあって、システム100は、テレビジョン(ディスプレイ116)、A/V受信機122、複数スピーカ120、リモートコントローラ114、及び触覚的に動作可能な長椅子(ソファ)124を備える。他の実施形態にあって、システム100は、携帯電話、パーソナルデジタルアシスタンツ(PDA)、タブレットコンピュータ、ラップトップコンピュータ、パームトップコンピュータ、又はハンドヘルドナビゲーションシステムのようなハンドヘルドデバイスを備える。さらに他の実施形態にあって、システム100は、キオスク(kiosk)、自動ヘッドユニット(automotive head unit)、又は同様のシステムを備えてもよい。
本開示の実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア及びソフトウェアの組み合わせにあって具現化されるか、それらの組み合わせを備える。図1A及び1Bに示されるシステム100はプロセッサ110を備える。プロセッサ110は、入力信号を受信し、通信、ディスプレイ及び触覚フィードバック用の信号を発生する。プロセッサ110は、ランダムアクセスメモリ(RAM)を備えるメモリ112のような、一つ以上のコンピュータ読み取り可能媒体を含むか、又はそのような媒体と通信する。
プロセッサ110は、メモリ112に格納された、触覚フィードバックの伝達又は発生のための一つ以上のコンピュータプログラムを実行するような、コンピュータ実行可能なプログラム命令を実行する。プロセッサ110は、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、一つ以上の利用者書き込み可能ゲートアレイ(FPGAs)又はステートマシンを備える。プロセッサ110は、さらにPLCのようなプログラマブル電子装置、プログラマブルインタラプトコントローラ(PIC)、プログラマブルリードオンリィメモリ(PROM)、電気的プログラマブル読み取り専用メモリ(EPROM又はEEPROM)又は他の同様なデバイスを備えてもよい。
メモリ112は、プロセッサ110によって実行されると、本明細書に記載されるようなさまざまなステップをプロセッサに実行させる命令を格納しているコンピュータ読み取り可能な媒体を含む。コンピュータ読み取り可能な媒体の具現化例は、制限されるものではないが、電子、光学、磁気、又は他のストレージ又はプロセッサ110にコンピュータ読み取り可能な命令を提供することのできる伝達デバイスを含む。媒体の他の具体例は、制限されるものではないが、フロッピー(登録商標)ディスク、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、環境設定されたプロセッサ(configured processor)、全ての光学媒体、全ての磁気テープ又は他の磁気媒体、又はコンピュータプロセッサが読み出すことのできる他の媒体を含む。さらに、さまざまな他のデバイスは、ルータのようなコンピュータ読み取り可能な媒体、私的又は公的なネットワーク、又は他の送信デバイスを含む。記載されているプロセッサ110、及びプロセス処理は、一つ以上の構造でも、さらに一つ以上の構造にわたって分散されてもよい。
システム100は、ネットワークインターフェース122を用いるネットワークと通信し、及び/又はそのネットワークからの通信を受信する。いくつかの実施形態にあって、ネットワークインターフェース122は、イーサネット(登録商標)カードである。他の実施形態にあって、ネットワークインターフェース122は、A/V受信機、ケーブルTVセットトップボックス、衛星TVセットボックス、テレビジョン、又はシステム100の他の部品内に収納されるケーブルTV及び/又は衛星TV信号を受信及びデコードするためのモジュールである。しかし、本発明の実施形態にあって、ネットワークインターフェース122は、ネットワークとの通信を許容するいかなる部品でもよい。例えば、ネットワークインターフェースは、無線ネットワーキングデバイス、又は携帯電話ネットワーク又はWi−Fiネットワークと通信をするモジュール及びアンテナである。
図1A及び1Bによれば、システム100はさらにプロセッサ110と通信するユーザ入力デバイス114も備える。例えば、いくつかの実施形態にあって、ユーザ入力デバイス114は、タッチスクリーンを備える。そのような実施形態にあって、ユーザ入力デバイス114は、ユーザのインタラクション(interaction)とそのインタラクションの場所を検出する。一つの実施形態は、容量ベース(capacitance-based)のタッチスクリーンを含む。他の実施形態にあって、ユーザ入力デバイス114は、ボタン、スイッチ、スライダ、又はトラックボールを含んでもよい。さらに他の実施形態にあって、システム100は、タッチスクリーン及び付加的なユーザ入力デバイス114の両方を備えてもよい。
いくつかの実施形態にあって、ユーザ入力デバイス114は、リモートコントローラ、ゲームコントローラ、又は有線又は無線接続(例えば、赤外線、Bluetooth(登録商標)、Zigbee(登録商標)、又は他の無線通信技術)によってプロセッサ110と通信する類似のデバイスを含む。そのような実施形態は、オーディオ/ビデオ受信機用のリモートコントローラであって、Bluetooth(登録商標)を用いるオーディオ/ビデオ受信機と通信するコントローラを備える。
システム100は、さらにディスプレイ116を備える。ディスプレイ116は、プロセッサ110と通信し、プロセッサ110からの出力をユーザに表示するように構成される。一実施形態にあって、ディスプレイ116は、テレビジョンを含む。他の実施形態にあって、デバイス102はユーザ入力デバイス114の下に配置される液晶ディスプレイ(LCD)を備える。いくつかの実施形態にあって、ディスプレイ116及びユーザ入力デバイス114は、単一か又は統合された、タッチスクリーンLCDのような部品を備える。いくつかの実施形態にあって、デバイス102はディスプレイを備えないかもしれない。
図1A、1B及び2に示される実施形態にあって、触覚出力デバイス118はプロセッサ110と交信し、かつ一つ以上の触覚効果を提供するように構成される。例えば、一具現化例にあって、作動信号がプロセッサ110によって触覚デバイス118に供給されると、それぞれの触覚デバイス118は、その作動信号に基づいて触覚効果を出力する。例えば、図示される実施形態にあって、プロセッサ110はアナログドライブ信号を含んだ触覚出力信号を触覚出力デバイス118に送信するように構成される。いくつかの実施形態にあって、プロセッサ110は触覚出力デバイス118に命令を送信するように構成される。この命令は触覚出力デバイス118に触覚効果を出力させるための適切なドライブ信号を発生するために用いられる複数パラメータを含む。他の具現化例にあって、異なる信号及び異なる信号タイプが一つ以上の触覚出力デバイスのそれぞれに送信される。例えば、いくつかの実施形態にあって、プロセッサは、触覚効果を出力する触覚出力デバイスを駆動するために低レベルドライブ信号を送信する。そのような低ドライブ信号は増幅器によって増幅されるか、又は駆動される特定の触覚出力デバイスを実装している、適切なプロセッサ又は回路を用いてデジタル信号からアナログ信号又はアナログ信号からデジタル信号に変換される。
触覚出力デバイス118のような、触覚出力デバイスは、一つ以上の触覚効果を出力することができるいくつかの部品又は部品の集積体である。例えば、触覚出力デバイスは、制限されるものではないが、偏芯回転質量(ERM)アクチュエータ、線形共振アクチュエータ(LRA)、ピエゾ電気アクチュエータ、ボイスコイルアクチュエータ、エレクトロ−アクティブポリマ(EAP)アクチュエータ、記憶形状合金、ページャ、DCモータ、ACモータ、可動磁石アクチュエータ、Eコアアクチュエータ、スマートジェル、静電気アクチュエータ、電気触覚アクチュエータ、変形可能な表面(deformable surface)、静電気摩擦(ESF)デバイス、超音波摩擦(USF)デバイス、又は他の触覚出力デバイス又は触覚出力デバイスの機能を実行する部品の集積体、又は触覚効果を出力する能力がある部品の集積体である。複数の触覚出力デバイス又は異なるサイズの触覚出力デバイスは、個別か、又は同時に作動される、振動周波数の範囲を提供するために用いられる。
さまざまな実施形態にあって、一つ以上の触覚出力デバイスが電子デバイスと、無線又は有線通信を介して直接的又は間接的に交信する。一具現化例にあって、電子デバイスは、車両内に置かれることができ、又は車両に統合されることができ、さらに一つ以上の触覚デバイスは、車両内に取り付けられる。例えば、一つ以上の触覚出力デバイスは、車両の座席、ハンドル、ペダルなどに埋め込まれることができる。いくつかの実施形態にあって、触覚出力デバイス118を有することに代えて、又は触覚出力デバイス118を有することに加えて、システム100は一つ以上の他の出力デバイスを有する。例えば、システム100は、一つのスピーカ及び/又はディスプレイを有してもよい。一実施形態にあって、システム100は、一つ以上の触覚出力デバイス、一つ以上のスピーカ、さらには一つ以上のディスプレイを有する。多数の他の実施形態が本明細書にあって開示され、バリエーションがこの開示の範囲内にある。
さまざまな実施形態にあって、一つ以上の触覚出力デバイスが電子デバイスと、無線又は有線通信を介して直接的又は間接的に交信する。一具現化例にあって、電子デバイスは、車両内に置かれることができ、又は車両に統合されることができ、さらに一つ以上の触覚デバイスは、車両内に取り付けられる。例えば、一つ以上の触覚出力デバイスは、車両の座席、ハンドル、ペダルなどに埋め込まれることができる。いくつかの実施形態にあって、触覚出力デバイス118を有することに代えて、又は触覚出力デバイス118を有することに加えて、システム100は一つ以上の他の出力デバイスを有する。例えば、システム100は、一つのスピーカ及び/又はディスプレイを有してもよい。一実施形態にあって、システム100は、一つ以上の触覚出力デバイス、一つ以上のスピーカ、さらには一つ以上のディスプレイを有する。多数の他の実施形態が本明細書にあって開示され、バリエーションがこの開示の範囲内にある。
様々な実施形態にあって、一つ以上の触覚効果が多くの方法によって発生されるか、又は多くの方法の合成によって発生される。例えば、一具現化例にあって、偏芯質量を回転することにより、又は質量を線形に発振することにより、一つ以上の振動が触覚効果を発生するために用いられる。いくつかの実施形態にあって、触覚効果は振動を全ての電子デバイスに伝えるため、又は電子デバイスの一面のみ、又は電子デバイスの制限された一部のみに伝えるために発生される。他の実施形態にあって、可動している部品に制動を供給することのような、部品の動きに抵抗を与えることのような、又はトルクを与えることのような、二つ以上の部品の間の摩擦、少なくとも一つの部品と少なくとも一つの接触との間の摩擦が触覚効果を発生するために用いられる。振動効果を発生するために、多くのデバイスが、いくつかのタイプのアクチュエータ及び/又は他の触覚出力デバイスを使用する。この目的のために用いられる周知の触覚出力デバイスは、偏芯質量がモータによって動かされる偏芯回転質量(「ERM」)、スプリングに取り付けられた質量が前後に駆動される線形共振アクチュエータ(「LRA」)、又はピエゾエレクトリック、エレクトロアクティブポリマ又は形状記憶合金のような「スマート材料」を備える。
他の具現化例にあって、一つ以上の部品の変形が触覚効果を発生するために用いられる。例えば、一つ以上の触覚効果は、表面の形状、又は表面の摩擦係数を変えることで出力される。一具現化例にあって、一つ以上の触覚効果は、表面上の摩擦を変えるように用いられる静電気力及び/又は超音波力を形成することによって発生される。他の具現化例にあって、スマートジェルを含む一つ以上のエリアのような、透明な変形素子のアレイが触覚効果を発生するために用いられる。触覚出力デバイスはさらに、静電気摩擦(ESF)、超音波表面摩擦(USF)、又は超音波触覚変換器により音響放射圧力を生じるようなデバイス、非機械的又は非振動デバイス、又は触覚基板及び柔軟又は変形可能な表面を用いるデバイス、又はエアジェットを用いる吹きだすエアのような噴射される(projected)触覚効果を提供するデバイスを広範囲に含む。いくつかの実施形態にあって、触覚効果は運動感覚効果である。米国特許出願第13/092,484号明細書は、一つ以上の触覚効果が発生される方法を記載し、さらにさまざまな触覚出力デバイスを記載している。米国特許出願第13/092,484号明細書は、2011年4月22日に出願されており、本明細書に援用される。
様々なタイプの入力合成方法が、制限されるものではないが、以下の表2に示される合成方法の例を含む、一つ以上の触覚効果信号用のインタラクションパラメータを生成するために用いられるのが認識されるであろう。ドライブ信号は、インタラクションパラメータに基づいて触覚アクチュエータに適用される。多数の他の実施形態がここにおいて開示され、さらにバリエーションがこの開示の範囲内にて存在する。
表2−合成方法
−加法合成−入力を結合すること、典型的に振幅を変化すること
−減法合成−複合信号又は複数信号入力のフィルタリングすること
−周波数変調合成−一以上のオペレータによる搬送波信号を変調すること
−サンプリング−変更されることがある入力ソースとして記録された入力を用いること
−混合合成−結果として「新しい」入力を確立するための人工的及びサンプルされた入力を用いること
−位相歪−再生の間、複数の波形テーブルに格納された波形の速度を変えること
−波形整形−変更された結果を作り出すために信号を故意に変形すること
−再合成−再生前にサンプルされた入力をデジタル的に変更すること
−粗合成−いくつかの小さな入力セグメントを新しい入力に結合すること
−線形予測符号化−スピーチ合成用に用いられるのと同じような技術
−直接デジタル合成−発生された波形のコンピュータによる変更
−ベクトル合成−不特定多数の異なる入力源の間のフェーディング技術
−物理モデル−仮想動きの物理的特徴の数学的な等式
表2−合成方法
−加法合成−入力を結合すること、典型的に振幅を変化すること
−減法合成−複合信号又は複数信号入力のフィルタリングすること
−周波数変調合成−一以上のオペレータによる搬送波信号を変調すること
−サンプリング−変更されることがある入力ソースとして記録された入力を用いること
−混合合成−結果として「新しい」入力を確立するための人工的及びサンプルされた入力を用いること
−位相歪−再生の間、複数の波形テーブルに格納された波形の速度を変えること
−波形整形−変更された結果を作り出すために信号を故意に変形すること
−再合成−再生前にサンプルされた入力をデジタル的に変更すること
−粗合成−いくつかの小さな入力セグメントを新しい入力に結合すること
−線形予測符号化−スピーチ合成用に用いられるのと同じような技術
−直接デジタル合成−発生された波形のコンピュータによる変更
−ベクトル合成−不特定多数の異なる入力源の間のフェーディング技術
−物理モデル−仮想動きの物理的特徴の数学的な等式
別の実施形態にあって、一つ以上の触覚出力デバイス118が装着可能な触覚デバイス(例えば、リストバンド、ベルト、又はシャツ)を実現するために用いられる。他の実施形態にあって、一つ以上の触覚出力デバイス118が椅子又は長椅子(ソファ)のような触覚的に動作可能な家具を実現するために用いられる。
前述したように、図1Aの実施形態のシステム100は、ホームエンタティンメントシステムである。例えば、図1Bに描かれた一実施形態にあって、システム100は、テレビジョン(ディスプレイ116)、A/V受信機122、複数スピーカ120、リモートコントローラ114、及び触覚的に動作可能な長椅子124を備える。A/V受信機122はプロセッサ110、メモリ112、及びメモリ122を備える。ユーザ入力デバイス114は、A/V受信機122のプロセッサ110と通信するリモートコントローラを備える。A/V受信機はメモリ112に常駐するマルチメディアコンテンツ又はネットワークインターフェースを介して受信されるマルチメディアコンテンツを再生するように動作する。一実施形態にあって、マルチメディアコンテンツを再生するに際し、ビデオ信号をディスプレイ116に送信してビデオを表示させ、かつオーディオ信号をスピーカに送信してオーディオを再生させるプロセッサ110を備えることは当技術分野にて周知である。他の実施形態にあって、マルチメディアコンテンツを再生するに際し、触覚信号を触覚的に動作可能な長椅子124の触覚出力デバイス118に送信し、視聴者が座る長椅子に触覚効果を出力させることもできる。
他の実施形態にあって、システム100はプロセッサ110と交信する複数センサを備える。一実施形態にあって、システム100は、視聴者の情報を検出するために一つ以上のセンサを用いるように構成される。例えば、システム100は、視聴者の場所、位置、動き及び/又は視聴者の生物測定学情報を検出するように構成される。例えば、リモートコントローラ114は、A/V受信機122からリモートコントローラ114までの距離を検出するように構成される近接センサを備える。そのような具現化例にあって、リモートコントローラ114は検出した距離情報をA/V受信機122のプロセッサ110に送信するように構成される。他の実施形態にあって、システム100はさらにカメラ及びビデオカメラによって撮影されたビデオに基づいて視聴者情報を判断するソフトウェアを備えてもよい。他の実施形態にあって、装着可能なデバイス(例えば、装着可能な触覚デバイス)は、A/V受信機122から装着可能なデバイスを装着している視聴者までの距離を検出し、かつA/V受信機122のプロセッサ110にその検出した距離情報を送信するように構成される一つ以上の近接センサを備える。いくつかの実施形態にあって、システム100の装着可能なデバイスは動きを検出するため、さらに検出した動きをA/V受信機122のプロセッサ110に送信するように構成された複数センサ(例えば加速度計)を備えてもよい。このような情報に基づいて、プロセッサ110は、当業者によって周知の方法に基づいてシステム100のユーザの動きを判断してもよい。他の実施形態にあって、システム100の装着可能なデバイスは、視聴者の、心拍数又は体温のような生物測定学的情報を検出するように構成される複数センサを備える。システム100は、その後、視聴者のストレスレベル及び/又はマルチメディアコンテンツが再生されたときの視聴者の不随意の肉体反応を判断するために生物測定学的データを分析する。
他の具現化例にあって、一つの家具(例えば、触覚的に動作可能な長椅子124)は、システム100の一人以上のユーザの存在及び動きを検出するための複数センサを備える。例えば、圧力センサは、触覚的に動作可能な長椅子124のさまざまな位置に配置され、さらにA/V受信機122のプロセッサ110に検出した圧力情報を送信するように構成され、圧力センサによって検出された圧力の変化に基づいて、ユーザが長椅子124に座っているのかさらにはどのように座っているのか、同様にユーザの動きはどうかを当業者によって周知の方法に基づいてシステム110に検出させるように構成される。さらに、本開示は、システム100のユーザの位置及び/又は動きを検出するための、全てのセンサ及び当業者によって周知の方法を意図している。
補足情報
ここで、図2A−2Hを参照して、補足情報について説明する。本開示の目的のため、補足情報は、マルチメディアコンテンツ(例えば、オーディオ及び/又はビデオ信号、フィルタ、又はオーディオ及び/又はビデオの他の形式)に対応する情報である。いくつかの実施形態にあって、補足情報は、サブタイトル、クローズドキャプションデータ(サブタイトルを含む)、スクリプト、又はメタデータタグのような一般的なマルチメディアコンテンツを表現する。他の実施形態にあって、補足情報は、注釈又は視聴者からの、マルチメディアコンテンツの全体又は特定の時間に適用されるビデオについての視聴者からのコメント(例えばオンラインビデオウェブサイトのメンバーによって掲載されたコメント)であってもよい。補足情報は異なる実施形態にあって多くの態様を採り、さらにタイトル又はチャプター情報のような、他のタイプの情報を含んでもよい。補足情報は、単一のマルチメディアファイル、A/Vファイル、ビデオファイル、又はオーディオファイルとして言及される様々な実施形態における、マルチメディアコンテンツに含まれ(埋め込まれる)。
ここで、図2A−2Hを参照して、補足情報について説明する。本開示の目的のため、補足情報は、マルチメディアコンテンツ(例えば、オーディオ及び/又はビデオ信号、フィルタ、又はオーディオ及び/又はビデオの他の形式)に対応する情報である。いくつかの実施形態にあって、補足情報は、サブタイトル、クローズドキャプションデータ(サブタイトルを含む)、スクリプト、又はメタデータタグのような一般的なマルチメディアコンテンツを表現する。他の実施形態にあって、補足情報は、注釈又は視聴者からの、マルチメディアコンテンツの全体又は特定の時間に適用されるビデオについての視聴者からのコメント(例えばオンラインビデオウェブサイトのメンバーによって掲載されたコメント)であってもよい。補足情報は異なる実施形態にあって多くの態様を採り、さらにタイトル又はチャプター情報のような、他のタイプの情報を含んでもよい。補足情報は、単一のマルチメディアファイル、A/Vファイル、ビデオファイル、又はオーディオファイルとして言及される様々な実施形態における、マルチメディアコンテンツに含まれ(埋め込まれる)。
図2Aは本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ200は、マルチメディアファイル201を含む。本実施形態にあって、マルチメディアファイル201はマルチメディアコンテンツ202(ビデオ)及び、マルチメディアコンテンツ202に対応するサブタイトル/クローズドキャプションデータの形式の補足情報を含むビデオファイルである。一実施形態にあって、サブタイトル/クローズドキャプションデータ204は、マルチメディアコンテンツ202によって視覚的に描写される複数シーン及び/又は複数イベントを記述するテキスト、マルチメディアコンテンツ202のオーディオにて聞かれる音を説明するテキスト、及び/又はマルチメディアコンテンツ202のオーディオにて聞こえるスピーチの言葉どおりの引用文を含む。
図2Bは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ200は、マルチメディアファイル201を含む。本実施形態にあって、マルチメディアファイル201はマルチメディアコンテンツ202(ビデオ)及び、マルチメディアコンテンツ202に対応するタグ208及びスクリプト206の形式の補足情報を含むビデオファイルである。マルチメディアコンテンツ用のタグは、タイトル、演奏者/作家、ジャンルデータ、レーティング(rating)、及び/又は、マルチメディアコンテンツの特徴、内容又は由来を記述する他のデータ(例えば評論家又は他の視聴者からのレビュー、映画に用いられる音楽のリスト)を含む。一つの周知の具体例は、MP3ファイルによく用いられるメタデータコンテナである、ID3タグである。他の実施形態にあって、タグデータは、マルチメディアコンテンツの配給者によって定義される。さらに他の実施形態にあって、タグデータは、マルチメディアコンテンツの購買者及び/又は受取人によって定義される。そのような実施形態にあって、タグは作家、配給者、及び/又は受取人によって生成される。
図2Cは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ200は、マルチメディアファイル201を含む。本実施形態にあって、マルチメディアファイル201はマルチメディアコンテンツ202(オーディオ)及び、マルチメディアコンテンツ202に対応するタグ208の形式の補足情報を含むオーディオファイルである。
図2Dは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ200は、マルチメディアファイル201及び補足情報ファイル210を含む。本実施形態にあって、マルチメディアファイル201はマルチメディアコンテンツ202(ビデオ)及び、マルチメディアコンテンツ202に対応するタグ208の形式の補足情報を含むビデオファイルである。本実施形態にあって、補足情報ファイル210は、マルチメディアコンテンツ201に対応するサブタイトル/クローズドキャプションデータ204の形式の補足情報を含む。一実施形態にあって、補足情報ファイル210は、マルチメディアファイル201が常駐するのと同じメモリ(例えば、メモリ112)に常駐する。他の実施形態にあって、補足情報ファイル202はシステム100によってインターネットのようなネットワークを介してアクセス可能な遠隔サーバに常駐する。他の実施形態にあって、マルチメディアファイル201に対応する補足情報ファイル210は、タグ208に保持される情報(例えば、映画の名称、歌の名称、識別コード、又は識別のための他の情報)に基づいて遠隔サーバから検索される。
図2Eは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ200は、マルチメディアファイル201及び補足情報ファイル210を含む。本実施形態にあって、マルチメディアファイル201はマルチメディアコンテンツ202(ビデオ)及び、マルチメディアコンテンツ202に対応するサブタイトル/クローズドキャプションデータ204の形式の補足情報を含むビデオファイルである。本実施形態にあって、補足情報ファイル210は、マルチメディアコンテンツ201に対応するタグデータ208の形式の補足情報を含む。一実施形態にあって、補足情報ファイル210は、マルチメディアファイル201が常駐するのと同じメモリ(例えば、メモリ112)に常駐する。他の実施形態にあって、補足情報ファイル202はシステム100によって、インターネットのようなネットワークを介してアクセス可能な遠隔サーバに常駐する。一実施形態にあって、マルチメディアファイル201に対応する補足情報ファイル210は、マルチメディアファイル201における情報(例えば、メタデータ、ファイルネーム)に基づいて遠隔サーバから検索される。
図2Fは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ200は、マルチメディアファイル201を含む。本実施形態にあって、マルチメディアファイル201はマルチメディアコンテンツ202(ビデオ)及び、マルチメディアコンテンツ202に対応するチャプターデータ212の形式の補足情報を含むビデオファイルである。一実施形態にあって、チャプターデータ212は、マルチメディアコンテンツ202のチャプタータイトル及び各チャプターが始まる時間を含む。
図2Gは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ200は、マルチメディアファイル201を含む。本実施形態にあって、マルチメディアファイル201はマルチメディアコンテンツ202(ビデオ)を含むビデオファイルである。本実施形態にあって、補足情報ファイル210は、マルチメディアコンテンツ202に対応するユーザコメント214の形式の補足情報を含む。一実施形態にあって、補足情報ファイル210は、マルチメディアファイル201が常駐するのと同じメモリ(例えば、メモリ112)に常駐する。他の実施形態にあって、補足情報ファイル202はシステム100によって、インターネットのようなネットワークを介してアクセス可能な遠隔サーバに常駐する。一実施形態にあって、マルチメディアファイル201に対応する補足情報ファイル210は、マルチメディアファイル201における情報(例えば、メタデータ、ファイルネーム)に基づいて遠隔サーバから検索される。一実施形態にあって、ユーザコメント214は、視聴者からの、マルチメディアコンテンツ202の全体又は特定の時間に適用されるビデオについての視聴者からのコメント(例えばオンラインビデオウェブサイトのメンバーによって掲載されたコメント)であってもよい。
図2Hは、本開示の一実施形態に係るマルチメディアデータのブロック図である。この実施形態にあって、マルチメディアデータ200は、マルチメディアファイル201を含む。本実施形態にあって、マルチメディアファイル201はマルチメディアコンテンツ202(ビデオ)を含むビデオファイルである。本実施形態にあって、補足情報ファイル210は、マルチメディアコンテンツ202に対応するユーザによって提供された触覚キーワード/フレーズ216の形式の補足情報を含む。一実施形態にあって、補足情報ファイル210は、マルチメディアファイル201が常駐するのと同じメモリ(例えば、メモリ112)に常駐する。他の実施形態にあって、補足情報ファイル202はシステム100によって、インターネットのようなネットワークを介してアクセス可能な遠隔サーバに常駐する。一実施形態にあって、マルチメディアファイル201に対応する補足情報ファイル210は、マルチメディアファイル201における情報(例えば、メタデータ、ファイルネーム)に基づいて遠隔サーバから検索される。一実施形態にあって、ユーザによって提供された触覚キーワード/フレーズ216は、マルチメディアコンテンツ202用に発生された触覚トラックを向上又は修正するためのウェブサイトのユーザによって提供される。一実施形態にあって、ユーザによって提供された触覚キーワード/フレーズ216は、マルチメディアコンテンツ202のチャプター又は一部に適用される。さらに、他の実施形態にあって、ユーザによって提供された触覚キーワード/フレーズ216は、マルチメディアコンテンツ202の再生の間、特別な時間のポイントに適用される。
例示のシステムの動作
図3は、補足情報に基づいて触覚効果を提供するための方法の具現化例を説明するためのフローチャートである。図3のステップ304に包含される、図4は、補足情報に基づいて触覚効果を提供するための方法の具現化例を説明するフローチャートである。いくつかの実施形態にあって、図3及び4のステップは、例えば一般的な目的のコンピュータ、移動端末、又はサーバにおけるプロセッサのような、プロセッサによって実行されるプログラムコードにて実行される。いくつかの実施形態にあって、これらのステップは、例えば、移動端末のプロセッサ、一つ以上の、サーバのような一般的な目的のコンピュータの複数プロセッサのような、プロセッサのグループによって実行される。各ステップがどのように実行されるのかを理解するのを支援するため、図1A及び1Bに示されるシステム100の例示的なブロック図に関連して、以下の説明が提供される。しかし、本開示に関連する実施形態は、他の実施形態にて実行されてもよい。
図3は、補足情報に基づいて触覚効果を提供するための方法の具現化例を説明するためのフローチャートである。図3のステップ304に包含される、図4は、補足情報に基づいて触覚効果を提供するための方法の具現化例を説明するフローチャートである。いくつかの実施形態にあって、図3及び4のステップは、例えば一般的な目的のコンピュータ、移動端末、又はサーバにおけるプロセッサのような、プロセッサによって実行されるプログラムコードにて実行される。いくつかの実施形態にあって、これらのステップは、例えば、移動端末のプロセッサ、一つ以上の、サーバのような一般的な目的のコンピュータの複数プロセッサのような、プロセッサのグループによって実行される。各ステップがどのように実行されるのかを理解するのを支援するため、図1A及び1Bに示されるシステム100の例示的なブロック図に関連して、以下の説明が提供される。しかし、本開示に関連する実施形態は、他の実施形態にて実行されてもよい。
ステップ302にて開始されると、システム100のプロセッサ110は、マルチメディアデータ200を受信する。一実施形態にあって、マルチメディアデータ200は、メモリ112に常駐しているマルチメディアファイル201であり、さらにマルチメディアデータ200はオペレーティングシステムの動作(例えば、ファイルシステムに発行されるコマンドのオープン/読み取り)に応じて受信される。他の実施形態にあって、マルチメディアデータ200はネットワークインターフェース122を介してネットワーク結合を通してストリームされ、さらにシステム110にバッファされる。本開示の実施形態は、インターネットにわたる任意の数のサーバからのストリーミング及び企業のイントラネット又はホームネットワーク内のサーバからのストリーミングを含む、全てのネットワーク結合(例えば、Wi−Fi,Ethernet(登録商標)、有線モデム、無線モデムなど)及び当業者によって周知のストリーミングのコンテンツのソース及び方法を意図している。他の実施形態にあって、マルチメディアデータ200は、インターネットのようなネットワークを介してダウンロードされ、さらにメモリ112に格納される。
いくつかの実施形態にあって、マルチメディアコンテンツ202及び補足情報422(まとめて「マルチメディアデータ」)は、単一のファイル又はデータストリームに保持される。しかし、他の実施形態にあって、マルチメディアコンテンツ202及び補足情報422は別のファイルであってもよい。前述のように、そのような一つの実施形態にあって、マルチメディアコンテンツ202と補足情報422は、異なる場所に常駐される。例えば、一具現化例にあって、マルチメディアコンテンツ202はシステム100のメモリに常駐され、対応する補足情報422はインターネットのようなネットワーク上のアクセス可能なサーバに常駐される。マルチメディアコンテンツ202が分析及び/又は再生のためにアクセスされるやいなや、システム100は前記ネットワーク上のアクセス可能なサーバから対応する補足情報を検索し、検索した補足情報を前記サーバからメモリ112にロードする。他の具現化例にあって、マルチメディアコンテンツ202及び補足情報422は、インターネットのようなネットワークを介してアクセス可能な別々のサーバに常駐されてもよい。さらに別の実施形態にあって、マルチメディアコンテンツ202及び補足情報422は、同一のサーバ上の異なるファイルに常駐されてもよい。そのような実施形態にあって、システム100は一つのサーバからストリーミング仕様にてマルチメディアコンテンツ202を受信し、マルチメディアコンテンツ202が常駐するサーバから補足情報422をダウンロードする。さらに他の実施形態にあって、マルチメディアファイル201は補足情報422を含み、さらに対応する補足情報ファイル210は付加的な補足情報422を含む。
ステップ304にあって、マルチメディアコンテンツ202の再生の間に、出力される触覚効果が少なくとも補足情報422の一部に基づいて判断される。本開示によれば、補足情報422は、マルチメディアコンテンツ202の再生の間に、出力される触覚効果を判断するために用いられるが、以下の3つの主要な技術を用いる。1)複数キーワード又はフレーズに基づいて出力される触覚効果を識別すること、2)自動的にオーディオ及び/又はビデオイメージを触覚化するための複数アルゴリズム/プロセスに文脈情報(contextual information;コンテキスチャル情報)を提供すること、及び3)補足情報422に基づいて触覚テーマを識別することと、である。一実施形態にあって、これらの各技術は、補足情報422内の複数ワード及び/又はフレーズを、触覚効果識別情報、文脈(context;コンテキスト)識別情報及び/又は触覚テーマ情報にマップされる複数キーワード及び/又はフレームの一つ以上のリスト又はデータベース(これ以降、「キーワードデータベース」という)と比較することによって補足情報422を分析することを含む。一実施形態にあって、前記リスト又はデータベースは、特有の複数キーワード及び/又はフレーズが全てのタイプの補足情報422に適用可能であるか否かを示す情報(例えば、サブタイトル/クローズドキャプションデータ204、スクリプト206、及び/又はタグ208)、又はそれらのサブセットを含んでいてもよい。他の実施形態にあって、補足情報422の特別のタイプに適用される複数キーワード又はフレーズの分離された複数リスト又はデータベースが用いられる。例えば、一実施形態にあって、複数キーワード及び/又はフレーズの第1データベースが、サブタイトル/クローズドキャプションデータ204、及び複数スクリプト206それぞれに用いられ、第2データベースが、複数タグ208それぞれに用いられる。
複数キーワード/フレーズに基づいて予め決められた触覚効果を識別すること
一実施形態にあって、触覚効果はサブタイトル/クローズドキャプションデータ204又はスクリプト206内に存在する複数キーワード/フレーズに基づいて識別される。そのような一実施形態にあって、サブタイトル/クローズドキャプションデータ204はエレメント412にて分析される。一具現化例にあって、サブタイトル/クローズドキャプションデータ204及び/又はユーザによって提供された触覚キーワード/フレーズ216は、ワード及び/又はフレーズをキーワードデータベースと比較することによって分析される。例えば、そのような具現化例にあって、サブタイトル/クローズドキャプションデータ204及び/又はユーザによって提供された触覚キーワード/フレーズ216を、キーワードデータベースと比較することで、「爆発」が存在することが明らかになると、それは、効果が消えるまでの時間にわたって消えていく、強烈な振動触覚のための触覚効果識別情報(爆発をまねる)にマップされる。他の具現化例にあって、サブタイトル/クローズドキャプションデータ204及び/又はユーザコメント214をキーワードデータベースと比較し、「銃撃」が存在することが明らかになると、それは、銃撃をまねた短時間における強烈な揺れ触覚効果の触覚識別情報にマップされる。他の実施形態にあって、サブタイトル/クローズドキャプションデータ204は、異なるシーンの背景にて再生する、シーンの特徴又はジャンルを示すソングタイトル/タイプを含み、さらにソングタイトル/タイプをキーワードデータベースと比較することは、特有の触覚効果のための触覚識別情報にマップされる各ソングタイトル/タイプ(又はそのサブセット)用のマッピングを明らかにする。いくつかの実施形態にあって、これらの触覚効果マッピングは、ユーザにシーンの特徴/ジャンルを伝えるために選択される。当業者は、マルチメディアファイル201の再生の間に出力される触覚効果を識別するために用いられる複数ワード又はフレーズが本開示によって提供される具体例を制限するものではなく、むしろ不特定多数のワード又はフレーズに広がることを理解できる。
一実施形態にあって、触覚効果はサブタイトル/クローズドキャプションデータ204又はスクリプト206内に存在する複数キーワード/フレーズに基づいて識別される。そのような一実施形態にあって、サブタイトル/クローズドキャプションデータ204はエレメント412にて分析される。一具現化例にあって、サブタイトル/クローズドキャプションデータ204及び/又はユーザによって提供された触覚キーワード/フレーズ216は、ワード及び/又はフレーズをキーワードデータベースと比較することによって分析される。例えば、そのような具現化例にあって、サブタイトル/クローズドキャプションデータ204及び/又はユーザによって提供された触覚キーワード/フレーズ216を、キーワードデータベースと比較することで、「爆発」が存在することが明らかになると、それは、効果が消えるまでの時間にわたって消えていく、強烈な振動触覚のための触覚効果識別情報(爆発をまねる)にマップされる。他の具現化例にあって、サブタイトル/クローズドキャプションデータ204及び/又はユーザコメント214をキーワードデータベースと比較し、「銃撃」が存在することが明らかになると、それは、銃撃をまねた短時間における強烈な揺れ触覚効果の触覚識別情報にマップされる。他の実施形態にあって、サブタイトル/クローズドキャプションデータ204は、異なるシーンの背景にて再生する、シーンの特徴又はジャンルを示すソングタイトル/タイプを含み、さらにソングタイトル/タイプをキーワードデータベースと比較することは、特有の触覚効果のための触覚識別情報にマップされる各ソングタイトル/タイプ(又はそのサブセット)用のマッピングを明らかにする。いくつかの実施形態にあって、これらの触覚効果マッピングは、ユーザにシーンの特徴/ジャンルを伝えるために選択される。当業者は、マルチメディアファイル201の再生の間に出力される触覚効果を識別するために用いられる複数ワード又はフレーズが本開示によって提供される具体例を制限するものではなく、むしろ不特定多数のワード又はフレーズに広がることを理解できる。
キーワードデータベースにて見つけられる各キーワード又はフレーズのため、プロセッサ110は、キーワードデータベースから対応する触覚効果識別情報を検索し、サブタイトル/クローズドキャプションデータ204におけるワード又はフレーズに対応するタイムスタンプに関連付ける。いくつかの実施形態にあって、プロセッサ110は、マルチメディアコンテンツ202の再生より以前に補足情報422を完全に分析する。そのような一実施形態にあって、プロセッサ110は、触覚効果識別情報及び対応するタイムスタンプを触覚トラック414の中に収集する。触覚トラック414は、当業者によって周知の方法にてマルチメディアコンテンツ202を含むマルチメディアファイル201の中に埋め込まれる。他の実施形態にあって、触覚トラック414はマルチメディアファイル201から分離された一つのファイルとしてメモリ(例えば、メモリ112)に蓄積される。さらに他の実施形態にあって、プロセッサ110がストリーミングを通してマルチメディアコンテンツ202を受信し、エレメント412にて、プロセッサ110がマルチメディアコンテンツの再生の間に補足情報422を分析し、一時的に触覚効果識別情報(例えば、触覚トラック414の一部)をメモリに一時的に蓄える。そのような一実施形態にあって、マルチメディアコンテンツ202の再生は、プロセッサに補足情報422の分析を実行させるに十分なほど遅延され、さらにマルチメディアコンテンツ202の再生の間、タイムリーな方法にて触覚効果の出力を開始する。
いくつかの実施形態にあって、サブタイトル/クローズドキャプションデータ204及び/又はスクリプトデータ206に存在するキーワードに基づいて識別される触覚効果の識別方法は、用いられる一つの技術である。そのような実施形態にあって、図4の適用可能なエレメントは、マルチメディアデータ200、補足情報422、エレメント412及び414、及び触覚トラック418である。以下に詳細に説明されるように、いくつかの実施形態にあって、二つの技術が連係して用いられてもよいし、他の具現化例にあっては、全部で三つの技術が連係して用いられてもよい。
自動化触覚化アルゴリズムにコンテキストを提供すること
いくつかの実施形態にあって、補足情報422は自動化された触覚化アルゴリズム(一つ以上のオーディオを触覚化するアルゴリズム406及び又は一つ上のビデオを触覚化するアルゴリズム408のような)にコンテキストを提供するために用いられ、出力する触覚効果を識別するために、マルチメディアコンテンツ202のオーディオトラック402及び/又はビデオトラック404を分析する。一実施形態にあって、イベント、シーンタイプ、及び又は一つのシーンにおけるエレメントの存在は、補足情報422におけるキーワードの存在に基づいて判断される。例えば、一実施形態にあって、エレメント412にて、プロセッサ110は、マルチメディアコンテンツ202に対応する補足情報422に含まれるワード又はフレーズのために、一つ以上のキーワードデータベースを探索する。キーワードデータベースにて見つけられた各キーワード又はフレーズにより、プロセッサ100は、可能であるならば、補足情報422にて対応するワード又はフレーズに対応するタイムスタンプに対応してコンテキスト識別情報を検索し、そのコンテキスト識別情報を、データ構造、ファンクションコール、メッセージ、又は当業者によって周知の他の手段によって一つ以上の自動化触覚化アルゴリズム(406及び又は408)に提供する。例えば、一実施形態での、補足情報422におけるワード「爆弾」は、全てのタイプの爆発用に用いられるコンテキスト識別情報にマップされるので、それによって、爆発を探すために自動化触覚化アルゴリズム(406及び/又は408)を通知する。他の実施形態にあって、マルチメディアコンテンツ202に埋め込まれるタグ208のジャンルフィールドにおけるワード「犯罪」又はタグ208のレィティングフィールドにおけるワード「暴力」は、銃撃の認識、自動車の追跡に関連するイベント(例えば、キィーキィーなるタイヤ、衝突)、及び/又は他の犯罪に関するイベントを優先させるため、自動化触覚化アルゴリズム(406及び/又は408)を指示するのに用いられるコンテキスト識別情報にマップする。他の実施形態にあって、補足情報422におけるワード「サクスホン」は、サクスホン又は類似の楽器演奏の認識を優先させるため、自動化触覚化アルゴリズム(406及び/又は408)を指示するのに用いられるコンテキスト識別情報にマップされる。他の具現化例にあって、検出されたキーは、マルチメディアコンテンツ202のサブセット(例えば、特定のシーン又は映画のシーン)用に、コンテキストを自動化触覚化アルゴリズム(406及び/又は408)に提供するのに用いられる。自動化アルゴリズムをコンテキスチャル情報に学習させることは、オーディオ及び/又はビデオにおいてどんなパターン又はイベントを探すのかを優先させることによって、効率性及び正確性の両方を処理することを助ける。つまり、イベントのアルゴリズムの認識に基づいて、アルゴリズムによって出力される対応する触覚効果のタイミング及び正確性が向上される。当業者は、自動化触覚化アルゴリズムにコンテキストを提供するために用いられるワード又はフレーズが、本開示によって提供される実施形態によって制限されるものではなく、むしろどのようなイベント又はエレメントがマルチメディアコンテンツ202に存在するかについての手がかりを提供するワード又はフレーズにまで拡張するのを認識できる。
いくつかの実施形態にあって、補足情報422は自動化された触覚化アルゴリズム(一つ以上のオーディオを触覚化するアルゴリズム406及び又は一つ上のビデオを触覚化するアルゴリズム408のような)にコンテキストを提供するために用いられ、出力する触覚効果を識別するために、マルチメディアコンテンツ202のオーディオトラック402及び/又はビデオトラック404を分析する。一実施形態にあって、イベント、シーンタイプ、及び又は一つのシーンにおけるエレメントの存在は、補足情報422におけるキーワードの存在に基づいて判断される。例えば、一実施形態にあって、エレメント412にて、プロセッサ110は、マルチメディアコンテンツ202に対応する補足情報422に含まれるワード又はフレーズのために、一つ以上のキーワードデータベースを探索する。キーワードデータベースにて見つけられた各キーワード又はフレーズにより、プロセッサ100は、可能であるならば、補足情報422にて対応するワード又はフレーズに対応するタイムスタンプに対応してコンテキスト識別情報を検索し、そのコンテキスト識別情報を、データ構造、ファンクションコール、メッセージ、又は当業者によって周知の他の手段によって一つ以上の自動化触覚化アルゴリズム(406及び又は408)に提供する。例えば、一実施形態での、補足情報422におけるワード「爆弾」は、全てのタイプの爆発用に用いられるコンテキスト識別情報にマップされるので、それによって、爆発を探すために自動化触覚化アルゴリズム(406及び/又は408)を通知する。他の実施形態にあって、マルチメディアコンテンツ202に埋め込まれるタグ208のジャンルフィールドにおけるワード「犯罪」又はタグ208のレィティングフィールドにおけるワード「暴力」は、銃撃の認識、自動車の追跡に関連するイベント(例えば、キィーキィーなるタイヤ、衝突)、及び/又は他の犯罪に関するイベントを優先させるため、自動化触覚化アルゴリズム(406及び/又は408)を指示するのに用いられるコンテキスト識別情報にマップする。他の実施形態にあって、補足情報422におけるワード「サクスホン」は、サクスホン又は類似の楽器演奏の認識を優先させるため、自動化触覚化アルゴリズム(406及び/又は408)を指示するのに用いられるコンテキスト識別情報にマップされる。他の具現化例にあって、検出されたキーは、マルチメディアコンテンツ202のサブセット(例えば、特定のシーン又は映画のシーン)用に、コンテキストを自動化触覚化アルゴリズム(406及び/又は408)に提供するのに用いられる。自動化アルゴリズムをコンテキスチャル情報に学習させることは、オーディオ及び/又はビデオにおいてどんなパターン又はイベントを探すのかを優先させることによって、効率性及び正確性の両方を処理することを助ける。つまり、イベントのアルゴリズムの認識に基づいて、アルゴリズムによって出力される対応する触覚効果のタイミング及び正確性が向上される。当業者は、自動化触覚化アルゴリズムにコンテキストを提供するために用いられるワード又はフレーズが、本開示によって提供される実施形態によって制限されるものではなく、むしろどのようなイベント又はエレメントがマルチメディアコンテンツ202に存在するかについての手がかりを提供するワード又はフレーズにまで拡張するのを認識できる。
いくつかの実施形態にあって、プロセッサ110は、エレメント412にて、コンテキスト識別情報を判断するために補足情報422を完全に分析し、その後、コンテキスト識別情報を用いて自動化触覚化アルゴリズム406及び/又は408をオーディオトラック402及び/又はビデオトラック404を処理するために用い、マルチメディアコンテンツ202の再生より前に触覚トラック410を生成する。一つのそのような実施形態にあって、プロセッサ110は、自動化触覚化アルゴリズムによって発生された触覚トラック410を当業者によって周知である方法によってマルチメディアコンテンツ202を含むマルチメディアファイル201に埋め込む。他の実施形態にあって、触覚トラック410は、メモリ(例えば、メモリ112)にマルチメディアファイル201から分離されたファイルとして格納される。さらに別の実施形態にあって、特に、プロセッサ110がストリーミングを介してマルチメディアコンテンツ202を受信すると、プロセッサ110は補足情報422を分析し、さらにマルチメディアコンテンツ202の再生の間、前述したように、自動化触覚化アルゴリズム(406及び/又は408)を実行し、さらにメモリ112のようなメモリにおける触覚トラック410の発生された部分を一時的に蓄積する。そのような一実施形態にあって、マルチメディアコンテンツ202の再生は、プロセッサ110に補足情報422の分析及び、前述したようにマルチメディアコンテンツ202の再生の間、タイムリーな方法にて触覚効果の出力を開始する時間にあって触覚トラック410の一部を生成するために、自動化触覚化アルゴリズム(406及び/又は408)の実行をさせるに十分なほどに、遅延される。
いくつかの実施形態にあって、補足情報422から見出された文脈(コンテキスチャル(contextual))情報は触覚化が望まれないようなイベントに対応して触覚化されるのを避けるか、又は触覚効果の強度を減衰させるのに用いられる。例えば、いくつの実施形態にあって、サブタイトル/クローズドキャプションデータ204における「笑い」の存在は、笑うこと又は、ほくそ笑むことを探すために一つ以上の自動化触覚化アルゴリズム(406及び/又は408)に知らせるために用いられ、そのイベントのために触覚効果が出力されるのを避けさせる。同様に、他の実施形態にあって、サブタイトル/クローズドキャプションデータ204における「音楽」の存在は、様々な楽器の演奏及び/又は歌うことを探すために一つ以上の自動化された触覚化アルゴリズム(406及び/又は408)に知らせるために用いられ、対応する触覚効果の出力を引き起こすことを避ける。他の実施形態にあって、タグ208における歌のリストが、探すため及びリストされた歌の再生の触覚化を避けるために、自動化された触覚アルゴリズム406を知らせるために用いられる。
いくつかの実施形態にあって、一つ以上の自動化触覚化アルゴリズム(406び/又は408)に文脈(コンテキスト(context))識別情報を提供するために補足情報422を分析するための方法は、使用される一つの技術である。そのような実施形態にあって、図4の適用可能なエレメントは、マルチメディアデータ200(オーディオトラック402及び/又はビデオトラック404を含む)、補助情報422、一つ以上の自動化触覚化アルゴリズム(406及び/又は408)、エレメント412、及び触覚トラック410である。
いくつかの実施形態にあって、キーワードに直接的に基づいて出力される触覚効果を識別する技術と、補助情報422から見出されるコンテキスチャル情報を自動化触覚化アルゴリズム(406及び/又は408)に触覚トラックの自動的な生成のために提供する技術の両方が使用される。そのような一実施形態にあって、プロセッサ110は合成された触覚トラック418を生成するために生成された触覚トラック410と触覚トラック414とを自動的に合成する。そのような一実施形態にあって、プロセッサ110は、触覚トラック414から見出された触覚効果を触覚トラック410に直接的に挿入するように動作し、さらに必要であれば、矛盾する自動発生触覚効果を自動的に発生された触覚トラック410から除去し、合成トラック418にする。
触覚テーマ
いくつかの実施形態にあって、補足情報422は、マルチメディアコンテンツ202の再生の間に出力される触覚効果に適用される触覚テーマ、又はマルチメディアコンテンツ202のあるシーン又は一部に適用される触覚テーマを判断するために用いられる。例えば、プロセッサ110の一具現化例は、エレメント412にて、マルチメディアコンテンツ202のために、補足情報422に含まれるワード又はフレーズを一つ以上のキーワードデータベースから探索する。キーワードデータベースから見つけられた各キーワード又はフレーズのため、プロセッサ110はキーワードデータベースから触覚テーマ情報を検索し、マルチメディアコンテンツの全体又は特定のシーンに関連付け、それによって適用される一つ以上の触覚テーマ416を発生する。例えば、一実施形態にあって、タグ208のジャンルフィールドをキーワードデータベースと比較することは、「アクション」がそれぞれに存在することを明らかにし、さらにビデオの再生中に出力される触覚効果の全体の強度又はライブラリがデフォルトレベルを超えて増加することを指示する触覚テーマ情報にその「アクション」がマップされることを明らかにする。他の具現化例にあって、スクリプト206とキーワードデータベースとを比較することは、フレーズ「あなたを愛する」がそれぞれに存在することを明らかにし、さらにビデオの再生中に出力される触覚効果の全体の強度がデフォルトレベルを下回って減少することを指示する触覚テーマ情報にそのフレーズがマップされることを明らかにする。別の実施形態にあって、チャプターデータ212とキーワードデータベースとを比較することは、フレーズ「賞賛」がチャプターデータ212とキーワードデータベースに存在することを明らかにし、さらにビデオの再生中に出力される触覚効果の全体の強度が、マルチメディアコンテンツ202のチャプター1の再生の間、デフォルトレベルをわずかに超えることを指示する触覚テーマ情報にそのフレーズがマップされることを明らかにする。他の実施形態にあって、識別される触覚テーマ416は、ファイナル触覚トラック420を生成するために合成触覚トラック418に適用される。さらに他の実施形態にあって、一つ以上の識別された触覚テーマ416は、前述された二つの技術の一つのみを用いて発生される触覚トラックに適用されてもよい。そのような実施形態にあって、一つ以上の識別された触覚テーマ416は、ファイナル触覚トラック420を生成するために触覚トラック414又は触覚トラック410に適用される。一具現化例にあって、プロセッサ110は、ファイナル触覚トラック420を当業者によって周知の方法によってマルチメディアコンテンツ202を含むマルチメディアデータ200に埋め込む。別の実施形態にあって、触覚トラック420は、メモリ(例えばメモリ112)に、マルチメディアファイル201から分離されたファイルとして格納される。ストリーミングを含むいくつかの実施形態にあって、識別された触覚テーマ416は生成されたときに触覚トラックの一部に適用される。
いくつかの実施形態にあって、補足情報422は、マルチメディアコンテンツ202の再生の間に出力される触覚効果に適用される触覚テーマ、又はマルチメディアコンテンツ202のあるシーン又は一部に適用される触覚テーマを判断するために用いられる。例えば、プロセッサ110の一具現化例は、エレメント412にて、マルチメディアコンテンツ202のために、補足情報422に含まれるワード又はフレーズを一つ以上のキーワードデータベースから探索する。キーワードデータベースから見つけられた各キーワード又はフレーズのため、プロセッサ110はキーワードデータベースから触覚テーマ情報を検索し、マルチメディアコンテンツの全体又は特定のシーンに関連付け、それによって適用される一つ以上の触覚テーマ416を発生する。例えば、一実施形態にあって、タグ208のジャンルフィールドをキーワードデータベースと比較することは、「アクション」がそれぞれに存在することを明らかにし、さらにビデオの再生中に出力される触覚効果の全体の強度又はライブラリがデフォルトレベルを超えて増加することを指示する触覚テーマ情報にその「アクション」がマップされることを明らかにする。他の具現化例にあって、スクリプト206とキーワードデータベースとを比較することは、フレーズ「あなたを愛する」がそれぞれに存在することを明らかにし、さらにビデオの再生中に出力される触覚効果の全体の強度がデフォルトレベルを下回って減少することを指示する触覚テーマ情報にそのフレーズがマップされることを明らかにする。別の実施形態にあって、チャプターデータ212とキーワードデータベースとを比較することは、フレーズ「賞賛」がチャプターデータ212とキーワードデータベースに存在することを明らかにし、さらにビデオの再生中に出力される触覚効果の全体の強度が、マルチメディアコンテンツ202のチャプター1の再生の間、デフォルトレベルをわずかに超えることを指示する触覚テーマ情報にそのフレーズがマップされることを明らかにする。他の実施形態にあって、識別される触覚テーマ416は、ファイナル触覚トラック420を生成するために合成触覚トラック418に適用される。さらに他の実施形態にあって、一つ以上の識別された触覚テーマ416は、前述された二つの技術の一つのみを用いて発生される触覚トラックに適用されてもよい。そのような実施形態にあって、一つ以上の識別された触覚テーマ416は、ファイナル触覚トラック420を生成するために触覚トラック414又は触覚トラック410に適用される。一具現化例にあって、プロセッサ110は、ファイナル触覚トラック420を当業者によって周知の方法によってマルチメディアコンテンツ202を含むマルチメディアデータ200に埋め込む。別の実施形態にあって、触覚トラック420は、メモリ(例えばメモリ112)に、マルチメディアファイル201から分離されたファイルとして格納される。ストリーミングを含むいくつかの実施形態にあって、識別された触覚テーマ416は生成されたときに触覚トラックの一部に適用される。
本開示に係る触覚テーマ416の識別及びアプリケーションは、触覚効果がより正確にマルチメディアコンテンツに適用されるように、自動化触覚化アルゴリズム(406及び/又は408)を支援する。しかし、いくつかの実施形態にあって、所定のキーワードが識別された触覚テーマを超えて優先されてもよい。例えば、一具現化例にあって、マルチメディアファイルのクローズドキャプションデータにおける「爆発」の存在に基づいて触覚効果出力の強度が、デフォルトの強度を上回って増加され、それによってマルチメディアコンテンツに埋め込まれたメタデータタグのジャンルフィールドにおける「ロマンティックコメディ」の存在に基づいた触覚強度の強度を和らげる触覚効果のアプリケーションより優先する。当業者は、適切な触覚テーマを判断するために用いられるワード又はフレーズが本開示によって提供される具現化例を制限するものではなく、むしろ何のイベント又はエレメントがマルチメディアコンテンツに存在しているのかの手がかりを提供するワード又はフレーズにまで及ぶことを理解できる。
前述された補足情報422に基づいた触覚効果を判断する最初の二つの技術は、単独で又はコンビネーションにて用いられてもよいし、さらに触覚テーマを用いる技術は、初めの二つの技術のいずれか又は両方と関連して、又はマルチメディアコンテンツ422の再生の間に出力される触覚効果を識別する他のいかなる技術と関連して用いられてもよい。例えば、一実施形態にあって、補足情報422は、オーディオ及び/又はビデオトラックへのパターン認識技術を使用する自動化触覚化アルゴリズム(406及び/又は408)にコンテキストを提供するために全般的に用いられるが、クローズとキャプションデータに存在するキーワードの小さなセットのため、特に触覚効果は、補足情報におけるこれらのキーワードの存在にもっぱら基づいて出力される。
ステップ306にて、触覚効果は、マルチメディアコンテンツ202の再生の間、出力される。一実施形態にあって、前のステップにて発生された触覚トラック(例えば、410、414、418又は420)は、触覚出力デバイス118によって出力される触覚効果を定義するデータ構造を備える。他の実施形態にあって、触覚トラック(例えば、410、414、418又は420)は、触覚効果コードを含み、さらにプロセッサ110は、メモリ112に蓄積された触覚効果データベースにおける触覚効果を定義するデータ構造を検索するための触覚効果コードを用いる。そのような実施形態にあって、プロセッサ110は、そのようなデータ構造における触覚効果定義に基づいて触覚出力デバイス118を駆動するための信号を送信する。他の実施形態にあって、一つ以上の触覚出力デバイス118(例えば、触覚家具、装着可能な触覚デバイス)を組み合わせている触覚アクセサリは、プロセッサと、触覚効果を定義するデータ構造に触覚効果識別コードをマップするデータベースを含むメモリとを備える。そのような一実施形態にあって、プロセッサ110は、触覚効果コードを触覚アクセサリのプロセッサに送信し、その後、プロセッサは触覚効果を定義するデータ構造を検索するために触覚効果コードを用い、さらにそのようなデータ構造における触覚効果定義に基づいて触覚出力デバイス118を駆動するための信号を送信する。
オーディオトラックのコメンタリ
いくつの場合にあって、映画、ドキュメンタリー及び他のビデオコンテンツが関連される、ディレクタ、アクター及び/又は他の人がビデオについて意見を出し合うビデオと同時に再生される、コメンタリオーディオトラックを有する。本開示の一実施の形態にあって、コメンタリオーディオトラックは、触覚トラック420の判断が基礎となる補足情報422とは別のタイプである。そのような実施形態にあって、関連のコメンタリオーディオトラックは、固有のサブタイトル/クローズドキャプションデータを有する。その固有のサブタイトル/クローズドキャプションデータは、前述のサブタイトル/クローズドキャプションデータ204に関して記述されたのと同様な方法にて提供される触覚効果を判断するために用いられる。他の実施形態にあって、コメンタリオーディオトラックのための固有のサブタイトル/クローズドキャプションデータは使用可能ではなく、システム100は、当業者に周知の方法によってコメンタリオーディオトラックのテキスチャルバージョンを発生するためにコメンタリオーディオトラックを処理し、その後、サブタイトル/クローズドキャプションデータ204についての前述の記述と同じような方法にて提供される触覚効果を判断するために用いられる。
いくつの場合にあって、映画、ドキュメンタリー及び他のビデオコンテンツが関連される、ディレクタ、アクター及び/又は他の人がビデオについて意見を出し合うビデオと同時に再生される、コメンタリオーディオトラックを有する。本開示の一実施の形態にあって、コメンタリオーディオトラックは、触覚トラック420の判断が基礎となる補足情報422とは別のタイプである。そのような実施形態にあって、関連のコメンタリオーディオトラックは、固有のサブタイトル/クローズドキャプションデータを有する。その固有のサブタイトル/クローズドキャプションデータは、前述のサブタイトル/クローズドキャプションデータ204に関して記述されたのと同様な方法にて提供される触覚効果を判断するために用いられる。他の実施形態にあって、コメンタリオーディオトラックのための固有のサブタイトル/クローズドキャプションデータは使用可能ではなく、システム100は、当業者に周知の方法によってコメンタリオーディオトラックのテキスチャルバージョンを発生するためにコメンタリオーディオトラックを処理し、その後、サブタイトル/クローズドキャプションデータ204についての前述の記述と同じような方法にて提供される触覚効果を判断するために用いられる。
補足情報に基づいて触覚効果を提供するための先進の方法
予め決められた触覚効果を識別するため、コンテキストを自動触覚化アルゴリズムに提供するため、及び/又は適用される一つ以上の触覚テーマを識別するために、複数キーワード又はフレーズの補足情報422とのマッチングを全般的に記載した、前述された本開示の複数実施形態に加えて、別の技術が、発生された触覚トラック420の精度を上げるために前述の方法に関連してか、又は独立に用いられてもよい。一実施形態にあって、エレメント412にて、サブタイトル/クローズドキャプションデータ204におけるキーワード/フレーズの存在は、その存在が、マルチメディアコンテンツ202のオーディオに対応するオーディブルスピーチ(audible speech)のテキスチャル引用における存在であるならば、無視されるが、もしその存在が、マルチメディアコンテンツ202によって視覚的に描写されるイベントを記述するテキストに存在するのであれば、前述のセクションにて説明されたように、予め決定された触覚効果を識別するため、自動触覚化アルゴリズムにコンテキストを提供するため、及び/又は触覚効果を識別するために、依存される。例えば、一実施形態にあって、人がワード「爆発」を話している時点で、爆発があるのは不可能なので、ワード「爆発」のサブタイトル/クローズドキャプションデータ204における存在は無視される。しかし、「爆発」がマルチメディアコンテンツ202のシーン又はイベントを記述するサブタイトル/クローズドキャプションデータ204に存在するのであれば、その存在は、前述のセクションにて説明されたように、予め決定された触覚効果を識別するため、自動化された触覚化アルゴリズムにコンテキストを提供するため、及び/又は触覚テーマを識別するために用いられる。本明細書にて記載された補足情報422のどのようなタイプのキーワード/フレーズの存在を無視するのか又は依存するのかは、当業者によって周知の方法によって判断される。例えば、前述のキーワード/フレーズのデータベースが補足情報422の特定のタイプ及び/又はサブタイプのための特定のキーワード/フレーズ(例えば、サブタイトル/クローズドキャプションデータ204のテキスチャルな記載及びテキスチャルな引用)の存在を無視すること、及び補足情報422の特定のタイプ及び/又はサブタイプのための特定のキーワード/フレーズに依存するとき、を挙げていてもよい。
予め決められた触覚効果を識別するため、コンテキストを自動触覚化アルゴリズムに提供するため、及び/又は適用される一つ以上の触覚テーマを識別するために、複数キーワード又はフレーズの補足情報422とのマッチングを全般的に記載した、前述された本開示の複数実施形態に加えて、別の技術が、発生された触覚トラック420の精度を上げるために前述の方法に関連してか、又は独立に用いられてもよい。一実施形態にあって、エレメント412にて、サブタイトル/クローズドキャプションデータ204におけるキーワード/フレーズの存在は、その存在が、マルチメディアコンテンツ202のオーディオに対応するオーディブルスピーチ(audible speech)のテキスチャル引用における存在であるならば、無視されるが、もしその存在が、マルチメディアコンテンツ202によって視覚的に描写されるイベントを記述するテキストに存在するのであれば、前述のセクションにて説明されたように、予め決定された触覚効果を識別するため、自動触覚化アルゴリズムにコンテキストを提供するため、及び/又は触覚効果を識別するために、依存される。例えば、一実施形態にあって、人がワード「爆発」を話している時点で、爆発があるのは不可能なので、ワード「爆発」のサブタイトル/クローズドキャプションデータ204における存在は無視される。しかし、「爆発」がマルチメディアコンテンツ202のシーン又はイベントを記述するサブタイトル/クローズドキャプションデータ204に存在するのであれば、その存在は、前述のセクションにて説明されたように、予め決定された触覚効果を識別するため、自動化された触覚化アルゴリズムにコンテキストを提供するため、及び/又は触覚テーマを識別するために用いられる。本明細書にて記載された補足情報422のどのようなタイプのキーワード/フレーズの存在を無視するのか又は依存するのかは、当業者によって周知の方法によって判断される。例えば、前述のキーワード/フレーズのデータベースが補足情報422の特定のタイプ及び/又はサブタイプのための特定のキーワード/フレーズ(例えば、サブタイトル/クローズドキャプションデータ204のテキスチャルな記載及びテキスチャルな引用)の存在を無視すること、及び補足情報422の特定のタイプ及び/又はサブタイプのための特定のキーワード/フレーズに依存するとき、を挙げていてもよい。
他の実施形態にあって、補足情報422におけるキーワード/フレーズの存在は、発見された補足情報422のタイプ又はサブタイプに基づいて重み付けられてもよい。一実施形態にあって、前述のプロセッサが同時に複数の触覚効果を出力するとき、又は複数の触覚効果が短時間に相互に重なるか干渉するようなときに、触覚トラック414に一つの触覚効果の重なりの挿入を優先するために、重み付けがプロセッサ110によって用いられる。例えば、サブタイトル/クローズドキャプションデータ204におけるテキスチャル引用における「爆弾」の存在には低い重みが与えられ、サブタイトル/クローズドキャプションデータ204におけるシーン/イベントのテキスチャルな記述における「励まし」の存在には高い重みが与えられる。そのような一実施形態にあって、補足情報422は、テキスチャル記述「励ましている群衆」を含むサブタイトル/クローズドキャプションデータ204を含み、さらにサブタイトル/クローズドキャプションデータ204に同時にテキスチャル引用「ダンマリノが爆弾を投げ、ドルフィンズがタッチダウン!」を含む。プロセッサ110は、前述したように、「爆弾」及び「励まし」に基づいて、予め決定された触覚効果を識別するため、コンテキストを自動化触覚化アルゴリズムに提供するため、及び/又は触覚テーマを識別するために動作するが、「励まし」の持つ高い重みに基づいてサブタイトル/クローズドキャプションデータ204におけるテキスチャル記述における「励まし」に関連する、触覚効果、コンテキスト、及び/又は触覚テーマを優先する。本明細書にて説明される補足情報422の様々なタイプのキーワード/フレーズの存在に対して割り当てられる重みは、当業者によって周知の方法にて判断されてもよい。例えば、前述のキーワード/フレーズのデータベースは、補足情報422の特定のタイプ及び/又はサブタイプにおける特定のキーワード/フレーズ(例えば、サブタイトル/クローズドキャプションデータ204のテキスチャル記述及びテキスチャル引用)用に、重みを規定する。
他の実施形態にあって、マルチメディアコンテンツ202のイベントへの触覚トラック420の相関関係を向上するために、周知の自然言語分析技術がプロセッサ110によって用いられる。例えば、一実施形態における、自然言語分析技術用の周知のアルゴリズムは、サブタイトル/クローズドキャプションデータ204におけるフレーズの構文及び意味を考慮に入れて、非常に正確な実際の意味を確かめながら、サブタイトル/クローズドキャプションデータ204におけるフレーズを解釈するために用いられる。例えば、プロセッサ110は、サブタイトル/クローズドキャプションデータ204におけるフレーズ「爆弾はない」を分析するために自然言語分析技術を適用し、そのフレーズの本当の意味を理解することで、「爆弾」に対する予め決定された触覚効果を識別するために、「爆弾」の存在がキーワード及びフレーズのデータベースと比較されるべきでないことを判断する。しかし、プロセッサ110は、サブタイトル/クローズドキャプションデータ204における「爆弾」に関する記述の存在が、戦争又はアクションのようなマルチメディアコンテンツのジャンルの表示であるのを判断し、さらに適切な触覚テーマを選択するのを判断してもよい。他の実施形態にあって、プロセッサ110は、サブタイトル/クローズドキャプションデータ204におけるフレーズ「3、2、1・・・爆弾が爆発するぅー」を、そのフレーズ内のカウントダウンを認識したうえで、分析するために、自然言語分析技術を適用し、正確な時間で触覚トラック420に「爆弾」に対応する予め決定された触覚効果を挿入するため、又はそのフレーズに基づいた正確な時間で、自動化触覚化アルゴリズム(406及び/又は408)にコンテキスト識別情報を適用するために、動作する。前述したのは、補足情報422を分析するための自然言語分析技術を用いることのほんの数例である。当業者は、本開示のコンテキストにおける自然言語分析技術の使用のために多数のアプリケーションを認識するであろう。
いくつかの例にあって、予め決定された触覚効果を識別するため、コンテキストを自動化触覚化アルゴリズムに提供すること、及び/又は適用される一つ以上の触覚テーマを識別するために、キーワード又はフレーズを補足情報422にてマッチングすることは、特定の言語にて複数の可能な意味を有するいくつかのワード又はフレーズのために、不正確である影響を受けるかもしれない。一実施形態にあって、サブタイトル/クローズドキャプションデータ204は、複数言語(例えば、英語、スペイン語、さらにはフランス語)でのサブタイトル及び/又はクローズドキャプション情報を含み、第1言語(例えば、英語)におけるワード/フレーズのそのような不確かさは、他の言語の一つにおけるワード/フレーズが一つの容認される意味を一般的に有する、一つ以上の他の利用できる言語(例えば、スペイン語、フランス語)におけるワード/フレーズを分析することによって解決される。一実施形態にあって、この曖昧さを排除する(disambiguation)方法は、その言語のキーワードデータベースにあって曖昧な各言語における曖昧なワード/フレーズに印(フラグ)を付けることによって実行される。そのような実施形態にあって、一言語におけるワード/フレーズが曖昧であることを示すキーワードデータベースを判断することによって、システム100はその曖昧さを解決するために試みる第2言語における対応するワード/フレーズを分析するであろう。例えば、一実施形態にあって、サブタイトル/クローズドキャプションデータ204は、英語、フランス語、及びスペイン語のクローズドキャプションを含む。この実施形態にあって、プロセッサ110は、英語のクローズドキャプションテキストとキーワードデータベースを比較し、ワード「tie」が英語のクローズドキャプションテキストとキーワードデータベースに存在することを発見するが、ワード「tie」には曖昧なワードとしてフラグが付けられる。曖昧なためにフラグが付けられた「tie」に基づいて、プロセッサ110はその「tie」の意味を判断するために、それらしい「tie」を探すため、マルチメディアコンテンツ202にあって同一タイプスタンプ付近のフランス語のクローズドキャプションテキストを分析する。一実施形態にあって、この分析は、「tie」の様々な意味のフランス語での同義語を探すことを含み、フランス語のクローズドキャプションにて一旦識別されると、ワード「tie」の意味が正しいことを示す。例えば、分析が、ネクタイを意味する、フランス語「cravate」を識別するか、又はタイゲーム(tie game)を意味する、フランス語「match nul」を識別するかもしれない。一旦、「tie」の曖昧さ排除が完了すると、本発明の方法は、予め決定された触覚効果を識別するため、コンテキストを自動化触覚化アルゴリズムに提供するため、及び/又は適用される一つ以上の触覚テーマを識別するために用いられる。例えば、スポーツイベントに適切な触覚テーマが「match nul」の存在に基づいて適用される。当業者は、これが多数の可能な具体例の一つにすぎないことを認識するであろう。
触覚トラックの遠隔での発生
前述の本開示の実施形態は全般的に、マルチメディアコンテンツ202の分析を行うシステム100のプロセッサ110と、触覚トラック(例えば、410、414、418又は420)を発生するための対応する補足情報422を説明しているが、他の実施形態にあっては、触覚トラック(例えば、410、414、418又は420)の分析及び生成は、インターネットのようなネットワークを通してプロセッサ110と交信する他のコンピュータ又はサーバによって実行されてもよい。そのような一実施例にあって、リモートコンピュータ又はサーバは、触覚トラック(例えば、410、414、418又は420)をマルチメディアファイル201の中に埋め込む。その後、システム100のプロセッサ110は、図3のステップ306に関連して上述されたマルチメディアコンテンツ202を再生している間に、触覚トラックを含んでいるマルチメディアファイル201をダウンロードする。他の実施形態にあって、リモートコンピュータは、触覚トラック(例えば、410、414、418又は420)を、リモートコンピュータのメモリに局所的にマルチメディアファイル201から分離されたファイルとして蓄積する。他の実施形態にあって、システム100のプロセッサ110は、触覚トラックが蓄積されたリモートコンピュータから触覚トラック(例えば、410、414、418又は420)をダウンロードし、図3のステップ306に関連して上述されたように、触覚トラックに対応するマルチメディアコンテンツ202を再生している間に触覚効果を出力する。
前述の本開示の実施形態は全般的に、マルチメディアコンテンツ202の分析を行うシステム100のプロセッサ110と、触覚トラック(例えば、410、414、418又は420)を発生するための対応する補足情報422を説明しているが、他の実施形態にあっては、触覚トラック(例えば、410、414、418又は420)の分析及び生成は、インターネットのようなネットワークを通してプロセッサ110と交信する他のコンピュータ又はサーバによって実行されてもよい。そのような一実施例にあって、リモートコンピュータ又はサーバは、触覚トラック(例えば、410、414、418又は420)をマルチメディアファイル201の中に埋め込む。その後、システム100のプロセッサ110は、図3のステップ306に関連して上述されたマルチメディアコンテンツ202を再生している間に、触覚トラックを含んでいるマルチメディアファイル201をダウンロードする。他の実施形態にあって、リモートコンピュータは、触覚トラック(例えば、410、414、418又は420)を、リモートコンピュータのメモリに局所的にマルチメディアファイル201から分離されたファイルとして蓄積する。他の実施形態にあって、システム100のプロセッサ110は、触覚トラックが蓄積されたリモートコンピュータから触覚トラック(例えば、410、414、418又は420)をダウンロードし、図3のステップ306に関連して上述されたように、触覚トラックに対応するマルチメディアコンテンツ202を再生している間に触覚効果を出力する。
触覚トラックの前もっての発生(pre-Generation)
前述の本開示の実施形態はユーザがマルチメディアコンテンツを再生しているときに触覚効果を発生することを説明しているが、他の実施形態にあって、マルチメディアコンテンツがシステムにダウンロードされて、再生される前に、触覚効果を発生してもよい。他の実施形態にあって、触覚トラックは、コンテンツを使用のために有効とするよりも前にマルチメディアコンテンツの制作者又は配給者によって本開示によって生成されてもよい。
前述の本開示の実施形態はユーザがマルチメディアコンテンツを再生しているときに触覚効果を発生することを説明しているが、他の実施形態にあって、マルチメディアコンテンツがシステムにダウンロードされて、再生される前に、触覚効果を発生してもよい。他の実施形態にあって、触覚トラックは、コンテンツを使用のために有効とするよりも前にマルチメディアコンテンツの制作者又は配給者によって本開示によって生成されてもよい。
視聴者情報に基づいて触覚効果を提供すること
前述した本開示の実施形態がマルチメディアコンテンツ202用の補足情報422に基づいて触覚効果を提供することを説明しているが、他の実施形態にあっては、発生された触覚トラック420は、視聴者の位置、姿勢、反応、さらには生物測定学(追加情報424として示される)に基づいて、エレメント412にて分析されてもよい。視聴者情報はシステム100について前述された一つ以上のセンサを用いて判断される。
前述した本開示の実施形態がマルチメディアコンテンツ202用の補足情報422に基づいて触覚効果を提供することを説明しているが、他の実施形態にあっては、発生された触覚トラック420は、視聴者の位置、姿勢、反応、さらには生物測定学(追加情報424として示される)に基づいて、エレメント412にて分析されてもよい。視聴者情報はシステム100について前述された一つ以上のセンサを用いて判断される。
一実施形態にあって、触覚効果の出力レベルを、デフォルトレベルよりも上回るか又は下回るように調整する触覚テーマが、マルチメディアコンテンツ202の再生用の出力源(例えば、システム100のA/V受信機、ディスプレイ116及び/又はスピーカ120)に近接の視聴者に基づいて判断される。例えば、一実施形態にあって、視聴者の近接がマルチメディアコンテンツの再生のための出力源から10フィート(10 feet;304.8 cm)であると、触覚テーマは選択されない。しかし、視聴者の近接がマルチメディアコンテンツの再生のための出力源から9フィート(9 feet;274.3 cm)であると、デフォルトレベルを上回る触覚効果用の出力レベルを規定する触覚テーマが選択される。視聴者の出力源への接近が、選択された触覚テーマによって規定される触覚効果の出力レベルの調整を徐々に大きくする。他方にて、視聴者の出力源への近接が約9フィート(9 feet;274.3 cm)であると、デフォルトレベルを下回る触覚効果用の出力レベルを規定する触覚テーマが選択される。視聴者の出力源からの離隔が、選択された触覚テーマによって規定される触覚効果の出力レベルの調整を徐々に小さくする。
類似の実施形態にあって、触覚効果の出力レベルを、デフォルトレベルよりも上回るか下回るように調整する触覚テーマが、マルチメディアコンテンツ202の再生用の出力源(例えばシステム100のディスプレイ116)に対する視聴者の視聴角度に基づいて判断される。例えば、一実施形態にあって、視聴者の視聴角度がマルチメディアコンテンツの再生用の出力源に対して約90°である(真向い)と、触覚効果は触覚トラック420によれば最大レベルにて出力される。しかし、視聴者の出力源への角度が0°に近づくと、触覚トラック420に規定される触覚効果はより低い出力レベルに調整される。
他の実施形態にあって、視聴者の位置、姿勢及び又は動きは触覚テーマの判断のために用いられる。例えば、一実施形態にあって、ホラー又はアクション映画用の触覚テーマは視聴者の目を覆うことに基づいて選択される。他の実施形態にあって、ロマンティックコメディ用の触覚効果は、リラックスしたムード及び微笑みのムードにおいて相互に対して接近して座っているカップルに基づいて選択される。
さらに他の実施形態にあって、視聴者の生物測定学的情報がテーマを選択するために用いられる。例えば、一実施形態にあって、アクション映画に対する触覚効果はストレス及び/又は興奮を示す心拍数が上昇している視聴者に基づいて選択される。他の実施形態にあって、触覚効果を低いレベルに調整する触覚テーマが視聴者のリラックスを示す視聴者の心拍数に基づいて選択される。
ビデオゲーム
一実施形態にあって、マルチメディアコンテンツ202はビデオゲームの再生の間に、オーディオ及び/又はビデオ出力を含む。例えば、一実施形態にあって、ビデオゲームはビデオシーケンス及びビデオを含むマルチメディアコンテンツに関連する前述したいかなるタイプをも含む補足情報422(例えば、ビデオシーケンスに対応するサブタイトル/クローズドキャプションデータ204)のマルチメディアコンテンツ202を含む。つまり、前述したような補足情報422に基づいて触覚効果を提供する実施形態は、さらにビデオゲームにも適用される。しかし、他の実施形態にあっては、他の情報(付加情報424によって示される)が独立的に用いられるか、又は前述の実施形態にあって考察された補足情報422に加えて、出力される触覚効果を識別するために用いられる。
一実施形態にあって、マルチメディアコンテンツ202はビデオゲームの再生の間に、オーディオ及び/又はビデオ出力を含む。例えば、一実施形態にあって、ビデオゲームはビデオシーケンス及びビデオを含むマルチメディアコンテンツに関連する前述したいかなるタイプをも含む補足情報422(例えば、ビデオシーケンスに対応するサブタイトル/クローズドキャプションデータ204)のマルチメディアコンテンツ202を含む。つまり、前述したような補足情報422に基づいて触覚効果を提供する実施形態は、さらにビデオゲームにも適用される。しかし、他の実施形態にあっては、他の情報(付加情報424によって示される)が独立的に用いられるか、又は前述の実施形態にあって考察された補足情報422に加えて、出力される触覚効果を識別するために用いられる。
一実施形態にあって、システム100はビデオゲームプログラムを実行するように構成され、さらにビデオゲームプログラムがオーディオファイル(「オーディオAPI」)の再生を開始するのを促すアプリケーションプログラムインターフェースを提供する。そのような一実施形態にあって、オーディオAPI(「ファイルネームデータ」)を介して再生が要求されるオーディオファイルのテキスチャル識別子(例えばファイルネーム)は、オーディオAPIに提供される。一実施形態にあって、エレメント412にて、システム100は、1)キーワードに基づいて出力される触覚効果を識別するため;2)オーディオ及び/又はビデオイメージを自動的に触覚化するためのアルゴリズム/プロセッサにコンテキスチャル情報を提供するため;及び3)補足情報422の様々なタイプについて前述された類似の方法にて触覚効果を識別するためにファイルネームデータを分析してもよい。例えば、一実施形態にあって、ファイルネームデータは、ファイルネームデータにおけるワードをエレメント412にてキーワードデータベースと比較することによって分析される。そのよう一実施形態にあって、ファイルネームデータは、テキスト「thunder.mp3」を含み、「thunder」をキーワードデータベースにて比較することは、「thunder」がキーワードデータベースに存在し、脈動して振動の触覚効果(稲妻をまねること)の強度の触覚効果識別情報にマップされることを明らかにする。他の具現化例にあって、ファイルネームデータは、テキスト「scream.mp3」を含み、「scream」をキーワードデータベースにて比較することは、「scream」がキーワードデータベースに存在し、自動化触覚化アルゴリズム(406及び/又は408)に、叫び声、悲鳴を上げること、及び恐怖のシーンに共通して関連する他の音の認識を優先させることを指示するために用いられるコンテキスト識別情報にマップされる。他の具現化例にあって、「叫び声」(「scream.mp3」から)をキーワードデータベースと比較することは、「叫ぶ声」がそれぞれに存在することを明らかにし、さらに、ビデオの再生の間、出力される触覚効果の全体的な強度又はライブラリが恐怖のビデオシーケンスに適切にデフォルトレベルを超えて増加することを記述する触覚テーマ情報にマップされる。
他の実施形態にあって、ビデオゲームの間、スクリーン上に表示されるテキストをオーディオ(「Text-to-Speech API」)として出力されることをビデオゲームプログラムが促すアプリケーションプログラムインターフェースをシステム100が提供する。そのような一実施形態にあって、スクリーンに表示されるテキスト(例えば、指示、サイン又はビデオゲームシーンに表示される他のテキスト、「BAM」及び「THWACK」のようなコミックスタイルのアクション標語)がテキスト−スピーチAPIに提供される。一実施形態にあって、システム100は、エレメント412にて、1)キーワードに基づいて出力される触覚効果を識別するため;2)オーディオ及び/又はビデオイメージを自動的に触覚化するためのアルゴリズム/プロセッサにコンテキスチャル情報を提供するため;及び3)補足情報422(例えば、サブタイトル/クローズドキャプションデータ204)の様々なタイプについて前述された類似の方法にて触覚効果を識別するために識別されることを分析する。
総括
本発明のいくつかの実施形態の前述の記載は、例示及び説明の目的のためにのみ示されており、前述の記載は、網羅的に又は開示される精査なフォームに本発明を制限することを意図してはいない。多数の変形及びその適用が本発明の精神及び範囲からそれることなく当業者によって明白となるであろう。
本発明のいくつかの実施形態の前述の記載は、例示及び説明の目的のためにのみ示されており、前述の記載は、網羅的に又は開示される精査なフォームに本発明を制限することを意図してはいない。多数の変形及びその適用が本発明の精神及び範囲からそれることなく当業者によって明白となるであろう。
本明細書にあって「一実施形態」又は「一つの実施形態」は、実施形態に関連して記述される固有の性質、構造、動作又は他の特徴が本発明の少なくとも一つの実装に含まれてもよいことを意味する。本発明は、そのように記載された特定の実施形態に制限されるものではない。本明細におけるフレーム「一実施形態にあって」又は「一つの実施形態にあって」の様々な箇所での出現は、同じ実施形態を必ずしも言及するものではない。本明細書に記載される、「一実施形態」に関連する固有の性質、構造、動作又は他の特徴は、他の実施形態について記述される、他の性質、構造、動作又は他の特徴に統合される。
Claims (21)
- マルチメディアコンテンツとこのマルチメディアコンテンツの特徴を記述する補足データとを含むマルチメディアデータを受信することと、
前記補足データの少なくとも一部に基づいて触覚効果を判断することと、
前記マルチメディアコンテンツを再生している間に前記触覚効果を出力すること
を備える方法。 - 前記補足データは、クローズドキャプションデータを含む、請求項1記載の方法。
- 前記補足データは、サブタイトル情報を含む、請求項1記載の方法。
- 前記補足データは、スクリプトを含む、請求項1記載の方法。
- 前記補足データは、タグデータを含む、請求項1記載の方法。
- 前記補足データの少なくとも一部に基づいて触覚効果を判断することは、前記マルチメディアコンテンツ及び前記補足データに基づいて触覚効果を判断することを含む、請求項1記載の方法。
- 前記補足データの少なくとも一部に基づいて触覚効果を判断することは、
前記補足データの少なくとも一部に基づいて触覚テーマを判断することと、
前記補足データ及び前記触覚テーマに基づいて触覚効果を判断すること
を含む、請求項1記載の方法。 - マルチメディアコンテンツとこのマルチメディアコンテンツの特徴を記述する補足データとを含むマルチメディアデータを受信し、
前記補足データの少なくとも一部に基づいて触覚効果を判断し、
前記マルチメディアコンテンツを再生している間に前記触覚効果を出力するために、
プロセッサによって実行されるソフトウェアプログラムコードを備えるコンピュータ読み取り可能な媒体。 - 前記補足データは、クローズドキャプションデータを含む、請求項8記載のコンピュータ読み取り可能な媒体。
- 前記補足データは、サブタイトル情報を含む、請求項8記載のコンピュータ読み取り可能な媒体。
- 前記補足データは、スクリプトを含む、請求項8記載のコンピュータ読み取り可能な媒体。
- 前記補足データは、タグデータを含む、請求項8記載のコンピュータ読み取り可能な媒体。
- 前記補足データの少なくとも一部に基づいて触覚効果を判断するのは、前記マルチメディアコンテンツ及び前記補足データに基づいて触覚効果を判断するのを含む、請求項8記載のコンピュータ読み取り可能な媒体。
- 前記補足データの少なくとも一部に基づいて触覚効果を判断するのは、
前記補足データの少なくとも一部に基づいて触覚テーマを判断するのと、
前記補足データ及び前記触覚テーマに基づいて触覚効果を判断するのを
を含む、請求項8記載のコンピュータ読み取り可能な媒体。 - プロセッサと、
前記プロセッサによって実行可能とされるコンピュータプログラムコードを含んで前記プロセッサと通信するメモリとを備え、
マルチメディアコンテンツとこのマルチメディアコンテンツの特徴を記述する補足データとを含むマルチメディアデータを受信し、
前記補足データの少なくとも一部に基づいて触覚効果を判断し、
前記マルチメディアコンテンツを再生している間に前記触覚効果を出力する、システム。 - 前記補足データは、クローズドキャプションデータを含む、請求項15記載のシステム。
- 前記補足データは、サブタイトル情報を含む、請求項15記載のシステム。
- 前記補足データは、スクリプトを含む、請求項15記載のシステム。
- 前記補足データは、タグデータを含む、請求項15記載のシステム。
- 前記補足データの少なくとも一部に基づいて触覚効果を判断するのは、前記マルチメディアコンテンツ及び前記補足データに基づいて触覚効果を判断するのを含む、請求項15記載のシステム。
- 前記補足データの少なくとも一部に基づいて触覚効果を判断するのは、
前記補足データの少なくとも一部に基づいて触覚テーマを判断するのと、
前記補足データ及び前記触覚テーマに基づいて触覚効果を判断するのを
を含む、請求項15記載のシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361874933P | 2013-09-06 | 2013-09-06 | |
US61/874,933 | 2013-09-06 | ||
US14/145,650 | 2013-12-31 | ||
US14/145,650 US9652945B2 (en) | 2013-09-06 | 2013-12-31 | Method and system for providing haptic effects based on information complementary to multimedia content |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014178052A Division JP6537795B2 (ja) | 2013-09-06 | 2014-09-02 | マルチメディアコンテンツを補足する情報に基づいて触覚効果を提供するための方法及びシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019195181A true JP2019195181A (ja) | 2019-11-07 |
Family
ID=51492230
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014178052A Active JP6537795B2 (ja) | 2013-09-06 | 2014-09-02 | マルチメディアコンテンツを補足する情報に基づいて触覚効果を提供するための方法及びシステム |
JP2019104958A Withdrawn JP2019195181A (ja) | 2013-09-06 | 2019-06-05 | マルチメディアコンテンツを補足する情報に基づいて触覚効果を提供するための方法及びシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014178052A Active JP6537795B2 (ja) | 2013-09-06 | 2014-09-02 | マルチメディアコンテンツを補足する情報に基づいて触覚効果を提供するための方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (5) | US9652945B2 (ja) |
EP (1) | EP2846226A3 (ja) |
JP (2) | JP6537795B2 (ja) |
KR (1) | KR102364487B1 (ja) |
CN (2) | CN110119205A (ja) |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9866924B2 (en) * | 2013-03-14 | 2018-01-09 | Immersion Corporation | Systems and methods for enhanced television interaction |
US9711014B2 (en) | 2013-09-06 | 2017-07-18 | Immersion Corporation | Systems and methods for generating haptic effects associated with transitions in audio signals |
US9652945B2 (en) * | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
EP3075163A1 (en) * | 2013-11-25 | 2016-10-05 | Thomson Licensing | Method for generating haptic coefficients using an autoregressive model, signal and device for reproducing such coefficients |
US10467287B2 (en) * | 2013-12-12 | 2019-11-05 | Google Llc | Systems and methods for automatically suggesting media accompaniments based on identified media content |
US9411422B1 (en) * | 2013-12-13 | 2016-08-09 | Audible, Inc. | User interaction with content markers |
JP2015170173A (ja) * | 2014-03-07 | 2015-09-28 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
US10031582B2 (en) | 2014-06-05 | 2018-07-24 | Immersion Corporation | Systems and methods for induced electrostatic haptic effects |
US10139907B2 (en) | 2014-06-16 | 2018-11-27 | Immersion Corporation | Systems and methods for foley-style haptic content creation |
CN115756154A (zh) | 2014-09-02 | 2023-03-07 | 苹果公司 | 用于可变触觉输出的语义框架 |
US20160150294A1 (en) * | 2014-11-20 | 2016-05-26 | Adobe Systems Incorporated | Video Content Metadata for Enhanced Video Experiences |
US9919208B2 (en) * | 2014-12-11 | 2018-03-20 | Immersion Corporation | Video gameplay haptics |
US10613628B2 (en) | 2014-12-23 | 2020-04-07 | Immersion Corporation | Media driven haptics |
JP2016197351A (ja) * | 2015-04-03 | 2016-11-24 | シャープ株式会社 | 情報登録検索装置、情報登録検索方法、および制御プログラム |
JP6523038B2 (ja) * | 2015-05-08 | 2019-05-29 | 日本放送協会 | 感覚提示装置 |
EP3112987A1 (en) * | 2015-06-29 | 2017-01-04 | Thomson Licensing | Method and schemes for perceptually driven encoding of haptic effects |
DE102015215049A1 (de) * | 2015-08-06 | 2017-02-09 | Bayerische Motoren Werke Aktiengesellschaft | Audio-System mit zumindest einem Körperschallwandler für ein Kraftfahrzeug |
US10387570B2 (en) * | 2015-08-27 | 2019-08-20 | Lenovo (Singapore) Pte Ltd | Enhanced e-reader experience |
US9734866B2 (en) * | 2015-09-25 | 2017-08-15 | Intel Corporation | Perceptual computing input to determine post-production effects |
US10282052B2 (en) | 2015-10-15 | 2019-05-07 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting information associated with icons on a display screen |
US9928696B2 (en) * | 2015-12-30 | 2018-03-27 | Immersion Corporation | Externally-activated haptic devices and systems |
US10037313B2 (en) * | 2016-03-24 | 2018-07-31 | Google Llc | Automatic smoothed captioning of non-speech sounds from audio |
US10490209B2 (en) | 2016-05-02 | 2019-11-26 | Google Llc | Automatic determination of timing windows for speech captions in an audio stream |
DK201670737A1 (en) * | 2016-06-12 | 2018-01-22 | Apple Inc | Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback |
DK179823B1 (en) | 2016-06-12 | 2019-07-12 | Apple Inc. | DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK |
US10698485B2 (en) * | 2016-06-27 | 2020-06-30 | Microsoft Technology Licensing, Llc | Augmenting text narration with haptic feedback |
CN106267552B (zh) * | 2016-07-25 | 2020-03-10 | 京东方科技集团股份有限公司 | 一种穿戴设备、虚拟现实方法和终端系统 |
US10252155B2 (en) * | 2016-08-22 | 2019-04-09 | Sony Interactive Entertainment Inc. | Brushless two dimensional haptic actuator |
DK201670720A1 (en) | 2016-09-06 | 2018-03-26 | Apple Inc | Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs |
DK179278B1 (en) | 2016-09-06 | 2018-03-26 | Apple Inc | Devices, methods and graphical user interfaces for haptic mixing |
EP3291054B8 (en) * | 2016-09-06 | 2019-07-24 | Apple Inc. | Devices, methods, and graphical user interfaces for haptic mixing |
WO2018048907A1 (en) | 2016-09-06 | 2018-03-15 | Neosensory, Inc. C/O Tmc+260 | Method and system for providing adjunct sensory information to a user |
WO2018151770A1 (en) * | 2017-02-16 | 2018-08-23 | Neosensory, Inc. | Method and system for transforming language inputs into haptic outputs |
US10744058B2 (en) * | 2017-04-20 | 2020-08-18 | Neosensory, Inc. | Method and system for providing information to a user |
JP2018185704A (ja) * | 2017-04-27 | 2018-11-22 | 日本電信電話株式会社 | 生体電気刺激装置、生体電気刺激システムおよび生体電気刺激方法 |
DK201770372A1 (en) | 2017-05-16 | 2019-01-08 | Apple Inc. | TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES |
US10541005B2 (en) | 2017-05-17 | 2020-01-21 | Cypress Semiconductor Corporation | Distributed and synchronized control system for environmental signals in multimedia playback |
US10503310B2 (en) | 2017-09-20 | 2019-12-10 | Alex Hamid Mani | Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user |
US11726571B2 (en) | 2017-09-20 | 2023-08-15 | Niki Mani | Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user |
US11513627B2 (en) | 2017-09-20 | 2022-11-29 | Niki Mani | Assistive device with a refreshable haptic feedback interface |
US10275083B2 (en) | 2017-09-20 | 2019-04-30 | Alex Hamid Mani | Assistive device with a refreshable haptic feedback interface |
US11561619B2 (en) | 2017-09-20 | 2023-01-24 | Niki Mani | Haptic feedback device and method for providing haptic sensation based on video |
US10281983B2 (en) | 2017-09-20 | 2019-05-07 | Alex Hamid Mani | Haptic feedback device and method for providing haptic sensation based on video |
US11126677B2 (en) * | 2018-03-23 | 2021-09-21 | Kindra Connect, Inc. | Multimedia digital collage profile using themes for searching and matching of a person, place or idea |
US10360775B1 (en) | 2018-06-11 | 2019-07-23 | Immersion Corporation | Systems and methods for designing haptics using speech commands |
US10121355B1 (en) * | 2018-06-26 | 2018-11-06 | Capital One Services, Llc | Condition-responsive wearable device for sensing and indicating proximity of an article with a specific characteristic |
KR101941947B1 (ko) * | 2018-07-13 | 2019-01-24 | 주식회사 유니브이알 | 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템 |
DE112019004540T5 (de) * | 2018-09-11 | 2021-08-05 | Sony Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium |
US11738262B2 (en) * | 2018-10-19 | 2023-08-29 | Sony Group Corporation | Information processor, information processing method, and program |
JP7424301B2 (ja) | 2018-10-19 | 2024-01-30 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および、プログラム |
US11483611B2 (en) | 2018-11-19 | 2022-10-25 | Roku, Inc. | Non-television experience triggers |
US10921893B2 (en) * | 2019-02-04 | 2021-02-16 | Subpac, Inc. | Personalized tactile output |
WO2020176383A1 (en) * | 2019-02-25 | 2020-09-03 | Immersion Corporation | Audio data with embedded tags for rendering customized haptic effects |
EP3940542A1 (en) * | 2019-05-17 | 2022-01-19 | Kabushiki Kaisha Tokai Rika Denki Seisakusho | Content-presentation system, output device, and information processing method |
US10991214B2 (en) * | 2019-05-30 | 2021-04-27 | Callyo 2009 Corp | Remote reestablishment of one-way communications session with mobile bug |
US10951951B2 (en) * | 2019-07-30 | 2021-03-16 | Sony Interactive Entertainment Inc. | Haptics metadata in a spectating stream |
JP7423928B2 (ja) * | 2019-07-31 | 2024-01-30 | 株式会社Jvcケンウッド | 映像処理システム、映像処理方法、映像処理装置及び映像処理プログラム |
WO2021062276A1 (en) | 2019-09-25 | 2021-04-01 | Neosensory, Inc. | System and method for haptic stimulation |
US11429155B2 (en) * | 2019-10-01 | 2022-08-30 | Dell Products L.P. | Information handling system including dynamic configuration of piezoelectric transducers for multi-functionality |
US11467668B2 (en) | 2019-10-21 | 2022-10-11 | Neosensory, Inc. | System and method for representing virtual object information with haptic stimulation |
WO2021142162A1 (en) | 2020-01-07 | 2021-07-15 | Neosensory, Inc. | Method and system for haptic stimulation |
US11406895B2 (en) * | 2020-01-30 | 2022-08-09 | Dell Products L.P. | Gameplay event detection and gameplay enhancement operations |
US20210389868A1 (en) * | 2020-06-16 | 2021-12-16 | Microsoft Technology Licensing, Llc | Audio associations for interactive media event triggering |
US11698680B2 (en) * | 2020-06-23 | 2023-07-11 | Immersion Corporation | Methods and systems for decoding and rendering a haptic effect associated with a 3D environment |
US11497675B2 (en) | 2020-10-23 | 2022-11-15 | Neosensory, Inc. | Method and system for multimodal stimulation |
CN112637662A (zh) * | 2020-12-28 | 2021-04-09 | 北京小米移动软件有限公司 | 一种媒体影像产生震感的方法、装置及存储介质 |
KR102428109B1 (ko) * | 2020-12-29 | 2022-08-01 | 한국기술교육대학교 산학협력단 | 스티어링 휠에 촉감을 제공하는 햅틱 제어 시스템 |
US11862147B2 (en) | 2021-08-13 | 2024-01-02 | Neosensory, Inc. | Method and system for enhancing the intelligibility of information for a user |
US20240024783A1 (en) * | 2022-07-21 | 2024-01-25 | Sony Interactive Entertainment LLC | Contextual scene enhancement |
DE102022123213A1 (de) | 2022-09-12 | 2024-03-14 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zur immersiven Wiedergabe von Videospiel-Inhalten im Fahrzeug |
Family Cites Families (131)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4250637A (en) | 1979-06-13 | 1981-02-17 | Scott Instruments Company | Tactile aid to speech reception |
US5056251A (en) | 1989-07-07 | 1991-10-15 | Collector's Products Corporation | Card display apparatus |
US5065251A (en) | 1989-07-28 | 1991-11-12 | Shuhart Jr Harvey A | Method and apparatus for graphically marking an audiovisual recording to indicate occurrence of an official's whistle signal |
US5388992A (en) * | 1991-06-19 | 1995-02-14 | Audiological Engineering Corporation | Method and apparatus for tactile transduction of acoustic signals from television receivers |
US6400996B1 (en) | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
US5684722A (en) | 1994-09-21 | 1997-11-04 | Thorner; Craig | Apparatus and method for generating a control signal for a tactile sensation generator |
US20030040361A1 (en) * | 1994-09-21 | 2003-02-27 | Craig Thorner | Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry |
US6610917B2 (en) | 1998-05-15 | 2003-08-26 | Lester F. Ludwig | Activity indication, external source, and processing loop provisions for driven vibrating-element environments |
US6650338B1 (en) * | 1998-11-24 | 2003-11-18 | Interval Research Corporation | Haptic interaction with video and image data |
US7159008B1 (en) | 2000-06-30 | 2007-01-02 | Immersion Corporation | Chat interface with haptic feedback functionality |
US7069208B2 (en) * | 2001-01-24 | 2006-06-27 | Nokia, Corp. | System and method for concealment of data loss in digital audio transmission |
US7623114B2 (en) * | 2001-10-09 | 2009-11-24 | Immersion Corporation | Haptic feedback sensations based on audio output from computer devices |
US6703550B2 (en) * | 2001-10-10 | 2004-03-09 | Immersion Corporation | Sound data output and manipulation using haptic feedback |
US7739601B1 (en) | 2002-01-23 | 2010-06-15 | Microsoft Corporation | Media authoring and presentation |
US20030188020A1 (en) * | 2002-03-29 | 2003-10-02 | Steven Barile | Tangible artifact referencing digital content |
JP2005523612A (ja) * | 2002-04-22 | 2005-08-04 | インテロシティ ユーエスエー,インコーポレイテッド | データ受信器と制御装置の方法及び装置 |
US7987491B2 (en) | 2002-05-10 | 2011-07-26 | Richard Reisman | Method and apparatus for browsing using alternative linkbases |
US20060041753A1 (en) | 2002-09-30 | 2006-02-23 | Koninklijke Philips Electronics N.V. | Fingerprint extraction |
US8027482B2 (en) | 2003-02-13 | 2011-09-27 | Hollinbeck Mgmt. Gmbh, Llc | DVD audio encoding using environmental audio tracks |
KR100581060B1 (ko) | 2003-11-12 | 2006-05-22 | 한국전자통신연구원 | 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법 |
CN1318191C (zh) | 2003-12-01 | 2007-05-30 | 东南大学 | 时空双通道机器人触觉再现电流刺激方法及装置 |
US8064752B1 (en) | 2003-12-09 | 2011-11-22 | Apple Inc. | Video encoding |
EP1582965A1 (en) | 2004-04-01 | 2005-10-05 | Sony Deutschland Gmbh | Emotion controlled system for processing multimedia data |
US20060017691A1 (en) | 2004-07-23 | 2006-01-26 | Juan Manuel Cruz-Hernandez | System and method for controlling audio output associated with haptic effects |
WO2006043511A1 (ja) | 2004-10-18 | 2006-04-27 | Nsk Ltd. | 機械設備の異常診断システム |
US10741089B2 (en) | 2004-12-23 | 2020-08-11 | Carl Wakamoto | Interactive immersion system for movies, television, animation, music videos, language training, entertainment, video games and social networking |
US20080098331A1 (en) | 2005-09-16 | 2008-04-24 | Gregory Novick | Portable Multifunction Device with Soft Keyboards |
US8700791B2 (en) * | 2005-10-19 | 2014-04-15 | Immersion Corporation | Synchronization of haptic effect data in a media transport stream |
US20070178942A1 (en) | 2006-01-30 | 2007-08-02 | Sadler Daniel J | Method for abruptly stopping a linear vibration motor in portable communication device |
US8000825B2 (en) * | 2006-04-13 | 2011-08-16 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio file |
US7979146B2 (en) | 2006-04-13 | 2011-07-12 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
US8378964B2 (en) * | 2006-04-13 | 2013-02-19 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
KR20090029803A (ko) * | 2006-06-13 | 2009-03-23 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 앰비언스 및 콘텐트 배포 |
US7882442B2 (en) | 2007-01-05 | 2011-02-01 | Eastman Kodak Company | Multi-frame display system with perspective based image arrangement |
KR100835297B1 (ko) * | 2007-03-02 | 2008-06-05 | 광주과학기술원 | 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템 |
US8095646B2 (en) | 2007-08-16 | 2012-01-10 | Sony Computer Entertainment Inc. | Content ancillary to sensory work playback |
US9019087B2 (en) * | 2007-10-16 | 2015-04-28 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
US8325144B1 (en) | 2007-10-17 | 2012-12-04 | Immersion Corporation | Digital envelope modulator for haptic feedback devices |
US8875212B2 (en) | 2008-04-15 | 2014-10-28 | Shlomo Selim Rakib | Systems and methods for remote control of interactive video |
US7911328B2 (en) | 2007-11-21 | 2011-03-22 | The Guitammer Company | Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events |
US7816838B2 (en) | 2007-12-11 | 2010-10-19 | Nokia Corporation | Piezoelectric force sensing |
JP2009159125A (ja) * | 2007-12-25 | 2009-07-16 | Casio Hitachi Mobile Communications Co Ltd | 字幕付き映像再生装置、字幕付き映像再生装置の検索結果通知方法及びプログラム |
CN102016759A (zh) * | 2008-05-09 | 2011-04-13 | 皇家飞利浦电子股份有限公司 | 用于传送情绪的方法和系统 |
US8831948B2 (en) * | 2008-06-06 | 2014-09-09 | At&T Intellectual Property I, L.P. | System and method for synthetically generated speech describing media content |
KR101474963B1 (ko) * | 2008-07-01 | 2014-12-19 | 엘지전자 주식회사 | 휴대 단말기 및 그 제어방법 |
KR101404367B1 (ko) | 2008-07-15 | 2014-06-20 | 임머숀 코퍼레이션 | 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법 |
WO2010008232A2 (ko) * | 2008-07-16 | 2010-01-21 | 한국전자통신연구원 | 실감 효과 표현 방법 및 그 장치 및 실감 효과 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
WO2010008235A2 (ko) * | 2008-07-16 | 2010-01-21 | 한국전자통신연구원 | 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
WO2010008234A2 (ko) * | 2008-07-16 | 2010-01-21 | 한국전자통신연구원 | 실감 효과 표현 방법 및 그 장치 및 실감 기기 성능 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
WO2010008233A2 (ko) * | 2008-07-16 | 2010-01-21 | 한국전자통신연구원 | 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
CN102204225B (zh) | 2008-09-05 | 2013-12-11 | Sk电信有限公司 | 传送振动信息的移动通信终端及其方法 |
KR20100033954A (ko) * | 2008-09-22 | 2010-03-31 | 한국전자통신연구원 | 실감 효과 표현 방법 및 장치 |
US9400555B2 (en) * | 2008-10-10 | 2016-07-26 | Internet Services, Llc | System and method for synchronization of haptic data and media data |
US20100153995A1 (en) | 2008-12-12 | 2010-06-17 | At&T Intellectual Property I, L.P. | Resuming a selected viewing channel |
US9402133B2 (en) * | 2009-02-12 | 2016-07-26 | Brock Maxwell SEILER | Multi-channel audio vibratory entertainment system |
CA2754705A1 (en) * | 2009-03-10 | 2010-09-16 | Bayer Materialscience Ag | Electroactive polymer transducers for tactile feedback devices |
EP2419808B1 (en) * | 2009-04-15 | 2015-06-10 | Koninklijke Philips N.V. | A foldable tactile display |
US20100274817A1 (en) * | 2009-04-16 | 2010-10-28 | Bum-Suk Choi | Method and apparatus for representing sensory effects using user's sensory effect preference metadata |
US20100268745A1 (en) * | 2009-04-16 | 2010-10-21 | Bum-Suk Choi | Method and apparatus for representing sensory effects using sensory device capability metadata |
US20120059697A1 (en) * | 2009-05-08 | 2012-03-08 | University Of Washington | Advertising during accelerated media playback |
US8068025B2 (en) | 2009-05-28 | 2011-11-29 | Simon Paul Devenyi | Personal alerting device and method |
KR101713358B1 (ko) | 2009-07-22 | 2017-03-07 | 임머숀 코퍼레이션 | 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법 |
JP4769342B2 (ja) | 2009-09-03 | 2011-09-07 | パナソニック株式会社 | 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体 |
GB2474047B (en) | 2009-10-02 | 2014-12-17 | New Transducers Ltd | Touch sensitive device |
US10254824B2 (en) | 2009-10-16 | 2019-04-09 | Immersion Corporation | Systems and methods for output of content based on sensing an environmental factor |
US8902050B2 (en) | 2009-10-29 | 2014-12-02 | Immersion Corporation | Systems and methods for haptic augmentation of voice-to-text conversion |
US20110124413A1 (en) * | 2009-11-23 | 2011-05-26 | Levanon Ofer | Haptic-simulation home-video game |
US20130316826A1 (en) * | 2009-11-23 | 2013-11-28 | Ofer LEVANON | Haptic-simulation home-video game |
KR101303648B1 (ko) | 2009-12-08 | 2013-09-04 | 한국전자통신연구원 | 감성신호 감지 장치 및 그 방법 |
US20110153768A1 (en) | 2009-12-23 | 2011-06-23 | International Business Machines Corporation | E-meeting presentation relevance alerts |
WO2011106520A1 (en) * | 2010-02-24 | 2011-09-01 | Ipplex Holdings Corporation | Augmented reality panorama supporting visually impaired individuals |
US8798534B2 (en) * | 2010-07-09 | 2014-08-05 | Digimarc Corporation | Mobile devices and methods employing haptics |
CA2841802C (en) | 2010-07-21 | 2018-08-28 | D-Box Technologies Inc. | Media recognition and synchronisation to a motion signal |
CN102385571B (zh) * | 2010-09-06 | 2016-03-30 | 联想(北京)有限公司 | 一种显示方法及显示装置 |
KR101719653B1 (ko) | 2010-09-16 | 2017-03-24 | 엘지전자 주식회사 | 이동 단말기, 전자 시스템 및 이를 이용한 데이터 송수신 방법 |
WO2012061840A1 (en) | 2010-11-05 | 2012-05-10 | Georgia Tech Research Corporation | Haptic systems, devices, and methods using transmission of pressure through a flexible medium |
CN102480612A (zh) * | 2010-11-21 | 2012-05-30 | 余浪 | 用于传输视频数据和触觉数据的方法以及视频采集装置 |
US10598539B2 (en) | 2010-11-23 | 2020-03-24 | Feather Sensors Llc | Method and apparatus for intelligent airflow sensors |
US20120150928A1 (en) * | 2010-12-09 | 2012-06-14 | Peter Ward | Method and system for identifying media assets |
WO2012086208A1 (ja) * | 2010-12-22 | 2012-06-28 | 京セラ株式会社 | 電子機器 |
JP5593244B2 (ja) | 2011-01-28 | 2014-09-17 | 日本放送協会 | 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体 |
JP5602653B2 (ja) | 2011-01-31 | 2014-10-08 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 情報処理装置、情報処理方法、情報処理システム、およびプログラム |
US9093120B2 (en) * | 2011-02-10 | 2015-07-28 | Yahoo! Inc. | Audio fingerprint extraction by scaling in time and resampling |
US9448626B2 (en) * | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
US8717152B2 (en) | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US8872011B2 (en) * | 2011-02-25 | 2014-10-28 | Mark Fresolone | Visual, tactile and motion-sensation system for representing music for an audience |
US8593420B1 (en) * | 2011-03-04 | 2013-11-26 | Amazon Technologies, Inc. | Providing tactile output and interaction |
JPWO2012127837A1 (ja) * | 2011-03-18 | 2014-07-24 | パナソニック株式会社 | 表示装置、3d眼鏡、及び3d映像視聴システム |
US8948892B2 (en) * | 2011-03-23 | 2015-02-03 | Audible, Inc. | Managing playback of synchronized content |
US8976980B2 (en) | 2011-03-24 | 2015-03-10 | Texas Instruments Incorporated | Modulation of audio signals in a parametric speaker |
EP3229045B1 (en) | 2011-03-30 | 2019-02-27 | Hunt Energy Enterprises, LLC | Apparatus and system for passive electroseismic surveying |
US9448713B2 (en) * | 2011-04-22 | 2016-09-20 | Immersion Corporation | Electro-vibrotactile display |
US9083821B2 (en) * | 2011-06-03 | 2015-07-14 | Apple Inc. | Converting audio to haptic feedback in an electronic device |
US9762719B2 (en) | 2011-09-09 | 2017-09-12 | Qualcomm Incorporated | Systems and methods to enhance electronic communications with emotional context |
US8694375B2 (en) | 2011-09-30 | 2014-04-08 | Microsoft Corporation | Determining whether to display message to user in application based on user message viewing history |
KR102054370B1 (ko) * | 2011-11-23 | 2019-12-12 | 삼성전자주식회사 | 햅틱 피드백 방법 및 장치, 기계로 읽을 수 있는 저장 매체 및 휴대용 통신 단말 |
US10013857B2 (en) * | 2011-12-21 | 2018-07-03 | Qualcomm Incorporated | Using haptic technologies to provide enhanced media experiences |
KR101869562B1 (ko) * | 2011-12-27 | 2018-07-24 | 삼성전자주식회사 | 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법 |
US9013426B2 (en) * | 2012-01-12 | 2015-04-21 | International Business Machines Corporation | Providing a sense of touch in a mobile device using vibration |
JP6081705B2 (ja) | 2012-02-03 | 2017-02-15 | イマージョン コーポレーションImmersion Corporation | 波形を利用した音響−触覚効果変換システム |
US8493354B1 (en) * | 2012-08-23 | 2013-07-23 | Immersion Corporation | Interactivity model for shared feedback on mobile devices |
EP2629178B1 (en) | 2012-02-15 | 2018-01-10 | Immersion Corporation | High definition haptic effects generation using primitives |
US9483771B2 (en) * | 2012-03-15 | 2016-11-01 | At&T Intellectual Property I, L.P. | Methods, systems, and products for personalized haptic emulations |
US8847913B2 (en) * | 2012-04-04 | 2014-09-30 | Kohler Co. | User interface device for a bath or shower |
US9715276B2 (en) * | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
US9132346B2 (en) * | 2012-04-04 | 2015-09-15 | Kenneth J. Huebner | Connecting video objects and physical objects for handheld projectors |
WO2013151155A1 (ja) | 2012-04-06 | 2013-10-10 | 株式会社ニコン | データ処理装置、及びデータ処理プログラム |
US20130307829A1 (en) * | 2012-05-16 | 2013-11-21 | Evernote Corporation | Haptic-acoustic pen |
US9891709B2 (en) | 2012-05-16 | 2018-02-13 | Immersion Corporation | Systems and methods for content- and context specific haptic effects using predefined haptic effects |
US20130311881A1 (en) | 2012-05-16 | 2013-11-21 | Immersion Corporation | Systems and Methods for Haptically Enabled Metadata |
US8861858B2 (en) | 2012-06-01 | 2014-10-14 | Blackberry Limited | Methods and devices for providing companion services to video |
US8896524B2 (en) * | 2012-08-24 | 2014-11-25 | Immersion Corporation | Context-dependent haptic confirmation system |
US9092059B2 (en) * | 2012-10-26 | 2015-07-28 | Immersion Corporation | Stream-independent sound to haptic effect conversion system |
US9128523B2 (en) * | 2012-12-20 | 2015-09-08 | Amazon Technologies, Inc. | Dynamically generating haptic effects from audio data |
US9352226B2 (en) * | 2012-12-21 | 2016-05-31 | Sony Interactive Entertainment America Llc | Automatic generation of suggested mini-games for cloud-gaming based on recorded gameplay |
US9261960B2 (en) * | 2013-01-24 | 2016-02-16 | Immersion Corporation | Haptic sensation recording and playback |
US9182890B2 (en) * | 2013-01-31 | 2015-11-10 | Lg Electronics Inc. | Image display apparatus and method for operating the same |
KR102099086B1 (ko) * | 2013-02-20 | 2020-04-09 | 삼성전자주식회사 | 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스 |
EP2962172B1 (en) * | 2013-03-01 | 2020-04-29 | Nokia Technologies Oy | Control apparatus for a tactile audio display |
US8754757B1 (en) * | 2013-03-05 | 2014-06-17 | Immersion Corporation | Automatic fitting of haptic effects |
US9866924B2 (en) | 2013-03-14 | 2018-01-09 | Immersion Corporation | Systems and methods for enhanced television interaction |
US9064385B2 (en) * | 2013-03-15 | 2015-06-23 | Immersion Corporation | Method and apparatus to generate haptic feedback from video content analysis |
US9363131B2 (en) * | 2013-03-15 | 2016-06-07 | Imagine Communications Corp. | Generating a plurality of streams |
US9992491B2 (en) * | 2013-03-15 | 2018-06-05 | Immersion Corporation | Method and apparatus for encoding and decoding haptic information in multi-media files |
EP2806353B1 (en) * | 2013-05-24 | 2018-07-18 | Immersion Corporation | Method and system for haptic data encoding |
US20140368349A1 (en) * | 2013-06-14 | 2014-12-18 | Revolution Display | Sensory element projection system and method of use |
US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9898086B2 (en) * | 2013-09-06 | 2018-02-20 | Immersion Corporation | Systems and methods for visual processing of spectrograms to generate haptic effects |
US9711014B2 (en) | 2013-09-06 | 2017-07-18 | Immersion Corporation | Systems and methods for generating haptic effects associated with transitions in audio signals |
US9652945B2 (en) * | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
-
2013
- 2013-12-31 US US14/145,650 patent/US9652945B2/en active Active
-
2014
- 2014-08-28 KR KR1020140113005A patent/KR102364487B1/ko active IP Right Grant
- 2014-09-02 JP JP2014178052A patent/JP6537795B2/ja active Active
- 2014-09-05 CN CN201910367121.2A patent/CN110119205A/zh active Pending
- 2014-09-05 CN CN201410452996.XA patent/CN104427390B/zh active Active
- 2014-09-08 EP EP20140183978 patent/EP2846226A3/en not_active Ceased
-
2017
- 2017-04-05 US US15/479,398 patent/US9928701B2/en active Active
-
2018
- 2018-02-06 US US15/889,301 patent/US10140823B2/en active Active
- 2018-10-22 US US16/166,434 patent/US10395490B2/en active Active
-
2019
- 2019-06-05 JP JP2019104958A patent/JP2019195181A/ja not_active Withdrawn
- 2019-07-12 US US16/509,591 patent/US20190340897A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20170206755A1 (en) | 2017-07-20 |
US20190057583A1 (en) | 2019-02-21 |
US10395490B2 (en) | 2019-08-27 |
KR20150028720A (ko) | 2015-03-16 |
CN110119205A (zh) | 2019-08-13 |
CN104427390A (zh) | 2015-03-18 |
US20190340897A1 (en) | 2019-11-07 |
JP2015053048A (ja) | 2015-03-19 |
JP6537795B2 (ja) | 2019-07-03 |
EP2846226A2 (en) | 2015-03-11 |
US10140823B2 (en) | 2018-11-27 |
US20150070150A1 (en) | 2015-03-12 |
KR102364487B1 (ko) | 2022-02-18 |
US20180158291A1 (en) | 2018-06-07 |
US9928701B2 (en) | 2018-03-27 |
US9652945B2 (en) | 2017-05-16 |
EP2846226A3 (en) | 2015-04-22 |
CN104427390B (zh) | 2019-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019195181A (ja) | マルチメディアコンテンツを補足する情報に基づいて触覚効果を提供するための方法及びシステム | |
US10191552B2 (en) | Haptic authoring tool using a haptification model | |
US20210280185A1 (en) | Interactive voice controlled entertainment | |
US9715798B2 (en) | Method and apparatus of converting control tracks for providing haptic feedback | |
JP6734623B2 (ja) | 音声信号に関係付けられる触覚効果を生成するためのシステム及び方法 | |
US9640046B2 (en) | Media recognition and synchronisation to a motion signal | |
US20190267043A1 (en) | Automated haptic effect accompaniment | |
KR102246893B1 (ko) | 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법 | |
KR20190084809A (ko) | 전자 장치 및 전자 장치에 의한 자막 표현 방법 | |
WO2014179389A1 (en) | Interactive content and player | |
US10943446B2 (en) | Media recognition and synchronisation to a motion signal | |
Tsioustas et al. | Innovative applications of natural language processing and digital media in theatre and performing arts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190628 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20200131 |