JP2020113289A - 触覚フィードバックを提供するための制御トラックを変換する方法及び装置 - Google Patents

触覚フィードバックを提供するための制御トラックを変換する方法及び装置 Download PDF

Info

Publication number
JP2020113289A
JP2020113289A JP2020030033A JP2020030033A JP2020113289A JP 2020113289 A JP2020113289 A JP 2020113289A JP 2020030033 A JP2020030033 A JP 2020030033A JP 2020030033 A JP2020030033 A JP 2020030033A JP 2020113289 A JP2020113289 A JP 2020113289A
Authority
JP
Japan
Prior art keywords
control track
haptic
haptic feedback
output device
haptic output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020030033A
Other languages
English (en)
Other versions
JP6874184B2 (ja
Inventor
レベスク,ヴィンセント
Levesque Vincent
サボウヌ,ジャマール
Saboune Jamal
バーンバウム,ディビッド
Birnbaum David
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2020113289A publication Critical patent/JP2020113289A/ja
Application granted granted Critical
Publication of JP6874184B2 publication Critical patent/JP6874184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】所定のタイプの触覚出力装置での使用のために設計された制御トラックを、その他の数の及び/又はタイプの触覚出力装置で使用できるように変換する。【解決手段】システム100において、触覚トラック変換器140は、制御トラック112を、その他のタイプの触覚出力装置160に適用可能な変換済み制御トラック154へと変換する。変換済み制御トラック154は、触覚トラックが最初に設計されたシステム以外の異なる触覚フィードバック装置を含むその他の装置又はスマートフォンでの使用に適合する。スマートフォン又はその他のシステムのユーザは、制御トラックが設計され使用されることを意図した触覚フィードバックシステムとは異なる装置を使用して、触覚フィードバックを体験できる。変換は、スマートフォン又はその他のシステムにおいてローカルに行われる、及び/又は、別の装置においてリモートに行われる。【選択図】図1

Description

関連出願の相互参照
本出願は、2013年9月6日に出願された米国仮特許出願第61/874,920号からの優先権の利益を請求するものであり、この出願の全内容が引用により本明細書に組み入れられる。
本開示は、触覚出力装置を介して触覚フィードバックを提供するための制御トラックを変換するシステム及び方法に関する。
触覚フィードバックを使用して媒体を拡張することにより、没入型(immersive)のユーザ体験を生み出すことができる。例えば、映画やビデオゲームにおける爆発、又は、音楽のベース音には、メディア体験を向上させる触覚フィードバックを付加することができる。触覚フィードバックは、制御トラック(control track)によって規定することができる。この制御トラックは、手動で作成され(例えば、人により設計される)、又は、(例えば、処理装置によって)自動的に生成される。しかしながら、これらの技術はそれぞれ、利点及び欠点を有する。
手動で作成された制御トラックは、人が作成したカスタマイズされた触覚フィードバックを提供してもよく、したがって、より意味を持つ、直感的なメディアコンテンツの表現となり得る。しかしながら、手動で制御トラックを作成することは、時間の掛かるプロセスである。手動で作成される制御トラックは、通常、特定の映画のように、特定のメディアコンテンツに対して生成されるので、異なる映画のようなその他のメディアコンテンツへの使用には適さない。したがって、所定のメディアコンテンツに対して手動で作成された制御トラックは、別のメディアコンテンツに適用できない場合がある。更に、このように手動で作成される制御トラックは、多くの場合、例えば、椅子に設けられ、椅子を回転させる、上下に移動させる等が可能となる複数の及び異なるタイプの触覚出力装置のような特殊な触覚出力システムで使用されるように設計されている。したがって、このような制御トラックは、その他のタイプの及び/又は複数の触覚出力装置、例えば、移動体通信装置で使用されているような触覚出力装置と互換性を有さない。
従来の自動化システムは、メディアコンテンツのコンピュータによる分析に基づいて決定された触覚フィードバックを提供し得る。このようなシステムは、メディアコンテンツを拡張するための触覚フィードバックを提供するための、費用効率に優れた早い解決策を提供することができる。しかしながら、このような従来のシステムは、メディアコンテンツの全てのタイプに適用可能な強力な触覚フィードバックを提供するわけではなく、また、触覚フィードバックを規定する手動で作成された制御トラックと比較して同様な品質の触覚フィードバックを提供できない場合がある。更に、自動的に生成された制御トラックは、特定のタイプの触覚出力装置と互換性を有さない場合がある。上記のような問題及びその他の問題が存在する。
本開示は、触覚出力装置を介して触覚フィードバックを提供するための制御トラックを変換するシステム及び方法に関する。制御トラックは、特定数の及び/又は特定のタイプの触覚出力装置を介して触覚フィードバックを提供するように構成されてもよい。システムは、特定のタイプの及び/又は特定数の触覚出力装置のために設計された高品質制御トラックを活用して、その他のタイプの及び/又はその他の数の触覚出力装置に適用可能とする。
例えば、制御トラックは、例えば、映画のような特定のメディアコンテンツに対して手動で作成又は制作されてもよい。制御トラックは、例えば、ユーザが映画を鑑賞する間に触覚フィードバックを提供する複数の異なるタイプの触覚出力装置を備える特殊な椅子のような、触覚出力システムで使用されるように適合化されてもよい。
制御トラックは、例えば、椅子を回転させる回転タイプの触覚フィードバック、椅子を上下に動かすタイプの触覚フィードバック、及び/又は、その他のタイプの触覚フィードバックのように異なるタイプの及び/又は複数の触覚フィードバックを、異なるタイプの及び/又は複数の触覚出力装置が提供するように設計されてもよい。提供されるべき触覚フィードバックの数及び/又はタイプは、特定の映画のシーン又はその他のメディアコンテンツに対応するように、作成者によって設計されてもよい。
一実施形態では、システムは、制御トラックを、その他の数の及び/又はタイプの触覚出力装置での使用のために変換してもよい。例えば、システムは、椅子のために特別に作成された制御トラックを、その他のタイプの及び/又はその他の数の触覚出力装置に適用可能な別の制御トラック(例えば、制御信号又は駆動信号)へと変換してもよい。変換された制御トラックは、椅子以外の異なる複数の又はタイプの触覚フィードバック装置を含むその他の装置又はスマートフォンでの使用に適合してもよい。このような態様で、スマートフォン又はその他の装置のユーザは、制御トラックが最初に設計され使用された椅子又はその他の触覚フィードバックシステムとは異なる装置を使用して、触覚フィードバックを体験することができる。一実施形態では、制御トラックは、システムによる変換なしでは、スマートフォン又はその他の装置での使用に対して互換性を有さないようにしてもよい。
本発明の一実施態様に係る、触覚出力装置を介した触覚フィードバックを提供する制御トラックを変換するシステムを示している。
本発明の一実施態様に係る、複数のチャネルを有する制御トラックを、少ない数のチャネルを有する変換制御トラックへと変換するコンピュータ装置の一例を示している。
本発明の一実施態様に係る、少ない数のチャネルを有する制御トラックを、多い数のチャネルを有する変換制御トラックへと変換するコンピュータ装置の一例を示している。
本発明の一実施態様に係る、所定数のチャネルを有する制御トラックを、同数のチャネルを有する変換制御トラックへと変換するコンピュータ装置140の一例を示している。
本発明の一実施態様に係る、それぞれが異なる触覚プロファイルを有する少ない数のチャネルへと変換される、対応する触覚プロファイルをそれぞれ有する複数のチャネルの一例が示されている。
本発明の一実施態様に係る、それぞれが異なる触覚プロファイルを有する多い数のチャネルへと変換される、対応する触覚プロファイルをそれぞれ有する少ない数のチャネルの一例が示されている。
本発明の一実施態様に係る、それぞれが異なる触覚プロファイルを有する同数のチャネルへと変換される、対応する触覚プロファイルをそれぞれ有する所定数のチャネルの一例が示されている。
本発明の一実施態様に係る、複数のチャネルを有する制御トラックに基づいて、一の又は複数の触覚フィードバックを出力する触覚出力システムの一例を示している。
本発明の一実施態様に係る、変換制御トラックが生成された元の制御トラックとは異なる数のチャネルを有する変換制御トラックに基づいて触覚フィードバックを出力する触覚出力装置を有する装置の一例を示している。
本発明の一実施態様に係る、触覚出力装置を介した触覚フィードバックを提供する制御トラックを変換するプロセスのフローチャートである。
本発明の一実施態様に係る、制御トラックからデコードされる触覚フィードバックと、変換制御トラックへとエンコードされる触覚フィードバックとのタイミングを調整する例を概略的に示している。
本発明の一実施態様に係る、制御トラックからデコードされる触覚フィードバックのタイミングを決定する段階、当該タイミングに基づいてメディアコンテンツで発生するイベントを決定する段階、及び、当該イベントに基づいて触覚フィードバックを決定する段階の例を概略的に示した図である。
本発明の一実施態様に係る、図7A及び図7Bに示した触覚トラックを変換するハイブリッドスキームの一例を概略的に示している。
図1は、本発明の一実施態様に係る、触覚出力装置160を介した触覚フィードバックを提供する制御トラック112を変換するシステム100を示している。システム100は、制御トラック生成器110、コンピュータ装置140、触覚出力システム170、触覚出力装置160及び/又はその他の構成要素を含み得る。
制御トラック生成器110は、制御トラック112を作成する制御トラック設計者が操作する装置を含んでもよい。制御トラック112は、触覚出力システム170に、設計者が特に作成した一の又は複数のタイプの触覚フィードバックを提供させる制御信号又はその他の情報を含んでもよい。必ずしもそうではないが典型的には、触覚フィードバックが、例えば、映画、ビデオゲーム、音楽、及び/又は、再生可能なその他のメディアコンテンツと同期するように、制御トラックが設計される。このような態様で、メディアコンテンツを再生するユーザに対して、メディアコンテンツの様々な部分に対応した及び制御トラック設計者によって設計された触覚フィードバックが提供されてもよい。
一部の例では、制御トラック112は、人の手が介入することなくコンピュータ装置によって自動的に生成される、及び/又は、制御トラック設計者のような人間のオペレータによる入力によりコンピュータ装置によって半自動的に生成される。制御トラック112を生成するのに何れの方法がとられたとしても、制御トラックによって規定される触覚フィードバックは触覚出力システム170での使用に適合化されてもよい、又は、触覚出力システム170での使用を意図されてもよい。
触覚出力システム170は、一の又は複数の触覚出力装置172(図1には、触覚出力装置172A、172B、…、172Nとして示されている)を含んでもよい。制御トラック112は、通常、特定の触覚出力システム170での使用のために設計され、その他の触覚出力装置とは互換性を有さない。
本明細書で使用されている、制御トラックが一の触覚出力装置と“互換性を有さない(incompatible)”というのは、当該制御トラックが規定する特定の触覚出力フィードバックを、当該一の触覚出力装置によって生成することができないことを意味する。例えば、制御トラック設計者が、触覚出力システム170での使用のために制御トラック112を設計することから、制御トラック112が触覚出力装置160に適用されても、触覚出力装置160は、制御トラック設計者又は自動化コンピュータプロセスによって設計された特定の触覚フィードバックを生成しない。このような非互換性は、信号形式の違い、触覚フィードバックを提供するのに使用される触角出力装置のタイプ又は数の違い(例えば、触覚出力装置172のタイプ/数と、触覚出力装置160との間の違い)、及び/又は、互換性を有さない触覚出力装置が特定の触覚フィードバックを提供することができないようにしている制御トラック又は触覚出力装置のその他の特性によって、起こる。更に、触覚フィードバックは、触覚フィードバック特性、例えば、大きさ、振幅、継続期間及び/又はその他の特性が、他の触覚フィードバックの対応する特性と異なる場合には、当該他の触覚フィードバックとは“異なり”得る。
触覚出力装置160が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体(「ERM」)などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ(「LRA」)、または圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および/または触覚(例えば、振動触知)フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置160は、非機械的又は非振動装置、例えば、静電摩擦(「ESF」)や超音波表面摩擦(「USF」)を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板及び可撓性もしくは変形可能な表面を用いる装置、又はエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。
触覚出力装置160が変換された制御トラック154に基づいて触覚フィードバックを提供するように、コンピュータ装置140が制御トラック112を変換するようにプログラムされてもよい。触覚出力装置160が提供する触角フィードバックは、触覚出力システム170が提供する触角フィードバックの代わりに使用されてもよい、当該触覚フィードバックを表してもよい、又は、当該触覚フィードバックを再現してもよい。このような態様で、特定のタイプ及び/又は特定数の触覚出力装置を有する特定の触覚出力システムで使用するために設計された制御トラックを、異なるタイプ及び/又は数の触覚出力装置に対して使用することができる制御トラックへと変換してもよい。
コンピュータ装置140は、例えば、コンピュータプログラミング命令を含み得る様々なモジュールを使用してプログラムされるプロセッサ142を備えてもよい。記憶装置144に格納されてもよい様々なモジュールとしては、制御トラックデコードモジュール146、制御トラック変換モジュール148、制御トラック編集モジュール150、フィードバック調整モジュール152及び/又はその他のモジュールを含み得る。
コンピュータ装置140は、制御トラック112を受信し、当該制御トラックをコンピュータ装置140にストリーミングし記憶装置144に格納する、及び/又は、コンピュータ装置140に転送してもよい。制御トラック112がストリーミングされるか及び/又は転送されるかに関わらず、コンピュータ装置140は、制御トラックを処理し、処理された制御トラックに基づいて変換された制御トラック154を生成するようにプログラムされてもよい。制御トラック154は触覚出力装置160に提供されてもよく、触覚出力装置160は、制御トラック154に基づいて触覚フィードバックを生成してもよい。図では別個に示されているが、触覚出力装置160は、コンピュータ装置140と一体化されてもよい又は別個に設けられてもよい。別個に設けられる場合には、コンピュータ装置140及び触覚出力装置160は、有線接続又は無線接続を介して互いに結合されてもよい。一体化される場合には、プロセッサ142及び触覚出力装置160は、従来の回路を使用して互いに結合されてもよい。
一部の実施形態では、制御トラックデコードモジュール146は、制御トラック112をデコードするように構成されてもよい。制御トラックでコーディングモジュール146は、予め格納されたファイル(例えば、制御トラック112が記憶装置144に格納されている場合)に基づいて制御トラック112をデコードしてもよい、又は、制御トラックがストリームされる時に処理が実行されるように、ストリーミングされた制御トラック112に基づいてデコードしてもよい。
制御トラックデコードモジュール146は、制御トラック112から一の又は複数の個別のチャネルを特定してもよい。個別のチャネルは、対応する触覚出力装置172に触覚フィードバックを生成させるように構成されてもよい。すなわち、個別のチャネルはそれぞれ、対応する触覚出力装置172に適用されると、対応する触覚出力装置によって触覚フィードバックが生成されるようにする。制御トラックデコードモジュール146は、従来の信号処理技術を使用して、このような個別のチャネルを識別及び判断してもよい。
一部の実施形態では、制御トラックデコードモジュール146は、メディアコンテンツに関連する情報を含むメタデータを、制御トラック112から抽出するように構成されてもよい。対応するメディアコンテンツを記述するべく、触覚設計者によってメタデータが制御トラック112へとエンコード済みであってもよい。例えば、メタデータは、対応するメディアコンテンツにおけるイベント(例えば、映画又はゲームにおける爆発)の記述(description)、メディア再生中の特定の期間における所定の触覚フィードバックを実行するコマンド(例えば、10秒間椅子を回転させる)、及び/又は、対応するメディアコンテンツに関連するその他の情報を含み得る。コンピュータ装置140は、以下に説明するように、メタデータに基づいて制御トラック154を生成するように構成されてもよい。
一部の実施形態では、制御トラック変換モジュール148は、制御トラック112に基づいて、制御トラック154を生成するように構成されてもよい。制御トラック変換モジュール148は、全く新しい制御トラックを作成することにより、又は、制御トラック112を修正することにより、制御トラック154を生成してもよい。このような態様で、制御トラック154が新たに生成されたものであるか、制御トラック112を単に修正したものであるかに関わらず、制御トラック変換モジュール148は、制御トラック112を制御トラック154へと“変換”してもよい。
制御トラック変換モジュール148は、制御トラック112からデコードされた一の又は複数の個別のチャネルを分析して、制御トラック154に含めるべき同数の又は異なる数の(少ない又は多い)チャネルを生成してもよい。
一部の実施形態では、制御トラック変換モジュール148は、制御トラック112を制御トラック154へと変換するのに、信号処理を実行してもよい。例えば、一つのチャネル又はその他の数のチャネルを有する制御トラックを生成するために、制御トラック112の複数のチャネルの周波数成分を分析してもよい。
制御トラック変換モジュール148は、複数のチャネルの組み合わせに基づいて、マルチチャネル制御トラックを、より少ない数のチャネルを有する制御トラックへと変換してもよい。例えば、制御トラック変換モジュール148は、一つのチャネルに、複数のチャネルを重畳してもよい。制御トラック変換モジュール148は、複数のチャネルのサブセットのみに基づいて、マルチチャネル制御トラックを、より少ない数のチャネルを有する制御トラックへと変換してもよい。例えば、制御トラック変換モジュール148は、複数のチャネルのうちの一つ又は複数を無視して、特定の特性を有する一の又は複数のチャネル(例えば、所定の時間に、より高い又は最大の強さを有するチャネル)を使用してもよい、及び/又は、利用可能なチャネルよりも少ないチャネルを使用してもよい。
一部の実施形態では、制御トラック変換モジュール148は、制御トラックを触覚出力装置160により適したもの(例えば、互換性を有する)にするべく、制御トラック112及び/又は制御トラック154の一の又は複数のチャネルを変更してもよい。例えば、制御トラック変換モジュール148は、制御トラック112の周波数成分をシフトして、触覚出力装置160の帯域幅及び周波数応答に良好に一致させるようにしてもよい。このような例の一部では、制御トラック変換モジュール148は、制御トラック112及び/又は制御トラック154の一の又は複数の信号の包絡線を抽出して、触覚出力装置160の共振周波数を走る正弦波で包絡線を満たしてもよい。このような態様で、制御トラック変換モジュール148は、触覚出力装置160の特性(例えば、上記の例における共振周波数)に基づいて、提供すべき触角フィードバックを調整してもよい。
一部の実施形態では、制御トラック変換モジュール148は、制御トラック154へとエンコードされた触覚フィードバックを、制御トラック112によってエンコードされた触覚フィードバックとほぼ同時に出力させるように調整してもよい。例えば、制御トラック変換モジュール148は、開始時間及び/又は終了時間のような、制御トラック112によってエンコードされる触覚フィードバックのタイミングを識別してもよい。(制御トラック112内に埋め込まれてもよい又は埋め込まれなくてもよい)触覚フィードバックのタイミングを使用して、制御トラック変換モジュール148は、制御トラック154にエンコードされた触覚フィードバックを、対応する時間にエンコードしてもよい(例えば、同じ開始及び/又は終了時間)。このような態様で、制御トラック154にエンコードされた触覚フィードバックが、制御トラック112にエンコードされた触覚フィードバックの開始時間と同様な時間に開始されてもよい、制御トラック112にエンコードされた触覚フィードバックの終了時間と同様な時間に終了してもよい、又は、制御トラック112にエンコードされた触覚フィードバックと同様な開始時間及び終了時間に開始及び終了してもよい。
一部の実施形態において、制御トラック変換モジュール148は、制御トラック112によってエンコードされた触覚フィードバックのタイミングを識別して、メディアコンテンツの対応する部分を判断してもよい。そして、制御トラック変換モジュール148は、メディアコンテンツの対応する部分に基づいて、提供すべき触角フィードバックを自動的に決定してもよい。このような実施形態の一部において、制御トラック112からの触覚フィードバックを、制御トラック154にエンコードされる触覚フィードバックへと変換する代わりに、制御トラック変換モジュール148は、制御トラック112からの触覚フィードバックがエンコードされる時に対応するメディアコンテンツの部分に基づいて、制御トラック154にエンコードすべき触覚フィードバックを決定してもよい。このような態様で、制御トラック変換モジュール148は、制御トラック112を、触覚フィードバックを提供すべき時を示すガイドとして使用してもよいが、触覚フィードバックを自動的に決定するのにメディアコンテンツを使用してもよい。このようなメディアコンテンツに基づく自動触覚フィードバックの生成は、例えば、米国特許出願公開第2012/0206246号明細書(公開日:2012年8月16日)として公開された、共同所有の米国特許出願第13/365,984号明細書(出願日:2012年2月3日、発明の名称:「振幅値を用いた音声触覚効果変換システム」)、及び米国特許出願公開第2012/0206247号明細書(公開日:2012年8月16日)として公開された、米国特許出願第13/366,010号明細書(出願日:2012年2月3日、発明の名称:「波形を用いた音声触覚効果変換システム」)に記載されたシステム及び方法を使用して実行されてもよく、これら文献は参照により全内容が本明細書に組み込まれる。
実施形態の一部では、制御トラック変換モジュール148は、制御トラック112によってエンコードされた触覚フィードバック変換と、メディアコンテンツの対応する部分に基づいた自動生成との組み合わせに基づいて、触覚フィードバックを自動的に決定してもよい。このような態様で、制御トラック変換モジュール148は、制御トラック112からの触覚フィードバックのタイミングをガイドとして利用して、メディアコンテンツの対応する部分から触覚フィードバックを自動的に決定し、制御トラック112によってエンコードされた触覚フィードバックの変換を行ってもよい。このような組み合わせは、変換された触覚フィードバック及びメディアコンテンツから自動的に生成された触覚フィードバックの様々なフィードバックパラメータ(例えば、大きさ、周波数、期間等)を平均化することにより達成してもよい。
一部の実施形態では、制御トラック変換モジュール148は、イベントを識別して、識別されたイベントに基づいて制御トラック112を制御トラック154へと変換してもよい。機械学習及びパターン認識、制御トラック112に関連付けられたメタデータ、制御トラック112と関連付けられたメディアコンテンツに基づいて、及び/又は、イベントを示すその他の情報に基づいて、イベントを学習させてもよい。
制御トラック変換モジュール148は、機械学習及びパターン認識を使用して、制御トラック112の一の又は複数のチャネル内の一の又は複数のイベントを認識してもよい。イベントは、複数のチャネルのうちの一つ又は複数の認識可能な特性を含み、それにより、制御トラック112によってエンコードされる触覚フィードバックを示してもよい。例えば、全てのチャネルにおいて振幅が大きい場合は、爆発に関連する触覚フィードバックを発生させることが予測され、異なる複数のチャネルが異なる振幅及び方向を有する場合には、飛行に関連した回転動作(例えば、異なる複数のチャネルが、異なる複数の触覚出力装置に椅子を回転させる制御信号を有する)を発生させることが予測される。
一部の実施形態では、触覚デコードモジュール146によって抽出されたメタデータ及び/又は対応するメディアコンテンツの分析を使用して、このようなイベントを識別してもよい。一部の実施形態では、イベントは、特定の触覚フィードバックにマッピングされてもよい。このような実施形態では、制御トラック変換モジュール148は、制御トラック154の生成に変換規則を使用してもよく、例えば、特定の触覚フィードバックが、触覚出力装置160において生成される。一部の例では、特定の触覚フィードバックは、制御トラック112に応答して、触覚出力システム170が生成した元の触覚フィードバックを再現(simulate)するように構成されてもよい。例えば、触覚フィードバックが、爆発効果を再現するような強い振動を伴って発生するように、制御トラック154が生成されてもよい。飛行効果を再現するべく、ゆっくりと変化する触覚フィードバックが発生するように、制御トラック154が生成されてもよい。したがって、制御トラック154は、制御トラック変換モジュール148によって自動的に生成されてもよい。しかしながら、コンピュータ装置140は、開発者及び/又はエンドユーザのようなユーザによって手動で編集することを可能とするようにプログラムされてもよい。
一部の実施形態では、制御トラック編集モジュール150は、手動で又は半手動で、変換を実行するように構成されてもよい。このような手動変換は、新規の触覚フィードバックを付加する、自動的に構成された触覚フィードバックを削除する、及び/又は、制御トラック154により発生される触覚フィードバックを変更することにより、特定の需要に適するように制御トラック154を調整することを含む。一部の実施形態では、制御トラック編集モジュール150は、制御トラック112の手動変換を可能とする一方で、制御トラック変換モジュール148からの提案を受信してもよい。例えば、ユーザが手動で制御トラック112を変換すると、制御トラック変換モジュール148は、生成される予定の触覚フィードバックに対する提案を提供してもよい。一部の実施形態では、ユーザは、結果を改善した方が良い場合に、制御トラック変換モジュール148に提案を供給してもよい。例えば、ユーザは、メディアコンテンツにおける特定のイベントを視覚的に認識して、それに応じて、触覚フィードバックを提案、変更又は削除してもよい(及び、コンピュータ装置140は、制御トラック編集モジュール150を介してこのような提案を受信してもよい)。
一部の実施形態では、フィードバック調整モジュール152は、ビデオ出力及び/又はオーディオ出力を、制御トラック112を使用して調整するよう構成されてもよい。一部の実施形態では、フィードバック調整モジュール152は、メディアコンテンツに埋め込まれた同期コードに基づいて、及び/又は、通常は、ビデオ出力、オーディオ出力及び/又は触覚フィードバックそれぞれの出力の時間を設定するタイムスタンプを利用して、ビデオ出力及び/又はオーディオ出力を同期してもよい。
実施中には、メディア再生は、様々な構成において、制御トラック154を使用して調整されてもよい。例えば、一の装置が、表示装置(例えば、タッチスクリーン)及び触覚出力装置160を備えてもよい。これに替えて、複数の装置を使用して、メディアコンテンツ及び触覚フィードバックを別個に提供してもよい。例えば、テレビを使用してメディアコンテンツを提供する一方で、触覚出力装置160を収容する装置を介して触覚フィードバックが提供されてもよい。触覚出力装置を収容する装置としては、以下に限定されないが、スマートフォン、タブレットコンピュータ、ウェアラブルデバイス(例えば、“スマートグラス”)、ゲームコントローラ、リモートコントロール、及び/又は、触覚出力装置160を収容可能なその他の装置が含まれる。
触覚出力装置160が一つのみ図示されているが、コンピュータ装置140は、複数の触覚出力装置160を利用可能なように、複数のチャネルを含む制御トラック154を生成してもよい。例えば、コンピュータ装置140は、マルチチャネル制御トラックを、より少ない数のチャネルを有する制御トラックへと変換してもよく、少ない数のチャネルとは、必ずしも1つのチャネルに限定されない。更に、コンピュータ装置160は、マルチチャネル制御トラックを、同じ数のチャネルを有する制御トラックへと変換して、複数の触覚出力装置160を使用して対応する触覚フィードバックを出力するようにしてもよい。例えば、触覚出力装置172の数が、触覚出力装置160の数と一致する場合、触覚出力装置160の特性に基づいて制御トラック112のチャネルのそれぞれを変換するように、コンピュータ装置140をプログラムしてもよい。更に、コンピュータ装置140は、一つのチャネル制御トラックを、一の又は複数のチャネルを有する制御トラックへと変換してもよい。
一部の実施形態では、コンピュータ装置140は、自動的に生成された制御トラックについても変換を行ってもよい。例えば、ビデオ及び/又はオーディオコンテンツに基づいて自動的に生成された制御トラックは、以下に記載するようにコンピュータ装置140の機能を使用して変換されてもよい。
更に、移動プラットフォームを移動させるモータを制御するのに使用される制御トラックを、触覚出力装置160を使用して動きを再現するように、コンピュータ装置140によって変換してもよい。例えば、遊園地の乗り物のモータに対するコマンド信号を分析して、モータによる加速(又はその他の動き)を検出してもよい。このような分析は、動きを再現するべく触覚出力装置160に提供されてもよい制御トラック154を自動的に生成するべく、以下に記載されるような様々なオペレーションを使用して実行されてもよい。制御トラック154及び必要に応じて対応するメディアコンテンツが、一つの装置又は複数の装置に適用されて、遊園地の乗り物を真似た触覚フィードバック、及び、必要に応じてビデオ/オーディオを提供してもよい。
当業者であれば、その他の適用例についても理解できる。例えば、本明細書に記載されるシステム及び方法に基づいて、振動トラックを摩擦トラック(例えば、ESFトラック)へと変換してもよい、又は、その反対の変換を行ってもよい。例えば、振動トラックによってエンコードされた触覚フィードバックの周波数及び振幅を、摩擦トラックによってエンコードされたESFの特性に一致させるべく、修正してもよい。
コンピュータ装置140としては、携帯機器(例えば、スマートフォン)、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、ゲーム機、及び/又は、その他のコンピュータ装置を含み得る。
本明細書に記載される記憶装置144及びその他の記憶媒体としては、コンピュータ装置140と一体に(すなわち、実質的に着脱不能に)設けられたシステムストレージ、及び、例えばポート(例えばUSBポート、ファイヤーワイヤーポート等)やドライブ(例えばディスクドライブ等)を介してコンピュータ装置140と着脱可能に接続されたリムーバブルストレージの少なくとも一方が含まれる。記憶装置144及びその他の記憶媒体には、光学的に読み取り可能な記憶メディア(例えば光学ディスク等)、磁気的に読み取り可能な記憶メディア(例えば磁気テープ、磁気ハードドライブ、フロッピードライブ等)、電荷型ストレージメディア(例えばEEPROM、RAM等)、ソリッドステート・記憶メディア(例えばフラッシュドライブ等)、及び/又は前記以外の電子的に読み取り可能な不揮発性記憶媒体が含まれる。本明細書に記載される記憶装置144及びその他の記憶媒体には、一又は複数の仮想ストレージリソース(例えば、クラウドストレージ、仮想プライベートネットワーク、及び/又はこれら以外の仮想ストレージリソース)が含まれる。本明細書に記載される記憶装置144及びその他の記憶媒体は、ソフトウェアアルゴリズム、プロセッサ142によって決定された情報、コンピュータ装置140から受信した情報、及び/又は、コンピュータ装置140が本明細書で説明したように機能できるようにするその他の情報を記憶することができる。
本明細書に記載される一の又は複数のプロセッサ142及びその他のプロセッサは、コンピュータ装置140における情報処理能力を提供するように構成される。したがって、本明細書に記載される一の又は複数のプロセッサ142及びその他のプロセッサとしては、デジタルプロセッサ、アナログプロセッサ、情報処理用のデジタル回路、情報処理用のアナログ回路、ステートマシン、及び/又は、電子的に情報を処理する前記以外のメカニズムの一又は複数を含む。本明細書で説明されたプロセッサ142及びその他のプロセッサは、図1において単一の要素として示されているが、これは説明の便宜上に過ぎない。一部の実施形態においては、本明細書で説明されるプロセッサ142及びその他のプロセッサは、複数のプロセッシングユニットを備えることができる。これらのプロセッシングユニットは、物理的に同じ装置に配置されてもよいし、本明細書に記載されるプロセッサ142及びその他のプロセッサは、連携して動作する複数の装置の処理機能を表すことができる。本明細書に記載されるプロセッサ142及びその他のプロセッサは、モジュールを実行する際に、ソフトウェア、ハードウェア、ファームウェア、ソフトウェア・ハードウェア・ファームウェアの何れかの組み合わせ、及び/または、本明細書に記載されるプロセッサ142等のプロセッサの処理能力を構成する前記以外の機構を用いてもよい。
本明細書で説明される様々なモジュールは例示に過ぎない。説明した以外の構成や数のモジュールを用いることもできるし、一又は複数の物理的なプロセッサが本明細書の機能を実現するためにプログラムされる限りにおいては、モジュール化しないアプローチを取ることもできる。図1において様々なモジュールが単一の処理装置内の同じ位置に配置されるものとして示されるが、プロセッサ142が複数の処理装置を含む実施形態においては、一又は複数のモジュールを他のモジュールとは分離して配置してもよい。以下の異なるモジュールによって提供される機能の記述は説明のためのものであり、限定を意図したものではない。モジュールはいずれも記述されるよりも多くの、または少ない機能を提供してもよい。例えば、当該複数のモジュールのうちの一または複数を取り除き、その機能の一部又は全てを、当該複数のモジュールのうちの他のモジュールで提供してもよい。他の例として、複数のモジュールのうちの1つに帰せられる機能の一部又は全てを実行する1又は複数の更なるモジュールを実行するように、プロセッサ142が構成されてもよい。
図1に示される構成要素は、ネットワーク等の様々な通信リンクを介して互いに通信可能に結合される。当該ネットワークには、有線接続又は無線接続が含まれる。本発明の一部の態様において、当該ネットワークは、例えば、インターネット、イントラネット、PAN(Personal Area Network)、LAN(Local Area Network)、WAN(Wide Area Network)、SAN(Storage Area Network)、MAN(Metropolitan Area Network)、無線ネットワーク、セルラー通信ネットワーク、公衆交換電話網、及び/又はこれら以外のネットワークの一又は複数である。
様々な入力、出力、設定、及び/又は本明細書で格納される(stored)又は格納可能(storable)として説明される前記以外の情報は、一又は複数のデータベース(図1には示されていない)に格納することができる。かかるデータベースは、例えば、オラクルコーポレーションによって市販されているオラクル(登録商標)リレーショナル・データベースであり、当該リレーショナル・データベースを含み、または当該リレーショナル・データベースと接続することができる。これ以外のデータベース、たとえば、Informix(登録商標)、DB2(Database 2)、又はその他のデータストレージを使用し、組み込み、又はこれらにアクセスすることができる。その他データストレージとしては、ファイルベースのもの、クエリフォーマット、またはOLAP(On Line Analytical Processing)、SQL(On Line Analytical Processing)、SAN(Storage Area Network)、Microsoft Access(登録商標)又は前記以外のリソースが含まれる。このデータベースは、一又は複数の物理的な装置および一又は複数の物理的な場所に配置されるようなデータベースを含む。このデータベースは、複数の種類のデータおよび/もしくはファイル、並びに/または、関連するデータ記述もしくはファイル記述、管理情報、または前記以外の任意の情報を記憶することができる。
図2Aは、本発明の一実施態様に係る、複数のチャネル202を有する制御トラック112を、少ない数のチャネル210を有する変換制御トラック154へと変換するコンピュータ装置140の一例を示している。図ではチャネル210が一つのみ示されているが、コンピュータ装置140は、制御トラック112からのチャネル202の数よりも少ない任意の数のチャネルを有するように制御トラック154を生成するようにプログラムされてもよい。したがって、コンピュータ装置140は、3つ(又はその他の数)のチャネルを有する制御トラックを、制御トラックよりも少ない2つ(又は、その他の少ない数)のチャネルを有する変換制御トラックへと変換してもよい。本明細書に記載するように、コンピュータ装置140は、必要のないチャネルを削除する(例えば、その他のチャネルを表す一の又は複数のチャネルを選択する)、2つ又は2つを超えるチャネルを組み合わせる、及び/又は、少ない数のチャネルを生成することにより、チャネルの数を減らす変換を行ってもよい。制御トラック112の複数のチャネルのうちの少なくとも一つを変更せずに残して、制御トラック154が、制御トラック112から変更されなかった少なくとも一つのチャネル202を有するようにしてもよい。これに加えて又は代えて、チャネル202の包絡線を満たす又は修正することにより、制御トラック112の複数のチャネル202のうちの少なくとも一つを変更してもよい。
非制限的な図2Aの例を参照すると、制御トラック112は元々、標的のデバイス/システムが有する触覚出力装置の数よりも多い触覚出力装置を有する触覚出力システムで使用されることが意図されている。例えば、5つの触覚出力装置を有する第1の装置によって提供される触覚フィードバックを、元の制御トラックを第2の装置での使用のために変換することにより、一つの触覚出力装置を有する第2の装置によって再現的に出力又は提供してもよい。
図2Bは、本発明の一実施態様に係る、少ない数のチャネルを202有する制御トラック112を、多い数のチャネル210を有する変換制御トラックへ154と変換するコンピュータ装置140の一例を示している。図では、制御トラック202が一つのみ示されているが、コンピュータ装置140は、任意の数のチャネルを有する制御トラック112を、より多い数のチャネルを有する制御トラック154へと変換するようにプログラムされてもよい。以下に記載するように、コンピュータ装置140は、更なるチャネルを付加することによって、多い数のチャネルを有する制御トラックへの変換を行ってもよい。このように付加されたチャネルは、一の又は複数のチャネル202から導かれたものであってもよい(例えば、更なる一の又は複数のチャネルを作成するべく、2つ又は2つを超えるチャネル202を平均化する、結合させる又は組み合わせることによって;一の又は複数のチャネル202を複製することによって、及び/又は、新規のチャネル202を追加することによって付加される)。
非限定的な図2Bの例を参照すると、制御トラック112は元々、標的のデバイス/システムが有する触覚出力装置の数よりも少ない触覚出力装置を有する触覚出力システムで使用されることが意図されている。例えば、3つの触覚出力装置を有する第1の装置によって提供される触覚フィードバックを、元の制御トラックを第2の装置での使用のために変換することにより、6つの触覚出力装置を有する第2の装置によって再現的に出力又は提供してもよい。
図2Cは、本発明の一実施態様に係る、所定数のチャネル202を有する制御トラック112を、同数のチャネル210を有する変換制御トラック154へと変換するコンピュータ装置140の一例を示している。図では、一つのチャネル202及び一つのチャネル210が示されているが、コンピュータ装置140は、任意の数のチャネル202を同数のチャネル210へと変換するようにプログラムされてもよい。これらの実施形態では、コンピュータ装置140は、複数のチャネル202のうちの一つ又は複数を、対応するチャネル210へと変換数するべく、以下に記載するように変更してもよい。
非限定的な図2Cの例を参照すると、制御トラック112は元々、標的のデバイス/システムが有する触覚出力装置の数と同数の触覚出力装置を有する触覚出力システムで使用されることが意図されている。一部の例では、標的の装置の複数の触覚出力装置のうちの少なくとも一つは、元の触覚出力システムの複数の触覚出力装置のうちの少なくとも一つと異なるタイプの触覚出力装置であってもよい。
図2A、図2B及び図2Cに示すように、一部の実施形態では、複数のチャネル210のうちの2つ又は2つを超えるチャネルが、実質的に、互いに一致してもよい(例えば、複製であってもよい)。このような実施形態において、標的の装置の少なくとも2つの触覚出力装置が、同じ触覚フィードバックを提供してもよい。
図3Aには、本発明の一実施態様に係る、それぞれが異なる触覚プロファイル310を有する少ない数のチャネル210へと変換される対応する触覚プロファイル300をそれぞれ有する複数のチャネル202の一例が示されている。図3Bには、本発明の一実施態様に係る、それぞれが異なる触覚プロファイル310を有する多い数のチャネル210へと変換される対応する触覚プロファイル300をそれぞれ有する少ない数のチャネル202の一例が示されている。図3Cには、本発明の一実施態様に係る、それぞれが異なる触覚プロファイル310を有する同数のチャネル210へと変換される対応する触覚プロファイル300をそれぞれ有する所定数のチャネル202の一例が示されている。
図3A、図3B及び図3Cには、X軸及びY軸を基準とした触覚プロファイルの非制限的な例が示されている。力のプロファイルのそれぞれにおいて、Y軸には、例えば、大きさである触覚フィードバックの特性が示され、X軸は、時間を示している。上記で図2A、図2B及び図2Cを参照して説明したように、チャネル202は、チャネル210へと変換されてもよい。
図4は、本発明の一実施態様に係る、複数のチャネル202を有する制御トラック112に基づいて、一の又は複数の触覚フィードバックを出力する触覚出力システム170の一例を示している。触覚出力システム170は、元々、制御トラック112に基づいて触覚フィードバックを提供することを意図されていたシステムを含み得る。図では、触覚出力システム170は、複数の触覚出力装置172を有する椅子として示されているが、その他の形態の触覚出力装置172も使用可能である(例えば、それぞれが触覚出力装置172を有するウェアラブルデバイス、複数の触覚出力装置172を有するコンピュータ装置のシステム等)。一部の実施形態では、所定の触覚出力装置172は、他の触覚出力装置172によって提供される触覚フィードバックとは異なる特定の種類の触覚フィードバックを提供するように構成されてもよい。例えば、触覚出力装置172Nは椅子を回転させる一方、触覚出力装置172Aは椅子を前後に傾けてもよい。
図5は、本発明の一実施態様に係る、制御トラック154が生成された元の制御トラックとは異なる数のチャネル210を有する変換制御トラック154に基づいて触覚フィードバックを出力する触覚出力装置160を有するコンピュータ装置140の一例を示している。図5には、触覚出力装置160が一つのみ示されているが、コンピュータ装置140は、複数の触覚出力装置160を備えてもよい。図に示すように、制御トラック112から変換された制御トラック154が、触覚出力装置160を収容するコンピュータ装置140において適用されてもよい。例えば、触覚出力システム170によって提供された触覚フィードバックとは異なる触覚フィードバックを触覚出力装置160が生成するように、制御トラック112(図4及びその他の図面に図示する)が変換されてもよい。このような態様で、異なる数及び/又はタイプの触覚出力装置を意図した又はこれら装置のために設計された制御トラックを変換して、変換なしでは当該制御トラックとは互換性を有さない装置に対して触覚フィードバックを提供するのに使用してもよい。
図6は、本発明の一実施態様に係る、触覚出力装置を介した触覚フィードバックを提供する制御トラックを変換するプロセス600のフローチャートである。図6のフローチャートおよび他の図面に示された様々な処理段階が以下で詳細に説明される。説明される工程は、上述したシステム構成要素の一部または全部を使用して実現される。本発明の一態様に従って、様々なオペレーションが異なるシーケンスで実行され得る。他の実施形態において、図6及び他の図に示すオペレーションの一部又は全てと共に、更なるオペレーションを実行してもよい、又は、幾つかのオペレーションを省略してもよい。さらに他の実装態様においては、一又は複数のオペレーションが同時に実行され得る。また、図示された(また以下で詳細に説明する)オペレーションは、本質的に例示に過ぎず、限定的なものと理解されるべきではない。
オペレーション602において、第1制御トラックの受信が行われてもよい。第1制御トラックは、ストリーム、格納及びファイル、及び/又は、その他の転送機構を介して、受信されてもよい。オペレーション604において、第1制御トラックが処理が行われてもよい。処理としては、信号、メタデータ、及び/又は、第1制御トラックによってエンコードされたその他の情報を識別する又は取得するべく、第1制御トラックをデコードすることが含まれ得る。ストリーミングの実施形態の場合、処理は、第1制御トラックの少なくとも一部分を、処理を行うためにメモリバッファに格納することによって、ストリーミングされる第1制御トラックで発生する。格納されたファイルの実施形態の場合、第1制御トラックは、メモリデバイスから取得されて処理が行われてもよい。
オペレーション606では、上記の処理に基づいて、第2制御トラックが生成されてもよい。第2制御トラックは、信号、メタデータ、パターン認識、及び/又は、第1制御トラックから取得された又は導かれたその他の情報の処理に基づいて生成されてもよい。例えば、第2制御トラックが生成されるように、触覚フィードバックを提供させる制御信号に対して、修正、削除、付加及び/又は変更を行ってもよい。これに代えて又は加えて、第1制御トラックによってエンコードされたメタデータを使用して、第2制御トラックを生成してもよい。このようなメタデータは、対応するメディアファイル(例えば、動画)において発生するイベントを示すアノテーションを規定してもよい。このようなイベントに応答して、標的の触覚出力装置が出力することができる触覚フィードバックを、イベントに基づいて生成してもよい。例えば、所定の触覚フィードバックを所定のイベントと関連付けて、メタデータが当該所定のイベントを示した場合に、所定の触覚フィードバックが第2制御トラックにおいてエンコードされて、所定のイベントに対応するようにしてもよい。これに代えて又は加えて、制御信号又はメタデータによって規定された信号又はイベントパターンを使用して、第2制御トラックを生成してもよい。例えば、プロセス600では、特定の制御信号特性が爆発のような所定のイベントと相関付けされていることを学習してもよい。このような態様で、爆発又は所定の制御信号が示されると、プロセス600は、予め格納されている又は第1制御トラックからの制御信号から導き出された当該イベントに対する触覚フィードバックを、第2制御トラックにおいてエンコードしてもよい。
オペレーション608では、第2制御トラックは、一の又は複数の触覚出力装置(例えば、図1に示す触覚出力装置160)に提供されてもよい。図に示していないが、これに代えて又は加えて、後で触覚出力装置が使用できるように、メモリデバイスに第2制御トラックを格納してもよい。このような実施形態において、後で触覚出力装置が使用できるように、様々な制御トラックを、変換及び格納してもよい。
図7Aは、本発明の一実施態様に係る、制御トラック112からデコードされる触覚フィードバック712A及び712Bと、制御トラック154へとエンコードされる触覚フィードバック754A及び754Bとのタイミングを調整する例を概略的に示している。制御トラック112によってデコードされる触覚フィードバック712A及び712Bのタイミングが決定されてもよい。対応する触覚フィードバック754A及び754Bがそれぞれ、触覚フィードバック712A及び712Bから変換されてもよい及び同期されてもよい。すなわち、触覚フィードバック754A及び754Bは共に、触覚フィードバック712A及び712Bからそれぞれ変換されて同期されてもよい(例えば、これら触覚フィードバックがほぼ同時に出力されるように制御トラック154においてエンコードされてもよい)。
図7Bは、本発明の一実施態様に係る、制御トラック112からデコードされる触覚フィードバック712A及び712Bのタイミングを決定する段階、当該タイミングに基づいてイベント722A及び722Bを決定する段階、及び、当該イベント722A及び722Bに基づいて触覚フィードバック754A及び754Bを決定する段階の例を概略的に示した図である。触覚フィードバック712A及び712Bが出力される時に対応するイベント722A及び722Bが決定される。イベント722A及び722Bに基づいて、対応する触覚フィードバック754A及び754Bが自動的に生成される。このような態様で、触覚フィードバック712A及び712Bのタイミングを使用して、イベント722A及び722Bが決定され、次にイベント722A及び722Bを使用して、制御トラック154にエンコードされる触覚フィードバック754A及び754Bが自動的に決定される。
図7Cは、本発明の一実施態様に係る、図7A及び図7Bに示した触覚トラックを変換するハイブリッドスキームの一例を概略的に示している。触覚フィードバック712A及び712Bのタイミングを使用して、メディアコンテンツ720において発生するイベント722A及び722Bを識別してもよい。触覚フィードバック754A及び754Bは、次の組み合わせに基づいて決定されてもよい。(i)対応する触覚フィードバック712A及び712Bの変換、及び、(ii)対応するイベント722A及び722Bに基づいて、触覚フィードバック754A及び754Bを自動的に決定する。
本発明の他の態様、使用、および有利な効果は、明細書を考慮し、本明細書に記載された発明の実施を通じて、当業者に明らかなものとなる。本明細書は例示的なものに過ぎず、本発明の趣旨は以下の特許請求の範囲に基づいてのみ限定されることが意図されている。

Claims (18)

  1. 触覚フィードバックを生成するコンピュータに実装される方法であって、
    第1の触覚出力装置に第1触覚フィードバックを生成させるように構成された第1制御トラックをプロセッサを使用して処理する段階と、
    前記第1制御トラックを処理する段階に基づいて、前記第1の触覚出力装置とは異なる第2の触覚出力装置に第2触覚出力フィードバックを生成させるように構成された第2制御トラックを前記プロセッサを使用して生成する段階と、を備えるコンピュータに実装される方法。
  2. 前記第1制御トラックは、複数のチャネルを含み、
    前記第2制御トラックを生成する段階は、前記複数のチャネルを、前記第2制御トラックに含められるより少ない数のチャネルへと変換する段階を有する、請求項1に記載のコンピュータに実装される方法。
  3. 前記第1制御トラックを処理する段階は、
    前記第1の触覚出力装置に前記第1触覚フィードバックを生成させるように構成された一の又は複数のコマンドを、前記第1制御トラックから取得する段階を有し、
    前記第2制御トラックは、前記一の又は複数のコマンドに基づいて生成される、請求項1に記載のコンピュータに実装される方法。
  4. 前記第1制御トラックを処理する段階は、
    前記第1制御トラックに関連して発生する一の又は複数のイベントの記述を取得する段階を有し、
    前記第2制御トラックは、前記一の又は複数のイベントの前記記述に基づいて生成され、
    前記一の又は複数のイベントは、前記第2制御トラックと共に再生されるメディアで発生する、視覚的イベント、オーディオイベント又はプロセスを含む、請求項1に記載のコンピュータに実装される方法。
  5. 前記第1制御トラック内の一の又は複数のパターンを識別する段階と、
    前記一の又は複数のパターンを前記一の又は複数のイベントと相関付ける段階と、を更に備え、
    前記第2制御トラックは、前記一の又は複数のイベントに基づいて生成される、請求項1に記載のコンピュータにより実装される方法。
  6. 前記第1触覚フィードバックは、前記第2の触覚出力装置が再作成することができない動きを含み、
    前記第2制御トラックを生成する段階は、
    前記第2の触覚出力装置に前記動きを再現させるように前記第2制御トラックが構成されるように、前記第1制御トラックを変換する段階を有する、請求項1に記載のコンピュータにより実装される方法。
  7. ユーザから、一の又は複数の手動編集コマンドを受信する段階と、
    生成される前記第2触覚フィードバックが前記一の又は複数の手動編集コマンドに基づいて修正されるように、前記第2制御トラックを修正する段階とを更に備える、請求項1に記載のコンピュータにより実装される方法。
  8. 前記第2制御トラックにより前記第2触覚フィードバックがメディアコンテンツの再生と同調されるように、前記メディアコンテンツをメディア出力装置に出力する段階を更に備える、請求項1に記載のコンピュータにより実装される方法。
  9. 前記第2触覚フィードバックが前記第1触覚フィードバックと異なる、請求項1に記載のコンピュータにより実装される方法。
  10. 触覚フィードバックを提供するシステムであって、
    当該システムはプロセッサを備え、
    当該プロセッサは、
    第1の触覚出力装置に第1触覚フィードバックを提供させるように構成された第1制御トラックを処理し、
    前記第1制御トラックの処理に基づいて、前記第1の触覚出力装置とは異なる第2の触覚出力装置に、第2触覚出力フィードバックを生成させるように構成された第2制御トラックを生成するようにプログラムされる、システム。
  11. 前記第1制御トラックは、複数のチャネルを含み、
    前記プロセッサは更に、
    前記複数のチャネルを、前記第2制御トラックに含められるより少ない数のチャネルへと変換するようにプログラムされる、請求項10に記載のシステム。
  12. 前記プロセッサは更に、
    前記第1の触覚出力装置に前記第1触覚フィードバックを生成させるように構成された一の又は複数のコマンドを、前記第1制御トラックから取得するようにプログラムされ、
    前記第2制御トラックは、前記一の又は複数のコマンドに基づいて生成される、請求項10に記載のシステム。
  13. 前記プロセッサは更に、
    前記第1制御トラックに関連して発生する一の又は複数のイベントの記述を取得するようにプログラムされ、
    前記第2制御トラックは、前記一の又は複数のイベントの前記記述に基づいて生成され、
    前記一の又は複数のイベントは、前記第2制御トラックと共に再生されるメディアで発生する、視覚的イベント、オーディオイベント又はプロセスを含む、請求項10に記載のシステム。
  14. 前記プロセッサは更に、
    前記第1制御トラック内の一の又は複数のパターンを識別し、
    前記一の又は複数のパターンを前記一の又は複数のイベントと相関付けるようにプログラムされ、
    前記第2制御トラックは、前記一の又は複数のイベントに基づいて生成される、請求項10に記載のシステム。
  15. 前記第1触覚フィードバックは、前記第2の触覚出力装置が再作成することができない動きを含み、
    前記プロセッサは更に、
    前記第2の触覚出力装置に前記動きを再現させるように前記第2制御トラックが構成されるように、前記第1制御トラックを変換するようにプログラムされる、請求項10に記載のコンピュータにより実装される方法。
  16. 前記プロセッサは更に、
    ユーザから、一の又は複数の手動編集コマンドを受信し、
    生成される前記第2触覚フィードバックが前記一の又は複数の手動編集コマンドに基づいて修正されるように、前記第2制御トラックを修正するようにプログラムされる、請求項10に記載のシステム。
  17. 前記プロセッサは更に、
    前記第2制御トラックにより前記第2触覚フィードバックがメディアコンテンツの再生と同調されるように、前記メディアコンテンツをメディア出力装置に出力するようにプログラムされる、請求項10に記載のシステム。
  18. 前記第2触覚フィードバックが前記第1触覚フィードバックと異なる、請求項10に記載のシステム。
JP2020030033A 2013-09-06 2020-02-26 触覚フィードバックを提供するための制御トラックを変換する方法及び装置 Active JP6874184B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361874920P 2013-09-06 2013-09-06
US61/874,920 2013-09-06

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014176078A Division JP6667987B2 (ja) 2013-09-06 2014-08-29 触覚フィードバックを提供するための制御トラックを変換する方法及び装置

Publications (2)

Publication Number Publication Date
JP2020113289A true JP2020113289A (ja) 2020-07-27
JP6874184B2 JP6874184B2 (ja) 2021-05-19

Family

ID=51453702

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014176078A Active JP6667987B2 (ja) 2013-09-06 2014-08-29 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
JP2020030033A Active JP6874184B2 (ja) 2013-09-06 2020-02-26 触覚フィードバックを提供するための制御トラックを変換する方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014176078A Active JP6667987B2 (ja) 2013-09-06 2014-08-29 触覚フィードバックを提供するための制御トラックを変換する方法及び装置

Country Status (5)

Country Link
US (4) US9401079B2 (ja)
EP (2) EP3537440B1 (ja)
JP (2) JP6667987B2 (ja)
KR (1) KR102261452B1 (ja)
CN (2) CN104423588B (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
KR102521953B1 (ko) 2014-09-02 2023-04-14 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
US9879958B2 (en) 2014-09-19 2018-01-30 ARC Technology, LLC Haptic feedback spark device for simulator
US9719759B2 (en) * 2014-09-19 2017-08-01 ARC Technology, LLC Haptic feedback device for simulator
EP3286621A4 (en) * 2015-04-21 2018-12-12 Immersion Corporation Dynamic rendering of etching input
JP6299665B2 (ja) 2015-04-30 2018-03-28 三菱電機株式会社 電界効果トランジスタ
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
EP3293611B1 (en) * 2016-09-06 2019-05-15 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
EP3531250B1 (en) * 2016-09-06 2021-02-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
KR20180048227A (ko) * 2016-10-31 2018-05-10 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
US10075251B2 (en) * 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US20190324538A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
CN112740715B (zh) * 2018-09-20 2024-04-16 诺基亚技术有限公司 一种用于人工智能的装置和方法
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
JP7171530B2 (ja) * 2019-09-20 2022-11-15 日本電信電話株式会社 触覚振動配信装置、触覚振動配信方法、触覚振動配信プログラム
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
EP3955585A4 (en) * 2020-06-30 2023-01-04 Baidu Online Network Technology (Beijing) Co., Ltd VIDEO PROCESSING METHOD AND DEVICE, ELECTRONIC DEVICE AND STORAGE MEDIA
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003228453A (ja) * 1999-09-28 2003-08-15 Immersion Corp 振動体感フィードバック装置の体感刺激の制御方法
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US7019622B2 (en) * 2004-05-27 2006-03-28 Research In Motion Limited Handheld electronic device including vibrator having different vibration intensities and method for vibrating a handheld electronic device
CN104063056B (zh) * 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
EP2026173A1 (en) * 2007-08-13 2009-02-18 Research In Motion Limited Touchscreen for electronic device
US8138896B2 (en) * 2007-12-31 2012-03-20 Apple Inc. Tactile feedback in an electronic device
US9400555B2 (en) 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
BRPI0920332A2 (pt) * 2008-10-10 2016-03-01 Internet Services Llc dispositivo de produção tátil para utilização com meio tátil codificado
EP2202619A1 (en) * 2008-12-23 2010-06-30 Research In Motion Limited Portable electronic device including tactile touch-sensitive input device and method of controlling same
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US20100328229A1 (en) * 2009-06-30 2010-12-30 Research In Motion Limited Method and apparatus for providing tactile feedback
DE102011017250B4 (de) * 2011-01-07 2022-12-01 Maxim Integrated Products, Inc. Berührungs-Feedbacksystem, haptisches Feedbacksystem und Verfahren zum Bereitstellen eines haptischen Feedbacks
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US10191546B2 (en) * 2011-06-20 2019-01-29 Immersion Corporation Haptic theme framework
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR101880764B1 (ko) * 2012-02-03 2018-07-20 임머숀 코퍼레이션 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
US9513706B2 (en) * 2012-02-15 2016-12-06 Immersion Corporation High definition haptic effects generation using primitives
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9304588B2 (en) * 2013-05-14 2016-04-05 Thieab AlDossary Tactile communication apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003228453A (ja) * 1999-09-28 2003-08-15 Immersion Corp 振動体感フィードバック装置の体感刺激の制御方法
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム

Also Published As

Publication number Publication date
US20170287292A1 (en) 2017-10-05
US20160307414A1 (en) 2016-10-20
CN104423588A (zh) 2015-03-18
US10650645B2 (en) 2020-05-12
US10102725B2 (en) 2018-10-16
EP3537440A1 (en) 2019-09-11
US20150070154A1 (en) 2015-03-12
US9401079B2 (en) 2016-07-26
CN104423588B (zh) 2019-06-28
US20190080570A1 (en) 2019-03-14
EP2846549A1 (en) 2015-03-11
JP2015092654A (ja) 2015-05-14
EP2846549B1 (en) 2019-03-27
CN110231868A (zh) 2019-09-13
KR20150028750A (ko) 2015-03-16
KR102261452B1 (ko) 2021-06-07
JP6667987B2 (ja) 2020-03-18
US9715798B2 (en) 2017-07-25
JP6874184B2 (ja) 2021-05-19
EP3537440B1 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
JP6874184B2 (ja) 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
KR102215355B1 (ko) 동적으로 스케일링된 값에 기초한 공간화된 햅틱 피드백
US10395490B2 (en) Method and system for providing haptic effects based on information complementary to multimedia content
RU2721410C2 (ru) Способ и устройство для обеспечения осязательной обратной связи и интерактивности на основе осязательного пространства (hapspace) пользователя
US9245429B2 (en) Haptic warping system
US20210044644A1 (en) Systems, devices, and methods for streaming haptic effects

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210421

R150 Certificate of patent or registration of utility model

Ref document number: 6874184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250