JP2017028701A - 触力覚オーディオビジュアルコンテンツにおけるウォッシュアウト要求を伝達するための信号、関連する方法およびデバイス - Google Patents

触力覚オーディオビジュアルコンテンツにおけるウォッシュアウト要求を伝達するための信号、関連する方法およびデバイス Download PDF

Info

Publication number
JP2017028701A
JP2017028701A JP2016143567A JP2016143567A JP2017028701A JP 2017028701 A JP2017028701 A JP 2017028701A JP 2016143567 A JP2016143567 A JP 2016143567A JP 2016143567 A JP2016143567 A JP 2016143567A JP 2017028701 A JP2017028701 A JP 2017028701A
Authority
JP
Japan
Prior art keywords
haptic
effect
washout
information
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016143567A
Other languages
English (en)
Inventor
ドイエン ディディエ
Doyen Didier
ドイエン ディディエ
ダニエウ ファビアン
Danieau Fabien
ダニエウ ファビアン
ギヨテル フィリップ
Philippe Guillotel
ギヨテル フィリップ
フルーリュー ジュリアン
Fleureau Julien
フルーリュー ジュリアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2017028701A publication Critical patent/JP2017028701A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00Amusement arrangements
    • A63G31/16Amusement arrangements creating illusions of travel
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63JDEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J25/00Equipment specially adapted for cinemas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B06GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06BMETHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/0207Driving circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】HAVレンダリングデバイスが、デバイス特性によって規定されるその物理的制限ならびにユーザ選好にウォッシュアウトを適合させるように、HAVコンテンツを表す信号にウォッシュアウト関連情報を追加する。【解決手段】HAVコンテンツ信号は、触力覚ウォッシュアウト効果を表す第1の情報および触力覚ウォッシュアウト効果のために必要なパラメータを表す任意選択の第2の情報を含む。方法は、第1の触力覚効果を奏するステップと、デバイス特性、ユーザ選好、ウォッシュアウトフラグから得られるウォッシュアウトのタイプおよび任意選択のウォッシュアウトパラメータに従って触力覚ウォッシュアウト効果を計算するステップおよび触力覚ウォッシュアウト効果を奏するステップとを含む。【選択図】図6

Description

本発明は、触力覚オーディオビジュアルコンテンツの分野に関し、より正確にはウォッシュアウトフラグを備えた触力覚オーディオビジュアル信号、ならびに上記コンテンツのレンダリングのための方法およびデバイスに関する。本発明は、例えば、自動車または航空機シミュレータ、ビデオゲーム、テーマパークアトラクション、オーディトリアム、映画館において実施され得るが、家庭でも消費者レベルの触力覚オーディオビジュアルレンダリングデバイスを用いて実施され得る。
この項は、以下で述べられおよび/または特許請求される本開示の様々な態様に関連し得る技術の様々な態様を、読者に導入することを目的とするものである。この考察は、本開示の様々な態様のより良い理解を容易にするために、背景情報を読者にもたらすのに役立つと考えられる。従ってこれらの記述はこの観点から読まれるものであり、従来技術を認めるものとして読まれるものではないことが理解されるべきである。
米国特許第3050870号明細書においてHeiligは、ユーザが映画を視聴し、振動を検知し、風を感じ、においを嗅ぐことができるメカニカルデバイスであるセンソラマを導入した。60年代から始まるこの先駆的な活動は、仮想現実環境におけるユーザの没入を改善するための、触力覚の追加に向けた道を開いた。動きシミュレーションは1つの触力覚効果であり、ビデオ視聴体験を動きの触力覚効果により強化するために、例えば職業用フライトシミュレータで用いられるが、遊園地でも用いられる。これらのシステムのほとんどは、「The Stewart platform manipulator: a review」においてDasguptaによって述べられているStewartのプラットフォームの変形を用いている。基本的に動きシミュレータは、任意の方向に移動することが可能なプラットフォームに取り付けられた座席として平易に理解することができ、本明細書の以下では触力覚デバイスと呼ばれる。従ってユーザの全身が移動されて、加速度、落下、または隆起の通過など様々な感覚を生じる。このような動きシミュレータは、人間のユーザが自分の身体の加速度および回転を検知し、そのためにその運動を感じることを可能にする、ユーザの前庭系に影響を与える。
オーディオビジュアルコンテンツに適用されたときは、触力覚フィードバックは視聴者のコンテンツへの没入を改善するために用いることができる。この組み合わせは、触力覚オーディオビジュアル(Haptics Audio Visual)の略語である頭字語HAVとして知られている。HAVシステムでは、ユーザとコンテンツの間の関係は、もはやユーザが音を聞き画像を見るだけの受動的状況に限られず、オーディオビジュアルコンテンツに関連して物理的感覚を引き起こす、ユーザの身体への物理的作用により強化される。結果として、体験の感情的効果が拡大される。この目的のために、オーディオビジュアルコンテンツを表す信号は、奏されることになる触力覚効果についての情報で強化される必要がある。これは最初に適切な触力覚効果情報を生成し、次いでそれをオーディオビジュアルデータと組み合わせ、それによりHAVレンダリングデバイスによってレンダリングされるHAVコンテンツを作成することによって行われる。触力覚データを作成するときは触力覚データのクリエータは、効果のタイプおよびパラメータを指定しなければならない。遊園地またはいわゆる4D映画館で用いられるものなどのクローズドシステムにおいてそうであるように、クリエータがHAVレンダリングデバイスの特性を知っているいくつかの状況がある。この関連において、クリエータは効果をこれらの特性に適合させる。ホームユーザの触力覚レンダリングデバイスの場合は、余りに多様なレンダリング特性が存在するので状況は異なる。典型的な例は、動きプラットフォームまたは触力覚デバイスの運動の範囲である。安価な動きプラットフォームは、高価なデバイスより限られた範囲を有するだろう。所望の触力覚効果を正しくレンダリングするためにクリエータは、触力覚レンダリング情報を各レンダリングデバイスに適合させる必要があり、従ってHAVコンテンツの複数のバージョンをもたらし得る。
触力覚フィードバックを作成し、配給し、およびレンダリングすることは、表示フォーマットが必要であることを意味する。独自開発フォーマットの他に、MPEG−Vアーキテクチャは、HAVコンテンツのためのワークフローの1つの標準の形式化である。MPEG−V標準(MPEG−V.2011 ISO/IEC23005)は、HAVレンダリングデバイスなどの先進の相互作用デバイスを用いることによってマルチメディアプレゼンテーションおよびアプリケーションを制御するために、オーディオビジュアルデータに関連付けられた多感覚コンテンツをもたらすように特に設計されている。MPEG−Vは特に、触力覚効果を含む「感覚効果」を記述する。
触力覚レンダリングの分野において主要な課題は、レンダリングデバイスに関連付けられた物理的制限に関連する。実際、例えばアクション映画で爆発に関連付けられることになる、ユーザに熱の感覚をもたらすことになるレンダリングデバイスに対しては、熱を供給し、次いで再び冷却するのに何らかの慣性が存在する。その結果いくつかの場合には、いくつかの触力覚効果の連続を組み合わせることが不可能になる。触力覚デバイスの場合において、2つの「前方加速度」効果をレンダリングする必要があるときは、触力覚デバイスは、2つの必要な運動を組み合わせるのに十分な運動範囲を有しない場合がある。この課題を克服するために触力覚デバイスは、最初に加速感をもたらすために前方に移動することになり、次いでそれは第2の加速度をもたらすために再び前方に移動する前に、そのもとの位置に戻らなければならないことになる。この2つの効果の間でもとの位置に戻る中間のステップは、「ウォッシュアウト」と呼ばれ、ユーザによって知覚されるべきではない。ユーザに認識されないように運動の加速度は、およそ0.1m/s2である前庭系の閾値より小さくなければならない。ウォッシュアウトについての主要な課題は、HAVレンダリングデバイスの多様性およびそれらの異なる物理的制限により、HAVコンテンツのクリエータがウォッシュアウトを利用するのは、それらがレンダリングデバイスの物理的制限および特性に強く関連するために、非常に難しいことである。一般的な場合では、これらの制限は作成段階では分からない。
従って、従来技術の問題点の少なくともいくつかに対処する解決策の必要性があることが理解され得る。本開示はこのような解決策をもたらす。
本開示は、HAVコンテンツにおいて自動ウォッシュアウトを可能にする方法、デバイス、および信号に関する。より正確には、HAVレンダリングデバイスが、その物理的制限ならびにユーザ選好に関してウォッシュアウトを適合させ得るように、HAVコンテンツを表す信号にウォッシュアウト関連情報が追加される。種々のタイプのウォッシュアウトが提案され、デバイスがデバイスパラメータによって部分的に指定されるそのデフォルトゼロ値に戻るWASHOUT_DEFAULT、デバイスがコンテンツクリエータによってもたらされる絶対位置に戻るWASHOUT_ABSOLUTE、デバイスが絶対値の範囲内の値に戻るWASHOUT_BBOX、次の運動がもたらされるWASHOUT_NEXTを含む。WASHOUT_ABSOLUTEは、主要な触力覚レンダリングデバイスの特性を知り、デバイスの制限の克服を試みるコンテンツクリエータの制御下にあり、一方、WASHOUT_BBOXおよびWASHOUT_NEXTは、レンダリングデバイスにより多くの自由をもたらし、それらが連続した効果のレンダリングを最適化するためのいくつかの予測アルゴリズムを実行することを可能にする。
第1の態様では、本開示は、触力覚レンダリングデバイスにおいて実施される触力覚効果をレンダリングする方法を対象とし、レンダリングされることになる上記触力覚効果を表す情報を備えた信号を取得するステップであって、上記情報は、上記触力覚効果の後に奏されることになる触力覚ウォッシュアウト効果を表す少なくとも第1の情報を伝達する、ステップと、第1の効果を奏するために、上記触力覚効果を表す触力覚コマンドを、触力覚アクチュエータに提供するステップと、デバイス特性に従って上記触力覚ウォッシュアウト効果を表す上記触力覚コマンドを計算するステップと、上記触力覚ウォッシュアウト効果を奏するために、上記触力覚効果を表すさらなる触力覚コマンドを上記触力覚アクチュエータに提供するステップとを含む。変形形態では、上記触力覚コマンドを計算するステップはユーザ選好に従って行われる。
第1の態様の様々な実施形態は、
− 第1の情報の値は、絶対位置付けによる触力覚ウォッシュアウト効果を表す定められた値に対応し、上記触力覚効果の後に行われる上記触力覚ウォッシュアウト効果のために必要なパラメータを表す第2の情報をさらに備え、この第2の情報はウォッシュアウト動作によって到達される絶対値を含む、触力覚ウォッシュアウト、
− 第1の情報の値は、次の効果情報による触力覚ウォッシュアウト効果を表す定められた値に対応し、上記触力覚ウォッシュアウト効果のために必要なパラメータを表す第2の情報をさらに備え、この第2の情報は奏される次の効果を表す情報を含む、触力覚ウォッシュアウト、
− 第1の情報の値は、範囲位置決めによる触力覚ウォッシュアウト効果を表す定められた値に対応し、上記ウォッシュアウト効果のために必要なパラメータを表す第2の情報をさらに備え、この第2の情報は、そのいずれも触力覚ウォッシュアウト動作によって遵守されるべきである、位置値の範囲を規定する最小位置値および最大位置値を含む、触力覚ウォッシュアウト、
を備える。
第2の態様では、本開示は、触力覚効果をレンダリングするためのデータ処理装置を対象とし、レンダリングされる触力覚効果を表す情報を備えた信号を取得するように構成された入力インターフェースであって、それは上記触力覚効果の後に奏されることになる触力覚ウォッシュアウト効果を表す少なくとも第1の情報を伝達することを特徴とする、入力インターフェースと、触力覚インターフェースであって、第1の触力覚効果を奏するために第1の触力覚コマンドを、触力覚アクチュエータに提供し、上記触力覚アクチュエータからデバイス特性を取得し、上記触力覚ウォッシュアウト効果を奏するために、第2の触力覚コマンドを上記触力覚アクチュエータに提供すように構成された、触力覚インターフェースと、少なくとも触力覚ユーザ選好を提供するように構成されたメモリと、デバイス特性およびユーザ選好の少なくとも1つに従って、上記触力覚ウォッシュアウト効果を計算するように構成されたプロセッサーとを備える。
第2の態様の様々な実施形態は、
− 上記プロセッサーは、第1の情報の値が、絶対位置付けを有する触力覚ウォッシュアウト効果を表す定められた値に対応することを検出し、この場合は上記信号から、奏される上記触力覚ウォッシュアウト効果のために必要なパラメータを表す第2の情報を取得し、この情報はウォッシュアウト動作によって到達される絶対値を含み、および上記到達される絶対値、ならびに上記デバイス特性およびユーザ選好の少なくとも1つに従って、上記触力覚ウォッシュアウト効果を計算すること、を行うようにさらに構成された、触力覚ウォッシュアウト、
− 上記プロセッサーは、第1の情報の値が、奏される次の効果を表す情報を有する触力覚ウォッシュアウト効果を表す定められた値に対応することを検出し、この場合は上記信号から、奏される上記触力覚ウォッシュアウト効果のために必要なパラメータを表す第2の情報を取得し、この情報は上記奏される次の効果を表す情報を含み、および上記次の効果を表す上記情報、ならびに上記デバイス特性およびユーザ選好の少なくとも1つに従って、上記触力覚ウォッシュアウト効果を計算すること、を行うようにさらに構成された、触力覚ウォッシュアウト、
− 上記プロセッサーは、第1の情報の値が、範囲位置決めを有する触力覚ウォッシュアウト効果を表す定められた値に対応することを検出し、この場合は上記信号から、奏される上記触力覚ウォッシュアウト効果のために必要なパラメータを表す第2の情報を取得し、この情報は位置値の範囲を規定する最小位置値および最大位置値を含み、それらのいずれの1つも上記触力覚ウォッシュアウト効果によって遵守されるべきであり、上記位置値の範囲、ならびに上記デバイス特性およびユーザ選好の少なくとも1つに従って、上記触力覚ウォッシュアウト効果を計算すること、を行うようにさらに構成された、触力覚ウォッシュアウト、
− レンダリングされる触力覚効果を表す情報を備えた上記信号を、通信ネットワークを通して送信デバイスから受信すること、
− レンダリングされる触力覚効果を表す情報を備えた上記信号を、媒体記憶要素から取得すること、
を備える。
第3の態様では、本開示は、上記触力覚効果の後に奏される触力覚ウォッシュアウト効果を表す少なくとも第1の情報を備えた、触力覚効果を伝達する信号を対象とする。変形形態では、触力覚効果を伝達する上記信号は、上記ウォッシュアウト効果のために必要なパラメータを表す少なくとも第2の情報を備え、この第2の情報は、上記ウォッシュアウト効果によって到達されることになる絶対値、奏される次の効果を表す情報、ならびに最小位置値および最大位置値によって規定される位置値の範囲の1つを含む。
第4の態様では、本開示は、上記第1の態様の方法のいずれかの実施形態を実施するために、プロセッサーによって実行可能なプログラムコード命令を備えたコンピュータプログラムを対象とする。
第5の態様では本開示は、非一時的コンピュータ可読媒体に記憶され、上記第1の態様の方法のいずれかの実施形態を実施するために、プロセッサーによって実行可能なプログラムコード命令を備えた、コンピュータプログラム製品を対象とする。
次に添付の図面を参照して、非限定的な例として本開示の好ましい特徴が述べられる。
本開示の解決策が実施され得る例示のシステムを示す図である。 本原理の特定のおよび非限定的な実施形態による、HAVビットストリームを示す図である。 図2Aで導入されたHAVビットストリームの触力覚パケットの構造を詳しく示す図である。 ウォッシュアウトフラグが「WASHOUT_DEFAULT」に位置される、好ましい実施形態の第1の例による、触力覚デバイスの変位によって引き起こされる触力覚効果を示す図である。 ウォッシュアウトフラグが「WASHOUT_ABSOLUTE」に位置される、好ましい実施形態の第1の例による、触力覚デバイスの変位によって引き起こされる触力覚効果を示す図である。 ウォッシュアウトフラグが「WASHOUT_NEXT」に位置される、好ましい実施形態の第1の例による、触力覚デバイスの変位によって引き起こされる触力覚効果を示す図である。 ウォッシュアウトフラグが「WASHOUT_BBOX」に位置される、好ましい実施形態の第1の例による、触力覚デバイスの変位によって引き起こされる触力覚効果を示す図である。 触力覚デバイスの異なる実装形態における、同じウォッシュアウト効果の異なる結果を示す。 MPEG−V標準に基づく例示の実装形態に対応するxmlフォーマットでのHAVパケットにおいて好ましい実施形態によりシグナリングされ、図3Aに示される運動を結果として生じる、効果の規定を示す図である。 MPEG−V標準に基づく例示の実装形態に対応するxmlフォーマットでのHAVパケットにおいて好ましい実施形態によりシグナリングされ、図3Bに示される運動を結果として生じる、効果の規定を示す図である。 MPEG−V標準に基づく例示の実装形態に対応するxmlフォーマットでのHAVパケットにおいて好ましい実施形態によりシグナリングされ、図3Cに示される運動を結果として生じる、効果の規定を示す図である。 MPEG−V標準に基づく例示の実装形態に対応するxmlフォーマットでのHAVパケットにおいて好ましい実施形態によりシグナリングされ、図3Dに示される運動を結果として生じる、効果の規定を示す図である。 MPEG−V標準に基づく実装形態の例に対応する表を示す図である。 MPEG−V標準に基づく実装形態の例に対応する表を示す図である。 MPEG−V標準に基づく実装形態の例に対応する表を示す図である。 MPEG−V標準に基づく実装形態の例に対応する表を示す図である。 触力覚パケットが取得されたときに、HAVレンダリングデバイス上で生じるプロセスを示す図である。 触力覚デバイスのデバイスデフォルト値を規定するために必要な表を示す図である。 通信ネットワークを介した、2つの遠隔デバイスすなわち図1に示されるデバイスのタイプの送信デバイスと受信デバイスとの間の、触力覚オーディオビジュアルコンテンツの送信の状況を示す図である。 記憶要素に前に記録され、読み出しデバイスによって読み出される、触力覚オーディオビジュアルコンテンツの取得の状況を示す図である。 パケットベースの伝送プロトコルを用いてデータが送信されるときに、HAVコンテンツを伝達する信号の構文の実施形態の例を示す図である。
本発明は、触力覚デバイスにおいて実施される、HAVコンテンツにおける自動ウォッシュアウトを可能にする方法の特定の実施形態に関して述べられる。説明のために考察される触力覚効果は、運動であり、簡単にするために、明示的に記載されたものを除いて説明では1次元並進に限定される。用語を設定するために、本開示では「コマンド」は、コンテンツクリエータによってコンテンツにおいて規定された「効果」を実現するためにアクチュエータに提供される、低レベル情報であると見なされる。
図1は、本開示が実施され得る例示の装置を示す。触力覚レンダリングデバイス100は好ましくは、本開示の少なくとも1つの実施形態の方法を実行するように構成された少なくとも1つのハードウェアプロセッサー110、少なくとも触力覚ユーザ選好121を記憶するメモリ120、HAVコンテンツを取得するように構成された入力インターフェース130、ユーザと相互作用するように構成されたユーザインターフェース140、少なくとも1つの触力覚アクチュエータ160と相互作用するように構成された触力覚インターフェース150を備え、このアクチュエータはユーザの身体に向かって物理的刺激をもたらすように構成される。デバイス特性161は、最大運動範囲などのデバイス制限、およびデフォルト中立位置などのデフォルト値の両方を含む。触力覚座席またはフォースフィードバックデバイスは、触力覚アクチュエータの例の一部をなす。多くの他のデバイスが、本開示の趣旨と整合的に用いられ得る。WiFiまたはイーサネットプロトコルに適合する従来型の通信インターフェースは、入力インターフェース130の例の一部をなす。他の入力インターフェースが、本開示の趣旨と整合的に用いられ得る。これらの入力インターフェースは、デバイス100が他のデバイスと相互作用することを可能にするために、様々なインターネットプロトコルまたはデータ交換プロトコルなどの、より高レベルのプロトコルに対するサポートをもたらすことができる。非一時的コンピュータ可読記憶媒体190は、プロセッサー110によって実行可能なコンピュータ可読プログラムコードを記憶する。当業者は、示されたデバイスは見やすいように非常に簡略化されていることを理解するであろう。触力覚インターフェース150と触力覚アクチュエータ160の間の通信は、ISO/IEC23005−5に適合することが好ましく、入力インターフェース130を通して取得されるHAVコンテンツにおいて規定される触力覚効果は、ISO/IEC23005−3において規定されることが好ましい。触力覚アクチュエータ160は、独立型デバイスである、または触力覚レンダリングデバイス100に統合されることが理解されるであろう。
図2Aは、本原理の特定のおよび非限定的な実施形態による、HAVビットストリームを示す。HAVビットストリーム200は、記憶および配給目的のために適合されたHAVコンテンツの表現である。これは例えば、ビデオストリーム210、オーディオストリーム220、および触力覚ストリーム230を備える。ビデオストリーム210のフォーマットは例えばMPEG−2、H.264またはMPEG−4とすることができ、オーディオストリーム220のフォーマットは例えばMP3、またはAAC(アドバンストオーディオコーディング)とすることができる。触力覚ストリーム230は1または複数の触力覚パケット231から23nを備え、触力覚パケットは触力覚効果を表すデータを備えたパケットであり、nは1以上の整数である。ストリーム210から230は例えば、よく知られているMPEG−2トランスポートストリーム、またはリアルタイムトランスポートプロトコル(RTP)などのコンテナ240内に包まれる。当業者は、本原理は他のタイプのフォーマットおよびコンテナに適合することを理解することができる。
図2Bは、図2Aで導入されたHAVビットストリームの触力覚パケットの構造を詳しく示す。従来型のビットストリーム符号化と同様に、触力覚パケット232は、ヘッダ2321およびペイロード2325を備えることが好ましい。ヘッダ2321は、ウォッシュアウト効果を表す第1の情報2322「WashoutFlags」を備えることが好ましく、ペイロード2325は、ウォッシュアウトのために必要なパラメータを表す任意選択の第2の情報2326「WashoutParameters」を備えることが好ましい。WashoutFlags2322は、5つの異なる可能性を規定し、すなわちNO_WASHOUTはウォッシュアウトがなされるべきではないことを示し、WASHOUT_DEFAULTはウォッシュアウトが触力覚レンダリングデバイスに対して指定されたデフォルトパラメータ値に部分的に従ってなされるべきであることを示し、WASHOUT_ABSOLUTEはウォッシュアウトがWashoutParameters2326において規定された絶対値に従ってなされるべきであることを示し、WASHOUT_NEXTはウォッシュアウトがWashoutParameters2326において規定される次の移動を予想するようになされるべきであることを示し、WASHOUT_BBOXはウォッシュアウトがWashoutParameters2326において規定される最小および最大値に従ってなされるべきであることを示す。ウォッシュアウトパラメータの正確な規定は、効果のタイプに関連する。実際、3D位置または温度に対する絶対値を指定することは非常に異なる。
ヘッダ2321およびペイロード2325の両方はまた、触力覚に関連するが、他の触力覚フラグ、コマンド、またはパラメータなど本開示に関連しない他のデータを備えることができる。
好ましい実施形態によれば図2Bに示されるように、第1の情報はヘッダに含まれ、第2の情報はペイロードに含まれる。変形形態によれば、第1の情報と第2の情報は共に、ヘッダにまたはペイロードに含まれる。
図3Aは、ウォッシュアウトフラグが「WASHOUT_DEFAULT」に位置付けされた、好ましい実施形態の第1の例による、触力覚デバイスの変位によって引き起こされる触力覚効果を示す図である。図は、図1で述べられたような触力覚レンダリングデバイス100の一例に対応する触力覚デバイスによって行われる運動を詳しく示す。T0において第1の触力覚効果が、「WASHOUT_DEFAULT」フラグを含んで取得される。効果は、前方運動効果である。この効果によれば、線300で示されように、T0とT1の間の第1のフェーズは第1の並進効果に対応し、これは長さP1の前方運動である。同じ効果が典型的には数秒後に、T2とT3の間で繰り返されるように計画される。クリエータは、この第2の効果のために十分な運動範囲を有するために、触力覚デバイスがそのもとの位置に戻ることを要求する。実際、この例ではP1+P1>Pmaxであり、Pmaxは、特性161において規定された、触力覚デバイスの位置に対する最大値である。「WASHOUT_DEFAULT」フラグは第1の効果に位置付けされているので、触力覚デバイスは、線301で示されるように第1の効果の終わりに、デフォルト位置すなわちこの場合は0に戻る。デフォルト位置の値は、触力覚アクチュエータによって提供される。この並進は、運動が視聴者によって認識されないように、前庭系の閾値未満の加速度により低速度で行われる。ウォッシュアウトを行うために利用可能な遅延は、ウォッシュアウトパラメータによって提供される(ここでは、ΔT1T2=T2−T1)。T2では触力覚デバイスは、再びそのもとの位置にあり、第2の前方効果を受信する。この場合は、ウォッシュアウトフラグはセットされていない。従って触力覚デバイスは、線302で示されるように効果を適用するが、効果の終わりでは戻らず、線303で示される同じ位置P1に留まる。値の例は、運動効果持続時間に対しては200ms(ΔT0T1=T1−T0、およびΔT2T3=T3−T2)、ウォッシュアウト効果持続時間に対しては3秒(ΔT1T2=T2−T1)、および運動の振幅(P1)に対しては5cmである。図3Aに示される例では、示されるウォッシュアウト運動は、一定速度、従って3秒間で5cmでの運動に対応する。実際は、前庭系の閾値を遵守しながら、触力覚デバイスの物理的制限に対処するために、一定でないおよび累進的な加速度が好ましい。
図3Bは、ウォッシュアウトフラグが「WASHOUT_ABSOLUTE」に位置付けされた、好ましい実施形態の第2の例による、触力覚デバイスの変位によって引き起こされる触力覚効果を示す。この場合、ウォッシュアウトパラメータは、この例ではP1に固定された到達する値、およびウォッシュアウトの持続時間を備える。この効果の結果として、ウォッシュアウトの終わりでのt=T2における位置は、線311で示されるようにP1である。
図3Cは、ウォッシュアウトフラグが「WASHOUT_NEXT」に位置付けされた、好ましい実施形態の第3の例による、触力覚デバイスの変位によって引き起こされる触力覚効果を示す。この場合、ウォッシュアウトパラメータは、デバイスがその特性に従って、この範囲が十分となるのを確実にすることを可能にする、奏されることになる次の効果の運動を備える。そのためにデバイスは、その現在位置、次の効果の範囲、およびデバイス特性に基づいて、ウォッシュアウト時に到達されることになる位置を決定する。この例では次の効果パラメータは、「+4」に固定される。前の効果の終わりでの位置は「4」で、デバイスの最大位置は「6」であり、線321で示されるように最大限でもP1=2に位置付けする必要がある。
図3Dは、ウォッシュアウトフラグが「WASHOUT_BBOX」に位置付けされた、好ましい実施形態の第4の例による、触力覚デバイスの変位によって引き起こされる触力覚効果を示す。この場合、ウォッシュアウトパラメータは、デバイスによって遵守されるべき位置値の範囲を備え、範囲は最小位置値および最大位置値によって規定される。この例では位置値の範囲のパラメータは、最小値に対して「1」に、最大値に対して「3」に固定される。この場合、デバイスは、座席を線331で示されるように位置「2」に位置付けするように決定している。
図3Eは、触力覚デバイスの異なる実装形態における、同じウォッシュアウト効果の異なる結果を示す。これらの例は、「WASHOUT_NEXT」および「WASHOUT_BBOX」フラグの使用により、可能となるHAVレンダリングデバイスの自由度を示す。この例ではT0からT1までの第1の効果は、「WASHOUT_NEXT」に位置付けされたウォッシュアウトフラグ、および「+3」の前方値を与えるウォッシュアウトパラメータにより、「3」の量だけ触力覚デバイスを前方に移動する。T2からT3までの、第1のものと同一の第2の効果は、再び「3」の量だけ前方に移動する。第1の実装形態によれば、点線391によって表されるように、この後向き運動の速度は、前庭系の知覚レベルよりわずかに低く、「0」に達したときに停止する。実線392によって表される第2の実装形態では、この後向き運動の速度は、次の効果の丁度前に「0」位置に到達するように計算され、依然として前庭系の知覚レベルより低い。小破線(small-dashed line)393によって表される第3の実装形態は、前庭系の知覚レベルより低いままで、体験を滑らかにするようにいくらかの加速度が導入される。第4の実装形態ではデバイスの範囲は「5」に制限され、デバイスは運動を最小にするように構成される。従ってそれは、次の効果を完全に行うことができるように、ウォッシュアウトを行って位置「2」に戻るように決定する。この場合は破線394によって表される。最後に破線395は、より高い運動の範囲を有し、従って第2の効果を完全にレンダリングできるようにウォッシュアウトを行う必要がないデバイスを表す。
図4A、4B、4C、および4Dは、MPEG−V標準に基づく例示の実装形態に対応するxmlフォーマットでのHAVパケットにおいて好ましい実施形態によりシグナリングされ、それぞれ図3A、3B、3Cおよび3Dに示される運動を結果として生じる、効果の規定を示す。この規定は、ビットストリームバージョンに容易に変換する。図4Aでは、要素401「sedl:Effect」は効果のタイプを規定する。触力覚デバイスの場合は、効果はタイプ「sev:RigidBodyMotionType」である。ここでは2秒に固定される効果の持続時間などの、効果パラメータのいくつかは、要素401内に直接与えられる。効果のインスタンス、ここでは「MoveForward」要素によって示される並進運動などの、他の効果パラメータは要素402において規定され、追加の要素は、「distance」フィールドが値「0.05」メートルに対するものを有するので5センチメートルの距離の前に向かう運動の方向を示す(「directionV」および「directionH」パラメータによってそれぞれ規定される垂直および水平角度が共にゼロであるので)。ウォッシュアウト効果は、ウォッシュアウトのタイプも規定する「ウォッシュアウト」フラグ403によって、効果タイプ規定内でシグナリングされる。ウォッシュアウトのパラメータは別の要素によって規定され、ウォッシュアウトのタイプに依存する。図4Aでは、ウォッシュアウトタイプはWASHOUT_DEFAULTであり、デバイスのデフォルトゼロ位置が用いられることになるので、ウォッシュアウトの持続時間は、要素404によって規定される。図4BではウォッシュアウトタイプはWASHOUT_ABSOLUTEであり、持続時間に加えて、「値」フィールドによって414において、絶対位置値が与えられる必要がある。図4CではウォッシュアウトタイプはWASHOUT_NEXTであり、持続時間に加えて、424において次のRigidBodyMotionType効果のパラメータが与えられる必要がある。これは、ここでは「duration」、「distance」、「directionV」および「directionH」パラメータである、効果パラメータと同様な要素を用いて行われる。図4DではウォッシュアウトタイプはWASHOUT_BBOXであり、持続時間に加えて、「minValue」および「maxValue」要素によって434において、範囲の最小および最大値が与えられる必要がある。このような表は、図2Aに示される触力覚パケットにおいて運ばれる。
図5A、5B、5C、および5Dは、MPEG−V標準に基づく実装形態の例に対応する表を示す。MPEG−Vにおいて、SEMBaseAttributes表は、効果のパラメータ(効果の持続時間、代替効果など)を決定するために用いられる属性を規定する。これらの属性は、図4Aから4Dに示されるような、触力覚効果の規定において用いられる。ウォッシュアウト効果をHAVレンダリングデバイスにシグナリングするために、「washoutFlags」という名前の新しいフラグのセットが規定される。この新しいフラグのセットは、図5Aに示される表500内のビットストリーム表現に従って示され、また図5Bに示される表501内のxml表現に従って示される。このビットのセットの第1のビットが真に位置付けされたときは、残りのビットは奏されることになるウォッシュアウトのタイプを規定する。このタイプは、ビットストリーム表現に従って図5Cの表510により、およびxml表現に従って図5Dの表511により規定される。「washoutFlags」情報は、図4Aから4Dに示されるように、効果の規定に挿入される。このような表は、図2Aに示される触力覚パケットにおいて運ばれる。
図6は、触力覚パケットが取得されたときに、HAVレンダリングデバイス100によって行われる方法を示す。デバイス100は、ステップ600で、パケットが触力覚効果に対応するかどうかをチェックする。そうである場合はステップ610で、触力覚インターフェースを通してプロセッサーによって提供される触力覚コマンドにより、触力覚アクチュエータによって触力覚効果が奏される。次いでステップ620で、取得された触力覚パケットがウォッシュアウトフラグを備えているかどうかがチェックされる。そうである場合は、それぞれステップ630および640で、デバイス特性およびユーザ選好が取得される。次いでデバイスはステップ650で、デバイス特性およびユーザ選好に関して取得された種々のパラメータに応じて、適用されることになるウォッシュアウトコマンドを計算する。ステップ660においてHAVレンダリングデバイス100がウォッシュアウトを行うように、触力覚インターフェースを通して、コマンドが触力覚アクチュエータに提供される。ステップ630および640は、ここでは効果の実行の後に生じるように示される。実際にはこれらのステップは、任意の時点で実行することができ、さらには各新しい効果に対して実行される必要はない。典型的な実装形態では、デバイス特性は固定であり、時間の間に変化しないので、デバイス特性に関連するステップ630は、デバイスの初期化において1回行われる。
図6Aのステップ650におけるウォッシュアウトコマンドの計算は、種々の実装形態により行うことができる。いずれの場合もHAVレンダリングデバイスは可能な場合は、特に触力覚デバイスの速度および加速度に関してユーザにより設定された制限に関するユーザ選好を、遵守することを試みる。WASHOUT_DEFAULTの場合、ウォッシュアウトコマンドは、デバイス選択において指定されたように、デバイスがそれ自体をデフォルトゼロ値に位置付けするように設定されることになる。WASHOUT_ABSOLUTEの場合、ウォッシュアウトコマンドは、デバイスがそれ自体を絶対位置、またはデバイス特性に従って、触力覚パケットにおいて伝達されるウォッシュアウトパラメータによって規定される絶対位置にできるだけ近い位置に位置付けするように設定されることになる。WASHOUT_NEXTの場合、次の運動が、触力覚パケットにおいて伝達されるウォッシュアウトパラメータから抽出され、現在位置に加えられる。結果としての値がデバイスの特性内である場合、ウォッシュアウトは必要ない。そうでない場合は、到達されることになる目標位置は、デバイス特性から次の運動値を減じたものに対応する。これが、前庭閾値を遵守して達成可能である場合は、ウォッシュアウトコマンドはデバイスがそれ自体をこの目標位置に位置付けするように設定されることになる。この目標位置に到達することが可能でない場合、次の効果は完全にはレンダリングできないことを知って、この目標位置にできるだけ近い位置が選ばれることになる。WASHOUT_BBOXの場合、触力覚パケットにおいて伝達されるウォッシュアウトパラメータから、バウンディングボックス値が抽出される。バウンディングボックス上限および下限の平均値が前庭閾値を遵守して達成可能である場合は、ウォッシュアウトコマンドは、デバイスがそれ自体をこの目標位置に位置付けするように設定されることになる。そうでない場合、ウォッシュアウトコマンドは、デバイスがそれ自体をこの位置にできるだけ近い位置に位置付けするように設定されることになる。
WASHOUT_NEXTおよびWASHOUT_BBOXの場合は、触力覚レンダリングデバイスは、ウォッシュアウト効果の結果としての最終位置に関していくらかの自由度を有する。上記では簡単な方策が導入された。より複雑な方策は、何らかの傾向またはパターンを決定するために、過去の運動にわたる分析の使用を含むようになり、さらなる運動をより良く予想し、従ってウォッシュアウト時に触力覚レンダリングデバイスをより良く位置付けすることを可能にする。
図7は、触力覚デバイスのデバイスデフォルト値を規定するために必要な表を示す。MPEG−V標準においてすでに規定されている、表710によって示される「RigidBodyMotionCapabilityType」構造体では、デバイスのデフォルト位置値を規定できるように「MoveToDefaultCapabilityFlag」が追加されている。このフラグがアクティブであるときは、表720によって示される新しい「MoveToZeroCapabilityType」構造体が、3次元位置に対するデフォルト値を規定する。MPEG−V標準の趣旨においては、フラグ「DefaultXPositionFlag」が「真」に位置付けされたときは、X軸に対するデフォルト値は「DefaultXPosition」属性によって規定される。他の次元に対して、同様なフラグおよび属性が提案される。
図8は、通信ネットワーク800を通した、2つの遠隔デバイスすなわち送信デバイス810と受信デバイス820との間の、触力覚オーディオビジュアルコンテンツの伝送の状況を示す。デバイス810は、当業者によってよく知られている従来型のコンピューティングデバイスであり、少なくとも、ストリームを符号化する方法を実施するように構成されたハードウェアプロセッサーを備える。デバイス820は、図1に示されるようなデバイスであり、少なくとも、図6に関連して述べられたような復号する方法を実施するように構成されたハードウェアプロセッサーを備える。例によればネットワーク800は、HAVコンテンツを送信デバイス810からデバイス820などの少なくとも1つの復号デバイスに伝送するように適合された、LANまたはWLANネットワークである。デバイス810によって伝送されることを目的とする信号は、図2Aに示されるビットストリームを伝達する。ビットストリームは、前に説明されたように符号化された触力覚パケットを備える。この信号は、図2Bに関して述べられたような第1および第2の情報データをさらに備える。
図9は、媒体記憶要素900に前に記録され、図1に示されるデバイスのタイプの読み出しデバイス910によって読み出される、触力覚オーディオビジュアルコンテンツの取得の状況を示す。HAVコンテンツは、図2Aに示されるビットストリームを伝達し、特定の媒体記憶フォーマットに適合された図1に示されるインターフェース130のタイプのインターフェースを通してデバイス910によって読み出されるように適合された、信号の形で媒体記憶要素900に記憶される。この信号は、図2Bに関して述べられたような第1および第2の情報データをさらに備える。デバイス910は少なくとも、媒体記憶要素900からHAVコンテンツを読み出し、図6に関連して述べられたようにそれを復号する方法を実施するように構成された、図1に示されるプロセッサー110のタイプのプロセッサーを備える。媒体記憶要素900の例は、ディジタル多用途ディスク(DVD)またはブルーレイディスク(BD)などの光ディスク、ハードディスク装置などの磁気記憶装置、固体ディスク(SSD)またはメモリカートリッジなどのメモリベースの記憶装置である。他のタイプの記憶装置を本発明の趣旨と整合的に用いることができる。
図10は、パケットベースの伝送プロトコルを用いてデータが伝送されるときに、HAVコンテンツを伝達する信号の構文の実施形態の例を示す。各送信されるパケットPは、ヘッダ1010およびペイロード1020を備える。例えばヘッダのいくつかのビットはウォッシュアウト効果を表す第1の情報を表すために充てられ、ペイロード1020は好ましくはウォッシュアウトのために必要なパラメータを表す任意選択の第2の情報を備える。
説明は触力覚デバイスの場合の運動に焦点が当てられたが、本発明は他の感覚環境に当てはまり、より具体的には何らかのイナーシャを有し(しばしば物理的制約に関連する)、中立位置と見なされ得るある種のデフォルト値を有する、任意の触力覚効果に当てはまる。図5Aから図5Dで述べられたウォッシュアウトパラメータを、効果のタイプのパラメータに適合させることだけが必要である。
温度は、同じ原理が当てはまる環境パラメータのもう1つの例である。この関連においてウォッシュアウトパラメータは、「RigidBodyMotionType」の代わりに「TemperatureType」に適合される必要があり、従って「強度値」または「強度範囲」を規定する。しかし本開示の全体的な原理は完全に当てはまる。当業者は、例えばMPEG−V仕様により述べられたものなどの、他の効果への拡張を理解するであろう。
当業者には理解されるように、本原理の態様は、専らハードウェアの実施形態、専らソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または本明細書においてすべて一般に「回路」、「モジュール」、もしくは「システム」と規定され得るハードウェアおよびソフトウェア態様を組み合わせた実施形態の形をとることができる。さらに本原理の態様は、コンピュータ可読記憶媒体の形をとることができる。1または複数のコンピュータ可読記憶媒体の任意の組み合わせが利用され得る。当業者には、本明細書において示されたブロック図は、本開示の原理を具体化する説明に役立つシステム構成要素および/または回路の概念的な図を表すことが理解されるであろう。同様にいずれのフローチャート、フロー図、状態遷移図、擬似コードなどは、コンピュータ可読記憶媒体内に実質的に表され得る様々なプロセスを表し、それに従ってコンピュータまたはプロセッサーにより、そのようなコンピュータまたはプロセッサーが明示的に示されているかどうかに関わらず、実行されることが理解されるであろう。コンピュータ可読記憶媒体は、1または複数のコンピュータ可読媒体において具体化され、その上に具体化された、コンピュータによって実行可能なコンピュータ可読プログラムコードを有する、コンピュータ可読プログラム製品の形をとることができる。本明細書で用いられるコンピュータ可読記憶媒体とは、その中に情報を記憶する固有の能力、ならびにそれからの情報取り出しをもたらす固有の能力を前提とした、非一時的記憶媒体と見なされる。コンピュータ可読記憶媒体は、例えば電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置、またはデバイス、または上述の任意の適当な組み合わせとすることができるが、それらに限定されない。以下は、本原理が適用され得るコンピュータ可読記憶媒体のより具体的な例を示すが、当業者には容易に理解されるように単に説明に役立つおよび非網羅的な列挙であることが理解されるべきである:すなわち可搬コンピュータディスケット、ハードディスク、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたフラッシュメモリ)、可搬コンパクトディスクリードオンリメモリ(CD−ROM)、光記憶装置、磁気記憶装置、または上述の任意の適当な組み合わせである。
説明において開示された各特徴、ならびに(適切な場合に)請求項および図面は、単独でまたは任意の適切な組み合わせにおいてもたらされ得る。ハードウェアにおいて実施されるものとして述べられた特徴は、ソフトウェアにおいても実施することができ、逆も同様である。請求項内に現れる参照番号は、例示のためのみであり、請求項の範囲に対していかなる限定効果を有するものではない。

Claims (15)

  1. 触力覚効果のレンダリングを制御する方法であって、触力覚レンダリングデバイスにおいて実施され、
    レンダリングされることになる前記触力覚効果を表す情報を備えた信号を取得するステップであって、前記情報は、前記触力覚効果の後に奏されることになる触力覚ウォッシュアウト効果を表す少なくとも第1の情報を伝達し、前記触力覚ウォッシュアウト効果は前記触力覚効果と反対である、前記取得するステップと、
    前記触力覚効果を奏するために、前記触力覚効果を表す第1の触力覚コマンドを、触力覚アクチュエータに提供するステップと、
    前記触力覚ウォッシュアウト効果を表す第2の触力覚コマンドを計算するステップであって、前記第2の触力覚コマンドは触力覚レンダリングデバイス特性に適合される、前記計算するステップと、
    前記触力覚ウォッシュアウト効果を奏するために、前記第2の触力覚コマンドを前記触力覚アクチュエータに提供するステップと、
    を含む、前記方法。
  2. 前記触力覚ウォッシュアウト効果を表す前記第2の触力覚コマンドを計算するステップは、ユーザ選好に従って行われる、請求項1に記載の方法。
  3. 前記第1の情報の値は、絶対位置付けによる触力覚ウォッシュアウト効果を表す定められた値に対応し、前記触力覚効果の後に奏されることになる前記触力覚ウォッシュアウト効果のために必要なパラメータを表す第2の情報をさらに備え、この第2の情報はウォッシュアウト動作によって到達されることになる絶対値を含む、請求項1または2に記載の方法。
  4. 前記第1の情報の値は、次の効果情報による触力覚ウォッシュアウト効果を表す定められた値に対応し、前記触力覚ウォッシュアウト効果のために必要なパラメータを表す第2の情報をさらに備え、この第2の情報は奏されることになる次の効果を表す情報を含む、請求項1または2に記載の方法。
  5. 前記第1の情報の値は、範囲位置決めによる触力覚ウォッシュアウト効果を表す定められた値に対応し、前記ウォッシュアウト効果のために必要なパラメータを表す第2の情報をさらに備え、この第2の情報は、そのいずれも触力覚ウォッシュアウト動作によって遵守されるべきである、位置値の範囲を規定する最小位置値および最大位置値を含む、請求項1に記載の方法。
  6. 触力覚効果のレンダリングを制御するためのデータ処理装置であって、
    レンダリングされることになる触力覚効果を表す情報を備えた信号を取得するように構成された入力インターフェースであって、前記触力覚効果の後に奏されることになる触力覚ウォッシュアウト効果を表す少なくとも第1の情報を伝達し、前記触力覚ウォッシュアウト効果は前記触力覚効果と反対である、前記入力インターフェースと、
    触力覚インターフェースであって、
    前記触力覚効果を奏するために、前記触力覚効果を表す第1の触力覚コマンドを、触力覚アクチュエータに提供すること、
    前記触力覚アクチュエータからデバイス特性を取得すること、
    前記触力覚ウォッシュアウト効果を表す第2の触力覚コマンドを計算することであって、前記第2の触力覚コマンドはデバイス特性に従った触力覚レンダリングに適合される、前記計算すること、および
    前記触力覚ウォッシュアウト効果を奏するために、前記第2の触力覚コマンドを前記触力覚アクチュエータに提供すること、
    を行うように構成された、前記触力覚インターフェースと、
    少なくとも触力覚ユーザ選好を提供するように構成されたメモリと、
    前記デバイス特性およびユーザ選好の少なくとも1つに従って、前記触力覚ウォッシュアウト効果を計算するように構成されたプロセッサーと、
    を備える、前記データ処理装置。
  7. 前記プロセッサーは、前記第1の情報の値が、絶対位置付けによる触力覚ウォッシュアウト効果を表す定められた値に対応することを検出し、この場合は、
    前記信号から、奏されることになる前記触力覚ウォッシュアウト効果のために必要なパラメータを表す第2の情報を取得することであって、この情報はウォッシュアウト動作によって到達されることになる絶対値を含む、前記取得すること、
    前記到達されることになる絶対値、ならびに前記デバイス特性およびユーザ選好の少なくとも1つに従って、前記触力覚ウォッシュアウト効果を計算すること、
    を行うようにさらに構成された、請求項6に記載のデータ処理装置。
  8. 前記プロセッサーは、前記第1の情報の値が、奏されることになる次の効果を表す情報により、触力覚ウォッシュアウト効果を表す定められた値に対応することを検出し、この場合は、
    前記信号から、奏されることになる前記触力覚ウォッシュアウト効果のために必要なパラメータを表す第2の情報を取得することであって、この情報は前記奏されることになる次の効果を表す情報を含む、前記取得すること、
    前記次の効果を表す前記情報、ならびに前記デバイス特性およびユーザ選好の少なくとも1つに従って、前記触力覚ウォッシュアウト効果を計算すること、
    を行うようにさらに構成された、請求項6に記載のデータ処理装置。
  9. 前記プロセッサーは、前記第1の情報の値が、範囲位置決めによる触力覚ウォッシュアウト効果を表す定められた値に対応することを検出し、この場合は、
    前記信号から、奏されることになる前記触力覚ウォッシュアウト効果のために必要なパラメータを表す第2の情報を取得することであって、この情報は位置値の範囲を規定する最小位置値および最大位置値を含み、それらのいずれの1つも前記触力覚ウォッシュアウト効果によって遵守されるべきである、前記取得すること、
    前記位置値の範囲、ならびに前記デバイス特性およびユーザ選好の少なくとも1つに従って、前記触力覚ウォッシュアウト効果を計算すること、
    を行うようにさらに構成された、請求項6に記載のデータ処理装置。
  10. レンダリングされることになる触力覚効果を表す情報を備えた前記信号は、通信ネットワークを通して送信デバイスから受信される、請求項6から9のいずれかに記載のデータ処理装置。
  11. レンダリングされることになる触力覚効果を表す情報を備えた前記信号は、媒体記憶要素から取得される、請求項6から9のいずれかに記載のデータ処理装置。
  12. レンダリングされることになる触力覚効果を表す情報を伝達する信号であって、前記情報は、前記触力覚効果の後に奏されることになる触力覚ウォッシュアウト効果を表す少なくとも第1の情報を伝達し、前記触力覚ウォッシュアウト効果は前記触力覚効果と反対である、前記信号。
  13. 前記ウォッシュアウト効果のために必要なパラメータを表す第2の情報をさらに備え、この第2の情報は、前記ウォッシュアウト効果によって到達されることになる絶対値、奏されることになる次の効果を表す情報、ならびに最小位置値および最大位置値によって規定される位置値の範囲の1つを含む、請求項12に記載の信号。
  14. 請求項1から5の少なくともいずれかに記載の方法のステップを実施するために、プロセッサーによって実行可能なプログラムコード命令を備えた、コンピュータプログラム。
  15. 非一時的コンピュータ可読媒体に記憶され、請求項1から5の少なくともいずれかに記載の方法のステップを実施するために、プロセッサーによって実行可能なプログラムコード命令を備えた、コンピュータプログラム製品。
JP2016143567A 2015-07-21 2016-07-21 触力覚オーディオビジュアルコンテンツにおけるウォッシュアウト要求を伝達するための信号、関連する方法およびデバイス Pending JP2017028701A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306184.1 2015-07-21
EP15306184.1A EP3121685A1 (en) 2015-07-21 2015-07-21 Signal for carrying washout request in haptic audiovisual content, related method and device

Publications (1)

Publication Number Publication Date
JP2017028701A true JP2017028701A (ja) 2017-02-02

Family

ID=53762107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016143567A Pending JP2017028701A (ja) 2015-07-21 2016-07-21 触力覚オーディオビジュアルコンテンツにおけるウォッシュアウト要求を伝達するための信号、関連する方法およびデバイス

Country Status (6)

Country Link
US (1) US10096213B2 (ja)
EP (2) EP3121685A1 (ja)
JP (1) JP2017028701A (ja)
KR (1) KR20170012089A (ja)
CN (1) CN106371582A (ja)
BR (1) BR102016016626A2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190035190A1 (en) * 2016-02-25 2019-01-31 John Szczygiel Smart Audiovideo Visitor/Vendor Entry System
CN106803982A (zh) * 2017-03-01 2017-06-06 深圳市集贤科技有限公司 一种带按摩功能的vr遥控器
WO2023202898A1 (en) * 2022-04-22 2023-10-26 Interdigital Ce Patent Holdings, Sas Haptics effect comprising a washout

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3050870A (en) 1961-01-10 1962-08-28 Morton L Heilig Sensorama simulator
US5889670A (en) * 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US20060253001A1 (en) 2005-05-06 2006-11-09 Micro Analysis And Design, Inc. Method for spatial disorientation identification countermeasures, and analysis
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
NL2005174C2 (en) 2010-07-29 2012-01-31 E2M Technologies B V Movement-simulator.
EP2854120A1 (en) 2013-09-26 2015-04-01 Thomson Licensing Method and device for controlling a haptic device

Also Published As

Publication number Publication date
BR102016016626A2 (pt) 2017-03-01
EP3121689A1 (en) 2017-01-25
CN106371582A (zh) 2017-02-01
US10096213B2 (en) 2018-10-09
US20170024979A1 (en) 2017-01-26
EP3121689B1 (en) 2020-06-24
KR20170012089A (ko) 2017-02-02
EP3121685A1 (en) 2017-01-25

Similar Documents

Publication Publication Date Title
CN107835971B (zh) 基于用户触觉空间(HapSpace)提供触觉反馈和交互的方法和装置
US9370718B2 (en) System and method for delivering media over network
JP7407929B2 (ja) 情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器
US20130097643A1 (en) Interactive video
US9454838B2 (en) Multi-character authoring interface for large scale animations
CN108282449B (zh) 一种应用于虚拟现实技术的流媒体的传输方法和客户端
US9233308B2 (en) System and method for delivering media over network
US20210044644A1 (en) Systems, devices, and methods for streaming haptic effects
JP2017028701A (ja) 触力覚オーディオビジュアルコンテンツにおけるウォッシュアウト要求を伝達するための信号、関連する方法およびデバイス
US20140298379A1 (en) 3D Mobile and Connected TV Ad Trafficking System
JP2022525366A (ja) メディアデータを受信するための方法、装置、およびプログラム
Gaw et al. Haptically annotated movies: Reaching out and touching the silver screen
JP2017506008A (ja) 自己回帰モデルを用いて触覚係数を発生するための方法、そのような係数を再生するための信号およびデバイス
CN107710768A (zh) 信息处理设备和信息处理方法
US20210014292A1 (en) Systems and methods for virtual reality engagement
KR102624423B1 (ko) 라이브셰어 다면 공연장 ar 특수 효과 재현 및 인터랙션 기술
EP4270155A1 (en) Virtual content
US11285388B2 (en) Systems and methods for determining story path based on audience interest
US20110090310A1 (en) Method and apparatus for reproducing adaptive motion effect using schema structure indicating information associated with performance of motion device
US20240062456A1 (en) Variable update adaptation and simulation delay in multiuser virtual reality application
Assal et al. Viewport-driven DASH media playback for interactive storytelling: a seamless non-linear storyline experience
El Assal et al. Viewport-driven DASH Media Playback for Interactive Storytelling
JP2024510139A (ja) メディアストリーミング及び再生中のプレロール及びミッドロールをサポートするための方法、装置及びコンピュータプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161202

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161202