JP2014194768A - 高度なテレビジョンインタラクションのためのシステム及び方法 - Google Patents

Abstract

【課題】広告又は緊急の放送メッセージのような、テレビジョン又は他のディスプレイ装置についての集中をユーザに失わせる他のコンテンツのせいで、ユーザが、特定のプログラムを楽しんでいるのに、プログラムに完全に没頭できないことへの対策として高度なテレビジョンインタラクションのシステム及び方法を提供する。
【解決手段】テレビジョン装置に表示される映像コンテンツに関連するイベントを示す通知情報を受信することと、その通知情報に関連する触覚効果を決定することと、触覚効果を触覚出力装置に出力させるように形成される触覚信号を発生し、その触覚出力装置に送信することとを備える。
【選択図】図１Ａ

Description

本開示は、全般的には、触覚フィードバックに関し、さらに詳細には、高度なテレビジョンインタラクションのためのシステム及び方法に関する。

従来のテレビジョンは、ユーザに、放送、ケーブル、又は衛星プログラミング、記録済みの番組及び映画のような様々なコンテンツ番組を視聴させ、かつビデオゲームを利用させた。そのようなコンテンツは、テレビジョンに提供され、一人以上の視聴者又は参加者のために表示される。そのようなプログラミングは、頻繁に他のコンテンツを含む。視聴者が視聴を望んでいるプログラムに関する他のコンテンツ又はそれにとって変わる、広告又は緊急の放送メッセージのような、テレビジョン又は他のディスプレイ装置についての集中をユーザに失わせる、他のコンテンツを含むこともある。そのような他のコンテンツのせいで、ユーザは、特定のプログラムを楽しんでいるのに、プログラムに完全に没頭できないこともある。

本開示に係る具現化例は、高度なテレビジョンインタラクションのシステム及び方法を提供する。例えば、一つの開示される具現化例は、テレビジョン装置に表示される映像コンテンツに関連するイベントを示す通知情報を受信するステップと、その通知情報に関連する触覚効果を決定するステップと、触覚効果を触覚出力装置に出力させるように形成される触覚信号を発生し、その触覚信号を触覚出力装置に送信するステップとを備える。他の具現化例にあって、コンピュータ読み取り可能な媒体は、そのような方法をプロセッサに実行させるプログラムコードを含む。

これらの例示的な具現化例は、本発明を制限又は定義することを意図してはいないし、むしろ本発明の理解を支援するための具体例を提供する。例示の具現化例は、発明の他の説明を提供する、発明の詳細な説明にて議論される。本発明の様々な具現化例によって提供されるアドバンテージは、本明細書を考察することによってさらに理解される。

本明細書に組み入れられかつ本明細書の一部をなす、添付の図面は、一つ以上の具現化例を示し、具現化例の記載とともに、具現化例の原理及び実施を説明する役割を果たす。

複数の具現化例に係る高度なテレビジョンインタラクションのためのシステムを示す図である。 複数の具現化例に係る高度なテレビジョンインタラクションのためのシステムを示す図である。 複数の具現化例に係る高度なテレビジョンインタラクションのためのシステムを示す図である。 一具現化例に係る高度なテレビジョンインタラクションのための装置を示す図である。 一具現化例に係る高度なテレビジョンインタラクションのためのテレビジョン装置を示す図である。 複数の具現化例に係る高度なテレビジョンインタラクションのためのシステムを示す図である。 複数の具現化例に係る高度なテレビジョンインタラクションのためのシステムを示す図である。 複数の具現化例に係る高度なテレビジョンインタラクションのためのシステムを示す図である。 複数の具現化例に係る高度なテレビジョンインタラクションのためのシステムを示す図である。 複数の具現化例に係る高度なテレビジョンインタラクションのためのシステムを示す図である。 複数の具現化例に係る高度なテレビジョンインタラクションのための方法を示す図である。 複数の具現化例に係る高度なテレビジョンインタラクションのための方法を示す図である。 複数の具現化例に係る高度なテレビジョンインタラクションのための方法を示す図である。

発明の具現化例が、本明細書のなかで、高度なテレビジョンインタラクションのためのシステム及び方法の文脈のなかで説明される。当業者は、以下の記載が、例示のみであり、如何なる制限を意図するものではないことを理解できる。他の具現化例は、この開示の利益を有する当業者に、具現化例を容易に示唆する。参照符号は、添付の図面で示される例示の具現化例での実施を明らかにする。図面及び以下の説明を通して、同様の参照符号が、同一又は類似の部位について用いられる。

分かりやすくするために、本明細書に記載されている実施のルーティン化した特徴の全てが図示され、説明されるわけではない。もちろん、いくつかの実施の展開にあって、多くの固有の実施の決定が、アプリケーション及びビジネスに関連する制限に適合するような、開発者の固有の目的を実現するためになされること、さらにこれらの固有の目的が一実施と他の実施の間で、かつ一開発者と他の開発者の間で変化することが、正しく理解されるであろう。

高度化されるテレビジョンインタラクションのための例示のシステム
ここで図１Ａを参照する、図１Ａは一具現化例に係る高度なテレビジョンインタラクション用の例示されるシステムを示す。図１Ａは、「スマート」テレビジョン１１０及び手のひらサイズ（handheld）のタブレットコンピュータ装置１２０を示す。ユーザはテレビジョン１１０にて一つのプログラム（番組）を見ており、テレビジョン１１０をコントロールするためのリモートコントローラとして、ハンドヘルドタブレットコンピュータ装置１２０を用い、チャンネルを変更し、音量を変更し、番組情報を探し、コンテンツを記録及び再生（デジタルビデオレコーダ上にて）する。探しているテレビジョンプログラムを見つけると、ユーザはチャンネルを変更し、そのプログラムを見始める。すぐ後に、そのテレビジョンプログラムが広告に妨害されてユーザは彼女の注意をタブレットコンピュータ装置１２０に移してインターネットをブラウズしはじめる。同時に、スマートテレビジョン１１０は、テレビジョンチャンネルを通して受信されるコンテンツストリームをモニタし続け、コマーシャルの妨害が発生したのを判断し、コマーシャルが始まったのを示すために触覚効果をユーザの装置のために発生し、ユーザの装置に送信する。すると、ユーザは彼女のタブレットコンピュータ装置１２０を台所に置き、飲み物をとり、クイックイーメイルを打ち込む。

スマートテレビジョン１１０がテレビジョンチャンネルをモニタし続けるので、コマーシャルの終了ごとに出力される信号用の触覚効果を引き起こすため、ユーザの装置に信号を送信する。２、３分後に、テレビジョンは、ユーザが見ていたプログラムが、再開されているのを判断する。スマートテレビジョンは、ユーザのタブレットコンピュータ装置に、テレビジョンプログラムがもうすぐリスタートすることをユーザに示すための強い触覚効果を出力させるための触覚信号を、ユーザのタブレットコンピュータ装置（以下、単にタブレットという）に再び送り、ユーザはすぐにイーメールをあとで終わらせるためにセーブし、テレビジョンの視聴を続けるために戻る。

しばらく後に、ユーザは、彼女が以前にデジタルビデオレコーダ（ＤＶＲ）に記録したプログラムを見ることを選択する。彼女は、タブレットをそのプログラムを選択するために用い、再生を開始する。しばらく後、録画は、その記録されたプログラムの放送の間に流されたコマーシャルの再生を始める。ユーザは、タブレットにて、コマーシャルを早送りするための早送り機能を選択する。彼女が早送りすると、テレビジョンは、ＤＶＲからのコンテンツストリーミングを監視し、各コマーシャルのエンドにて、スマートＴＶはコマーシャルが終わったことを示すための低強度触覚効果を出力するために、触覚メッセージをタブレットに送信する。又は、図１Ｂに示されるように、いくつかのケースにあって、ＤＶＲ（又は両方）は、触覚信号をタブレットに提供するためにコンテンツを監視してもよい。このように、ユーザが複数のコマーシャルを早送りすると、各コマーシャルが終わるごとに、ユーザは触覚効果を感じる。スマートテレビジョンが、最後のコマーシャルが終わったことを判断（決定）すると、テレビジョンプログラムは再開し、スマートテレビジョンは、テレビジョンプログラムを再開することを示すための触覚効果を出力する、高強度の触覚信号をタブレットに送信する。ユーザは、標準速度での再生に戻すために、「再生」機能を押圧し、さらにテレビジョンプログラムを視聴することを再開する。これらの実施形態は、ユーザに自身のテレビジョン体験を完全に制御させるが、他のタスクの間に彼女の注意を分散させるための有益な触知できるきっかけを提供する。そのような機能は、コンテキストの広い多様性にて有益であり、付加的なイベントは検出され、さらにそのようなコンテンツのユーザによる楽しみを強調するために用いられる。

図１Ｃを参照すると、同じテレビジョンを見ている異なるユーザ全員によって用いられる複数の装置を使用する他の例示の具体例が示されている。各ハンドヘルドタブレットコンピュータ装置１２０は、同一のテレビジョンとの通信を確立し、同一のテレビジョンからのコマーシャルの中断の終了を示すための前述された触覚効果のような情報を受け取ることができる。しかし、図１Ｃに示されるシステムにあって、４つの装置１２０ａ−１２０ｄが同一のテレビジョンとの相互に作用しているが、一つの装置１２０ｂのみがテレビジョンをコントロールすることができる。このため、装置１２０ａ、１２０ｃ、及び１２０ｄを有する受動的な視聴者に敏感な情報をただ提供するよりも、装置１２０ｂのユーザが、付加的な、またはより強い、テレビジョンからの、ユーザのアクションを促すためのイベントを強調するような、効果を受けてもよい。

これらの例示される具体例は、本明細書にて取り組まれる全般的な発明の主題を読者に紹介するために与えられるものであり、さらにこの開示はこれらの具体例を制限するものではない。以下のセクションは、高度なテレビジョンインタラクションのシステム及び方法の、様々の付加的な非制限的な具現化例及び具体例を記載している。

ここで図２を参照すると、図２は一具現化例に係る高度なテレビジョンインタラクション用のシステムを示す。この図２に示された具現化例にあって、システム２００は、ハウジング２１０、プロセッサ２２０、メモリ２３０、接触表示部（タッチセンシティブディスプレイ）２５０、触覚出力装置２４０、通信インターフェース２６０、スピーカ２７０、及びセンサ２９０を備える。さらに、システム２００は任意にいくつかの具現化例に結合されるか、または組み込まれる触覚出力装置２８０と通信する。プロセッサ２２０はメモリ２３０と通信し、この具現化例にあって、プロセッサ２２０とメモリ２３０はハウジング２１０の中に配置される。タッチセンシティブ面を備えるか、それに組み込まれる、タッチセンシティブディスプレイ２５０は、タッチセンシティブディスプレイ２５０の少なくとも一部がシステム２００のユーザにさらされるように、ハウジング２１０内に部分的に配置される。いくつかの具現化例にあって、タッチセンシティブディスプレイ２５０は、ハウジング２１０内に配置されないかもしれない。例えば、システム２００は、別のハウジング内に配置されるタッチセンシティブディスプレイ２５０に接続されるか又は通信する。いくつかの具現化例にあって、ハウジング２１０は、相互にスライド可能に接続されるか、相互に旋回可能に接続されるか、又は相互に解除可能に接続される二つのハウジングを備える。さらに他の具現化例にあって、システム２００はディスプレイを備えるか、ディスプレイと通信し、さらに、マウス、キーボード、複数のボタン、複数のノブ、複数のスライダコントロール、複数のスイッチ、複数のホィール、複数のローラ、複数のジョイスティック、他のマニュピュランダ（manipulanda）、又はそれらの組み合わせのような、他のユーザ入力装置を備えるか、他のユーザ入力装置と通信する。

いくつかの具現化例にあって、一つ以上のタッチセンシティブ面がシステム２００の一つ以上の側部内に含まれるか又は配置される。例えば、一つの具現化例にあって、タッチセンシティブ面は、システム２００の後部面内に配置されるか、システム２００の後部面を含む。他の具現化例にあって、第１のタッチセンシティブ面は、システム２００の後部面内に配置されるか、システム２００の後部面を含み、さらに第２のタッチセンシティブ面は、システム２００の一側部面内に配置されるか、システム２００の一側部面を含む。いくかの具現化例にあって、システム２００は、クラムシェル（clamshell）アレンジメントにおけるような、又は滑走可能なアレンジメントにおけるような、二つ以上のハウジング部品を備える。例えば、一つの具現化例は、クラムシェルの各部分に配置されるタッチセンシティブディスプレイとで、クラムシェル構造を有するシステムを含む。さらに、システム２００が少なくとも一つのタッチセンシティブ面をシステム２００の一つ以上の側部に備える具現化例にあって、又はシステム２００が外部のタッチセンシティブ面と通信する具現化例にあって、タッチセンシティブディスプレイ２５０は、タッチセンシティブ面を備えるか又は備えないかもしれない。いくつかの具現化例にあって、一つ以上のタッチセンシティブ面は、柔軟性のある（フレキシブルな）タッチセンシティブ面を有する。他の具現化例にあって、一つ以上のタッチセンシティブ面は、堅くてもよい。様々な具現化例にあって、システム２００は、柔軟性のある及び堅い両方のタッチセンシティブ面を有する。

図２に示される具現化例にあって、タッチセンシティブディスプレイ２５０は、プロセッサ２２０と通信し、さらにタッチセンシティブディスプレイ２５０はプロセッサ２２０又はメモリ２３０に信号を提供するように構成され、さらにプロセッサ２２０又はメモリ２３０からの信号を受信するように構成される。メモリ２３０は、プロセッサ２２０による使用のために、プログラムコード又はデータ、又は両方を保存するように構成される。プロセッサ２２０は、メモリ２３０に保存されたプログラムコードを実行し、かつ信号をタッチセンシティブディスプレイ２５０に送信し、かつタッチセンシティブディスプレイ２５０からの信号を受信するように構成される。図２に示された具現化例にあって、プロセッサ２２０は、通信インターフェース２６０と通信もし、一つ以上の遠隔コンピュータ又はサーバのような他の部品又は装置と通信するために、さらに通信インターフェース２６０からの信号を受信し、かつ通信インターフェース２６０に信号を出力するように構成される。

さらに、プロセッサ２２０は、触覚出力装置２４０及び触覚出力装置２８０と通信し、触覚出力装置２４０又は触覚出力装置２８０又はそれら両方に、一つ以上の触覚効果を引き起こさせるための信号を出力するように構成される。さらに、プロセッサ２２０は、スピーカ２７０と通信し、スピーカ２７０に音を出力させるための信号を出力するために構成される。様々な具現化例にあって、システム２００は、少数か又は付加的な部品又は装置を備えるか又はそれらと通信する。例えば、マウス又はキーボード、又は両方、又は付加的なタッチセンシティブ装置のような他のユーザ入力装置がシステム２００内に備えられるか又はシステム２００と通信する。他の具現化例にあって、システム２００は、一つ以上の加速度計、ジャイロスコープ、デジタルコンパス、及び／又は他のセンサを備える。

図２に示されるシステム２００のハウジング２１０は、部品システム２００の少なくともいくつかのための保護を提供する。例えば、ハウジング２１０は、雨のような外部から入ってくる有害な物質からプロセッサ２２０及びメモリ２３０を保護するプラスチックケースであってもよい。いくつかの具現化例にあって、ハウジング２１０は、ユーザがシステム２００を落とした場合、ハウジング２１０内の部品を保護する。ハウジング２１０は、プラスチック、ゴム又は金属に制限されるだけではなく、いかなる適切な材料によっても製造される。様々な具現化例は、異なるタイプのハウジング又は複数のハウジングを備えてもよい。例えば、いくつかの具現化例にあって、システム２００は、携帯型装置であってもよいし、ハンドヘルド装置、玩具、ゲームコンソール、ハンドヘルドビデオゲームシステム、ゲームパッド、ゲームコントローラ、デスクトップコンピュータ、電子ブックリーダ、携帯電話、スマートフォン、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップ、タブレットコンピュータ、デジタルミュージックプレーヤなどの携帯型複数機能端末装置でもよい。他の具現化例にあって、システム２００は、腕時計、他の宝石、手袋などのような他の装置に埋め込まれてもよい。このように、これら具現化例にあって、システム２００は装着可能である。

図２に示される具現化例にあって、触覚出力装置２４０及び２８０は、プロセッサ２２０と通信し、かつ一つ以上の触覚効果を提供するように形成される。例えば、一具現化例にあって、作動信号が触覚出力装置２４０、触覚出力装置２８０、又は両方に、プロセッサ２２０によって供給されると、それぞれの触覚出力装置２４０、２８０は、作動信号に基づいた触覚効果を出力する。例えば、図示の具現化例にあって、プロセッサ２２０は、アナログ駆動信号を含む、触覚出力信号を触覚出力装置２４０に送信するように形成される。いくつかの具現化例にあって、プロセッサ２２０はハイレベルコマンドを触覚出力装置２８０に送信するように形成され、そのハイレベルコマンドは、触覚出力装置２８０に触覚効果を出力させる適切な駆動信号を生成するために用いられるコマンド識別子及び零以上のパラメータを含む。他の具現化例にあって、異なる信号及び異なる信号タイプが一つ以上の触覚出力装置に送信されてもよい。例えば、いくつかの具現化例にあって、プロセッサは、触覚効果を出力するために、低レベル駆動信号を触覚出力装置の駆動のために送信する。そのような駆動信号は、適切なプロセッサ又は回路を用い、駆動される固有の触覚出力装置を適合するための増幅器によって増幅されるか、変換器によってデジタルからアナログ信号に変換されるか、アナログからデジタル信号に変換される。

振動効果を発生するために、多くの装置はいくつかのタイプの作動部又は触覚出力装置を利用する。この目的のために用いられる周知の触覚出力装置は、偏芯質量がモータによって動かされる偏芯回転質量（Eccentric Rotating Mass；ＥＲＭ）、スプリングに取り付けられる執拗が前後に駆動される線形共振アクチュエータ（Linear Resonant Actuator；ＬＲＡ）などの電磁アクチュエータ、又はピエゾ電気、電子アクティブポリマ又は形状記憶合金のような「スマートな材料」などを含む。触覚出力装置は、静電気摩擦（electrostatic friction；ＥＳＦ）、超音波表面摩擦（ultrasonic surface friction；ＵＳＦ）を用いるような、又は超音波触覚変換器によって音響放射圧力を誘発するような、又は触覚基板及び柔軟な又は変形可能な表面を用いるような、又はエアジェットなどを用いるエアを吹くような放出される触覚効果を提供するような他の装置を広く含む。

他の具現化例にあって、一つ以上の部品の変形が、触覚効果を作り出すために用いられる。例えば、一つ以上の触覚効果は、表面の形状又は、表面の摩擦を変化するために出力される。一つの具現化例にあって、一つ以上の触覚効果が表面の摩擦を変更するために用いられる静電気力及び／又は超音波力を形成することによって作り出される。他の具現化例にあって、スマートゲル（smartgel）を備える一つ以上の領域のような、触覚効果を作り出すために透明な変形素子のアレイが用いられてもよい。触覚出力装置は、さらに広範囲に、静電気摩擦（electrostatic friction；ＥＳＦ）、超音波表面摩擦（ultrasonic surface friction；ＵＳＦ）を用いるような装置、又は超音波触覚変換器によって音響放射圧力を誘発するような装置、又は触覚基板及び柔軟な又は変形可能な表面を用いるような装置、又はエアジェットなどを用いるエアを吹くような放出される触覚効果を提供するような他の装置のような、非機械的な又は非振動的な装置を含んでもよい。摩擦又は変形効果の能力のある触覚出力装置２４０、２８０を備えるいくつかの具現化例にあって、触覚出力装置２４０、２８０は、タッチセンシティブディスプレイ上に重ね合わされてもよいし、摩擦又は変形効果が、ユーザによりタッチされるように構成されるタッチセンシティブ面に適用されるように、タッチセンシティブディスプレイ２５０に接続されてもよい。いくつかの具現化例にあって、システムの他の部分は影響力を提供してもよく、ハウジングの一部分がユーザにより接触されるか、又はシステムに接続される分離のタッチ−分離入力装置となる。２０１１年４月２２日に出願された、「触覚効果を提供するシステム及び方法」という名称の本明細書に参照として組み込まれる、継続中の米国特許出願第１３／０９２，４８４号明細書は、一つ以上の触覚効果が作り出される方法を記載し、さらに様々な触覚出力装置を記載している。

入力合成方法のいくつかのタイプが、一つ以上の触覚効果信号から、制限されるものではないが、以下の表１に示される合成例の方法から、インタラクションパラメータを生成するために用いられることが認められる。

図２にあって、通信インターフェース２６０は、プロセッサ２２０と通信し、さらにシステム２００から他の部品又は装置への有線又は無線通信を提供する。例えば、通信インターフェース２６０は、他のシステム２００及び／又は一つ以上の他の装置、テレビジョン、ＤＶＲ、又は他のオーディオビジュアル部品のような、一つ以上の装置と通信する。通信インターフェース２６０は、システム２００が他の部品、装置又はネットワークと通信させることができる部品又は部品の集合である。例えば、通信インターフェース２６０は、ＰＣＩ通信アダプタ、ＵＳＢネットワークアダプタ、又はイーサネット（登録商標）アダプタを備えてもよい。通信インターフェース２６０は、８０２．１１ａ，ｇ，ｂ又はｎ標準を含む無線イーサネット（登録商標）を用いて通信する。一つの具現化例にあって、通信インターフェース２６０は、ラジオ周波数（ＲＦ）、ブルートゥース（Bluetooth登録商標）、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＧＳＭ、Ｗｉ−Ｆｉ、衛星、又は他の携帯電話又は無線技術を用いて通信する。他の実施の携帯にあって、通信インターフェース２６０は、有線接続を通して通信し、かつイーサネット（登録商標）、トークンリング、FireWire１３９４、光ファイバなどのような、一つ以上のネットワークと通信する。いくつかの具現化例にあって、システム２００は、二つ、三つ、四つ又はそれ以上の通信インターフェースを含む。

図２に示される具現化例は、いくつかの具現化例がセンサ又は複数のセンサも備えないところ、さらにセンサ２９０を備える。さらに、センサ２９０は、コンピューティングシステムの他の部品と同様に同じ部品内に収納されるか、分離された部品に収納される。例えば、いくつかの具現化例にあっては、プロセッサ、メモリ、及びセンサは、全てユーザ装置内に備えられる。他方で、いくつの具現化例にあって、センサは、メモリ及び／又はプロセッサを収納する別の部品から切り離された部品内に置かれる。例えば、装着可能なセンサは、有線又は無線接続を通して、プロセッサ及びメモリ又はユーザ装置又は装着可能な装置に接続される。センサ２９０は、センサに適用される環境状態又は影響力の少なくとも一つを表す、環境ファクタを検知するように構成される。センサ２９０は、検出する部品の複数の数又はタイプを備えることができる。一具現化例にあって、センサ２９０は、加速度計又はジャイロスコープを備えてもよい。センサ及び環境ファクタの具体例の非制限的なリストを以下の表２に示す。

環境ファクタは、前述の、又は環境状態の他の代表的な数量又はユーザ装置２００に適用される影響力又は向けられる影響力として注目すべき環境ファクタのどれでも備えることができる。代表的な、環境ファクタは、センサのデータから直接的に評価されるか、他の環境ファクタを引き出すための装置によって処理されてもよい。例えば、加速度データ、速度及び／又は動きのパターンは、装置のオリエンテーションを決定するために用いられる。別の具現化例にあって、心拍数、表皮抵抗のような生理学的なデータ、及び他のファクタは、装置のユーザの生理学的な状態を判断するために用いられる（例えば、目覚め、ストレス、睡眠、ＲＥＭ睡眠など）。

ここで、図３を参照すると、図３は一具現化例に係る高度なテレビジョンインタラクション用のシステムを示す。図３に示される具現化例にあって、テレビジョンは通信インターフェース３４０を用いる装置２００と、装置２００からのコマンドを受信し、かつ通知信号を装置２００に送信する、通信をするように構成される。図３のシステムは、図２に示される具現化例に係る装置２００と、一つのテレビジョン３００とを備える。この具現化例にあって、テレビジョンはプロセッサ３２０と、メモリ３３０と、通信インターフェース３４０、スピーカ３５０、及びディスプレイスクリーン３６０を備える。いくつかの具現化例にあって、テレビジョン３１０は、一つ以上の触覚出力装置を備えるか、又は、その触覚出力装置と通信してもよい。プロセッサ３２０は、メモリ３３０に保存されたソフトウェアを実行し、通信インターフェース３４０からのコンテンツを受信し、そのコンテンツをデコードし、表示信号をディスプレイ３６０に送信し、オーディオ信号をスピーカ３５０に送信する。さらに、プロセッサ３２０は、コンテンツに関連する一つ以上のイベントを識別するためにコンテンツをモニタするように構成され、かつ通知を生成し、通信インターフェース３４０を用いて通知信号を送信する。

通信インターフェース３４０は、テレビジョン受像機、ＨＤＭＩ受像機、ネットワーク接続（例えば、イーサネット（登録商標）、８０２．１１）、又はハンドヘルド装置２００について前述したような他の通信インターフェースを備える。いくつかの具現化例にあって、通信インターフェース３４０は、複数の通信装置を備えてもよい。例えば、一つの具現化例にあって、通信インターフェースは、ＨＤＭＩインターフェース及び８０２．１１インターフェースを備える。そのような一つの具現化例にあって、テレビジョン３１０は、ＨＤＭＩインターフェースからコンテンツを受信するように構成され、通知信号を、８０２．１１インターフェースを用いて装置２００に送信する。他の具現化例は、接続のため、又は通知信号を装置２００又はブルートゥース（登録商標）、赤外線、又は他の無線通信のような他の装置に送信するために他の適切な通信インターフェースを収納する。

図３はテレビジョンを備える具現化例を示すが、いくつかの具現化例にあっては、システムは、ＤＶＲ、ＤＶＤプレーヤ、セットトップボックス、コンピュータ、又はストリーミングコンテンツを受信することができ、さらに本開示に係る一つ以上の方法の全体又は一部を実行することのできる他の装置を備えてもよい。そのようないくつかの具現化例にあって、テレビジョンは、スマートテレビジョンではないかもしれないし、本開示に係る方法を適切に実行するように構成されていないかもしれない。いくつかの具現化例にあって、テレビジョン３１０は、ユーザ装置２００に組み込まれてもよい。例えば、一具現化例にあって、装置２００は、テレビジョン放送又はインターネットから他のストリーミングコンテンツを受信するように構成されてもよい。

ここで、図４Ａを参照すると、図４Ａは一具現化例に係る高度化されたテレビジョンインタラクションのシステムを示す。図４Ａに示された具現化例にあって、スマートテレビジョン３１０は、この具現化例にあっては、タブレットコンピュータであるユーザ装置２００とブルートゥース（登録商標）接続を通して通信するが、前述したように、スマートフォン、ラップトップコンピュータなどのような他の適切な装置によるものでもよい。コンテンツをユーザに表示している間に、テレビジョン３１０は、受信されたコンテンツストリームを監視し、広告が再生されているかを検出する。この具現化例にあって、コンテンツはコンテンツが広告であること、その広告が例えばカリビアンへのバケーションパッケージについてのものであることを示すメタデータを含む。スマートテレビジョンは、現在の視聴者が過去の週にあってトピックに関連するバケーションを探していたかを判断する。すると、スマートテレビジョンは、ユーザ装置２００に広告に関連する通知信号を送信する。この具現化例にあって、通知信号はカリビアンバケーションに関するコマーシャルがスクリーンに提供されていることを示す触覚効果と表示の両方を知らせるための触覚信号及び映像信号を含む。ユーザが表示された情報をタップ又はクリックすると、テレビジョンは広告をミュートせず、ユーザに広告を視聴させる。いくつかの具現化例にあって、通知信号は、触覚効果と、表示される広告に関連するウェブサイトへのリンクを含む。このように、ユーザが表示された情報をタップ又はクリックすると、テレビジョンは広告をミュートせず、さらにユーザの装置はリンクのウェブサイトをナビゲートする。

図４Ｂは本開示にかかる高度化されたテレビジョンインタラクションのシステムの他の具現化例を示す。この具現化例にあって、ユーザは、スマートテレビジョン３１０にてテレビジョンプログラムを視聴している間、タブレットコンピュータと対話（インターラクティング）している。テレビジョンがストリーミングコンテンツを受信している間、テレビジョンは見られているテレビジョンプログラムについての情報を判断し、さらにユーザの友人もまたソーシャルネットワーキングウェブサイトを通して友人から提供される情報に基づいて同じテレビジョンプログラムを見ていることを検知する。スマートテレビジョン３１０は、ユーザの装置２００に触覚効果を起こさせ、さらにユーザの友人も同じテレビジョンプログラムを見ているというメッセージを提供するための通知を生成し、送信する。このシナリオにあってユーザは、テレビジョンに焦点を合わせられ、このため、スマートテレビジョンはユーザタブレット装置２００に表示される第２情報に、ユーザの注意を引き出すための通知信号を送信する。ユーザは、友人が同じテレビジョン番組を見ているのを知り、メッセージを友人に送るのかというオプションを示されるか、彼女も同じテレビジョンプログラムを見ているのを示すためにソーシャルネットワーキングウェブサイトのステータスを更新する。したがって、スマートテレビジョン３１０は、ユーザをテレビジョンプログラムと、同時に実時間でメッセージを相互に見させながら、又は次に顔を合わせたときにそのテレビジョンプログラムを簡易に話し合うことができるように、ユーザの友人の両方に繋ぐことができる。第２情報の他のタイプは、同じように、ウェブページ、プロダクトページ、ビデオクリップ、キャラクタ又はキャスト情報、レビュー情報、又はスマートテレビジョン３１０に表示されるコンテンツに関する他の情報へのリンクのような通知信号に設けてもよい。そのような第２情報は、コンテンツそれ自体に埋め込まれても、又はスマートテレビジョンによって識別されても、又は他の装置、及び一つ以上の通知信号に提供されてもよい。

図４Ｃは、本開示に係る高度化テレビジョンインタラクション用のシステムの別の具現化例を示す。図４Ｃに示されるこの具現化例にあって、スマートテレビジョンはテレビジョン放送のようなストリーミングコンテンツを受信し、さらに表示する。テレビジョン放送の間、プログラムセグメントは、定期的な広告によって分離される。いくつかの場合にあって、ユーザはあとで再生するためにそのようなテレビジョンプログラムを記録するかもしれない。再生の間、ユーザは、テレビジョンプログラムと共に記録された一つ以上の広告を早送りするかもしれない。広告が終わるとき、又はテレビジョンプログラムが再開するとき、を検出するために早送りをするように、ユーザが広告を早送りするので、スマートテレビジョン（又はいくつかの場合にあって、ＤＶＲ又は他の装置）は、コンテンツをモニタする。

図４Ｃに示される具現化例にあって、各広告の終わりでは、スマートテレビジョン３１０はユーザの装置への通知信号を生成し、送信する。スマートテレビジョン３１０は、通知信号の特徴を、別の広告が後に続くか、又はテレビジョンプログラミングが後に続くかどうかによって決断する。一つの広告が終わってから、別の広告が続く場合には、スマートテレビジョン３１０は、低強度の触覚信号を有する通知信号を生成して送信する。しかし、広告の後にテレビジョンプログラムが再開する場合には、スマートテレビジョン３１０は、高強度触覚効果、又は増加する強度の複数繰り返し効果を伴う触覚効果、のようなはっきり認識できる触覚効果を有する通知信号を生成して送信する。

図４Ｃに示される具現化例にあって、スマートテレビジョン３１０は、コンテンツが流されると実時間にて通知信号を判断するが、いくつかの具現化例にあっては、通知信号は、テレビジョンプログラムがＤＶＲ（又は他の適切な記録装置）に記録されたときに判断されてもよいし、記録されたテレビジョンプログラム内に埋め込まれても又は関係付けられてもよい。このため、記録されたテレビジョンプログラムが後で再生されると、以前に生成された通知信号は、ユーザの装置にシンプルに出力される。いくつかの具現化例にあって、通知信号はそれが、デジタルビデオ記録装置によって、記録された後に、プログラムに適用されてもよい。一具現化例にあって、各広告の間、同様に広告とテレビジョンプログラムとの間の境界を特定するために、ＤＶＲは記録された番組を処理する。さらに、ＤＶＲは、ユーザと特別な関連性を有する広告を特定し、そのような広告に異なる通知信号を供給するので、ユーザにはカスタマイズされた通知の技術が提供される。

この明細書を通して「通知信号」という参照が用いられる。特別な機能又は意図が修飾語「通知（notification）」に帰するものではない。その代わりに「通知信号（notification signal）」は、本明細書にあって参照される他の信号タイプから区別される好都合なラベルである。用語「通知信号」は、広範囲に解釈され、たとえば、イベント又はコンテンツ内の他の出来事に関係する情報、又はコンテンツの一部の情報、コンテンツに対する情報、又はコンテンツ関連の情報を実行する信号をも包含する。さらに、「通知信号」は、いかなる特別なイベント又は出来事のタイプによって引き起こされる信号である必要はない。むしろ、「通知信号」はオーディオ又はビデオ情報と反対に、触覚情報を有するコンテンツの一部にシンプルに対応してもよい。

上述された、いくつかの具現化例にあっては、付加的な、テレビジョン３１０又は装置２００上に表示される、コンテンツに関係する第２情報を提供するのに、ユーザの注意を引くために、ユーザの関心を装置２００からテレビジョン３１０に、又はテレビジョン３１０から装置２００に変えるためのような、通知信号が生成され、ユーザ装置２００に送信される。しかし、いくつかの具現化例は、テレビジョン上に表示されるコンテンツを強調することを意図された効果が提供されてもよい。例えば、いくつかの具現化例にあっては、スマートテレビジョン３１０（又は他の装置）は、信号を生成し、ユーザの装置２００に３次元画像を生成するような（immersive）体験を提供するために送信する。

ここで、図４Ｄを参照すると、図４Ｄは本開示に係る高度なテレビジョンインタラクションのためのシステムの具現化例を示す。図４Ｄに示された具現化例にあって、視聴者はテレビジョン３１０にて映画を見ている。映画が再生されると、異なるテーマやモードを有する様々なシーンが上映される。高度な視聴体験を提供するため、ストリームコンテンツは、そこに埋め込まれた映画の異なるシーン又はイベントに関係する触覚情報を有する。映画はストリーミングコンテンツとして受信されるので、埋め込まれた触覚情報は識別されて抽出される。触覚情報のいくつか又はすべてを備える通知信号は、そこで、生成され、触覚効果を起こすためにユーザ装置２００に送信される。図４Ｄに見られるように、映画におけるサスペンスに満ちたシーンは、そのシーンに付加的な緊張を加えるような触覚効果を提供するためにユーザの装置２００に送信される、関連する触覚信号を有する。続いて、重大な驚きのイベントを有するシーンへの移行により、テレビジョンはそのイベントに関連する触覚情報を受信し、通知信号を生成し、ユーザの装置に送信する。そのような通知信号は、そのシーンにおける驚きのシーンを増幅するように高強度の触覚効果を起こす。さらに続いて、映画にあって追跡シーンの間、テレビジョンは映画に関係する別の触覚情報を受けてもよい。例えば、追跡シーンの部分に関連する触覚効果は、テレビジョンが一つ以上の、例えば障害又は敵の突然の出現、裂け目をスローモーションジャンプで超える、又は他のイベントのような、追跡シーンの間に発生するイベントに一致する通知信号を生成し、ユーザの装置に送信する。したがって、図４Ｄに示される具現化例は、触知できるか触覚の感じを映画のビジュアル及びオーディオ部に補足することを強調された視聴体験を提供することができる。

本明細書にて考察される多くの具現化例は、コンテンツを視聴する及びユーザ装置によってインタラクティング（対話）するシングルユーザの背景にて考察されてきた。しかし、本開示は、シングルユーザ又はシングルユーザ装置に制限されるものではない。むしろ、具現化例は、複数のユーザ又は複数のユーザ装置２００を備え、さらに複数のディスプレイ装置３１０を含んでもよい。いくつかの具現化例によれば、ユーザは、異なる通知信号を提供されてもよい。例えば、彼らが受信する効果のタイプに関して、ユーザは異なる好みを有するし、又は適用される効果のための異なる強度レベルを指定してもよい。さらに、いくつかの具現化例にあって、ディスプレイスクリーンに対するユーザの位置は、通知信号のタイプ又はコンテンツに影響する。例えば、ディスプレイ３１０の左側に位置するユーザは、ディスプレイスクリーンの右側に位置するユーザよりも、異なる効果、又は異なる効果の強度を受け取ってもよい。一つの具現化例にあって、ディスプレイスクリーンの左側に位置するユーザは、ディスプレイスクリーンの左側で発生するイベントに関連する高い強度の効果を受け取ってもよいし、ディスプレイスクリーンの右側で発生するイベントに関連する低い強度の効果を受け取ってもよい。同様に、ディスプレイスクリーンからさらに離れて位置するユーザは、ディスプレイスクリーンに近いユーザよりも低強度の効果を受け取ってもよい。いくつかの具現化例にあって、ユーザは、ユーザの好みや、又は年齢、性別、教育レベル、収入などのユーザプロファイル情報に基づいたスクリーン上のコンテンツに関する、異なる第２情報を受信してもよい。いくつかの具現化例にあって、ユーザは、かれらの各ユーザ装置又は装着可能装置であるような別のディスプレイスクリーン上に異なる第２情報を見ているかもしれず、そのため異なる触覚効果が各特定のユーザ用の第２情報に対応して提供されてもよい。

ここで、図５を参照すると、図５は一具現化例に係る高度なテレビジョンインタラクション用の装置を示す。図５から見てとれるように、ユーザは彼らの集中度合いに基づいて様々な姿勢にてテレビジョンを見ている。前述のように、テレビジョンはユーザの集中をテレビジョンから彼らの装置にシフトするか、その逆にシフトするように、ユーザに合図するため、通知信号を送信する。ユーザの装置２００がテレビジョン３１０装置を備える具現化例にあって、ユーザの集中は、ストリーミングコンテンツを表示しているディスプレイウィンドウがユーザインターフェースの前景であるか後景であるかに基づいて決定される。この開示に係る具現化例は、ユーザの姿勢又は装置の位置に基づくユーザの集中に関する付加情報を得る。いくつかの具現化例にあって、ユーザ装置２００は、装置の位置又は向き、又は装置を保持するための接触又はグリップタイプを検知することのできる一つ以上のセンサを含んでもよい。そのような一つの具現化例にあって、装置は、装置の方向を検知することができ、又は装置が装置上のユーザの集中をそこから推測する装置をユーザが見ているか否かを検知することができる加速度計又はカメラのようなセンサを備える。

図５に示されるように、ユーザがテレビジョンを見ているとき、椅子又はソファに背中をもたれかけ、さらにユーザが装置に集中していないことを示すように、装置のスクリーンが下方に角度がつけられるか、水平と垂直の間の概ね中間の角度にされて、ユーザはリラックスした姿勢である。そのような具現化例にあって、テレビジョンは、ユーザの考えられるテレビジョンへの集中を示す装置からの、ユーザの注意をユーザ装置に引き付けるために構成されるイベントに関する通知信号をテレビジョンに生成させる、情報を受け取る。対照的に、ユーザの姿勢又は装置の向きが、ユーザが装置に集中しているようであることを示すとき、テレビジョンはユーザの集中をテレビジョンに引き付けることを意図した通知信号を生成する傾向があってもよい。

いくつかの具現化例にあって、装置はそのユーザインターフェースをディスプレイのスクリーン上の大きな領域のための少数のコマンドを有するシンプルなユーザインターフェースに再構成してもよい。例えば、一具現化例にあって、ユーザ装置はテレビジョン用のリモートコントローラとして動作するように構成される。このような具現化例にあって、ユーザは装置に集中していないか、又は部分的にしか集中していないようであるのを装置が判断し決定すると、ユーザが装置を詳しく吟味する必要がないように、又は特定のアクションを引き起こすための細かな動きを用いる必要がないように、ユーザインターフェースは縮小されたコントロールセット（たとえば、ユーザインターフェース５１０）を表示するように変更されてもよい。しかし、ユーザが姿勢又はグリップを変更すると、ユーザインターフェースは、多くのコントロールまたは、ユーザインターフェース５３０に見られるような、より複雑なインターフェース能力を提供するように変更されてもよい。例えば、ユーザが装置を両手で水平方向に保持していると、装置はユーザが装置に非常に集中していることを判断して決断し、さらにユーザの入力を受け付ける、付加的な複数選択又はグラフィカルキーボード又は数字パッドのような、より詳細なユーザインターフェース提供してもよい。

複数の具現化例は、ユーザの検出された姿勢に基づいてユーザインターフェースの再配置を提供するが、いくつかの具現化例にあっては、ユーザインターフェースは、装置のユーザによる使用パターンに基づく。例えば、ユーザが繰り返し、チャンネル３１を視聴すると、ユーザインターフェースはチャンネル３１にチャンネルを迅速に変更するためにボタンを組み込んでもよい。又はいくつかの具現化例にあって、ユーザがめったにしか又は全くもって、ミュートボタンのような特定の特徴を用いなかったり、テレビジョンの入力ソースをめったにしか変更しないと、最も繰り返し用いられるコントロールは、主要なユーザインターフェーススクリーン、およびサイズが変更された容易に識別でき、かつ使い勝手のよいスクリーンの両方に移動されるように、そのようなボタンはサイズを縮小され、又はユーザインターフェースの第２のスクリーンに移動される。いくつかの具現化例にあって、ユーザに関連するある好みは、装置に保存される。例えば、ユーザが繰り返し一つ以上のテレビジョンプログラムを視聴すると、そのような情報は、装置に保存され、ユーザが新しい位置についたとき、装置がローカルテレビジョンチャンネルを判断することができ、新しいチャンネル配置を学ぶ必要がなく、ユーザに好みのテレビジョンプログラムをナビゲートするためのコントロールを示すことができる。いくつかの具現化例にあって、装置は、ユーザの好みのプログラムのローカル放映時間に関する情報を提供する、ガイドコントロールの表示を提供するので、ユーザは異なるプログラムスケジュールを学び、かつ使用することができる。

ユーザインターフェースの視認される外観を変更することに加え、又はそれに代えて、いくつかの具現化例は、ユーザインターフェースに関連する触覚効果を変更してもよい。例えば、触覚効果は、例えばボタン、繰り返し用いられるボタンのような特定のユーザインターフェースエレメントに加えられてもよい。そのような特定のユーザインターフェースエレメントは、ユーザに探させることなく使用させることができ、かつ繰り返し使用されないインターフェースエレメントの使用の前に、ユーザに注意を促す。一具現化例にあって、繰り返し用いられるボタン又は繰り返し用いられないエレメントは、強い効果を有する触覚効果に関連するかもしれないし、あるいは繰り返し使用されないボタンは弱い触覚効果を有するか、又は触覚効果に関係しないかもしれない。

いくつかの具現化例にあって、ユーザインターフェースは、特定のタスクを実行するユーザの好みの方法を適用するために調整されてもよい。例えば、一具現化例にあって、ユーザは繰り返しボイスコマンドを装置に出してもよい。このため、装置は、そのようなボイスコマンドを通常の入力コントロールに組み入れることができる。例えば、ユーザは、装置上のキーボードを用いたくないかもしれないし、視聴の所望プログラムの名前を呼ぶかもしれないし、チャンネル変更ボタンを押すかもしれない。装置は、ユーザがプログラムの視聴を望むことを示すため、さらに装置の電源を入れるため、テレビジョン又は他の装置に命令を発行し（まだならば）、さらに所望されるプログラムにチャンネルを変更するためのユーザ入力を解釈する。

ユーザインターフェースに、ユーザの好みの情報を導きださせ、かつ組み入れさせることにより、ユーザは異なる場所又はディスプレイ装置での調整に時間を要することがない。例えば、ユーザは、異なる場所でのチャンネル及びガイド情報（例えばユーザがよく旅にでる人の場合）を探す必要がないし、異なる装置用のリモートコントロール又はコントロールインターフェースを学ぶ必要がない。

ここで図６を参照すると、図６は一具現化例に係る高度なテレビジョンインタラクションの方法を示す。図６は、図２に示される装置２００によって実行されるソフトウェアアプリケーションについて記載しているが、本明細書にて開示されている方法は、図２に示される装置によってのみ実行されるのを制限するものではないし、むしろ適切な電子システムによって実行される。

図６に示される具現化例は、ブロック６０２にて、プロセッサ２００が通知情報を受けてから開始される。図６に示される具現化例にあって、通知情報は、テレビジョン装置３１０によって表示される映像コンテンツに関するイベントを示し、かつ装置２００によって出力される触覚効果の指示を含む。例えば、一つの具現化例にあって、通知信号は、ユーザ装置上にプリインストールされる触覚効果の識別子のような、高レベル信号を含む。識別子を受け取り次第、ユーザ装置は、プロインストールされた触覚効果を識別し、かつ対応する触覚効果を発生する。いくつかの具現化例にあっては、通知信号は、持続期間、大きさ、頻度、触覚効果の特徴を記載するエンベロープ、自由度、方向、用いられる特定の触角出力装置、効果のタイプ（例えば、振動、変形、摩擦など）、又は一つ以上の触覚効果に関連する他のパラメータのような、追加のパラメータを含んでもよい。いくつかの具現化例にあって、通知信号は、発生される触覚効果の特徴を説明する波形又は数学的機能のような低レベルの触覚情報を含んでもよい。プロセッサ２００が通知信号を受信した後は、方法はブロック６０４に進む。

ブロック６０４にて、プロセッサは通知情報に関連する触覚効果を決定する。例えば、一具現化例にあって、プロセッサ２２０は、プリインストールされた触覚効果の識別子を含む通知を受信する。プロセッサ２２０は、通知から識別子を抽出し、その識別子に関連する触覚情報にアクセスする。例えば、触覚効果情報は、装置内の、フラッシュメモリ装置のようなコンピュータ読み取り可能媒体に保存される。いくつかの具現化例にあって、識別子は、触覚効果情報が見つけられて検索されるリモート装置上の場所を示す、ユニフォームリソースロケータ（uniform resource locator；ＵＲＬ）を含む。

別の具現化例は、触覚効果を発生するために用いられる識別子及び触角効果情報の両方を供える。そのような具現化例にあって、通知は、触覚効果を発生する、及び後で再使用するために触覚効果を一時的又は永久にインストールするという両方にて用いられてもよい。例えば、テレビジョンシリーズは、そのシリーズに関連する一つ以上の触覚効果を有する。その一つ以上の触覚効果は、スマートテレビジョンによってユーザ装置上にインストールされて、その効果又は効果のライブラリはユーザ装置にインストールされ、触覚効果情報を再送信するよりも、テレビジョンは、後で、識別子によって効果を参照する。いくつかの具現化例にあって、触覚識別子が装置にインストールされていない触覚効果を示すときは、装置はその識別子に関連する触覚効果情報をリクエストする信号をテレビジョンに送信する。そのリクエスト信号は、テレビジョンに触覚効果情報を提供させるか、又は触角情報、又は触覚情報のライブラリが検索されさらにインストールされるＵＲＬを提供させる。例えば、ある特定のテレビジョンシリーズを楽しむユーザが彼女の装置にインストールされたシリーズの触覚ライブラリを有してもよい。触角効果が決定された後、方法はブロック６０６に進む。

ブロック６０６にて、プロセッサ２２０は、触覚信号を発生し、触覚出力装置２４０のような触覚出力装置に送信する。触覚信号は、触覚出力装置に触覚効果を出力させる。例えば、通知信号に関連した触覚効果情報を検索した後、プロセッサは触覚情報からの、周波数、持続期間、大きさなどのパラメータに基づいた触覚信号を発生する。いくつかの具現化例にあって、プロセッサ２２０は、プロセッサ２２０が出力する所望の触覚効果を特定するだけを必要とするように、触覚出力装置内に既にインストールされた触覚効果を特定する触覚信号を生成してもよい。触覚信号を生成した後、プロセッサ２２０は、触覚出力装置に触覚効果を出力させるために触覚出力装置に信号を送信する。プロセッサ２２０が触覚信号を出力した後、方法は完了するか、又は別の通知信号を受信するため、通知信号は複数の触覚効果に関する情報を含んでいる場合に、又は付加的な触覚効果を決定するために、ブロック６０２又は６０４のいずれかに戻る。

ここで、図７を参照すると、図７は一具現化例に係る高度なテレビジョンインタラクションの方法を示す。図７は、図３に示されたテレビジョン３１０によって実行されるソフトウェアアプリケーションについて説明しているが、本明細書に記載された方法は、図３に示されたテレビジョン３１０にのみ実行されるのを制限されるものではなく、むしろいろいろな電子システムにあっても実行される。

図７の方法は、ブロック７０２にて始まると、テレビジョン３１０がテレビジョンによって受信されるコンテンツストリームをモニタする。このコンテンツストリームは、テレビジョン装置によって表示される映像およびオーディオデータを含む。例えば、一具現化例にあって、テレビジョン３１０は、マルチメディアコンテンツを含むデジタルコンテンツストリームを受信し、触覚情報を特定するためにコンテンツストリームに関連するデータを分析するか、又はコンテンツストリームに関連する他のメタデータ（metadata）を分析するように構成される。いくつかの具現化例にあって、コンテンツストリームは、テレビジョンプログラム、映画、広告又は他のオーディオ、映像、又はコンテンツプロバイダからの送信よりも前に、コンテンツに関連する付加情報を有するマルチメディアコンテンツを含んでもよい。例えば、コンテンツストリームに関連する情報は、ロケット打ち上げ、又は爆発、又は追跡シーンのような一連のイベントなどの特別なイベントの存在を示してもよい。そのような具現化例にあって、テレビジョン３１０は、情報そのもののため、又はそのようなコンテンツの存在を示すコンテンツインディケータのような、情報のためのコンテンツストリームをモニタするように構成される。いくつかの場合にあって、コンテンツストリームは、触覚情報とともに、初めは形成されており、そのような場合、テレビジョン３１０は、そのような触覚情報の存在を示すインディケータのためにコンテンツストリームをモニタしてもよいし、触覚情報をただモニタしてもよい。

いくつかの具現化例にあって、コンテンツは触覚情報を含まないかもしれない。そのような一つの具現化例にあって、テレビジョン３１０は、特定のイベントを示すオーディオ又は映像の特徴のコンテンツストリームをモニタしてもよい。例えば、テレビジョン３１０は、特定のオーディオイベントを識別するための一つ以上のオーディオ認識コンポーネントを備えてもよい。そのような特定のオーディオイベントの例は、動いているエンジン、ギシギシなる床板、キーと音を立てるタイヤ、サスペンスに満ちた音楽、金切り声又は叫び声、喧嘩、小声での話、又はそのようなコンテンツ内で生じる一つ以上のイベントを示すオーディオの特徴である。いくつかの具現化例にあって、テレビジョン３１０は、コンテンツストリーム内の話を特定し、認識し、さらに分析するために、コンテンツストリームをモニタするように構成されてもよい。いくつかの具現化例にあって、テレビジョン３１０は、飛行機、列車、車両、船、浜辺、爆発、火災など特定の映像情報を認識するように構成されてもよいし、又は映像コンテンツ内に繰り返し出現する人々を認識するために学習するように構成されてもよい。さらに、コンテンツ内の主要なキャラクタをテレビジョンに認識させる、有名な俳優を認識させる情報を有するために学習するように構成されてもよい。コンテンツストリームをモニタしている間、その方法はブロック７０４に進む。

ブロック７０４にあって、テレビジョン３１０は、コンテンツストリーム内のイベントを検出する。例えば、コンテンツストリームをモニタしている間に、一具現化例にあって、テレビジョンがコンテンツストリームに関連する特定の情報を特定することによって、テレビジョンはイベントを検出する。例えば、上述したように、爆発や車の事故のような、コンテンツストリームに関連するイベントの出現を示すかもしれない。いくつかの具現化例にあって、イベントが映像の単一フレームにて又は１，２秒間のような非常に短い時間にて生じるかもしれないし、他方でいくつかの具現化例にあっては、イベントは動いているエンジンが検出されるようなイベントである、船上でのシーン又は飛行機でのシーンのような、かなり長い時間間隔にて又はコンテンツストリーム内の全シーン（又は複数のシーン）にて発生するかもしれない。いくつかの具現化例にあって、テレビジョン３１０は、テレビジョンプログラムを広告が遮っているのを検出してもよいし、コンテンツストリームが広告に関係する特徴のある製品を含んでいることを検出してもよい。例えば、一具現化例にあって、コンテンツストリームは、コンテンツ内の特定のシーンに関連する広告を示す情報に関連してもよいし、さらにテレビジョン３１０は、広告イベントが出現したのを検出してもよい。

いくつかの具現化例にあって、テレビジョン３１０は、認識されたオーディオ又は映像に基づいたイベントを検出するように構成されていてもよい。上述したように、テレビジョン３１０は特定のサウンド又は画像のような、特定のオーディオ又は映像情報を特定するように構成されてもよい。さらに、いくつかの具現化例にあって、テレビジョン３１０は、特定のオーディオ情報と特定の映像情報との間の一致に基づいてイベントを認識してもよい。例えば、テレビジョンが人影を伴ったギシギシなる床板及び暗闇を検出すると、テレビジョンは恐怖シーンが出現しているのを判断する。他の具現化例にあって、テレビジョンが波の砕ける音を検出し、かつ浜辺の映像を検出すると、テレビジョンはリラックスできるシーンが出現しているのを判断する。イベントを検出したのち、方法はブロック７０６に進む。

ブロック７０６にあって、テレビジョン３１０は、通知信号を生成し、ユーザ装置２００に送信する。例えば、一具現化例にあって、テレビジョン３１０は、触覚信号を含む通知信号を生成する。この具現化例にあって、触覚信号は、出力される触覚効果の識別、さらには出力される触覚効果の大きさ及び持続時間を備える。しかし、いくつかの具現化例にあって、触覚信号は、出力されるべき触覚効果を記述する波形情報、又は摩擦又は変形効果が適用される装置の領域を示す空間情報を、適用される摩擦又は変形効果の触知特徴に関する情報と同様に備える。いくつかの具現化例にあって、複数の触覚効果が、通知信号に組み込まれるか、通知信号は装置２００に保存される一つ以上の触覚効果を後でのアクセスのために備える。例えば、上述したように、テレビジョンシリーズは、それに関連する特定の触覚効果セットを有してもよい。テレビジョン３１０がテレビジョンプログラムの一話が始まっているのを検出すると、テレビジョン３１０は装置がメモリにテレビジョンプログラムに関連する触覚効果ライブラリを有しているのか否かに関する情報を要求する通知信号を発生し、装置に送信する。その装置が有していないと返答すると、テレビジョン３１０は、触覚効果の一部又は全てを含むか、又は触覚効果ライブラリがアクセスされるか又は検索される場所のＵＲＬを含む通知信号を発生し、装置に送信する。

いくつかの具現化例にあって、通知信号は、テレビジョンによって表示されるコンテンツを補足するか強調する情報を含む。例えば、一具現化例にあって、テレビジョンは、シーンにてサスペンスを強調するように構成される触覚効果を含む通知信号を発生し、装置に送信する。例えば、その触覚効果は、人が暗闇の家を動いているのに合わせたわずかな振動を装置に提供し、その後、悪人が玄関に現れると、鋭い衝撃効果を提供する。いくつかの具現化例にあって、通知信号は、コンテンツストリーム内の環境コンデションに関連する、車のエンジン又は荒波をセーリングするボートのような、触覚効果を発生するように構成される触覚信号を含む。

いくつかの具現化例にあって、発生される通知信号は、出力される触覚効果のＵＲＬを備えてもよいし、又は表示される広告を備えてもよい。例えば、上述されたように、テレビジョン３１０は、広告又はコンテンツストリーム内に見られる製品に関連するイベントを検出してもよい。そのようなイベントを検出した後、テレビジョン３１０は、広告情報を含む通知信号を発生し、送信してもよい。例えば、一具現化例にあって、通知信号は、製品のウェブサイトのＵＲＬを含んでよいし、又は通知信号は、ユーザ装置に表示される広告又はクーポンを含んでもよい。いくつかの具現化例にあって、通知信号は、ユーザの注意をユーザ装置に表示される広告に払わせるように構成される触覚効果を含む。通知信号を生成し、かつ送信した後（又はしている間）、方法はブロック７０２に戻り、テレビジョンはコンテンツストリームのモニタを続けてもよい。

図７の方法はコンテンツストリームをモニタしているテレビジョン３１０に関して記載されたが、コンテンツストリームへのアクセスを有する他の適切な装置はそのような方法を実行してもよい。例えば、ケーブル会社のセットトップボックス、ＤＶＤプレーヤ、コンテンツプロバイダ（例えば、Netflix^TM）（登録商標）などからのコンテンツを流す装置である。そのような装置は、テレビジョン３１０に加えて、又はその代わりに、そのような方法を実行してもよい。

図８をここで参照すると、図８は一具現化例に係る高度なテレビジョンインタラクションの方法を示す。図８は、図２に示される装置２００によって実行されるソフトウェアアプリケーションについて説明している。しかし、本明細書にて開示されている方法は、図３に示される装置２００のみに実行されるのを制限するものではなく、むしろどんな適切な電子システムによっても実行される。

図８の方法は、ブロック８０２にて始まり、装置はユーザの好みを決定する。いくつの具現化例にあって、ユーザは、一つ以上の表示されるユーザインターフェースにコントロールの配置を形成するようにして、又は、異なるユーザに関連する一つ以上のプロファイルを作り出すことによって、好みを直接的に提供できる。さらに、ユーザは、ユーザがテレビジョン又は映画を見ているとき、又はユーザが装置２００に集中しているとき、又はユーザが装置２００に集中していないとき、又は装置２００を保持していないときに、異なるコンテキストについての好みの情報をユーザに提供することもできる。例えば、一具現化例にあって、装置は、ユーザが見ているプログラムについての詳細な情報を見るのを好むか、チャンネル及び音量コントロール、又は映像再生コントロール（たとえば、再生、ポーズ、早戻りなど）などの基本的なコントロールを有するのを好むのを決定する。図５にはそのような具現化例が示される。しかし、ユーザの好みの情報は、装置上でのユーザの集中についての情報を含んでもよい。例えば、図５についての前述の説明のように、ユーザは、テレビジョン３１０でのコンテンツの視聴に集中しているとき、装置は大きなボタンの最も少ないコントロールセットのみを表示すべきである。図５に示されるように、ユーザがテレビジョン３１０を視聴している間にリクライニングしているとき、又はユーザがテレビジョン３１０を見ている間及び装置２００と物理的な接触をもっていないとき、小さな基本的なコントロールセットのみが表示される。

いくつかの具現化例にあって、装置２００は、ユーザがめったにテレビジョンにて映像ソースを変えないこと、別のオーディオ／映像受像装置についてのボリュームのみを用いることを決定するかもしれない。一具現化例にあって、装置２００は、映像ソース選択コントロールが主インターフェーススクリーン上に表示されるべきではなく、ユーザがコントロールの第２セット（第３又は他の）を示すために主スクリーンをスワイプすると、有効なメニューのオプションを通してのみ映像ソース選択コントロールが有効とされるべきと判断するかもしれない。さらに、装置は、テレビジョン３１０にコマンドを初期化するコントロールを選択するが、装置は、テレビジョン３１０のボリュームコントロールを表示しない間、Ａ／Ｖ受信機へのコマンドを初期化するボリュームコントロールを選択するのみかもしれない。いくつかの具現化例にあって、装置は、ユーザが右手で装置を保持するのを好むと判断すると、コントロールは右手にて把持されるグリップを適用するように配置される。

いくつかの具現化例にあって、装置は装置についての検出された情報に基づいてユーザの好みを決定してもよい。例えば、いくつかの具現化例にあって、装置２００は、装置の向き又は動き、又は装置が保持されたか否かを検出できる一つ以上のセンサ２９０を備える。そのようなセンサ情報は、有効なユーザの好みを判断するために用いられる。例えば、装置がセンサ情報に基づいて装置がユーザによって把持されていないことを決定すると、装置はユーザの好みの第１セットを決定する。例えば、装置が、装置がユーザによって把持されていることを示す検出信号を後で検出すると、装置はユーザの好みの第２セットを決定する。さらにユーザの好みの別のセットは、図５に示されたように装置上にユーザが集中していることを示す方向のような、検出された情報に基づいて決定される。ユーザの好みが決定されたのち、方法はブロック８０４に進む。

ブロック８０４にて、装置２００は、ユーザインターフェースを表示する。例えば、ユーザの好みが決定されたのち、装置は、特定のサイズを有するコントロールをユーザの好みの場所に表示する。図５に示された具現化例にあって、二つの異なる表示されるユーザインターフェースが提供されている。第１インターフェース５１０は、装置に接触していないユーザに関連する決定されたユーザの好みに対応するか又はユーザが装置に集中していないことを示すように装置を保持しているユーザに関連する決定されたユーザの好みに対応する。装置は、ユーザインターフェースの構造がユーザの好みに応じて変化したオーディオ効果又は触覚効果のような非映像情報を表示してもよい。例えば、ユーザが装置への集中をやめて、テレビジョンプログラムを視聴することを楽しむと、装置はユーザの好みに合わせて表示されるインターフェースを再構成し、変化したインターフェースをユーザに知らせるためのオーディオ又は触覚効果を提供する。ユーザディスプレイを表示した後、方法はブロック８０６に向かう。

ブロック８０６にて、装置は、装置又はユーザインターフェースの使用パターンを決定する。例えば、装置は、装置上に表示される一つ以上のコントロールのユーザによる使用をモニタする。例えば、ユーザが特定のコントロールを繰り返し用いるとき、装置はそのコントロールについての重み付けスコアを増やす。又は、ユーザが特定のプログラムを繰り返し視聴するか、特定の音量の設定を繰り返し適用すると、装置はそのような使用パターンについての情報を保存する。一具現化例にあって、装置は、ユーザがテレビジョンにてコンテンツを視聴している間、ウェブブラウズアプリケーション又は俳優、プロットの要約、又はレビューについての情報を提供するアプリケーションのような、ユーザが用いる他のアプリケーションをモニタする。いくつかの具現化例にあって、装置は、使用パターンを決定するために検出された情報をモニタしてもよい。例えば、一具現化例にあって、装置は、ユーザが装置又はテレビジョンのどちらに集中しているのかを判断するためにテレビジョンに表示されているコンテンツをユーザが視聴している間、装置の向きをモニタする。使用パターンを決定したのち、方法はブロック８０８に進む。

ブロック８０８にあって、装置はユーザインターフェースを変更する。例えば、一具現化例にあって、装置２００は、ユーザインターフェース内のコントロールを追加したり、減らしたりすることによって、ユーザインターフェースを変更する。一具現化例にあって、装置２００は、様々なショウや映画のキャストについての詳細な情報を検索するために、装置２００にインストールされているアプリケーションにユーザが頻繁にアクセスすることを判断する。装置２００は、ユーザをアプリケーションに迅速にアクセスさせるようにコントロールを含むためユーザインターフェースを変更する。一具現化例にあって、装置２００はユーザが通常セットしている音量が、コンテンツを視聴するときに、別のセッティングになっているのを判断すると、装置２００は、所望のレベルに音量を調整するために用いられるボリュームコントロールの大きさを変える。例えば、現在の音量がユーザの通常の所望のレベルよりも低いと、ユーザインターフェースは、ユーザに通常のレベルに音量を上げ易くさせるため、「音量を上げる」のサイズを大きくするように変更される。前述したように、いくつかの具現化例にあって、装置２００は、別のユーザインターフェースを表示することによって、又はインターフェースのエレメントについての触覚効果を変更又は変化することによって、ユーザインターフェースを変更する。例えば、図５を用いて考察したように、装置はユーザが装置に集中しているのかどうかに応じて異なるユーザインターフェースを表示する。ユーザが装置に集中しているのであれば、装置２００は第１ユーザインターフェース（例えば、インターフェース５２０）を表示し、ユーザが装置に集中していないのであれば、装置２００は第２ユーザインターフェース（例えば、インターフェース５１０）を表示する。いくつかの具現化例にあって、装置は、ユーザが装置に集中していると判断すると、触覚効果の強度を下げるし、ユーザが装置に集中していないと判断すると、触覚効果の強度を上げる。又は、いくつかの具現化例にあって、装置は、ユーザが装置に集中していないときに、視覚的な指示を不要として、ボタン又はエレメントの位置をユーザに分からせるのを支援するために、特定のボタン又はインターフェースエレメントに摩擦効果を適用する。さらに、いくつかの具現化例にあって、ユーザが繰り返し「早送りボタン」を最高速度に達するために３回押す。一具現化例にあって、装置は、最高速度に達するために、ユーザに早送りボタンを一度のみ押すのを要求するユーザインターフェースに、ユーザインターフェースを変更するが、３つの触覚効果を、最大速度が用いられていることを示すために、提供する。ユーザインターフェースを変更した後、方法は、ブロック８０２に戻るが、ユーザがユーザの好み情報を変えると、方法は変更されたユーザインターフェースを表示するためにブロック８０４に戻る。

本明細書における方法及びシステムは、様々な機械上で実行されるソフトウェアの観点にて記載されているが、本明細書における方法及びシステムは、様々な方法を実行する特にフィールドプログラマブルゲートウェイ（ＦＰＧＡ）のような、特別に構成されるハードウェアとして実行されてもよい。例えば、複数の具現化例は、デジタル電子回路、コンピュータハードウェア、フォームウェア、ソフトウェア、又はそれらの組み合わせにて実行されることができる。一具現化例にあって、装置は、一つのプロセッサ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに接続されるランダムアクセスメモリ（ＲＡＭ）のようなコンピュータ読み取り可能な媒体を含む。プロセッサは、画像を編集するための一つ以上のコンピュータプログラムを実行するような、メモリに格納されているコンピュータにて実行可能なプログラムインストラクションを実行する。そのようなプロセッサは、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、及びステートマシンを備える。そのようなプロセッサは、さらにＰＬＣｓ、プログラマブルインタラプトコントローラ（ＰＩＣｓ）、プログラマブルロジック装置（ＰＬＤｓ）、プログラマブルリードオンリィメモリ（ＰＲＯＭｓ）、電子プログラマブルリードオンリィメモリ（ＥＰＲＯＭｓ又はＥＥＰＲＰＭｓ）、又は他の同様な装置などの、プログラマブル電子装置を備えてもよい。

そのようなプロセッサは、例えば、コンピュータ読み出し可能な媒体などの、インストラクションを格納している媒体を備えるか、又はそれらと通信してもよい。そのような媒体に格納されているインストラクションは、本明細書に記載されたステップを、プロセッサの助けを得て、又はプロセッサによって実行される。コンピュータ読み取り可能な媒体の具体例は、ただし制限されるものではないが、コンピュータ読み取り可能なインストラクションを伴って、電子、光学、磁気、又はウェブサーバにおけるプロセッサのような、プロセッサに提供できる他のストレージ装置を備える。他の媒体の具現化例は、しかし制限されるものではないが、フロッピディスク（登録商標）、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、形成されたプロセッサ、すべての光学媒体、すべての磁気テープ又は他の磁気媒体、又はコンピュータのプロセッサが読むことのできる他の媒体を含む。説明されたプロセッサ、及びプロセッシングは、一つ以上の構成内にあり、さらに一つ以上の構成を通して分散される。プロセッサは、本明細書に記載された一つ以上の方法（又は方法の部分）を実行するためのコードを含む。

本発明のいくつかの具現化例の前述の記載は、例示及び説明の目的のためのみに示されたものであり、網羅的であることを意図したものではなく、開示される詳細なフォームに発明を制限するものではない。多くの変更及び適用が当業者によって本発明の範囲及び精神から逸脱することなく明らかとなるであろう。

「一つの具現化例」又は「一具現化例」という本明細書での言及は、特定の特徴、構成、動作又は具現化例に関連して記載される他の特徴が本発明の少なくとも一つの実行にあって含まれることを意味する。本発明は、説明されるような特定の具現化例に制限されるものではない。本明細書の様々な個所におけるフレーズ「一つの具現化例にあって」又は「一具現化例にあって」の出現は、同じ具現化例を参照するのを必要としない。特別な特徴、構成、動作、又は「一具現化例」についてのこの明細書にて記載される他の特徴は、他の特徴、構成、動作又は他の具現化例について記載される他の特徴に組み合わせられてもよい。

Claims (28)

1. テレビジョン装置に表示される映像コンテンツに関連するイベントを示す通知情報を受信することと、
   前記通知情報に関連する触覚効果を決定することと、
   前記触覚効果を触覚出力装置に出力させるように形成される触覚信号を発生することと、その触覚信号を前記触覚出力装置に送信することと
   を備える方法。
2. 前記映像コンテンツに関連する第２情報を受信すること、
   映像信号を発生すること、及びその映像信号を第２ディスプレイ装置に送信すること
   をさらに備える請求項１記載の方法。
3. 前記第２情報をモニタすること、
   前記第２情報に関連するイベントを検出すること、
   触覚効果を触覚出力装置に出力させるように形成される第２触覚信号を発生すること、及び前記第２触覚信号を前記触覚出力装置に送信すること
   をさらに備える請求項２記載の方法。
4. 出力信号を生成すること、
   前記出力信号をリモート装置に送信すること
   をさらに備える請求項１記載の方法。
5. 入力装置からの入力を受信することをさらに備えてなり、前記入力は検出されたユーザの生理学的な状態を含み、コントロール信号は前記検出されたユーザの生理学的な状態に基づいている請求項４記載の方法。
6. 前記コントロール信号は、前記映像コンテンツに関連する情報及びソーシャルネットワーキングアカウントからの情報に基づいている請求項４記載の方法。
7. 前記通知情報は、ソーシャルネットワーキングサイトに関係するユーザの状態に関連する情報及び映像コンテンツに関連する情報を含む請求項１記載の方法。
8. 信号を発生すること、スピーカに信号を送信することをさらに備えてなり、オーディオ信号は通知情報に基づいている請求項１記載の方法。
9. テレビジョン装置によって表示される映像及びオーディオデータを含むコンテンツストリームであって、装置によって受信されるコンテンツストリームをモニタすること、
   前記コンテンツストリーム内のイベントを検出することと、
   前記イベントに関連する通知信号を生成することと、その通知信号を第２装置に送信することと
   を備える方法。
10. 前記通知信号を複数の第２装置に送信することをさらに備える請求項９記載の方法。
11. 前記第２装置は第１の第２装置であり、第２通知信号を生成することと、その第２通知信号を第２の第２装置に送信することとをさらに備える請求項９記載の方法。
12. 前記コンテンツストリームに関連し、かつ前記第２装置によって視覚的に表示されるように形成される第２情報を、前記第２装置に送信することをさらに備える請求項９記載の方法。
13. 前記第２装置は、スマートフォン又はリモートコントローラを含む請求項９記載の方法。
14. 前記通知信号は、触覚効果又はオーディオ効果を含む請求項９記載の方法。
15. プロセッサに方法を実行させるためのプログラムコードを含むコンピュータ読み取り可能な媒体であって、
    前記プログラムコードは、
    テレビジョン装置に表示される映像コンテンツに関連するイベントを示す通知情報を受信することのためのプログラムコードと、
    前記通知情報に関連する触覚効果を決定することのためのプログラムコードと、
    前記触覚効果を触覚出力装置に出力させるように形成される触覚信号を発生することと、その触覚信号を前記触覚出力装置に送信することのためのプログラムコードと
    を含む、前記コンピュータ読み取り可能な媒体。
16. 前記映像コンテンツに関連する第２情報を受信することのためのプログラムコードと、
    映像信号を発生すること、及びその映像信号を第２ディスプレイ装置に送信することのためのプログラムコードと
    をさらに備える請求項１５記載の前記コンピュータ読み取り可能な媒体。
17. 前記第２情報をモニタすることのためのプログラムコードと、
    前記第２情報に関連するイベントを検出することのためのプログラムコードと、
    触覚効果を触覚出力装置に出力させるように形成される第２触覚信号を発生すること、及び前記第２触覚信号を前記触覚出力装置に送信することのためのプログラムコードと
    をさらに備える請求項１６記載の前記コンピュータ読み取り可能な媒体。
18. 出力信号を生成することのためのプログラムコードと、
    前記出力信号をリモート装置に送信することのためのプログラムコードと
    をさらに備える請求項１５記載の前記コンピュータ読み取り可能な媒体。
19. 入力装置からの入力を受信することのためのプログラムコードをさらに備えてなり、前記入力は検出されたユーザの生理学的な状態を含み、コントロール信号は前記検出されたユーザの生理学的な状態に基づいている請求項１８記載の前記コンピュータ読み取り可能な媒体。
20. 前記コントロール信号は、前記映像コンテンツに関連する情報及びソーシャルネットワーキングアカウントからの情報に基づいている請求項１８記載の前記コンピュータ読み取り可能な媒体。
21. 前記通知情報は、ソーシャルネットワーキングサイトに関係するユーザの状態に関連する情報及び映像コンテンツに関連する情報を含む請求項１５記載の前記コンピュータ読み取り可能な媒体。
22. 信号を発生すること、及びスピーカに信号を送信することのためのプログラムコードをさらに備えてなり、オーディオ信号は通知情報に基づいている請求項１５記載の前記コンピュータ読み取り可能な媒体。
23. プロセッサに方法を実行させるためのプログラムコードを含むコンピュータ読み取り可能な媒体であって、
    前記プログラムコードは、
    テレビジョン装置によって表示される映像及びオーディオデータを含むコンテンツストリームであって、装置によって受信されるコンテンツストリームをモニタすることのためのプログラムコードと、
    前記コンテンツストリーム内のイベントを検出することのためのプログラムコードと、
    前記イベントに関連する通知信号を生成すること、及びその通知信号を第２装置に送信することのためのプログラムコードと
    を含む、前記コンピュータ読み取り可能な媒体。
24. 前記通知信号を複数の第２装置に送信することのためのプログラムコードをさらに備える請求項２３記載の前記コンピュータ読み取り可能な媒体。
25. 前記第２装置は第１の第２装置であり、第２通知信号を生成することと、その第２通知信号を第２の第２装置に送信することのためのプログラムコードとをさらに備える請求項２３記載の前記コンピュータ読み取り可能な媒体。
26. 前記コンテンツストリームに関連し、かつ前記第２装置によって視覚的に表示されるように形成される第２情報を、前記第２装置に送信することのためのプログラムコードをさらに備える請求項２３記載の前記コンピュータ読み取り可能な媒体。
27. 前記第２装置は、スマートフォン又はリモートコントローラを含む請求項２３記載の前記コンピュータ読み取り可能な媒体。
28. 前記通知信号は、触覚効果又はオーディオ効果を含む請求項２３記載の前記コンピュータ読み取り可能な媒体。