JP2015520447A - 日常デバイスを介した没入インタラクションを提供する方法及び装置 - Google Patents

日常デバイスを介した没入インタラクションを提供する方法及び装置 Download PDF

Info

Publication number
JP2015520447A
JP2015520447A JP2015510592A JP2015510592A JP2015520447A JP 2015520447 A JP2015520447 A JP 2015520447A JP 2015510592 A JP2015510592 A JP 2015510592A JP 2015510592 A JP2015510592 A JP 2015510592A JP 2015520447 A JP2015520447 A JP 2015520447A
Authority
JP
Japan
Prior art keywords
content
devices
combination
immersive
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015510592A
Other languages
English (en)
Other versions
JP6124998B2 (ja
Inventor
ディエゴ バルディーニ
ディエゴ バルディーニ
スティーヴン バウアー
スティーヴン バウアー
スティーブン・ジェームス ローリングス
スティーブン・ジェームス ローリングス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2015520447A publication Critical patent/JP2015520447A/ja
Application granted granted Critical
Publication of JP6124998B2 publication Critical patent/JP6124998B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/08Protocols specially adapted for terminal emulation, e.g. Telnet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W56/00Synchronisation arrangements
    • H04W56/001Synchronization between nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/22Processing or transfer of terminal data, e.g. status or physical capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • H04W88/06Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

1つ又は複数のインタラクションイベントに基づいて日常デバイスを介して没入インタラクションを提供する方法が提供される。ある例示的実施形態において、没入サービスは、1つ又は複数のインタラクションイベントを決定するためにデバイスに提供されるコンテンツを処理する。没入サービスは次の事項を決定する:(a)1つ又は複数のインタラクションイベントを、少なくとも一部発生させるために、デバイスや1つ又は複数の他のデバイス、またはそれらの組合せを制御する1つ又は複数の制御信号;(b)1つ又は複数の制御信号を伝送する1つ又は複数のプロトコル;または(c)これらの組合せ。没入サービスは、デバイス、1つ又は複数の他のデバイス、またはそれらの組合せに、1つ又は複数の制御信号の伝送を少なくとも一部行う。【選択図】図3

Description

背景
ワイヤレス技術や携帯電話等のサービスプロバイダ及び装置メーカーは、魅力的なサービスの提供等を通じて、顧客に価値や利便性を提供しようと日々努力している。サービスプロバイダ及び装置メーカーはまた、コンテンツプロバイダを通じて、消費者がコンテンツを体験する新しい方法を提供しようと日々努力もしている。サービスプロバイダと装置メーカー、コンテンツプロバイダにとって関心のある領域は、消費者がコンテンツを消費するときにより現実的な体験ができるようにすることである。例えば、装置メーカーは、マルチメディアコンテンツ(例えば、動画やテレビ番組等)を提供できるデバイス(テレビやプロジェクター、携帯電話等)を開発し、こうしたコンテンツを3次元で視覚化するような消費者に提供してきた。また、映画館の中には、消費者が3次元で認識できるだけでなく、振動及び/又は流体(例えば、空気や水等)の噴射といった消費者への触覚的インタラクションも知覚できる映画を上映する所もある。加えてメーカーは、現実世界のデバイスをシミュレートするコンテンツ表現を伴って消費者がやり取りするために使用できるデバイスを開発してきた。例えば、多くのビデオゲームは、ライフルやゴルフクラブ、モーション検知コントローラのようなゲームで表現されている1つ又は複数の現実世界のデバイスをシミュレートする特殊デバイスと関連している。コンテンツプロバイダも同様に、こうしたシミュレートデバイスとやり取りするコンテンツを開発してきた。しかし、こうした知覚される現実感覚をより多く体験するためには、消費者は例えば、特別な装置(例えば、3次元対応ディスプレイやシミュレートデバイス等)を購入するか、特殊フォーマットの映画を上映する及び/又は特殊構成の設備を有する専門の映画館に行かなくてはならない。また、こうした特別な装置を備えていたとしても、コンテンツがユーザ周辺の現況を利用しなかったり、ユーザと個別にやり取りしなかったりすることもある。例えば、ユーザがゲームに参加している場合、現実世界のデバイスをシミュレートするデバイスを通じて参加したとしても、ユーザは心理的にはゲームに没頭していない。ユーザはまだ、ゲームをプレイしていることとゲームの外にある現実世界との間の違いを認識しているからである。このように、ユーザは、少なくとも一部は心理的にコンテンツに没入していないが、これはコンテンツがユーザに関連する日常デバイスとやり取りしていないためである。そのため、ユーザはコンテンツの中に完全には入り込んでいない。したがって、サービスプロバイダや装置メーカー、コンテンツプロバイダは、消費者に関連する日常デバイスを用いて消費者と個別にやり取りするコンテンツに、消費者を入り込ませるという重要な課題に直面している。
例示的実施形態
したがって、1つ又は複数の没入インタラクションイベントに基づいて日常デバイスを介して没入インタラクションを提供する方法が求められる。
ある実施形態に従う方法は、1つ又は複数の没入インタラクションイベントを決定するために、デバイスに提供されるコンテンツを処理することを含む。前記方法はまた、(a)前記1つ又は複数の没入インタラクションイベントを、少なくとも一部発生させるために、前記デバイス、1つ又は複数の他のデバイス、またはそれらの組合せを制御する1つ又は複数の制御信号;(b)前記1つ又は複数の制御信号を伝送する1つ又は複数のプロトコル;または(c)これらの組合せを決定することを含む。前記方法はさらに、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに対する、前記1つ又は複数の制御信号の伝送を少なくとも一部行うことを含む。
別の実施形態に従う装置は、少なくとも一つのプロセッサと1つ又は複数のコンピュータプログラムのためのコンピュータプログラムコードを含む少なくとも1つのメモリを備え、前記少なくとも1つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサと共に、前記装置に、1つ又は複数の没入インタラクションイベントを決定するために、デバイスに提供されるコンテンツの処理を実行させるように構成される。前記装置はまた、(a)前記1つ又は複数の没入インタラクションイベントを、少なくとも一部発生させるために、前記デバイス、1つ又は複数の他のデバイス、またはそれらの組合せを制御する1つ又は複数の制御信号;(b)前記1つ又は複数の制御信号を伝送する1つ又は複数のプロトコル;または(c)これらの組合せの決定をさせられる。前記装置はさらに、前記1つ又は複数の他のデバイス、またはそれらの組合せに対する前記1つ又は複数の制御信号の伝送をさせられる。
別の実施形態に従うコンピュータ可読記憶媒体は、1つ又は複数の命令の1つ又は複数のシーケンス(1つ又は複数のコンピュータプログラム等)を担持し、前記1つ又は複数のシーケンスは、1つ又は複数のプロセッサにより実行されると、装置に、1つ又は複数の没入インタラクションイベントを決定するために、デバイスに提供されるコンテンツの処理を実行させる。前記装置はまた、(a)前記1つ又は複数の没入インタラクションイベントを、少なくとも一部発生させるために、前記デバイス、1つ又は複数の他のデバイス、またはそれらの組合せを制御する1つ又は複数の制御信号;(b)前記1つ又は複数の制御信号を伝送する1つ又は複数のプロトコル;または(c)これらの組合せの決定をさせられる。前記装置はさらに、前記1つ又は複数の他のデバイス、またはそれらの組合せに対する前記1つ又は複数の制御信号の伝送をさせられる。
別の実施形態に従う装置は、1つ又は複数の没入インタラクションイベントを決定するために、デバイスに提供されるコンテンツを処理する手段を備える。前記装置はまた、(a)前記1つ又は複数の没入インタラクションイベントを、少なくとも一部発生させるために、前記デバイス、1つ又は複数の他のデバイス、またはそれらの組合せを制御する1つ又は複数の制御信号;(b)前記1つ又は複数の制御信号を伝送する1つ又は複数のプロトコル;または(c)これらの組合せを決定する手段を備える。前記装置はさらに、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに対する、前記1つ又は複数の制御信号の伝送を少なくとも一部行う手段を備える。
加えて、本発明の様々な例示的実施形態において、次のことが適用されてもよい:(1)データ、および/または(2)情報、および/または(3)少なくとも1つの信号の処理を容易にすること、および/または、前記(1)〜(3)を処理することを含む方法であって、(1)データおよび/または(2)情報および/または(3)少なくとも一つの信号は、本発明の実施形態に関連して本願に開示された方法やプロセスの何れかまたはこれらの組み合わせに基づく、またはその少なくとも一部が上記方法やプロセスの何れかまたはこれらの組み合わせから少なくとも一部導かれる、方法。
本発明の様々な例示的実施形態において、少なくとも1つのサービスへのアクセスを可能にするように構成される少なくとも1つのインタフェースへのアクセスを容易にする方法を適用することができる。この方法において、前記少なくとも1つのサービスは、本願に開示されるネットワークやサービスプロバイダによる方法やプロセスの何れかまたはこれらの組み合わせを実行するように構成される。
本発明の様々な例示的実施形態において、次のことが適用されてもよい:(1)少なくとも1つのデバイスユーザインタフェース要素、及び/又は;(2)少なくとも1つのデバイスユーザインタフェース機能;を形成すること及び/又は変形することを含む方法であって、前記(1)少なくとも1つのデバイスユーザインタフェース要素及び/又は前記(2)少なくとも1つのデバイスユーザインタフェース機能は、本発明の実施形態に関連して本願に開示された方法やプロセスの何れかまたはこれらの組み合わせによって得られたデータ及び/又は情報、及び/又は、本発明の実施形態に関連して本願に開示された方法やプロセスの何れかまたはこれらの組み合わせによって得られた少なくとも1つの信号に少なくとも一部基づいている、方法。
様々な例示的実施形態において、方法やプロセスはサービスプロバイダや携帯デバイスの側で実行されてもよく、また、サービスプロバイダと携帯デバイスとで遂行されるべきアクションをシェアするあらゆる方法によっても実行されてもよい。
本発明の様々な例示的実施形態において、以下のことが適用されてもよい:本願当初の請求項1から12、25から36、および42から44の何れかに記載の方法を実行する手段を備える、装置。
本発明のさらなる側面や特徴、利点が、以下の詳細説明によって容易に明らかになる。以下の詳細説明では、本発明を実施するための最良の形態であると考えられているものも含め、種々の具体的な実施形態や実装形態が例示される。本発明はまた、さらに多くの様々な異なる実施形態を取りうることができ、そのいくつかのディテールは、本発明の思想や範囲を逸脱することなく、多くの自明な観点から修正可能なものである。本明細書による説明や図面は例示的な性質を有するものと考えられるべきであり、制限的なものとみなされるべきではない。
添付の図面には、本発明の実施形態が例示されている。これらはあくまでも例示を目的とするものであって、限定の目的のためのものではない。
ある実施形態に従う、1つ又は複数の没入インタラクションイベントに基づいて日常デバイスを通じて、没入インタラクションを提供できるシステムの略図である。 ある実施形態に従う、没入サービスの要素の略図である。 ある実施形態に従う、1つ又は複数の没入インタラクションイベントに基づいて日常デバイスを介して没入インタラクションを提供する処理のフローチャートである。 ある実施形態に従う、コンテンツ表現に没入させそのコンテンツに同期するデバイスを決定する処理のフローチャートである。 ある実施形態に従う、コンテンツを1つ又は複数のデバイスに挿入する処理のフローチャートである。 ある実施形態に従う、デバイス固有の情報をコンテンツからの情報と組合せる処理のフローチャートである。 種々の実施形態に従う、図3-6の処理で利用されるユーザインタフェースの略図である。 種々の実施形態に従う、図3-6の処理で利用されるユーザインタフェースの略図である。 種々の実施形態に従う、図3-6の処理で利用されるユーザインタフェースの略図である。 種々の実施形態に従う、図3-6の処理で利用されるユーザインタフェースの略図である。 種々の実施形態に従う、図3-6の処理で利用されるユーザインタフェースの略図である。 種々の実施形態に従う、図3-6の処理で利用されるユーザインタフェースの略図である。 種々の実施形態に従う、図3-6の処理で利用されるユーザインタフェースの略図である。 種々の実施形態に従う、図3-6の処理で利用されるユーザインタフェースの略図である。 種々の実施形態に従う、図3-6の処理で利用されるユーザインタフェースの略図である。 本発明の実施形態を実装するために使用できるハードウェアの略図である。 本発明の実施形態を実装するために使用できるチップセットの略図である。 本発明の実施形態を実装するために使用できる携帯端末(ハンドセット等)の略図である。
いくつかの実施形態の説明
1つ又は複数の没入インタラクションイベントに基づいて日常デバイスを通じて、没入インタラクションを提供する方法、装置及びコンピュータプログラムの実施例を開示する。以下の説明において、説明の目的のために、多くの具体的な詳細構成が紹介される。これらは、本発明の実施形態を詳細に理解するのに資するためのものである。なお、本発明の実施形態はこれらの詳細構成がなくとも実施可能であって、同等な構成によっても実施可能であるが、こうしたことは当業者にとって自明なことである。また、既知の構成やデバイスがブロック図の形で示されるが、これは、本発明の実施形態をいたずらに不明瞭にすることを避けるためである。
図1は、ある実施形態に従う、1つ又は複数の没入インタラクションイベントに基づいて日常デバイスを通じて、没入インタラクションを提供できるシステムの略図である。前述した通り、サービスプロバイダ及び装置メーカーは、ユーザにコンテンツを提供するときにユーザにより現実的な体験を与えようと努める。このようなコンテンツはユーザに提供されるあらゆる種類のものであって、動画やテレビ番組、歌、コンピュータゲーム、その他のビデオ(エクササイズビデオやトレーニングビデオ、教育ビデオ等)等のようなものがある。サービスプロバイダ及び装置メーカーは、こうしたコンテンツが提供されるとき、ユーザが体験する現実性を高める機能を開発してきた。例えば、装置メーカーは、画像をより現実性を持たせるためにユーザが立体的に知覚する画像をデバイスに表示する機能を開発してきた。映画館のようなサービスプロバイダは、こうしたコンテンツの3次元表示に他の感覚フィードバックを組み合わせている。こうした感覚フィードバックは触覚フィードバックのような、例えば振動及び/又は空気や水の噴射が用いられる。このように、サービスプロバイダ及び装置メーカーは、ユーザが映像や音声、触覚的感覚フィードバックをより現実的に体験する方法を開発してきた。
こうした進展にも拘わらず、ユーザは未だにこのような感覚フィードバックには現実感がないと考えている。ユーザは、ディスプレイに関連した知覚される3次元世界は単なる幻想であると理解する。感覚フィードバック等を含んだより高い現実性に対しても、ユーザは、追加的な感覚フィードバックで3次元映画を体験するために特殊設備を持つ映画館に行かなくてはならない。映画館ではユーザは他のユーザと一緒にコンテンツを体験しなくてはならないため、このような映画館の設備がユーザ体験を損なわせる。それ故、体験は個人的なものでもなく、ユーザの個別空間とやり取りしていない。このため、ユーザはコンテンツが与える体験に完全に入り込めない。
また、特定の種類のコンテンツを消費する場合、コンテンツが、それとやり取りするための1つ又は複数のコンテンツ専用デバイスと関連付けされていることもある。しかし、こうしたデバイスは当該コンテンツ専用であるため、デバイスはそのコンテンツでのみ動作して他には使用できない。さらにデバイスによっては、現実世界のデバイスをシミュレートする目的で作られた、ギターやライフルの形をしたゲームコントローラのようなものもある。こうしたデバイスは外見を似せてあるが、視覚的類似性という点で類似性が高められただけであり、コンテンツ表現に関連する機能以外の別の機能をデバイスは持たない。例えば、こうしたデバイスは、コンテンツ表現に特化しない機能を有する日常デバイスとは同等ではない。このように、デバイスがシミュレートする現実世界のデバイスと視覚的に似ているデバイスをユーザが使用できるが、こうしたデバイスを通じても、ユーザはコンテンツとの完全な心理的関係を体験しない。つまり、ユーザとデバイスとの間に心理的な関係は存在しない。その理由は例えば、ユーザが使用するのはコンテンツ専用のデバイスであって、そのコンテンツ表現から独立した現実世界で使用され得るデバイスやユーザが日常的に使用するデバイスではないからである。したがって、サービスプロバイダ及び装置メーカーは、コンテンツ表現にユーザを完全に没入させるという重要な技術的課題に直面している。コンテンツ消費に関連するユーザ体験を個人化するために解決されなくてはならない重要な課題がある一方、このような個人化された体験を実現するのに必要な特別装置の追加は制限していかなくてはならない。
こうした課題に取り組むために、図1のシステム100では、1つ又は複数の没入インタラクションイベントに基づいて日常デバイスを通じて、没入インタラクションを提供する機能が導入される。システム100は、コンテンツ(動画や歌、テレビ番組、コンピュータゲーム、ビデオ等)がユーザとやり取りできるようにする。システム100は、1つ又は複数のプロトコルを介し1つ又は複数の制御信号を介して、ユーザに関連する、及び/又はユーザに関連する環境に関連する、1つ又は複数のデバイスの制御を行う。1つ又は複数の制御信号は、コンテンツ内の1つ又は複数の没入インタラクションイベントに関連している。デバイスは、あらゆる種類の日常デバイスと同等でもよく、1つ又は複数のプロトコルを介して1つ又は複数の制御信号を受信できるものである。デバイスは、コンテンツ提供とは無関係の日常デバイスでもよい。このようなデバイスはコンテンツ提供に関連する機能以外の機能を有する。ただし、日常デバイスという用語は、デバイスが毎日使用されることを必ずしも意味するものではない。例として、コンテンツ提供に関連する機能以外の機能を有する日常デバイスは、洗濯機や食器洗浄機、電子レンジ/オーブンレンジ、トースター、ラジオ、時計等でもよい。実施形態によっては、1つ又は複数のデバイスがコンテンツを提供するが、それ以外にコンテンツ提供に無関係な機能を有するデバイスを含んでもよい。例として、こうしたデバイスはコンテンツ提供とは無関係である種々の異なる要素を備えてもよく、1つ又は複数の命令及び/又は制御信号に基づいて制御されてもよい。例えば、最新の携帯電話は、単に電話をかけられるだけでなく、映画やビデオ、音楽等のようなコンテンツを提供できるような高機能を有する。しかし、携帯電話の機能は、通話機能のようにコンテンツを提供する機能とは未だ無関係である。プロトコルは例えば、ブルートゥース(登録商標)や無線LAN、無線通信、その他本願で説明するプロトコル(例えば、通信ネットワーク105に関連して説明される1つ又は複数のプロトコル)でもよい。こうしてシステム100は、具体的に構成されていないかコンテンツ提供と関連しない1つ又は複数のデバイスを検出する機能を与える。あるいは、デバイスはコンテンツを提供しているが、そのデバイスの中でコンテンツ提供に無関係である1つ又は複数の他の要素を使用し、デバイスをコンテンツ表現に没入させる機能を与える。デバイスをコンテンツ表現に入り込ませることで、システム100は、ユーザを囲むデバイスにコンテンツを関連付けることで、そのユーザをコンテンツ表現に没入させる機能を提供する。
実施形態によっては、1つ又は複数のデバイスで提供されたコンテンツは例えば、1つ又は複数の没入インタラクションイベントに関連するメタデータを含んでもよい。実施形態によっては、1つ又は複数のデバイスで提供されたコンテンツは例えば、明示的なコード命令であって、1つ又は複数の没入インタラクションイベントに基づくシステム100で動的に作成され、デバイスに依存するものを含んでもよい。システム100は、コンテンツ内のメタデータ及び/又は明示的コードの存在に基づく1つ又は複数の没入インタラクションイベントを決定してもよい。システム100はまた、システム100内のどのデバイスが没入インタラクションイベントに対応しているかを決定するために、没入インタラクションイベントを処理してもよい。1つ又は複数の対応デバイスがシステム100に存在することに基づいて、システム100は、1つ又は複数のプロトコルを用いて1つ又は複数の制御信号をデバイスに送信してもよい。これは、コンテンツ内のメタデータや明示的コード、及び/又は没入インタラクションイベントに関連する機能及び/又は動作をデバイスに実行させる。その結果、システム100は、没入インタラクションイベントとそのようなイベントに関連するデバイスの決定に基づくデバイスをコンテンツ内に没入させることができる。
システム100はまた、コンテンツと1つ又は複数の日常デバイスとの間の象徴的関係を構築するために、そのコンテンツを1つ又は複数のデバイスに没入させてもよい。システム100は、コンテンツからデバイスの1つ又は複数のユーザインタフェースに情報を送信及び/又は受信し、その情報を表示することができる。そしてデバイスのユーザは、コンテンツとやり取りするために、デバイスのディスプレイのコンテンツに関する1つ又は複数の表現とやり取りしてもよい。このため、ユーザは完全な没入体験を得るために、コンテンツとやり取りするユーザの日常デバイスを使用してもよい。例として、デバイスに元々備わっているユーザインタフェースとやり取りすることで、ユーザはコンテンツの1つ又は複数の表現とやり取りでき、その結果コンテンツとやり取りできる。ユーザは自身の日常デバイスのユーザインタフェースとやり取りしているため、ユーザはコンテンツに完全に没入するようになる。
例として、テレビに接続したDVDプレーヤーで映画を再生中、その映画の中で現われる携帯電話に関連する1つ又は複数の動作や1つ又は複数の機能、及び/又は1つ又は複数の特性が、その映画の中に現われてもよい。例えば、映画の中の登場人物が自身の携帯電話で着信を受け、その携帯電話が鳴ってもよい。システム100は、映画を観ているユーザに関連する携帯電話に着信を受けさせる機能を提供し、その結果映画の中の携帯電話が鳴ると同時にユーザの携帯電話も鳴るようにできる。システム100はまた、着信に関する情報で映画の中の情報に対応する情報をユーザの携帯電話が表示できるようにする。例えば、ロバート・モリス(Robert Morris)という登場人物が映画の中の別の登場人物に電話をかける場合、ユーザのデバイスはロバート・モリスから着信があることを表示してもよい。また、ユーザがその後に自分の連絡先アプリケーションを見たら、ロバート・モリスという登場人物に関連するエントリを確認できてもよい。こうして、システム100は、ユーザに関連する1つ又は複数の日常デバイスを用いてユーザをコンテンツに没入させることで、コンテンツを楽しむユーザが個人化された体験を受けられる。ここで、こうした日常デバイスはコンテンツ提供には関連していておらず、コンテンツ提供以外の機能を有する。例えば、前述の実施例ではDVDプレーヤー及びテレビが映画を再生しているが、携帯電話は、映画再生以外の動作及び/又は機能に対して用いられる日常デバイスである。こうして、ユーザが携帯電話で着信を受けるとき、ユーザはその着信が何か別の着信であるとして扱い、映画の中の仮想世界と関連しない現実世界の一部分として認識することになる。
システム100はまた、複数の没入レベルを構築してもよい。あるいは、コンテンツレベルが別のコンテンツレベルの中に没入されている、ネスト化された没入レベルを構築してもよい。こうして、システム100は、デバイスを複数のコンテンツレベルに没入させることを通じて、ユーザを複数の仮想現実レベルに没入させてもよい。例として、ニューヨーク等の都市の仮想シミュレーションを通じたウォーキングに関連し、ある没入レベルに関連するコンテンツを体験する間、ユーザは拡張現実アプリケーションを実行してもよい。システム100は、ユーザと、アプリケーションが都市の仮想シミュレーションの中に入れ込まれるような拡張現実アプリケーションを没入させてもよい。こうして、ユーザがその都市に実際には居なくてその都市の仮想シミュレーションの中に居るとしても、拡張現実アプリケーションがその仮想シミュレーションの中に入り込み、あたかもその都市に実際に居るかのように反応する。その結果、ユーザは、拡張現実アプリケーションとやり取りできることで、仮想シミュレーションにおける体験やコンテンツの中に完全に没入してもよい。また例えば、別のレベルに入れ込まれる複数のゲームで同じ体験ができてもよい。例えば、ある没入レベルでは、ユーザとデバイスを特定のコンテンツ(ビデオゲームや仮想世界等)に基づく無重力世界に没入させてもよい。第2の没入レベルでは、第1の没入レベルに応答して無重力世界でプレイしているかのように応答するコンピュータゲームを備えてもよい。また、複数の没入レベルを独立に実行する没入サービス103で、種々の没入レベルが互いに気付かなくてもよい。
別の例として、コンテンツに入り込むデバイスは、日常デバイスよりも多いと考えられてもよい。しかし、こうしたデバイスは、1人又は複数のユーザが日常に基づいて、ユーザの周辺環境に対する余剰感覚的な認識を高めたり、感覚を拡大したりするために用いるデバイスであると見做されることもある。システム100は、コンテンツがこうしたデバイスとやり取りし、ユーザを仮想世界に没入させるためにデバイスがユーザに提供する余剰感覚を歪めることができる。システム100はまた、複数の没入レベルに対してユーザがデバイスを通じて受取った感覚を更に増強及び/又は歪曲することもできる。例として、ユーザは自身のデバイスでビデオゲームをプレイしているとする。ビデオゲームは例えば、フライトシミュレーションに関連していてもよい。ビデオゲームの中で、ユーザは高速(例えば、マッハ1)で移動中であるとする。ユーザが第2のアプリケーションを別のゲームのように実行する場合、システム100は、第1のアプリケーションで作られた仮想世界の中で第2のアプリケーションが実行されたかのように第2のアプリケーションを実行してもよい。こうして、第2のアプリケーションで生じる余剰感覚は、第1のアプリケーションによる条件や没入に関連してもよい。例えば、第2のアプリケーションは、ユーザ及び/又はデバイスが高速で移動中であることを、ユーザ及び/又はデバイスが強い重力場に置かれたかのようだと検出してもよい。このように、システム100はネストされた没入体験ができる。その結果、以下で説明するように、各没入体験は単独の没入体験であるか、1つ又は複数の没入体験にネストされた没入体験であり得る。例えば、現実が次元1と見做され、没入現実が次元2から次元Nまでと見做されてもよい。ここで、Nはネストされた没入体験の数を表わす。
また、システム100が複数の没入体験を組み合わせて1つの没入体験を提供する場合、システム100はその没入体験が通常のコミュニケーション及び/又はインタフェースチャンネルを用いてやり取りできる機能を提供する。こうして、通常のプラットフォームインタフェースを通じてサードパーティーアプリケーションに没入状態が提供される。例として、没入体験に位置が含まれる場合、サードパーティーアプリケーションは没入位置情報を構成するが、そうした位置情報を没入したデバイスで位置情報を提供する、例えばGPSのような通常のプラットフォームから受取ってもよい。したがって、サードパーティーアプリケーションは没入情報に関連する通常のプラットフォームからその情報を受取るため、サードパーティーアプリケーションがその没入体験に気付いていなくてもよい。
別の実施例として、ユーザは、コンテンツを提供するユーザの携帯電話を使用し、その携帯電話で映画を観るようにしてもよい。携帯電話で映画を再生する場合、本来であればリンガーのような携帯電話の他の要素を通常通りに連動させたり使用したりしなくてもよい。しかし、システム100は映画再生の中で1つ又は複数の没入インタラクションイベントを検出し、例えば、映画の中のある携帯電話が鳴ると、その映画の再生に使われている実在の携帯電話のリンガーも鳴るように携帯電話のリンガーを連動させる機能を提供する。コンテンツ内で1つ又は複数の没入インタラクションイベントを決定し、携帯電話において没入インタラクションイベントに関連する1つ又は複数の制御信号及びリンガーを決定し、映画の表現で携帯電話が鳴るときに1つ又は複数の制御信号を実行するシステム100によって、リンガーが鳴ってもよい。
システム100は、1つ又は複数の制御信号、及び/又は制御信号を伝送するために使用されるプロトコルに対応するあらゆる種類のデバイスの構成を許容する。システム100はまた、特定のコンテンツに固有の制御信号を関連する又は関連しないデバイスを任意の数だけ関連付けることができる。こうして、ユーザは、デバイスが1つ又は複数の制御信号、及び/又は制御信号を伝送するために使用されるプロトコルに対応していることを知っているとしても、コンテンツ内の没入インタラクションイベントと、システムがやり取りし得る特定のデバイスについては気付いていない。その結果、コンテンツが表現する現実に意外性のある効果が加わり、この効果がユーザをコンテンツに没入させる助けとなる。また、環境毎に別々のデバイスが関連していてもよい。こうして、特定の環境で実現される体験が、別の関連デバイスに基づいて別の環境で実現される体験とは異なっていてもよい。例えば、映画を友人の家に持ち込むユーザは、ユーザの家とは異なるデバイスに関連しているため、この別のデバイスに基づいてコンテンツに関連する別の没入を体験することになる。こうしたアプローチの下では、システム100はコンテンツに関連する非標準体験を許容する。こうして、例えば追加的な感覚フィードバック(触覚フィードバック)を加えた3次元映画に関連する標準体験を提供する特定の映画館と違って、システム100は、コンテンツを提供するシステムによって関連しているデバイスの数と種類に基づいて変化する非標準体験を許容する。
また、同種だが別の機能を持つデバイスが別の没入体験を提供してもよい。例えば、新型の携帯電話が、その新型携帯電話のユーザをコンテンツに没入させるためにコンテンツがやり取りできる多くの機能を備えていてもよい。旧型の携帯電話では追加機能の数に制限があるか、追加機能が全く無いこともある。このため、旧型携帯電話ではコンテンツに完全没入することができない。例えば、新型携帯電話はGPS等の位置決定機能を持つが、旧型携帯電話はそうした機能を持たないこともある。その結果、新型携帯電話はそれ自身の位置を表示できるが、旧型携帯電話では表示できない。このように、新型携帯電話は、ユーザと新型携帯電話の仮想位置を表示することでユーザをコンテンツに一部没入させることができるが、旧型携帯電話では仮想位置を表示することでユーザをコンテンツに没入させることができない。したがって、デバイスの種類毎(例えば、携帯電話や食器洗浄機、電子レンジ、照明スイッチ等)にそれぞれ別々の没入体験を提供できる。また同様に、同種のデバイス毎(例えば、機能の異なる別々の携帯電話等)に、その同種デバイスがサポートする範囲における別々のデバイスの機能に基づいて、別々の没入体験を提供できる。
システム100はまた、コンテンツの1つ又は複数の表現をそのデバイスや1つ又は複数の他のデバイス、またはそれらの組合せに挿入する機能を提供できる。ここで、1つ又は複数のデバイスはコンテンツとやり取りするために使用されてもよい。1つ又は複数のデバイスは、ユーザと個別に関連していてもよい。こうして、コンテンツとデバイスとのやり取りがユーザをコンテンツに没入させる。またシステムは、ユーザをコンテンツ表現に没入させるために、他ではコンテンツ提供に関連していないユーザデバイス、または他ではコンテンツ提供に関係しないデバイスの1つ又は複数の要素に関連する体験を拡張する機能を提供できる。こうした没入は、コンテンツ関連情報とユーザデバイス固有の情報の組合せに少なくとも一部基づいていてもよい。こうようなデバイス固有の情報は、システム100によってデバイスがコンテンツに関連付けられる前からデバイスに存在していた情報でもよい。こうような組合せにより、ユーザはデバイスのどの情報がデバイス固有であり、どの情報がユーザを更にコンテンツに没入させるためのコンテンツに基づいているかを認識できなくなる。システム100はまた、他ではコンテンツ表現に関係しないユーザの現存するデバイスを用いるコンテンツによって構築された仮想環境とやり取りする機能も実現できる。このようなやり取りは、ユーザが現実世界で行うであろうやり取りに基づいて、デバイスに関連する同一機能を基礎としたものでもよい。しかも、この機能が代わりにコンテンツが構築した仮想世界とやり取りする。このような機能により、ユーザはコンテンツ内でのユーザの心理的没入体験を拡張するために、コンテンツをデバイスに取込むことができる。実施形態によっては、システム100は、更なる没入体験を得るためにコンテンツが日常デバイス等の没入デバイスから情報を照会できるようにする。ここで、没入デバイスから得られた照会情報が利用されてもよく、及び/又はコンテンツに取込まれてもよい。例として、没入デバイスが周辺光センサを備えるとする。システム100は、コンテンツが周辺光の値に対するデバイスを照会できるようにする。この情報に基づいて、システム100は、没入デバイスからの周辺光の値に基づくコンテンツの拡張を可能にする。例えば、ユーザがコンテンツを見ている場所にある窓から入る光に合うように、仮想世界の地平線が作られる。これは、周辺光センサから得られる値に基づいている。コンテンツが没入デバイスから情報を取得する機能を提供することで、システム100は、ユーザの周囲の特性に従ってユーザをコンテンツに没入させることができる。
図1に描かれるように、システム100は、ユーザ装置(UE)101a−101n(まとめてUE101とする)を有する。UE101は、通信ネットワーク105を介して没入サービス103へ接続する。例として、システム100の通信ネットワーク105は、1つ又は複数のネットワークを含む。このネットワークはデータネットワークや電話ネットワーク、またはそれらを組合せのようなものでもよい。データネットワークは、例えば、ローカルエリアネットワーク(LAN)やメトロポリタン エリア ネットワーク(MAN)、広域ネットワーク(WAN)、公衆データネットワーク(例えばインターネット)、近距離無線ネットワーク等でもよく、また、他の好適なパケット交換ネットワークでもよい。こうしたパケット交換ネットワークには、商業的に利用可能なものもあれば、個人の光ケーブルや光ファイバネットワークのような、私有のパケット交換ネットワークもあり、またこれらの組合せ等もある。無線ネットワークは、例えばセルラネットワークでもよく、これは、EDGE(enhanced data rates for global evolution)やGPRS(general packet radio service)、GSM(登録商標)(global system for mobile communications)、IMS(Internet protocol multimedia subsystem)、UMTS(universal mobile telecommunications system)など、種々の技術を利用したものでもよい。また、セルラネットワークで使用されうる無線媒体としては、WiMAX(登録商標)(worldwide interoperability for microwave access)やLTE(Long Term Evolution)、CDMA(符号分割多元接続)、WCDMA(登録商標)(Wideband Code Division Multiple Access)、WiFi、無線LAN(WLAN)、Bluetooth(登録商標)、近距離無線通信(NFC)、IPデータ放送、デジタルラジオ/テレビ放送、衛星、モバイルアドホックネットワーク等があり、またこれらの組合せ等でもよい。
UE101はあらゆる種類の端末でもよく、移動端末や固定端末、可搬型端末でもよい。例えば、携帯ハンドセットや局、ユニット、デバイス、携帯通信デバイス、マルチメディアコンピュータ、マルチメディアタブレット、インターネットノード、ノートブックコンピュータ、ネットブック、タブレットコンピュータ、パーソナル通信システム(PCS)、パーソナルナビゲーションシステム、携帯情報端末(PDA)、音楽/ビデオプレーヤー、デジタルカメラ/デジタルビデオカメラ、位置同定機器、テレビ受像機、無線放送受信機、電子ブック機器、ゲーム機器、またはこれらの組合せでもよい。さらに、これらのアクセサリーや周辺機器を含んでもよく、またそれらの組合せを含んでもよい。UE101はまた、あらゆる種類の(ウェアラブル回路等のような)対ユーザインタフェースを備えてもよい。
UE101は、1つ又は複数のアプリケーション111a−111n(まとめてアプリケーション111とする)を含んでもよい。アプリケーション111はあらゆる種類のアプリケーションであって、1つ又は複数のゲームアプリケーションや1つ又は複数のマルチメディアアプリケーション(動画プレーヤー、音楽プレーヤー等)、またはそれに類するようなものでもよい。実施形態によっては、アプリケーション111aは、コンテンツ表現をUE101に関連付ける没入サービス103とやり取りしてもよい。アプリケーション111aは、コンテンツとUE101との間で1つ又は複数のイベントを発生させるために没入サービス103とやり取りしてもよく、以下で詳述する。こうして、実施形態によっては、UE101がコンテンツ内に入り込む1つ又は複数のデバイスとして動作してもよい。UE101は、コンテンツを提供する1つ又は複数のデバイスとして動作してもよい。
システム100は、通信ネットワーク105を通じてUE101及び没入サービス103と接続するホストデバイス117を含んでもよい。図1では1つのホストデバイスとして描かれているが、システム100が1つ又は複数のホストデバイス117を有してもよい。実施形態によっては、ホストデバイス117は、1つ又は複数の有線及び/又は無線接続を通じてUE101と直接通信する。ホストデバイス117は、ユーザへのコンテンツ提供に関連していてもよい。例として、ホストデバイス117は動画を再生するDVDプレーヤーやゲームをプレイするゲームコンソール等でもよい。ホストデバイス117は、ユーザへのコンテンツ提供に使用されるデバイスの組合せを含んでもよい。例えば、ホストデバイスはユーザに映像及び音声の両方のコンテンツを提供するテレビ及びステレオ機器と併用されるDVDプレーヤーでもよい。実施形態によっては、ホストデバイス117がユーザへのコンテンツ提供に使用されるUE101aでもよい。例えば、UE101aはコンテンツであってゲームや動画のようなものを提供し、システム100内の1つ又は複数のデバイスがコンテンツの中に没入されてもよい。実施形態によっては、ホストデバイス117がストリーミングコンテンツを提供してもよい。こうしたストリーミングコンテンツは例えば、1つ又は複数のサービス109及び/又はコンテンツプロバイダ115からストリーミングされ、以下で説明する。例として、コンテンツはDVB-H(Digital Video Broadcasting - Handheld)フォーマットを用いたストリーミングコンテンツとして提供されてもよい。ホストデバイス117がストリーミングコンテンツ信号を提供し、UE101aがそのストリーミングコンテンツに没入されてもよい。実施形態によっては、ストリーミングコンテンツが現実世界の放送チャンネルや放送局(テレビやラジオ、インターネットラジオ等)で放送されるコンテンツとして提供されてもよい。また実施形態によっては、UE101a及び/又はユーザが没入されるコンテンツが、UE101aを没入させるために、更に他のコンテンツをストリーミングしてもよい。例として、UE101aが没入されるコンテンツが大規模多人数同時参加型オンライン・ロールプレイングゲーム(massively multiplayer online role-playing game;MMORPG)である場合、UE101aを没入させるために、そのコンテンツが他のコンテンツであって現実世界の放送チャンネルで放送されるテレビ番組のようなものをストリーミングしてもよい。こうして、UE101aのユーザは、MMORPG等のコンテンツによって構築される没入体験に入り込みながら、没入されたUE101aを通じて現実世界のコンテンツ(テレビ番組等)を体験することができる。このような実施形態では、ユーザは没入された現実世界のコンテンツを効果的に体験できる。
システム100はまた、1つ又は複数の没入デバイス119a−119n(まとめて没入デバイス119とする)を有する。没入デバイス119は、通信ネットワーク105を介してUE101と没入サービス103、ホストデバイス117へ接続する。実施形態によっては、没入デバイス119は、1つ又は複数の有線及び/又は無線接続を通じてホストデバイス117と直接通信してもよい。没入デバイス119は、ホストデバイス117とUE101、没入サービス103と通信可能なあらゆる種類のデバイスであってもよい。例として、没入デバイス119は照明/照明スイッチや洗濯機、ファン、電子レンジ、腕時計、冷蔵庫、食器洗浄機等でもよい。没入デバイス119は、ホストデバイス117や没入サービス103、UE101とあらゆる種類のプロトコルで、ブルートゥース(登録商標)やWLAN、無線通信等のようなものを介してやり取りしてもよい。あるいは、例えば通信ネットワーク105に関して本願で説明したその他あらゆる種類のプロトコルを介して行われてもよい。実施形態によっては、UE101は、コンテンツ表現内に没入されるUE101を用いて没入デバイス119を表現してもよい。こうしてUE101は、実施形態によっては、特定の種類の没入デバイス119を表現することもある。実施形態によっては、UE101又は任意の没入デバイス119がホストデバイス117を表現してもよい。例として、UE101はコンテンツであって動画のようなものを提供し、それ故にホストデバイスに対応するものであってもよい。UE101aは、コンテンツ内でシステム100が決定した没入インタラクションイベントに基づいて、そのコンテンツ内に没入されてもよい。例えば、UE101aに関連する1つ又は複数の要素がコンテンツ提供に関連していてもよい。UE101aに関連する1つ又は複数の他の要素はそれとは別に、コンテンツ提供に関連しなくてもよいが、一般にコンテンツに基づいて制御されてもよい。こうした要素は、コンテンツ内の1つ又は複数の没入インタラクションイベントに基づく1つ又は複数の制御信号によって制御される携帯電話のリンガーのようなものでもよい。
実施形態によっては、コンテンツの1つ又は複数の表現が、デバイスに挿入されるような1つ又は複数の没入デバイス119と組み合わせられてもよい。その結果、1つ又は複数の没入デバイス119は、コンテンツから情報を受取り、コンテンツとユーザの1つ又は複数のやり取りを通じてコンテンツに1つ又は複数の応答を返すことで、そのコンテンツとやり取りしてもよい。例として、没入デバイスが洗濯機であるとする。コンテンツは、洗濯機に関連する1つ又は複数の没入インタラクションイベントを含んでもよい。コンテンツ内の没入インタラクションイベントに基づいて決定された1つ又は複数の制御信号に基づいて、コンテンツとやり取りする1つ又は複数の応答を伴って洗濯機が応答してもよい。こうしたコンテンツは、洗濯機の1つ又は複数の動作とやり取りする取扱説明ビデオのようなものでもよい。
UE101はまた、通信ネットワーク105を通じてサービスプラットフォーム107に接続してもよい。サービスプラットフォーム107は、1つ又は複数のサービス109a−111n(まとめてサービス109とする)を含んでもよい。サービスプラットフォーム107はUE101や没入サービス103、コンテンツプロバイダ115、ホストデバイス117に1つ又は複数のサービス109を提供してもよい。サービス109はゲームサービスやマルチメディアサービス、ソーシャルネットワーキングサービス等に関連していてもよい。実施形態によっては、1つ又は複数のサービス109が没入サービス103に関連する1つ又は複数の機能に関連していてもよい。
UE101はまた、通信ネットワーク105を通じて1つ又は複数のコンテンツプロバイダ115a−115n(まとめてコンテンツプロバイダ115とする)に接続していてもよい。コンテンツプロバイダ115は、UE101や没入サービス103、サービスプラットフォーム107のサービス109、ホストデバイス117にコンテンツを提供してもよい。コンテンツはあらゆる種類のコンテンツであって、例えばホストデバイス117から没入デバイス119及び/又はUE101に提供される、ユーザに対するコンテンツ提供に関連するようなものでもよい。
没入サービス103は、ユーザに提供されるコンテンツに関連する1つ又は複数の没入インタラクションイベントの決定に基づいて、ユーザに関連する1つ又は複数のデバイスに対する制御を可能にしてもよい。図1ではシステム100の要素が別々に描かれているが、没入サービス103及び/又は没入サービス103の1つ又は複数の任意の機能がシステム100の1つ又は複数の要素に具現化されてもよい。例として、実施形態によっては、没入サービス103が、コンテンツ提供を実行するホストデバイス117で具現化されてもよい。実施形態によっては、没入デバイス103が、1つ又は複数の没入デバイス119(1つ又は複数のUE101を含む)及び/又は1つ又は複数のサービス109で具現化されてもよい。しかし、没入サービス103がシステム100の区別された要素であって、システム100の他の要素の何れかとやり取りするものであってもよい。
没入サービス103は、ユーザに関連する環境とやり取りするコンテンツを実現する。没入サービス103は、1つ又は複数の没入インタラクションイベントを決定するためにデバイスに提供されるコンテンツを処理する。コンテンツを提供するデバイスは例えば、動画プレーヤーやオーディオプレーヤー等として動作するホストデバイス117及び/又はUE101aであってもよい。1つ又は複数の他のデバイスは、1つ又は複数のUE101(コンテンツを提供するUE101を含む)及び/又は1つ又は複数の没入デバイス119を含んでもよい。コンテンツは例えば1つ又は複数の映画や1つ又は複数のビデオ、1つ又は複数のテレビ番組、1つ又は複数の歌、1つ又は複数のゲーム等を含んでもよい。没入サービス103は更に、(a)1つ又は複数の没入インタラクションイベントを発生させるためにデバイス及び/又は1つ又は複数の他のデバイスを制御する1つ又は複数の制御信号、及び/又は(b)1つ又は複数の制御信号を伝送する1つ又は複数のプロトコルを決定する。前述の通り、こうしたプロトコルは例えばブルートゥース(登録商標)や無線LAN、無線通信、または本願で説明したその他任意のプロトコルであってよい。没入サービス103はまた、デバイス及び/又は1つ又は複数の他のデバイスをコンテンツ表現内に没入させるために、そうしたデバイスに制御信号を伝送する。デバイスの制御により、デバイスに関連するユーザは提供されたコンテンツに没入するようになり、その結果より現実的な体験を得られるようになる。没入サービス103は、デバイスが提供するコンテンツにおける1つ又は複数の動作、1つ又は複数の機能、及び/又は1つ又は複数の特性を、デバイス及び/又は1つ又は複数の他のデバイスに関連付ける、1つ又は複数のアプリケーション・プログラミング・インタフェース(API)を有する。没入サービス103のAPIはまた、デバイス及び/又は1つ又は複数の他のデバイスで1つ又は複数のイベントを開始し、更にデバイス及び/又は1つ又は複数の他のデバイスからそのイベントに対する応答をリスンして受取ることをコンテンツに許容する。
没入サービス103は、コンテンツを提供するデバイスと、コンテンツに基づいて制御されるデバイス自身及び/又は1つ又は複数の他のデバイスとの間で、対応制御信号や対応プロトコル、またはそれらの組合せを決定する。ここで、コンテンツを提供するデバイスは例えばホストデバイス117で、コンテンツに基づいて制御されるデバイスは例えばデバイスにおける1つ又は複数の他の要素、1つ又は複数の他のデバイスは例えばUE101や没入デバイス119である。没入サービス103は最初にいつ環境に関連付けられるかというような決定を行ってもよい。この決定はコンテンツ提供に関連する情報を受取ったときや、コンテンツ提供に関連する情報の受取りに関係なく定期的に、または要求に応じて、あるいはそれらの組合せで行われてもよい。ホストデバイス及び没入デバイスに関連する制御信号及びプロトコルを決定すると、没入サービス103は、より個人化された体験にするためのあらゆる環境を構成してもよい。
没入サービス103はまた、コンテンツ表現の中で現われる仮想デバイスを決定する。1つ又は複数の仮想デバイスは、現実世界におけるUE101及び/又は没入デバイス119に対応する。例として、コンテンツが映画に関連していて、その映画の中のあるシーンでライトが点灯されるとする。このとき、このライトに関連する照明や照明スイッチはコンテンツに関連する仮想デバイスを表現する。コンテンツは、仮想デバイスに関連する1つ又は複数の動作、機能、及び/又は特性を含んでもよい。没入サービス103は、1つ又は複数の仮想デバイスの動作、機能、特性、またはそれらの組合せを、コンテンツ内の仮想デバイスが現実世界の没入デバイス119に同期されるようなデバイス及び/又は1つ又は複数の他のデバイスにおける1つ又は複数の制御信号の実行に同期させてもよい。ここで、没入デバイスは例えば没入デバイス119及び/又はUE101である。
実施形態によっては、コンテンツに没入されるデバイスは、デバイスに挿入されるコンテンツを有していてもよい。没入サービス103は、コンテンツをデバイスに挿入する制御を行ってもよい。こうして、デバイスはコンテンツとやり取りするために使用されてもよい。続いて没入サービス103は、コンテンツと1つ又は複数のデバイスとの間の1つ又は複数のインタラクションを決定してもよい。こうしたインタラクションはコンテンツ内の1つ又は複数の没入インタラクションイベントに応答することにより、コンテンツがデバイスとやり取りでき、デバイスもコンテンツとやり取りできるようにする。没入サービス103は1つ又は複数のインタラクションを処理してもよい。
実施形態によっては、没入サービス103は、コンテンツからのデータを、それが1つ又は複数のデバイス固有のデータと区別できないようなデバイス固有のデータと組み合わせてもよい。
この方法の下では、ユーザはどれが現実(例えば、デバイス固有)であり、どれが仮想(例えば、コンテンツからのデータ)であるかが分からない。こうして、ユーザは、ユーザが所有する日常デバイスを使うコンテンツに完全に没入する。例として、コンテンツからのデータがデバイス固有のデータと一緒にデバイスのユーザインタフェース内に表示される。その結果、ユーザがユーザインタフェースであって連絡先ユーザインタフェースのようなものを見る場合、ユーザはどの連絡先がデバイス固有であるかが分からないため、どれが現実世界のものかも分からない。さらにユーザはどの連絡先がコンテンツ固有であるかが分からないため、どれがコンテンツに関連する仮想世界のものかも分からない。
実施形態によっては、没入サービス103は更に、コンテンツや、制御信号に基づいてコンテンツを生成する1つ又は複数のエンジン、またはそれらの組合せから生じる情報を提供する没入デバイスに、1つ又は複数のユーザインタフェースを生成してもよい。没入サービス103は、ユーザインタフェースを生成することで、生成されたユーザインタフェースに基づくユーザデバイス間のやり取りが、ユーザとデバイス固有のユーザインタフェースとの間のやり取りと区別できないようなデバイスで、通常体験できるユーザインタフェースを再現してもよい。
換言すれば、ユーザがデバイスでやり取りしている情報が現実世界に関する情報なのか、あるいはコンテンツに関連する仮想世界に関する情報なのかを、ユーザが決定することができない。こうしてコンテンツに関連する心理的没入が達成され、ユーザ自身のデバイスを使用することで、そのユーザに個人化された没入が作られる。
実施形態によっては、没入デバイス119aが1つ又は複数の没入インタラクションイベントに基づいてコンテンツから情報を要求してもよく、及び/又は1つ又は複数の没入インタラクションイベントに応答してもよい。例として、没入デバイス119aは、コンテンツを提供するホストデバイス117に対して、没入デバイス119aのユーザインタフェース内を拡張する情報を要求するメッセージを送信してもよい。次に要求された情報は没入デバイス119aに伝送され、没入デバイス119aに関連するユーザインタフェースに表示されてもよい。没入デバイス119aとコンテンツとの関連が無くなると、没入デバイス119aは関連付けられる前の下の状態に戻るように、デバイスに関するあらゆる拡張も終了してよい。例として、コンテンツがDVDプレーヤーで再生される動画である場合、動画が終了すると、DVDプレーヤーと没入デバイス119aとの関連も無くなり、結果として没入デバイス119aの拡張も終了する。したがって、没入デバイス119aがコンテンツから読出した又はコンテンツにアクセスした全ての情報が、拡張が終了するように失われてもよい。実施形態によっては、ホストデバイス117と例えば没入デバイス119aとの間の接続が切れたとしても、没入サービス103は、没入デバイス119aに自身の中の情報の拡張を終了させるために、没入デバイス119aと通信し続けてもよい。
実施形態によっては、デバイス及び/又は1つ又は複数の他のデバイスに送信された没入インタラクションイベント及び/又は制御信号は、コンテンツに関連する広告を生成するような方法でそのコンテンツに関連していてもよい。例として、コンテンツが動画を表現する場合、その動画に関連する1つ又は複数のプロダクト・プレイスメントが、1つ又は複数のデバイスに向けられた1つ又は複数の命令に関連していてもよい。例えば、コンテンツに基づいて没入サービス103が制御可能なデバイスが冷蔵庫であってもよい。こうして、動画に製品が現われるときで飲料ブランドがその動画に含まれるようなとき、その飲料ブランドが自動的に冷蔵庫に関連する当該ブランド製品を有していてもよい。これは、冷蔵庫に関連する電子ショッピングのリストにそうした製品が含まれるようなものでもよい。
例として、UE101や没入サービス103、サービスプラットフォーム107、コンテンツプロバイダ115、ホストデバイス117、没入デバイス119は、互いに通信したり、通信ネットワーク105の他の要素と通信したりすることができる。この通信には、よく知られたプロトコルを用いることができるが、新しいプロトコルや開発中のプロトコルを用いてもよい。これに関連して、プロトコルは、ネットワーク105の各ネットワークノードが、通信リンクを介して送信される情報に基づいて、どのように相互作用するかを定義するルールのセットを含む。プロトコルは、種々のタイプの物理信号の生成や受信から、これらの信号を送信するためのリンクの選択、これらの信号により提供される情報のフォーマット、コンピュータ上で動作しているとのソフトウェアアプリケーションが情報を送受信するかの識別など、各ノードの動作の種々のレイヤにおいて使用される。ネットワークで情報交換する複数の概念上異なるプロトコルレイヤは、OSI参照モデルで記述される。
ネットワークノード間の通信は通常、パケットに分割したデータを交換することで実現される。各パケットは、通常、(1)特定のプロトコルに関するヘッダ情報と、(2)ヘッダ情報の次に位置するペイロード情報とを有する。ペイロード情報は、プロトコルによって個々に処理される。プロトコルによっては、(3)ペイロード情報の次に位置するトレーラ情報も有する。この情報は、ペイロード情報の終わりを示す。ヘッダはパケットの送信元や送信先、ペイロード長、その他プロトコルが使用する特性のような情報を含む。しばしば、あるプロトコルのペイロードに含まれるデータは、OSI参照モデルにおけるより高次のレイヤのプロトコルに関連するヘッダとペイロードを含んでいる。特定のプロトコルに関するヘッダは通常、そのペイロードに含まれる次のプロトコルに関する種類を示す。上位層プロトコルは下位層プロトコルにカプセル化されていると呼ばれる。複数の異なるネットワークであってインターネットのようなものを通るパケットに含められるヘッダは、通常、OSI参照モデルで記述されるような次のヘッダを含む:物理ヘッダ(レイヤ1);データリンクヘッダ(レイヤ2);インターネットワークヘッダ(レイヤ3);トランスポートヘッダ(レイヤ4);各種アプリケーションヘッダ(レイヤ5、レイヤ6、レイヤ7)。
図2は、ある実施形態に従う、没入サービス103の要素の略図である。例として、没入サービス103は、1つ又は複数の没入インタラクションイベントに基づいて、日常デバイスを介して没入インタラクションを提供する1つ又は複数の要素を備える。これらの要素の機能は1つ又は複数の要素で結合されたり、同等の機能を有する他の要素によって実行されたりする場合があることが想定されている。前述の通り、こうした要素の機能は、ホストデバイス117、UE101、没入デバイス119、及び/又はサービスプラットフォーム107のサービス109の1つ又は複数の組合せでもよい。こうして例えば、没入サービス103の機能は、ホストデバイス117及び没入デバイス119aと通信するサービスプラットフォーム107のサービス109によって実行されてもよい。あるいは、没入サービス103の機能が没入デバイス119aで実行されるアプリケーションによって実行されてもよい。この実施態様では、没入サービス103はデバイスモジュール201とAPIモジュール203、イベントモジュール205、情報モジュール207、ユーザインタフェースモジュール209を備える。
デバイスサービス201は、コンテンツ提供に関連するデバイスを決定する。デバイスモジュール201は、ユーザにコンテンツを提供する1つ又は複数のホストデバイス117を決定する。実施形態によっては、前述の通り没入サービス103がホストデバイス117で具現化されてもよい。この場合、デバイスモジュール201は、ユーザにコンテンツを提供するホストデバイス117を決定する必要がない。デバイスモジュール201はまた、ホストデバイス117に制御される1つ又は複数の他のデバイスであって、1つ又は複数のUE101、ホストデバイス117自身、及び/又は1つ又は複数の没入デバイス119のようなものを決定する。デバイスモジュール201は、デバイスを検出するあらゆる方法で1つ又は複数の他のデバイスを決定してもよい。例として、デバイスモジュール201は、関連デバイスを決定するために、ホストデバイスと1つ又は複数の他のデバイスとの間で対応する1つ又は複数のプロトコル及び/又は制御信号を決定してもよい。こうして、デバイスを決定する方法は、デバイス間で情報を伝達するのに用いられる1つ又は複数のプロトコルに基づいてもよい。
APIモジュール203は、コンテンツ内の没入インタラクションイベントに基づいて、ホストデバイス117とホストデバイス117によって制御される1つ又は複数の他のデバイスとの間のリンクを提供する。APIモジュール203は、ホストデバイス117と1つ又は複数の他のデバイスとの間で1つ又は複数のインタラクションを提供するために、ホストデバイス117やホストデバイス117で提供されるコンテンツ、コンテンツを生成する1つ又は複数のエンジン、またはそれらの組合せに対するインタフェースを提供する。実施形態によっては、APIモジュール203は、コンテンツを提供するホストデバイス117の種々の要素に対するインタフェースを提供してもよい。これは、コンテンツの命令に基づいて制御するために、コンテンツがホストデバイス117の1つ又は複数の他の要素にアクセスできるようなものである。APIモジュール203は、1つ又は複数のデバイスに関するトランザクションを実行するために、そして1つ又は複数のデバイスに対してリスンしそこからの応答を受取るインタフェースを提供するために、ホストデバイス117とやり取りする。実施形態によっては、APIモジュール203は、UE101の1つ又は複数がコンテンツに制御される場合、UE101にある1つ又は複数のアプリケーション111とやり取りする。UE101の1つ又は複数のアプリケーション111も同様に、UE101に関する情報を、APIモジュール203を介して没入サービス103から受信しそこへ送信する。アプリケーション111は、UE101のコンテンツからの命令に関連する1つ又は複数の動作や1つ又は複数の機能、1つ又は複数の特性、またはそれらの組合せを起動してもよい。アプリケーション111はまた、命令に応答してUE101の1つ又は複数の他のアプリケーション111から1つ又は複数の応答を受取ってもよい。アプリケーション111はまた、他のデバイスで実行された制御のうちどれがコンテンツに関連し、デバイスで実行された制御のうちどれが固有の制御及び/又は固有の情報に関連するかを決定するために、コンテンツと他のデバイスとの間の1つ又は複数のトランザクションを追跡してもよい。この場合、アプリケーション111は、他のデバイスが制御に対して応答する際、デバイスの固有の応答に基づくべきか、コンテンツに従う応答に基づくべきかを決定してもよい。
イベントモジュール205は、コンテンツに関連する1つ又は複数の没入インタラクションイベントを決定するために、ユーザに提供されるコンテンツを処理する。イベントモジュール205は更に、1つ又は複数の没入インタラクションイベントを、1つ又は複数の制御信号及び/又は1つ又は複数のプロトコルに関連付ける。ここで、この制御信号及び/又はプロトコルは、1つ又は複数の他のデバイス又は没入デバイスの1つ又は複数の要素への制御信号の伝送に関連している。実施形態によっては、イベントモジュール205は、1つ又は複数の没入デバイスで制御信号を実行して、1つ又は複数の仮想デバイスに関連する1つ又は複数の動作、1つ又は複数の機能、1つ又は複数の特性、またはそれらの組合せを同期させる。この没入デバイスは、コンテンツに基づく没入サービス103に関連している。イベントモジュール205は、仮想デバイスと1つ又は複数の没入デバイスが同期されるような同期を行い、その結果、仮想デバイスと実在デバイスの動作、機能、及び/又は特性が同時に行われる。こうして、この同期はユーザのデバイスがコンテンツに没入されていることをユーザに認識させ、その結果ユーザもそのコンテンツに没入させる。
情報モジュール207は、1つ又は複数のデバイスがコンテンツ内に没入されるとき、及び/又はコンテンツの1つ又は複数の表現がデバイス内に没入されるときに、1つ又は複数のデバイスを通る情報を伝送し追跡する機能を実行する。前述の通り、コンテンツに関連する情報は、1つ又は複数の没入デバイス119に固有の情報と組合せられてもよい。その結果、情報モジュール207は、1つ又は複数の没入デバイスと、コンテンツを提供するホストデバイス及び/又は没入サービス103との間で伝送される情報を追跡する。実施形態によっては、情報モジュール207は、没入サービス103に制御される1つ又は複数のデバイスが情報を要求すると、そのデバイスに情報を伝送する。実施形態によっては、情報モジュール207は、コンテンツに関連する仮想世界における没入デバイスに必要な全情報をデバイスが持てるような伝送方法で、全情報を伝送する。これは以下で説明する。
実施形態によっては、没入デバイスとホストデバイス間の通信が切断されると、没入デバイスがコンテンツに関連するホストデバイスとそれ以上通信できない。その結果、没入デバイスがコンテンツから情報を読出すのに用いた通信経路はもはや存在しなくなる。こうして、デバイス固有の情報と組み合わせられたコンテンツからの仮想情報を伴う没入デバイスの拡張も終了し、没入デバイスもそれ以上仮想情報を提供しない。実施形態によっては、没入サービス103が、伝送された情報を削除する1つ又は複数の命令を1つ又は複数のデバイスに出してもよい。このような実施形態では、ホストデバイスと被制御デバイス間の接続が無くなったとしても、没入サービス103が没入デバイスに対して命令伝送を継続できるような、没入デバイスと没入サービス103間の接続は維持されてもよい。
実施形態によっては、ユーザインタフェースモジュール209は、ホストデバイス117が提供するコンテンツの仮想環境からの情報と没入デバイス119aの固有情報を結合する。ユーザインタフェースモジュール209は、例えば、没入デバイス119aにユーザインタフェースを生成する、没入デバイス119aに関連する1つ又は複数のアプリケーション111とやり取りすることで、この情報結合を行ってもよい。
図3は、ある実施形態に従う、1つ又は複数の没入インタラクションイベントに基づいて、日常デバイスを介して没入インタラクションを提供する処理のフローチャートである。実施形態によっては、没入サービス103が処理300を実行し、例えば、図9に示されるようにプロセッサ及びメモリを備えるチップセットとして実装される。
ステップ301で、没入サービス103は、1つ又は複数の没入インタラクションイベントを決定するためにデバイスに提供されるコンテンツを処理する。コンテンツはあらゆる種類のものであって、映画やビデオ、音楽、テレビ番組等のようなものを表現し得る。コンテンツを提供するデバイスは、ホストデバイス117と見做されてもよい。例として、映画がDVDプレーヤーで再生され、このDVDプレーヤーがホストデバイス117と見做されるとする。映画は、1つ又は複数のデバイスをコンテンツに没入させることに関連した1つ又は複数の没入インタラクションイベントを含んでもよい。実施形態によっては、DVDプレーヤーは、映画に関連する情報から没入インタラクションイベントに関連する情報を抽出するために、その映画に関連する情報を処理してもよい。このような実施形態では、没入サービス103がDVDプレーヤーに具現化されてもよい。実施形態によっては、映画に関連する情報は通信ネットワーク105を介して没入サービス103に伝送されてもよい。没入サービスは次に、1つ又は複数の没入インタラクションイベントを決定するために、その映画に関連する情報を処理してもよい。没入インタラクションイベントは、1つ又は複数のデバイスをコンテンツに没入させるためのものでもよい。1つ又は複数のデバイスは、1つ又は複数の制御信号に基づいてコンテンツが制御できる任意のデバイスであってもよい。例として、1つ又は複数のデバイスはUE101及び/又は没入デバイス119でもよく、あるいは命令により1つ又は複数の他の要素が制御されるホストデバイス117であってもよい。具体的な例として、1つ又は複数の没入デバイス119は電子レンジや食器洗浄機、洗濯機、冷蔵庫、照明スイッチ、腕時計、コンピュータ、UE101、その他、ブルートゥース(登録商標)等の1つ又は複数のプロトコルを介して没入サービス103及び/又はホストデバイス117と通信できる任意のデバイスでもよい。
ステップ303で、没入サービス103は次の事項を決定する:(a)1つ又は複数の没入インタラクションイベントを、少なくとも一部発生させるために、デバイスや1つ又は複数の他のデバイス、またはそれらの組合せを制御する1つ又は複数の制御信号;(b)1つ又は複数の制御信号を伝送する1つ又は複数のプロトコル;又は(c)これらの組合せ。1つ又は複数の制御信号は、1つ又は複数のデバイスをコンテンツに没入させるための、1つ又は複数の被制御デバイスに関連する1つ又は複数の信号を表わしてもよい。1つ又は複数のプロトコルは、1つ又は複数の被制御デバイスで1つ又は複数の制御信号に関連する情報を交換するのに用いられるプロトコルである。このステップに基づいて、例えば、没入サービス103はホストデバイス117が提供するコンテンツを処理できる。没入サービス103は更に、コンテンツを提供するときにより個人化された体験を与えるために、没入サービス103に関連する1つ又は複数のデバイスに伝送される1つ又は複数の制御信号を決定できる。没入サービス103は、制御信号及び/又はプロトコルを決定できるため、コンテンツ提供とは無関係な場合もある現実世界のデバイスとのインタフェースを行い、更に、こうしたデバイスがある種の情報を提供するようにデバイスとのインタフェースを行うことができる。ここで、ある種の情報とは、聴覚や視覚、触覚、またはそれらの組合せが、コンテンツに関連して、デバイスに関連するユーザをそのコンテンツに没入させられるかに関する情報である。その結果、ユーザは特別な装置を入手したり、映画館等のサービスプロバイダに出掛けたりしなくても、コンテンツに没入する個人化された体験を得ることができる。しかも、没入サービス103は、デバイスとユーザをコンテンツに没入させるために、ユーザ環境内の日常デバイスを単に使用するだけでよい。
ステップ305で、没入サービス103は、デバイス、1つ又は複数の他のデバイス、またはそれらの組合せに、1つ又は複数の制御信号の伝送を少なくとも一部行う。1つ又は複数の制御信号をデバイス(例えば、コンテンツを提供するデバイスにおいて、例えば、別段にコンテンツの提供に無関係でもよい種々の他の要素)又は1つ又は複数の他のデバイスに伝送することで、没入サービス103は、コンテンツ提示に関連するユーザをそのコンテンツに没入させるために、1つ又は複数のデバイスをコンテンツに没入させる。
図4は、ある実施形態に従う、コンテンツ表現に没入させそのコンテンツに同期するデバイスを決定する処理のフローチャートである。実施形態によっては、没入サービス103が処理400を実行し、例えば、図9に示されるようにプロセッサ及びメモリを備えるチップセットとして実装される。
ステップ401で、没入サービス103は、1つ又は複数の機能、1つ又は複数の対応制御信号、1つ又は複数の対応プロトコル、またはそれらの組合せに関して、デバイス、1つ又は複数の他のデバイス、またはそれらの組合せの照会を少なくとも一部行う。没入サービス103は、コンテンツを提供するデバイスに関連する環境と、コンテンツが制御できる1つ又は複数の他のデバイスを決定するための照会を行う。実施形態によっては、没入サービス103は、コンテンツを提供するデバイス(例えば、ホストデバイス117)に関して、没入サービス103の初期設定中に1度だけ照会を行ってもよい。こうして、例えば没入サービス103が新しいホストデバイス117を検出したときに、没入サービス103が対応制御信号及び/又は対応プロトコルに関する照会を行ってもよい。実施形態によっては、没入サービス103が、コンテンツを最初に再生するときに1度だけ照会を行ってもよい。こうして、例えばホストデバイス117が特定のコンテンツを最初に提供するときであって、ホストデバイス117が特定の映画を最初に再生するようなときに、没入サービス103が対応制御信号及び/又は対応プロトコルに関する照会を行ってもよい。実施形態によっては、没入サービス103は、対応制御信号及び/又は対応プロトコルと、時間経過と共に起きる対応制御信号及び/又は対応プロトコルの何らかの変更を決定するために、コンテンツが提供されているか否かに拘わらず連続して照会を行ってもよい。実施形態によっては、没入サービス103は、命令により照会を行ってもよい。この命令は、ホストデバイス117や1つ又は複数の他のデバイス(例えば、UE101及び/又は没入デバイス119)からのものや、1つ又は複数のサービス109に基づくようなものでもよい。
対応制御信号及び/又は対応プロトコルに関する照会を行うことで、没入サービス103は、コンテンツに関連する没入インタラクションイベントのどれがホストデバイス117及び1つ又は複数の他のデバイスによって対応されるかを決定するために、ホストデバイス及び1つ又は複数の他のデバイスの機能を常に認識していてもよい。こうして、ステップ403で、没入サービス103は、コンテンツに従って1つ又は複数の他のデバイスを制御するために、1つ又は複数の制御信号、1つ又は複数のプロトコル、またはそれらの組合せを決定する。このコンテンツは、1つ又は複数の対応制御信号、1つ又は複数の対応プロトコル、またはそれらの組合せに少なくとも一部基づく。その結果、没入サービス103は、ホストデバイス117及び1つ又は複数の他のデバイスが対応するコンテンツに関連する没入インタラクションイベントを決定できる。没入インタラクションイベントが対応するデバイスがコンテンツ内に存在しない場合、没入サービス103はどのデバイスも没入させずにコンテンツ提供を可能にする。対応制御信号及び対応プロトコルに基づいて制御可能なデバイスが多数存在する場合、没入サービス103は、コンテンツの没入インタラクションイベントに基づいてデバイスを制御する。
ステップ405で、没入サービス103は、コンテンツに存在する1つ又は複数の仮想デバイスを決定し、1つ又は複数の仮想デバイスに関連する1つ又は複数の動作、1つ又は複数の機能、1つ又は複数の特性、またはそれらの組合せを、1つ又は複数の制御信号に少なくとも一部基づいて、デバイス、1つ又は複数の他のデバイス、またはそれらの組合せにおいてシミュレートする。1つ又は複数の仮想デバイスは、没入サービス103に関連するデバイスの何れかに対応してもよい。ただし、仮想デバイスはコンテンツに存在するが、仮想的なものである。例として、ある映画が照明スイッチに関連するシーン、例えば、映画の登場人物が照明スイッチを使って照明を消すようなシーンを含むとする。したがって、仮想デバイスは映画の中の仮想照明スイッチである。仮想デバイスは、没入サービス103が制御する1つ又は複数のデバイスに対応してもよい。例えば、現実世界に関連する照明スイッチが、対応制御信号及び/又は対応プロトコルに基づいて没入サービス103と通信可能でもよい。映画が仮想照明スイッチに関連する動作や機能、特性が含まれるポイントに到達すると、没入サービス103が仮想照明スイッチに関連する動作、機能、及び/又は特性を現実世界の照明スイッチにシミュレートさせるように、仮想照明スイッチと現実世界の照明スイッチとの間の関連を構築する。その結果、映画の中の仮想照明スイッチに関連するイベントを現実世界に関連する照明スイッチにシミュレートさせることで、映画のようなコンテンツの提供に関連するユーザはそのコンテンツに没入する。例として、悪役が照明を消すホラー映画では、没入サービス103は、コンテンツの命令と仮想照明及び現実世界の照明の関連に基づいて、ユーザに関連する現実世界の照明を消してもよい。
ステップ407で、没入サービス103は、1つ又は複数の仮想デバイスの1つ又は複数の動作、1つ又は複数の機能、1つ又は複数の特性、またはそれらの組合せを、デバイス、1つ又は複数の他のデバイス、またはそれらの組合せにおける1つ又は複数の制御信号の実行に、少なくとも一部同期させる。ここで、デバイスとは例えば、命令で制御されるデバイスの1つ又は複数の他の要素であり、デバイスの組合せとは例えば、UE101及び/又は没入デバイス119である。没入サービス103は、例えば、ユーザが単にコンテンツを見ているというよりも、被制御デバイスがあたかもコンテンツの一部であるかのように感じるように、仮想デバイスに関連する動作、機能、及び/又は特性と被制御デバイスをユーザが同時に知覚するような同期を行う。
実施形態によっては、仮想デバイスに関連する動作、機能、及び/又は特性を実在デバイスと同時に発生させるだけでなく、コンテンツと1つ又は複数の被制御デバイスとの間のやり取りがより多く含まれてもよい。こうしたやり取りは、コンテンツをデバイスに没入させるようにし、例えば、ユーザがそのデバイスを通じてコンテンツとやり取りできるような、複数のやり取りを含んでもよい。図5は、ある実施形態に従う、コンテンツを1つ又は複数のデバイスに挿入する処理のフローチャートである。実施形態によっては、没入サービス103が処理500を実行し、例えば、図9に示されるようにプロセッサ及びメモリを備えるチップセットとして実装される。
ステップ501で、没入サービス103は、デバイス、1つ又は複数の他のデバイス、またはそれらの組合せに、1つ又は複数のコンテンツ表現の挿入を少なくとも一部行う。この挿入は、1つ又は複数のデバイスがやり取りできるようなコンテンツにそのデバイスが関連付けられるように、コンテンツをデバイスに挿入させる。例として、コンテンツが没入サービス103に基づいてUE101aに挿入されるとする。その結果、UE101aで通常実行され得る機能が、コンテンツや現実世界に関連して直ちに実行されてもよい。この機能とは、例えば通話やテキストメッセージ、マルチメディアメッセージ、電子メール等の通信の受信のようなものである。例えば、そのようなときでも、ユーザがコンテンツに関連しないユーザからの着信を受信してもよい。しかしながら、ユーザは、コンテンツに関連する1人又は複数の仮想キャラクターからの着信も受信してよい。このような場合、ゲームコンソールがホストデバイス117として実行するゲームにコンテンツが関連しているならば、ユーザがゲームコンテンツに関連する1人又は複数の非プレーヤーキャラクターからの着信を直ちに受信してもよい。
前述の事項を達成するために、ステップ503で、没入サービス103は、1つ又は複数のコンテンツ表現と、デバイス、1つ又は複数の他のデバイス、またはそれらの組合せとの間の1つ又は複数のインタラクションを決定する。1つ又は複数のインタラクションは、1つ又は複数の被制御デバイスに関連する動作、機能、及び/又は特性を起動する没入インタラクションイベントに関連してもよい。1つ又は複数のインタラクションは、インタラクティブ応答を受取るホストデバイス117に関連していてもよい。このインタラクティブ応答は、1つ又は複数の被制御デバイス(又は、ホストデバイスの1つ又は複数の要素が制御されるときはホストデバイス自身)から起動された動作、機能、及び/又は特性に対するものである。トランザクションは、1つ又は複数の被制御デバイスに関連していてもよい。この被制御デバイスは、コンテンツ及び/又はコンテンツを生成する1つ又は複数のエンジンに関連する1つ又は複数の被制御デバイスに関連する動作、機能、及び/又は特性を起動する。こうして、ホストデバイス117及び1つ又は複数の被制御デバイスは、ユーザにより個人化された体験を作るために、ユーザに提供されるコンテンツにユーザを没入させることに関連する情報をやり取りしてもよい。ステップ505で、没入サービス103は、没入インタラクションイベントを決定するために、象徴的関係でデバイス内に没入されるコンテンツに関連する1つ又は複数のインタラクションを処理する。決定された没入インタラクションイベントは次に、没入デバイスとホストデバイス間のやり取りに使用され得る1つ又は複数の制御信号を決定するために使われてもよい。
例として、ホストデバイスがゲームを実行するゲームコンソールに関連し、1つ又は複数の他のデバイスがUE101aである場合、1つ又は複数のコンテンツ表現とデバイスとの間のインタラクションによって、仮想のゲームの世界と現実世界との間の通話及び/又はテキストメッセージが可能となる。これは例えば、ゲームに関連する1人又は複数の非プレーヤーキャラクターとUE101aに関連するユーザとの間のやり取りで、UE101aの1つ又は複数のナビゲーションアプリケーションを使って仮想世界を進んだり、コンテンツに関連する仮想インターネットを通じてコンテンツ関連情報をブラウズしたり、UE101aの連絡先アプリケーションから非プレーヤーキャラクターを捜したり、UE101aカレンダーアプリケーションをゲームの仮想世界に関連する1つ又は複数のイベントに関連付けたり、及び/又はゲームの仮想世界に特化したノートを付けたりする、両者間のやり取りのようなものである。その結果、処理500に基づいて、ユーザは、コンテンツとやり取りするために単なるコンテンツ提供以外の機能を有するデバイスを使用することができる。ユーザが既に所有している場合もあるデバイスで、コンテンツ提供に関連する必要のないデバイスを用いることで、ユーザは、特別な装置を購入しなくてもそのコンテンツで個人化された体験をすることができる。さらに、ユーザが日常的にやり取りし得る(UE101aのような)デバイスとやり取りすることで、ユーザはコンテンツへのより強い没入感を体感することになる。
図6は、ある実施形態に従う、デバイス固有の情報をコンテンツからの情報と組合せる処理のフローチャートである。実施形態によっては、没入サービス103が処理600を実行し、例えば、図9に示されるようにプロセッサ及びメモリを備えるチップセットとして実装される。
ステップ601で、没入サービス103は、コンテンツに関連する仮想情報と、デバイス、1つ又は複数の他のデバイス、またはそれらの組合せに固有の情報との結合を、少なくとも一部行う。この結合は、1つ又は複数の没入インタラクションイベントに少なくとも一部基づいて、デバイス、1つ又は複数の他のデバイス、またはそれらの組合せに関連する1つ又は複数のユーザインタフェースで行われる。コンテンツは1つ又は複数の没入インタラクションイベントを含んでもよい。この没入インタラクションイベントは、没入サービス103に、コンテンツから情報を仮想情報に関連する没入デバイス119aに伝送させる。これに応答して、没入デバイス119aは、伝送された情報がコンテンツからではなく、あたかもデバイス固有の情報であったかのように、デバイスに関連する1つ又は複数のユーザインタフェースに情報を提示してもよい。例として、1つ又は複数のコンテンツに関連する仮想情報は、コンテンツに関連する没入インタラクションイベントに基づいて没入デバイス119aに伝送されてもよい。次に、伝送されたコンテンツがデバイスに関連するユーザインタフェースに提示されてもよい。こうして、例えば没入デバイス119aのユーザが連絡先を表示するアプリケーション111bを開くと、コンテンツからの仮想連絡先である1つ又は複数の連絡先が現われてもよい。実施形態によっては、例えば、デバイスが動作を実行するまで情報が没入デバイス119aに伝送されないように、没入インタラクションイベントが代わりに没入デバイス119aとやり取りしてもよい。例えば、没入デバイスのユーザが連絡先表示に関連するアプリケーション111bを開くと、没入デバイス119aは、連絡先からの情報を含んでいるアプリケーションが開始されていることを決定する。したがって没入デバイス119aは、コンテンツを提供するホストデバイス117及び/又は没入サービス103からの仮想情報を要求してもよい。仮想情報を受取ると、没入デバイス119aは、連絡先を提示するアプリケーション111aに関連するユーザインタフェース内にその情報を表示してもよい。デバイス及び・又は1つ又は複数の他のデバイスがUE101である場合、デバイス固有の情報は例えば、連絡先アプリケーションの連絡先やブラウザアプリケーションのブックマーク、カレンダーアプリケーションのカレンダー、その他UE101aで見つけられる任意の情報を示してもよい。同様に仮想情報は、1つ又は複数の連絡先や、1つ又は複数のブックマーク、1つ又は複数のカレンダーイベント等、コンテンツに関連する仮想世界に全て関連していてもよい。
こうした情報は、必要に応じてデバイス及び/又は1つ又は複数の他のデバイスに伝送されてもよく、コンテンツに関連付けられるデバイスの出現のときにデバイス及び/又は1つ又は複数の他のデバイスに伝送されてもよい。あるいは、これらの組合せでもよい。例として、没入サービス103は、連絡先アプリケーションの実行に応答して、UE101aから受信した1つ又は複数の通知に基づき、UE101aでの連絡先アプリケーションの実行を検出してもよい。没入サービス103は、ホストデバイス117に関連するコンテンツに関する基本情報を要求してもよい。この基本情報は例えば、連絡先アプリケーションのトップメニューの中で見える名称及び/又は絵柄のみを含んでいてもよい。次にホストデバイス117は、連絡先情報を没入サービス103に渡し、その次に没入サービス103がこの連絡先情報をUE101aに渡してもよい。次にUE101aの連絡先アプリケーションは、仮想連絡先情報と固有連絡先情報を結合するために、コンテンツから提供される情報でUE101aの固有データを拡張してもよい。UE101aのユーザが連絡先アプリケーションで提供されるように連絡先を見ると、その連絡先には、現実世界に関連する固有の連絡先と、コンテンツに関連する1つ又は複数の仮想連絡先とが含まれることになる。その結果、連絡先に関連するユーザインタフェースは、どれが固有の連絡先でどれが仮想連絡先であるかの見分けをユーザができない程度に、UE101aの固有連絡先アプリケーションに関連するユーザインタフェースと同等に見える。あるいは、UE101a(例えば、没入デバイス119a)が、コンテンツに関連する情報を要求し得るアプリケーション111aの実行を検出してもよい。次にUE101aは、没入サービス103及び/又はホストデバイス117から、アプリケーション111aが使用する情報をUE101aのユーザインタフェースに表示するように要求してもよい。次に要求された情報は、アプリケーション111aに関連するUE101aに予め存在する情報を拡張してもよい。別の実施例として、連絡先アプリケーションがUE101aで最初に実行されるとき、仮想コンテンツに関する情報(または、コンテンツに関連するその他任意の情報)の全てがUE101aに伝送されてもよい。別の実施例として、UE101aがコンテンツ提供に関連するホストデバイス117と関連付けられるとき、コンテンツに関連する仮想世界に関する全情報がUE101aに伝送されてもよい。
別の実施形態として、没入サービス103は、それが生成する、1つ又は複数の没入デバイスに固有のユーザインタフェースと同一に見える1つ又は複数のユーザインタフェースで、その固有ユーザインタフェースを無効にしてもよい。実施形態によっては、没入サービス103は、デバイスに固有な情報とコンテンツからの情報とを統合するために、ユーザインタフェースを統合してもよい。ユーザが追加情報に対して仮想連絡先の1つを選択する場合、没入サービス103がコンテンツからその仮想連絡先関連する特定の情報を要求し、その特定の情報がUE101aに渡されるような情報経路が構築されてもよい。
ステップ603で、没入サービス103は、1つ又は複数のインタラクション、1つ又は複数の没入インタラクションイベント、またはそれらの組合せに少なくとも一部基づいて、コンテンツの変更、コンテンツとのやり取り、またはそれらの組合せを少なくとも一部行う。こうしたインタラクションは例えば、仮想のゲームの世界と現実世界との間の通話及び/又はテキストメッセージを含むやり取りに関連する応答でもよい。これは例えば、ゲームに関連する1人または複数の非プレーヤーキャラクターとUE101aに関連するユーザとの間のやり取りで、UE101aの1つ又は複数のナビゲーションアプリケーションを使って仮想世界を進んだり、コンテンツに関連する仮想インターネットを通じてコンテンツ関連情報をブラウズしたり、UE101aの連絡先アプリケーションから非プレーヤーキャラクターを捜したり、UE101aカレンダーアプリケーションをゲームの仮想世界に関連する1つ又は複数のイベントに関連付けたり、及び/又はゲームの仮想世界に特化したノートを付けたりする、両者間のやり取りのようなものである。
例として、ユーザがDVDプレーヤーで再生される映画を観ているとする。このDVDプレーヤーはホストデバイス117として動作する。DVDプレーヤーは、コンテンツを提示する間、携帯電話を制御していてもよい。映画のシーンには、ユーザに対して、友人に電話をかけ二人の友情が終わったことをその友人に告げるように指示する、仮想キャラクターが含まれているとする。このシーンは、携帯電話に対して、その連絡先としてリストされている友人への1又は複数の着信をリスンする又は検出するように指示する1つ又は複数の命令に一致し得る。ユーザが友人に電話をかけ、仮想キャラクターが要求する動作を行うために携帯電話を使用する場合、携帯電話はそれに続いて、電話がかけられたことを示す1つ又は複数の応答を伴ってDVDプレーヤーに応答してもよい。この場合、仮想キャラクターがユーザを承認したことを示す、携帯電話からの1つ又は複数の応答に基づいて、仮想キャラクターが応答してもよい。仮想キャラクターが要求する動作をユーザが行わない場合、仮想キャラクターは別の応答をしてもよい。例えば、ユーザが命令を聞き入れないことを非難するような応答をしてもよい。このように、コンテンツと直接やり取りできることにより、ユーザはそのコンテンツに没入される。ユーザは、コンテンツ提示に関連するデバイス以外のデバイス(携帯電話等)を使用しているので、より深くコンテンツに没入していると感じる。
図7Aから7Iは、種々の実施形態に従う、図3-6の処理で利用されるユーザインタフェースの略図である。図7Aに描かれるように、UE101aは、連絡先アプリケーション111bのユーザインタフェース701aに関連していてもよい。連絡先アプリケーションは、ユーザインタフェース701aの分解図703aに描かれるように、連絡先707a、709a、及び711aを含む。UE101aはまた、コンテンツからの情報がUE101aに提示されるような別のデバイス(ホストデバイス117等)に提示されるコンテンツに関連していてもよい。例として、連絡先707a及び711aは、UE101aがコンテンツに関連付けられる前からUE101aに関連している固有の連絡先であるとする。しかし、連絡先709aは、コンテンツからの仮想キャラクターに関連していてもよい。例えば、コンテンツがゲームに関連している場合、非プレーヤーキャラクターのようなものでもよい。分解図703aに描かれるように、種々の連絡先707a、709a、及び711aは、同一フォーマットで、それぞれが表わす情報以外は区別できない。こうして例えば、UE101aのユーザが、ユーザインタフェース701aに基づいて、連絡先709aがコンテンツからの仮想キャラクターに関連すると決定する術はない。連絡先709aを連絡先707a及び711aにシームレスに統合することで、UE101aのユーザはコンテンツに没入される。
図7Bに描かれるように、UE101aは、カレンダーアプリケーション111cのユーザインタフェース701bに関連していてもよい。カレンダーアプリケーションは、ユーザインタフェース701bの分解図703bに描かれるように、アポイントメント707b、709b、及び711bを含む。前述の通り、UE101aはまた、コンテンツからの情報がUE101aに提示されるような別のデバイス(ホストデバイス117等)に提示されるコンテンツに関連していてもよい。例として、アポイントメント707b及び711bは、UE101aがコンテンツに関連付けられる前からUE101aに関連している固有のアポイントメントであるとする。しかし、アポイントメント709bは、コンテンツからの仮想アポイントメントに関連していてもよい。例えば、ゲームの非プレーヤーキャラクターに関するアポイントメントのようなものでもよい。分解図703bに描かれるように、種々のアポイントメント707b、709b、及び711bは、同一フォーマットで、それぞれが表わす情報以外は区別できない。こうして例えば、UE101aのユーザが、ユーザインタフェース701bに基づいて、アポイントメント709bがコンテンツからの仮想キャラクターに関連すると決定する術はない。アポイントメント709bをアポイントメント707b及び711bにシームレスに統合することで、UE101aのユーザはコンテンツに没入される。
図7Cに描かれるように、UE101aは、メッセージアプリケーション111dのユーザインタフェース701cに関連していてもよい。メッセージアプリケーションは、ユーザインタフェース701cの分解図703cに描かれるように、メッセージ707c、709c、及び711cを含む。前述の通り、UE101aはまた、コンテンツからの情報がUE101aに提示されるような別のデバイス(ホストデバイス117等)に提示されるコンテンツに関連していてもよい。例として、メッセージ707c及び711cは、UE101aがコンテンツに関連付けられる前からUE101aに関連している固有のメッセージであるとする。しかし、メッセージ709cは、コンテンツ内からの仮想メッセージに関連していてもよい。例えば、ゲームの非プレーヤーキャラクターからのメッセージのようなものでもよい。分解図703cに描かれるように、種々のメッセージ707c、709c、及び711cは、同一フォーマットで、それぞれが表わす情報以外は区別できない。こうして例えば、UE101aのユーザが、ユーザインタフェース701cに基づいて、メッセージ709cがコンテンツからの仮想キャラクターに関連すると決定する術はない。メッセージ709cをメッセージ707c及び711cにシームレスに統合することで、UE101aのユーザはコンテンツに没入される。
図7Dに描かれるように、UE101aは、電話アプリケーション111eのユーザインタフェース701dに関連していてもよい。電話アプリケーションは、ユーザインタフェース701dの分解図703dに描かれるように、ブラッドレイ・マーフィー(Bradley Murphy)からの着信を含む。実施形態によっては、ブラッドレイ・マーフィーはコンテンツの中の仮想キャラクターに対応していてもよい。しかし、コンテンツとUE101a間のトランザクションは、結果として、仮想キャラクターであるブラッドレイ・マーフィーからの仮想着信に対応するユーザインタフェース701dである。アプリケーション111eは、UE101aが、実在していて仮想キャラクターではない人物からの着信を受けているときと全く同じに見えるために、UE101aのユーザは、ユーザインタフェース701dがコンテンツに基づいて仮想キャラクターに関連していると決定する術を持たない。ユーザインタフェース701dをUE101aにシームレスに統合することで、UE101aのユーザはコンテンツに没入される。
図7Eに描かれるように、UE101aは、通信アプリケーション111fのユーザインタフェース701eに関連していてもよい。通信アプリケーションは、ユーザインタフェース701eの分解図703eに描かれるように、不在着信707d、709d、及び711dを含む。前述の通り、UE101aはまた、コンテンツからの情報がUE101aに提示されるような別のデバイス(ホストデバイス117等)に提示されるコンテンツに関連していてもよい。例として、不在着信707d及び711dは、UE101aがコンテンツに関連付けられる前からUE101aに関連している固有の不在着信であるとする。しかし、不在着信709dは、コンテンツ内からの仮想キャラクターに関連していてもよい。例えば、ゲームの非プレーヤーキャラクターからの不在着信のようなものでもよい。分解図703eに描かれるように、種々のメッセージ707d、709d、及び711dは、同一フォーマットで、それぞれが表わす情報以外は区別できない。こうして例えば、UE101aのユーザが、ユーザインタフェース701eに基づいて、不在着信709dがコンテンツからの仮想キャラクターに関連すると決定する術はない。不在着信709dを不在着信707d及び711dにシームレスに統合することで、UE101aのユーザはコンテンツに没入される。
図7Fに描かれるように、UE101aはユーザインタフェース701fに関連していてもよい。このユーザインタフェースは、分解図703fに描かれ、ナビゲーションアプリケーション111gに関連していてもよい。ナビゲーションアプリケーション111gは、UE101a固有のアプリケーションであってもよいが、ここでは、ホストデバイスから提供されるコンテンツに関連する情報を表示していてもよい。こうして、ユーザインタフェース701fは、ユーザへのコンテンツ提供に関連しない他のUE101aを用いてユーザが仮想世界を進めるようにしてもよい。
図7Gに描かれるように、没入デバイス119の実施例が電子レンジ119bであってもよい。電子レンジ119bは、コンテンツ提供に関連する1つ又は複数の没入インタラクションイベントに基づいて、「ポップコーンの時間です!」(TIME FOR POPCORN!)といったような、コンテンツに関連するメッセージを提供できるユーザインタフェース713を備えてもよい。例として、このようなメッセージが、ホストデバイスに関連する映画の再生開始に基づいていてもよい。また図7Hには、冷蔵庫119cのような没入デバイス119の別の実施例が描かれている。冷蔵庫119cは、コンテンツに関連する1つ又は複数の没入インタラクションイベントに基づいて、コンテンツの中のイベントに関連するメッセージを表示できるユーザインタフェース715を備えてもよい。このコンテンツは、冷蔵庫119cとやり取りしていたホストデバイス117によって提供される。例えば、コンテンツは映画であって、その中のあるところで飲み物を楽しむ人物が登場する映画でもよい。その飲み物はG社のソーダポップ(G's Soda Pop)であるとする。その登場人物が飲み物を楽しむ時、G社ソーダポップを食料品リスト(母親の買い物リスト等)に追加するために、制御信号が冷蔵庫119cに送信されてもよい。ここで、制御信号はコンテンツに含まれる広告の形態であってもよい。
図7Iに描かれるように、乾燥機能付き洗濯機119dのような没入デバイス119が、コンテンツに乾燥機能付き洗濯機119dを制御させるために、コンテンツに挿入された表現を有していてもよい。例として、コンテンツは乾燥機能付き洗濯機119dの使用方法を説明する取扱説明ビデオを表わしてもよい。コンテンツは、洗濯機の洗濯温度の設定方法を説明するシーンを含むとする。このシーンは洗濯機に出す制御信号で例えば、インジケータ717で描かれるように、ユーザに洗濯温度の入力を促すための制御信号を含んでもよい。ユーザが洗濯温度を設定すると、洗濯機は制御信号に対する応答で例えば、洗濯温度が設定されたことを示す応答に対応する応答を出してもよい。コンテンツを提供しているホストデバイス117がこの応答を受取ると、コンテンツは次のシーン、例えば、水位の設定方法を説明するシーンに進んでもよい。このシーンは洗濯機に出す制御信号で例えば、インジケータ719で描かれるように、ユーザに洗濯の水位の入力を促すための制御信号を含んでもよい。ユーザが水位を設定すると、洗濯機は、ユーザに水位の入力を促す制御信号に対する応答で例えば、水位が設定されたことを示す応答に対応する応答を出してもよい。ホストデバイス117がこの応答を受取ると、コンテンツは、乾燥機能付き洗濯機119dの使用方法をユーザに教える追加シーンに進んでもよい。制御信号を送信しその応答を受信するために乾燥機能付き洗濯機119dとやり取りするコンテンツを備えることによって、ユーザは説明ビデオに没入し、乾燥機能付き洗濯機119dの使用方法をよりよく理解することができる。
本明細書で説明される、1つ又は複数の没入インタラクションイベントに基づき日常デバイスを介して没入インタラクションを提供する処理は、ソフトウェアやハードウェア、ファームウェア、またはこれら何れか二つ以上の組合せによって有利に実装されてよい。例えば、本明細書で説明される処理は、1つ又は複数のプロセッサやデジタル信号処理チップ(DSP)、特定用途向けIC(ASIC)、FPGA(Field Programmable Gate Array)などによって有利に実装されてよい。前述の機能を実行するための、このような例示的なハードウェアが以下に説明される。
図8は、本発明の実施形態が実装されうるコンピュータシステム800を示す。コンピュータシステム800は、特定のデバイスや装置を描いているが、ネットワーク要素やサーバなどの図8中の他のデバイスや装置が、システム800に描かれたハードウェアやコンポーネントを加えることも可能であることが想定されている。コンピュータシステム800は、コンピュータプログラムコードや命令などによって、本明細書で説明されるような、1つ又は複数の没入インタラクションイベントに基づき日常デバイスを介して没入インタラクションを提供するようにプログラムされている。コンピュータシステムは更に、コンピュータシステム800の他の内部及び外部要素との間で情報を流すバス810のような通信機構を有している。「データ」とも呼ばれる「情報」は、物理的に測定可能な現象によって表されることができ、典型的には電圧であるが、実施形態よっては、磁気的、電磁気的、圧力的、化学的、生物学的、分子的、原子的、亜原子的、量子的相互作用等の現象によって表されうる。例えばN極およびS極の磁極や、ゼロと非ゼロの電圧が、2進数ビットの二つの状態(0,1)を表すことができる。その他の現象で、より大きい基数の数を表現することもできる。観測前における複数の量子状態の同時重ね合わせ状態は、量子ビット(キュービット)を表現する。1つ又は複数の数(digit)のシーケンスはデジタルデータを構成し、数や文字コードを表すことができる。実施形態によっては、特定の範囲内で測定可能であるほぼ連続な値により、アナログデータと呼ばれる情報が表現される。コンピュータシステム800又はその一部は、1つ又は複数の没入インタラクションイベントに基づき日常デバイスを介して没入インタラクションを提供するための1つ又は複数のステップを実行する手段を構成する。
バス810は、それに接続するデバイスの間で高速に情報伝達できるように、1つ又は複数の並行的な情報伝達手段を有する。1つ又は複数の情報処理用プロセッサ802がバス810に接続されている。
プロセッサ(又は複数のプロセッサ)802は、1つ又は複数の没入インタラクションイベントに基づき日常デバイスを介して没入インタラクションを提供することに関連するコンピュータプログラムコードによって特定されるような、情報に関する処理のセットを実行する。コンピュータプログラムコードとは、プロセッサ及び/又はコンピュータシステムに特定機能を実行させる動作命令を与える一連の命令又は記述である。このコードは例えば、プロセッサ固有の命令セットにコンパイルされるコンピュータプログラム言語で書かれてもよい。このコードはまた、固有の命令セット(機械語等)を用いて直接書かれてもよい。処理のセットは、バス810から情報を取り出したり、バス810に情報を流したりすることを含む。処理のセットはまた、通常、2つ以上の情報ユニットを比較したり、情報ユニットの位置をシフトしたり、2つ以上の情報ユニットを結合したりすることを含み、例えば加算や乗算、論理和、排他的論理和、論理積等の論理演算を含む。プロセッサにより実行可能な処理のセットの各処理は、1つ又は複数のデジット(digit)による処理コードのような、命令と呼ばれる情報によってプロセッサに提供されることができる。処理コードのシーケンスなどの、プロセッサ802により実行される処理のシーケンスは、プロセッサ命令を構成し、これはまた、コンピュータシステム命令や、より簡単にコンピュータ命令などと呼ばれる。プロセッサは、機械的、電気的、磁気的、光学的、化学的、量子的、または他の方法で、単独で又はこれらを組み合わせて、実装されてもよい。
コンピュータシステム800はまた、バス810に接続されるメモリ804を備える。メモリ804は、ランダムアクセスメモリ(RAM)や他の動的な記憶デバイスであることができ、1つ又は複数の没入インタラクションイベントに基づき日常デバイスを介して没入インタラクションを提供するプロセッサ命令を含む情報を格納する。動的メモリは、コンピュータシステム800が格納されている情報を変更することを可能とする。RAMはメモリアドレスと呼ばれる場所に格納されるべき情報ユニットを格納することを可能とし、また隣接するアドレスの情報とは独立に、当該情報ユニットが読み出しされることを可能とする。メモリ804は、プロセッサ802によって、プロセッサ命令を実行する間に一時的な値を格納するためにも用いられる。コンピュータシステム800は、読み出し専用メモリ(ROM)806や他の静的記憶デバイスをも備えてもよい。これらもバス810に接続されており、コンピュータシステム800によっては変更されない静的な情報を格納する。メモリによっては、電源が切られると格納された情報が失われる揮発性記憶装置から成るものもある。バス810には、不揮発性(持続性)記憶デバイス808も接続されている。このデバイスは例えば、磁気ディスクや光ディスク、フラッシュカードのような、コンピュータシステム800の電源が切られたり、その他の理由で電源を失ったりする場合でも保持されるべき情報(命令を含む)を格納する。
1つ又は複数の没入インタラクションイベントに基づき日常デバイスを介して没入インタラクションを提供する命令を含む情報は、プロセッサが使用できるように、外部入力装置812からバス810に提供される。この外部入力装置は例えば、人間が操作する英数字キーを含むキーボードやマイクロホン、赤外線(IR)リモートコントローラ、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、センサのようなものである。センサは、その周辺で生じた状況を検出し検出結果を物理的表現に変換する。この物理的表現は、コンピュータシステム800で情報を表現するのに用いられる測定可能な現象と合っている。その他の外部機器もバス810に接続され、特に人間とのやり取りのために使用される。このような外部デバイスには、例えば、ブラウン管(CRT)や液晶ディスプレイ(LED)、有機LED(OLED)、プラズマスクリーン等の表示装置814、テキストや画像を提示するためのプリンタ、マウスやトラックボール、カーソル指示キー、モーションセンサ等のポインティングデバイス816等がある。モーションセンサは表示装置814に表示された小さなカーソルの画像の位置を制御したり、ディスプレイ814表示されたグラフィックス要素に関連する命令を発行したりするために使用される。実施形態によっては、例えば、コンピュータシステム800が、人間の入力なしに全ての機能を自動的に実行することもあり、外部入力デバイス812や表示装置814、ポインティングデバイス816のうち1つ又は複数が省略されることもある。
例示された実施形態では、特定用途向け集積回路(ASIC)820のような特殊用途ハードウェアがバス810に接続されている。こうした特殊用途ハードウェアは、プロセッサ802ではその特殊用途に見合う速度で実行できないような処理を実行するように構成される。こうしたASICの例として、表示装置814上にイメージを生成するグラフィックアクセラレータカードや、ネットワークを介して送信されるメッセージの暗号化や解読を行う暗号化ボード、音声認識装置、また特殊な目的の外部デバイスとのインタフェースなどがある。そのようなインタフェースは、例えば、ロボットアームや医療用スキャン装置など、複雑なシーケンスの動作を繰り返し行うような装置がある。このような動作はハードウェアによってより効率的に実行されることができる。
コンピュータシステム800は更に、バス810に接続される通信インタフェース870の1つ又は複数のインスタンスを有する。 通信インタフェース870は、それぞれ自身のプロセッサを有する種々の外部デバイスに接続されて、一方向又は双方向の通信を提供する。このような外部デバイスとして、プリンタやスキャナ、外部ディスク装置などがある。一般的に、接続はネットワークリンク878によって行われ、ネットワークリンク878はローカルネットワーク880に接続される。ローカルネットワーク980には、自身でプロセッサを有する種々の種類の外部デバイスが接続されている。通信インタフェース870は、例えば、パーソナルコンピュータのパラレルポートやシリアルポート、ユニバーサルシリアル(USB)ポートであることができる。実施形態によっては、通信インタフェース870は、ISDNカードやDSLカードや電話モデムなど、対応する種類の電話通信ラインと情報通信接続を確立するようなものであることができる。実施形態によっては、通信インタフェース870は、ケーブルモデムであることができ、これは、バス810上の信号を、同軸ケーブルを用いた通信接続のための信号や、光ケーブルを用いた通信接続のための光信号に変換する。別の例では、通信インタフェース870は、ローカルエリアネットワーク(LAN)カードであり、これは、イーサネット(登録商標)などの互換性のあるLANとのデータ通信接続を提供する。ワイヤレスリンクが用いられる場合もある。ワイヤレスリンクとして、通信インタフェース870は、例えば電気的、音声的、電磁的な信号を、送信したり受信したり送受信したりする。このような信号には、デジタルデータなどの情報ストリームを運ぶこともできる赤外線や光信号も含まれる。例えば、携帯電話等の無線ハンドセットデバイスにおいて、通信インタフェース870は無線送受信機と呼ばれる、RF帯域の電磁波信号の送信機および受信機を備える。実施形態によっては、通信インタフェース870により、1つ又は複数の没入インタラクションイベントに基づいてコンテンツ提供にUE101を没入させるための通信ネットワーク105との接続が可能となる。
本明細書で用いられる「コンピュータ可読媒体」という用語は、プロセッサ802に情報(例えば実行命令)を提供しうるいかなる媒体であってもよい。このような媒体は様々な形態をとりうるものであり、揮発性又は不揮発性のコンピュータ可読記憶媒体や、伝送媒体が含まれる。ただし、これらに限定されない。不揮発性の媒体のような非一時的媒体は、例えば記憶デバイス808のような光ディスク又は磁気ディスクを含む。揮発性の媒体は、例えば動的メモリ804を含む。伝送媒体は、例えば、ツイストペアケーブルや同軸ケーブル、銅線、光ファイバーケーブル、ワイヤやケーブルを介さずに空間を伝う搬送波などであることができ、搬送波としては音波や電磁波があり、電磁波には無線電波、可視光、赤外線などがある。信号には、伝送媒体を介して伝送される、振幅,周波数,位相,偏極やその他の物理特性に関する人為的かつ過渡的変動を含む。コンピュータ可読媒体のよく知られた形態は、例えば、フレキシブルディスク、ハードディスク、磁気テープなどの磁気的媒体、CD-ROMやCDRW、DVDなどの光媒体、パンチカードや紙テープ、光マークシートなどの、孔によるパターンやその他の光学的認識可能な目印を有する物理媒体、RAMやPROM、EPROM、フラッシュEPROM、EEPROMなどのメモリチップやカートリッジ、搬送波などであり、コンピュータが読み取りを行うことのできる種々の媒体が存在する。本明細書においてコンピュータ可読記憶媒体との用語は、伝送媒体を除くどのようなコンピュータ可読な媒体をも言及する。
1つ又は複数の有形の媒体に符号化されたロジックは、コンピュータ可読記憶媒体のプロセッサ命令と、ASIC820のような特定用途向けハードウェアの一方又は両方を含む。
典型的に、ネットワークリンク878は、伝送媒体を用いて情報通信を提供する。1つ又は複数のネットワークを通じて、情報を使用したり処理したりする他のデバイスへの情報通信が行われる。例えばネットワークリンク878は、ローカルネットワーク880通じてホストコンピューター882への接続を提供する。また、インターネットサービスプロバイダ(ISP)によって運営される設備884への接続を提供してもよい。ISP設備884も同様に、一般的にインターネットと称される、ワールドワイドな公衆パケット交換通信ネットワーク890を通じて、データ通信サービスを提供する。
インターネットに接続される、サーバホスト892と称されるコンピュータは、インターネット通じて受信した情報に応答して、サービスを提供するプロセスをホストする。例えば、サーバホスト892は、表示用ビデオデータをディスプレイ814に表わす情報を提供する処理をホストする。なお、システム800の諸要素は、ホスト882やサーバ892など他のコンピュータシステムにおいて様々な構成をとりうることが想定される。
本発明の少なくともある実施形態は、コンピュータシステム800を、本明細書で説明される一部又は全ての技術を実装するために使用することに関している。本発明のある実施形態では、これらの技術は、メモリ804に格納されている1つ又は複数のプロセッサ命令の1つ又は複数のシーケンスをプロセッサ802が実行することによって、コンピュータシステム800により実行される。このような命令は、コンピュータ命令やソフトウェア、プログラムコード等と呼ばれ、記憶デバイス808やネットワークリンク878などの他のコンピュータ可読媒体からメモリ804に読み込まれてもよい。メモリ804に格納された命令シーケンスの実行により、プロセッサ802は本明細書で開示された方法ステップの1つ又は複数を実行する。別の実施形態では、ASIC820のようなハードウェアが、上記の手法の代わり、またはソフトウェアと組み合わされて、本発明を実装するために使用される。したがって、本発明の実施形態は、本明細書で明示されない限り、ハードウェア及びソフトウェアに関する如何なる特定の組合せにも限定されない。
ネットワークリンク878や通信インタフェース870を介する他のネットワークを通じて伝送される信号は、コンピュータシステム800対して送受信される情報を伝達する。コンピュータシステム800は情報を送受信することができる。このような情報にはプログラムコードが含まれ、とりわけネットワーク880や890を通って、ネットワークリンク878や通信インタフェース870を介して、送受信される。インターネット890を用いるある実施例では、特定のアプリケーションのためのプログラムコードであって、コンピュータ800から送信されたメッセージによってリクエストされたプログラムコードをサーバホスト892が送信する。この送信は、インターネット890やISP設備884、ローカルネットワーク880、通信インタフェース870を通じて行われてもよい。受信されたコードは、受信時にプロセッサ802によって実行されてもよく、後で実行されるようにメモリ804や記憶デバイス808、その他任意の非揮発性媒体に格納されてもよい。あるいは、これら両方でもよい。こうした方法で、コンピュータシステム800は、搬送波による信号の形態でアプリケーションプログラムコードを取得してもよい。
種々の形態のコンピュータ可読媒体が、プロセッサ802により実行される命令やデータの1つ又は複数のシーケンスを担持するのに使用されることができる。例えば、命令やデータは、最初にホスト882のようなリモートコンピュータの磁気ディスクに担持されてもよい。リモートコンピュータは、命令及びデータを動的メモリにロードし、その命令及びデータを、モデムを使って電話線で送信する。コンピュータシステム800に設置されるモデムは、電話線で命令及びデータを受信し、その命令及びデータを信号に変換する赤外線トランスミッタを使用する。この信号は、ネットワークリンク878の役割を果たす赤外線搬送波で送られる。通信インタフェース870の役割を果たす赤外線検出器は、赤外線信号で運ばれる命令及びデータを受信し、その命令及びデータを表現する情報をバス810に配置する。バス810は、情報をメモリ804へ運び、プロセッサ802はメモリ904からこれらの情報を読み出して、上記の命令を実行する。メモリ804に受信された命令及びデータは、プロセッサ802による実行前または実行後の何れかで、記憶デバイス808に格納されてもよい。
図9は、本発明の実施形態が実装されうるチップセットやチップ900を描いたものである。チップセット900は、本明細書に説明されるように、1つ又は複数の没入インタラクションイベントに基づき日常デバイスを介して没入インタラクションを提供するようにプログラムされており、例えば、図8に関連して説明されたようなプロセッサやメモリを備え、これらが1つ又は複数の物理的パッケージ(すなわちチップ)に組み込まれている。 より具体的な例を示すと、物理的パッケージは、1つ又は複数の部材やコンポーネント、及び/又は基板などの構造物アセンブリ上のワイヤなどを含み、物理的強度、サイズの保持、及び/又は電気的相互作用の抑制などを提供する。実施形態によっては、チップセット900が単一のチップとして実装される場合があることが想定される。実施形態によっては、チップセット又はチップ900が、単一の「システム・オン・チップ」に実装されうることも想定される。さらに実施形態によっては、個別のASICが使用されずに、例えば、本明細書で説明される全ての重要な機能が1つ又は複数のプロセッサで実行される場合も想定される。チップセット又はチップ900、またはその一部は、機能の利用可能性に関連付けられたユーザインタフェース・ナビゲーション情報を提供する1つ又は複数のステップを実行する手段の一例を構成する。チップセット又はチップ900、またはその一部は、1つ又は複数の没入インタラクションイベントに基づき日常デバイスを介して没入インタラクションを提供するための1つ又は複数のステップを実行する手段を構成する。
ある実施形態では、チップセット又はチップ900は、チップセット900の要素間で情報をやり取りするためのバス901のような通信機構を備える。プロセッサ903は、メモリ905などに格納される命令を実行したり情報を処理したりするべく、バス901に接続可能に構成される。プロセッサ903は1つ又は複数のプロセッシングコアを有することができ、それぞれのコアは独立に実行されるように構成されており。マルチコアプロセッサは単一の物理的パッケージによって複数のプロセスを実行できる。マルチコアプロセッサには、2、4、8又はそれ以上のプロセッシングコアを有するものがある。あるいは、または加えて、プロセッサ903はバス901を介して直列に配される1つ又は複数のマイクロプロセッサを備え、独立に命令を実行できてもよく、パイプラインやマルチスレッドプロセスを実行できてもよい。プロセッサ903は、1つ又は複数の特定用途の要素を備えてもよい。それらは特定のプロセス機能やタスクを実行するために用いられる。このような特定用途の要素の例は、1つ又は複数のデジタルシグナルプロセッサ(DSP)907や、1つ又は複数の特定用途向け集積回路(ASIC)909でもよい。DSP907は、通常、プロセッサ903とは独立に、音声などの現実世界の信号をリアルタイムでプロセスするように構成される。同様に、ASIC909は、より汎用のプロセッサでは容易に実行することができない特定の機能を実行するように構成されてもよい。本明細書で説明された発明性を有する機能を実行する助けとなりうるその他の特定用途コンポーネントとしては、1つ又は複数のFPGA(field programmable gate arrays)や1つ又は複数の特定用途のコンピュータチップがある。
ある実施形態では、チップセット又はチップ900は、1つ又は複数のプロセッサと、これらをサポートする及び/又はこれらに関連するいくつかのソフトウェア及び/又はファームウェアのみを備える。
プロセッサ903および付随するコンポーネントは、バス901を介してメモリ905に接続できるように構成される。メモリ905は動的メモリと静的メモリの両方を有する。動的メモリの例としては、RAMや磁気ディスク、書き込み可能な光ディスク等があり、静的メモリの例としては、ROMやCD-ROM等がある。これらのメモリは実行可能命令を格納するために使用され、これら実行可能命令は、実行されると、1つ又は複数の没入インタラクションイベントに基づき日常デバイスを介して没入インタラクションを提供する、本明細書で説明された発明性を有するステップを実行する。メモリ905はまた、これらの発明性を有するステップの実行に関連するデータや当該ステップの実行により生成されたデータを格納する。
図10は、ある実施形態に従う携帯端末の例示的な要素の略図である。この携帯端末は、例えばハンドセットであり、通信機能を有し、図1のシステムで動作する機能を有する。 実施形態によっては、携帯端末1001またはその一部は、センサ及びセンサデータのコンテキストアウェアな制御を提供するための、1つ又は複数のステップを実行する手段を構成する。一般に、無線レシーバは通常、フロントエンド特性及びバックエンド特性の観点で規定される。受信機のフロントエンドは無線回路の全て含み、バックエンドはベースバンドプロセス回路の全てを含む。本願において使用されているように、「回路」という用語は、(1)ハードウェアのみによる実装と、(2)回路及びソフトウェア(及び/又はファームウェア)の組み合わせによる実装とを含む。前者は、アナログ回路のみの実装やデジタル回路のみの実装、またはこれらの両方を含む実装がある。後者は、特定のコンテキストで適用可能である場合は、1つ又は複数プロセッサ(デジタルシグナルプロセッサを含む)やソフトウェア、1つ又は複数のメモリを含み、またはこれらの組み合わせを含み、これらは協働して、携帯電話やサーバなどの装置に様々な機能を実行させる。この「回路」の定義は、本願において当該用語を使う全ての場合において適用される。特許請求の範囲においても同様である。さらなる例として、本願で使われているように、また特定のコンテキストで適用可能である場合は、「回路」との語句は、プロセッサと付随するソフトウェアやファームウェアのみの実装をもカバーしてもよい。なおプロセッサはマルチプロセッサでもよい。「回路」という語句はまた、特定の意味を含むことが可能な場合がある。例えば、携帯電話のベースバンド集積回路やアプリケーションプロセッサ集積回路を包含してもよく、セルラネットワークデバイスやそのネットワークデバイスにおける同様の集積回路を意味してもよい。
電話機の重要な内部コンポーネントには、メインコントロールユニット(MCU)1003,デジタルシグナルプロセッサ(DSP)1005,送受信ユニットがあり、送受信ユニットには、マイク利得制御ユニットやスピーカ利得制御ユニットが含まれる。メインディスプレイユニット1007は、1つ又は複数の没入インタラクションイベントに基づき日常デバイスを介して没入インタラクションを提供するステップを実行したりサポートしたりする、様々なアプリケーションや携帯端末機能をサポートするための表示をユーザに提供する。ディスプレイ1007は、携帯端末(携帯電話等)のユーザインタフェースの少なくとも一部を表示するように構成される表示回路を備える。加えてディスプレイ1007およびディスプレイ回路は、携帯電話の少なくとも一部の機能に対するユーザ制御を容易にする。音声機能回路1009はマイクロホン1011と、マイクロホン1011から出力されるスピーチ信号を増幅するマイクロホンアンプとを備える。マイクロホン1011から出力された、増幅されたスピーチ信号は、コーデック(coder/decoder, CODEC)1013に供給される。
無線セクション1015は、信号のパワーを増幅し、アンテナ1017を介して基地局と通信するために、周波数変換を行う。パワーアンプ(PA)1019や送信変調回路は、MCU1103に制御されて応答可能である。本技術分野で周知の通り、PAの出力は、デュプレクサ1021やサーキュレータ、アンテナスイッチに組み合わされる。PA1019はバッテリインタフェースやパワーコントロールユニット1020に組み合わされる。
使用時において、携帯端末1001のユーザはマイクロホン1011に向かって話し、そのユーザの声は拾われたバックグラウンドノイズと共にアナログ電圧に変換される。このアナログ電圧はアナログ・デジタルコンバータ(ADC)1023によってデジタル信号に変換される。コントロールユニット1003は、このデジタル信号を処理するためにDSP1005に提供する。この処理には、音声符号化やチャネル符号化、暗号化、インタリーブなどが含まれる。ある実施形態では、処理された音声信号はセルラ転送プロトコルを用いて符号化される。この符号化は独立した要素として図示されていないユニットによって行われる。符号化方式としてはEDGE(enhanced data rates for global evolution)やGSM(登録商標)(global system for mobile communications)、IMS(Internet protocol multimedia subsystem)、UMTS(universal mobile telecommunications system)等であってよく、何れかの好適な無線媒体、例えばWiMAX(登録商標)(worldwide interoperability for microwave access)やLTE(Long Term Evolution)、CDMA(code division multiple access)、WCDMA(登録商標)(wideband code division multiple access)、WiFi(wireless fidelity)、衛星通信等、またはそれらの組合せを使用できる。
符号化された信号は、無線送信中に生じる周波数依存の損傷、例えば位相や振幅の歪みを補償するために、イコライザ1025に送られる。ビットストリームを等価した後、変調機1027が当該信号を、無線インタフェース1029で生成された無線信号と結合する。変調機1027は、周波数又は位相変調により正弦波を生成する。信号を送信準備するため、アップコンバータ1031は、変調機1027から出力された正弦波をシンセサイザ1033により生成された別の正弦波と結合し、送信に望ましい周波数を達成する。この信号はPA1019に送られ、信号の強さを適切なレベルまで増幅する。実際のシステムにおいて、PA1019は、ネットワークの基地局から受信した情報に基づいてDSP1005によって利得が制御される、可変利得増幅器として動作する。信号は、デュプレクサ1021でフィルタされ、場合によってはアンテナカプラ1035に送られ、インピーダンスが合わされて、最大パワーでの送信が実現される。最後に信号はアンテナ1017から現地の基地局へ送信される。受信機における最後のステージの利得を制御するために、自動利得制御機構(AGC)が提供されてもよい。信号は、そこからリモートの電話機と伝送される。当該リモートの電話機は、公衆交換電話ネットワーク(PSTN)や他の電話ネットワークに接続される、セルラ電話機や他の携帯電話機、固定電話機であってもよい。
携帯端末1001に送信された音声信号は、アンテナ1017を介して受信され、直ちに低ノイズアンプ(LNA)1037によって増幅される。ダウンコンバータ1039が搬送周波数を下げ、復調器1041がRF成分を取り去ってデジタルビットストリームのみを残す。この信号はイコライザ1025を通された後、DSP1005によって処理される。その後、デジタル・アナログコンバータ(DAC)1043が信号を変換し、その出力はスピーカ1045を通じてユーザに届けられる。これらは全てメインコントロールユニット(MCU)1003の制御下にある。MCU1103は、中央演算装置(CPU)によって実装されうる。
MCU1003は様々な信号を受け取るが、その中にはキーボード1047からの信号も含まれる。キーボード1047及び/又はMCU1003は、マイクロホン1011など他のユーザ入力要素と共に、ユーザ入力を管理するユーザインタフェース回路を形成する。MCU1003は、ユーザインタフェースソフトウェアを実行し、携帯端末1001の少なくとも一部の機能をユーザが制御することを助け、センサやセンサデータに対するコンテキストアウェアな制御を提供する。MCU1003はまた、表示命令や切り替え命令をディスプレイ1007や音声出力切り替えコントローラにそれぞれ提供する。さらにMCU1003は、DSP1005と情報の交換を行い、搭載されている場合があるSIMカード1049やメモリ1051へアクセスすることも可能である。さらにMCU1003は、端末によって必要な各種の制御機能を実行する。DSP1005は、実装に応じて、音声信号についてのよく知られた各種のデジタル処理機能を実行してもよい。さらにDSP1005は、マイクロホン1011によって検出された信号から周辺環境の背景ノイズレベルを決定し、携帯端末1001のユーザの声が自然に聞こえるようにマイクロホン1011のゲインのレベルを設定する。
コーデック1013は、ADC1023およびDAC1043を含む。メモリ1051は、着信音データを含む様々なデータを格納し、また例えばグローバルなインターネットを介して受信した音楽データなどの他のデータを格納する能力を有する。ソフトウェアモジュールは、RAMメモリやフラッシュメモリ、レジスタなど、技術分野で知られたいかなる形態の書き込み可能な記憶媒体に存在してもよい。メモリデバイス1051は、単一のメモリ、CD、DVD、ROM、RAM、EEPROM、光記憶装置、磁気ディスク記憶装置、フラッシュメモリ記憶装置など、デジタルデータを記憶する能力を有する不揮発性のいかなる記憶媒体であってもよい。
オプションで搭載される場合があるSIMカード1049は、例えば、セルラ電話機の番号やキャリアによって提供されたサービス、加入情報の詳細なセキュリティー情報などの重要な情報を担持する。SIMカード1049の主要な役目は、無線ネットワークにおいて移動端末1001を識別することである。カード1049はまた、個人の電話帳やテキストメッセージ、ユーザ固有の携帯端末設定を格納するためのメモリも備える。
本発明を種々の実施形態や実装例を用いて説明してきたが、本発明の範囲はそのように限定されるものではなく、添付の特許請求の範囲に包含される多くの明らかな変形や均等な構成を包含する。本発明の特徴は特許請求の範囲における特定の組合せで表現されるが、こうした特徴はあらゆる組合せ及び順序で構成され得ると想定される。

Claims (44)

  1. (1)データ及び/又は(2)情報及び/又は(3)少なくとも一つの信号の処理を容易にすることを含む方法であって、前記(1)データ及び/又は前記(2)情報及び/又は前記(3)少なくとも一つの信号は、次のこと:
    1つ又は複数の没入インタラクションイベントを決定するために、デバイスに提供されるコンテンツを処理することと;
    (a)前記1つ又は複数の没入インタラクションイベントを、少なくとも一部発生させるために、前記デバイス、1つ又は複数の他のデバイス、またはそれらの組合せを制御する1つ又は複数の制御信号;(b)前記1つ又は複数の制御信号を伝送する1つ又は複数のプロトコル;または(c)これらの組合せの少なくとも1つの決定と;
    前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに、前記1つ又は複数の制御信号を伝送すること
    に少なくとも一部基づく、方法。
  2. 前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せは、前記1つ又は複数の没入インタラクションイベントに基づいて前記コンテンツとやり取りするために限って設計されたものではない、請求項1に記載の方法。
  3. 前記(1)データ及び/又は前記(2)情報及び/又は前記(3)少なくとも一つの信号はさらに、次にこと:
    前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せの1つ又は複数の機能に少なくとも一部基づき、
    前記1つ又は複数の没入インタラクションイベント、前記1つ又は複数の制御信号、前記1つ又は複数のプロトコル、またはそれらの組合せは、前記1つ又は複数の機能に少なくとも一部基づく、請求項1又は2に記載の方法。
  4. 前記(1)データ及び/又は前記(2)情報及び/又は前記(3)少なくとも1つの信号はさらに、次にこと:
    前記コンテンツで表現される1つ又は複数の仮想デバイスと;
    前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せが、前記1つ又は複数の制御信号に少なくとも一部基づいて、前記コンテンツの前記1つ又は複数の仮想デバイスに関連する1つ又は複数の動作、1つ又は複数の機能、1つ又は複数の特性、またはそれらの組合せをシミュレートすること
    に少なくとも一部基づく、請求項1から3の何れかに記載の方法。
  5. 前記(1)データ及び/又は前記(4)情報及び/又は前記(3)少なくとも1つの信号はさらに、次にこと:
    前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せで、前記1つ又は複数の制御信号の実行を伴って、前記1つ又は複数の仮想デバイスの前記1つ又は複数の動作、前記1つ又は複数の機能、前記1つ又は複数の特性、またはそれらの組合せを同期すること
    に少なくとも一部基づく、請求項4に記載の方法。
  6. 前記(1)データ及び/又は前記(2)情報及び/又は前記(3)少なくとも1つの信号はさらに、次にこと:
    1つ又は複数の対応制御信号、1つ又は複数の対応プロトコル、またはそれらの組合せに関する、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せの照会と;
    前記1つ又は複数の対応制御信号、前記1つ又は複数の対応プロトコル、またはそれらの組合せに少なくとも一部基づく、前記1つ又は複数の制御信号、前記1つ又は複数のプロトコル、またはそれらの組合せの少なくとも1つの決定
    に少なくとも一部基づく、請求項1から5の何れかに記載の方法。
  7. 前記(1)データ及び/又は前記(2)情報及び/又は前記(3)少なくとも1つの信号はさらに、次にこと:
    前記コンテンツの1つ又は複数の表現を、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに挿入することと;
    前記コンテンツの1つ又は複数の表現と、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せとの間の1つ又は複数のインタラクションと;
    前記1つ又は複数の没入インタラクションイベントを決定するために、前記1つ又は複数のインタラクションを処理すること
    に少なくとも一部基づく、請求項1から6の何れかに記載の方法。
  8. 前記(1)データ及び/又は前記(7)情報及び/又は前記(3)少なくとも1つの信号はさらに、次にこと:
    1つ又は複数の没入インタラクションイベントに少なくとも一部基づいて、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに関連する1つ又は複数のユーザインタフェースで、前記コンテンツに関連する仮想情報と、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに固有の情報を結合すること
    に少なくとも一部基づく、請求項7に記載の方法。
  9. 前記1つ又は複数のユーザインタフェースは、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せのユーザインタフェースである、請求項8に記載の方法。
  10. 前記仮想情報は、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに関連する固有情報、または前記固有情報のフォーマット、あるいはそれらの組合せと一致する、請求項8又は9に記載の方法。
  11. 前記(7)データ及び/又は前記(2)情報及び/又は前記(3)少なくとも1つの信号はさらに、次にこと:
    前記1つ又は複数のインタラクション、前記1つ又は複数の没入インタラクションイベント、またはそれらの組合せに少なくとも一部基づいて、前記コンテンツの変更、前記コンテンツとのやり取り、またはそれらの組合せ
    に少なくとも一部基づく、請求項7から10の何れかに記載の方法。
  12. 前記1つ又は複数のインタラクションは、(a)前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せと、(b)前記コンテンツ、前記デバイスの仮想環境に対するナビゲーション、前記1つ又は複数の他のデバイス、またはそれらの組合せとの間の1つ又は複数の仮想コミュニケーション;(a)前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに関連する1つ又は複数の仮想キャラクターと、(b)前記コンテンツとの間の関係;またはそれらの組合せに関連している、請求項7から11の何れかに記載の方法。
  13. 少なくとも1つのプロセッサと;
    1つ又は複数のプログラムのためのコンピュータプログラムコードを含む少なくとも1つのメモリを備える装置であって、
    前記少なくとも1つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサと共に、前記装置に少なくとも:
    1つ又は複数の没入インタラクションイベントを決定するために、デバイスに提供されるコンテンツを処理すること及び/又は処理を進めることと;
    (a)前記1つ又は複数の没入インタラクションイベントを、少なくとも一部発生させるために、前記デバイス、1つ又は複数の他のデバイス、またはそれらの組合せを制御する1つ又は複数の制御信号;(b)前記1つ又は複数の制御信号を伝送する1つ又は複数のプロトコル;または(c)これらの組合せを決定することと;
    前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに対する、前記1つ又は複数の制御信号の伝送を少なくとも一部行うこと
    を実行させるように構成される、装置。
  14. 前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せは、前記1つ又は複数の没入インタラクションイベントに基づいて前記コンテンツとやり取りするために限って設計されたものではない、請求項13に記載の装置。
  15. 前記装置はさらに、
    前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せの1つ又は複数の機能の決定をさせられ、
    前記1つ又は複数の没入インタラクションイベント、前記1つ又は複数の制御信号、前記1つ又は複数のプロトコル、またはそれらの組合せは、前記1つ又は複数の機能に少なくとも一部基づく、請求項13又は14に記載の装置。
  16. 前記装置はさらに、
    前記コンテンツで表現される1つ又は複数の仮想デバイスを決定することと;
    前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せにおいて、前記1つ又は複数の制御信号に少なくとも一部基づく、前記コンテンツの前記1つ又は複数の仮想デバイスに関連する1つ又は複数の動作、1つ又は複数の機能、1つ又は複数の特性、またはそれらの組合せのシミュレートを少なくとも一部行うこと
    を実行させられる、請求項13から15の何れかに記載の装置。
  17. 前記装置はさらに、
    前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せにおける、前記1つ又は複数の制御信号の実行を伴って、前記1つ又は複数の仮想デバイスの前記1つ又は複数の動作、前記1つ又は複数の機能、前記1つ又は複数の特性、またはそれらの組合せの同期を少なくとも一部行うこと
    をさせられる、請求項16に記載の装置。
  18. 前記装置はさらに、
    1つ又は複数の対応制御信号、1つ又は複数の対応プロトコル、またはそれらの組合せに関する、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せの照会を少なくとも一部行うことと;
    前記1つ又は複数の対応制御信号、前記1つ又は複数の対応プロトコル、またはそれらの組合せに少なくとも一部基づく、前記1つ又は複数の制御信号、前記1つ又は複数のプロトコル、またはそれらの組合せを決定すること
    を実行させられる、請求項13から17の何れかに記載の装置。
  19. 前記装置はさらに、
    前記コンテンツの1つ又は複数の表現を、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに挿入することを少なくとも一部行うことと;
    前記コンテンツの1つ又は複数の表現と、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せとの間の1つ又は複数のインタラクションを決定することと;
    前記1つ又は複数の没入インタラクションイベントを決定するために、前記1つ又は複数のインタラクションを処理すること及び/又は処理を進めること
    を実行させられる、請求項13から18の何れかに記載の装置。
  20. 前記装置にさらに、
    1つ又は複数の没入インタラクションイベントに少なくとも一部基づいて、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに関連する1つ又は複数のユーザインタフェースにおいて、前記コンテンツに関連する仮想情報と、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに固有の情報との結合を少なくとも一部行うこと
    をさせられる、請求項19に記載の装置。
  21. 前記1つ又は複数のユーザインタフェースは、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せのユーザインタフェースである、請求項20に記載の装置。
  22. 前記仮想情報は、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに関連する固有情報、または前記固有情報のフォーマット、あるいはそれらの組合せと一致する、請求項20又は21に記載の装置。
  23. 前記装置はさらに、
    前記1つ又は複数のインタラクション、前記1つ又は複数の没入インタラクションイベント、またはそれらの組合せに少なくとも一部基づく、前記コンテンツの変更、前記コンテンツとのやり取り、またはそれらの組合せを少なくとも一部行うこと
    をさせられる、請求項19から22の何れかに記載の装置。
  24. 前記1つ又は複数のインタラクションは、(a)前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せと、(b)前記コンテンツ、前記デバイスの仮想環境に対するナビゲーション、前記1つ又は複数の他のデバイス、またはそれらの組合せとの間の1つ又は複数の仮想コミュニケーション;(a)前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに関連する1つ又は複数の仮想キャラクターと、(b)前記コンテンツとの間の関係;またはそれらの組合せに関連している、請求項19から23の何れかに記載の装置。
  25. 1つ又は複数の没入インタラクションイベントを決定するために、デバイスに提供されるコンテンツを処理すること及び/又は処理を進めることと;
    (a)前記1つ又は複数の没入インタラクションイベントを、少なくとも一部発生させるために、前記デバイス、1つ又は複数の他のデバイス、またはそれらの組合せを制御する1つ又は複数の制御信号;(b)前記1つ又は複数の制御信号を伝送する1つ又は複数のプロトコル;または(c)これらの組合せを決定することと;
    前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに対する、前記1つ又は複数の制御信号の伝送を少なくとも一部行うことと;
    を含む、方法。
  26. 前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せは、前記1つ又は複数の没入インタラクションイベントに基づいて前記コンテンツとやり取りするために限って設計されたものではない、請求項25に記載の方法。
  27. 前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せの1つ又は複数の機能を決定することを更に含み、
    前記1つ又は複数の没入インタラクションイベント、前記1つ又は複数の制御信号、前記1つ又は複数のプロトコル、またはそれらの組合せは、前記1つ又は複数の機能に少なくとも一部基づく、請求項25又は26に記載の方法。
  28. 前記コンテンツで表現される1つ又は複数の仮想デバイスを決定することと;
    前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せにおいて、前記1つ又は複数の制御信号に少なくとも一部基づく、前記コンテンツの前記1つ又は複数の仮想デバイスに関連する1つ又は複数の動作、1つ又は複数の機能、1つ又は複数の特性、またはそれらの組合せのシミュレートを少なくとも一部行うことと;
    を更に含む、請求項25から27の何れかに記載の方法。
  29. 前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せにおける、前記1つ又は複数の制御信号の実行を伴って、前記1つ又は複数の仮想デバイスの前記1つ又は複数の動作、前記1つ又は複数の機能、前記1つ又は複数の特性、またはそれらの組合せの同期を少なくとも一部行うことを更に含む、請求項28に記載の方法。
  30. 1つ又は複数の対応制御信号、1つ又は複数の対応プロトコル、またはそれらの組合せに関する、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せの照会を少なくとも一部行うことと;
    前記1つ又は複数の対応制御信号、前記1つ又は複数の対応プロトコル、またはそれらの組合せに少なくとも一部基づく、前記1つ又は複数の制御信号、前記1つ又は複数のプロトコル、またはそれらの組合せを決定することと;
    を更に含む、請求項25から29の何れかに記載の方法。
  31. 前記コンテンツの1つ又は複数の表現を、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに挿入することを少なくとも一部行うことと;
    前記コンテンツの1つ又は複数の表現と、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せとの間の1つ又は複数のインタラクションを決定することと;
    前記1つ又は複数の没入インタラクションイベントを決定するために、前記1つ又は複数のインタラクションを処理すること及び/又は処理を進めることと;
    を更に含む、請求項25から30の何れかに記載の方法。
  32. 1つ又は複数の没入インタラクションイベントに少なくとも一部基づいて、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに関連する1つ又は複数のユーザインタフェースにおいて、前記コンテンツに関連する仮想情報と、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに固有の情報との結合を少なくとも一部行うことを更に含む、請求項30に記載の方法。
  33. 前記1つ又は複数のユーザインタフェースは、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せのユーザインタフェースである、請求項32に記載の方法。
  34. 前記仮想情報は、前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに関連する固有情報、または前記固有情報のフォーマット、あるいはそれらの組合せと一致する、請求項32又は33に記載の方法。
  35. 前記1つ又は複数のインタラクション、前記1つ又は複数の没入インタラクションイベント、またはそれらの組合せに少なくとも一部基づく、前記コンテンツの変更、前記コンテンツとのやり取り、またはそれらの組合せを少なくとも一部行うことを更に含む、請求項31から34の何れかに記載の方法。
  36. 前記1つ又は複数のインタラクションは、(a)前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せと、(b)前記コンテンツ、前記デバイスの仮想環境に対するナビゲーション、前記1つ又は複数の他のデバイス、またはそれらの組合せとの間の1つ又は複数の仮想コミュニケーション;(a)前記デバイス、前記1つ又は複数の他のデバイス、またはそれらの組合せに関連する1つ又は複数の仮想キャラクターと、(b)前記コンテンツとの間の関係;またはそれらの組合せに関連している、請求項31から35の何れかに記載の方法。
  37. 前記装置は携帯電話であって、
    前記携帯電話の機能の少なくとも一部のユーザ制御を、ディスプレイを使用して容易にするように、かつユーザ入力に応答するように構成される、ユーザインタフェース回路およびユーザインタフェースソフトウェアと;
    前記携帯電話のユーザインタフェースの少なくとも一部を表示するように、かつ前記携帯電話の機能の少なくとも一部のユーザ制御を容易にするように構成される、ディスプレイおよびディスプレイ回路と;
    を備える、請求項13から24の何れかに記載の装置。
  38. 請求項25から36の何れかに記載の方法を実行する手段を備える、装置。
  39. 前記装置は携帯電話であって、
    前記携帯電話の機能の少なくとも一部のユーザ制御を、ディスプレイを使用して容易にするように、かつユーザ入力に応答するように構成される、ユーザインタフェース回路およびユーザインタフェースソフトウェアと;
    前記携帯電話のユーザインタフェースの少なくとも一部を表示するように、かつ前記携帯電話の機能の少なくとも一部のユーザ制御を容易にするように構成される、ディスプレイおよびディスプレイ回路と;
    を備える、請求項38に記載の装置。
  40. 1つ又は複数のプロセッサにより実行されると、装置に、請求項25から36の何れかに記載の方法を少なくとも実行させる、1つ又は複数の命令の1つ又は複数のシーケンスを担持する、コンピュータ可読記憶媒体。
  41. 1つ又は複数のプロセッサにより実行されると、装置に、請求項25から36の何れかに記載の方法を少なくとも実行させる、1つ又は複数の命令の1つ又は複数のシーケンスを含む、コンピュータプログラム。
  42. 少なくとも1つのサービスへのアクセスを可能にするように構成される少なくとも1つのインタフェースへのアクセスを容易にする方法であって、前記少なくとも1つのサービスは、本請求項25から36の何れかに記載の方法を実行するように構成される、方法。
  43. (1)データ及び/又は(2)情報、及び/又は(3)少なくとも1つの信号の処理を進めること及び/又は処理することを含む方法であって、前記(1)データ及び/又は前記(2)情報及び/又は前記(3)少なくとも1つの信号は、請求項25から36の何れかに記載の方法に少なくとも一部基づいている、方法。
  44. (1)少なくとも1つのデバイスユーザインタフェース要素及び/又は(2)少なくとも1つのデバイスユーザインタフェース機能の形成を進めること及び/又はその変形を進めることを含む方法であって、前記(1)少なくとも1つのデバイスユーザインタフェース要素及び/又は前記(2)少なくとも1つのデバイスユーザインタフェース機能は、請求項25から36の何れかに記載の方法に少なくとも一部基づいている、方法。
JP2015510592A 2012-05-08 2012-05-08 日常デバイスを介した没入インタラクションを提供する方法及び装置 Active JP6124998B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/075168 WO2013166649A1 (en) 2012-05-08 2012-05-08 Method and apparatus for providing immersive interaction via everyday devices

Publications (2)

Publication Number Publication Date
JP2015520447A true JP2015520447A (ja) 2015-07-16
JP6124998B2 JP6124998B2 (ja) 2017-05-10

Family

ID=49550056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015510592A Active JP6124998B2 (ja) 2012-05-08 2012-05-08 日常デバイスを介した没入インタラクションを提供する方法及び装置

Country Status (6)

Country Link
US (1) US9635159B2 (ja)
EP (1) EP2847961B1 (ja)
JP (1) JP6124998B2 (ja)
KR (1) KR101850179B1 (ja)
CN (1) CN104412557B (ja)
WO (1) WO2013166649A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6587918B2 (ja) * 2015-11-27 2019-10-09 京セラ株式会社 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラム及び電子機器システム
US10798442B2 (en) * 2017-02-15 2020-10-06 The Directv Group, Inc. Coordination of connected home devices to provide immersive entertainment experiences
US20200108320A1 (en) * 2017-06-08 2020-04-09 Sony Corporation Information processor, information processing method, and program
CN109298776B (zh) * 2017-07-25 2021-02-19 阿里巴巴(中国)有限公司 增强现实互动系统、方法和装置
US10813169B2 (en) 2018-03-22 2020-10-20 GoTenna, Inc. Mesh network deployment kit
KR102663888B1 (ko) 2018-09-18 2024-05-08 삼성전자주식회사 냉장고 및 그의 제어방법
US11353259B2 (en) 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157282A (ja) * 1999-11-15 2001-06-08 Internatl Business Mach Corp <Ibm> リモートコントロールシステム、サーバ・クライアントシステム、製品端末機器の制御用サーバ、製品端末機器操作方法、機器情報共有方法、記憶媒体、およびプログラム伝送装置
JP2002063505A (ja) * 2000-08-16 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 情報配信方法、情報配信センタ装置、情報配信端末装置及びキャラクタ人形
JP2004127226A (ja) * 2002-10-03 2004-04-22 Teglet Gijutsu Kaihatsu:Kk メールを利用したテレビドラマの裏話配信方法とドラマの展開手法
JP2004135051A (ja) * 2002-10-10 2004-04-30 Sony Corp 情報処理システム、サービス提供装置および方法、情報処理装置および方法、記録媒体、並びにプログラム
JP2006201912A (ja) * 2005-01-19 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> 3次元仮想オブジェクト情報提供サービス処理方法と3次元仮想オブジェクト提供システムおよびプログラム
JP2010050630A (ja) * 2008-08-20 2010-03-04 Asahi Satellite Broadcasting Ltd 放送番組演出システム及び放送番組演出方法
US20110016497A1 (en) * 2009-07-15 2011-01-20 David Bloom Immersive Vehicle Multimedia System
US20110055715A1 (en) * 2009-09-03 2011-03-03 Samsung Electronics Co., Ltd. Methods and apparatus for remote control service in a network
US20110107329A1 (en) * 2009-11-05 2011-05-05 International Business Machines Corporation Method and system for dynamic composing and creating 3d virtual devices
US20110221962A1 (en) * 2010-03-10 2011-09-15 Microsoft Corporation Augmented reality via a secondary channel

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3059519A (en) 1956-09-05 1962-10-23 Austin N Stanton Headgear mounted cathode ray tube and binocular viewing device
US4542291A (en) 1982-09-29 1985-09-17 Vpl Research Inc. Optical flex sensor
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
EP0864145A4 (en) 1995-11-30 1998-12-16 Virtual Technologies Inc TACTILE FEEDBACK FOR HUMAN / MACHINE INTERFACE
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6280327B1 (en) 1998-06-05 2001-08-28 Arista Interactive Llc Wireless game control units
US6878066B2 (en) 1998-02-13 2005-04-12 Freedom Wave Llc Wireless game control units
US7831930B2 (en) * 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
US6215498B1 (en) 1998-09-10 2001-04-10 Lionhearth Technologies, Inc. Virtual command post
US7925703B2 (en) 2000-12-26 2011-04-12 Numedeon, Inc. Graphical interactive interface for immersive online communities
US7672543B2 (en) 2005-08-23 2010-03-02 Ricoh Co., Ltd. Triggering applications based on a captured text in a mixed media environment
US20070184899A1 (en) * 2006-02-03 2007-08-09 Nokia Corporation Gaming device, method, and computer program product for modifying input to a native application to present modified output
US20090010620A1 (en) 2006-03-01 2009-01-08 L.A.B. Inc. Video-Linked Controller of External Target Device and Video Recording Medium Used Teherin
US9088425B2 (en) * 2006-05-04 2015-07-21 Verizon Patent And Licensing Inc. Method and apparatus for collaboration among individuals
KR100836882B1 (ko) 2007-04-04 2008-06-11 에스케이 텔레콤주식회사 가상 세계 캐릭터와의 화상 통화 서비스 시스템 및 방법
US20090210483A1 (en) 2008-02-15 2009-08-20 Sony Ericsson Mobile Communications Ab Systems Methods and Computer Program Products for Remotely Controlling Actions of a Virtual World Identity
KR20090093366A (ko) 2008-02-29 2009-09-02 주식회사 엔씨소프트 온라인 게임에 있어서의 통화 서비스 시스템 및이동통신단말기에서의 통화 시도 처리 방법
US20100030578A1 (en) * 2008-03-21 2010-02-04 Siddique M A Sami System and method for collaborative shopping, business and entertainment
US20100005480A1 (en) 2008-07-07 2010-01-07 International Business Machines Corporation Method for virtual world event notification
US20100008265A1 (en) 2008-07-14 2010-01-14 Carl Johan Freer Augmented reality method and system using logo recognition, wireless application protocol browsing and voice over internet protocol technology
US20100199228A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US8732592B2 (en) * 2009-06-08 2014-05-20 Battelle Energy Alliance, Llc Methods and systems relating to an augmented virtuality environment
KR20110118421A (ko) 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
US9417691B2 (en) * 2010-03-26 2016-08-16 Nokia Technologies Oy Method and apparatus for ad-hoc peer-to-peer augmented reality environment
CN101834856B (zh) * 2010-04-19 2012-11-07 浙江大学 高沉浸感虚拟旅游漫游交互方法及系统
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157282A (ja) * 1999-11-15 2001-06-08 Internatl Business Mach Corp <Ibm> リモートコントロールシステム、サーバ・クライアントシステム、製品端末機器の制御用サーバ、製品端末機器操作方法、機器情報共有方法、記憶媒体、およびプログラム伝送装置
JP2002063505A (ja) * 2000-08-16 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 情報配信方法、情報配信センタ装置、情報配信端末装置及びキャラクタ人形
JP2004127226A (ja) * 2002-10-03 2004-04-22 Teglet Gijutsu Kaihatsu:Kk メールを利用したテレビドラマの裏話配信方法とドラマの展開手法
JP2004135051A (ja) * 2002-10-10 2004-04-30 Sony Corp 情報処理システム、サービス提供装置および方法、情報処理装置および方法、記録媒体、並びにプログラム
JP2006201912A (ja) * 2005-01-19 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> 3次元仮想オブジェクト情報提供サービス処理方法と3次元仮想オブジェクト提供システムおよびプログラム
JP2010050630A (ja) * 2008-08-20 2010-03-04 Asahi Satellite Broadcasting Ltd 放送番組演出システム及び放送番組演出方法
US20110016497A1 (en) * 2009-07-15 2011-01-20 David Bloom Immersive Vehicle Multimedia System
US20110055715A1 (en) * 2009-09-03 2011-03-03 Samsung Electronics Co., Ltd. Methods and apparatus for remote control service in a network
US20110107329A1 (en) * 2009-11-05 2011-05-05 International Business Machines Corporation Method and system for dynamic composing and creating 3d virtual devices
US20110221962A1 (en) * 2010-03-10 2011-09-15 Microsoft Corporation Augmented reality via a secondary channel

Also Published As

Publication number Publication date
CN104412557B (zh) 2017-06-20
CN104412557A (zh) 2015-03-11
EP2847961A1 (en) 2015-03-18
WO2013166649A1 (en) 2013-11-14
KR101850179B1 (ko) 2018-04-18
US9635159B2 (en) 2017-04-25
EP2847961B1 (en) 2021-10-06
US20150111547A1 (en) 2015-04-23
KR20150009986A (ko) 2015-01-27
JP6124998B2 (ja) 2017-05-10
EP2847961A4 (en) 2016-01-06

Similar Documents

Publication Publication Date Title
JP6124998B2 (ja) 日常デバイスを介した没入インタラクションを提供する方法及び装置
US10963147B2 (en) Media-aware interface
US11860938B2 (en) Play control of content on a display device
US20210390580A1 (en) Methods, systems and media for presenting media content that was advertised on a second screen device using a primary device
JP5281063B2 (ja) ブラウザベースのゲームを代替コントローラおよびインタフェースでプレイする方法
WO2013121098A1 (en) Method and apparatus for providing social interaction with programming content
JP2014519729A (ja) ディスプレイデバイス上のコンテンツの再生制御
CN111436008A (zh) 一种视频上展示信息的方法、装置、设备和存储介质
KR20160135435A (ko) 디스플레이 디바이스 및 그 제어 방법
US20160210665A1 (en) Methods, systems and media for presenting media content that was advertised on a second screen device using a primary device
TWI521365B (zh) 用以處理統一資源定位器(url)以引動功能性的方法
KR20170129398A (ko) 디지털 디바이스 및 그 제어 방법
KR102159816B1 (ko) 실감형 멀티미디어 컨텐츠 재생 방법 및 장치
KR20170030487A (ko) 전자 장치 및 이의 컨텐츠 제공 방법
CN107771387A (zh) 用于在不访问网络时间协议的情况下设定设备中的时间和日期的系统和方法
KR20170126645A (ko) 디지털 디바이스 및 그 제어 방법
WO2020143796A1 (zh) 一种视频播放控制方法、装置、设备和存储介质
EP2904507A1 (en) Method and apparatus for providing mashup service of component services
WO2020143795A1 (zh) 一种视频上展示信息的方法、装置、设备和存储介质
US11500925B2 (en) Playback of audio content along with associated non-static media content
KR20180038273A (ko) 디지털 디바이스 및 그 제어 방법
US20210121784A1 (en) Like button
CN117008713A (zh) 一种增强现实显示方法、装置及计算机可读存储介质
CN104683822A (zh) 媒体体验的动态增强

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20151112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160120

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170404

R150 Certificate of patent or registration of utility model

Ref document number: 6124998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250