特定の定義
他に特段の定義のない限り、本明細書で使用される技術用語はすべて、本発明が属する当業者によって一般に理解されるのと同じ意味を有している。明細書および添付の請求項内で用いられる通り、単数形「a」、「an」および「the」は、文脈が他に明確に指示していない限り、複数形の引用を含む。本明細書の「または」へのあらゆる言及は、特に他に明記のない限り、「および/または」を包含することを意図している。
本明細書に使用されるように、「トリガー」は、AR、VRまたはMxRメディアコンテンツを特定および/またはアクティブ化するために使用される、画像、フレームマーカー(frame marker)(例えばQRコード(登録商標))、テキスト、物理的な三次元のオブジェクトなどを含む。
本明細書に使用されるように、「非視覚的なトリガー」は、AR、VRまたはMxRメディアコンテンツを特定および/またはアクティブ化するために使用される、近距離無線通信(Near Field Communications)(NFC)タグ、無線周波数識別データ(Radio Frequency Identification Data)(RFID)モード2または6タグ、スマートフォン上の位置情報サービス(LBS)アクティブなどを含む。
様々な実施形態が、コンピュータシミュレーテッドリアリティのインタラクションを実行するためのツールおよび技術を提供し、特定の実施形態では、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法、システムおよびコンピュータソフトウェアを提供する。
コンピュータシミュレーテッドリアリティのユーザ体験(「UX」)
様々な実施形態では、第1のカメラは、印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャすることができ、コンピューティングシステムは、キャプチャされた1つ以上の画像が1つ以上のトリガーを含むかどうか判断するために、キャプチャされた1つ以上の画像を分析しうる。キャプチャされた1つ以上の画像が1つ以上のトリガーのうちの少なくとも1つのトリガーを含むという判定に基づいて、コンピューティングシステムは、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定しうる。コンピューティングシステムは、(例えば、ユーザが見ているものに関してカメラを使用してユーザの目をキャプチャすることによって)ユーザの視野を判定することができ、該視野は印刷された出版物の少なくとも一部を含む。必要な場合(すなわち、1つ以上のメディアコンテンツの向きがまだユーザなどの視野と位置合わせされていないとをコンピューティングシステムが判定する場合)、コンピューティングシステムは、続いて、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正しうる。次いで、1つ以上のメディアコンテンツ(場合によっては、ユーザの視野と位置合わせするようにその向きが修正されたもの)が、ビジュアルアウトプットデバイスを用いて、ユーザに提示されてもよく、その結果、1つ以上のメディアコンテンツが、少なくとも印刷された出版物の一部に関しての仮想オーバーレイとして提示される。
あるいは、視覚的なトリガーを使用するのではなく、非視覚的なトリガーを使用してもよい。このような場合には、無線通信が、ビジュアルアウトプットデバイスと、印刷された出版物に関連する1つ以上の非視覚的なトリガーのうち少なくとも1つのトリガーと、の間で確立されうる。ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、コンピューティングシステムは、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定しうる。コンピューティングシステムは、(例えば、ユーザが見ているものに関してカメラを使用してユーザの目をキャプチャすることによって)ユーザの視野を判定することができ、該視野は印刷された出版物の少なくとも一部を含む。必要な場合(すなわち、1つ以上のメディアコンテンツの向きがまだユーザなどの視野と位置合わせされていないとをコンピューティングシステムが判定する場合)、コンピューティングシステムは、続いて、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正しうる。次いで、1つ以上のメディアコンテンツ(場合によっては、ユーザの視野と位置合わせするようにその向きが修正されたもの)が、ビジュアルアウトプットデバイスを用いて、ユーザに提示されてもよく、その結果、1つ以上のメディアコンテンツが、少なくとも印刷された出版物の一部に関しての仮想オーバーレイとして提示される。
いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうるが、これに限定されない。いくつかの実施形態では、少なくとも1つの視覚的なトリガーはそれぞれ、限定されないが、出版物の少なくとも一部上に提供されるクイックレスポンス(QR)コード、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されたキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、などを含みうる。場合によっては、少なくとも1つの非視覚的なトリガーはそれぞれ、無線周波数識別(「RFID」)タグ、Bluetooth低エネルギー(「BLE」)タグ、近距離無線通信(「NFC」)タグ、または、リアルタイム位置情報システム(「RTLS」)タグ、などのうちの1つを含みうるが、これに限定されない。
さらなる実施形態では、1つ以上のメディアコンテンツは三次元(3D)静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックなどの少なくとも1つを含み、そのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などのうちの1つを含みうるが、これに限定されない。
いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含みうるが、これに限定されない。いくつかの実施形態によれば、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された二次元(2D)グラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。
いくつかの実施形態では、上述のコンピューティングシステムはコンピュータビジョン(computer vision)(いくつかの場合には、物体認識による)を含みうる。ここで、「コンピュータビジョン」はオブジェクトとトリガーを認識し、トリガーの検出に応じてコンテンツのAR提示を開始する画像キャプチャ技術を指すことがある(トリガーは、視覚ベースのトリガー、非視覚ベースのトリガー、視覚的トリガーと非視覚的トリガーの任意の組み合わせなどであり得る)。いくつかの例では、コンピュータビジョン技術は、VRへの架け橋としてARを使用すること、およびその逆も含み、ここで、いくつかの場合には、コンピュータビジョンシステムは、ユーザまたは読者のための対話型体験を改良する要因に応じて、動的にまたは選択的にARとVRとの間でシフトし得る(そして、それは、ARおよび/またはVR提示における特定の刺激に対するユーザの応答を検出および特定することに基づきうる)。本明細書において、「拡張現実」または「AR」は、実際のオブジェクトおよび状況の実際の景色の上、または、実際のオブジェクトおよび状況の画像の上、のいずれかにあるシミュレートされた構成体の仮想オーバーレイを指すことがあり、その一方で、「仮想現実」または「VR」は、ユーザによって観察されるすべてのものがシミュレートされている囲まれた感覚的な環境を指すことがあり、および、「複合現実」または「MxR」はARおよびVRの組み合わせを指すことがある。(例えば、AR要素がシミュレートされ、提示中に埋め込まれている、VRの提示など)。これらおよびコンピュータビジョンの他の実施は、様々な非限定的な実施形態に対して詳細に下に記載される。
印刷された出版物に関連するキャラクター、ストーリー要素、設定、シーンなどの仮想オーバーレイは、ユーザまたは読者に、出版物に関連するキャラクター、設定、および/またはストーリーとの仮想的なインタラクション(ユーザまたは読者の想像は別として)を提供する。いくつかの場合には、そのようなインタラクションが、ユーザが出版物のストーリーからの仮想のキャラクターと行うインタラクティブなゲームを含む。いくつかの実施形態はまた、ユーザまたは読者に、AR、VR、および/または複合現実(mixed reality)(すなわち、ARとVRの組み合わせ)を介して、ストーリーにおける主役(protagonist)または対立する役(antagonist)の観点からストーリーを体験することを可能にし、これにより、ユーザまたは読者の認知や、出版物中の登場人物やストーリーに対する効果的または影響を受けた共感性を高める。さらに、ARとVRの間での動的または選択的なシフトは、ユーザまたは読者に、出版物のストーリーや登場人物に関するより没入型のインタラクティブな体験を提供する。
コンピュータシミュレーテッドリアリティのプラットフォーム(Computer−Simulated Reality Platform)
コンピュータシミュレーテッドリアリティのプラットフォームは、MxRメディアコンテンツアプリケーション用のスケーラブルで再利用可能なフレームワークおよびエンドユーザーアプリケーションであり、ARと2Dのフロントエンドを没入型VRへと投ずる機能を有する。コンピュータシミュレーテッドリアリティのプラットフォームは、メディアコンテンツの提示の最初のデザインから出版および分析まで追跡および管理する、合理化された費用対効果の高い制作プロセスを可能にする、エンドツーエンドの制作プロセスとメディアコンテンツアプリケーションフレームワークを提供する。いくつかの場合には、完全にカスタムのクライアント/サーバ技術であるフレームワークは、独自のアプリケーションフレームワークにリリースされる、あらゆるメディアコンテンツアセットまたはアプリケーション(本明細書では「アセット(asset)」、「メディアコンテンツ(media content)」、「アプリケーション(application)」などとも呼ばれる)の作成、配信、および管理を提供する。プラットフォームは、ユーザインタフェース(「UI」)および/またはユーザ体験(「UX」)のグラフィック表現、アーキテクチャ上およびサーバーベースの機能(例えばホスト型コンテンツなど)、アプリケーションの開発およびライブバージョンのホスティングおよびサポートのための技術的要件およびコンテンツ管理(「CMS」)を含むが、これに限定されない。プラットフォームは、挿話的なテレビ(episodic television)のアセットの再利用を含むがこれに限定されない開発プロジェクトならびにMxRベースのプラットフォームに、普遍的に適応できるように意図されている。
制作前プランニングおよびスケジューリング:
アセット(例えばMicrosoft(登録商標)、EXCEL(登録商標)、Google(登録商標)Docs、電子メールアプリケーション、メッセージングアプリケーションなど)の制作を追跡する従来の方法は、通信が切断され、通常は一方向であるという欠点がある。プラットフォームは、Autodesk(登録商標)、Maya(登録商標)、Autodesk(登録商標)Mudbox、Adobe(登録商標)、Photoshop(登録商標)などを含むが、これらに限定されないアセット制作システムとソフトウェアとの直接的な接続、および起動機能を提供しながら、アセットの制作を追跡するこれらの従来の手段に代わるオールインワンの追跡および管理のソリューションを作成する。サービスとしてのソフトウェア(software as a service)(「SaaS」)モデルを使用して、カスタム制作工程は、場合によっては制作前プランニングおよびスケジューリングツール(例えばAutodesk Shotgunなど)を使用して、構築された(built−out)。デザイン、開発、アーティストのタスク、メディアコンテンツの構造とタスク管理(tasking)、アニメーション、オーディオ、ならびに、アプリケーションのリリースバージョンとベータバージョンのバグを追跡するためのバグ管理システム、を正確に追跡するために、制作のあらゆる段階のカスタムインタフェースが作成され、および、これらは、冗長にバックアップされた128ビット(またはそれ以上)の暗号化オンラインデータベース中で追跡される。
独自の追跡および制作テンプレートを使用して、プラットフォームは、最小限の制作オーバーヘッドで、厳格なレベルの品質管理を維持しながら、書籍の制作を指数関数的に拡大する(scale)ために、内外のアーティスト、開発者、作家などを管理することができる。
いくつかの実施形態では、デスクトップコンピュータ、ラップトップコンピュータ、モバイルデバイス、タブレットプラットフォームなどの1つ以上において起動しうる、プラットフォーム(例えば、Quantum BridgeTMなど)の内部ツールセットは、Python、JavaScript(登録商標)、およびC#などの言語で書かれうる、カスタムワークフロー(例えばQuantum TransportTMなど)を介して、内部ソフトウェアおよび開発ツールのすべてと接続してもよい。カスタムワークフローアプリケーションプログラムインターフェイス(「API」)は、開発パイプラインのそれぞれの異なるセクションまたはコンポーネントに、互いに通信する能力を提供することができ、デジタルアセットが制作前のフェーズからアセット統合またはアセット配信へとステータスを変更した時や、アセットに統合準備完了または配信準備完了などのフラグが立てられた時などに、メッセージを送受信する。
いくつかの実施形態によれば、制作追跡、プランニング、およびタスク管理システムを使用して、開発者の特定の事前制作および制作スタイルに合うカスタムワークフローを開発しながら、制作の進行に合わせて改善と修正を行うことができる。制作追跡、プランニング、およびタスク管理システムは、アーティストの時間を追跡し、新しいデジタルストーリーの作成に必要なすべてのアセットに対する配信を追跡し、依存性タスク(あるタスクが終了すると開始したり、あるタスクが特定の段階に進行すると開始するもの)を作成し、上記すべてのバージョンを追跡する。制作追跡、プランニング、およびタスク管理システムはまた、アセットの配信(delivery)のために、開発、テスト、および制作データベースをサーバまたはコンピューティングシステムにシード(seed)することもできる。内蔵のAPIおよび/またはプラットフォームツールセットを使用して、アセットに承認のフラグが立てられると、生成されたファイルは、アセット制作システム中のフレームワークで表示および確認するために、制作管理システム上のデータを、アセット制作システム用のアセットバンドル(Unity 3Dなど)にプッシュおよび変換する、カスタムスクリプト(Quantum Trigger(商標)スクリプトなど)を介して同時発生または同期されることができる。。
タイムラインのプランニングから、アセットごとのコスト消費(costing)(モデル、サウンド、アニメーションなど)まで、プラットフォームは、プラットフォームツールセット中のカスタムツールと同様にスケジューリングツール(例えば制作管理システム中のもの)を使用して時間/コストを正確にスケジュールして管理することができる。これらにより、プラットフォームは、プロセスがコンセプトから完成、流通、納品に至るまでに進行するにつれ、新しいアセットを追跡および予測することができる。アセットが作成されるタイムラインでは常に変更が必要な場合があり、各段階を完了するために必要な人員または開発者の変更が必要な場合がある場合、これは公開される各アセットにとって重要である。
アセット制作:
典型的には、3Dまたは2Dでの制作は、アセットの構築からアプリケーション内で更新された最新のコンテンツの表示まで、多くの単一の障害を発生させる、より手動での割り当ておよび反復プロセスが行われる。場合によっては、いくつかの制作方法論は、展開されている多層のソリューションには拡張できない(not scalable)。
タスク管理、レビュー、および承認機能を備えたツール(例えば生産管理システムツール、プラットフォームツールセット、アセット作成のための業界基準ソフトウェアなど)を使用して、プラットフォームは、はるかに合理化された方法でアセットを構築し、追跡し、展開させることができる。制作プロセスで作成されたすべてのアセットは、正確な追跡ならびにエンドユーザのデバイスへのより簡単なデジタル配信および更新のために、プラットフォームツールセットで作成されたコードを介してメタデータ、スクリプトなどに接続されうる。プラットフォームはアーティストおよび他の開発者に直接タスクを課すことができ、カスタムスクリプトを用いて、アセットの承認されたバージョンを、制作ツール一式(production suite of tools)から直接、VRベースのアプリケーション、ARベースのアプリケーションまたはMxRベースのアプリケーション、またはそれらのアプリケーションの組み合わせなど、におけるレビューのための開発テスト領域へとプッシュすることができる。
アセットの統合および制御:
プラットフォーム内のカスタムツールは、制作前の最初期段階からのデータを結び付けることができる。データに基づくアプローチの使用により、テストされその後公開されるアセットビルド内のすべてのアセットを追跡することができる。これは品質管理を助けるだけでなく、比較的マニュアルベースの開発ワークフローにおいて非常に典型的な予算超過、時間の遅れ、および内容のバグについて助けとなる。マルチプラットフォームアセット制作システムを使用することで、非常にカスタマイズ可能な外観およびアセット(2Dおよび3D実施の両方において)が作られうる。マルチプラットフォーム機能により、1つのコードベース内での開発が可能になり、微調整でフレームワークを複数の異なるプレゼンテーションプラットフォームのいずれか1つにプッシュできる。コンピュータビジョン技術および対応するシステムを使用して、アセット統合システムが、拡張現実に基づく体験(または複合現実に基づく体験)のためのモバイルデバイス上のカメラで現実世界のオブジェクトおよび画像を認識し追跡することを可能にすることができる。画像を、アプリケーション(またはアプリ)でホストすることも、コンピュータビジョン開発ウェブサイトから動的に提供することもできる。
アセットの統合および制御:
サーバ(例えば、Parse Serverなど)は、大量のデータをデジタル的に格納し、フレームワークに配信することを可能にし、アセット統合システム、ならびに他の開発プラットフォームに直接結び付くことがある。サーバは、水平方向および垂直方向に高度にスケーラブルであり得、現在利用可能なウェブサービスソリューション(例えば、Amazon(登録商標)ウェブサービスなど)上でシームレスに動作し得る。他の利点としては、限定されないが、ユーザログインおよびアカウント作成、カスタムデータベーススキーマ、より簡単な親のアカウントのためのoAuth2接続、子供のオンラインプライバシー保護法(COPPA)コンプライアンス情報の保存、プッシュ通知フレームワーク、および、サーバなどが含まれる。
アセット統合システムは、サーバ中でホストされるデータにおいて直接結び付き、これはWebサービスソリューションで実行される場合がある。サーバデータは、アセット制作システムおよびアセット統合システムなどで作成されたアセットへのフックで、生産管理システムとサーバとの間で同期されうる。これにより、事前制作からプラットフォームのリリースの配信まで、アセットおよびバージョンの追跡が可能になる。サーバはできる、デバイス、アセットおよびユーザを追跡でき、および、アセットが利用可能なすべてのプラットフォームで、ユーザ保持率の向上とフレームワークの収益化を推進するカスタム分析を作成できる。
配信プラットフォーム:
アセット統合システム、アセットまたはメディアコンテンツをサーバを介して動的に配信することで、複数のプラットフォームを迅速にサポートでき、手動での配信方法よりはるかに低コストである。Google Cardboard(商標)、Samsung GearVR(登録商標)、Google Daydream(商標)、Microsoft HoloLens(商標)、Oculus Rift(商標)、HTC Vive(商標)、Sony PlayStation VR(登録商標)などを含むがこれに限定されない、様々な配信プラットフォームを使用できる。
同期:
サーバおよびフロントエンドのクライアントの両方で独自のツールを使用して、サーバは、ユーザ体験の態様をすべて制御する。生産管理システムで同期して、サーバを、最新の、アセット、更新、ユーザ、デバイスなどに関する最先端情報のまま維持し、テストとリリースの両方のために、アプリケーションやアセットなどに関連するあらゆることについて最新の分析を実行する。
ユーザ、COPPAコンプライアンス追跡、アプリケーションフローおよび構造などを、カスタムインタフェースを介してサーバを通じてデータへと管理できる。サーバは、クライアントデバイスと通信する様々なツール(例えばMongoDB(登録商標)、Node.js、ReST、カスタムAPIなど)を利用し、これらは世界中の任意の場所に置かれてもよい。これらは、ステートレスなクライアント−サーバのキャッシュ可能な通信プロトコルに依存しており、動的に何百万ものユーザに対応する機能を有する。
データベース管理に対しマルチバージョン並行処理制御(「MVCC」)アプローチを利用することで、プラットフォームは数分以内にクライアントアプリケーション内でデータを更新することが可能になる。ストーリーポイントまたはフローの変更、アセットの削除または追加などは簡単であり、すべてのクライアントデバイスですぐに利用可能になる。
アセットアプリケーション内の特定の場所(例えば、仮想位置など)で費やされる時間の粒度の細かいレベルまでに低下した、ユーザ、インストール、地理的位置(geo−locations)、ユーザ体験に費やされる時間などを、実際の顧客データを使用して、ユーザーエクスペリエンスを提供するためのプロセスを継続的に改良し、磨きをかけることを可能にする、追跡保持、イベントについてのユーザファネル、および、多様なカスタマーレポートの追跡に使用できるカスタム解析のためのサーバを介して追跡し供給することができる。
以下の詳細な説明は、当業者がそのような実施形態を実行することを可能にするために、少数の典型的な実施形態をさらに詳細に例示する。記載された例は、例証を目的として提供され、本発明の範囲を制限することを意図していない。
以下の記載では、説明を目的として、記載された実施形態についての完全な理解を与えるために、多数の具体的な詳細が説明されている。しかしながら、本発明の他の実施形態はこれらの具体的な詳細のいくつかなしに実施されてもよいことが、当業者には明らかであるだろう。他の例では、特定の構造および構造はブロック図の形で示される。いくつかの実施形態が本明細書に記載されており、様々な特徴が異なる実施形態に帰する一方で、一実施形態に関して説明された特徴は他の実施形態にも同様に組み込まれ得ることを理解されたい。しかしながら、同じ理由で、本発明の他の実施形態はそのような特徴を省略することができるので、記載された任意の実施形態の単一の特徴(複数可)は、本発明のすべての実施形態に必須であると見なされるべきではない。
様々な実施形態によって提供されたツールは、方法、システム、および/またはソフトウェアプロダクトを含むがこれに限定されない。ほんの一例として、方法は1つ以上の手順を含むことができ、それらの手順のいずれかまたはすべてはコンピュータシステムによって実行される。相当するように、ある実施形態は、様々な他の実施形態によって提供された方法に従って、1つ以上の手順を行なう命令で構成されたコンピュータシステムを提供しうる。同様に、コンピュータプログラムは、そのような動作を実行するためにコンピュータシステム(および/またはその中のプロセッサ)によって実行可能である一セットの命令を含みうる。多くの場合では、そのようなソフトウェアプログラムは、物理的、有形、および/または非一時的なコンピュータ可読媒体(ほんの数例を挙げると、光媒体、磁気媒体など)でエンコードされる。
本明細書に記載の様々な実施形態は、(いくつかの場合においては)ソフトウェアプロダクト、コンピュータで実施される方法、および/または、コンピュータシステムを具体化しながら、拡張現実技術、仮想現実技術、複合現実技術、インタラクティブゲーミング技術などを含むがこれに限定されない既存の技術領域に、有形の具体的な改良を提示する。他の態様では、特定の実施形態は、コンピュータまたはネットワークシステムそれ自体(例えば、以下で説明される機能を実行するためのコンピューティングデバイスまたはシステム、ユーザデバイスなど)の機能を改善でき、例えば、これは、コンピュータシステムを用いて、印刷された出版物の少なくとも一部を含むユーザの視野を判定し、コンピュータシステムを用いて、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正し、および、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することによって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示され、それによって、より現実的に見えるメディアコンテンツの仮想投影を生成することによって、拡張現実、複合現実、および仮想現実のうち2つをシームレスに切り替えることによって(特にユーザが動き回って視野を変更するときに適切な視点を維持するためには、メディアコンテンツのシミュレーションと変更が必要となる)、および、シフトに基づいてメディアコンテンツをAR、複合現実、またはVRで提示すること、などによって、ユーザのための拡張現実または仮想現実インターフェースの機能を改善することなどによる。特に、あらゆる抽象的な概念が様々な実施形態に存在する程度に、特定の新規な機能(例えば工程または操作)を含むデバイス、ソフトウェア、システムおよび方法によって、本明細書に記述されるように、それらの概念を実行することができ、これらのデバイス、ソフトウェア、システムおよび方法は、単なる従来のコンピュータ処理操作を超えて拡張するいくつかの例を挙げると、コンピュータシステムを用いて、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正し、および、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示し、その結果、1つ以上のメディアコンテンツは、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示され、または、拡張現実、複合現実、および仮想現実のうち2つをシームレスにシフトすることができ(特にユーザが動き回ったり視野を変えたりするときに適切な視点を維持するには、メディアコンテンツのシミュレーションと変更が必要となる)、および、シフトに基づいて、AR、複合現実、またはVRにおいてメディアコンテンツを提示することを含む。これらの機能は、実装するコンピュータシステムの外で具体的な結果を生み出す可能性があり、それらには、ほんの一例として、ユーザには現実的に見える物理的な出版物に関してメディアコンテンツの3D仮想投影を生成する機能と、拡張現実、複合現実、仮想現実のうち2つの間をシームレスに移行し、それによってユーザに没入型のインタラクティブな環境を提供する機能と、などが含まれ、これらは、カスタマーおよび/またはサービスプロバイダによって観察または測定されうる。
ある態様では、方法は、第1のカメラを用いて、印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャする工程;キャプチャされた1つ以上の画像が1つ以上のトリガーを含むかどうかを判定するために、コンピューティングシステムを用いて、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析する工程;および、キャプチャされた1つ以上の画像が1つ以上のトリガーのうちの少なくとも1つのトリガーを含むという判定に基づいて、コンピューティングシステムを用いて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定する工程、を含みうる。方法はまた、コンピューティングシステムを用いて、少なくとも印刷された出版物の少なくとも一部を含むユーザの視野を判定する工程、および、コンピューティングシステムを用いて、ユーザの視野と位置合わせするように1つ以上のメディアコンテンツの向きを修正する工程、を含みうる。方法は、さらに、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される、工程を含む。
いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含みうる。いくつかの実施形態では、ビジュアルアウトプットデバイスは第1のカメラを含みうる。いくつかの実施形態では、第1のカメラは、ビジュアルアウトプットデバイスに通信でつながれている間、ビジュアルアウトプットデバイスの外部にありうる。
いくつかの実施形態によれば、ビジュアルアウトプットデバイスは、第1のカメラが印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャする時にユーザの目の1つ以上の画像をキャプチャする第2のカメラを含むことができ、および、コンピュータシステムを用いてユーザの視野を判定することは、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含むことができる。
いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうる。いくつかの実施形態によれば、少なくとも1つのトリガーはそれぞれ、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、などを含む。
いくつかの実施形態では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックなどの少なくとも1つを含みうる。3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などの少なくとも1つを含みうる。
いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。いくつかの場合では、コンピューティングシステムは、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイスのコンピューティングシステム、などの少なくとも1つを含みうる。
別の態様では、装置は、第1のカメラ、ディスプレイ装置、少なくとも1つのプロセッサ、および、非一時的なコンピュータ可読媒体を含みうる。非一時的なコンピュータ可読媒体は、一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つのプロセッサによって実行される時に、該装置に:第1のカメラを用いて、印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャさせ;キャプチャされた1つ以上の画像が1つ以上のトリガーを含むかどうかを判定するために、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析させ;キャプチャされた1つ以上の画像が少なくとも1つのトリガーを含むという判定に基づいて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定させ;印刷された出版物の少なくとも一部を含む、ユーザの視野を判定させ;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正させ;および、ディスプレイデバイスを用いて、ユーザへと、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。
いくつかの実施形態では、装置は、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンなどのうちの1つを含みうる。
いくつかの場合には、装置はさらに第2のカメラを含みうる。1セットの命令は、さらに、1つ以上のプロセッサによって実行される時、該装置に:第2のカメラを用いて、第1のカメラが印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャするときに、ユーザの目の一つ以上の画像をキャプチャさせる。ユーザの視野の判定は、キャプチャされたユーザの目の1つ以上の画像の分析に基づくユーザの視野の判定を含みうる。
いくつかの実施形態によれば、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうる。いくつかの場合には、少なくとも1つのトリガーはそれぞれ、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、のうちの1つなどを含みうる。
ほんの一例として、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィック、などの少なくとも1つを含みうる。3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などの少なくとも1つを含みうる。
いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ディスプレイデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。
また別の態様では、システムは、画像キャプチャデバイス、コンピューティングシステム、およびビジュアルアウトプットデバイスを含みうる。画像キャプチャデバイスは、第1のカメラ、少なくとも1つの第1のプロセッサ、および、第1の非一時的なコンピュータ可読媒体を含みうる。第1の非一時的なコンピュータ可読媒体は、第1の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、該画像キャプチャデバイスに:第1のカメラを用いて、印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャさせ、および、キャプチャされた1つ以上の画像をコンピューティングシステムに送信させる。
コンピューティングシステムは、少なくとも1つの第2のプロセッサ、および、第2の非一時的なコンピュータ可読媒体を含みうる。第2の非一時的なコンピュータ可読媒体は、第2の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第2のプロセッサによって実行される時に、該コンピューティングシステムに:画像キャプチャデバイスから1つ以上のキャプチャされた画像を受信させ;キャプチャされた1つ以上の画像が1つ以上のトリガーを含むかどうかを判定するために、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析させ;キャプチャされた1つ以上の画像が少なくとも1つのトリガーを含むという判定に基づいて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定させ;印刷された出版物の少なくとも一部を含む、ユーザの視野を判定させ;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正させ;および、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツをビジュアルアウトプットデバイスへと送信させる。
ビジュアルアウトプットデバイスは、ディスプレイデバイス、少なくとも1つの第3のプロセッサ、および、第3の非一時的なコンピュータ可読媒体を含みうる。第3の非一時的なコンピュータ可読媒体は、第3の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、ビジュアルアウトプットデバイスに:ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツをコンピューティングシステムから受信させ;および、ディスプレイデバイスを用いて、ユーザへと、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。
いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンなどのうちの1つを含みうる。いくつかの場合には、ビジュアルアウトプットデバイスは画像キャプチャデバイスを含みうる。
いくつかの実施形態によれば、ビジュアルアウトプットデバイスは、第1のカメラが印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャする時にユーザの目の1つ以上の画像をキャプチャする第2のカメラを含むことができ、および、コンピュータシステムを用いてユーザの視野を判定することは、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含むことができる。
いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうる。いくつかの実施形態によれば、少なくとも1つのトリガーはそれぞれ、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、などを含みうる。
いくつかの場合には、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィック、などの少なくとも1つを含みうる。3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などの少なくとも1つを含みうる。
いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。いくつかの場合には、コンピューティングシステムは、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイスのコンピューティングシステム、などの少なくとも1つを含みうる。
また別の態様では、方法は、ビジュアルアウトプットデバイスと、印刷された出版物と関連する1つ以上の非視覚的なトリガーのうちの少なくとも1つのトリガーとの、間の通信を確立する工程、および、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、コンピューティングシステムを用いて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定する工程を含むことがある。方法はまた、コンピューティングシステムを用いて、少なくとも印刷された出版物の少なくとも一部を含むユーザの視野を判定する工程、および、コンピューティングシステムを用いて、ユーザの視野と位置合わせするように1つ以上のメディアコンテンツの向きを修正する工程、を含みうる。方法は、さらに、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される、工程を含む。
いくつかの実施形態によれば、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間で通信を確立することは:コンピューティングシステムを用いて、ビジュアルアウトプットデバイスが印刷された出版物に関連する1つ以上の非視覚的なトリガーの通信範囲内にあるかどうかを判定すること;および、ビジュアルアウトプットデバイスが、1つ以上の非視覚的なトリガーのうちの少なくとも1つのトリガーの通信範囲内にあるという判定に基づいて、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間で通信を確立すること、を含みうる。
いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含みうる。いくつかの場合には、ビジュアルアウトプットデバイスは、ユーザが印刷された出版物の少なくとも一部を見ている時にユーザの目の1つ以上の画像をキャプチャするカメラを含むことがあり、そして、コンピュータシステムを用いてユーザの視野を判定することは、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含む。
ほんの一例として、いくつかの場合には、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうる。いくつかの場合には、少なくとも1つのトリガーはそれぞれ、RFIDタグ、BLEタグ、NFCタグ、または、RTLSタグ、などの1つを含みうる。
いくつかの場合には、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィック、などの少なくとも1つを含みうる。3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などの少なくとも1つを含みうる。
いくつかの実施形態によれば、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。いくつかの場合には、コンピューティングシステムは、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイスのコンピューティングシステム、などの少なくとも1つを含みうる。
別の態様では、装置は、無線通信デバイス、ディスプレイデバイス、少なくとも1つのプロセッサ、および、非一時的なコンピュータ可読媒体を含みうる。非一時的なコンピュータ可読媒体は、一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つのプロセッサによって実行される時に、該装置に:無線通信デバイスを用いて、ビジュアルアウトプットデバイスと、印刷された出版物に関連する1つ以上の非視覚的なトリガーのうち少なくとも1つのトリガーと、の間の通信を確立させ;ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定させ;印刷された出版物の少なくとも一部を含む、ユーザの視野を判定させ;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正させ;および、ディスプレイデバイスを用いて、ユーザへと、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。
いくつかの実施形態では、装置は、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、などのうちの1つを含みうる。いくつかの場合には、該装置は、さらに、ユーザが印刷された出版物の少なくとも一部を見ている時にユーザの目の1つ以上の画像をキャプチャするカメラを含むことがあり、そして、コンピュータシステムを用いてユーザの視野を判定することは、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含む。
ほんの一例として、いくつかの場合には、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうる。いくつかの場合には、少なくとも1つのトリガーはそれぞれ、RFIDタグ、BLEタグ、NFCタグ、または、RTLSタグ、などのうちの1つを含みうる。
いくつかの場合には、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィック、などの少なくとも1つを含みうる。
また別の態様では、システムは、無線通信デバイス、コンピューティングシステム、およびビジュアルアウトプットデバイスを含みうる。無線通信デバイスは、送受信機、少なくとも1つの第1のプロセッサ、および、第1の非一時的なコンピュータ可読媒体を含みうる。第1の非一時的なコンピュータ可読媒体は、第1の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、該画像キャプチャデバイスに:ビジュアルアウトプットデバイスと、印刷された出版物に関連する1つ以上の非視覚的なトリガーのうち少なくとも1つのトリガーと、の間の通信を確立させる。
コンピューティングシステムは、少なくとも1つの第2のプロセッサ、および、第2の非一時的なコンピュータ可読媒体を含みうる。第2の非一時的なコンピュータ可読媒体は、第2の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第2のプロセッサによって実行される時に、該コンピューティングシステムに:ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定させ;印刷された出版物の少なくとも一部を含む、ユーザの視野を判定させ;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正させ;および、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツをビジュアルアウトプットデバイスへと送信させる。
ビジュアルアウトプットデバイスは、ディスプレイデバイス、少なくとも1つの第3のプロセッサ、および、第3の非一時的なコンピュータ可読媒体を含みうる。第3の非一時的なコンピュータ可読媒体は、第3の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、ビジュアルアウトプットデバイスに:ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツをコンピューティングシステムから受信させ;および、ディスプレイデバイスを用いて、ユーザへと、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。
別の態様では、方法は、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツは、物理的なオブジェクトの少なくとも一部に関して、仮想オーバーレイとして提示される、工程;および、コンピューティングシステムを用いて、1つ以上のメディアコンテンツをユーザにどのように提示すべきかを判定する工程、を含みうる。該方法はまた、1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を仮想現実の提示へ変える工程、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第2のメディアコンテンツを提示する工程であって、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含む、工程、を含みうる。該方法はさらに、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を複合現実の提示へ変える工程、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第3のメディアコンテンツを提示する工程であって、該1つ以上の第3のメディアコンテンツは複合現実コンテンツを含む、工程を含みうる。
いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、などのうちの1つを含みうる。いくつかの場合には、物理的なオブジェクトは、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、ポスター、クリスマスツリーの電球(Christmas tree bulb)、クリスマスツリーのオーナメント、ハヌカの燭台、石碑、ユーザに関連する感傷的な工芸品またはオーナメント(sentimental artifact or ornament)、または、ユーザに関連する別人に関連する感傷的な工芸品またはオーナメント、などのうちの1つを含みうる。いくつかの場合には、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィック、などの少なくとも1つを含みうる。
いくつかの実施形態に係る、方法は、メディアコンテンツの提示からの刺激に応じて、1つ以上のセンサを用いて、ユーザの1つ以上の身体的な特徴を検出する工程、または、コンピューティングシステムを用いて、メディアコンテンツをどのように提示すべきかの選択を示すユーザ入力を受信する工程、のうちの少なくとも1つをさらに含みうる。そのような実施形態では、コンピューティングシステムを用いて、1つ以上のメディアコンテンツをユーザにどのように提示すべきかを判定する工程は、ユーザまたは受信されたユーザ入力の検出された1つ以上の身体的特性の分析の少なくとも1つに基づくことがある。いくつかの実施形態では、該方法はさらに、1つ以上のメディアコンテンツを拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ拡張現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を拡張現実の提示へ変える工程、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第4のメディアコンテンツを提示する工程であって、該1つ以上の第4のメディアコンテンツは拡張現実コンテンツを含む、工程を含みうる。
なおさらなる態様では、装置は、ディスプレイデバイス、少なくとも1つのプロセッサ、および、非一時的なコンピュータ可読媒体を含み、該非一時的なコンピュータ可読媒体は、一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つのプロセッサによって実行される時に、該装置に:ディスプレイデバイスを用いて、ユーザに、1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、物理的なオブジェクトの少なくとも一部に関して、仮想オーバーレイとして提示され;どのように1つ以上のメディアコンテンツをユーザに提示すべきかを判定させ;1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を仮想現実の提示へ変えさせ、および、ディスプレイデバイスを用いて、ユーザに、1つ以上の第2のメディアコンテンツを提示させ、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含み;および、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を複合現実の提示へ変えさせ、および、ディスプレイデバイスを用いて、ユーザに、1つ以上の第3のメディアコンテンツを提示させ、該1つ以上の第3のメディアコンテンツは複合現実コンテンツを含む。
いくつかの実施形態では、装置は、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、などのうちの1つを含みうる。いくつかの場合に、物理的なオブジェクトは、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、ポスター、クリスマスツリーの電球(Christmas tree bulb)、クリスマスツリーのオーナメント、ハヌカの燭台、石碑、ユーザに関連する感傷的な工芸品またはオーナメント(sentimental artifact or ornament)、または、ユーザに関連する別人に関連する感傷的な工芸品またはオーナメント、などのうちの1つを含みうる。いくつかの場合には、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィック、などのうちの少なくとも1つを含みうる。
いくつかの実施形態によれば、装置はさらに、1つ以上のセンサ、または、1つ以上のユーザ入力デバイスのうちの少なくとも1つを含みうる。1セットの命令は、1つ以上のプロセッサによって実行される時、該装置に:1つ以上のセンサを用いて、メディアコンテンツの提示からの刺激に応じてユーザの1つ以上の身体的特性を検出すること;または、1つ以上のユーザインプットデバイスから、どのようにメディアコンテンツを提示すべきかという選択を示すユーザ入力を受信すること、の少なくとも1つを実行させる。そのような実施形態では、1つ以上のメディアコンテンツをどのようにユーザに提示すべきかを判定することは、ユーザまたは受信されたユーザ入力の検出された1つ以上の身体的特性の分析の少なくとも1つに基づくことがある。
いくつかの場合には、1セットの命令は、1つ以上のプロセッサによって実行される時、該装置に:1つ以上のメディアコンテンツを拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ拡張現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を拡張現実の提示へ変えさせ、および、ディスプレイデバイスを用いて、ユーザに、1つ以上の第4のメディアコンテンツを提示させ、該1つ以上の第4のメディアコンテンツは拡張現実コンテンツを含む。
また別の態様では、システムは、ビジュアルアウトプットデバイスおよびコンピューティングシステムを含みうる。ビジュアルアウトプットデバイスは、ディスプレイデバイス、少なくとも1つの第1のプロセッサ、および、第1の非一時的なコンピュータ可読媒体を含みうる。第1の非一時的なコンピュータ可読媒体は、第1の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、ビジュアルアウトプットデバイスに:ディスプレイデバイスを用いて、ユーザに、1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、物理的なオブジェクトの少なくとも一部に関して、仮想オーバーレイとして提示される。
コンピューティングシステムは、少なくとも1つの第2のプロセッサ、および、第2の非一時的なコンピュータ可読媒体を含みうる。第2の非一時的なコンピュータ可読媒体は、第2の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第2のプロセッサによって実行される時に、該コンピューティングシステムに:どのように1つ以上のメディアコンテンツをユーザに提示すべきかを判定させ;1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を仮想現実の提示へ変えさせ;および、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を複合現実の提示へ変えさせる。
第1の一セットの命令は、少なくとも1つの第1のプロセッサによって実行される時、ビジュアルアウトプットデバイスに:1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、ディスプレイデバイスを用いて、ユーザに、1つ以上の第2のメディアコンテンツを提示させることがあり、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含み;および、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、ディスプレイデバイスを用いて、ユーザに、1つ以上の第3のメディアコンテンツを提示させることがあり、該1つ以上の第3のメディアコンテンツは、複合現実コンテンツを含む。
別の態様では、方法は、コンピューティングシステムを用いて、複数のメディアコンテンツのうちの1つ以上の第1のメディアコンテンツ、または、1つ以上の物理的オブジェクトのうちの1つ以上のキャプチャされた画像、のうちの少なくとも1つをどのようにユーザに提示すべきかを判定する工程、を含みうる。該方法はさらに、1つ以上の第1のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、第1のAPIを介して、アセットの統合および制御のシステムを制御させる工程であって、アセットの統合および制御のシステムに第1のメディアコンテンツを修正させて1つ以上の第2のメディアコンテンツを生成させ、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含む工程、および、コンピューティングシステムを用いて、第2のAPIを介して、1つ以上の第2のメディアコンテンツを、ユーザに1つ以上の第2のメディアコンテンツを提示する複数のビジュアルアウトプットデバイスのうちの第1のビジュアルアウトプットデバイスに送信させる工程、を含みうる。
該方法はまた、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ拡張現実の提示として提示されていないという判定に基づき、第1のAPIを介して、アセットの統合および制御のシステムを制御させ、1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に関して仮想オーバーレイとして1つ以上の第1のメディアコンテンツを修正することによって、アセットの統合および制御のシステムに、1つ以上の第3のメディアコンテンツを生成させる工程であって、該1つ以上の第3のメディアコンテンツは拡張現実コンテンツを含む、工程、および、第2のAPIを介してコンピューティングシステムを用いて、1つ以上の第3のメディアコンテンツを、ユーザに1つ以上の第3のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信する工程、を含みうる。該方法はさらに、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を仮想現実および拡張現実の要素と結合した複合現実の提示として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ複合現実の提示として提示されていないという判定に基づいて、第1のAPIを介して、コンピューティングシステムを用いて、アセットの統合および制御のシステムを制御させ、アセットの統合および制御のシステムに、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に基づいて、1つ以上の第4のメディアコンテンツを生成させ、該1つ以上の第4のメディアコンテンツは複合現実コンテンツを含み、 および、第2のAPIを介して、コンピューティングシステムを用いて、1つ以上の第4のメディアコンテンツを、ユーザに1つ以上の第4のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信させる。
いくつかの実施形態では、該方法はさらに、コンピューティングシステムを用いて、第1のAPIを介してアセットの統合および制御のシステムの少なくとも1つのそれぞれにおける複数のメディアコンテンツを、第2のAPIを介してビジュアルアウトプットデバイスを、第3のAPIを介してアセット制作システムを、および、第4のAPIを介して制作管理システムを、それぞれリアルタイムステータスを追跡する工程を含みうる。いくつかの場合に、該方法はまた、アセット制作システムからアセットの統合および制御のシステムへの統合の準備ができていることを示すステータスを有する、複数のメディアコンテンツのうちの少なくとも1つの第5のメディアコンテンツを、コンピューティングシステムを用いて、配信する工程、および、アセットの統合および制御のシステムから第1のビジュアルアウトプットデバイスへの配信の準備ができていることを示すステータスを有する、複数のメディアコンテンツのうちの少なくとも1つの第6のメディアコンテンツを、コンピューティングシステムを用いて、配信する工程を含みうる。いくつかの例では、該方法はさらに、コンピューティングシステムを用いて、少なくとも1つの第6のメディアコンテンツを、複数のビジュアルアウトプットデバイスのうちの1つ以上の第2のビジュアルアウトプットデバイスと同期させる工程であって、1つ以上の第2のビジュアルアウトプットデバイスは、第1のビジュアルアウトプットデバイスとは別個である、工程; および、少なくとも1つの第6のメディアコンテンツに対する更新を受信することに応じて、コンピューティングシステムを用いて、少なくとも1つの第6のメディアコンテンツに対する更新を、第1のビジュアルアウトプットデバイスのそれぞれおよび1つ以上の第2のビジュアルアウトプットデバイスのそれぞれに送信する工程、を含みうる。
いくつかの実施形態によれば、該方法はさらに、コンピューティングシステムを用いて、第3のAPIを介してアセット制作システムから1つ以上の第1のメディアコンテンツを受信する工程; および、コンピューティングシステムを用いて、1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を画像キャプチャデバイスから受信する工程、を含みうる。いくつかの実施形態では、該方法はさらに、コンピューティングシステムを用いて、1つ以上の第1のメディアコンテンツは、第1のビジュアルアウトプットデバイスへの配信の準備ができていることを判定する工程;コンピューティングシステムを用いて、第4のAPIを介して1つ以上の第1のメッセージを制作管理システムに送信する工程であって、ここで、1つ以上の第1のメッセージは、1つ以上の第1のメディアコンテンツが第1のビジュアルアウトプットデバイスへの配信の準備ができていることを示すために、制作管理システムに1つ以上の第1のメディアコンテンツのステータスを変更させる、工程;および、コンピューティングシステムを用いて、第3のAPIを介して1つ以上の第2のメッセージをアセット制作システムに送信する工程であって、ここで、1つ以上の第2のメッセージは、アセット制作システムに、第3のAPIを介して1つ以上の第1のメディアコンテンツをコンピューティングシステムに送信させる、工程を含みうる。
いくつかの実施形態では、該方法はさらに、コンピューティングシステムを用いて、1つ以上の第2のメディアコンテンツは、第1のビジュアルアウトプットデバイスへの配信の準備ができていないことを判定する工程;コンピューティングシステムを用いて、第4のAPIを介して1つ以上の第3のメッセージを制作管理システムに送信する工程であって、ここで、1つ以上の第3のメッセージは、1つ以上の第2のメディアコンテンツが第1のビジュアルアウトプットデバイスへの配信の準備ができていないことを示すために、制作管理システムに1つ以上の第2のメディアコンテンツのステータスを変更させる、工程;および、コンピューティングシステムを用いて、第3のAPIを介して1つ以上の第4のメッセージをアセット制作システムに送信する工程であって、ここで、1つ以上の第4のメッセージは、1つ以上の第2のメディアコンテンツに関する作業を続けるように、アセット制作システムに1つ以上の第5のメッセージを1つ以上の開発者へと送信させる、工程、を含みうる。
いくつかの場合には、コンピューティングシステムは、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイスのコンピューティングシステム、などの少なくとも1つを含みうる。いくつかの実施形態によれば、複数のビジュアルアウトプットデバイスはそれぞれ、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含みうる。
またさらなる態様では、コンピューティングシステムは、少なくとも1つのプロセッサおよび非一時的なコンピュータ可読媒体を含むことがあり、該非一時的なコンピュータ可読媒体は、一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つのプロセッサによって実行される時に、該コンピューティングシステムに:複数のメディアコンテンツのうちの1つ以上の第1のメディアコンテンツ、または、1つ以上の物理的オブジェクトのうちの1つ以上のキャプチャされた画像、のうちの少なくとも1つをどのようにユーザに提示すべきかを判定させ;1つ以上の第1のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、第1のAPIを介して、アセットの統合および制御のシステムを制御させて、アセットの統合および制御のシステムに第1のメディアコンテンツを修正させて1つ以上の第2のメディアコンテンツを生成させ、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含み、および、第2のAPIを介して、1つ以上の第2のメディアコンテンツを、ユーザに1つ以上の第2のメディアコンテンツを提示する複数のビジュアルアウトプットデバイスのうちの第1のビジュアルアウトプットデバイスに送信させ;1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ拡張現実の提示として提示されていないという判定に基づき、第1のAPIを介して、アセットの統合および制御のシステムを制御させ、1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に関して仮想オーバーレイとして1つ以上の第1のメディアコンテンツを修正することによって、アセットの統合および制御のシステムに、1つ以上の第3のメディアコンテンツを生成させ、該1つ以上の第3のメディアコンテンツは拡張現実コンテンツを含み、および、第2のAPIを介して、1つ以上の第3のメディアコンテンツを、ユーザに1つ以上の第3のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信させ;1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を仮想現実および拡張現実の要素と結合した複合現実の提示として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ複合現実の提示として提示されていないという判定に基づいて、第1のAPIを介して、アセットの統合および制御のシステムを制御させ、アセットの統合および制御のシステムに、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に基づいて、1つ以上の第4のメディアコンテンツを生成させ、該1つ以上の第4のメディアコンテンツは複合現実コンテンツを含み、 および、第2のAPIを介して、1つ以上の第4のメディアコンテンツを、ユーザに1つ以上の第4のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信させる。
様々な修正および追加を、本発明の範囲から逸脱せずに、議論されている実施形態に対して成すことができる。例えば、上述の実施形態が特定の特徴を指している一方、本発明の範囲はまた、上述の特徴のすべてを含むとは限らない特徴および実施形態の様々な組み合わせを有する実施形態を含む。
特定の典型的な実施形態
ここで、図面によって例示されるような実施形態に目を向ける。図1−9は、上述したように、コンピュータシミュレーテッドリアリティのインタラクションを実行するための方法、システム、および装置の特徴のいくつかを例示し、特定の実施形態では、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法、システムおよびコンピュータソフトウェアに例示する。図1−5は、実施されるコンピューターシミュレーテッドリアリティのユーザ体験のための方法、システムおよび装置を対象とし、一方、図6および7は、実施されるコンピューターシミュレーテッドリアリティのプラットフォームのための方法、システムおよび装置を対象とし、図8および9は、コンピューターシミュレーテッドリアリティのユーザ体験およびコンピューターシミュレーテッドリアリティのプラットフォームの実施のためのハードウェアシステムを対象とする。図1−9によって例示される方法、システム、および装置は、様々な構成要素および工程を含む様々な実施形態の例を指し、これらは代替形態と見なすことができ、または様々な実施形態において互いに組み合わせて使用することができる。図1−9に示され、例証される方法、システム、および装置の記載は、例証を目的として提供され、様々な実施形態の範囲を制限すると考えられるべきではない。
コンピュータシミュレーテッドリアリティのUX
図面に関して、図1は、様々な実施形態に従って、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施するためのシステム(100)を例示する概略図である。
図1の非限定的な実施形態では、システム(100)は1つ以上のユーザデバイス(105)(本明細書においては「ビジュアルアウトプットデバイス」などとも称される)を含みうる。ユーザデバイス(105)の特定の実施形態は図1に示されているが(例えばタブレットコンピュータ、スマートフォン、仮想現実または拡張現実のヘッドセット)、様々な実施形態はそのように制限されておらず、それぞれのユーザデバイス(105)は、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含みうるが、これに限定されない可能性がある。いくつかの実施形態では、システム(100)はさらに、コンピューティングシステム(110)(限定されないが、サーバコンピュータ、クラウドコンピューティングシステムなどを含む)を含むことができ、これは、1つ以上のユーザデバイス(105)とは別または離れており(remote)であり、有線接続(例えば、1つ以上のユーザデバイス(105)とネットワーク(115)との間の実線によって図1に示されるようなもの)、または、無線接続(例えば、1つ以上のユーザデバイス(105)とネットワーク(115)との間の稲妻記号によって図1に示されるようなもの)でネットワーク(115)を介してアクセス可能である。いくつかの場合には、ネットワーク(115)は、限定されないがファイバーネットワーク、イーサネット(登録商標)ネットワーク、Token−Ring(商標)ネットワーク、などを含むローカル・エリア・ネットワーク(「LAN」);広域ネットワーク(「WAN」);ワイヤレス広域ネットワーク(「WWAN」);バーチャルプライベートネットワーク(「VPN」)などの仮想ネットワーク;インターネット;イントラネット;エクストラネット;公衆交換電話網(「PSTN」);赤外線ネットワーク;限定されないが、IEEE 802.11プロトコルスイート、当技術分野で高知のBluetooth(登録商標)プロトコル、および/または他の任意のワイヤレスプロトコルのいずれかの下で動作するネットワークを含むワイヤレスネットワーク;および/または、これらおよび/または他のネットワークの任意の組み合わせ、を含むが、これに限定されない。特定の実施形態では、ネットワークは、サービスプロバイダ(例えばインターネットサービスプロバイダ(「ISP」))のアクセスネットワークを含みうる。別の実施形態では、ネットワークは、サービスプロバイダのコアネットワーク、および/または、インターネット、を含みうる。
いくつかの実施形態によれば、システム(100)はさらに、印刷された出版物(125)を含みうる。印刷された出版物(125)の特定の実施形態が図1に示されているが(例えば本)、様々な実施形態はそのように限定されておらず、印刷された出版物(125)は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含むことができるが、これに限定されない。いくつかの実施形態では、1つ以上のトリガー(130)は印刷された出版物の少なくとも一部上に提供されることがあり、それぞれ、限定されないが、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されたキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、などを含みうる。いくつかの実施形態によれば、ユーザデバイス(105)はさらに、限定されないが、第1のカメラ(135)(ユーザデバイス(105)の正面図の矢印A−Aの方向に沿って示されるようなユーザデバイス(105)の側面図中で示される)、第2のカメラ(140)、およびディスプレイデバイスまたはディスプレイスクリーン(145)、などを含みうる。
操作においては、ユーザデバイス(105)の第1のカメラ(135)は、印刷された出版物(125)の少なくとも一部(例えば前面表紙、出版物全体、バック表紙、印刷された出版物のページ、印刷された出版物の装丁、これらのうちのいずれかの一部など)の1つ以上の画像をキャプチャしうる。ユーザデバイス(105)および/またはコンピューティングシステム(110)は、キャプチャされた1つ以上の画像が1つ以上のトリガー(130)(上述)を含むかどうかを判定するために、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析しうる。いくつかの実施形態によれば、ユーザデバイス(105)またはコンピューティングシステム(110)は、印刷された出版物(125)の少なくとも一部の1つ以上のキャプチャされた画像が1つ以上のトリガー(130)を含むかどうかを判定するために、分析の一部として、該1つ以上のキャプチャされた画像上に点をマッピングしうる。
キャプチャされた1つ以上の画像が1つ以上のトリガーのうちの少なくとも1つのトリガーを含むという判定に基づいて、ユーザデバイス(105)および/またはコンピューティングシステム(110)は、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツ(160)を特定しうる。ユーザデバイス(105)および/またはコンピューティングシステム(110)は、続いて、(例えば、第2のカメラ(140)を使用してユーザの目をキャプチャすることによって)ユーザの視野を判定することができ、該視野は印刷された出版物の少なくとも一部を含み、必要な場合(すなわち、1つ以上のメディアコンテンツの向きがまだユーザなどの視野と位置合わせされていない、などの判定に基づき)、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正しうる。次いで、ユーザデバイス(105)および/またはコンピューティングシステム(110)は、ユーザデバイス(105)のディスプレイデバイス(145)上に、(ユーザの視野と位置合わせするように向きが修正された)1つ以上のメディアコンテンツを表示することがあり、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。図1の非限定的な実施形態では、1つ以上のメディアコンテンツ(160)は、オブジェクト(例えば、雪玉など)を投げる行為中のキャラクターを含み、該キャラクターは、印刷された出版物(125)の表紙の画像の上に、仮想オーバーレイとして提示される。1つ以上のメディアコンテンツ(160)が、図1のタブレットコンピュータのディスプレイデバイス上に表示されて示されているが、様々な実施形態はそのように限定されておらず、1つ以上のメディアコンテンツ(160)は、上述のように、ユーザデバイス(105)(例えば、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、など)のいずれかのディスプレイデバイス上に表示されうる。
いくつかの場合には、システム(100)はさらに、(複数の印刷された出版物のうちの)各印刷された出版物(125)に関連する1つ以上のトリガー(130)に関する情報、(複数の印刷された出版物のうちの)各印刷された出版物(125)に関連する1つ以上のメディアコンテンツ(160)に関する情報、1つ以上のメディアコンテンツ(160)それ自体、ユーザデバイス(105)のビジュアルアウトプットデバイスまたはディスプレイデバイスのそれぞれに対するフォーマット情報、など、のうちの少なくとも1つを格納する1つ以上のデータベース(120)、を含みうる。
いくつかの実施形態によれば、上述の1つ以上のユーザデバイス(105)の機能は、1つ以上のユーザデバイス(105)上でダウンロードされインストールされる、ソフトウェアアプリケーション(「アプリ」)によって提供されることができ、および、ソフトウェアアプリは、印刷された出版物の少なくとも一部の画像をキャプチャするための機能、トリガーについて画像を分析するための機能、トリガーと関連するメディアコンテンツを特定するための機能、(必要なら)ユーザの視野と位置合わせするようにメディアコンテンツの向きを修正するための機能、および、印刷された出版物の少なくとも一部(場合によっては、その画像)に関して、仮想オーバーレイとしてメディアコンテンツをユーザに提示するための機能を提供する。
いくつかの実施形態では、トリガーは、2つ以上の印刷された出版物の特定の配置を含みうる。例えば、2冊の本を互いに隣接する特定の一連の本に配置することは、2冊の本に関して仮想オーバーレイとして提示される、2冊の本由来のキャラクターを含むメディアコンテンツを生成するためのトリガーとして役割を果たすことがあり、ここで、キャラクターは互いにインタラクションするように提示される(例えば、第1のキャラクターが第2のキャラクターとの雪合戦を開始し、各キャラクターは2冊の本のうちの一方の上にオーバーレイとして提示される、など)。別の例において、3冊以上の本を互いに対し第1の配列または順序で特定の一連の本に配置することは、(一連の本におけるキャラクター間の第1のセットのインタラクションを含みうる)1セットのメディアコンテンツのためのトリガーとしての役割を果たすことがあり、一方で、3冊以上の本を互いに対し第2の配列または順序で配置することは、(一連の本におけるキャラクター間の第2のセットのインタラクションを含みうる)別のセットのメディアコンテンツのためのトリガーとしての役割を果たすことがある。いくつかの場合には、キャラクターではなく、特定の順序での印刷された出版物の配置は、地図、手がかり(clues)、または実際のまたは仮想の賞品などをユーザにもたらす可能性のあるその他のコンテンツ(たとえば、一連の書籍、映画、 TVシリーズ、ゲーム用、玩具用などのマーケティングキャンペーンの一環としてのもの)の表示を引き起こす可能性がある。いくつかの場合には、すべての本を特定の構成および/または順序で一連にまとめて配置することは、仮想の場所または会場を生成する(例えば、本のシリーズなどに関連する、町、町の中心部、市、市の中心部、建物、部屋などの仮想表現を提示する)ためのトリガーとして役割を果たす可能性がある。上記のこれらの仮想投影(本明細書では「複合効果」とも呼ばれる)は、ユーザデバイスが印刷された出版物の周りを移動するとき、または印刷された出版物に対して移動するときに変化し得る、3D仮想投影(3D virtual projections)または2D断片(2D slices)であり得る(例えば、ある角度から見ることでユーザは仮想投影の一方の側を見ることができ、別の角度から見ることでユーザは同じ仮想投影の別の側を見ることができる、など)。
あるいは、またはさらに、ユーザデバイス(105)の地理的位置特定機能は、メディアコンテンツの提示の各々についての追加のトリガーとして使用されうる。例えば、ユーザが、印刷された出版物のストーリーの設定の1つに関連する場所に位置し、上述のようにアプリを実装する場合、結果として得られるメディアコンテンツは、そうでなければ引き起こされるであろうメディアコンテンツと比較して、その場所のために特別に調整されてもよい。
あるいは、またはさらに、ユーザデバイス(105)の天候追跡機能は、特定のメディアコンテンツの提示を引き起こすための追加のトリガー(地理的位置特定機能と結び付けられうる)として使用されうる。例えば、ユーザが上記のようにアプリを使用しているときに、ユーザデバイスが(その天気追跡アプリまたはインターネットを通じて、および/またはユーザデバイスの地理的位置情報に関する情報を用いて)ユーザデバイスの位置で雪が降っていると判断した場合、印刷された出版物に関連するトリガーに応じてユーザに提示される結果として生じるメディアコンテンツは、ストーリーと一致する、雪合戦または他のスノースポーツを行う印刷された出版物に関連するキャラクターを含みうる。さもなければ、ユーザが上記のようにアプリを使用しているときに、ユーザデバイスがユーザデバイスの位置では晴れていると判断した場合、印刷された出版物に関連するトリガーに応じてユーザに提示される結果として生じるメディアコンテンツは、ストーリーと一致する、水風船投げ(water balloon fight)または夏のアクティビティを行う印刷された出版物に関連するキャラクターを含みうる、など。
いくつかの実施形態によれば、仮想オーバーレイとして提示されているメディアコンテンツは、会話またはゲームなどにおけるように、ユーザとインタラクションするキャラクターを含み得る。例えば、投影される仮想キャラクターとユーザの間のそのような仮想の会話は、印刷された出版物のストーリーに関連する会話またはトピックと一致していてもよい。インタラクティブゲームの場合には、仮想キャラクターが、ユーザとの雪合戦または水風船投げを行うことがあり、および、ユーザがユーザデバイス上でタップまたは他の方法で入力すること(例えば、特定のボタンまたはスクリーンの一部にタッチすること)によって、仮想雪玉または水風船が仮想キャラクターに向かって飛んでいくことなどが起こり得る。
上記の実施形態は印刷された出版物に対して記述されているが、場合によっては、コンピューティングデバイスから読まれる電子書籍または本を、印刷された出版物の代わりに使用しうる。そのような場合、上述されるような個別のユーザデバイスは、画像がトリガーを含んでいるかどうかを判定するために、電子書籍の表紙またはページの画像をキャプチャすることがあり、それ以外の点では、他のプロセスは同一または類似である。2つ以上の印刷された出版物をまとめて上述のような複合効果を引き起こすのではなく、電子書籍リーダーまたはコンピューティングデバイスは、同じスクリーン上に2つ以上の印刷された出版物の表紙を表示してもよい。いくつかの場合には、アプリはまた、電子書籍リーダーの役割を果たしてもよく、アプリにより、複合効果を引き起こすためにディスプレイスクリーン上で複数の出版物を配置できるようになる可能性がある。代替的な場合には、電子書籍の画像をキャプチャするために別のユーザデバイスを使用するのではなく、カメラを使用せずに上記のプロセスを起動するためのオプションを提供しながら(おそらく、代わりにスクリーンキャプチャ技術を使用して、電子出版物などを示すスクリーンの画像をキャプチャするか、または単にスクリーンに表示されているトリガーを認識する)、アプリは電子書籍を読むことを可能にし得る。いくつかの場合には、ユーザがトリガーをクリックすることによって起動するように、トリガーにフラグを立てることができ、その結果、引き起こされるメディアコンテンツが提示される。いくつかの実施形態によれば、3D投影またはホログラフィーデバイスなどは、デバイスのスクリーン上に3D投影を提示するために、電子書籍リーダー/ユーザデバイスと組み合わせて使用することができる(これは、対応する3D/ホログラフィック眼鏡をかけているユーザが投影を見ることを可能にすることができ、または眼鏡無しでのメディアコンテンツの3Dホログラフィック投影を可能にしうる)。
いくつかの実施形態では、印刷された出版物におけるグラフィックはトリガーとしての役割を果たしうる。例えば、地図表示は、地図によって示された位置(または位置のうちの1つ)の3D投影を引き起こしうる。場合によっては、谷の地図は、谷に飛び込む鳥の3Dアニメーションなどを引き起こしうる。空間領域の2Dマップは、同じ空間領域の3Dパン(3D pan)を引き起こしうる、など。本の中のあるシーンの2D表示は、同じシーンの3Dアニメーションを引き起こしうる。これらの3D投影では、ユーザは、異なる角度の3D投影を見るためにディスプレイデバイスを移動させることにより、視点を変更することができる。
記載されるこれらのインタラクションおよびメディアコンテンツは本発明の実施形態と一致する単なる非限定的な例であり、他のインタラクションおよびメディアコンテンツが(本明細書に記載または示唆される実施形態と一致する限り)実施されてもよい。
図2は、様々な実施形態に従って、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法(200)を例示するフロー図である。
技術および手順は、例示を目的として特定の順序で図示および/または記載されているが、様々な実施形態の範囲内で特定の手順を並べ替えおよび/または省略することができることを理解されたい。さらに、図2によって例示された方法は、図1のシステム(100)(またはその構成要素)によって、またはそれらと共に実施することができる(いくつかの場合には、これに関し以下で説明する)が、そのような方法は、任意の適切なハードウェア(またはソフトウェア)の実装を用いて実施することもできる。同様に、図1のシステム(100)(またはその構成要素)は、図2によって例示された方法に従い(例えば、コンピュータ可読媒体上で具体化された命令の実行により)作動することができるが、図1のシステム(100)は、他の操作のモードに従い作動することができ、および/または、他の適切な手順を実行することもできる。
図2に関して、方法(200)は、いくつかの実施形態によれば、ブロック(205)において、第1のカメラを用いて、印刷された出版物(例えば、図1の印刷された出版物(125)など)の少なくとも一部の1つ以上の画像をキャプチャする工程を含み得る。ブロック(210)では、方法(200)は、キャプチャされた1つ以上の画像が1つ以上のトリガー(例えば図1の1つ以上のトリガー(130)など)を含むかどうかを判定するために、コンピューティングシステム(ユーザデバイス(105)または図1のコンピューティングシステム(110)などのいずれかに相当しうる)を用いて、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析する工程を含みうる。いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうるが、これに限定されない。いくつかの場合には、少なくとも1つのトリガーはそれぞれ、限定されないが、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、などのうちの1つを含む。場合によっては、第1のカメラはユーザデバイスの一部分であるか、またはユーザデバイスに埋め込まれている可能性がある。あるいは、第1のカメラは、ユーザデバイスに通信でつながれている間、ユーザデバイスの外部にありうる。
方法(200)はさらに、キャプチャされた1つ以上の画像が1つ以上のトリガーのうちの少なくとも1つのトリガーを含むという判定に基づいて、コンピューティングシステムを用いて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定する工程(ブロック(215))を含みうる。いくつかの例では、1つ以上のメディアコンテンツは3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックなどのうちの少なくとも1つを含み、そのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などのうちの1つを含みうるが、これに限定されない。
ブロック(220)では、方法(200)は、コンピューティングシステムを用いて、ユーザの視野を判定する工程であって、該視野は印刷された出版物の少なくとも一部を含む、工程、を含みうる。いくつかの実施形態では、ユーザの視野を判定する工程は、第1のカメラが印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャする時、第2のカメラ(図1のユーザデバイス(105)の第2のカメラ(140)に相当しうる)を用いて、ユーザの目の1つ以上の画像をキャプチャする工程(任意選択のブロック(225))、および、コンピュータシステムを用いて、ユーザの目のキャプチャされた1つ以上の画像の分析(たとえば、 第1のカメラによる印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像に対して)に基づいてユーザの視野を判定する工程(任意選択のブロック(230))を含みうる。
方法(200)はさらに、ブロック(235)で、必要な場合(すなわち、1つ以上のメディアコンテンツの向きがまだユーザなどの視野と位置合わせされていないと判定された場合)、コンピュータシステムを用いて、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正する工程を含みうる。ブロック(240)では、方法(200)は、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される、工程を含みうる。ここで、ビジュアルアウトプットデバイスは、上述のユーザデバイスに相当することがあり、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、などのうちの1つを含みうるが、これに限定されない。いくつかの実施形態によれば、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。
図3は、様々な実施形態に従って、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施するための別のシステム(300)を例示する概略図である。
図3の非限定的な実施形態では、システム(300)は1つ以上のユーザデバイス(305)を含みうる(本明細書では「ビジュアルアウトプットデバイス」などとも称される)。ユーザデバイス(305)の特定の実施形態が図3に示されている(例えば、タブレットコンピュータ、スマートフォン、および仮想現実または拡張現実ヘッドセット)が、様々な実施形態はそのように限定されず、ユーザデバイス(305)はそれぞれ、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、などのうちの1つを含みうるが、これに限定されない。いくつかの実施形態では、システム(300)はさらに、コンピューティングシステム(310)(限定されないが、サーバコンピュータ、クラウドコンピューティングシステムなど)を含むことができ、これは、1つ以上のユーザデバイス(305)とは別または遠隔であり、有線接続(例えば、1つ以上のユーザデバイス(305)とネットワーク(315)との間の実線によって図3に示されるようなもの)、または、無線接続(例えば、1つ以上のユーザデバイス(305)とネットワーク(315)との間の稲妻記号によって図1に示されるようなもの)でネットワーク(315)を介してアクセス可能である。いくつかの場合には、ネットワーク(315)は、限定されないがファイバーネットワーク、イーサネット(登録商標)ネットワーク、Token−Ring(商標)ネットワーク、などを含むLAN;WAN;WWAN;VPNなどの仮想ネットワーク;インターネット;イントラネット;エクストラネット;PSTN;赤外線ネットワーク;限定されないが、IEEE 802.11プロトコルスイート、当技術分野で高知のBluetooth(登録商標)プロトコル、および/または他の任意のワイヤレスプロトコルのいずれかの下で動作するネットワークを含むワイヤレスネットワーク;および/または、これらおよび/または他のネットワークの任意の組み合わせ、を含むが、これに限定されない。特定の実施形態では、ネットワークは、サービスプロバイダ(例えばISP)のアクセスネットワークを含みうる。別の実施形態では、ネットワークは、サービスプロバイダのコアネットワーク、および/または、インターネット、を含みうる。
いくつかの実施形態によれば、システム(300)はさらに、印刷された出版物(325)を含みうる。印刷された出版物(325)の特定の実施形態が図3に示されているが(例えば本)、様々な実施形態はそのように限定されておらず、印刷された出版物(325)は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含むことができるが、これに限定されない。いくつかの実施形態では、1つ以上のトリガー(330)が印刷された出版物の少なくとも一部上で提供されることがあり、それぞれ、RFIDタグ、BLEタグ、NFCのタグまたはRTLSタグなどを含むが、これに限定されない、非視覚的なトリガーを含みうる。いくつかの実施形態によれば、ユーザデバイス(305)はさらに、(例えば、送受信機(335)と1つ以上の1つ以上のトリガー(330)の間の稲妻記号によって図3に示されるように)1つ以上のトリガー(330)と無線通信する送受信機(335)、カメラ(340)、ディスプレイデバイスまたはディスプレイスクリーン(345)、1つ以上のプロセッサ(350)、メモリ(355)などを含み得るが、それらに限定されない。
操作においては、ユーザデバイス(305)(または送受信機(335))は、ユーザデバイス(305)が印刷された出版物と関連する少なくとも1つの非視覚的なトリガー(330)の通信範囲内にあるかどうかを判定しうる。 ユーザデバイス(330)が少なくとも1つの非視覚的なトリガー(330)の通信範囲内にあるという判定に基づいて、無線通信が、送受信機(335)と印刷された出版物に関連する少なくとも1つの非視覚的なトリガー(330)の間で確立されてもよい。
ユーザ−デバイス(305)と少なくとも1つの非視覚的なトリガー(330)との間の通信の確立に応じて、ユーザデバイス(305)および/またはコンピューティングシステム(310)は、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツ(360)を特定しうる。ユーザデバイス(305)(のプロセッサ(350))および/またはコンピューティングシステム(310)は、続いて、(例えば、カメラ(340)を使用してユーザの目をキャプチャすることによって)ユーザの視野を判定することができ、該視野は印刷された出版物の少なくとも一部を含み、必要な場合(すなわち、1つ以上のメディアコンテンツの向きがユーザなどの視野と位置合わせされていない、などの判定に基づき)、ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正しうる。次いで、ユーザデバイス(305)および/またはコンピューティングシステム(310)は、ユーザデバイス(305)のディスプレイデバイス(345)上に、(ユーザの視野と位置合わせするように向きが修正された)1つ以上のメディアコンテンツを表示することがあり、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。図3の非限定的な実施形態では、1つ以上のメディアコンテンツ(360)は、オブジェクト(例えば、雪玉など)を投げる行為中のキャラクターを含み、該キャラクターは、印刷された出版物(325)の表紙の画像の上に、仮想オーバーレイとして提示される。1つ以上のメディアコンテンツ(360)が、図3のタブレットコンピュータ(305)のディスプレイデバイス上に表示されて示されているが、様々な実施形態はそのように限定されておらず、1つ以上のメディアコンテンツ(360)は、上述のように、ユーザデバイス(305)(例えば、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、など)のいずれかのディスプレイデバイス上に表示されうる。
いくつかの場合には、システム(300)はさらに、(複数の印刷された出版物のうちの)各印刷された出版物(325)に関連する1つ以上のトリガー(330)に関する情報、(複数の印刷された出版物のうちの)各印刷された出版物(325)に関連する1つ以上のメディアコンテンツ(360)に関する情報、1つ以上のメディアコンテンツ(360)それ自体、ユーザデバイス(305)のビジュアルアウトプットデバイスまたはディスプレイデバイスのそれぞれに対するフォーマット情報、など、のうちの少なくとも1つを格納する1つ以上のデータベース(320)、を含みうる。
いくつかの実施形態によれば、上述の1つ以上のユーザデバイス(305)の機能は、1つ以上のユーザデバイス(305)上でダウンロードされインストールされるアプリによって提供されることがあり、および、ソフトウェアアプリは、ユーザデバイス(の送受信機(335))と非視覚的トリガーとの間の通信を確立するための機能、非視覚的なトリガーと関連するメディアコンテンツを特定するための機能、ユーザの視野を判定するための機能、(必要なら)ユーザの視野と位置合わせするようにメディアコンテンツの向きを修正するための機能、および、印刷された出版物の少なくとも一部(場合によっては、その画像)に関して、仮想オーバーレイとしてメディアコンテンツをユーザに提示するための機能を提供する。
いくつかの実施形態では、トリガーは、2つ以上の印刷された出版物の特定の配置を含みうる。例えば、2冊の本を互いに隣接する特定の一連の本に配置することは、送受信機と各書籍に関連する各トリガーとの間で順番に無線通信を確立し、2冊の本に関して仮想オーバーレイとして提示されている、2冊の本からのキャラクターを含むメディアコンテンツを生成するためのトリガーとして役割を果たすことがあり、ここで、キャラクターは互いにインタラクションするように提示される(例えば、第1のキャラクターが第2のキャラクターとの雪合戦を開始し、各キャラクターは2冊の本のうちの一方の上にオーバーレイとして提示される、など)。別の例では、3冊以上の本を互いに対し第1の配列または順序で特定の一連の本に配置することは、送受信機と各書籍に関連する各トリガーとの間で順番に無線通信を確立し、(一連の本におけるキャラクター間の第1のセットのインタラクションを含みうる)1セットのメディアコンテンツのためのトリガーとしての役割を果たすことがあり、一方で、3冊以上の本を互いに対し第2の配列または順序で配置することは、送受信機と各書籍に関連する各トリガーとの間で順番に無線通信を確立し(一連の本におけるキャラクター間の第2のセットのインタラクションを含みうる)別のセットのメディアコンテンツのためのトリガーとしての役割を果たすことがある。いくつかの場合には、キャラクターではなく、特定の順序での印刷された出版物の配置は、地図、手がかり(clues)、または実際のまたは仮想の賞品などをユーザにもたらす可能性のあるその他のコンテンツ(たとえば、一連の書籍、映画、 TVシリーズ、ゲーム用、玩具用などのマーケティングキャンペーンの一環としてのもの)の表示を引き起こす可能性がある。いくつかの場合には、すべての本を特定の構成および/または順序で一連にまとめて配置することは、送受信機と各書籍に関連する各トリガーとの間で順番にまたは続いて無線通信を確立し、仮想の場所または会場を生成する(例えば、本のシリーズなどに関連する、町、町の中心部、市、市の中心部、建物、部屋などの仮想表現を提示する)ためのトリガーとして役割を果たす可能性がある。上記のこれらの仮想投影(本明細書では「複合効果」とも呼ばれる)は、ユーザデバイスが印刷された出版物の周りを移動するとき、または印刷された出版物に対して移動するときに変化し得る、3D仮想投影(3D virtual projections)または2D断片(2D slices)であり得る(例えば、ある角度から見ることでユーザは仮想投影の一方の側を見ることができ、別の角度から見ることでユーザは同じ仮想投影の別の側を見ることができる、など)。
あるいは、またはさらに、ユーザデバイス(305)の地理的位置特定機能は、メディアコンテンツの提示の各々についての追加のトリガーとして使用されうる。例えば、ユーザが、印刷された出版物のストーリーの設定の1つに関連する場所に位置し、上述のようにアプリを実装する場合、結果として得られるメディアコンテンツは、そうでなければ引き起こされるであろうメディアコンテンツと比較して、その場所のために特別に調整されてもよい。
あるいは、またはさらに、ユーザデバイス(305)の天候追跡機能は、特定のメディアコンテンツの提示を引き起こすための追加のトリガー(地理的位置特定機能と結び付けられうる)として使用されうる。例えば、ユーザが上記のようにアプリを使用しているときに、ユーザデバイスが(その天気追跡アプリまたはインターネットを通じて、および/またはユーザデバイスの地理的位置情報に関する情報を用いて)ユーザデバイスの位置で雪が降っていると判断した場合、印刷された出版物に関連するトリガーに応じてユーザに提示される結果として生じるメディアコンテンツは、ストーリーと一致する、雪合戦または他のスノースポーツに関わる印刷された出版物に関連するキャラクターを含みうる。さもなければ、ユーザが上記のようにアプリを使用しているときに、ユーザデバイスがユーザデバイスの位置では晴れていると判断した場合、印刷された出版物に関連するトリガーに応じてユーザに提示される結果として生じるメディアコンテンツは、ストーリーと一致する、水風船投げ(water balloon fight)または夏のアクティビティに関わる印刷された出版物に関連するキャラクターを含みうる、など。
いくつかの実施形態によれば、仮想オーバーレイとして提示されているメディアコンテンツは、会話またはゲームなどにおけるように、ユーザとインタラクションするキャラクターを含み得る。例えば、投影される仮想キャラクターとユーザの間のそのような仮想の会話は、印刷された出版物のストーリーに関連する会話またはトピックと一致していてもよい。インタラクティブゲームの場合には、仮想キャラクターが、ユーザとの雪合戦または水風船投げを行うことがあり、および、ユーザがユーザデバイス上でタップまたは他の方法で入力すること(例えば、特定のボタンまたはスクリーンの一部にタッチすること)によって、仮想雪玉または水風船が仮想キャラクターに向かって飛んでいくことなどが起こり得る。
上記の実施形態は印刷された出版物に対して記述されているが、場合によっては、コンピューティングデバイスから読まれる電子書籍または本を、印刷された出版物の代わりに使用しうる。そのような場合、上述されるような個別のユーザデバイスは、電子書籍リーダーまたはコンピューティングデバイスとの無線通信を確立してもよく、それ以外の点では、他のプロセスは同一または類似である。言い換えれば、2つ以上の印刷された出版物をまとめて上述のような複合効果を引き起こすのではなく、電子書籍リーダーまたはコンピューティングデバイスは、同じスクリーン上に2つ以上の印刷された出版物の表紙を表示してもよく、および、 電子書籍リーダーまたはコンピューティングデバイスは、非視覚的なトリガーとしてシミュレートするかまたは働く送受信機を有していてもよい。いくつかの場合には、アプリはまた、電子書籍リーダーの役割を果たしてもよく、複合効果を引き起こすために、電子書籍リーダーまたはコンピューティングデバイスに、その送受信機を出版物に関連付けられた非視覚的なトリガーとして使用させながら、ディスプレイスクリーン上の複数の出版物を配置できるようになる可能性がある。 代替的な場合には、電子書籍の画像をキャプチャするために別のユーザデバイスを使用するのではなく、外部の送受信機などを使用せずに上記のプロセスを起動するためのオプションを提供しながら(おそらく、代わりにスクリーンキャプチャ技術を使用して、電子出版物などを示すスクリーンの画像をキャプチャするか、または単にスクリーンに表示されているトリガーを認識する)、アプリは電子書籍を読むことを可能にし得る。いくつかの場合には、ユーザがトリガーをクリックすることによって起動するように、視覚的なトリガーにフラグを立てることができ、その結果、引き起こされるメディアコンテンツが提示される。いくつかの実施形態によれば、3D投影またはホログラフィーデバイスなどは、デバイスのスクリーン上に3D投影を提示するために、電子書籍リーダー/ユーザデバイスと組み合わせて使用することができる(これは、対応する3D/ホログラフィック眼鏡をかけているユーザが投影を見ることを可能にすることができ、または眼鏡無しでのメディアコンテンツの3Dホログラフィック投影を可能にしうる)。
いくつかの実施形態では、電子書籍リーダーを用いてオーディオリーディングを行うことを、ユーザが電子書籍リーダーを読むことと組み合わせて利用してもよく、および、いくつかのトリガーは、限定されないが、テキストに関連したオーディオキーワード、オーディオトラックの下の隠しトラックとしてのサブボーカルキーワード、可聴音(audible tones)、可聴節(audible tunes)、サブ可聴音、サブ可聴節などを含む、オーディオトリガーを含みうる。例えば、オーディオトラックが出版物における特定のシーンについて述べた後、シーンの3Dアニメーションが投影され再生され、オーディオトラックが一時停止してもよい。
記載されるこれらのインタラクションおよびメディアコンテンツは本発明の実施形態と一致する単なる非限定的な例であり、他のインタラクションおよびメディアコンテンツが(本明細書に記載または示唆される実施形態と一致する限り)実施されてもよい。
その他の点で、同一でないにしても、図3のシステム(300)は図1のシステム(100)に類似していてもよく、システム(100)の構成要素の記載は、同様にシステム(300)の対応する構成要素に当てはまりうる。
図4は、様々な実施形態に従って、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する別の方法(400)を例示するフロー図である。
技術および手順は、例示を目的として特定の順序で図示および/または記載されているが、様々な実施形態の範囲内で特定の手順を並べ替えおよび/または省略することができることを理解されたい。さらに、図4に例示された方法は、図3のシステム(300)(またはその構成要素)によって、またはそれらと共に実施することができる(いくつかの場合には、これに関し以下で説明する)が、そのような方法は、任意の適切なハードウェア(またはソフトウェア)の実装を用いて実施することもできる。同様に、図3のシステム(300)(またはその構成要素)は、図4によって例示された方法に従い(例えばコンピュータ可読媒体上で具体化された命令の実行により)作動することができるが、図3のシステム(300)はまた、他のモードの手順に従い作動することができ、および/または、他の適切な手順を行なうことができる。
図4に関して、いくつかの実施形態によれば、方法(400)は、ブロック(405)において、ビジュアルアウトプットデバイス(図3のユーザデバイス(305)などに相当しうる)と、印刷された出版物(例えば図3の印刷された出版物(325)など)に関連する1つ以上の非視覚的なトリガーのうちの少なくとも1つのトリガー(図3の1つ以上のトリガー(330)などに相当しうる)と、の間で通信を確立する工程を含むことがある。いくつかの実施形態では、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信を確立する工程は、コンピュータシステムを用いて、ビジュアルアウトプットデバイスが印刷された出版物に関連する1つ以上の非視覚的なトリガーの通信範囲内にあるかどうかを判定する工程(任意選択のブロック(410))、および、ビジュアルアウトプットデバイスが1つ以上の非視覚的なトリガーのうちの少なくとも1つのトリガーの通信範囲内にあるという判定に基づいて、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信を確立する工程(任意選択のブロック(415))を含みうる。いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうるが、これに限定されない。いくつかの場合には、少なくとも1つのトリガーはそれぞれ、限定されないが、RFIDタグ、BLEタグ、NFCタグまたはRTLSタグのうちの1つなどを含みうる。
方法(400)はさらに、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、コンピューティングシステムを用いて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定する工程(ブロック(420))を含みうる。いくつかの例では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックなどの少なくとも1つを含むことがあり、そのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などのうちの1つを含みうるが、これに限定されない。
ブロック(425)では、方法(400)は、コンピューティングシステムを用いて、ユーザの視野を判定する工程であって、該視野は印刷された出版物の少なくとも一部を含む、工程を含みうる。いくつかの実施形態では、ユーザの視野を判定する工程は、カメラ(図3のユーザデバイス(305)のカメラ(340)などに相当しうる)を用いて、ユーザが印刷された出版物の少なくとも一部を見ているときにユーザの目の1つ以上の画像をキャプチャする工程(任意選択のブロック(430))、および、コンピュータシステムを用いて、ユーザの目のキャプチャされた1つ以上の画像の分析(例えば、ユーザが印刷された出版物の少なくとも一部を見ている方向などに対して)に基づいて、ユーザの視野を判定する工程(任意選択のブロック(435))を含みうる。
方法(400)はさらに、ブロック(440)で、必要な場合(すなわち、1つ以上のメディアコンテンツの向きがまだユーザなどの視野と位置合わせされていないと判定された場合)、コンピュータシステムを用いて、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正する工程を含みうる。ブロック(445)では、方法(400)は、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツが印刷された出版物の少なくとも一部に関して仮想オーバーレイとして提示される、工程を含む。ここで、ビジュアルアウトプットデバイスは上述のユーザデバイスに相当することがあり、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含みうるが、これに限定されない。いくつかの実施形態によれば、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。
その他の点で、同一でないにしても、図4の方法(400)は図2の方法(200)に類似していてもよく、方法(200)のプロセスの記載は、同様に方法(400)の対応するプロセスに当てはまりうる。
図5A−図5D(「図5」と総称する)は、様々な実施形態に従って、ユーザと物理的なオブジェクトの間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法(500)を例示するフロー図である。図5では、方法(500)のプロセスは、「A」で示される円形のマークに続いて図5Aから図5Bへと続き、「B」で示される円形のマークに続いて図5Aから図5Cへと続き、「C」で示される円形のマークに続いて図5Aから図5Dへと続き、「D」で示される円形のマークに続いて図5B−図5Dのそれぞれから図5Aへと戻る。
技術および手順は、例示を目的として特定の順序で図示および/または記載されているが、様々な実施形態の範囲内で特定の手順を並べ替えおよび/または省略することができることを理解されたい。さらに、図5によって例示された方法は、図1のシステム(100)(またはその構成要素)によって、またはそれらと共に実施することができる(いくつかの場合には、これに関し以下で説明する)が、そのような方法は、任意の適切なハードウェア(またはソフトウェア)の実装を用いて実施することもできる。同様に、図1のシステム(100)(またはその構成要素)または図3のシステム(300)(またはその構成要素)は、図3によって例示された方法に従い(例えばコンピュータ可読媒体上で具体化された命令の実行により)作動することができ、図1のシステム(100)(またはその構成要素)または図3のシステム(300)(またはその構成要素)はまた、他のモードの手順に従い作動することができ、および/または、他の適切な手順を行なうことができる。
図5Aに関して、方法(500)は、ブロック(500)において、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツは、物理的なオブジェクトの少なくとも一部に関して、仮想オーバーレイとして提示される、工程を含みうる。いくつかの実施形態では、物理的なオブジェクトは印刷された出版物を含んでもよく、ブロック(505)のプロセスは、図2の方法(200)のブロック(240)でのプロセスに相当し得(そして方法(200)のブロック(205)−(235)でのプロセスに続いてもよい)、または、図4の方法(400)のブロック(445)でのプロセスに相当することがある(そして方法(400)のブロック(405)−(440)でのプロセスに続いてもよい)。概して、物理的なオブジェクトは印刷された出版物である必要はなく、限定されないが、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、ポスター、クリスマスツリーの電球(Christmas tree bulb)、クリスマスツリーのオーナメント、ハヌカの燭台、石碑、ユーザに関連する感傷的な工芸品またはオーナメント(sentimental artifact or ornament)、または、ユーザに関連する別人に関連する感傷的な工芸品またはオーナメント、などのうちの1つを含むことができる。いくつかの実施形態では、ビジュアルアウトプットデバイスは、限定されないが、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンなどのうちの1つを含むことができる。1つ以上のメディアコンテンツは、限定されないが、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックなどの少なくとも1つを含むことができる。
任意選択のブロック(510)では、方法(500)は、1つ以上のセンサを用いて、メディアコンテンツの提示からの刺激に応じてユーザの1つ以上の身体的特性を検出する工程を含みうる。いくつかの例では、1つ以上のセンサは、限定されないが、1つ以上のカメラ、1つ以上の心拍数モニタ、1つ以上のフィットネストラッカー、1つ以上のマイクロフォン、などうちの少なくとも1つを含みうる。1つ以上の身体的特性は、限定されないが、微笑む、笑う、声をあげる、叫ぶ、メディアコンテンツ内の仮想オブジェクトに向かって移動する、メディアコンテンツ内の仮想オブジェクトから遠ざかる、メディアコンテンツ内の仮想オブジェクトとインタラクションすることを試みる、などのうちの少なくとも1つを含み得る。あるいは、またはさらに、方法(500)は、任意選択のブロック(515)で、コンピューティングシステムを用いて、どのようにメディアコンテンツを提示すべきかという選択を示すユーザ入力を受信する工程を含みうる。例えば、ユーザ入力は、限定されないが、音声入力、触覚入力(tactile input)、触覚入力の試み、ジェスチャー、選択肢を目の動きで選択すること(eye movement selection of options)、瞬き、などを含みうる。
方法(500)はさらに、ブロック(520)で、コンピューティングシステムを用いて、どのように1つ以上のメディアコンテンツをユーザに提示すべきかを判定する工程を含むことがあり、これは、いくつかの場合には、ユーザまたは受信されたユーザ入力の検出された1つ以上の身体的特性の分析の少なくとも1つに基づく。該プロセスは、(仮想現実の提示については)マーク「A」に続いて図5Bのブロック(525)のプロセス、(混合現実の提示については)マーク「B」に続いて図5Cのブロック(535)のプロセス、または、(拡張現実の提示については)マーク「C」に続いて図5Dのブロック(545)のプロセス、のうちの1つに続いてもよい。
図5Bに関して、方法(500)は、1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を仮想現実の提示へ変える工程(ブロック(525))、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第2のメディアコンテンツを提示する工程であって、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含む、工程(ブロック(530))を含みうる。該プロセスは、図5Aの任意選択のブロック(510)でのプロセスに戻っても良い。
図5Cに戻ると、方法(500)は、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を複合現実の提示へ変える工程(ブロック(535))、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第3のメディアコンテンツを提示する工程であって、該1つ以上の第3のメディアコンテンツは複合現実コンテンツを含む、工程(ブロック(540))を含む。ここで、「複合現実」とは、拡張現実および仮想現実の組み合わせを指す。例えば、シミュレートされた拡張現実の提示は、仮想現実の提示内に生成され埋め込まれてもよい。該プロセスは、図5Aの任意選択のブロック(510)でのプロセスに戻っても良い。
図5Dでは、方法(500)は、1つ以上のメディアコンテンツを拡張現実の提示(augmented reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ拡張現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を拡張現実の提示へ変える工程(ブロック(545))、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第4のメディアコンテンツを提示する工程であって、該1つ以上の第4のメディアコンテンツは拡張現実コンテンツを含む、工程(ブロック(550))を含む。該プロセスは、図5Aの任意選択のブロック(510)でのプロセスに戻っても良い。
方法(500)の実施形態では、拡張現実が最初に引き起こされ、続いて、1つ以上の複合現実または仮想現実への懸け橋として機能する。ユーザに没入型のインタラクティブ体験を提供するために、コンピューティングシステム(上記のように、場合によってはコンピュータビジョンシステムである)は、拡張現実、複合現実、または仮想現実のうちの2つの間で動的または選択的にシフトする。
いくつかの実施形態では、仮想現実の提示は、仮想現実の提示内に埋め込まれたシミュレーテッドリアリティのセグメントを含みうる。そのような場合、ユーザは物理的な現実、拡張現実、および仮想現実を判別することができないだろう。例えば、ユーザは、自分の物理的または実際の寝室に入り、そこではトリガーがシステムにメディアの拡張現実提示を生成させることがあり、これは寝室の画像にオーバーレイすることがある。さらなるトリガーまたは選択が、寝室の仮想シミュレーションを生成させることがあり、これは寝室の正確な(またはほぼ正確な)レプリカを(寝室内の点に対するユーザの目の位置と動きに基づくユーザの適切な視点で)正確に再現しうる。その後、拡張現実の提示は、物理的な寝室の画像がシミュレートされた寝室の再現に変わったことにユーザが気づかないように、シミュレートされた寝室がシームレスに提示される仮想現実の提示に変わる。仮想空間では、シミュレートされた寝室は、拡張現実の提示を引き起こした物理的なオブジェクトまたは印刷された出版物のストーリーと一致する任意の適切な方法で、変形または操作することができる。例えば、ストーリーは、メインキャラクターの寝室が城、宇宙船、または幻想的な風景などに変形するシーンなどを含むことがある。そのような場合には、ユーザのシミュレートされた寝室(これはユーザに非常によく知られている)は、適切なトリガーで、城、または宇宙船、または幻想的な風景などに変形するだろう。このように、物理的または実際の現実から拡張現実、仮想現実へのシームレスな移行は、ユーザをストーリーにより完全に没入させるであろう。拡張現実、複合現実、または仮想現実のうちの2つを適時に変えることで没入プロセスを促進し、したがって、ストーリーに対するユーザの認知的および効果的または影響を受けた共感性を高める可能性が高い。同様に、実在の人物の画像が、ストーリー内のキャラクターに変換されてもよい(そして、これは、完全に変更されるか、または、実在の人物のいくつかの特性が仮想領域での変形後も残るように部分的に変更されることがある)。
いくつかの実施形態では、鏡が提示の中で使用された場合に、ユーザは自分を主役または敵役とみなすことがある。そのような場合、実際の鏡は、シミュレートされた鏡として完全に再現されてもよく、その場合、ユーザの変形した表現は、シミュレートされた鏡のシミュレートされた反射で提示されてもよい。あるいは、実際の鏡が部分的に複製され(残りは実際の鏡の像である)、鏡の一部がユーザの変形した表現のシミュレートされた反射を含むようにすることができる。このように、物理的または実際の現実から拡張現実、仮想現実へのシームレスな移行は、ユーザをストーリーにより完全に没入させるであろうし、ストーリー内の登場人物に対するユーザの認知的および効果的または影響を受けた共感性を改良する一人称視点を提供することがある。その後、提示は、ストーリー内のキャラクターの1人の役割をするユーザと、ストーリー内のシーンをシミュレートする。
いくつかの実施形態によれば、物理的または実際の現実からの、拡張現実へ、仮想現実へのシームレスな移行(またはそのようなシームレスな移行またはシフトの任意の組み合わせ)を介してユーザはストーリーに没入、移動、またはテレポートして、ストーリーの中のキャラクターの役に入る(inhabit the role)することができる。例えば、赤ずきんちゃんの話では、ユーザは、自分がこのようにして移動したりテレポートしたりして、赤ずきんちゃんの役に宿り、おばあちゃんを訪ねたり、オオカミに遭遇したりしうる。あるいは、またはさらに、ユーザは、オオカミに遭遇したときの祖母の役に入るように上記の方法で自分自身を移動させられたりまたはテレポートさせられたりしていることに気付くことがある。あるいは、またはさらに、ユーザは、オオカミがおばあちゃんの役をして赤ずきんちゃんに出会うように、オオカミの役に入るように上記の方法で自分自身を移動させられたりまたはテレポートさせられたりしていることに気付くことがある。別の例のセットでは、例えば3匹の小豚の話の中では、ユーザは、子豚が(藁、木の枝、またはレンガでできている)家を建てるとき、子豚のうちの1人の役に(あるいは順番に)入るために、自分が上記の方法で移動させられ、またはテレポートさせられていることに気付くことがあり、および/または、オオカミが藁の家および木の枝の家で腹を立て、ぷーぷー息を吹きつけて、吹き飛ばし、そしてレンガの家でもそのようにすることを試みるように、オオカミの役に入るために、自分が上記の方法で移動させられ、またはテレポートさせられていることに気付くことがある。ハリーポッター(登録商標)シリーズの本などのように、もっと洗練された、あるいはもっと複雑な話では、ユーザは、限定されないが、ハリーポッター(登録商標)、ロン・ウィーズリー、ハーマイオニー・グレンジャー、ヴォルデモート卿、アルバス・ダンブルドア、セブルス・スネイプなど、を含む、本中のキャラクターの役に入るように上記の方法で自分自身を移動させたりまたはテレポートさせたりしていることに気付くことがある。ユーザをさらにPotterの世界に没頭させるため、ユーザがいくつかの二次キャラクターと一緒にバックストーリーやサイドストーリーのシーンを体験できるようにする拡張されたストーリーやシーンなどを作るために、作者の著者のJ. K. Rowlingとのコラボレーションがなされてもよい。テレビに基づくストーリー、ビデオストリーミングサービスに基づくオリジナルストーリー(例えば、Netflix(登録商標)のオリジナルシリーズ、Amazon(登録商標)のオリジナルシリーズ、など)、他の映画に基づくストーリー(例えば、Inception、Marvel(登録商標)シネマティックユニバースシリーズ、Star Wars(登録商標)シリーズ、StarTrek(登録商標)シリーズ、など)、コミックまたはマンガのストーリー(例えば、Marvel(登録商標)コミックシリーズ、DC(登録商標)コミックシリーズ、Imageコミックシリーズ、など)、他の小説のストーリー、ビデオゲームのストーリー(例えばゲームのStar Wars(登録商標)シリーズ、ゲームのCall of Duty(登録商標)シリーズ、ゲームのファイナルファンタジーシリーズ、ゲームのマリオブラザーズ(登録商標)シリーズ、ゲームのゼルダ(登録商標)シリーズ、ゲームのMadden(登録商標)シリーズ、Myst(登録商標)、など)などについて、同様のユーザ体験が作られても良い。システムは、元となるストーリーから既存のストーリーおよびシーンを3D没入型の仮想/拡張/複合現実の環境およびシーンに適合させることができ、あるいは(おそらくオリジナルの制作者または認可団体とコラボレーションして)これらのオリジナルの元となるストーリーに基づいて(3D没入型の仮想/拡張/複合現実の環境およびシーンなどに適合する)新しいシーンおよびストーリーを作成することができる。これらの様々なユーザ体験で、ユーザは、キャラクターがストーリーの中で遭遇するある種の試練や苦難を体験すること、そしておそらく異なる観点から物事を見ることを学ぶことがどのようなものかを学ぶことができる。要するに、上述した移行技術は、ある意味で、ユーザが特定のキャラクターになることを可能にし、これにより、ストーリー内の登場人物に対するユーザの認知的および効果的または影響を受けた共感性を改良する。
いくつかの実施形態では、さまざまなユーザ体験設定およびコンテンツの集約、管理、および取得は、コンピューターシミュレーテッドリアリティのプラットフォーム(このシステムは図6および図7に関して下記で詳述される)内で実行または実装でき、ここで、設定、コンテンツ、および遷移/移行の実装の情報は、プラットフォームからアクセス可能なデータベースにライブラリの形式で格納されてもよい。
いくつかの例では、ユーザ体験は、ユーザの心理的状態に対処するため、ユーザのための曝露療法を実施するため、または、認知行動条件付け(cognitive behavior conditioning)を実行するために調整され得る。いくつかの場合には、システムとプラットフォームは、ユーザが特定の状況に対処したりその状況で成長したりできるようにする(特にユーザがそのような状況;例えば、ユーザに心的外傷後ストレス障害を引き起こす事象またはエピソード、大勢の前で話すことに対するユーザの一般的な/特定の恐怖、過去の虐待に起因するユーザの人々または家庭/学校環境に対する警戒心など、に躊躇したり恐怖を感じたりする場合)などのために、ユーザを悩ませている可能性のある特定の恐怖症(例、クモに対する恐怖、開所(open spaces)に対する恐怖、高所への恐怖など)に対処したり、それらを治癒するために使用されうる。
コンピュータシミュレーテッドリアリティのプラットフォーム(Computer−Simulated Reality Platform)
図6は、様々な実施形態に従って、仮想現実、拡張現実、および複合現実のうちの1つから、別の仮想現実、拡張現実、および複合現実へと変えることを可能にする、コンピュータシミュレーテッドリアリティのプラットフォームを実施するためのシステム(600)を例示する概略図である。図6において、システム(600)は、コンピューティングシステム(605)を含むことがあり、これは、限定されないが、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイス、などの少なくとも1つを含みうる。いくつかの場合には、コンピューティングシステム(605)は、図1のシステム(100)のコンピューティングシステム(110)または図3のシステム(300)のコンピューティングシステム(310)などに相当しうる。システム(600)はさらに、(上で詳細に記述されるような)アセットの統合および制御のシステム(610)を含んでもよく、これは、ネットワーク(615)(図1のシステム(100)のネットワーク(115)または図3のシステム(300)のネットワーク(315)などに相当しうる)を介してコンピューティングシステム(605)と通信で結び付けられうる。システム(600)はさらに1つ以上のビジュアルアウトプットデバイス(620)を含んでも良く、これはそれぞれ、限定されないが、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、などのうちの1つを含みうる。1つ以上のビジュアルアウトプットデバイス(620)は、ネットワーク(615)を介してコンピューティングシステム(605)と通信で結び付けられるかもしれない。
システム(600)はさらに、アセット制作システム(625)および生産管理システム(630)(両方とも詳細に上述される)を含んでもよく、その各々は、ネットワーク(615)を介してコンピューティングシステム(605)と通信で結び付けられうる。いくつかの場合には、システム(600)はさらに、ネットワーク(615)を介してアクセス可能なデータベース(635)を含みうる。いくつかの場合には、データベース(635)は、図1のシステム(100)のデータベース(120)または図3のシステム(300)のデータベース(320)などに相当しうる。
いくつかの態様によれば、アセットの統合および制御のシステム(610)、1つ以上のビジュアルアウトプットデバイス(620)の各々、アセット制作システム(625)、および、生産管理システム(630)は、それぞれ、第1のAPI(640a)、第2のAPI(640b)、第3のAPI(640c)および第4のAPI(640d)(総称して「API(640)」)を介して、(ネットワーク(615)を介し)コンピューティングシステム(605)で通信で結び付けられうる。、VR、ARまたはMxRの1つから別のVR、ARまたはMxRへのシフトを実装する、コンピューティングシステム(605)、アセットの統合および制御システム(610)、1つ以上のビジュアルアウトプットデバイス(620)の各々、アセット制作システム(625)、および生産管理システム(630)(総称して「コンピューターシミュレーテッドリアリティのプラットフォーム」)中のインタラクションは、図7A−7Fに関し、以下に詳細に記述される。
ここで図7A−7F(総称して「図7」)に目を向けると、これらは、様々な実施形態に従って、VR、ARまたはMxRの1つから別のVR、ARまたはMxRへと変える(shift)ことを可能にするコンピューターシミュレーテッドリアリティのプラットフォームを実施する方法(700)を例示するフロー図である。図7では、方法(700)のプロセスは、「A」で示される円形のマークに続いて図7Aから図7Bへと続き、「B」で示される円形のマークに続いて図7Aから図7Cへと続き、「C」で示される円形のマークに続いて図7Aから図7Dへと続き、「D」で示される円形のマークに続いて図7Aから図7Eへと続き、「E」で示される円形のマークに続いて図7Eから図7Aに戻り、「F」で示される円形のマークに続いて図7B−Dから図7Fへと続く。
技術および手順は、例示を目的として特定の順序で図示および/または記載されているが、様々な実施形態の範囲内で特定の手順を並べ替えおよび/または省略することができることを理解されたい。さらに、図7に例示された方法は、図6のシステム(600)(またはその構成要素)によって、またはそれらと共に実施することができる(いくつかの場合によっては、これに関し以下で説明する)が、そのような方法は、任意の適切なハードウェア(またはソフトウェア)の実装を用いて実施することもできる。同様に、図6のシステム(600)(またはその構成要素)は、図7によって例示された方法に従い(例えば、コンピュータ可読媒体上で具体化された命令の実行により)作動することができるが、図6のシステム(600)は、他の操作のモードに従い作動することができ、および/または、他の適切な手順を実行することもできる。
図7Aに関して、方法(700)は、ブロック(705)で、複数のメディアコンテンツのうちの1つ以上の第1のメディアコンテンツ(これはVR/AR/MxRアセットおよびVR/AR/MxRコンテンツなどを含みうる)が、複数のビジュアルアウトプットデバイスへの配信の準備ができているかどうかを、コンピューティングシステムを用いて判定する工程を含みうる。そうならば、該プロセスはブロック(710)に続く。そうでなければ、該プロセスは図7Eのブロック(765)に進む。
ブロック(710)では、方法(700)は、1つ以上の第1のメディアコンテンツが配信の準備ができているという判定に基づいて、コンピューティングシステムを用いて、第1のAPIを介して生産管理システムへ1つ以上の第1のメッセージを送信する工程を含みうる。1つ以上の第1のメッセージは、生産管理システムに1つ以上の第1のメディアコンテンツのステータスを変更させて、1つ以上の第1のメディアコンテンツが複数のビジュアルアウトプットデバイスへの配信の準備ができていることを示す。方法(700)は、ブロック(715)で、コンピューティングシステムを用いて、第2のAPIを介してアセット制作システムへ1つ以上の第2のメッセージを送信する工程を含みうる。1つ以上の第2のメッセージは、アセット制作システムに、第2のAPIを介してコンピューティングシステムへと1つ以上の第1のメディアコンテンツを送信させる。
方法(700)はさらに、コンピューティングシステムを用いて、第2のAPIを介してアセット制作システムから1つ以上の第1のメディアコンテンツを受信する工程(ブロック(720))、および、コンピューティングシステムを用いて、画像キャプチャデバイス(図1のシステム(100)の第1のカメラ(135)などに相当しうる)から1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を受信する工程(ブロック(725))、を含みうる。ブロック(730)では、方法(700)は、コンピューティングシステムを用いて、複数のメディアコンテンツのうちの1つ以上の第1のメディアコンテンツ、または、1つ以上の物理的オブジェクトのうちの1つ以上のキャプチャされた画像、のうちの少なくとも1つをどのようにユーザに提示すべきかを判定する工程、を含みうる。該プロセスは、(仮想現実の提示については)マーク「A」に続いて図7Bのブロック(735)のプロセス、(拡張現実の提示については)マーク「B」に続いて図7Cのブロック(745)のプロセス、または、(混合現実の提示については)マーク「C」に続いて図7Dのブロック(755)のプロセス、のうちの1つに続いてもよい。
図7Bに目を向けると、方法(700)は、1つ以上の第1のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、第3のAPIを介して、アセットの統合および制御のシステムを制御させる工程であって、アセットの統合および制御のシステムに第1のメディアコンテンツを修正させて1つ以上の第2のメディアコンテンツを生成させ、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含む工程(ブロック(735))、および、コンピューティングシステムを用いて、第4のAPIを介して、1つ以上の第2のメディアコンテンツを、ユーザに1つ以上の第2のメディアコンテンツを提示する複数のビジュアルアウトプットデバイスのうちの第1のビジュアルアウトプットデバイスに送信させる工程(ブロック(740))、を含みうる。該プロセスは、図7Fの任意選択のブロック(775)でのプロセスに続いても良い。
図7Cに関して、方法(700)は、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ拡張現実の提示として提示されていないという判定に基づき、第3のAPIを介して、アセットの統合および制御のシステムを制御し、1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に関して仮想オーバーレイとして1つ以上の第1のメディアコンテンツを修正することによって、アセットの統合および制御のシステムに、1つ以上の第3のメディアコンテンツを生成させる工程であって、該1つ以上の第3のメディアコンテンツは拡張現実コンテンツを含む、工程(ブロック(745))、および、第4のAPIを介して、コンピューティングシステムを用いて、1つ以上の第3のメディアコンテンツを、ユーザに1つ以上の第3のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信する工程(ブロック(750))、を含みうる。該プロセスは、図7Fの任意選択のブロック(775)でのプロセスに続いても良い。
図7Dに関して、方法(700)は、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を仮想現実および拡張現実の要素と結合した複合現実の提示として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ複合現実の提示として提示されていないという判定に基づいて、第3のAPIを介してコンピューティングシステムを用いて、アセットの統合および制御のシステムを制御する工程であって、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に基づいて、アセットの統合および制御のシステムに、1つ以上の第4のメディアコンテンツを生成させる工程であって、該1つ以上の第4のメディアコンテンツは複合現実コンテンツを含む、工程(ブロック(755))、および、第4のAPIを介して、コンピューティングシステムを用いて、1つ以上の第4のメディアコンテンツを、ユーザに1つ以上の第4のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信する工程(ブロック(760))、を含みうる。該プロセスは、図7Fの任意選択のブロック(775)でのプロセスに続いても良い。
図7Aのブロック(705)に戻ると、1つ以上の第1のメディアコンテンツは配信の準備ができていないという判定に基づき、方法(700)は、マーク「D」に続いて図7Eのブロック(765)へと進むことがある。ブロック(765)では、方法(700)はコンピューティングシステムを用いて、第1のAPIを介して生産管理システムへと1つ以上の第3のメッセージを送信する工程を含みうる。1つ以上の第3のメッセージは、生産管理システムに1つ以上の第1のメディアコンテンツのステータスを変更させて、1つ以上の第1のメディアコンテンツは複数のビジュアルアウトプットデバイスへの配信の準備ができていないことを示す。方法(700)は、ブロック(770)で、コンピューティングシステムを用いて、第2のAPIを介して1つ以上の第4のメッセージをアセット制作システムに送信する工程であって、ここで、1つ以上の第4のメッセージは、1つ以上の第1のメディアコンテンツに関する作業を続けるように、アセット制作システムに1つ以上の第5のメッセージを1つ以上の開発者へと送信させる、工程を含みうる。該プロセスは、マーク「E」に続いて図7Aのブロック(705)のプロセスに戻ってもよい。
それぞれ図7B、7Cおよび7Dのブロック(740)、(750)および(760)の各々からマークFに続く図7Fの任意選択のブロック(775)に関して、該方法(700)はさらに、コンピューティングシステムを用いて、第1のAPIを介して生産管理システムについて、第2のAPIを介してアセット制作システムについて、第3のAPIを介してアセットの統合および制御のシステムについて、および、第4のAPIを介して複数のビジュアルアウトプットデバイスについて、これらのうちの少なくとも1つの各々における複数のメディアコンテンツの各々のリアルタイムステータスを追跡する工程を含みうる。方法(700)はさらに、アセット制作システムからアセットの統合および制御のシステムへの統合の準備ができていることを示すステータスを有する、複数のメディアコンテンツのうちの少なくとも1つの第5のメディアコンテンツを、コンピューティングシステムを用いて、配信する工程(任意選択のブロック(780));アセットの統合および制御のシステムから第1のビジュアルアウトプットデバイスへの配信の準備ができていることを示すステータスを有する、複数のメディアコンテンツのうちの少なくとも1つの第6のメディアコンテンツを、コンピューティングシステムを用いて、配信する工程(任意選択のブロック(785));コンピューティングシステムを用いて、少なくとも1つの第6のメディアコンテンツを、複数のビジュアルアウトプットデバイスのうちの1つ以上の第2のビジュアルアウトプットデバイスと同期させる工程であって、1つ以上の第2のビジュアルアウトプットデバイスは、第1のビジュアルアウトプットデバイスとは別個である、工程(任意選択のブロック(790));および、少なくとも1つの第6のメディアコンテンツに対する更新を受信することに応じて、コンピューティングシステムを用いて、少なくとも1つの第6のメディアコンテンツに対する更新を、第1のビジュアルアウトプットデバイスのそれぞれおよび1つ以上の第2のビジュアルアウトプットデバイスのそれぞれに送信する工程(任意選択のブロック(795))、を含みうる。
その他の点で、同一でないにしても、システム(600)は図1および3のシステム(100)および(300)に類似しており、方法(700)は、その他の点で、同一でないにしても、図2、4および5の方法(200)、(400)および(500)に類似しており、類似の構成要素またはプロセスの記載は、システム(600)の構成要素および方法(700)のプロセスに当てはまる。
典型的なシステムおよびハードウェアの実装
図8は、様々な実施形態に従って、例示的なコンピュータまたはシステムハードウェアアーキテクチャを例示するブロック図である。図8は、コンピュータシステム(800)の一実施形態の概略図を提供し、該システムは、本明細書に記載のように、他の様々な実施形態によって提供される方法を実行することができ、および/または、上述のように、コンピュータまたはハードウェアシステム(すなわちコンピューティングシステム(110)または(310)など)の、または任意の他のデバイス(たとえば、ユーザデバイス(105)または(305)など)の、機能を実行することができる。図8は、様々な構成要素の一般化された例示を提供することのみを意図しており、そのうちの1つ以上が必要に応じて利用され得る(または何も利用されない)ことに留意されたい。したがって、図8は、どのようにして個々のシステム要素が比較的分離された方法または比較的より統合された方法で実装され得るかを幅広く例示する。
コンピュータまたはハードウェアシステム(800)−これは、図1および3に関して上述される、コンピュータまたはハードウェアシステム(即ちコンピューティングシステム(110)または(310)など)の実施形態、または他の任意のデバイス(例えばユーザデバイス(105)または(305)など)の実施形態を表し得る−は、バス(805)を介して電気的に結合することができる(あるいは、他の方法で、適切に通信状態にあることができる)ハードウェア要素を含むと示されている。ハードウェア要素は、限定されないが、1つ以上の汎用プロセッサ、および/または、1つ以上の専用プロセッサ(デジタル信号処理チップ、グラフィックス加速プロセッサなど)、などを含む1つ以上のプロセッサ(810)と;限定されないが、マウス、キーボード、などを含むことができる1つ以上のインプットデバイス(815)と;限定されないが、ディスプレイデバイス、プリンター、などを含むことができる1つ以上のアウトプットデバイス(820)と;を含みうる。
コンピュータまたはハードウェアシステム(800)はさらに、限定されないがローカルおよび/またはネットワークでアクセス可能なストレージを含みうる1つ以上のストレージデバイス(825)を含むことがあり、および/または、限定されないが、プログラム可能でフラッシュ更新可能(flash−updateable)な、ディスクドライブ、ドライブアレイ、光学ストレージデバイス、ランダムアクセスメモリ(「RAM」)および/または、読み出し専用メモリ(「ROM」)などのソリッドステートストレージデバイスを含むことができる。そのようなストレージデバイスは、様々なファイルシステム、データベース構造などを含むがこれらに限定されない、任意の適切なデータストアを実装するように構成され得る。
コンピュータまたはハードウェアシステム(800)はまた、通信サブシステム(830)を含んでもよく、これは、限定されないが、モデム、ネットワークカード(無線または有線)、赤外線通信デバイス、無線通信デバイスおよび/またはチップセット(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、WWANデバイス、移動体通信設備など)、などを含むことができる。通信サブシステム(830)は、(一例を挙げれば、以下に記載されるネットワークなどの)ネットワークと、他のコンピュータまたはハードウェアシステムと、および/または本明細書に記載される他の任意のデバイスと、データを交換することを可能にし得る。多くの実施形態では、コンピュータまたはハードウェアシステム(800)はさらにワーキングメモリ(835)を含むだろうし、これは、上述のように、RAMまたはROMデバイスを含むことができる。
コンピュータまたはハードウェアシステム(800)はまた、(限定されないが、ハイパーバイザ、VMなどを含む)様々な実施形態によって提供されるコンピュータプログラムを含みうる1つ以上のアプリケーションプログラム(845)などの、オペレーティングシステム(840)、デバイスドライバ、実行可能ライブラリ、および/または、他のコードを含む、ワーキングメモリ(835)内に現在配置されているように示されるソフトウェア要素も含んでもよく、および/または、本明細書に記載のような他の実施形態によって提供される方法を実施および/またはそのようなシステムを構成するように設計されてもよい。ほんの一例として、上述される方法に対して記述された1つ以上の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実施することができ;一態様では、次いで、そのようなコードおよび/または命令は、記載された方法に従って1つ以上の動作を実行するように汎用コンピュータ(または他のデバイス)を構成および/または適合させるために使用することができる。
これらの命令および/またはコードのセットは、上述のストレージデバイス(複数可)(825)などの非一時的コンピュータ可読記憶媒体にエンコードおよび/または格納されうる。いくつかの場合には、記憶媒体は、システム(800)などのコンピュータシステム内に組み込まれてもよい。他の実施形態では、記憶媒体は、コンピュータシステム(すなわち、コンパクトディスクなどのリムーバブル媒体)とは別個であり得、および/または、インストールパッケージ中で提供され得、 このようにして、記憶媒体は、その上に記憶された命令/コードを有する汎用コンピュータをプログラム、構成、および/または適合させるために使用することができる。これらの命令は、コンピュータまたはハードウェアシステム(800)によって実行可能である実行可能コードの形をとっても良く、および/または、コンピュータまたはハードウェアシステム(800)へのコンパイルおよび/またはインストール時に(例えば、一般に入手可能な様々なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティなどのいずれかを使用して)実行可能コードの形をとる、ソースコードおよび/またはインストール可能コードの形をとり得る。
特定の要件に従って実質的な変形がなされ得ることは当業者には明らかであろう。例えば、カスタマイズされたハードウェア(プログラマブルロジックコントローラ、フィールドプログラマブルゲートアレイ、特定用途向け集積回路など)も使用することができ、および/または、特定の要素をハードウェア、ソフトウェア(アプレットなどの携帯用ソフトウェアなどを含む)、またはその両方で実装することができる。 さらに、ネットワーク入力/出力装置などの他のコンピューティングデバイスへの接続を使用することができる。
上述のように、一態様では、いくつかの実施形態は、本発明の様々な実施形態に従って方法を実行するためにコンピュータまたはハードウェアシステム(コンピュータまたはハードウェアシステム(800)など)を利用してもよい。1セットの実施形態によれば、そのような方法の手順のうちのいくつかまたはすべては、ワーキングメモリ(835)に含まれる1つ以上の命令(アプリケーションプログラム(845)などのオペレーティングシステム(840)および/または他のコードに組み込まれてもよい)の1つ以上のシークエンスをプロセッサ(810)が実行することに応じて、コンピュータまたはハードウェアシステム(800)によって行なわれる。そのような命令は、1つ以上のストレージデバイス(825)などの別のコンピュータ可読媒体からワーキングメモリ(835)へと読み込まれうる。ほんの一例として、ワーキングメモリ(835)に含まれる命令の配列の実行は、プロセッサ(810)に本明細書に記述された方法のうちの1つ以上の手順をさせることができる。
「機械可読媒体」および「コンピュータ可読媒体」という用語は、本明細書に使用されるように、マシンを特定の方法で作動させるデータの提供に参加するあらゆる媒体を指す。コンピュータまたはハードウェアシステム(800)を使用して実行された実施形態では、様々なコンピュータ読取可能記憶媒体は、実行のためにプロセッサ(810)に命令/コードを提供することに関与してもよく、および/または、そのような命令/コードを(たとえば信号として)格納および/または搬送するために使用されてもよい。多くの実装では、コンピュータ可読媒体は、非一時的で、物理的、および/または有形の記憶媒体である。いくつかの実施形態では、コンピュータ可読媒体は、不揮発性媒体、揮発性媒体などを含むがこれらに限定されない、多くの形をとってもよい。不揮発性媒体は、例えば、ストレージデバイス(825)などの光学ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定されないが、ワーキングメモリ(835)などの動的メモリを含む。いくつかの代替的な実施形態では、コンピュータ可読媒体は、伝送媒体の形式をとってもよく、これには、バス(805)を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバ、ならびに通信サブシステム(830)のさまざまな構成要素(および/または通信サブシステム(830)が他の機器との通信を提供する媒体)が含まれるがこれらに限定されない。代替的な実施形態のセットでは、伝送媒体はまた、波の形をとることもできる(電波および赤外線データ通信中に生成されるものなどの電波、音波、および/または光波を含むがこれらに限定されない)。
物理的または有形のコンピュータ可読媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または他の任意の磁気媒体、CD−ROM、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する他の任意の物理的媒体、RAM、PROMおよびEPROM、FLASH−EPROM、他の任意のメモリチップまたはカートリッジ、後述する搬送波、または、コンピュータが命令および/またはコードを読み取ることができる他の任意の媒体、が含まれる。
様々な形式のコンピュータ可読媒体が、実行のために1つ以上の命令の1つ以上のシーケンスをプロセッサ(810)に搬送することに関与しうる。ほんの一例として、命令は、最初にリモートコンピュータの磁気ディスクおよび/または光ディスクで搬送されてもよい。リモートコンピュータは、命令をその動的メモリにロードし、コンピュータまたはハードウェアシステム(800)によって受信および/または実行されるように信号として伝送媒体を介して命令を送信することができる。これらの信号は、電磁信号、音響信号、光信号などの形態であってもよく、すべて指示がそうでありうる搬送波の例である、本発明の様々な実施形態に従って命令をエンコードすることができる搬送波の全ての例である。
通信サブシステム(830)(そのおよび/または構成要素)は、概して信号を受け取り、次いでバス(805)は、信号(および/または信号によって搬送されるデータ、命令など)をワーキングメモリ(835)に運び、そこからプロセッサ(805)は命令を回収して実行する。ワーキングメモリ(835)によって受信された命令は、プロセッサ(810)による実行の前に、またはその実行の後に、ストレージデバイス(825)に随意に格納されてもよい。
上述のように、ある実施形態のセットは、コンピュータシミュレーテッドリアリティのインタラクションを実施するための方法およびシステムを含み、特定の実施形態では、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法、システムおよびコンピュータソフトウェアを含む。図9は、実施形態の1つのセットに従って使用することができるシステム(900)の概略図を例示する。システム(900)は1つ以上のユーザコンピュータまたはユーザデバイス(905)を含むことができる。ユーザコンピュータまたはユーザデバイス(905)は、汎用パーソナルコンピュータ(ほんの一例としては、Apple、Microsoft Corp.などのベンダーから入手可能である適切なオペレーティングシステムを実行する、デスクトップコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータなどを含む)、クラウドコンピューティングデバイス、サーバ、および/または、様々な市販のUNIX(登録商標)またはUNIX(登録商標)ライクなオペレーティングシステムのいずれかを実行しているワークステーションコンピュータ、であってもよい。ユーザコンピュータまたはユーザデバイス(905)はまた、(たとえば、上述のように)様々な実施形態によって提供される方法を実行するように構成された1つ以上のアプリケーション、ならびに1つ以上のオフィスアプリケーション、データベースクライアント、および/またはサーバアプリケーション、および/またはWebブラウザアプリケーションを含む様々なアプリケーションのいずれかを有することができる。あるいは、ユーザコンピュータまたはユーザデバイス(905)は、ネットワーク(例えば、後述のネットワーク(910))を介して通信でき、および/またはウェブページまたは他の種類の電子文書を表示およびナビゲートすることができる、シンクライアントコンピュータ、インターネットへの接続が可能な携帯電話、および/または携帯情報端末などの他の電子デバイスであってもよい。例示的なシステム(900)は4つのユーザコンピュータまたはユーザデバイス(905)とともに示されるが、任意の数のユーザコンピュータまたはユーザデバイスがサポートされうる。
特定の実施形態は、ネットワーク(910)を含みうる、ネットワーク接続された環境中で作動する。ネットワーク(910)は、TCP/IP、SNA(商標)、IPX(商標)、AppleTalk(商標)、などを含むがこれに限定されない、様々な市販の(および/または無料のまたは独自の)プロトコルのいずれかを使用してデータ通信をサポートすることができる、当業者に公知の任意のタイプのネットワークであってもよい。ほんの一例として、ネットワーク(910)(図1のネットワーク(115)または図3のネットワーク(315)などと類似)は各々、限定されないが、ファイバーネットワーク、イーサネット(登録商標)ネットワーク、Token−Ring(商標)ネットワークなどを含む、LAN;WAN;WWAN;VPNなどの仮想ネットワーク;インターネット;イントラネット;エクストラネット;PSTN;赤外線ネットワーク;限定されないが、IEEE 802.11プロトコルスイート、当技術分野で高知のBluetooth(登録商標)プロトコル、および/または他の任意のワイヤレスプロトコルのいずれかの下で動作するネットワークを含むワイヤレスネットワーク;および/または、これらおよび/または他のネットワークの任意の組み合わせ、を含むが、これに限定されない。特定の実施形態では、ネットワークは、サービスプロバイダ(例えばISP)のアクセスネットワークを含みうる。別の実施形態では、ネットワークは、サービスプロバイダのコアネットワーク、および/または、インターネット、を含みうる。
実施形態はさらに1つ以上のサーバコンピュータ(915)を含むことができる。サーバコンピュータ(915)のそれぞれは、限定されないが、任意の市販の(または無料で)利用可能なサーバオペレーティングシステムならびに上述のもののいずれかを含む、オペレーティングシステムを用いて構成することができる。サーバ(915)のそれぞれはまた、1つ以上のアプリケーションを実行してもよく、これは1つ以上のクライアント(905)および/または他のサーバ(915)にサービスを提供するように構成されうる。
ほんの一例として、上述のように、サーバ(915)のうちの1つは、データサーバ、ウェブサーバ、クラウドコンピューティングデバイスなどであってもよい。データサーバは、ほんの一例として、ユーザコンピュータ(905)からのウェブページまたは他の電子文書に対する要求を処理するために使用することができるウェブサーバを含む(またはそれと通信する)ことができる。ウェブサーバはまた、HTTPサーバ、FTPサーバ、CGIサーバ、データベースサーバ、Java(登録商標)サーバなどを含む様々なサーバアプリケーションを実行することができる。本発明のいくつかの実施形態において、ウェブサーバは、本発明の方法を実行するために1つ以上のユーザコンピュータ(905)上のウェブブラウザ内で操作することができるウェブページを提供するように構成されうる。
いくつかの実施形態では、サーバコンピュータ(915)は1つ以上のアプリケーションサーバを含んでもよく、これはクライアントコンピュータ(905)および/または他のサーバ(915)の1つ以上で動作するクライアントによってアクセス可能な1つ以上のアプリケーションで構成されうる。ほんの一例として、サーバ(915)は、ユーザコンピュータ(905)および/または他のサーバ(915)に応じてプログラムまたはスクリプトを実行することができる1つ以上の汎用コンピュータであってもよく、これはウェブアプリケーション(場合によっては、様々な実施形態によって提供される方法を実行するように構成されてもよい)を含むが限定されない。ほんの一例として、ウェブアプリケーションは、Java(登録商標)、C、C#(商標)または C++などの任意の適切なプログラミング言語、および/または、Perl、PythonまたはTCLなどの任意のスクリプト言語、ならびに、プログラミング言語やスクリプト言語の組み合わせ、で書かれた1つ以上のスクリプトまたはプログラムとして実装することができる。アプリケーションサーバはまた、Oracle(商標)、Microsoft(商標)、Sybase(商標)、IBM(商標)などから市販されているものを含むがこれに限定されないデータベースサーバを含むことができ、これは、ユーザコンピュータまたはユーザデバイス(905)および/または別のサーバ(915)上で動作している(構成によっては、専用データベースクライアント、APIクライアント、ウェブブラウザなどを含む)クライアントからの要求を処理することができる。いくつかの実施形態では、アプリケーションサーバは、上記で詳述したように、コンピュータシミュレーテッドリアリティのインタラクションを実行するための1つ以上のプロセスを実行でき、特定の実施形態では、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法、システムおよびコンピュータソフトウェアを実行する。アプリケーションサーバによって提供されるデータは、(例えば、HTML、JavaScript(登録商標)などを含む)1つ以上のウェブページとしてフォーマットされてもよく、および/または(たとえば上述のように)ウェブサーバを介してユーザコンピュータ(905)に転送されてもよい。同様に、ウェブサーバは、ユーザコンピュータ(905)からウェブページ要求および/または入力データを受信し、および/またはウェブページ要求および/または入力データをアプリケーションサーバに転送することができる。いくつかの場合には、ウェブサーバがアプリケーションサーバに統合されてもよい。
さらなる実施形態に従って、1つ以上のサーバ(915)はファイルサーバとして機能することができ、および/または、ユーザコンピュータ(905)および/または別のサーバ(915)上で動作するアプリケーションによって組み込まれる、様々な開示された方法を実施するのに必要な、1つ以上のファイル(たとえばアプリケーションコード、データファイルなど)を含むことができる。 あるいは、当業者が理解するように、ファイルサーバはすべての必要なファイルを含むことができ、そのようなアプリケーションがユーザコンピュータまたはユーザデバイス(905)および/またはサーバ(915)によってリモートで呼び出されることを可能にする。
本明細書の様々なサーバ(例えば、アプリケーションサーバ、データベースサーバ、ウェブサーバ、ファイルサーバなど)に関して記載された機能は、実装に固有の(implementation−specific)ニーズおよびパラメータに応じて、単一のサーバおよび/または複数の専用サーバによって実行することができることに留意されたい。
特定の実施形態では、システムは1つ以上のデータベース(920a)および(920b)(総称して「データベース(920)」)を含むことができる。データベース(920)の各々の位置は任意である:ほんの一例として、データベース(920a)は、サーバ(915a)(および/またはユーザコンピュータもしくはユーザデバイス(905))に対してローカルな(および/またはそこに内在する)記憶媒体上に存在してもよい。あるいは、データベース(920b)は、(例えばネットワーク(910)を介して)これらのうちの1つ以上と通信することができる限り、コンピュータ(905)、(915)のいずれかまたはすべてから遠隔であってもよい。特定のセットの実施形態では、データベース(920)は、当業者に周知の記憶域ネットワーク(「SAN」)内に存在することができる。(同様に、適切なように、コンピュータ(905)、(915)に起因する機能を行なうための必要なファイルも、それぞれのコンピュータ上でローカルおよび/またはリモートで格納することができる。)1セットの実施形態では、データベース(920)は、SQL形式のコマンドに応答してデータを格納、更新、および検索するように適合された、オラクルデータベースなどのリレーショナルデータベースとすることができる。例えば、データベースは、上述のように、データベースサーバによって制御および/または維持されうる。
いくつかの実施形態によれば、システム(900)はさらに、印刷された出版物(925)(これは図1および3のそれぞれ印刷された出版物(125)または(325)に相当しうる)を含む。いくつかの実施形態では、印刷された出版物(925)は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうるが、これに限定されない。いくつかの場合には、印刷された出版物(925)は、印刷された出版物(925)の少なくとも一部上に1つ以上のトリガー(930)を含みうる。いくつかの例では、1つ以上のトリガーはそれぞれ、限定されないが、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、などのうちの1つを含む。あるいは、1つ以上のトリガーはそれぞれ、限定されないが、RFIDタグ、BLEタグ、NFCタグまたはRTLSタグのうちの1つなどを含みうる。ユーザデバイス(905)は1つ以上のトリガー検出器(935)を含んでもよく、これらは各々、限定されないが、カメラ、無線送受信機などのうちの1つを含んでもよい。無線送受信機は、RFIDスキャナ、BLEインターフェース、NFCインターフェース、RTLSインターフェースなどのうちの1つを含んでもよい。システム(900)はさらに、プラットフォーム、または、コンピュータシミュレーテッドリアリティのプラットフォーム(940)を含むことができ、これは、VR、ARまたはMxRのうちの1つから別のVR、ARまたはMxRへとシフトすることを可能にし、図6および7に関して詳細に記述される。
操作においては、1つ以上のトリガー検出器(935)のうちの少なくとも1つのトリガー検出器(935)が1つ以上のトリガー(930)のうちの少なくとも1つのトリガー(930)を検知することに応じて、ユーザデバイス(905)またはサーバ(915)は、少なくとも1つのトリガー(930)に関連する1つ以上のメディアコンテンツを特定しうる。いくつかの実施形態では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックの少なくとも1つを含む。いくつかの例では、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などのうちの1つを含みうる。
ユーザデバイス(905)は、ユーザの視野を判定しうる(例えば、それぞれ図1および3のカメラ(140)または(340)のようなカメラの使用による)。視野は、印刷された出版物の少なくとも一部を含んでいてもよい。ユーザデバイス(905)またはサーバー(930)は、必要な場合、、ユーザの視野と位置合わせするように1つ以上のメディアコンテンツの向きを修正することがあり、および、ユーザデバイス(905)のディスプレイデバイス上で、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを表示することがあり、いくつかの場合には、その結果として、1つ以上のメディアコンテンツが、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、 印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、 または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。
デジタル処理装置
いくつかの実施形態では、本明細書に記載されるプラットフォーム、システム、媒体、および方法は、デジタル処理装置、またはデジタル処理装置の使用を含む。さらなる実施形態では、デジタル処理装置は、装置の機能を実行する1つ以上のハードウェア中央処理装置(CPU)または汎用グラフィック処理ユニット(GPGPU)を含む。またさらなる実施形態では、デジタル処理装置は、実行可能な命令を行うように構成された操作オペレーティングシステムをさらに含む。いくつかの実施形態では、デジタル処理装置は随意に接続されたコンピュータネットワークである。さらなる実施形態では、デジタル処理装置はワールド・ワイド・ウェブにアクセスするようにインターネットに随意に接続される。またさらなる実施形態では、デジタル処理装置は、クラウド・コンピューティング・インフラストラクチャーに随意に接続される。他の実施形態では、デジタル処理装置は、イントラネットに随意に接続される。他の実施形態では、デジタル処理装置は、データメモリに随意に接続される。
本明細書の記載に従って、適切なデジタル処理装置は、非限定的な例として、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、サブノートブックコンピュータ、ネットブックコンピュータ、ネットパッドコンピュータ、セットトップコンピュータ、メディアストリーミングデバイス、ハンドヘルドコンピュータ、インターネットアプライアンス、モバイルスマートフォン、タブレットコンピュータ、携帯情報端末、ビデオゲーム機、および媒体を含む。当業者は、多くのスマートフォンが、本明細書に記載されるシステムでの使用に適していることを認識するであろう。当業者は、随意のコンピュータネットワーク接続を有する、選択されたテレビ、ビデオプレーヤー、およびデジタル音楽プレーヤーが、本明細書に記載されるシステムにおける使用に適していることを認識するであろう。適切なタブレットコンピュータは、当業者に既知のブックレット、スレート、および変換可能な構成を有するものを含む。
いくつかの実施形態では、デジタル処理装置は、実行可能な命令を行うように構成されたオペレーティングシステムを含む。オペレーティングシステムは、例えば、装置のハードウェアを制御し、アプリケーションの遂行のためのサービスを提供する、プログラムおよびデータを含むソフトウェアである。当業者は、適切なサーバオペレーティングシステムが、非限定的な例として、FreeBSD、OpenBSD、NetBSD(登録商標)、リナックス(登録商標)、Apple(登録商標)Mac OS X Server(登録商標)、Oracle(登録商標)Solaris(登録商標)、Wiodows Server(登録商標)、およびNovell(登録商標)NetWare(登録商標)を含むことを認識するだろう。当業者は、適切なパソコンオペレーティングシステムが、非限定的な例として、Microsoft(登録商標)Windows(登録商標)、Apple(登録商標)Mac OS X(登録商標)、UNIX(登録商標)、およびGNU/Linux(登録商標)などのUNIX(登録商標)ライクなオペレーティングシステムを含むことを認識するだろう。いくつかの実施形態において、オペレーティングシステムは、クラウドコンピューティングによって提供される。当業者は、適切なモバイルスマートフォンオペレーティングシステムが、非限定的な例として、Nokia(登録商標)Symbian(登録商標)OS、Apple(登録商標)iOS(登録商標)、Research in Motion(登録商標)BlackBerry OS(登録商標)、Google(登録商標)Android(登録商標)、Microsoft(登録商標)Windows Phone(登録商標)OS、Microsoft(登録商標)Windows Mobile(登録商標)OS、Linux(登録商標)、およびPalm(登録商標)WebOS(登録商標)を含むことを認識するであろう。当業者は、適切なメディアストリーミング装置オペレーティングシステムが、非限定的な例として、Apple TV(登録商標)、Roku(登録商標)、Boxee(登録商標)、Google TV(登録商標)、Google Chromecast(登録商標)、Amazon Fire(登録商標)、およびSamsung(登録商標) HomeSync(登録商標)を含むことも認識するであろう。当業者は、適切なビデオゲーム機のオペレーティングシステムが、非限定的な例として、Sony(登録商標)PS3(登録商標)、Sony(登録商標)PS4(登録商標)、Microsoft(登録商標)Xbox 360(登録商標)、Microsoft Xbox One、Nintendo(登録商標)Wii(登録商標)、Nintendo(登録商標)Wii U(登録商標)、およびOuya(登録商標)を含むことも認識するであろう。
いくつかの実施形態では、デバイスはストレージデバイスおよび/またはメモリデバイスを含んでいる。ストレージデバイスおよび/またはメモリデバイスは、一時的または永久的にデータまたはプログラムを記憶するために使用される1つ以上の物理的な装置である。いくつかの実施形態において、デバイスは揮発性メモリであり、記憶した情報を維持するための電力を必要とする。いくつかの実施形態において、デバイスは不揮発性メモリであり、デジタル処理装置に電力が供給されないときに記憶した情報を保持する。さらなる実施形態において、不揮発性メモリはフラッシュメモリを含む。いくつかの実施形態において、不揮発性メモリは、ダイナミックランダムアクセスメモリ(DRAM)を含む。いくつかの実施形態において、不揮発性メモリは、強誘電体ランダムアクセスメモリ(FRAM(登録商標))を含む。いくつかの実施形態において、不揮発性メモリは、相変化ランダムアクセスメモリ(PRAM)を含む。他の実施形態において、デバイスは、非限定的な例として、CD−ROM、DVD、フラッシュメモリデバイス、磁気ディスクドライブ、磁気テープドライブ、光ディスクドライブ、およびクラウドコンピューティングベースのストレージデバイスを含むストレージデバイスである。さらなる実施形態において、ストレージデバイスおよび/またはメモリデバイスは、本明細書に開示されるものなどのデバイスの組み合わせである。
いくつかの実施形態では、デジタル処理装置は、ユーザへ視覚情報を送るためのディスプレイを含んでいる。いくつかの実施形態において、ディスプレイは液晶ディスプレイ(LCD)である。さらなる実施形態において、ディスプレイは薄膜トランジスタ液晶ディスプレイ(TFT−LCD)である。いくつかの実施形態において、ディスプレイは、有機発光ダイオード(OLED)ディスプレイである。様々なさらなる実施形態において、OLEDディスプレイは、パッシブ−マトリクスOLED(PMOLED)またはアクティブ−マトリクスOLED(AMOLED)のディスプレイである。いくつかの実施形態において、ディスプレイはプラズマディスプレイである。他の実施形態において、ディスプレイはビデオプロジェクターである。また他の実施形態では、ディスプレイは、VRヘッドセットなどの、デジタル処理装置と通信する頭部装着型ディスプレイである。さらなる実施形態では、適切なVRヘッドセットは、非限定的な例として、HTC Vive、Oculus Rift、Samsung Gear VR、Microsoft HoloLens、Razer OSVR、FOVE VR、Zeiss VR One、Avegant Glyph、Freefly VRヘッドセット、などを含む。またさらなる実施形態において、ディスプレイは、本明細書に開示されるものなどの装置の組み合わせである。
いくつかの実施形態では、デジタル処理装置は、ユーザから情報を受信するためのインプットデバイスを含んでいる。いくつかの実施形態において、インプットデバイスはキーボードである。いくつかの実施形態において、インプットデバイスは、非限定的な例として、マウス、トラックボール、トラックパッド、ジョイスティック、ゲームコントローラ、またはスタイラスを含むポインティング装置である。いくつかの実施形態において、インプットデバイスはタッチスクリーンまたはマルチタッチスクリーンである。他の実施形態において、インプットデバイスは、声または他の音入力を捕らえるマイクロフォンである。他の実施形態において、インプットデバイスは、動きまたは視覚入力を捕らえるビデオカメラまたは他のセンサである。さらなる実施形態において、インプットデバイスはKinect、Leap Motion、などである。またさらなる実施形態において、インプットデバイスは本明細書に開示されるものなどの装置の組み合わせである。
非一時的なコンピュータ読み取り可能な記憶媒体
いくつかの実施形態において、本明細書で開示されるプラットフォーム、システム、媒体、および方法は、随意にネットワーク接続されたデジタル処理装置のオペレーティングシステムによって実行可能な命令を含むプログラムでエンコードされた1つ以上の非一時的なコンピュータ読み取り可能な記憶媒体を含む。さらなる実施形態では、コンピュータ読み取り可能な記憶媒体はデジタル処理装置の触れることのできる構成要素である。またさらなる実施形態では、コンピュータ読み取り可能な記憶媒体は、デジタル処理装置から随意に除去可能である。いくつかの実施形態では、コンピュータ読み取り可能な記憶媒体は、非限定的な例として、CD−ROM、DVD、フラッシュメモリデバイス、ソリッドステートストレージデバイス、磁気ディスクドライブ、磁気テープドライブ、光ディスクドライブ、クラウドコンピューティングシステムおよびサービスなどを含む。場合によっては、プログラムと命令は媒体上で永久に、実質的に永久に、半永久に、または非一時的にエンコードされる。
コンピュータプログラム
いくつかの実施形態では、本明細書に開示されたプラットフォーム、システム、媒体、および方法は、少なくとも1つのコンピュータプログラム、またはコンピュータプログラムの使用を含む。コンピュータプログラムは、デジタル処理装置のCPUで実行可能であるとともに特定のタスクを実行するために書き込まれる、一連の指示を含む。コンピュータ読み取り可能な命令は、特定のタスクを行うか、または特定の抽出データタイプを実行する、機能、オブジェクト、アプリケーションプログラミングインターフェース(API)、データ構造などのプログラムモジュールとして実行されることもある。本明細書で提供される開示に照らして、当業者は、コンピュータプログラムが様々な言語の様々なバージョンで書き込まれてもよいことを認識するであろう。
コンピュータ読み取り可能な命令の機能性は、様々な環境で望まれるように、組み合わされることもあれば、分散されることもある。いくつかの実施形態では、コンピュータプログラムは1つの命令列を含む。いくつかの実施形態において、コンピュータプログラムは複数の命令列を含む。いくつかの実施形態では、コンピュータプログラムは1つの位置から提供される。他の実施形態では、コンピュータプログラムは複数の位置から提供される。様々な実施形態において、コンピュータプログラムは、1以上のソフトウェアモジュールを含む。様々な実施形態において、コンピュータプログラムは、一部または全体として、1つ以上のウェブアプリケーション、1つ以上のモバイルアプリケーション、1つ以上のスタンドアロンアプリケーション、1つ以上のウェブブラウザプラグイン、拡張、アドイン、またはアドオン、あるいはこれらの組み合わせを含む。
ウェブアプリケーション
いくつかの実施形態では、コンピュータプログラムはウェブアプリケーションを含んでいる。本明細書で提供される本開示に照らして、当業者は、ウェブアプリケーションが様々な実施形態において1つ以上のソフトウェアフレームワークと1つ以上のデータベースシステムを採用することを認識するであろう。いくつかの実施形態では、ウェブアプリケーションは、Microsoft(登録商標).NETまたはRuby on Rails(ルビーオンレイルズ)(RoR)などのソフトウェアフレームワークで作成される。いくつかの実施形態では、ウェブアプリケーションは、非限定的な例として、リレーショナルの、非リレーショナルの、オブジェクト指向の、結合性の、および、XMLのデータベースシステムを含む、1つ以上のデータベースシステムを利用する。さらなる実施形態では、適切なリレーショナルデータベースシステムは、非限定的な例として、Microsoft(登録商標)SQLサーバ、mySQL(商標)、およびOracle(登録商標)を含んでいる。当業者は、ウェブアプリケーションが様々な実施形態において1つ以上の言語の1つ以上のバージョンで書かれていることを認識するであろう。ウェブアプリケーションは、1つ以上のマークアップ言語、プレゼンテーション定義言語、クライアント側スクリプト言語、サーバ側コーディング言語、データベースクエリ言語、またはこれらの組み合わせで書かれてもよい。いくつかの実施形態では、ウェブアプリケーションは、ハイパーテキストマークアップ言語(HTML)、拡張可能ハイパーテキストマークアップ言語(XHTML)、または拡張可能マークアップ言語(XML)などのマークアップ言語である程度までは書かれている。いくつかの実施形態では、ウェブアプリケーションは、カスケーディング・スタイル・シート(CSS)などのプレゼンテーション定義言語である程度までは書かれている。いくつかの実施形態では、ウェブアプリケーションは、非同期Javascript(登録商標)およびXML(AJAX)、Flash(登録商標)Actionscript、Javascript(登録商標)、またはSilverlight(登録商標)などのクライアント側スクリプト言語である程度までは書かれている。いくつかの実施形態では、ウェブアプリケーションは、アクティブサーバーページ(ASP)、ColdFusion(登録商標)、Perl、Java(登録商標)、JavaServer Pages(JSP)、ハイパーテキストプリプロセッサ(PHP)、Python(商標)、Ruby、Tcl、スモールトーク、WebDNA(登録商標)、またはGroovyなどのサーバ側コーディング言語である程度までは書かれているいくつかの実施形態では、ウェブアプリケーションは、構造化クエリ言語(SQL)などのデータベースクエリ言語である程度までは書かれている。いくつかの実施形態では、ウェブアプリケーションは、IBM(登録商標)Lotus Domino(登録商標)などの企業側サーバ製品を統合する。いくつかの実施形態では、ウェブアプリケーションはメディアプレイヤー要素を含んでいる。様々なさらなる実施形態では、メディアプレイヤー要素は、非限定的な例として、Adobe(登録商標)Flash(登録商標)、HTML 5、Apple(登録商標)QuickTime(登録商標)、Microsoft(登録商標)Silverlight(登録商標)、Java(登録商標)、およびUnity(登録商標)を含む多くの適切なマルチメディア技術の1つ以上を利用する。
モバイルアプリケーション
いくつかの実施形態では、コンピュータプログラムは、モバイルデジタル処理装置に提供されるモバイルアプリケーションを含んでいる。いくつかの実施形態では、モバイルアプリケーションは製造時にモバイルデジタル処理装置に提供される。他の実施形態では、モバイルアプリケーションは、本明細書に記載されるコンピュータネットワークによってモバイルデジタル処理装置に提供される。
本明細書で提供される本開示を考慮して、モバイルアプリケーションは、当業者に既知のハードウェア、言語、および開発環境を使用して、当業者に既知の技術により作成される。当業者は、モバイルアプリケーションが複数の言語で書かれることを認識するであろう。適切なプログラミング言語は、非限定的な例として、C、C++、C#、オブジェクティブ−C、Java(登録商標)、Javascript(登録商標)、パスカル、オブジェクトパスカル、Python(商標)、Ruby、VB.NET、WML、およびCSSを含むまたは含まないXHTML/HTML、あるいはこれらの組み合わせを含む。
適切なモバイルアプリケーション開発環境はいくつかのソースから利用可能である。市販の開発環境は、非限定的な例として、AirplaySDK、alcheMo、Appcelerator(登録商標)、Celsius、Bedrock、フラッシュライト、.NETコンパクトフレームワーク、Rhomobile、およびWorkLightモバイルプラットフォームを含む。他の開発環境は、費用負担なく入手可能であり、非限定的な例として、Lazarus、MobiFlex、MoSync、およびPhonegapを含む。さらに、モバイルデバイスのメーカーは、非限定的な例として、iPhone(登録商標)およびiPad(登録商標)(iOS)SDK、アンドロイド(商標)SDK、BlackBerry(登録商標)SDK、BREW SDK、Palm(登録商標)OS SDK、Symbian SDK、webOS SDK、およびWindows(登録商標)モバイルSDKを含むソフトウェア開発者キットを販売している。
当業者は、非限定的な例として、Apple(登録商標)App Store、Google(登録商標)Play, Chrome WebStore、BlackBerry(登録商標)App World、Palmデバイスのためのアプリストア、webOSのためのアプリカタログ、モバイル用のWindows(登録商標)Marketplace、Nokia(登録商標)デバイスのためのOvi Store、Samsung(登録商標)アプリ、およびNintendo(登録商標)DSi Shopを含む、複数のWebStoreのフォーラムがモバイルアプリケーションの流通のために利用可能であることを認識するだろう。
スタンドアロンアプリケーション
いくつかの実施形態では、コンピュータプログラムはスタンドアロンアプリケーションを含み、これは独立したコンピュータープロセスとして実行され、既存のプロセスに対するアドオン、例えばプラグイン、ではない。当業者は、スタンドアロンアプリケーションがしばしばコンパイルされることを認識するであろう。コンパイラは、プログラミング言語で書かれたソースコードをアセンブリ言語または機械コードのようなバイナリオブジェクトコードに変換するコンピュータプログラムである。適切なコンパイルされたプログラミング言語は、非限定的な例として、C、C++、オブジェクティブ−C、COBOL、Delphi、Eiffel、Java(商標)、Lisp、Python(商標)、Visual Basic、およびVB.NET、またはこれらの組み合わせを含む。コンパイルは実行可能プログラムを作成するために少なくとも部分的に行われることが多い。いくつかの実施形態では、コンピュータプログラムは1つ以上の実行可能なコンパイルされたアプリケーションを含んでいる。
ウェブブラウザプラグイン
いくつかの実施形態では、コンピュータプログラムはウェブブラウザプラグイン(例えば拡張など)を含んでいる。コンピューティングにおいては、プラグインは、より大きなソフトウェアアプリケーションに特定の機能を加える1つ以上のソフトウェア構成要素である。ソフトウェアアプリケーションのメーカーはプラグインをサポートして、サードパーティの開発者がアプリケーションを拡張する機能を作成し、新しい特徴を容易に追加するのをサポートし、アプリケーションのサイズを縮小することを可能にする。サポートされている場合、プラグインはソフトウェアアプリケーションの機能のカスタマイズを可能にする。例えば、プラグインは、ビデオを再生し、インタラクションを生成し、ウィルスをスキャンし、特定のファイルタイプを表示するために、ウェブブラウザにおいて一般に使用される。当業者は、Adobe(登録商標)Flash(登録商標)プレーヤー、Microsoft(登録商標)Silverlight(登録商標)およびApple(登録商標)QuickTime(登録商標)を含むいくつかのウェブブラウザプラグインに精通しているだろう。
本明細書に提供される開示を考慮すると、非限定的な例として、C++、Delphi、Java(商標)、PHP、Python(商標)、およびVB.NET、またはその組み合わせを含む、様々なプログラミング言語でのプラグインの開発を可能にする、いくつかのプラグインのフレームワークが利用可能であることを当業者は認識するだろう。
ウェブブラウザ(インターネットブラウザとも呼ばれる)は、ネットワーク接続のデジタル処理装置での使用、およびワールド・ワイド・ウェブ上の情報資源の検索、表示、および横断のために設計されたソフトウェアアプリケーションである。適切なウェブブラウザは、非限定的なとしては、Microsoft(登録商標)Internet Explorer(登録商標)、Mozilla(登録商標)Firefox(登録商標)、Google(登録商標)Chrome、Apple(登録商標)Safari(登録商標)、OperaSoftware(登録商標)Opera(登録商標)およびKDE Konquerorを含む。いくつかの実施形態では、ウェブブラウザはモバイルウェブブラウザである。モバイルウェブブラウザ(マイクロブラウザ(mircrobrowser)、ミニブラウザおよび無線ブラウザとも呼ばれる)は、非限定的な例として、ハンドヘルドコンピュータ、タブレットコンピュータ、ネットブックコンピュータ、サブノートブックコンピュータ、スマートフォン、音楽プレーヤー、携帯情報端末(PDA)および携帯型ビデオゲームシステムを含む、モバイルデジタル処理装置での使用のために設計されている。適切なモバイルウェブブラウザは、非限定的な例として、Google(登録商標)Android(登録商標)ブラウザ、RIM BlackBerry(登録商標)ブラウザ、Apple(登録商標)Safari(登録商標)、Palm(登録商標)Blazer、Palm(登録商標)WebOS(登録商標)ブラウザ、モバイル用のMozilla(登録商標)Firefox(登録商標)、Microsoft(登録商標)InternetExplorer(登録商標)、モバイル、Amazon(登録商標)Kindle(登録商標)Basic Web、Nokia(登録商標)ブラウザ、OperaSoftware(登録商標)Opera(登録商標)モバイル、およびSony(登録商標)PSP(商標)ブラウザ、を含む。
ソフトウェアモジュール
いくつかの実施形態では、本明細書に開示されたプラットフォーム、システム、媒体、および方法は、ソフトウェア、サーバ、および/またはデータベースモジュール、あるいはこれらの使用を含んでいる。本明細書で提供される本開示を考慮して、ソフトウェアモジュールは、当該技術分野で既知のマシン、ソフトウェア、および言語を使用する、当業者に既知の技術によって作成される。本明細書に開示されるソフトウェアモジュールは多くの方法で実施される。様々な実施形態において、ソフトウェアモジュールは、ファイル、コードのセクション、プログラミングオブジェクト、プログラミング構造、またはそれらの組み合わせを含む。さらに様々な実施形態において、ソフトウェアモジュールは、複数のファイル、コードの複数のセクション、複数のプログラミングオブジェクト、複数のプログラミング構造、またはそれらの組み合わせを含む。様々な実施形態において、1つ以上のソフトウェアモジュールは、限定されないが、ウェブアプリケーション、モバイルアプリケーション、およびスタンドアロンアプリケーションを含む。いくつかの実施形態において、ソフトウェアモジュールは、1つのコンピュータプログラムまたはアプリケーション中にある。他の実施形態において、ソフトウェアモジュールは、1つ以上のコンピュータプログラムまたはアプリケーション中にある。いくつかの実施形態において、ソフトウェアモジュールは1つのマシン上でホストされる(hosted)。他の実施形態において、ソフトウェアモジュールは1つ以上のマシン上でホストされる。さらなる実施形態において、ソフトウェアモジュールは、クラウドコンピューティングプラットフォーム上でホストされる。いくつかの実施形態において、ソフトウェアモジュールは1つの位置にある1つ以上のマシン上でホストされる。他の実施形態において、ソフトウェアモジュールは、1つ以上の位置にある1つ以上のマシン上でホストされる。
データベース
いくつかの実施形態では、本明細書に開示されたプラットフォーム、システム、媒体、および方法は、1つ以上のデータベースまたは該データベースの使用を含む。本明細書で提供される本開示を考慮して、当業者は、多くのデータベースがユーザ、出版物、トリガー、ARコンテンツ、およびVRコンテンツの情報の保管と検索に適していることを認識するであろう。様々な実施形態では、適切なデータベースは、非限定的な例として、リレーショナルデータベース、非リレーショナルデータベース、オブジェクト指向型データベース、オブジェクトデータベース、エンティティ関係モデルデータベース、結合性データベース、およびXMLデータベースを含んでいる。さらなる非限定的な例には、SQL、PostgreSQL、MySQL、Oracle、DB2およびSybaseが含まれる。いくつかの実施形態では、データベースはインターネットを利用したものである。さらなる実施形態では、データベースはウェブを利用したものである。またさらなる実施形態では、データベースはクラウドコンピューティングを利用したものである。他の実施形態では、データベースは1つ以上のローカルコンピュータメモリデバイスを利用したものである。
以下の実例となる例は、本明細書に記載されるソフトウェアアプリケーション、システムおよび方法の実施形態の代表的なものであり、いかなる方法でも限定することを意味しない。
実施例1−ARおよびVRのユーザ体験を開始するトリガーを有する物理的な本
特定の実施形態では、ユーザは、「Morning Nightmare」というタイトルの幼い読者向けの電子書籍の形態の出版物を得る。図10−25で図示されるように、出版物は、思い出に残る冬のスクールバスの乗車のイラスト入りのストーリーを提示する。出版物で提示されるストーリーは、恐怖を克服し、自信を築くことについてのメッセージを含み、対処するスキルと紛争解決のテクニックを強調している。物語は一人称で提示される。
図19を参照すると、該出版物はQRコード(登録商標)を含み、これは、ユーザのモバイルコンピューティングデバイスによってスキャンされた時、本明細書に記述されるようにアプリケーションをダウンロードしてインストールするためのアクセスを提供する。該アプリケーションはまた、当分野で周知のアプリストアを介して利用可能である。一旦インストールされたアプリケーションにより、ユーザがモバイルコンピューティングデバイスのカメラを通じてその環境を見ることが可能になり、そのアウトプットはデバイスのスクリーンに表示される。
図26を参照すると、ユーザはアプリケーションをインストールし、アプリケーションを始めるためにアプリケーションアイコンをアクティブ化する。次いで、ユーザは、モバイルコンピューティングデバイスのディスプレイスクリーン上のカメラの出力を介して、デバイス上で作動するアプリケーションを用いてその環境を見る。そのようにして、ユーザの周囲のライブビデオフィードがアプリケーションに利用可能になる。引き続き図26を参照すると、電子書籍のプリントアウトされたもの(または電子書籍自体のオンスクリーン表示)がアプリケーションを作動させるデバイスを介して見られると、出版物の表紙アートがトリガーとして特定される。この場合、表紙アートの画像はデータベースにアップロードされ、メディアコンテンツと関連する。
図27を参照すると、該アプリケーションは、データベースを照会するために特定されたトリガーを使用し、そのトリガーに関連付けられているメディアコンテンツを特定する。この場合、特定されるメディアコンテンツは3Dで、アニメーションの、インタラクティブメディア要素である。メディアコンテンツは、出版物の表紙に重なるARコンテンツとして、デバイスのスクリーン上でユーザに提示される。引き続き図26を参照すると、ARコンテンツは、ストーリーのプロットとテーマに関連する活動を行う、出版物のストーリー由来のキャラクターを含む。この場合、雪玉を投げてユーザに相対している、バスの子供( a child from the bus)である。
いくつかの場合には、ユーザは、タッチスクリーン、マルチタッチスクリーン、ボタン、スタイラス、トラックボールなどのモバイルコンピューティングデバイスの入力要素を介してメディアコンテンツとインタラクションすることができる。特定の実施形態では、ユーザは、ARオーバーレイ中のキャラクターにタッチすることによりメディアコンテンツ中のキャラクターに雪玉を投げ返すことができる。
図28を参照すると、アプリケーションは、継続的にユーザの視野をモニタリングして、出版物およびその中の何らかのトリガーが視野内にあるかどうかを判定し、出版物および特定されたトリガーに対するユーザの視野角を判定する。引き続き図26を参照すると、ユーザの視野が出版物および特定されたトリガーに対して回転する時、メディアコンテンツの向きはARメディアコンテンツ中のユーザおよびキャラクターの視野と位置合わせするように修正され、ARメディアコンテンツ内のキャラクターはユーザの方を向く。
図31を参照すると、第1の改良されたインタラクティブ体験の完成は第2のものを引き起こし、これはVR体験である。ユーザは、第2の改良されたインタラクティブ体験を見るために、VRヘッドセットに自分のモバイルデバイスを置くように指示される。引き続き図31を参照すると、トリガーは特定され、第2のメディアコンテンツをさらに特定するために使用される。この場合、ストーリーに関連付けられ、ストーリーの一人称視点から提示される3Dインタラクティブシーンを表すVRメディアコンテンツである。
図32−36は、再び代替的な第2の改良されたインタラクティブ体験を示し、VRメディアコンテンツは、ストーリーに関連しかつストーリーのメインキャラクターの一人称視点から提示されるシーンを表す。この場合、ストーリーに関連する活動を行うストーリー由来の複数のキャラクターを示す雪景色である。ユーザの視野が空間内で回転すると、メディアコンテンツの向きは、3Dで360度VRのシーンを提供するように修正される。
特に図34を参照すると、VRメディアコンテンツはインタラクティブである。VR環境においてユーザの視野の中心にマークされた焦点を使用することによって、ユーザは凝視し、および凝視し続け、環境およびキャラクターとインタラクションすることができる。この場合、ストーリー由来のキャラクターとの雪合戦を再び選ぶことである。
ある特徴および態様が典型的な実施形態に関して記載されているが、当業者は多数の修正が可能であることを認識するだろう。例えば、本明細書に記載の方法とプロセスは、ハードウェア構成要素、ソフトウェア構成要素、および/または、その任意の組み合わせを使用して、実装されてもよい。さらに、本明細書に記載の様々な方法およびプロセスは、説明を容易にするために特定の構造的および/または機能的な構成要素に関して説明され得る一方で、様々な実施形態によって提供される方法は、任意の特定の構造的および/または機能的アーキテクチャに限定されず、代わりに任意の適切なハードウェア、ファームウェア、および/またはソフトウェア構成上で実施することができる。同様に、特定の機能は特定のシステム構成要素に帰すが、文脈がそうでないことを指示しない限り、この機能はいくつかの実施形態に従って様々な他のシステム構成要素間に分散させることができる。
さらに、本明細書で記載される方法およびプロセスの手順は、説明を容易にするために特定の順序で記載されるが、文脈がそうでないことを指示しない限り、様々な実施形態に従って様々な手順が並べ替えられ、追加され、および/または省略され得る。さらに、1つの方法またはプロセスに関して記述された手順は、他の記載された方法またはプロセス内に組み込まれてもよく;同様に、特定の構造的アーキテクチャに従って、および/または、1つのシステムに関して記載されたシステム構成要素は、代替的な構造的アーキテクチャで編成されてもよく、および/または他の記載されたシステム内に組み込まれてもよい。従って、説明を容易にし、それらの実施形態の例示的な態様を示すために、様々な実施形態が特定の特徴を伴って、または伴わずに説明されているが、特定の実施形態に関して本明細書で記載された様々な構成要素および/または特徴は、文脈が他に指示しない限り、他の説明された実施形態の中から置換、追加、および/または差し引かれることができる。従って、いくつかの典型的な実施形態が上述されているが、本発明は次の請求項の範囲内の修正および等価物をすべてカバーするように意図されているということが理解されよう。