JP2019521460A - ユーザと出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施するためのシステムおよび方法関連出願への相互参照 - Google Patents

ユーザと出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施するためのシステムおよび方法関連出願への相互参照 Download PDF

Info

Publication number
JP2019521460A
JP2019521460A JP2019515779A JP2019515779A JP2019521460A JP 2019521460 A JP2019521460 A JP 2019521460A JP 2019515779 A JP2019515779 A JP 2019515779A JP 2019515779 A JP2019515779 A JP 2019515779A JP 2019521460 A JP2019521460 A JP 2019521460A
Authority
JP
Japan
Prior art keywords
user
publication
media content
printed
interactive media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019515779A
Other languages
English (en)
Other versions
JP7021201B2 (ja
Inventor
ヘインズ,ジェイ.ミシェル
Original Assignee
ア ビッグ チャンク オブ マッド エルエルシー
ア ビッグ チャンク オブ マッド エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ア ビッグ チャンク オブ マッド エルエルシー, ア ビッグ チャンク オブ マッド エルエルシー filed Critical ア ビッグ チャンク オブ マッド エルエルシー
Publication of JP2019521460A publication Critical patent/JP2019521460A/ja
Application granted granted Critical
Publication of JP7021201B2 publication Critical patent/JP7021201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/02Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/025Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application
    • G06F15/0291Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application for reading, e.g. e-books
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02Recognising information on displays, dials, clocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/13Type of disclosure document
    • G06V2201/131Book

Abstract

著作権を有する出版物のコンテンツとの関わりを徐々に深め、充実させるために、ユーザによってキャプチャされたライブビデオであって、著作権を有するコンテンツを含む出版物のビデオを含むライブビデオ、を受信し;ライブビデオ中の少なくとも1つの第1のトリガーを特定し、少なくとも1つの第1のトリガーに関連しおよび著作権を有するコンテンツに関係する1つ以上の第1の三次元のインタラクティブメディアを特定し、および、ユーザに第1の三次元のインタラクティブメディアを提示し;および、第1の三次元のインタラクティブメディア中の少なくとも1つの第2のトリガーを特定し、少なくとも1つの第2のトリガーに関連しおよび著作権を有するコンテンツに関係する1つ以上の第2の三次元のインタラクティブメディアを特定し、および、ユーザに第2の三次元のインタラクティブメディアを提示することにより、1つ以上の出版物を改良するための、方法、システムおよび媒体。【選択図】図3

Description

本出願は、2016年6月3日に出願された米国仮出願第62/345,320号と、2017年2月28日に出願された米国出願第15/445,806号の利益を主張するものであり、これらの文献の内容は参照により本明細書に組み込まれる。
著作権主張
本特許文書の開示の一部は、著作権保護の対象となる資料を包含している。著作権の所有者はそれが特許商標庁の特許ファイルまたは記録に現われるような特許文書または特許開示のいずれかによる複製に反対しないが、そうでない場合には著作権をすべて留保する。
拡張現実(「AR」)技術は、物理的な現実世界の環境についてのライブでの直接的または間接的な視野を提供し、その要素は、画像、ビデオ、音またはGPSデータなどのコンピュータで生成した知覚の入力によって拡張される(あるいは補完される)。
一方、仮想現実(「VR」)技術は、ユーザが特殊な表示スクリーンまたはプロジェクタおよび他の装置を使用してこの空間およびそこに描かれている任意のオブジェクトとインタラクションすることを可能にすることによって、現実の環境を再現する(または想像上の設定を創造する)現実的な画像、音声、その他の感覚を生成するため、および、この環境中でのユーザの物理的存在を刺激するためにソフトウェアを利用する。
従来の物理的な出版物では、ユーザまたは読者は(ユーザまたは読者の想像以外の)キャラクターまたはストーリーのインタラクションを体験することができない。従来の物理的な出版物はまた、ユーザまたは読者の想像を除いて、ユーザまたは読者が一人称視点から(例えば、主人公の観点または反対の観点から)キャラクターまたはストーリーのインタラクションを体験することを可能にしない。したがって、従来の物理的な出版物では、出版物中のキャラクターまたはストーリーに対するユーザまたは読者の認知的かつ効果的な共感性、または心動かされる共感性が高める。
AR技術は読書体験の文脈において使用されてきたが、そのような従来のAR本は、VR本のインタラクション体験への架け橋としてARを利用することなく、これらの従来のAR本は、より没入型の本とのインタラクション体験をユーザまたは読者に提供するために、ARとVRの間で動的にシフトすることもない。
従って、コンピュータシミュレーテッドリアリティ(computer−simulated reality)のインタラクションを実装するための、より堅牢でスケーラブルなソリューションが必要であり、特に、著作権を有する(copyrighted)出版物の内容との関わりを次第に深め、豊かにするために、ユーザと物理的な出版物との間のコンピュータシミュレーテッドリアリティのインタラクションを実施するための方法、システム、およびコンピュータソフトウェア、が必要である。
「Quantum Storey」の書籍を含め、本明細書に記述される技術は、印刷された本の発展形である電子書籍(e−book)を超える著しい改善である。Quantum Storey本は、ユーザが仮想的に本のヴァーチャルシミュレーションの中に入ることを可能にし、主観的に彼らの知覚、および社交性を交換して、書かれたテキストから得られた知覚された体験と本からの2D画像を重ね合わせて、それを360度の2Dと3Dのアニメーションの仮想世界に適用する。これにより、ユーザは、全身での没入を通じて新しい知覚を体験することが可能になり、一人称、すなわち、共感の醸成を助ける善悪両方の体験を実現する機能を有効にする。加えて、本明細書に記載される技術は、ユーザが、その体験において他のキャラクターの立場にたって、他の観点からその状況にあることをどのように感じるかを認識することを可能にする。これらの直接的で内臓的な体験、およびこれらの独特で応用的な学習を獲得して保存するプロセスは、状況についてのより深い認識、感覚、考え、および直感を可能にし、その結果、他者の状況に対するより強い感情的で共感的な反応をもたらす。
例えば、いじめられている若者やいじめ行為を受けている側にいる若者についての従来の本を読んでいる子供は、その人が言葉を通してどのように感じるかについて読み、動かないイラストを通して視覚的にそれを理解しようとすることしかできない。本明細書に記述される技術は、子供が書かれた単語を読むことを可能にするが、次いで、外側の人が覗き込むように短いムービークリップまたはアニメーションを通して体験を見ることもできる。ポップアップコンテキストまたはARコンテキスト内と同じように、子供は、キャラクターから何らかのインタラクションを得るために無生物のオブジェクトまたはスクリーンをタップすることによって、メインキャラクターと対話することができ、しかし、視聴者とっての最終的な結果は、実際にその立場に身を置くことなく、友人が体験した状況について友人が話をしているのを聞くことによって状況を理解しようとして、自分に関係しているかのように、直接どのように感じたかを理解し始めるのと同じである。
従って、一態様では、出版物を改良する、コンピュータで実行される方法が本明細書に開示され、該方法は:ユーザによってキャプチャされたライブビデオ(live video)を受信する工程であって、該ビデオは出版物のビデオを含み、該出版物は著作権を有するコンテンツを含む、工程;ライブビデオ中の少なくとも1つの第1のトリガー(trigger)を特定する工程;少なくとも1つの第1のトリガーに関連し、著作権を有するコンテンツに関係する、1つ以上の第1の三次元のインタラクティブメディアを特定する工程;第1のビジュアルアウトプットデバイスを介して、ユーザに、第1の三次元のインタラクティブメディアを提示する工程;第1の三次元のインタラクティブメディア中の少なくとも1つの第2のトリガーを特定する工程;少なくとも1つの第2のトリガーに関連し、著作権を有するコンテンツに関係する、1つ以上の第2の三次元のインタラクティブメディアを特定する工程;および、第1または第2のビジュアルアウトプットデバイスを介して、ユーザに、第2の三次元のインタラクティブメディアを提示する工程;を含み、それによって、出版物の著作権を有するコンテンツとのユーザの関わりは次第に深まり、豊かになる。いくつかの実施形態では、出版物は印刷された出版物である。他の実施形態では、出版物は電子書籍である。様々な実施形態では、出版物は、以下からなる群から選択される一つ以上を含む:フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、イベントチケット半券、および、ポスター。いくつかの実施形態では、少なくとも1つの第1のトリガーは、出版物に関連する、テキスト、画像、QRコード(登録商標)、または、バーコードを含む。他の実施形態では、少なくとも1つの第1のトリガーは、出版物に関連する三次元のオブジェクトを含む。いくつかの実施形態では、第1の三次元のインタラクティブメディアは、360度ビデオ(360−degree video)を含む。他の実施形態では、第1の三次元のインタラクティブメディアは、拡張現実ディスプレイを含む。まだ他の実施形態では、第1の三次元のインタラクティブメディアは、マルチメディアゲームを含む。いくつかの実施形態では、第1のビジュアルアウトプットデバイスは、カメラおよびディスプレイスクリーンを含むモバイルデバイスである。いくつかの実施形態では、少なくとも1つの第2のトリガーは、第1の三次元のインタラクティブメディアとのユーザのインタラクションを含む。さらなる実施形態では、少なくとも1つの第2のトリガーは、継続するインタラクションを含む。いくつかの実施形態では、第2の三次元のインタラクティブメディアは仮想現実環境、360度ビデオ、または、マルチメディアゲーム、を含む。特定の実施形態では、第2の三次元のインタラクティブメディアは、仮想現実環境を含む。さらなる実施形態では、第2のビジュアルアウトプットデバイスは、仮想現実ヘッドセットである。いくつかの実施形態では、方法は、さらに、ユーザの視野を判定する工程であって、該視野は出版物の少なくとも一部を含む、工程;ユーザの視野と位置合わせするように、1つ以上の三次元のインタラクティブメディアコンテンツの向きを修正する工程;および、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上の三次元のインタラクティブメディアコンテンツを提示する工程であって、その結果、1つ以上の三次元のインタラクティブメディアコンテンツは、出版物の少なくとも一部に関して、仮想オーバーレイとして提示される工程、を含む。いくつかの実施形態では、ライブビデオは複数のトリガーを含む。さらなる実施形態では、複数の第1のトリガーに関連する1つ以上の第1の三次元のインタラクティブメディアを特定する工程は、前もって定義したトリガーの組み合わせに関連する1つ以上のメディアを特定することを含む。いくつかの実施形態では、第1の三次元のインタラクティブメディアは複数のトリガーを含む。さらなる実施形態では、複数の第2のトリガーに関連する1つ以上の第2の三次元のインタラクティブメディアを特定する工程は、前もって定義したトリガーの組み合わせに関連する1つ以上のメディアを特定することを含む。いくつかの実施形態では、第1の三次元のインタラクティブメディアおよび第2の三次元のインタラクティブメディアは、著作権を有するコンテンツに関連する、テキスト、1つ以上のグラフィック、1つ以上のキャラクター、話の筋、テーマ、1つ以上のインタラクション、音楽、1つ以上のサウンドエフェクト、話されている言葉の音声(spoken word audio)、またはその組み合わせ、を含むものとして、著作権を有するコンテンツに関係する。
別の態様では、コンピュータで実行されるシステムが本明細書に開示され、該システムは:デジタル処理装置(digital processing device)を含み、該デジタル処理装置は:少なくとも1つのプロセッサ、メモリ、ディスプレイ、カメラ、実行可能命令を実行するように構成されたオペレーティングシステム、および、出版物を改良するためのアプリケーションを作成するためのデジタル処理装置によって実行可能な命令を含むコンピュータプログラム、を含み:該アプリケーションは:カメラを介してユーザによってキャプチャされたライブビデオを受信する第1のソフトウェアモジュールであって、該ライブビデオは出版物のビデオを含み、該出版物は著作権を有するコンテンツを含む、第1のソフトウェアモジュール;ライブビデオ中の少なくとも1つの第1のトリガーを特定し、少なくとも1つの第1のトリガーに関連しおよび著作権を有するコンテンツに関係する1つ以上の第1の三次元のインタラクティブメディアを特定し、および、ディスプレイを介してユーザに、第1の三次元のインタラクティブメディアを提示する、第2のソフトウェアモジュール;および、第1の三次元のインタラクティブメディア中の少なくとも1つの第2のトリガーを特定し、少なくとも1つの第2のトリガーに関連しおよび著作権を有するコンテンツに関係する1つ以上の第2の三次元のインタラクティブメディアを特定し、および、ディスプレイを介してユーザに第2の三次元のインタラクティブメディアを提示する、第3のソフトウェアモジュール;を含み、それによって、出版物の著作権を有するコンテンツとのユーザの関わりは次第に深まり、豊かになる。いくつかの実施形態では、出版物は印刷された出版物である。他の実施形態では、出版物は電子書籍である。様々な実施形態において、出版物は、以下から成る群から選択される1つ以上を含む:フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、イベントチケット半券、および、ポスター。いくつかの実施形態では、少なくとも1つの第1のトリガーは、出版物に関連する、テキスト、画像、QRコード(登録商標)、または、バーコードを含む。他の実施形態では、少なくとも1つの第1のトリガーは、出版物に関連する三次元のオブジェクトを含む。いくつかの実施形態では、第1の三次元のインタラクティブメディアは、360度ビデオを含む。他の実施形態では、第1の三次元のインタラクティブメディアは、拡張現実ディスプレイを含む。また他の実施形態では、第1の三次元のインタラクティブメディアは、マルチメディアゲームを含む。いくつかの実施形態では、少なくとも1つの第2のトリガーは、第1の三次元のインタラクティブメディアとのユーザのインタラクションを含む。さらなる実施形態では、少なくとも1つの第2のトリガーは、継続するインタラクションを含む。いくつかの実施形態では、第2の三次元のインタラクティブメディアは、仮想現実環境、360度ビデオ、または、マルチメディアゲーム、を含む。特定の実施形態では、第2の三次元のインタラクティブメディアは、仮想現実環境を含む。いくつかの実施形態において、アプリケーションはさらに:第4のソフトウェアモジュールであって、ユーザの視野を判定し、該視野は出版物の少なくとも一部を含み、ユーザの視野と位置合わせするように、1つ以上の三次元のインタラクティブメディアコンテンツの向きを修正し、および、ディスプレイを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上の三次元のインタラクティブメディアコンテンツを提示し、その結果、1つ以上の三次元のインタラクティブメディアコンテンツは、出版物の少なくとも一部に関して、仮想オーバーレイとして提示される、第4のソフトウェアモジュール、を含む。いくつかの実施形態では、ライブビデオは複数のトリガーを含む。さらなる実施形態では、複数の第1のトリガーに関連する1つ以上の第1の三次元のインタラクティブメディアを特定するソフトウェアモジュールは、前もって定義したトリガーの組み合わせに関連する1つ以上のメディアを特定する。いくつかの実施形態では、第1の三次元のインタラクティブメディアは複数のトリガーを含む。さらなる実施形態では、複数の第2のトリガーに関連する1つ以上の第2の三次元のインタラクティブメディアを特定するソフトウェアモジュールは、前もって定義したトリガーの組み合わせに関連する1つ以上のメディアを特定する。 いくつかの実施形態では、第1の三次元のインタラクティブメディアおよび第2の三次元のインタラクティブメディアは、著作権を有するコンテンツに関連する、テキスト、1つ以上のグラフィック、1つ以上のキャラクター、話の筋、テーマ、1つ以上のインタラクション、音楽、1つ以上のサウンドエフェクト、話されている言葉の音声(spoken word audio)、またはその組み合わせ、を含むものとして、著作権を有するコンテンツに関係する。
別の態様において、出版物を改良するためのアプリケーションを生成するために、プロセッサによって実行可能な命令を含むコンピュータプログラムでエンコードされる非一時的なコンピュータ可読記憶媒体が本明細書に記載され、該媒体は:モバイルデバイスのカメラを介してユーザによってキャプチャされたライブビデオを受信する第1のソフトウェアモジュールであって、該ライブビデオは出版物のビデオを含み、該出版物は著作権を有するコンテンツを含む、第1のソフトウェアモジュール;ライブビデオ中の少なくとも1つの第1のトリガーを特定し、少なくとも1つの第1のトリガーに関連しおよび著作権を有するコンテンツに関係する1つ以上の第1の三次元のインタラクティブメディアを特定し、および、モバイルデバイスのディスプレイを介してユーザに、第1の三次元のインタラクティブメディアを提示する、第2のソフトウェアモジュール;および、第1の三次元のインタラクティブメディア中の少なくとも1つの第2のトリガーを特定し、少なくとも1つの第2のトリガーに関連しおよび著作権を有するコンテンツに関係する1つ以上の第2の三次元のインタラクティブメディアを特定し、および、モバイルデバイスのディスプレイを介してユーザに第2の三次元のインタラクティブメディアを提示する、第3のソフトウェアモジュール;を含み、それによって、出版物の著作権を有するコンテンツとのユーザの関わりは次第に深まり、豊かになる。いくつかの実施形態では、出版物は印刷された出版物である。他の実施形態では、出版物は電子書籍である。様々な実施形態において、出版物は、以下から成る群から選択される1つ以上を含む:フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、イベントチケット半券、および、ポスター。いくつかの実施形態では、少なくとも1つの第1のトリガーは、出版物に関連する、テキスト、画像、QRコード(登録商標)、または、バーコードを含む。他の実施形態では、少なくとも1つの第1のトリガーは、出版物に関連する三次元のオブジェクトを含む。いくつかの実施形態では、第1の三次元のインタラクティブメディアは、360度ビデオを含む。他の実施形態では、第1の三次元のインタラクティブメディアは、拡張現実ディスプレイを含む。また他の実施形態では、第1の三次元のインタラクティブメディアは、マルチメディアゲームを含む。いくつかの実施形態では、少なくとも1つの第2のトリガーは、第1の三次元のインタラクティブメディアとのユーザのインタラクションを含む。さらなる実施形態では、少なくとも1つの第2のトリガーは、継続するインタラクションを含む。いくつかの実施形態では、第2の三次元のインタラクティブメディアは、仮想現実環境、360度ビデオ、または、マルチメディアゲーム、を含む。特定の実施形態では、第2の三次元のインタラクティブメディアは、仮想現実環境を含む。いくつかの実施形態において、アプリケーションはさらに:第4のソフトウェアモジュールであって、ユーザの視野を判定し、該視野は出版物の少なくとも一部を含み、ユーザの視野と位置合わせするように、1つ以上の三次元のインタラクティブメディアコンテンツの向きを修正し、および、ディスプレイを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上の三次元のインタラクティブメディアコンテンツを提示し、その結果、1つ以上の三次元のインタラクティブメディアコンテンツは、出版物の少なくとも一部に関して、仮想オーバーレイとして提示される、第4のソフトウェアモジュール、を含む。いくつかの実施形態では、ライブビデオは複数のトリガーを含む。さらなる実施形態では、複数の第1のトリガーに関連する1つ以上の第1の三次元のインタラクティブメディアを特定するソフトウェアモジュールは、前もって定義したトリガーの組み合わせに関連する1つ以上のメディアを特定する。いくつかの実施形態では、第1の三次元のインタラクティブメディアは複数のトリガーを含む。さらなる実施形態では、複数の第2のトリガーに関連する1つ以上の第2の三次元のインタラクティブメディアを特定するソフトウェアモジュールは、前もって定義したトリガーの組み合わせに関連する1つ以上のメディアを特定する。いくつかの実施形態では、第1の三次元のインタラクティブメディアおよび第2の三次元のインタラクティブメディアは、著作権を有するコンテンツに関連する、テキスト、1つ以上のグラフィック、1つ以上のキャラクター、話の筋、テーマ、1つ以上のインタラクション、音楽、1つ以上のサウンドエフェクト、話されている言葉の音声(spoken word audio)、またはその組み合わせ、を含むものとして、著作権を有するコンテンツに関係する。
別の態様では、出版物を改良する方法が本明細書に開示され、該方法は:ユーザのコンピューティングデバイスによって、出版物のビデオを含むライブビデオを受信する工程;ライブビデオ中の少なくとも1つのトリガーを特定する工程;少なくとも1つのトリガーに関連する1つ以上のメディアコンテンツを特定する工程;コンピューティングデバイスによってユーザの視野を判定する工程であって、該視野は出版物の少なくとも一部を含む、工程;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正する工程;および、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示し、その結果、1つ以上のメディアコンテンツは、出版物の少なくとも一部に関して、仮想オーバーレイとして提示される工程、を含む。いくつかの実施形態では、出版物は印刷された出版物である。他の実施形態では、出版物は電子書籍である。様々な実施形態では、出版物は以下のうちの1つを含む:フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、イベントチケット半券、および、ポスター。いくつかの実施形態では、少なくとも1つのトリガーはそれぞれ、以下のうちの1つを含む:出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上のグラフィック、出版物の少なくとも一部上のキーワードまたはキーコード、出版物の表紙画像、出版物の表紙上のタイトル、出版物の表紙上の著者名、出版物の近くに位置し出版物に関連するぬいぐるみのキャラクター(a stuffed character)、出版物の近くに位置し出版物に関連する3D印刷されたキャラクター、および、出版物の近くに位置し出版物に関連する3D印刷されたオブジェクト。いくつかの実施形態では、ライブビデオは、少なくとも2つのトリガー、少なくとも3つのトリガー、少なくとも4つのトリガー、少なくとも5つのトリガー、少なくとも6つのトリガー、少なくとも7つのトリガー、少なくとも8つのトリガー、少なくとも9つのトリガー、または、少なくとも10のトリガーを含む。さらなる実施形態では、少なくとも1つのトリガーに関連する1つ以上のメディアコンテンツを特定することは、前もって定義したトリガーの組み合わせに関連する1つ以上のメディアコンテンツを特定することを含む。またさらなる実施形態では、トリガーの組み合わせは、各トリガーの同一性および特定の順序(the sequence of the identification)を含む。いくつかの実施形態では、1つ以上のメディアコンテンツは、以下のうちの少なくとも1つを含む:3D静止グラフィック、3Dアニメーショングラフィック、および3Dインタラクティブアニメーショングラフィック。さらなる実施形態では、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、以下のうちの少なくとも1つを含む:出版物に関係する1つ以上のキャラクターのグラフィック表現、出版物に関連する架空ではない地理的位置、出版物に関連する架空の地理的位置、出版物に関連する部屋、出版物に関連する建物、出版物に記載のシーン、および、出版物に記載の1つ以上のアイテム。またさらなる実施形態では、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、出版物に関連するキャラクターの視点から示される。いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、出版物の表紙の上方に仮想オーバーレイとして提示される、出版物の表紙上に仮想オーバーレイとして提示される、出版物のそばに仮想オーバーレイとして提示される、出版物のページの上方に仮想オーバーレイとして提示される、出版物のページ上に仮想オーバーレイとして提示される、出版物の表面の前に仮想オーバーレイとして提示される、出版物の製本部(binding)の前に仮想オーバーレイとして提示される、出版物の一部の2Dグラフィックの上方に仮想オーバーレイとして提示される、または、出版物の一部の2Dグラフィック上に仮想オーバーレイとして提示される、ことのうちの少なくとも1つとなる、ことを含む。いくつかの実施形態では、ビジュアルアウトプットデバイスは、以下のうちの1つを含む:VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、および、ARシステムの一部として適したスマートフォン。いくつかの実施形態では、ビジュアルアウトプットデバイスは、ユーザのコンピューティングデバイスと通信で結び付けられる。いくつかの実施形態では、ビジュアルアウトプットデバイスは、第1のカメラが出版物の少なくとも一部の1つ以上の画像をキャプチャする時にユーザの目の1つ以上の画像をキャプチャする第2のカメラを含み、ここにおいて、コンピュータシステムを用いてユーザの視野を判定することは、、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含む。いくつかの実施形態で、ライブビデオ中の少なくとも1つのトリガーを特定することは、ユーザのコンピューティングデバイス、またはユーザのコンピューティングデバイスに通信でつながれたサーバで行なわれる。いくつかの実施形態で、少なくとも1つのトリガーに関連する1つ以上のメディアコンテンツを特定することは、ユーザのコンピューティングデバイス、またはユーザのコンピューティングデバイスに通信でつながれたサーバで行なわれる。いくつかの実施形態では、ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正することは、ユーザのコンピューティングデバイス、またはユーザのコンピューティングデバイスに通信でつながれたサーバで行なわれる。いくつかの実施形態では、コンピューティングデバイスは携帯電話またはタブレットコンピュータを含む。
別の態様では、少なくとも1つのプロセッサと、実行可能な命令を実行するように構成されたオペレーティングシステムと、メモリと、カメラと、アプリケーションを作成するために少なくとも1つのプロセッサによって実行可能な命令を含むコンピュータプログラムと、を含むコンピューティングデバイスを含む、コンピュータで実行されるシステムが本明細書に開示され、該アプリケーションは:出版物のビデオを含むカメラライブビデオから受信するソフトウェアモジュール;ライブビデオ中の少なくとも1つの第1のトリガーを特定するソフトウェアモジュール;少なくとも1つのトリガーに関連する1つ以上のメディアコンテンツを特定するソフトウェアモジュール;ユーザの視野を判定し、該視野は出版物の少なくとも一部を含む、ソフトウェアモジュール;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正するソフトウェアモジュール;および、ビジュアルアウトプットデバイスを介して、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示し、その結果、1つ以上のメディアコンテンツは、出版物の少なくとも一部に関して、仮想オーバーレイとして提示されるソフトウェアモジュール、を含む。いくつかの実施形態では、出版物は印刷された出版物である。他の実施形態では、出版物は電子書籍である。様々な実施形態では、出版物は以下のうちの1つを含む:フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、イベントチケット半券、および、ポスター。いくつかの実施形態では、少なくとも1つのトリガーはそれぞれ、以下のうちの1つを含む:出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上のグラフィック、出版物の少なくとも一部上のキーワードまたはキーコード、出版物の表紙画像、出版物の表紙上のタイトル、出版物の表紙上の著者名、出版物の近くに位置し出版物に関連するぬいぐるみのキャラクター(a stuffed character)、出版物の近くに位置し出版物に関連する3D印刷されたキャラクター、および、出版物の近くに位置し出版物に関連する3D印刷されたオブジェクト。いくつかの実施形態では、ライブビデオは、少なくとも2つのトリガー、少なくとも3つのトリガー、少なくとも4つのトリガー、少なくとも5つのトリガー、少なくとも6つのトリガー、少なくとも7つのトリガー、少なくとも8つのトリガー、少なくとも9つのトリガー、または、少なくとも10のトリガーを含む。さらなる実施形態では、少なくとも1つのトリガーに関連する1つ以上のメディアコンテンツを特定するソフトウェアモジュールは、前もって定義したトリガーの組み合わせに関連する1つ以上のメディアコンテンツを特定する。またさらなる実施形態では、トリガーの組み合わせは、各トリガーの同一性および特定の順序を含む。いくつかの実施形態では、1つ以上のメディアコンテンツは、以下ののうちの少なくとも1つを含む:3D静止グラフィック、3Dアニメーショングラフィック、および3Dインタラクティブアニメーショングラフィック。さらなる実施形態では、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、以下のうちの少なくとも1つを含む:出版物に関係する1つ以上のキャラクターのグラフィック表現、出版物に関連する架空ではない地理的位置、出版物に関連する架空の地理的位置、出版物に関連する部屋、出版物に関連する建物、出版物に記載のシーン、および、出版物に記載の1つ以上のアイテム。なおさらなる実施形態では、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、出版物に関連するキャラクターの視野から提示される。いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、出版物の表紙の上方に仮想オーバーレイとして提示される、出版物の表紙上に仮想オーバーレイとして提示される、出版物のそばに仮想オーバーレイとして提示される、出版物のページの上方に仮想オーバーレイとして提示される、出版物のページ上に仮想オーバーレイとして提示される、出版物の表面の前に仮想オーバーレイとして提示される、出版物の製本部(binding)の前に仮想オーバーレイとして提示される、出版物の一部の2Dグラフィックの上方に仮想オーバーレイとして提示される、または、出版物の一部の2Dグラフィック上に仮想オーバーレイとして提示される、ことのうちの少なくとも1つとなる、ことを含む。いくつかの実施形態では、ビジュアルアウトプットデバイスは、以下のうちの1つを含む:VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、および、ARシステムの一部として適したスマートフォン。いくつかの実施形態では、ビジュアルアウトプットデバイスは、ユーザのコンピューティングデバイスと通信で結び付けられる。いくつかの実施形態では、ビジュアルアウトプットデバイスは、第1のカメラが出版物の少なくとも一部の1つ以上の画像をキャプチャする時にユーザの目の1つ以上の画像をキャプチャする第2のカメラを含み、ここにおいて、コンピュータシステムを用いてユーザの視野を判定することは、、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含む。いくつかの実施形態では、コンピューティングデバイスは携帯電話またはタブレットコンピュータを含む。
別の態様では、アプリケーションを生成するためにプロセッサによって実行可能な命令を含むコンピュータプログラムでエンコードされる非一時的なコンピュータ可読記憶媒体が本明細書に開示され、該媒体は:ユーザのコンピューティングデバイスに関連するカメラを介して、出版物のビデオを含むライブビデオを受信するソフトウェアモジュール;ライブビデオ中の少なくとも1つの第1のトリガーを特定するソフトウェアモジュール;少なくとも1つのトリガーに関連する1つ以上のメディアコンテンツを特定するソフトウェアモジュール;ユーザの視野を判定し、該視野は出版物の少なくとも一部を含む、ソフトウェアモジュール;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正するソフトウェアモジュール;および、ビジュアルアウトプットデバイスを介して、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示し、その結果、1つ以上のメディアコンテンツは、出版物の少なくとも一部に関して、仮想オーバーレイとして提示されるソフトウェアモジュール、を含む。いくつかの実施形態では、出版物は印刷された出版物である。他の実施形態では、出版物は電子書籍である。様々な実施形態では、出版物は以下のうちの1つを含む:フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、イベントチケット半券、および、ポスター。様々な実施形態では、少なくとも1つのトリガーはそれぞれ、以下のうちの1つを含む:出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上のグラフィック、出版物の少なくとも一部上のキーワードまたはキーコード、出版物の表紙画像、出版物の表紙上のタイトル、出版物の表紙上の著者名、出版物の近くに位置し出版物に関連するぬいぐるみのキャラクター(a stuffed character)、出版物の近くに位置し出版物に関連する3D印刷されたキャラクター、および、出版物の近くに位置し出版物に関連する3D印刷されたオブジェクト。いくつかの実施形態では、ライブビデオは、少なくとも2つのトリガー、少なくとも3つのトリガー、少なくとも4つのトリガー、少なくとも5つのトリガー、少なくとも6つのトリガー、少なくとも7つのトリガー、少なくとも8つのトリガー、少なくとも9つのトリガー、または、少なくとも10のトリガーを含む。さらなる実施形態では、少なくとも1つのトリガーに関連する1つ以上のメディアコンテンツを特定するソフトウェアモジュールは、前もって定義したトリガーの組み合わせに関連する1つ以上のメディアコンテンツを特定する。またさらなる実施形態では、トリガーの組み合わせは、各トリガーの同一性および特定の順序を含む。いくつかの実施形態では、1つ以上のメディアコンテンツは、以下ののうちの少なくとも1つを含む:3D静止グラフィック、3Dアニメーショングラフィック、および3Dインタラクティブアニメーショングラフィック。さらなる実施形態では、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、以下のうちの少なくとも1つを含む:出版物に関係する1つ以上のキャラクターのグラフィック表現、出版物に関連する架空ではない地理的位置、出版物に関連する架空の地理的位置、出版物に関連する部屋、出版物に関連する建物、出版物に記載のシーン、および、出版物に記載の1つ以上のアイテム。なおさらなる実施形態では、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、出版物に関連するキャラクターの視野から提示される。いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、出版物の表紙の上方に仮想オーバーレイとして提示される、出版物の表紙上に仮想オーバーレイとして提示される、出版物のそばに仮想オーバーレイとして提示される、出版物のページの上方に仮想オーバーレイとして提示される、出版物のページ上に仮想オーバーレイとして提示される、出版物の表面の前に仮想オーバーレイとして提示される、出版物の製本部(binding)の前に仮想オーバーレイとして提示される、出版物の一部の2Dグラフィックの上方に仮想オーバーレイとして提示される、または、出版物の一部の2Dグラフィック上に仮想オーバーレイとして提示される、ことのうちの少なくとも1つとなる、ことを含む。様々な実施形態では、ビジュアルアウトプットデバイスは、以下のうちの1つを含む:VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、および、ARシステムの一部として適したスマートフォン。いくつかの実施形態では、ビジュアルアウトプットデバイスは、ユーザのコンピューティングデバイスと通信で結び付けられる。いくつかの実施形態では、ビジュアルアウトプットデバイスは、第1のカメラが出版物の少なくとも一部の1つ以上の画像をキャプチャする時にユーザの目の1つ以上の画像をキャプチャする第2のカメラを含み、ここにおいて、コンピュータシステムを用いてユーザの視野を判定することは、、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含む。いくつかの実施形態では、コンピューティングデバイスは携帯電話またはタブレットコンピュータを含む。
別の態様において、方法が本明細書に開示され、該方法は:第1のカメラを用いて、印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャする工程;キャプチャされた1つ以上の画像が1つ以上のトリガーを含むかどうかを判定するために、コンピューティングシステムを用いて、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析する工程;キャプチャされた1つ以上の画像が1つ以上のトリガーのうちの少なくとも1つのトリガーを含むという判定に基づいて、コンピューティングシステムを用いて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定する工程;コンピューティングシステムを用いて、ユーザの視野を判定する工程であって、該視野は印刷された出版物の少なくとも一部を含む、工程;コンピューティングシステムを用いて、ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正する工程;および、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示し、その結果、1つ以上のメディアコンテンツは、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される、を含む。いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含む。いくつかの実施形態では、ビジュアルアウトプットデバイスは第1のカメラを含む。いくつかの実施形態では、第1のカメラは、ビジュアルアウトプットデバイスに通信でつながれている間、ビジュアルアウトプットデバイスの外部にある。いくつかの実施形態では、ビジュアルアウトプットデバイスは、第1のカメラが印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャする時にユーザの目の1つ以上の画像をキャプチャする第2のカメラを含み、ここにおいて、コンピュータシステムを用いてユーザの視野を判定することは、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含む。いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターのうちの1つを含む。いくつかの実施形態では、少なくとも1つのトリガーはそれぞれ、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、を含む。いくつかの実施形態では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックの少なくとも1つを含む。さらなる実施形態では、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、の少なくとも1つを含む。いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことのうちの少なくとも1つとなる、ことを含む。いくつかの実施形態では、コンピューティングシステムは、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイスのコンピューティングシステムの少なくとも1つを含む。
別の態様において、装置が本明細書に開示され、該装置は:第1のカメラ;ディスプレイデバイス;少なくとも1つのプロセッサ;および、非一時的なコンピュータ可読媒体を含み、該非一時的なコンピュータ可読媒体は、一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つのプロセッサによって実行される時に、該装置に:第1のカメラを用いて、印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャさせ;キャプチャされた1つ以上の画像が1つ以上のトリガーを含むかどうかを判定するために、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析させ;キャプチャされた1つ以上の画像が少なくとも1つのトリガーを含むという判定に基づいて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定させ;印刷された出版物の少なくとも一部を含む、ユーザの視野を判定させ;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正させ;および、ディスプレイデバイスを用いて、ユーザへと、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。いくつかの実施形態では、該装置は、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含む。いくつかの実施形態において、さらに、第2のカメラを含み;ここで、命令のセットは、1つ以上のプロセッサによって実行される時、該装置に:第2のカメラを用いて、第1のカメラが印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャするときに、ユーザの目の一つ以上の画像をキャプチャさせ;ここで、ユーザの視野の判定は、キャプチャされたユーザの目の1つ以上の画像の分析に基づいてユーザの視野を判定することを含む。いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターのうちの1つを含む。いくつかの実施形態では、少なくとも1つのトリガーはそれぞれ、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、を含む。いくつかの実施形態では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックの少なくとも1つを含む。いくつかの実施形態では、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、の少なくとも1つを含む。いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ディスプレイデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことのうちの少なくとも1つとなる、ことを含む。
別の態様において、システムが本明細書に開示され、該システムは:画像キャプチャデバイスを含み、該画像キャプチャデバイスは:第1のカメラ;少なくとも1つの第1のプロセッサ;および、第1の非一時的なコンピュータ可読媒体を含み、該第1の非一時的なコンピュータ可読媒体は、第1の一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、該画像キャプチャデバイスに:第1のカメラを用いて、印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャさせ;および、キャプチャされた1つ以上の画像をコンピューティングシステムへと送信させ;該コンピューティングシステムは:少なくとも1つの第2のプロセッサ;および、第2の非一時的なコンピュータ可読媒体を含み、該第2の非一時的なコンピュータ可読媒体は、第2の一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つの第2のプロセッサによって実行される時に、該コンピューティングシステムに:画像キャプチャデバイスからキャプチャされた1つ以上の画像を受信させ;キャプチャされた1つ以上の画像が1つ以上のトリガーを含むかどうかを判定するために、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析させ;キャプチャされた1つ以上の画像が少なくとも1つのトリガーを含むという判定に基づいて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定させ;印刷された出版物の少なくとも一部を含む、ユーザの視野を判定させ;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正させ;および、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツをビジュアルアウトプットデバイスへと送信させ;および、該ビジュアルアウトプットデバイスは:ディスプレイデバイス;少なくとも1つの第3のプロセッサ;および、第3の非一時的なコンピュータ可読媒体を含み、該第3の非一時的なコンピュータ可読媒体は、第3の一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、ビジュアルアウトプットデバイスに:ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツをコンピューティングシステムから受信させ;および、ディスプレイデバイスを用いて、ユーザへと、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含む。いくつかの実施形態では、ビジュアルアウトプットデバイスは画像キャプチャデバイスを含む。いくつかの実施形態では、ビジュアルアウトプットデバイスは、第1のカメラが印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャする時にユーザの目の1つ以上の画像をキャプチャする第2のカメラを含み、ここにおいて、コンピュータシステムを用いてユーザの視野を判定することは、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含む。いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターのうちの1つを含む。いくつかの実施形態では、少なくとも1つのトリガーはそれぞれ、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、を含む。いくつかの実施形態では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックの少なくとも1つを含む。さらなる実施形態では、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、の少なくとも1つを含む。いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことのうちの少なくとも1つとなる、ことを含む。いくつかの実施形態では、コンピューティングシステムは、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイスのコンピューティングシステムの少なくとも1つを含む。
別の態様において、方法が本明細書に開示され、該方法は:ビジュアルアウトプットデバイスと、印刷された出版物に関連する1つ以上の非視覚的なトリガーのうち少なくとも1つのトリガーと、の間の通信を確立する工程;ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、コンピューティングシステムを用いて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定する工程;コンピューティングシステムを用いて、ユーザの視野を判定する工程であって、該視野は印刷された出版物の少なくとも一部を含む、工程;コンピューティングシステムを用いて、ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正する工程;および、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される、工程を含む。いくつかの実施形態では、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間で通信を確立することは:コンピューティングシステムを用いて、ビジュアルアウトプットデバイスが印刷された出版物に関連する1つ以上の非視覚的なトリガーの通信範囲内にあるかどうかを判定する工程;および、ビジュアルアウトプットデバイスが、1つ以上の非視覚的なトリガーのうちの少なくとも1つのトリガーの通信範囲内にあるという判定に基づいて、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間で通信を確立する工程、を含む。いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含む。いくつかの実施形態では、ビジュアルアウトプットデバイスは、ユーザが印刷された出版物の少なくとも一部を見ている時にユーザの目の1つ以上の画像をキャプチャするカメラを含み、ここにおいて、コンピュータシステムを用いてユーザの視野を判定することは、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含む。いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターのうちの1つを含む。いくつかの実施形態では、少なくとも1つのトリガーはそれぞれ、RFIDタグ、BLEタグ、NFCタグ、または、RTLSタグの1つを含む。いくつかの実施形態では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックの少なくとも1つを含む。さらなる実施形態では、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、の少なくとも1つを含む。いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことのうちの少なくとも1つとなる、ことを含む。いくつかの実施形態では、コンピューティングシステムは、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイスのコンピューティングシステムの少なくとも1つを含む。
別の態様において、装置が本明細書に開示され、該装置は:無線通信デバイス;ディスプレイデバイス;少なくとも1つのプロセッサ;および、非一時的なコンピュータ可読媒体を含み、該非一時的なコンピュータ可読媒体は、一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つのプロセッサによって実行される時に、該装置に:無線通信デバイスを用いて、ビジュアルアウトプットデバイスと、印刷された出版物に関連する1つ以上の非視覚的なトリガーのうち少なくとも1つのトリガーと、の間の通信を確立させ;ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定させ;印刷された出版物の少なくとも一部を含む、ユーザの視野を判定させ;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正させ;および、ディスプレイデバイスを用いて、ユーザへと、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。いくつかの実施形態では、該装置は、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含む。いくつかの実施形態では、該装置は、さらに、ユーザが印刷された出版物の少なくとも一部を見ている時にユーザの目の1つ以上の画像をキャプチャするカメラを含み、ここにおいて、コンピュータシステムを用いてユーザの視野を判定することは、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含む。いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターのうちの1つを含む。いくつかの実施形態では、少なくとも1つのトリガーはそれぞれ、RFIDタグ、BLEタグ、NFCタグ、または、RTLSタグの1つを含む。いくつかの実施形態では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックの少なくとも1つを含む。
別の態様において、システムが本明細書に開示され、該システムは:無線通信デバイスを含み、該無線通信デバイスは:送受信機(transceiver);少なくとも1つの第1のプロセッサ;および、第1の非一時的なコンピュータ可読媒体を含み、該第1の非一時的なコンピュータ可読媒体は、第1の一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、該画像キャプチャデバイスに:ビジュアルアウトプットデバイスと、印刷された出版物に関連する1つ以上の非視覚的なトリガーのうち少なくとも1つのトリガーと、の間の通信を確立させ;コンピューティングシステムは:少なくとも1つの第2のプロセッサ;および、第2の非一時的なコンピュータ可読媒体を含み、該第2の非一時的なコンピュータ可読媒体は、第2の一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つの第2のプロセッサによって実行される時に、該コンピューティングシステムに:ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定させ;印刷された出版物の少なくとも一部を含む、ユーザの視野を判定させ;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正させ;および、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツをビジュアルアウトプットデバイスへと送信させ;および、該ビジュアルアウトプットデバイスは:ディスプレイデバイス;少なくとも1つの第3のプロセッサ;および、第3の非一時的なコンピュータ可読媒体を含み、該第3の非一時的なコンピュータ可読媒体は、第3の一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、ビジュアルアウトプットデバイスに:ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツをコンピューティングシステムから受信させ;および、ディスプレイデバイスを用いて、ユーザへと、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。
別の態様において、方法が本明細書に開示され、該方法は:ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツは、物理的なオブジェクトの少なくとも一部に関して、仮想オーバーレイとして提示される、工程;コンピューティングシステムを用いて、1つ以上のメディアコンテンツをユーザにどのように提示すべきかを判定する工程;1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を仮想現実の提示へ変える工程、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第2のメディアコンテンツを提示する工程であって、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含む、工程;および、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を複合現実の提示へ変える工程、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第3のメディアコンテンツを提示する工程であって、該1つ以上の第3のメディアコンテンツは複合現実コンテンツを含む、工程を含む。いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含む。いくつかの実施形態では、物理的なオブジェクトは、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、ポスター、クリスマスツリーの電球(Christmas tree bulb)、クリスマスツリーのオーナメント、ハヌカの燭台、石碑、ユーザに関連する感傷的な工芸品またはオーナメント(sentimental artifact or ornament)、または、ユーザに関連する別人に関連する感傷的な工芸品またはオーナメントのうちの1つを含む。いくつかの実施形態では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックの少なくとも1つを含む。いくつかの実施形態において、方法は、さらに以下の少なくとも1つを含む:1つ以上のセンサを用いて、メディアコンテンツの提示からの刺激に応じてユーザの1つ以上の身体的特性(physical characteristics)を検出する工程;または、コンピューティングシステムを用いて、どのようにメディアコンテンツを提示すべきかという選択を示すユーザ入力を受信する工程;を含みここで、コンピューティングシステムを用いて、どのように1つ以上のメディアコンテンツをユーザに提示すべきかを判定する工程は、ユーザまたは受信されたユーザ入力の検出された1つ以上の身体的特性の分析の少なくとも1つに基づく。いくつかの実施形態において、方法はさらに:1つ以上のメディアコンテンツを拡張現実の提示(augmented reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ拡張現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を拡張現実の提示へ変える工程、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第4のメディアコンテンツを提示する工程であって、該1つ以上の第4のメディアコンテンツは、拡張現実のコンテンツを含む、工程を含む。
別の態様において、装置が本明細書に開示され、該装置は:ディスプレイデバイス;少なくとも1つのプロセッサ;および、非一時的なコンピュータ可読媒体を含み、該非一時的なコンピュータ可読媒体は、一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つのプロセッサによって実行される時に、該装置に:ディスプレイデバイスを用いて、ユーザへと1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、物理的なオブジェクトの少なくとも一部に関して、仮想オーバーレイとして提示され;どのように1つ以上のメディアコンテンツをユーザに提示すべきかを判定させ;1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を仮想現実の提示へ変えさせ、および、ディスプレイデバイスを用いて、ユーザに、1つ以上の第2のメディアコンテンツを提示させ、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含み;および、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を複合現実の提示へ変えさせ、および、ディスプレイデバイスを用いて、ユーザに、1つ以上の第3のメディアコンテンツを提示させ、該1つ以上の第3のメディアコンテンツは複合現実コンテンツを含む。いくつかの実施形態では、該装置は、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含む。いくつかの実施形態では、物理的なオブジェクトは、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、ポスター、クリスマスツリーの電球(Christmas tree bulb)、クリスマスツリーのオーナメント、ハヌカの燭台、石碑、ユーザに関連する感傷的な工芸品またはオーナメント(sentimental artifact or ornament)、または、ユーザに関連する別人に関連する感傷的な工芸品またはオーナメントのうちの1つを含む。いくつかの実施形態では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックの少なくとも1つを含む。いくつかの実施形態において、装置は、さらに1つ以上のセンサ;または、1つ以上のユーザインプットデバイス、を含み;ここで、命令のセットは、1つ以上のプロセッサによって実行される時、該装置に:1つ以上のセンサを用いて、メディアコンテンツの提示からの刺激に応じてユーザの1つ以上の身体的特性を検出すること;または、1つ以上のユーザインプットデバイスから、どのようにメディアコンテンツを提示すべきかという選択を示すユーザ入力を受信すること、の少なくとも1つを実行させ;ここで、1つ以上のメディアコンテンツをどのようにユーザに提示すべきかを判定することは、ユーザまたは受信されたユーザ入力の検出された1つ以上の身体的特性の分析の少なくとも1つに基づく。さらなる実施形態では、命令のセットは、1つ以上のプロセッサによって実行される時、該装置に:および、1つ以上のメディアコンテンツを拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ拡張現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を拡張現実の提示へ変えさせ、および、ディスプレイデバイスを用いて、ユーザに、1つ以上の第4のメディアコンテンツを提示させ、該1つ以上の第4のメディアコンテンツは拡張現実コンテンツを含む。
別の態様において、システムが本明細書に開示され、該システムは:ビジュアルアウトプットデバイスを含み、該ビジュアルアウトプットデバイスは:ディスプレイデバイス;少なくとも1つの第1のプロセッサ;および、第1の非一時的なコンピュータ可読媒体を含み、該第1の非一時的なコンピュータ可読媒体は、第1の一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、ビジュアルアウトプットデバイスに:ディスプレイデバイスを用いて、ユーザに、1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、物理的なオブジェクトの少なくとも一部に関して、仮想オーバーレイとして提示され;コンピューティングシステムは:少なくとも1つの第2のプロセッサ;および、第2の非一時的なコンピュータ可読媒体を含み、該第2の非一時的なコンピュータ可読媒体は、第2の一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つの第2のプロセッサによって実行される時に、該コンピューティングシステムに:どのように1つ以上のメディアコンテンツをユーザに提示すべきかを判定させ;1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を仮想現実の提示へ変えさせ;および、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を複合現実の提示へ変えさせ;ここで、第1の一セットの命令は、少なくとも1つの第1のプロセッサによって実行される時、該ビジュアルアウトプットデバイスに:1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、ディスプレイデバイスを用いて、ユーザに、1つ以上の第2のメディアコンテンツを提示させ、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含み;および、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、ディスプレイデバイスを用いて、ユーザに、1つ以上の第3のメディアコンテンツを提示させ、該1つ以上の第3のメディアコンテンツは、複合現実コンテンツを含む。
別の態様において、方法が本明細書に開示され、該方法は:コンピューティングシステムを用いて、複数のメディアコンテンツのうちの1つ以上の第1のメディアコンテンツ、または、1つ以上の物理的オブジェクトのうちの1つ以上のキャプチャされた画像、のうちの少なくとも1つをどのようにユーザに提示すべきかを判定する工程;1つ以上の第1のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、第1のAPIを介してコンピューティングシステムを用いて、アセットの統合および制御のシステムを制御する工程であって、アセットの統合および制御のシステムに第1のメディアコンテンツを修正させて1つ以上の第2のメディアコンテンツを生成させる工程であって、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含む工程、および、第2のAPIを介してコンピューティングシステムを用いて、1つ以上の第2のメディアコンテンツを、ユーザに1つ以上の第2のメディアコンテンツを提示する複数のビジュアルアウトプットデバイスのうちの第1のビジュアルアウトプットデバイスに送信する工程;1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ拡張現実の提示として提示されていないという判定に基づき、第1のAPIを介してコンピューティングシステムを用いて、アセットの統合および制御のシステムを制御する工程であって、1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に関して仮想オーバーレイとして1つ以上の第1のメディアコンテンツを修正することによって、アセットの統合および制御のシステムに、1つ以上の第3のメディアコンテンツを生成させる工程であって、該1つ以上の第3のメディアコンテンツは拡張現実コンテンツを含む、工程、 および、第2のAPIを介してコンピューティングシステムを用いて、1つ以上の第3のメディアコンテンツを、ユーザに1つ以上の第3のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信する工程;1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を仮想現実および拡張現実の要素と結合した複合現実の提示として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ複合現実の提示として提示されていないという判定に基づいて、第1のAPIを介してコンピューティングシステムを用いて、アセットの統合および制御のシステムを制御する工程であって、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に基づいて、1つ以上の第4のメディアコンテンツを生成させる工程であって、該1つ以上の第4のメディアコンテンツは複合現実コンテンツを含む、工程、および、第2のAPIを介してコンピューティングシステムを用いて、1つ以上の第4のメディアコンテンツを、ユーザに1つ以上の第4のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信する工程、を含む。いくつかの実施形態において、方法はさらに:コンピューティングシステムを用いて、第1のAPIを介してアセットの統合および制御のシステムの、第2のAPIを介してビジュアルアウトプットデバイスの、第3のAPIを介してアセット制作システムの、および、第4のAPIを介して制作管理システムの、少なくとも1つのそれぞれにおける複数のメディアコンテンツのそれぞれリアルタイムステータスを追跡する工程;アセット制作システムからアセットの統合および制御のシステムへの統合の準備ができていることを示すステータスを有する、複数のメディアコンテンツのうちの少なくとも1つの第5のメディアコンテンツを、コンピューティングシステムを用いて、配信する工程;アセットの統合および制御のシステムから第1のビジュアルアウトプットデバイスへの配信の準備ができていることを示すステータスを有する、複数のメディアコンテンツのうちの少なくとも1つの第6のメディアコンテンツを、コンピューティングシステムを用いて、配信する工程;コンピューティングシステムを用いて、少なくとも1つの第6のメディアコンテンツを、複数のビジュアルアウトプットデバイスのうちの1つ以上の第2のビジュアルアウトプットデバイスと同期させる工程であって、1つ以上の第2のビジュアルアウトプットデバイスは、第1のビジュアルアウトプットデバイスとは別個である、工程;および、少なくとも1つの第6のメディアコンテンツに対する更新を受信することに応じて、コンピューティングシステムを用いて、少なくとも1つの第6のメディアコンテンツに対する更新を、第1のビジュアルアウトプットデバイスのそれぞれおよび1つ以上の第2のビジュアルアウトプットデバイスのそれぞれに送信する工程、を含む。いくつかの実施形態において、方法はさらに:コンピューティングシステムを用いて、第3のAPIを介してアセット制作システムから1つ以上の第1のメディアコンテンツを受信する工程;および、コンピューティングシステムを用いて、1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を画像キャプチャデバイスから受信する工程、を含む。さらなる実施形態において、方法はさらに:コンピューティングシステムを用いて、1つ以上の第1のメディアコンテンツは、第1のビジュアルアウトプットデバイスへの配信の準備ができていることを判定する工程;コンピューティングシステムを用いて、第4のAPIを介して1つ以上の第1のメッセージを制作管理システムに送信する工程であって、ここで、1つ以上の第1のメッセージは、1つ以上の第1のメディアコンテンツが第1のビジュアルアウトプットデバイスへの配信の準備ができていることを示すために、制作管理システムに1つ以上の第1のメディアコンテンツのステータスを変更させる、工程;および、コンピューティングシステムを用いて、第3のAPIを介して1つ以上の第2のメッセージをアセット制作システムに送信する工程であって、ここで、1つ以上の第2のメッセージは、アセット制作システムに、第3のAPIを介して1つ以上の第1のメディアコンテンツをコンピューティングシステムに送信させる、工程を含む。なおさらなる実施形態において、方法はさらに:コンピューティングシステムを用いて、1つ以上の第2のメディアコンテンツは、第1のビジュアルアウトプットデバイスへの配信の準備ができていないことを判定する工程;コンピューティングシステムを用いて、第4のAPIを介して1つ以上の第3のメッセージを制作管理システムに送信する工程であって、ここで、1つ以上の第3のメッセージは、1つ以上の第2のメディアコンテンツが第1のビジュアルアウトプットデバイスへの配信の準備ができていないことを示すために、制作管理システムに1つ以上の第2のメディアコンテンツのステータスを変更させる、工程;および、コンピューティングシステムを用いて、第3のAPIを介して1つ以上の第4のメッセージをアセット制作システムに送信する工程であって、ここで、1つ以上の第4のメッセージは、1つ以上の第2のメディアコンテンツに関する作業を続けるように、アセット制作システムに1つ以上の第5のメッセージを1つ以上の開発者へと送信させる、工程を含む。いくつかの実施形態では、コンピューティングシステムは、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイスのコンピューティングシステムの少なくとも1つを含む。いくつかの実施形態では、複数のビジュアルアウトプットデバイスはそれぞれ、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含む。
別の態様において、コンピューティングシステムが本明細書に開示され、該コンピューティングシステムは:少なくとも1つのプロセッサ;および、非一時的なコンピュータ可読媒体を含み、該非一時的なコンピュータ可読媒体は、一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つのプロセッサによって実行される時に、該コンピューティングシステムに:複数のメディアコンテンツのうちの1つ以上の第1のメディアコンテンツ、または、1つ以上の物理的オブジェクトのうちの1つ以上のキャプチャされた画像、のうちの少なくとも1つをどのようにユーザに提示すべきかを判定させ;1つ以上の第1のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、第1のAPIを介して、アセットの統合および制御のシステムを制御させて、アセットの統合および制御のシステムに第1のメディアコンテンツを修正させて1つ以上の第2のメディアコンテンツを生成させ、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含み、および、第2のAPIを介して、1つ以上の第2のメディアコンテンツを、ユーザに1つ以上の第2のメディアコンテンツを提示する複数のビジュアルアウトプットデバイスのうちの第1のビジュアルアウトプットデバイスに送信させ;1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ拡張現実の提示として提示されていないという判定に基づき、第1のAPIを介して、アセットの統合および制御のシステムを制御させて、1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に関して仮想オーバーレイとして1つ以上の第1のメディアコンテンツを修正することによって、アセットの統合および制御のシステムに、1つ以上の第3のメディアコンテンツを生成させ、該1つ以上の第3のメディアコンテンツは拡張現実コンテンツを含み、および、第2のAPIを介して、1つ以上の第3のメディアコンテンツを、ユーザに1つ以上の第3のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信させ;1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を仮想現実および拡張現実の要素と結合した複合現実の提示として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ複合現実の提示として提示されていないという判定に基づいて、第1のAPIを介して、アセットの統合および制御のシステムを制御させ、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に基づいて、1つ以上の第4のメディアコンテンツを生成させ、該1つ以上の第4のメディアコンテンツは複合現実コンテンツを含み、および、第2のAPIを介して、1つ以上の第4のメディアコンテンツを、ユーザに1つ以上の第4のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信させる。
図1は、様々な実施形態に従って、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施するためのシステムを例示する概略図である。 図2は、様々な実施形態に従って、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法を例示するフロー図である。 図3は、様々な実施形態に従って、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施するための別のシステムを例示する概略図である。 図4は、様々な実施形態に従って、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する別の方法を例示するフロー図である。 図5Aは、様々な実施形態に従って、ユーザと物理的なオブジェクトの間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法を例示するフロー図である。 図5Bは、様々な実施形態に従って、ユーザと物理的なオブジェクトの間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法を例示するフロー図である。 図5Cは、様々な実施形態に従って、ユーザと物理的なオブジェクトの間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法を例示するフロー図である。 図5Dは、様々な実施形態に従って、ユーザと物理的なオブジェクトの間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法を例示するフロー図である。 図6は、様々な実施形態に従って、仮想現実、拡張現実、または複合現実のうちの1つから、別の仮想現実、拡張現実、または複合現実へと変えることを可能にする、コンピュータシミュレーテッドリアリティのプラットフォームを実施するためのシステムを例示する概略図である。 図7Aは、様々な実施形態に従って、仮想現実、拡張現実、または複合現実のうちの1つから、別の仮想現実、拡張現実、または複合現実へと変えることを可能にする、コンピュータシミュレーテッドリアリティのプラットフォームを実施するための方法を例示するフロー図である。 図7Bは、様々な実施形態に従って、仮想現実、拡張現実、または複合現実のうちの1つから、別の仮想現実、拡張現実、または複合現実へと変えることを可能にする、コンピュータシミュレーテッドリアリティのプラットフォームを実施するための方法を例示するフロー図である。 図7Cは、様々な実施形態に従って、仮想現実、拡張現実、または複合現実のうちの1つから、別の仮想現実、拡張現実、または複合現実へと変えることを可能にする、コンピュータシミュレーテッドリアリティのプラットフォームを実施するための方法を例示するフロー図である。 図7Dは、様々な実施形態に従って、仮想現実、拡張現実、または複合現実のうちの1つから、別の仮想現実、拡張現実、または複合現実へと変えることを可能にする、コンピュータシミュレーテッドリアリティのプラットフォームを実施するための方法を例示するフロー図である。 図7Eは、様々な実施形態に従って、仮想現実、拡張現実、または複合現実のうちの1つから、別の仮想現実、拡張現実、または複合現実へと変えることを可能にする、コンピュータシミュレーテッドリアリティのプラットフォームを実施するための方法を例示するフロー図である。 図7Fは、様々な実施形態に従って、仮想現実、拡張現実、または複合現実のうちの1つから、別の仮想現実、拡張現実、または複合現実へと変えることを可能にする、コンピュータシミュレーテッドリアリティのプラットフォームを実施するための方法を例示するフロー図である。 図8は、様々な実施形態に従って、例示的なコンピュータまたはシステムハードウェアアーキテクチャを示すブロック図である。 図9は、様々な実施形態に従って使用することができる、コンピュータのネットワークにつながれたシステムを例示するブロック図である。 図10は典型的な電子書籍を例示する。 図11は典型的な電子書籍を例示する。 図12は典型的な電子書籍を例示する。 図13は典型的な電子書籍を例示する。 図14は典型的な電子書籍を例示する。 図15は典型的な電子書籍を例示する。 図16は典型的な電子書籍を例示する。 図17は典型的な電子書籍を例示する。 図18は典型的な電子書籍を例示する。 図19は典型的な電子書籍を例示する。 図20は典型的な電子書籍を例示する。 図21は典型的な電子書籍を例示する。 図22は典型的な電子書籍を例示する。 図23は典型的な電子書籍を例示する。 図24は典型的な電子書籍を例示する。 図25は典型的な電子書籍を例示する。 図26は典型的なAR体験を例示する。 図27は典型的なAR体験を例示する。 図28は典型的なAR体験を例示する。 図29は典型的なAR体験を例示する。 図30は典型的なAR体験を例示する。 図31は第1の典型的なVR体験を例示する。 図32は第2の典型的なVR体験を例示する。 図33は第2の典型的なVR体験を例示する。 図34は第2の典型的なVR体験を例示する。 図35は第2の典型的なVR体験を例示する。 図36は第2の典型的なVR体験を例示する。
特定の定義
他に特段の定義のない限り、本明細書で使用される技術用語はすべて、本発明が属する当業者によって一般に理解されるのと同じ意味を有している。明細書および添付の請求項内で用いられる通り、単数形「a」、「an」および「the」は、文脈が他に明確に指示していない限り、複数形の引用を含む。本明細書の「または」へのあらゆる言及は、特に他に明記のない限り、「および/または」を包含することを意図している。
本明細書に使用されるように、「トリガー」は、AR、VRまたはMxRメディアコンテンツを特定および/またはアクティブ化するために使用される、画像、フレームマーカー(frame marker)(例えばQRコード(登録商標))、テキスト、物理的な三次元のオブジェクトなどを含む。
本明細書に使用されるように、「非視覚的なトリガー」は、AR、VRまたはMxRメディアコンテンツを特定および/またはアクティブ化するために使用される、近距離無線通信(Near Field Communications)(NFC)タグ、無線周波数識別データ(Radio Frequency Identification Data)(RFID)モード2または6タグ、スマートフォン上の位置情報サービス(LBS)アクティブなどを含む。
様々な実施形態が、コンピュータシミュレーテッドリアリティのインタラクションを実行するためのツールおよび技術を提供し、特定の実施形態では、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法、システムおよびコンピュータソフトウェアを提供する。
コンピュータシミュレーテッドリアリティのユーザ体験(「UX」)
様々な実施形態では、第1のカメラは、印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャすることができ、コンピューティングシステムは、キャプチャされた1つ以上の画像が1つ以上のトリガーを含むかどうか判断するために、キャプチャされた1つ以上の画像を分析しうる。キャプチャされた1つ以上の画像が1つ以上のトリガーのうちの少なくとも1つのトリガーを含むという判定に基づいて、コンピューティングシステムは、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定しうる。コンピューティングシステムは、(例えば、ユーザが見ているものに関してカメラを使用してユーザの目をキャプチャすることによって)ユーザの視野を判定することができ、該視野は印刷された出版物の少なくとも一部を含む。必要な場合(すなわち、1つ以上のメディアコンテンツの向きがまだユーザなどの視野と位置合わせされていないとをコンピューティングシステムが判定する場合)、コンピューティングシステムは、続いて、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正しうる。次いで、1つ以上のメディアコンテンツ(場合によっては、ユーザの視野と位置合わせするようにその向きが修正されたもの)が、ビジュアルアウトプットデバイスを用いて、ユーザに提示されてもよく、その結果、1つ以上のメディアコンテンツが、少なくとも印刷された出版物の一部に関しての仮想オーバーレイとして提示される。
あるいは、視覚的なトリガーを使用するのではなく、非視覚的なトリガーを使用してもよい。このような場合には、無線通信が、ビジュアルアウトプットデバイスと、印刷された出版物に関連する1つ以上の非視覚的なトリガーのうち少なくとも1つのトリガーと、の間で確立されうる。ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、コンピューティングシステムは、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定しうる。コンピューティングシステムは、(例えば、ユーザが見ているものに関してカメラを使用してユーザの目をキャプチャすることによって)ユーザの視野を判定することができ、該視野は印刷された出版物の少なくとも一部を含む。必要な場合(すなわち、1つ以上のメディアコンテンツの向きがまだユーザなどの視野と位置合わせされていないとをコンピューティングシステムが判定する場合)、コンピューティングシステムは、続いて、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正しうる。次いで、1つ以上のメディアコンテンツ(場合によっては、ユーザの視野と位置合わせするようにその向きが修正されたもの)が、ビジュアルアウトプットデバイスを用いて、ユーザに提示されてもよく、その結果、1つ以上のメディアコンテンツが、少なくとも印刷された出版物の一部に関しての仮想オーバーレイとして提示される。
いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうるが、これに限定されない。いくつかの実施形態では、少なくとも1つの視覚的なトリガーはそれぞれ、限定されないが、出版物の少なくとも一部上に提供されるクイックレスポンス(QR)コード、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されたキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、などを含みうる。場合によっては、少なくとも1つの非視覚的なトリガーはそれぞれ、無線周波数識別(「RFID」)タグ、Bluetooth低エネルギー(「BLE」)タグ、近距離無線通信(「NFC」)タグ、または、リアルタイム位置情報システム(「RTLS」)タグ、などのうちの1つを含みうるが、これに限定されない。
さらなる実施形態では、1つ以上のメディアコンテンツは三次元(3D)静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックなどの少なくとも1つを含み、そのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などのうちの1つを含みうるが、これに限定されない。
いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含みうるが、これに限定されない。いくつかの実施形態によれば、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された二次元(2D)グラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。
いくつかの実施形態では、上述のコンピューティングシステムはコンピュータビジョン(computer vision)(いくつかの場合には、物体認識による)を含みうる。ここで、「コンピュータビジョン」はオブジェクトとトリガーを認識し、トリガーの検出に応じてコンテンツのAR提示を開始する画像キャプチャ技術を指すことがある(トリガーは、視覚ベースのトリガー、非視覚ベースのトリガー、視覚的トリガーと非視覚的トリガーの任意の組み合わせなどであり得る)。いくつかの例では、コンピュータビジョン技術は、VRへの架け橋としてARを使用すること、およびその逆も含み、ここで、いくつかの場合には、コンピュータビジョンシステムは、ユーザまたは読者のための対話型体験を改良する要因に応じて、動的にまたは選択的にARとVRとの間でシフトし得る(そして、それは、ARおよび/またはVR提示における特定の刺激に対するユーザの応答を検出および特定することに基づきうる)。本明細書において、「拡張現実」または「AR」は、実際のオブジェクトおよび状況の実際の景色の上、または、実際のオブジェクトおよび状況の画像の上、のいずれかにあるシミュレートされた構成体の仮想オーバーレイを指すことがあり、その一方で、「仮想現実」または「VR」は、ユーザによって観察されるすべてのものがシミュレートされている囲まれた感覚的な環境を指すことがあり、および、「複合現実」または「MxR」はARおよびVRの組み合わせを指すことがある。(例えば、AR要素がシミュレートされ、提示中に埋め込まれている、VRの提示など)。これらおよびコンピュータビジョンの他の実施は、様々な非限定的な実施形態に対して詳細に下に記載される。
印刷された出版物に関連するキャラクター、ストーリー要素、設定、シーンなどの仮想オーバーレイは、ユーザまたは読者に、出版物に関連するキャラクター、設定、および/またはストーリーとの仮想的なインタラクション(ユーザまたは読者の想像は別として)を提供する。いくつかの場合には、そのようなインタラクションが、ユーザが出版物のストーリーからの仮想のキャラクターと行うインタラクティブなゲームを含む。いくつかの実施形態はまた、ユーザまたは読者に、AR、VR、および/または複合現実(mixed reality)(すなわち、ARとVRの組み合わせ)を介して、ストーリーにおける主役(protagonist)または対立する役(antagonist)の観点からストーリーを体験することを可能にし、これにより、ユーザまたは読者の認知や、出版物中の登場人物やストーリーに対する効果的または影響を受けた共感性を高める。さらに、ARとVRの間での動的または選択的なシフトは、ユーザまたは読者に、出版物のストーリーや登場人物に関するより没入型のインタラクティブな体験を提供する。
コンピュータシミュレーテッドリアリティのプラットフォーム(Computer−Simulated Reality Platform)
コンピュータシミュレーテッドリアリティのプラットフォームは、MxRメディアコンテンツアプリケーション用のスケーラブルで再利用可能なフレームワークおよびエンドユーザーアプリケーションであり、ARと2Dのフロントエンドを没入型VRへと投ずる機能を有する。コンピュータシミュレーテッドリアリティのプラットフォームは、メディアコンテンツの提示の最初のデザインから出版および分析まで追跡および管理する、合理化された費用対効果の高い制作プロセスを可能にする、エンドツーエンドの制作プロセスとメディアコンテンツアプリケーションフレームワークを提供する。いくつかの場合には、完全にカスタムのクライアント/サーバ技術であるフレームワークは、独自のアプリケーションフレームワークにリリースされる、あらゆるメディアコンテンツアセットまたはアプリケーション(本明細書では「アセット(asset)」、「メディアコンテンツ(media content)」、「アプリケーション(application)」などとも呼ばれる)の作成、配信、および管理を提供する。プラットフォームは、ユーザインタフェース(「UI」)および/またはユーザ体験(「UX」)のグラフィック表現、アーキテクチャ上およびサーバーベースの機能(例えばホスト型コンテンツなど)、アプリケーションの開発およびライブバージョンのホスティングおよびサポートのための技術的要件およびコンテンツ管理(「CMS」)を含むが、これに限定されない。プラットフォームは、挿話的なテレビ(episodic television)のアセットの再利用を含むがこれに限定されない開発プロジェクトならびにMxRベースのプラットフォームに、普遍的に適応できるように意図されている。
制作前プランニングおよびスケジューリング:
アセット(例えばMicrosoft(登録商標)、EXCEL(登録商標)、Google(登録商標)Docs、電子メールアプリケーション、メッセージングアプリケーションなど)の制作を追跡する従来の方法は、通信が切断され、通常は一方向であるという欠点がある。プラットフォームは、Autodesk(登録商標)、Maya(登録商標)、Autodesk(登録商標)Mudbox、Adobe(登録商標)、Photoshop(登録商標)などを含むが、これらに限定されないアセット制作システムとソフトウェアとの直接的な接続、および起動機能を提供しながら、アセットの制作を追跡するこれらの従来の手段に代わるオールインワンの追跡および管理のソリューションを作成する。サービスとしてのソフトウェア(software as a service)(「SaaS」)モデルを使用して、カスタム制作工程は、場合によっては制作前プランニングおよびスケジューリングツール(例えばAutodesk Shotgunなど)を使用して、構築された(built−out)。デザイン、開発、アーティストのタスク、メディアコンテンツの構造とタスク管理(tasking)、アニメーション、オーディオ、ならびに、アプリケーションのリリースバージョンとベータバージョンのバグを追跡するためのバグ管理システム、を正確に追跡するために、制作のあらゆる段階のカスタムインタフェースが作成され、および、これらは、冗長にバックアップされた128ビット(またはそれ以上)の暗号化オンラインデータベース中で追跡される。
独自の追跡および制作テンプレートを使用して、プラットフォームは、最小限の制作オーバーヘッドで、厳格なレベルの品質管理を維持しながら、書籍の制作を指数関数的に拡大する(scale)ために、内外のアーティスト、開発者、作家などを管理することができる。
いくつかの実施形態では、デスクトップコンピュータ、ラップトップコンピュータ、モバイルデバイス、タブレットプラットフォームなどの1つ以上において起動しうる、プラットフォーム(例えば、Quantum BridgeTMなど)の内部ツールセットは、Python、JavaScript(登録商標)、およびC#などの言語で書かれうる、カスタムワークフロー(例えばQuantum TransportTMなど)を介して、内部ソフトウェアおよび開発ツールのすべてと接続してもよい。カスタムワークフローアプリケーションプログラムインターフェイス(「API」)は、開発パイプラインのそれぞれの異なるセクションまたはコンポーネントに、互いに通信する能力を提供することができ、デジタルアセットが制作前のフェーズからアセット統合またはアセット配信へとステータスを変更した時や、アセットに統合準備完了または配信準備完了などのフラグが立てられた時などに、メッセージを送受信する。
いくつかの実施形態によれば、制作追跡、プランニング、およびタスク管理システムを使用して、開発者の特定の事前制作および制作スタイルに合うカスタムワークフローを開発しながら、制作の進行に合わせて改善と修正を行うことができる。制作追跡、プランニング、およびタスク管理システムは、アーティストの時間を追跡し、新しいデジタルストーリーの作成に必要なすべてのアセットに対する配信を追跡し、依存性タスク(あるタスクが終了すると開始したり、あるタスクが特定の段階に進行すると開始するもの)を作成し、上記すべてのバージョンを追跡する。制作追跡、プランニング、およびタスク管理システムはまた、アセットの配信(delivery)のために、開発、テスト、および制作データベースをサーバまたはコンピューティングシステムにシード(seed)することもできる。内蔵のAPIおよび/またはプラットフォームツールセットを使用して、アセットに承認のフラグが立てられると、生成されたファイルは、アセット制作システム中のフレームワークで表示および確認するために、制作管理システム上のデータを、アセット制作システム用のアセットバンドル(Unity 3Dなど)にプッシュおよび変換する、カスタムスクリプト(Quantum Trigger(商標)スクリプトなど)を介して同時発生または同期されることができる。。
タイムラインのプランニングから、アセットごとのコスト消費(costing)(モデル、サウンド、アニメーションなど)まで、プラットフォームは、プラットフォームツールセット中のカスタムツールと同様にスケジューリングツール(例えば制作管理システム中のもの)を使用して時間/コストを正確にスケジュールして管理することができる。これらにより、プラットフォームは、プロセスがコンセプトから完成、流通、納品に至るまでに進行するにつれ、新しいアセットを追跡および予測することができる。アセットが作成されるタイムラインでは常に変更が必要な場合があり、各段階を完了するために必要な人員または開発者の変更が必要な場合がある場合、これは公開される各アセットにとって重要である。
アセット制作:
典型的には、3Dまたは2Dでの制作は、アセットの構築からアプリケーション内で更新された最新のコンテンツの表示まで、多くの単一の障害を発生させる、より手動での割り当ておよび反復プロセスが行われる。場合によっては、いくつかの制作方法論は、展開されている多層のソリューションには拡張できない(not scalable)。
タスク管理、レビュー、および承認機能を備えたツール(例えば生産管理システムツール、プラットフォームツールセット、アセット作成のための業界基準ソフトウェアなど)を使用して、プラットフォームは、はるかに合理化された方法でアセットを構築し、追跡し、展開させることができる。制作プロセスで作成されたすべてのアセットは、正確な追跡ならびにエンドユーザのデバイスへのより簡単なデジタル配信および更新のために、プラットフォームツールセットで作成されたコードを介してメタデータ、スクリプトなどに接続されうる。プラットフォームはアーティストおよび他の開発者に直接タスクを課すことができ、カスタムスクリプトを用いて、アセットの承認されたバージョンを、制作ツール一式(production suite of tools)から直接、VRベースのアプリケーション、ARベースのアプリケーションまたはMxRベースのアプリケーション、またはそれらのアプリケーションの組み合わせなど、におけるレビューのための開発テスト領域へとプッシュすることができる。
アセットの統合および制御:
プラットフォーム内のカスタムツールは、制作前の最初期段階からのデータを結び付けることができる。データに基づくアプローチの使用により、テストされその後公開されるアセットビルド内のすべてのアセットを追跡することができる。これは品質管理を助けるだけでなく、比較的マニュアルベースの開発ワークフローにおいて非常に典型的な予算超過、時間の遅れ、および内容のバグについて助けとなる。マルチプラットフォームアセット制作システムを使用することで、非常にカスタマイズ可能な外観およびアセット(2Dおよび3D実施の両方において)が作られうる。マルチプラットフォーム機能により、1つのコードベース内での開発が可能になり、微調整でフレームワークを複数の異なるプレゼンテーションプラットフォームのいずれか1つにプッシュできる。コンピュータビジョン技術および対応するシステムを使用して、アセット統合システムが、拡張現実に基づく体験(または複合現実に基づく体験)のためのモバイルデバイス上のカメラで現実世界のオブジェクトおよび画像を認識し追跡することを可能にすることができる。画像を、アプリケーション(またはアプリ)でホストすることも、コンピュータビジョン開発ウェブサイトから動的に提供することもできる。
アセットの統合および制御:
サーバ(例えば、Parse Serverなど)は、大量のデータをデジタル的に格納し、フレームワークに配信することを可能にし、アセット統合システム、ならびに他の開発プラットフォームに直接結び付くことがある。サーバは、水平方向および垂直方向に高度にスケーラブルであり得、現在利用可能なウェブサービスソリューション(例えば、Amazon(登録商標)ウェブサービスなど)上でシームレスに動作し得る。他の利点としては、限定されないが、ユーザログインおよびアカウント作成、カスタムデータベーススキーマ、より簡単な親のアカウントのためのoAuth2接続、子供のオンラインプライバシー保護法(COPPA)コンプライアンス情報の保存、プッシュ通知フレームワーク、および、サーバなどが含まれる。
アセット統合システムは、サーバ中でホストされるデータにおいて直接結び付き、これはWebサービスソリューションで実行される場合がある。サーバデータは、アセット制作システムおよびアセット統合システムなどで作成されたアセットへのフックで、生産管理システムとサーバとの間で同期されうる。これにより、事前制作からプラットフォームのリリースの配信まで、アセットおよびバージョンの追跡が可能になる。サーバはできる、デバイス、アセットおよびユーザを追跡でき、および、アセットが利用可能なすべてのプラットフォームで、ユーザ保持率の向上とフレームワークの収益化を推進するカスタム分析を作成できる。
配信プラットフォーム:
アセット統合システム、アセットまたはメディアコンテンツをサーバを介して動的に配信することで、複数のプラットフォームを迅速にサポートでき、手動での配信方法よりはるかに低コストである。Google Cardboard(商標)、Samsung GearVR(登録商標)、Google Daydream(商標)、Microsoft HoloLens(商標)、Oculus Rift(商標)、HTC Vive(商標)、Sony PlayStation VR(登録商標)などを含むがこれに限定されない、様々な配信プラットフォームを使用できる。
同期:
サーバおよびフロントエンドのクライアントの両方で独自のツールを使用して、サーバは、ユーザ体験の態様をすべて制御する。生産管理システムで同期して、サーバを、最新の、アセット、更新、ユーザ、デバイスなどに関する最先端情報のまま維持し、テストとリリースの両方のために、アプリケーションやアセットなどに関連するあらゆることについて最新の分析を実行する。
ユーザ、COPPAコンプライアンス追跡、アプリケーションフローおよび構造などを、カスタムインタフェースを介してサーバを通じてデータへと管理できる。サーバは、クライアントデバイスと通信する様々なツール(例えばMongoDB(登録商標)、Node.js、ReST、カスタムAPIなど)を利用し、これらは世界中の任意の場所に置かれてもよい。これらは、ステートレスなクライアント−サーバのキャッシュ可能な通信プロトコルに依存しており、動的に何百万ものユーザに対応する機能を有する。
データベース管理に対しマルチバージョン並行処理制御(「MVCC」)アプローチを利用することで、プラットフォームは数分以内にクライアントアプリケーション内でデータを更新することが可能になる。ストーリーポイントまたはフローの変更、アセットの削除または追加などは簡単であり、すべてのクライアントデバイスですぐに利用可能になる。
アセットアプリケーション内の特定の場所(例えば、仮想位置など)で費やされる時間の粒度の細かいレベルまでに低下した、ユーザ、インストール、地理的位置(geo−locations)、ユーザ体験に費やされる時間などを、実際の顧客データを使用して、ユーザーエクスペリエンスを提供するためのプロセスを継続的に改良し、磨きをかけることを可能にする、追跡保持、イベントについてのユーザファネル、および、多様なカスタマーレポートの追跡に使用できるカスタム解析のためのサーバを介して追跡し供給することができる。
以下の詳細な説明は、当業者がそのような実施形態を実行することを可能にするために、少数の典型的な実施形態をさらに詳細に例示する。記載された例は、例証を目的として提供され、本発明の範囲を制限することを意図していない。
以下の記載では、説明を目的として、記載された実施形態についての完全な理解を与えるために、多数の具体的な詳細が説明されている。しかしながら、本発明の他の実施形態はこれらの具体的な詳細のいくつかなしに実施されてもよいことが、当業者には明らかであるだろう。他の例では、特定の構造および構造はブロック図の形で示される。いくつかの実施形態が本明細書に記載されており、様々な特徴が異なる実施形態に帰する一方で、一実施形態に関して説明された特徴は他の実施形態にも同様に組み込まれ得ることを理解されたい。しかしながら、同じ理由で、本発明の他の実施形態はそのような特徴を省略することができるので、記載された任意の実施形態の単一の特徴(複数可)は、本発明のすべての実施形態に必須であると見なされるべきではない。
様々な実施形態によって提供されたツールは、方法、システム、および/またはソフトウェアプロダクトを含むがこれに限定されない。ほんの一例として、方法は1つ以上の手順を含むことができ、それらの手順のいずれかまたはすべてはコンピュータシステムによって実行される。相当するように、ある実施形態は、様々な他の実施形態によって提供された方法に従って、1つ以上の手順を行なう命令で構成されたコンピュータシステムを提供しうる。同様に、コンピュータプログラムは、そのような動作を実行するためにコンピュータシステム(および/またはその中のプロセッサ)によって実行可能である一セットの命令を含みうる。多くの場合では、そのようなソフトウェアプログラムは、物理的、有形、および/または非一時的なコンピュータ可読媒体(ほんの数例を挙げると、光媒体、磁気媒体など)でエンコードされる。
本明細書に記載の様々な実施形態は、(いくつかの場合においては)ソフトウェアプロダクト、コンピュータで実施される方法、および/または、コンピュータシステムを具体化しながら、拡張現実技術、仮想現実技術、複合現実技術、インタラクティブゲーミング技術などを含むがこれに限定されない既存の技術領域に、有形の具体的な改良を提示する。他の態様では、特定の実施形態は、コンピュータまたはネットワークシステムそれ自体(例えば、以下で説明される機能を実行するためのコンピューティングデバイスまたはシステム、ユーザデバイスなど)の機能を改善でき、例えば、これは、コンピュータシステムを用いて、印刷された出版物の少なくとも一部を含むユーザの視野を判定し、コンピュータシステムを用いて、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正し、および、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することによって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示され、それによって、より現実的に見えるメディアコンテンツの仮想投影を生成することによって、拡張現実、複合現実、および仮想現実のうち2つをシームレスに切り替えることによって(特にユーザが動き回って視野を変更するときに適切な視点を維持するためには、メディアコンテンツのシミュレーションと変更が必要となる)、および、シフトに基づいてメディアコンテンツをAR、複合現実、またはVRで提示すること、などによって、ユーザのための拡張現実または仮想現実インターフェースの機能を改善することなどによる。特に、あらゆる抽象的な概念が様々な実施形態に存在する程度に、特定の新規な機能(例えば工程または操作)を含むデバイス、ソフトウェア、システムおよび方法によって、本明細書に記述されるように、それらの概念を実行することができ、これらのデバイス、ソフトウェア、システムおよび方法は、単なる従来のコンピュータ処理操作を超えて拡張するいくつかの例を挙げると、コンピュータシステムを用いて、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正し、および、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示し、その結果、1つ以上のメディアコンテンツは、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示され、または、拡張現実、複合現実、および仮想現実のうち2つをシームレスにシフトすることができ(特にユーザが動き回ったり視野を変えたりするときに適切な視点を維持するには、メディアコンテンツのシミュレーションと変更が必要となる)、および、シフトに基づいて、AR、複合現実、またはVRにおいてメディアコンテンツを提示することを含む。これらの機能は、実装するコンピュータシステムの外で具体的な結果を生み出す可能性があり、それらには、ほんの一例として、ユーザには現実的に見える物理的な出版物に関してメディアコンテンツの3D仮想投影を生成する機能と、拡張現実、複合現実、仮想現実のうち2つの間をシームレスに移行し、それによってユーザに没入型のインタラクティブな環境を提供する機能と、などが含まれ、これらは、カスタマーおよび/またはサービスプロバイダによって観察または測定されうる。
ある態様では、方法は、第1のカメラを用いて、印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャする工程;キャプチャされた1つ以上の画像が1つ以上のトリガーを含むかどうかを判定するために、コンピューティングシステムを用いて、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析する工程;および、キャプチャされた1つ以上の画像が1つ以上のトリガーのうちの少なくとも1つのトリガーを含むという判定に基づいて、コンピューティングシステムを用いて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定する工程、を含みうる。方法はまた、コンピューティングシステムを用いて、少なくとも印刷された出版物の少なくとも一部を含むユーザの視野を判定する工程、および、コンピューティングシステムを用いて、ユーザの視野と位置合わせするように1つ以上のメディアコンテンツの向きを修正する工程、を含みうる。方法は、さらに、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される、工程を含む。
いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含みうる。いくつかの実施形態では、ビジュアルアウトプットデバイスは第1のカメラを含みうる。いくつかの実施形態では、第1のカメラは、ビジュアルアウトプットデバイスに通信でつながれている間、ビジュアルアウトプットデバイスの外部にありうる。
いくつかの実施形態によれば、ビジュアルアウトプットデバイスは、第1のカメラが印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャする時にユーザの目の1つ以上の画像をキャプチャする第2のカメラを含むことができ、および、コンピュータシステムを用いてユーザの視野を判定することは、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含むことができる。
いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうる。いくつかの実施形態によれば、少なくとも1つのトリガーはそれぞれ、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、などを含む。
いくつかの実施形態では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックなどの少なくとも1つを含みうる。3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などの少なくとも1つを含みうる。
いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。いくつかの場合では、コンピューティングシステムは、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイスのコンピューティングシステム、などの少なくとも1つを含みうる。
別の態様では、装置は、第1のカメラ、ディスプレイ装置、少なくとも1つのプロセッサ、および、非一時的なコンピュータ可読媒体を含みうる。非一時的なコンピュータ可読媒体は、一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つのプロセッサによって実行される時に、該装置に:第1のカメラを用いて、印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャさせ;キャプチャされた1つ以上の画像が1つ以上のトリガーを含むかどうかを判定するために、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析させ;キャプチャされた1つ以上の画像が少なくとも1つのトリガーを含むという判定に基づいて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定させ;印刷された出版物の少なくとも一部を含む、ユーザの視野を判定させ;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正させ;および、ディスプレイデバイスを用いて、ユーザへと、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。
いくつかの実施形態では、装置は、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンなどのうちの1つを含みうる。
いくつかの場合には、装置はさらに第2のカメラを含みうる。1セットの命令は、さらに、1つ以上のプロセッサによって実行される時、該装置に:第2のカメラを用いて、第1のカメラが印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャするときに、ユーザの目の一つ以上の画像をキャプチャさせる。ユーザの視野の判定は、キャプチャされたユーザの目の1つ以上の画像の分析に基づくユーザの視野の判定を含みうる。
いくつかの実施形態によれば、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうる。いくつかの場合には、少なくとも1つのトリガーはそれぞれ、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、のうちの1つなどを含みうる。
ほんの一例として、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィック、などの少なくとも1つを含みうる。3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などの少なくとも1つを含みうる。
いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ディスプレイデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。
また別の態様では、システムは、画像キャプチャデバイス、コンピューティングシステム、およびビジュアルアウトプットデバイスを含みうる。画像キャプチャデバイスは、第1のカメラ、少なくとも1つの第1のプロセッサ、および、第1の非一時的なコンピュータ可読媒体を含みうる。第1の非一時的なコンピュータ可読媒体は、第1の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、該画像キャプチャデバイスに:第1のカメラを用いて、印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャさせ、および、キャプチャされた1つ以上の画像をコンピューティングシステムに送信させる。
コンピューティングシステムは、少なくとも1つの第2のプロセッサ、および、第2の非一時的なコンピュータ可読媒体を含みうる。第2の非一時的なコンピュータ可読媒体は、第2の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第2のプロセッサによって実行される時に、該コンピューティングシステムに:画像キャプチャデバイスから1つ以上のキャプチャされた画像を受信させ;キャプチャされた1つ以上の画像が1つ以上のトリガーを含むかどうかを判定するために、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析させ;キャプチャされた1つ以上の画像が少なくとも1つのトリガーを含むという判定に基づいて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定させ;印刷された出版物の少なくとも一部を含む、ユーザの視野を判定させ;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正させ;および、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツをビジュアルアウトプットデバイスへと送信させる。
ビジュアルアウトプットデバイスは、ディスプレイデバイス、少なくとも1つの第3のプロセッサ、および、第3の非一時的なコンピュータ可読媒体を含みうる。第3の非一時的なコンピュータ可読媒体は、第3の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、ビジュアルアウトプットデバイスに:ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツをコンピューティングシステムから受信させ;および、ディスプレイデバイスを用いて、ユーザへと、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。
いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンなどのうちの1つを含みうる。いくつかの場合には、ビジュアルアウトプットデバイスは画像キャプチャデバイスを含みうる。
いくつかの実施形態によれば、ビジュアルアウトプットデバイスは、第1のカメラが印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャする時にユーザの目の1つ以上の画像をキャプチャする第2のカメラを含むことができ、および、コンピュータシステムを用いてユーザの視野を判定することは、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含むことができる。
いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうる。いくつかの実施形態によれば、少なくとも1つのトリガーはそれぞれ、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、などを含みうる。
いくつかの場合には、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィック、などの少なくとも1つを含みうる。3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などの少なくとも1つを含みうる。
いくつかの実施形態では、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。いくつかの場合には、コンピューティングシステムは、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイスのコンピューティングシステム、などの少なくとも1つを含みうる。
また別の態様では、方法は、ビジュアルアウトプットデバイスと、印刷された出版物と関連する1つ以上の非視覚的なトリガーのうちの少なくとも1つのトリガーとの、間の通信を確立する工程、および、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、コンピューティングシステムを用いて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定する工程を含むことがある。方法はまた、コンピューティングシステムを用いて、少なくとも印刷された出版物の少なくとも一部を含むユーザの視野を判定する工程、および、コンピューティングシステムを用いて、ユーザの視野と位置合わせするように1つ以上のメディアコンテンツの向きを修正する工程、を含みうる。方法は、さらに、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される、工程を含む。
いくつかの実施形態によれば、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間で通信を確立することは:コンピューティングシステムを用いて、ビジュアルアウトプットデバイスが印刷された出版物に関連する1つ以上の非視覚的なトリガーの通信範囲内にあるかどうかを判定すること;および、ビジュアルアウトプットデバイスが、1つ以上の非視覚的なトリガーのうちの少なくとも1つのトリガーの通信範囲内にあるという判定に基づいて、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間で通信を確立すること、を含みうる。
いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含みうる。いくつかの場合には、ビジュアルアウトプットデバイスは、ユーザが印刷された出版物の少なくとも一部を見ている時にユーザの目の1つ以上の画像をキャプチャするカメラを含むことがあり、そして、コンピュータシステムを用いてユーザの視野を判定することは、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含む。
ほんの一例として、いくつかの場合には、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうる。いくつかの場合には、少なくとも1つのトリガーはそれぞれ、RFIDタグ、BLEタグ、NFCタグ、または、RTLSタグ、などの1つを含みうる。
いくつかの場合には、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィック、などの少なくとも1つを含みうる。3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などの少なくとも1つを含みうる。
いくつかの実施形態によれば、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。いくつかの場合には、コンピューティングシステムは、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイスのコンピューティングシステム、などの少なくとも1つを含みうる。
別の態様では、装置は、無線通信デバイス、ディスプレイデバイス、少なくとも1つのプロセッサ、および、非一時的なコンピュータ可読媒体を含みうる。非一時的なコンピュータ可読媒体は、一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つのプロセッサによって実行される時に、該装置に:無線通信デバイスを用いて、ビジュアルアウトプットデバイスと、印刷された出版物に関連する1つ以上の非視覚的なトリガーのうち少なくとも1つのトリガーと、の間の通信を確立させ;ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定させ;印刷された出版物の少なくとも一部を含む、ユーザの視野を判定させ;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正させ;および、ディスプレイデバイスを用いて、ユーザへと、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。
いくつかの実施形態では、装置は、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、などのうちの1つを含みうる。いくつかの場合には、該装置は、さらに、ユーザが印刷された出版物の少なくとも一部を見ている時にユーザの目の1つ以上の画像をキャプチャするカメラを含むことがあり、そして、コンピュータシステムを用いてユーザの視野を判定することは、キャプチャされたユーザの目の1つ以上の画像の分析に基づいて、コンピュータシステムを用いてユーザの視野を判定することを含む。
ほんの一例として、いくつかの場合には、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうる。いくつかの場合には、少なくとも1つのトリガーはそれぞれ、RFIDタグ、BLEタグ、NFCタグ、または、RTLSタグ、などのうちの1つを含みうる。
いくつかの場合には、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィック、などの少なくとも1つを含みうる。
また別の態様では、システムは、無線通信デバイス、コンピューティングシステム、およびビジュアルアウトプットデバイスを含みうる。無線通信デバイスは、送受信機、少なくとも1つの第1のプロセッサ、および、第1の非一時的なコンピュータ可読媒体を含みうる。第1の非一時的なコンピュータ可読媒体は、第1の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、該画像キャプチャデバイスに:ビジュアルアウトプットデバイスと、印刷された出版物に関連する1つ以上の非視覚的なトリガーのうち少なくとも1つのトリガーと、の間の通信を確立させる。
コンピューティングシステムは、少なくとも1つの第2のプロセッサ、および、第2の非一時的なコンピュータ可読媒体を含みうる。第2の非一時的なコンピュータ可読媒体は、第2の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第2のプロセッサによって実行される時に、該コンピューティングシステムに:ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定させ;印刷された出版物の少なくとも一部を含む、ユーザの視野を判定させ;ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正させ;および、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツをビジュアルアウトプットデバイスへと送信させる。
ビジュアルアウトプットデバイスは、ディスプレイデバイス、少なくとも1つの第3のプロセッサ、および、第3の非一時的なコンピュータ可読媒体を含みうる。第3の非一時的なコンピュータ可読媒体は、第3の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、ビジュアルアウトプットデバイスに:ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツをコンピューティングシステムから受信させ;および、ディスプレイデバイスを用いて、ユーザへと、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。
別の態様では、方法は、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツは、物理的なオブジェクトの少なくとも一部に関して、仮想オーバーレイとして提示される、工程;および、コンピューティングシステムを用いて、1つ以上のメディアコンテンツをユーザにどのように提示すべきかを判定する工程、を含みうる。該方法はまた、1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を仮想現実の提示へ変える工程、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第2のメディアコンテンツを提示する工程であって、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含む、工程、を含みうる。該方法はさらに、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を複合現実の提示へ変える工程、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第3のメディアコンテンツを提示する工程であって、該1つ以上の第3のメディアコンテンツは複合現実コンテンツを含む、工程を含みうる。
いくつかの実施形態では、ビジュアルアウトプットデバイスは、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、などのうちの1つを含みうる。いくつかの場合には、物理的なオブジェクトは、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、ポスター、クリスマスツリーの電球(Christmas tree bulb)、クリスマスツリーのオーナメント、ハヌカの燭台、石碑、ユーザに関連する感傷的な工芸品またはオーナメント(sentimental artifact or ornament)、または、ユーザに関連する別人に関連する感傷的な工芸品またはオーナメント、などのうちの1つを含みうる。いくつかの場合には、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィック、などの少なくとも1つを含みうる。
いくつかの実施形態に係る、方法は、メディアコンテンツの提示からの刺激に応じて、1つ以上のセンサを用いて、ユーザの1つ以上の身体的な特徴を検出する工程、または、コンピューティングシステムを用いて、メディアコンテンツをどのように提示すべきかの選択を示すユーザ入力を受信する工程、のうちの少なくとも1つをさらに含みうる。そのような実施形態では、コンピューティングシステムを用いて、1つ以上のメディアコンテンツをユーザにどのように提示すべきかを判定する工程は、ユーザまたは受信されたユーザ入力の検出された1つ以上の身体的特性の分析の少なくとも1つに基づくことがある。いくつかの実施形態では、該方法はさらに、1つ以上のメディアコンテンツを拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ拡張現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を拡張現実の提示へ変える工程、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第4のメディアコンテンツを提示する工程であって、該1つ以上の第4のメディアコンテンツは拡張現実コンテンツを含む、工程を含みうる。
なおさらなる態様では、装置は、ディスプレイデバイス、少なくとも1つのプロセッサ、および、非一時的なコンピュータ可読媒体を含み、該非一時的なコンピュータ可読媒体は、一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つのプロセッサによって実行される時に、該装置に:ディスプレイデバイスを用いて、ユーザに、1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、物理的なオブジェクトの少なくとも一部に関して、仮想オーバーレイとして提示され;どのように1つ以上のメディアコンテンツをユーザに提示すべきかを判定させ;1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を仮想現実の提示へ変えさせ、および、ディスプレイデバイスを用いて、ユーザに、1つ以上の第2のメディアコンテンツを提示させ、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含み;および、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を複合現実の提示へ変えさせ、および、ディスプレイデバイスを用いて、ユーザに、1つ以上の第3のメディアコンテンツを提示させ、該1つ以上の第3のメディアコンテンツは複合現実コンテンツを含む。
いくつかの実施形態では、装置は、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、などのうちの1つを含みうる。いくつかの場合に、物理的なオブジェクトは、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、ポスター、クリスマスツリーの電球(Christmas tree bulb)、クリスマスツリーのオーナメント、ハヌカの燭台、石碑、ユーザに関連する感傷的な工芸品またはオーナメント(sentimental artifact or ornament)、または、ユーザに関連する別人に関連する感傷的な工芸品またはオーナメント、などのうちの1つを含みうる。いくつかの場合には、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィック、などのうちの少なくとも1つを含みうる。
いくつかの実施形態によれば、装置はさらに、1つ以上のセンサ、または、1つ以上のユーザ入力デバイスのうちの少なくとも1つを含みうる。1セットの命令は、1つ以上のプロセッサによって実行される時、該装置に:1つ以上のセンサを用いて、メディアコンテンツの提示からの刺激に応じてユーザの1つ以上の身体的特性を検出すること;または、1つ以上のユーザインプットデバイスから、どのようにメディアコンテンツを提示すべきかという選択を示すユーザ入力を受信すること、の少なくとも1つを実行させる。そのような実施形態では、1つ以上のメディアコンテンツをどのようにユーザに提示すべきかを判定することは、ユーザまたは受信されたユーザ入力の検出された1つ以上の身体的特性の分析の少なくとも1つに基づくことがある。
いくつかの場合には、1セットの命令は、1つ以上のプロセッサによって実行される時、該装置に:1つ以上のメディアコンテンツを拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ拡張現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を拡張現実の提示へ変えさせ、および、ディスプレイデバイスを用いて、ユーザに、1つ以上の第4のメディアコンテンツを提示させ、該1つ以上の第4のメディアコンテンツは拡張現実コンテンツを含む。
また別の態様では、システムは、ビジュアルアウトプットデバイスおよびコンピューティングシステムを含みうる。ビジュアルアウトプットデバイスは、ディスプレイデバイス、少なくとも1つの第1のプロセッサ、および、第1の非一時的なコンピュータ可読媒体を含みうる。第1の非一時的なコンピュータ可読媒体は、第1の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第1のプロセッサによって実行される時に、ビジュアルアウトプットデバイスに:ディスプレイデバイスを用いて、ユーザに、1つ以上のメディアコンテンツを提示させ、その結果、1つ以上のメディアコンテンツが、物理的なオブジェクトの少なくとも一部に関して、仮想オーバーレイとして提示される。
コンピューティングシステムは、少なくとも1つの第2のプロセッサ、および、第2の非一時的なコンピュータ可読媒体を含みうる。第2の非一時的なコンピュータ可読媒体は、第2の一セットの命令を含むコンピュータソフトウェアをその中に格納することがあり、該命令は、少なくとも1つの第2のプロセッサによって実行される時に、該コンピューティングシステムに:どのように1つ以上のメディアコンテンツをユーザに提示すべきかを判定させ;1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を仮想現実の提示へ変えさせ;および、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、1つ以上のメディアコンテンツの提示を複合現実の提示へ変えさせる。
第1の一セットの命令は、少なくとも1つの第1のプロセッサによって実行される時、ビジュアルアウトプットデバイスに:1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、ディスプレイデバイスを用いて、ユーザに、1つ以上の第2のメディアコンテンツを提示させることがあり、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含み;および、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、ディスプレイデバイスを用いて、ユーザに、1つ以上の第3のメディアコンテンツを提示させることがあり、該1つ以上の第3のメディアコンテンツは、複合現実コンテンツを含む。
別の態様では、方法は、コンピューティングシステムを用いて、複数のメディアコンテンツのうちの1つ以上の第1のメディアコンテンツ、または、1つ以上の物理的オブジェクトのうちの1つ以上のキャプチャされた画像、のうちの少なくとも1つをどのようにユーザに提示すべきかを判定する工程、を含みうる。該方法はさらに、1つ以上の第1のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、第1のAPIを介して、アセットの統合および制御のシステムを制御させる工程であって、アセットの統合および制御のシステムに第1のメディアコンテンツを修正させて1つ以上の第2のメディアコンテンツを生成させ、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含む工程、および、コンピューティングシステムを用いて、第2のAPIを介して、1つ以上の第2のメディアコンテンツを、ユーザに1つ以上の第2のメディアコンテンツを提示する複数のビジュアルアウトプットデバイスのうちの第1のビジュアルアウトプットデバイスに送信させる工程、を含みうる。
該方法はまた、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ拡張現実の提示として提示されていないという判定に基づき、第1のAPIを介して、アセットの統合および制御のシステムを制御させ、1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に関して仮想オーバーレイとして1つ以上の第1のメディアコンテンツを修正することによって、アセットの統合および制御のシステムに、1つ以上の第3のメディアコンテンツを生成させる工程であって、該1つ以上の第3のメディアコンテンツは拡張現実コンテンツを含む、工程、および、第2のAPIを介してコンピューティングシステムを用いて、1つ以上の第3のメディアコンテンツを、ユーザに1つ以上の第3のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信する工程、を含みうる。該方法はさらに、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を仮想現実および拡張現実の要素と結合した複合現実の提示として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ複合現実の提示として提示されていないという判定に基づいて、第1のAPIを介して、コンピューティングシステムを用いて、アセットの統合および制御のシステムを制御させ、アセットの統合および制御のシステムに、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に基づいて、1つ以上の第4のメディアコンテンツを生成させ、該1つ以上の第4のメディアコンテンツは複合現実コンテンツを含み、 および、第2のAPIを介して、コンピューティングシステムを用いて、1つ以上の第4のメディアコンテンツを、ユーザに1つ以上の第4のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信させる。
いくつかの実施形態では、該方法はさらに、コンピューティングシステムを用いて、第1のAPIを介してアセットの統合および制御のシステムの少なくとも1つのそれぞれにおける複数のメディアコンテンツを、第2のAPIを介してビジュアルアウトプットデバイスを、第3のAPIを介してアセット制作システムを、および、第4のAPIを介して制作管理システムを、それぞれリアルタイムステータスを追跡する工程を含みうる。いくつかの場合に、該方法はまた、アセット制作システムからアセットの統合および制御のシステムへの統合の準備ができていることを示すステータスを有する、複数のメディアコンテンツのうちの少なくとも1つの第5のメディアコンテンツを、コンピューティングシステムを用いて、配信する工程、および、アセットの統合および制御のシステムから第1のビジュアルアウトプットデバイスへの配信の準備ができていることを示すステータスを有する、複数のメディアコンテンツのうちの少なくとも1つの第6のメディアコンテンツを、コンピューティングシステムを用いて、配信する工程を含みうる。いくつかの例では、該方法はさらに、コンピューティングシステムを用いて、少なくとも1つの第6のメディアコンテンツを、複数のビジュアルアウトプットデバイスのうちの1つ以上の第2のビジュアルアウトプットデバイスと同期させる工程であって、1つ以上の第2のビジュアルアウトプットデバイスは、第1のビジュアルアウトプットデバイスとは別個である、工程; および、少なくとも1つの第6のメディアコンテンツに対する更新を受信することに応じて、コンピューティングシステムを用いて、少なくとも1つの第6のメディアコンテンツに対する更新を、第1のビジュアルアウトプットデバイスのそれぞれおよび1つ以上の第2のビジュアルアウトプットデバイスのそれぞれに送信する工程、を含みうる。
いくつかの実施形態によれば、該方法はさらに、コンピューティングシステムを用いて、第3のAPIを介してアセット制作システムから1つ以上の第1のメディアコンテンツを受信する工程; および、コンピューティングシステムを用いて、1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を画像キャプチャデバイスから受信する工程、を含みうる。いくつかの実施形態では、該方法はさらに、コンピューティングシステムを用いて、1つ以上の第1のメディアコンテンツは、第1のビジュアルアウトプットデバイスへの配信の準備ができていることを判定する工程;コンピューティングシステムを用いて、第4のAPIを介して1つ以上の第1のメッセージを制作管理システムに送信する工程であって、ここで、1つ以上の第1のメッセージは、1つ以上の第1のメディアコンテンツが第1のビジュアルアウトプットデバイスへの配信の準備ができていることを示すために、制作管理システムに1つ以上の第1のメディアコンテンツのステータスを変更させる、工程;および、コンピューティングシステムを用いて、第3のAPIを介して1つ以上の第2のメッセージをアセット制作システムに送信する工程であって、ここで、1つ以上の第2のメッセージは、アセット制作システムに、第3のAPIを介して1つ以上の第1のメディアコンテンツをコンピューティングシステムに送信させる、工程を含みうる。
いくつかの実施形態では、該方法はさらに、コンピューティングシステムを用いて、1つ以上の第2のメディアコンテンツは、第1のビジュアルアウトプットデバイスへの配信の準備ができていないことを判定する工程;コンピューティングシステムを用いて、第4のAPIを介して1つ以上の第3のメッセージを制作管理システムに送信する工程であって、ここで、1つ以上の第3のメッセージは、1つ以上の第2のメディアコンテンツが第1のビジュアルアウトプットデバイスへの配信の準備ができていないことを示すために、制作管理システムに1つ以上の第2のメディアコンテンツのステータスを変更させる、工程;および、コンピューティングシステムを用いて、第3のAPIを介して1つ以上の第4のメッセージをアセット制作システムに送信する工程であって、ここで、1つ以上の第4のメッセージは、1つ以上の第2のメディアコンテンツに関する作業を続けるように、アセット制作システムに1つ以上の第5のメッセージを1つ以上の開発者へと送信させる、工程、を含みうる。
いくつかの場合には、コンピューティングシステムは、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイスのコンピューティングシステム、などの少なくとも1つを含みうる。いくつかの実施形態によれば、複数のビジュアルアウトプットデバイスはそれぞれ、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含みうる。
またさらなる態様では、コンピューティングシステムは、少なくとも1つのプロセッサおよび非一時的なコンピュータ可読媒体を含むことがあり、該非一時的なコンピュータ可読媒体は、一セットの命令を含むコンピュータソフトウェアをその中に格納し、該命令は、少なくとも1つのプロセッサによって実行される時に、該コンピューティングシステムに:複数のメディアコンテンツのうちの1つ以上の第1のメディアコンテンツ、または、1つ以上の物理的オブジェクトのうちの1つ以上のキャプチャされた画像、のうちの少なくとも1つをどのようにユーザに提示すべきかを判定させ;1つ以上の第1のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、第1のAPIを介して、アセットの統合および制御のシステムを制御させて、アセットの統合および制御のシステムに第1のメディアコンテンツを修正させて1つ以上の第2のメディアコンテンツを生成させ、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含み、および、第2のAPIを介して、1つ以上の第2のメディアコンテンツを、ユーザに1つ以上の第2のメディアコンテンツを提示する複数のビジュアルアウトプットデバイスのうちの第1のビジュアルアウトプットデバイスに送信させ;1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ拡張現実の提示として提示されていないという判定に基づき、第1のAPIを介して、アセットの統合および制御のシステムを制御させ、1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に関して仮想オーバーレイとして1つ以上の第1のメディアコンテンツを修正することによって、アセットの統合および制御のシステムに、1つ以上の第3のメディアコンテンツを生成させ、該1つ以上の第3のメディアコンテンツは拡張現実コンテンツを含み、および、第2のAPIを介して、1つ以上の第3のメディアコンテンツを、ユーザに1つ以上の第3のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信させ;1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を仮想現実および拡張現実の要素と結合した複合現実の提示として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ複合現実の提示として提示されていないという判定に基づいて、第1のAPIを介して、アセットの統合および制御のシステムを制御させ、アセットの統合および制御のシステムに、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に基づいて、1つ以上の第4のメディアコンテンツを生成させ、該1つ以上の第4のメディアコンテンツは複合現実コンテンツを含み、 および、第2のAPIを介して、1つ以上の第4のメディアコンテンツを、ユーザに1つ以上の第4のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信させる。
様々な修正および追加を、本発明の範囲から逸脱せずに、議論されている実施形態に対して成すことができる。例えば、上述の実施形態が特定の特徴を指している一方、本発明の範囲はまた、上述の特徴のすべてを含むとは限らない特徴および実施形態の様々な組み合わせを有する実施形態を含む。
特定の典型的な実施形態
ここで、図面によって例示されるような実施形態に目を向ける。図1−9は、上述したように、コンピュータシミュレーテッドリアリティのインタラクションを実行するための方法、システム、および装置の特徴のいくつかを例示し、特定の実施形態では、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法、システムおよびコンピュータソフトウェアに例示する。図1−5は、実施されるコンピューターシミュレーテッドリアリティのユーザ体験のための方法、システムおよび装置を対象とし、一方、図6および7は、実施されるコンピューターシミュレーテッドリアリティのプラットフォームのための方法、システムおよび装置を対象とし、図8および9は、コンピューターシミュレーテッドリアリティのユーザ体験およびコンピューターシミュレーテッドリアリティのプラットフォームの実施のためのハードウェアシステムを対象とする。図1−9によって例示される方法、システム、および装置は、様々な構成要素および工程を含む様々な実施形態の例を指し、これらは代替形態と見なすことができ、または様々な実施形態において互いに組み合わせて使用することができる。図1−9に示され、例証される方法、システム、および装置の記載は、例証を目的として提供され、様々な実施形態の範囲を制限すると考えられるべきではない。
コンピュータシミュレーテッドリアリティのUX
図面に関して、図1は、様々な実施形態に従って、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施するためのシステム(100)を例示する概略図である。
図1の非限定的な実施形態では、システム(100)は1つ以上のユーザデバイス(105)(本明細書においては「ビジュアルアウトプットデバイス」などとも称される)を含みうる。ユーザデバイス(105)の特定の実施形態は図1に示されているが(例えばタブレットコンピュータ、スマートフォン、仮想現実または拡張現実のヘッドセット)、様々な実施形態はそのように制限されておらず、それぞれのユーザデバイス(105)は、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含みうるが、これに限定されない可能性がある。いくつかの実施形態では、システム(100)はさらに、コンピューティングシステム(110)(限定されないが、サーバコンピュータ、クラウドコンピューティングシステムなどを含む)を含むことができ、これは、1つ以上のユーザデバイス(105)とは別または離れており(remote)であり、有線接続(例えば、1つ以上のユーザデバイス(105)とネットワーク(115)との間の実線によって図1に示されるようなもの)、または、無線接続(例えば、1つ以上のユーザデバイス(105)とネットワーク(115)との間の稲妻記号によって図1に示されるようなもの)でネットワーク(115)を介してアクセス可能である。いくつかの場合には、ネットワーク(115)は、限定されないがファイバーネットワーク、イーサネット(登録商標)ネットワーク、Token−Ring(商標)ネットワーク、などを含むローカル・エリア・ネットワーク(「LAN」);広域ネットワーク(「WAN」);ワイヤレス広域ネットワーク(「WWAN」);バーチャルプライベートネットワーク(「VPN」)などの仮想ネットワーク;インターネット;イントラネット;エクストラネット;公衆交換電話網(「PSTN」);赤外線ネットワーク;限定されないが、IEEE 802.11プロトコルスイート、当技術分野で高知のBluetooth(登録商標)プロトコル、および/または他の任意のワイヤレスプロトコルのいずれかの下で動作するネットワークを含むワイヤレスネットワーク;および/または、これらおよび/または他のネットワークの任意の組み合わせ、を含むが、これに限定されない。特定の実施形態では、ネットワークは、サービスプロバイダ(例えばインターネットサービスプロバイダ(「ISP」))のアクセスネットワークを含みうる。別の実施形態では、ネットワークは、サービスプロバイダのコアネットワーク、および/または、インターネット、を含みうる。
いくつかの実施形態によれば、システム(100)はさらに、印刷された出版物(125)を含みうる。印刷された出版物(125)の特定の実施形態が図1に示されているが(例えば本)、様々な実施形態はそのように限定されておらず、印刷された出版物(125)は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含むことができるが、これに限定されない。いくつかの実施形態では、1つ以上のトリガー(130)は印刷された出版物の少なくとも一部上に提供されることがあり、それぞれ、限定されないが、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されたキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、などを含みうる。いくつかの実施形態によれば、ユーザデバイス(105)はさらに、限定されないが、第1のカメラ(135)(ユーザデバイス(105)の正面図の矢印A−Aの方向に沿って示されるようなユーザデバイス(105)の側面図中で示される)、第2のカメラ(140)、およびディスプレイデバイスまたはディスプレイスクリーン(145)、などを含みうる。
操作においては、ユーザデバイス(105)の第1のカメラ(135)は、印刷された出版物(125)の少なくとも一部(例えば前面表紙、出版物全体、バック表紙、印刷された出版物のページ、印刷された出版物の装丁、これらのうちのいずれかの一部など)の1つ以上の画像をキャプチャしうる。ユーザデバイス(105)および/またはコンピューティングシステム(110)は、キャプチャされた1つ以上の画像が1つ以上のトリガー(130)(上述)を含むかどうかを判定するために、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析しうる。いくつかの実施形態によれば、ユーザデバイス(105)またはコンピューティングシステム(110)は、印刷された出版物(125)の少なくとも一部の1つ以上のキャプチャされた画像が1つ以上のトリガー(130)を含むかどうかを判定するために、分析の一部として、該1つ以上のキャプチャされた画像上に点をマッピングしうる。
キャプチャされた1つ以上の画像が1つ以上のトリガーのうちの少なくとも1つのトリガーを含むという判定に基づいて、ユーザデバイス(105)および/またはコンピューティングシステム(110)は、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツ(160)を特定しうる。ユーザデバイス(105)および/またはコンピューティングシステム(110)は、続いて、(例えば、第2のカメラ(140)を使用してユーザの目をキャプチャすることによって)ユーザの視野を判定することができ、該視野は印刷された出版物の少なくとも一部を含み、必要な場合(すなわち、1つ以上のメディアコンテンツの向きがまだユーザなどの視野と位置合わせされていない、などの判定に基づき)、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正しうる。次いで、ユーザデバイス(105)および/またはコンピューティングシステム(110)は、ユーザデバイス(105)のディスプレイデバイス(145)上に、(ユーザの視野と位置合わせするように向きが修正された)1つ以上のメディアコンテンツを表示することがあり、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。図1の非限定的な実施形態では、1つ以上のメディアコンテンツ(160)は、オブジェクト(例えば、雪玉など)を投げる行為中のキャラクターを含み、該キャラクターは、印刷された出版物(125)の表紙の画像の上に、仮想オーバーレイとして提示される。1つ以上のメディアコンテンツ(160)が、図1のタブレットコンピュータのディスプレイデバイス上に表示されて示されているが、様々な実施形態はそのように限定されておらず、1つ以上のメディアコンテンツ(160)は、上述のように、ユーザデバイス(105)(例えば、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、など)のいずれかのディスプレイデバイス上に表示されうる。
いくつかの場合には、システム(100)はさらに、(複数の印刷された出版物のうちの)各印刷された出版物(125)に関連する1つ以上のトリガー(130)に関する情報、(複数の印刷された出版物のうちの)各印刷された出版物(125)に関連する1つ以上のメディアコンテンツ(160)に関する情報、1つ以上のメディアコンテンツ(160)それ自体、ユーザデバイス(105)のビジュアルアウトプットデバイスまたはディスプレイデバイスのそれぞれに対するフォーマット情報、など、のうちの少なくとも1つを格納する1つ以上のデータベース(120)、を含みうる。
いくつかの実施形態によれば、上述の1つ以上のユーザデバイス(105)の機能は、1つ以上のユーザデバイス(105)上でダウンロードされインストールされる、ソフトウェアアプリケーション(「アプリ」)によって提供されることができ、および、ソフトウェアアプリは、印刷された出版物の少なくとも一部の画像をキャプチャするための機能、トリガーについて画像を分析するための機能、トリガーと関連するメディアコンテンツを特定するための機能、(必要なら)ユーザの視野と位置合わせするようにメディアコンテンツの向きを修正するための機能、および、印刷された出版物の少なくとも一部(場合によっては、その画像)に関して、仮想オーバーレイとしてメディアコンテンツをユーザに提示するための機能を提供する。
いくつかの実施形態では、トリガーは、2つ以上の印刷された出版物の特定の配置を含みうる。例えば、2冊の本を互いに隣接する特定の一連の本に配置することは、2冊の本に関して仮想オーバーレイとして提示される、2冊の本由来のキャラクターを含むメディアコンテンツを生成するためのトリガーとして役割を果たすことがあり、ここで、キャラクターは互いにインタラクションするように提示される(例えば、第1のキャラクターが第2のキャラクターとの雪合戦を開始し、各キャラクターは2冊の本のうちの一方の上にオーバーレイとして提示される、など)。別の例において、3冊以上の本を互いに対し第1の配列または順序で特定の一連の本に配置することは、(一連の本におけるキャラクター間の第1のセットのインタラクションを含みうる)1セットのメディアコンテンツのためのトリガーとしての役割を果たすことがあり、一方で、3冊以上の本を互いに対し第2の配列または順序で配置することは、(一連の本におけるキャラクター間の第2のセットのインタラクションを含みうる)別のセットのメディアコンテンツのためのトリガーとしての役割を果たすことがある。いくつかの場合には、キャラクターではなく、特定の順序での印刷された出版物の配置は、地図、手がかり(clues)、または実際のまたは仮想の賞品などをユーザにもたらす可能性のあるその他のコンテンツ(たとえば、一連の書籍、映画、 TVシリーズ、ゲーム用、玩具用などのマーケティングキャンペーンの一環としてのもの)の表示を引き起こす可能性がある。いくつかの場合には、すべての本を特定の構成および/または順序で一連にまとめて配置することは、仮想の場所または会場を生成する(例えば、本のシリーズなどに関連する、町、町の中心部、市、市の中心部、建物、部屋などの仮想表現を提示する)ためのトリガーとして役割を果たす可能性がある。上記のこれらの仮想投影(本明細書では「複合効果」とも呼ばれる)は、ユーザデバイスが印刷された出版物の周りを移動するとき、または印刷された出版物に対して移動するときに変化し得る、3D仮想投影(3D virtual projections)または2D断片(2D slices)であり得る(例えば、ある角度から見ることでユーザは仮想投影の一方の側を見ることができ、別の角度から見ることでユーザは同じ仮想投影の別の側を見ることができる、など)。
あるいは、またはさらに、ユーザデバイス(105)の地理的位置特定機能は、メディアコンテンツの提示の各々についての追加のトリガーとして使用されうる。例えば、ユーザが、印刷された出版物のストーリーの設定の1つに関連する場所に位置し、上述のようにアプリを実装する場合、結果として得られるメディアコンテンツは、そうでなければ引き起こされるであろうメディアコンテンツと比較して、その場所のために特別に調整されてもよい。
あるいは、またはさらに、ユーザデバイス(105)の天候追跡機能は、特定のメディアコンテンツの提示を引き起こすための追加のトリガー(地理的位置特定機能と結び付けられうる)として使用されうる。例えば、ユーザが上記のようにアプリを使用しているときに、ユーザデバイスが(その天気追跡アプリまたはインターネットを通じて、および/またはユーザデバイスの地理的位置情報に関する情報を用いて)ユーザデバイスの位置で雪が降っていると判断した場合、印刷された出版物に関連するトリガーに応じてユーザに提示される結果として生じるメディアコンテンツは、ストーリーと一致する、雪合戦または他のスノースポーツを行う印刷された出版物に関連するキャラクターを含みうる。さもなければ、ユーザが上記のようにアプリを使用しているときに、ユーザデバイスがユーザデバイスの位置では晴れていると判断した場合、印刷された出版物に関連するトリガーに応じてユーザに提示される結果として生じるメディアコンテンツは、ストーリーと一致する、水風船投げ(water balloon fight)または夏のアクティビティを行う印刷された出版物に関連するキャラクターを含みうる、など。
いくつかの実施形態によれば、仮想オーバーレイとして提示されているメディアコンテンツは、会話またはゲームなどにおけるように、ユーザとインタラクションするキャラクターを含み得る。例えば、投影される仮想キャラクターとユーザの間のそのような仮想の会話は、印刷された出版物のストーリーに関連する会話またはトピックと一致していてもよい。インタラクティブゲームの場合には、仮想キャラクターが、ユーザとの雪合戦または水風船投げを行うことがあり、および、ユーザがユーザデバイス上でタップまたは他の方法で入力すること(例えば、特定のボタンまたはスクリーンの一部にタッチすること)によって、仮想雪玉または水風船が仮想キャラクターに向かって飛んでいくことなどが起こり得る。
上記の実施形態は印刷された出版物に対して記述されているが、場合によっては、コンピューティングデバイスから読まれる電子書籍または本を、印刷された出版物の代わりに使用しうる。そのような場合、上述されるような個別のユーザデバイスは、画像がトリガーを含んでいるかどうかを判定するために、電子書籍の表紙またはページの画像をキャプチャすることがあり、それ以外の点では、他のプロセスは同一または類似である。2つ以上の印刷された出版物をまとめて上述のような複合効果を引き起こすのではなく、電子書籍リーダーまたはコンピューティングデバイスは、同じスクリーン上に2つ以上の印刷された出版物の表紙を表示してもよい。いくつかの場合には、アプリはまた、電子書籍リーダーの役割を果たしてもよく、アプリにより、複合効果を引き起こすためにディスプレイスクリーン上で複数の出版物を配置できるようになる可能性がある。代替的な場合には、電子書籍の画像をキャプチャするために別のユーザデバイスを使用するのではなく、カメラを使用せずに上記のプロセスを起動するためのオプションを提供しながら(おそらく、代わりにスクリーンキャプチャ技術を使用して、電子出版物などを示すスクリーンの画像をキャプチャするか、または単にスクリーンに表示されているトリガーを認識する)、アプリは電子書籍を読むことを可能にし得る。いくつかの場合には、ユーザがトリガーをクリックすることによって起動するように、トリガーにフラグを立てることができ、その結果、引き起こされるメディアコンテンツが提示される。いくつかの実施形態によれば、3D投影またはホログラフィーデバイスなどは、デバイスのスクリーン上に3D投影を提示するために、電子書籍リーダー/ユーザデバイスと組み合わせて使用することができる(これは、対応する3D/ホログラフィック眼鏡をかけているユーザが投影を見ることを可能にすることができ、または眼鏡無しでのメディアコンテンツの3Dホログラフィック投影を可能にしうる)。
いくつかの実施形態では、印刷された出版物におけるグラフィックはトリガーとしての役割を果たしうる。例えば、地図表示は、地図によって示された位置(または位置のうちの1つ)の3D投影を引き起こしうる。場合によっては、谷の地図は、谷に飛び込む鳥の3Dアニメーションなどを引き起こしうる。空間領域の2Dマップは、同じ空間領域の3Dパン(3D pan)を引き起こしうる、など。本の中のあるシーンの2D表示は、同じシーンの3Dアニメーションを引き起こしうる。これらの3D投影では、ユーザは、異なる角度の3D投影を見るためにディスプレイデバイスを移動させることにより、視点を変更することができる。
記載されるこれらのインタラクションおよびメディアコンテンツは本発明の実施形態と一致する単なる非限定的な例であり、他のインタラクションおよびメディアコンテンツが(本明細書に記載または示唆される実施形態と一致する限り)実施されてもよい。
図2は、様々な実施形態に従って、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法(200)を例示するフロー図である。
技術および手順は、例示を目的として特定の順序で図示および/または記載されているが、様々な実施形態の範囲内で特定の手順を並べ替えおよび/または省略することができることを理解されたい。さらに、図2によって例示された方法は、図1のシステム(100)(またはその構成要素)によって、またはそれらと共に実施することができる(いくつかの場合には、これに関し以下で説明する)が、そのような方法は、任意の適切なハードウェア(またはソフトウェア)の実装を用いて実施することもできる。同様に、図1のシステム(100)(またはその構成要素)は、図2によって例示された方法に従い(例えば、コンピュータ可読媒体上で具体化された命令の実行により)作動することができるが、図1のシステム(100)は、他の操作のモードに従い作動することができ、および/または、他の適切な手順を実行することもできる。
図2に関して、方法(200)は、いくつかの実施形態によれば、ブロック(205)において、第1のカメラを用いて、印刷された出版物(例えば、図1の印刷された出版物(125)など)の少なくとも一部の1つ以上の画像をキャプチャする工程を含み得る。ブロック(210)では、方法(200)は、キャプチャされた1つ以上の画像が1つ以上のトリガー(例えば図1の1つ以上のトリガー(130)など)を含むかどうかを判定するために、コンピューティングシステム(ユーザデバイス(105)または図1のコンピューティングシステム(110)などのいずれかに相当しうる)を用いて、印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像を分析する工程を含みうる。いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうるが、これに限定されない。いくつかの場合には、少なくとも1つのトリガーはそれぞれ、限定されないが、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、などのうちの1つを含む。場合によっては、第1のカメラはユーザデバイスの一部分であるか、またはユーザデバイスに埋め込まれている可能性がある。あるいは、第1のカメラは、ユーザデバイスに通信でつながれている間、ユーザデバイスの外部にありうる。
方法(200)はさらに、キャプチャされた1つ以上の画像が1つ以上のトリガーのうちの少なくとも1つのトリガーを含むという判定に基づいて、コンピューティングシステムを用いて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定する工程(ブロック(215))を含みうる。いくつかの例では、1つ以上のメディアコンテンツは3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックなどのうちの少なくとも1つを含み、そのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などのうちの1つを含みうるが、これに限定されない。
ブロック(220)では、方法(200)は、コンピューティングシステムを用いて、ユーザの視野を判定する工程であって、該視野は印刷された出版物の少なくとも一部を含む、工程、を含みうる。いくつかの実施形態では、ユーザの視野を判定する工程は、第1のカメラが印刷された出版物の少なくとも一部の1つ以上の画像をキャプチャする時、第2のカメラ(図1のユーザデバイス(105)の第2のカメラ(140)に相当しうる)を用いて、ユーザの目の1つ以上の画像をキャプチャする工程(任意選択のブロック(225))、および、コンピュータシステムを用いて、ユーザの目のキャプチャされた1つ以上の画像の分析(たとえば、 第1のカメラによる印刷された出版物の少なくとも一部のキャプチャされた1つ以上の画像に対して)に基づいてユーザの視野を判定する工程(任意選択のブロック(230))を含みうる。
方法(200)はさらに、ブロック(235)で、必要な場合(すなわち、1つ以上のメディアコンテンツの向きがまだユーザなどの視野と位置合わせされていないと判定された場合)、コンピュータシステムを用いて、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正する工程を含みうる。ブロック(240)では、方法(200)は、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される、工程を含みうる。ここで、ビジュアルアウトプットデバイスは、上述のユーザデバイスに相当することがあり、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、などのうちの1つを含みうるが、これに限定されない。いくつかの実施形態によれば、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。
図3は、様々な実施形態に従って、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施するための別のシステム(300)を例示する概略図である。
図3の非限定的な実施形態では、システム(300)は1つ以上のユーザデバイス(305)を含みうる(本明細書では「ビジュアルアウトプットデバイス」などとも称される)。ユーザデバイス(305)の特定の実施形態が図3に示されている(例えば、タブレットコンピュータ、スマートフォン、および仮想現実または拡張現実ヘッドセット)が、様々な実施形態はそのように限定されず、ユーザデバイス(305)はそれぞれ、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、などのうちの1つを含みうるが、これに限定されない。いくつかの実施形態では、システム(300)はさらに、コンピューティングシステム(310)(限定されないが、サーバコンピュータ、クラウドコンピューティングシステムなど)を含むことができ、これは、1つ以上のユーザデバイス(305)とは別または遠隔であり、有線接続(例えば、1つ以上のユーザデバイス(305)とネットワーク(315)との間の実線によって図3に示されるようなもの)、または、無線接続(例えば、1つ以上のユーザデバイス(305)とネットワーク(315)との間の稲妻記号によって図1に示されるようなもの)でネットワーク(315)を介してアクセス可能である。いくつかの場合には、ネットワーク(315)は、限定されないがファイバーネットワーク、イーサネット(登録商標)ネットワーク、Token−Ring(商標)ネットワーク、などを含むLAN;WAN;WWAN;VPNなどの仮想ネットワーク;インターネット;イントラネット;エクストラネット;PSTN;赤外線ネットワーク;限定されないが、IEEE 802.11プロトコルスイート、当技術分野で高知のBluetooth(登録商標)プロトコル、および/または他の任意のワイヤレスプロトコルのいずれかの下で動作するネットワークを含むワイヤレスネットワーク;および/または、これらおよび/または他のネットワークの任意の組み合わせ、を含むが、これに限定されない。特定の実施形態では、ネットワークは、サービスプロバイダ(例えばISP)のアクセスネットワークを含みうる。別の実施形態では、ネットワークは、サービスプロバイダのコアネットワーク、および/または、インターネット、を含みうる。
いくつかの実施形態によれば、システム(300)はさらに、印刷された出版物(325)を含みうる。印刷された出版物(325)の特定の実施形態が図3に示されているが(例えば本)、様々な実施形態はそのように限定されておらず、印刷された出版物(325)は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含むことができるが、これに限定されない。いくつかの実施形態では、1つ以上のトリガー(330)が印刷された出版物の少なくとも一部上で提供されることがあり、それぞれ、RFIDタグ、BLEタグ、NFCのタグまたはRTLSタグなどを含むが、これに限定されない、非視覚的なトリガーを含みうる。いくつかの実施形態によれば、ユーザデバイス(305)はさらに、(例えば、送受信機(335)と1つ以上の1つ以上のトリガー(330)の間の稲妻記号によって図3に示されるように)1つ以上のトリガー(330)と無線通信する送受信機(335)、カメラ(340)、ディスプレイデバイスまたはディスプレイスクリーン(345)、1つ以上のプロセッサ(350)、メモリ(355)などを含み得るが、それらに限定されない。
操作においては、ユーザデバイス(305)(または送受信機(335))は、ユーザデバイス(305)が印刷された出版物と関連する少なくとも1つの非視覚的なトリガー(330)の通信範囲内にあるかどうかを判定しうる。 ユーザデバイス(330)が少なくとも1つの非視覚的なトリガー(330)の通信範囲内にあるという判定に基づいて、無線通信が、送受信機(335)と印刷された出版物に関連する少なくとも1つの非視覚的なトリガー(330)の間で確立されてもよい。
ユーザ−デバイス(305)と少なくとも1つの非視覚的なトリガー(330)との間の通信の確立に応じて、ユーザデバイス(305)および/またはコンピューティングシステム(310)は、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツ(360)を特定しうる。ユーザデバイス(305)(のプロセッサ(350))および/またはコンピューティングシステム(310)は、続いて、(例えば、カメラ(340)を使用してユーザの目をキャプチャすることによって)ユーザの視野を判定することができ、該視野は印刷された出版物の少なくとも一部を含み、必要な場合(すなわち、1つ以上のメディアコンテンツの向きがユーザなどの視野と位置合わせされていない、などの判定に基づき)、ユーザの視野と位置合わせするように、1つ以上のメディアコンテンツの向きを修正しうる。次いで、ユーザデバイス(305)および/またはコンピューティングシステム(310)は、ユーザデバイス(305)のディスプレイデバイス(345)上に、(ユーザの視野と位置合わせするように向きが修正された)1つ以上のメディアコンテンツを表示することがあり、その結果、1つ以上のメディアコンテンツが、印刷された出版物の少なくとも一部に関して、仮想オーバーレイとして提示される。図3の非限定的な実施形態では、1つ以上のメディアコンテンツ(360)は、オブジェクト(例えば、雪玉など)を投げる行為中のキャラクターを含み、該キャラクターは、印刷された出版物(325)の表紙の画像の上に、仮想オーバーレイとして提示される。1つ以上のメディアコンテンツ(360)が、図3のタブレットコンピュータ(305)のディスプレイデバイス上に表示されて示されているが、様々な実施形態はそのように限定されておらず、1つ以上のメディアコンテンツ(360)は、上述のように、ユーザデバイス(305)(例えば、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、など)のいずれかのディスプレイデバイス上に表示されうる。
いくつかの場合には、システム(300)はさらに、(複数の印刷された出版物のうちの)各印刷された出版物(325)に関連する1つ以上のトリガー(330)に関する情報、(複数の印刷された出版物のうちの)各印刷された出版物(325)に関連する1つ以上のメディアコンテンツ(360)に関する情報、1つ以上のメディアコンテンツ(360)それ自体、ユーザデバイス(305)のビジュアルアウトプットデバイスまたはディスプレイデバイスのそれぞれに対するフォーマット情報、など、のうちの少なくとも1つを格納する1つ以上のデータベース(320)、を含みうる。
いくつかの実施形態によれば、上述の1つ以上のユーザデバイス(305)の機能は、1つ以上のユーザデバイス(305)上でダウンロードされインストールされるアプリによって提供されることがあり、および、ソフトウェアアプリは、ユーザデバイス(の送受信機(335))と非視覚的トリガーとの間の通信を確立するための機能、非視覚的なトリガーと関連するメディアコンテンツを特定するための機能、ユーザの視野を判定するための機能、(必要なら)ユーザの視野と位置合わせするようにメディアコンテンツの向きを修正するための機能、および、印刷された出版物の少なくとも一部(場合によっては、その画像)に関して、仮想オーバーレイとしてメディアコンテンツをユーザに提示するための機能を提供する。
いくつかの実施形態では、トリガーは、2つ以上の印刷された出版物の特定の配置を含みうる。例えば、2冊の本を互いに隣接する特定の一連の本に配置することは、送受信機と各書籍に関連する各トリガーとの間で順番に無線通信を確立し、2冊の本に関して仮想オーバーレイとして提示されている、2冊の本からのキャラクターを含むメディアコンテンツを生成するためのトリガーとして役割を果たすことがあり、ここで、キャラクターは互いにインタラクションするように提示される(例えば、第1のキャラクターが第2のキャラクターとの雪合戦を開始し、各キャラクターは2冊の本のうちの一方の上にオーバーレイとして提示される、など)。別の例では、3冊以上の本を互いに対し第1の配列または順序で特定の一連の本に配置することは、送受信機と各書籍に関連する各トリガーとの間で順番に無線通信を確立し、(一連の本におけるキャラクター間の第1のセットのインタラクションを含みうる)1セットのメディアコンテンツのためのトリガーとしての役割を果たすことがあり、一方で、3冊以上の本を互いに対し第2の配列または順序で配置することは、送受信機と各書籍に関連する各トリガーとの間で順番に無線通信を確立し(一連の本におけるキャラクター間の第2のセットのインタラクションを含みうる)別のセットのメディアコンテンツのためのトリガーとしての役割を果たすことがある。いくつかの場合には、キャラクターではなく、特定の順序での印刷された出版物の配置は、地図、手がかり(clues)、または実際のまたは仮想の賞品などをユーザにもたらす可能性のあるその他のコンテンツ(たとえば、一連の書籍、映画、 TVシリーズ、ゲーム用、玩具用などのマーケティングキャンペーンの一環としてのもの)の表示を引き起こす可能性がある。いくつかの場合には、すべての本を特定の構成および/または順序で一連にまとめて配置することは、送受信機と各書籍に関連する各トリガーとの間で順番にまたは続いて無線通信を確立し、仮想の場所または会場を生成する(例えば、本のシリーズなどに関連する、町、町の中心部、市、市の中心部、建物、部屋などの仮想表現を提示する)ためのトリガーとして役割を果たす可能性がある。上記のこれらの仮想投影(本明細書では「複合効果」とも呼ばれる)は、ユーザデバイスが印刷された出版物の周りを移動するとき、または印刷された出版物に対して移動するときに変化し得る、3D仮想投影(3D virtual projections)または2D断片(2D slices)であり得る(例えば、ある角度から見ることでユーザは仮想投影の一方の側を見ることができ、別の角度から見ることでユーザは同じ仮想投影の別の側を見ることができる、など)。
あるいは、またはさらに、ユーザデバイス(305)の地理的位置特定機能は、メディアコンテンツの提示の各々についての追加のトリガーとして使用されうる。例えば、ユーザが、印刷された出版物のストーリーの設定の1つに関連する場所に位置し、上述のようにアプリを実装する場合、結果として得られるメディアコンテンツは、そうでなければ引き起こされるであろうメディアコンテンツと比較して、その場所のために特別に調整されてもよい。
あるいは、またはさらに、ユーザデバイス(305)の天候追跡機能は、特定のメディアコンテンツの提示を引き起こすための追加のトリガー(地理的位置特定機能と結び付けられうる)として使用されうる。例えば、ユーザが上記のようにアプリを使用しているときに、ユーザデバイスが(その天気追跡アプリまたはインターネットを通じて、および/またはユーザデバイスの地理的位置情報に関する情報を用いて)ユーザデバイスの位置で雪が降っていると判断した場合、印刷された出版物に関連するトリガーに応じてユーザに提示される結果として生じるメディアコンテンツは、ストーリーと一致する、雪合戦または他のスノースポーツに関わる印刷された出版物に関連するキャラクターを含みうる。さもなければ、ユーザが上記のようにアプリを使用しているときに、ユーザデバイスがユーザデバイスの位置では晴れていると判断した場合、印刷された出版物に関連するトリガーに応じてユーザに提示される結果として生じるメディアコンテンツは、ストーリーと一致する、水風船投げ(water balloon fight)または夏のアクティビティに関わる印刷された出版物に関連するキャラクターを含みうる、など。
いくつかの実施形態によれば、仮想オーバーレイとして提示されているメディアコンテンツは、会話またはゲームなどにおけるように、ユーザとインタラクションするキャラクターを含み得る。例えば、投影される仮想キャラクターとユーザの間のそのような仮想の会話は、印刷された出版物のストーリーに関連する会話またはトピックと一致していてもよい。インタラクティブゲームの場合には、仮想キャラクターが、ユーザとの雪合戦または水風船投げを行うことがあり、および、ユーザがユーザデバイス上でタップまたは他の方法で入力すること(例えば、特定のボタンまたはスクリーンの一部にタッチすること)によって、仮想雪玉または水風船が仮想キャラクターに向かって飛んでいくことなどが起こり得る。
上記の実施形態は印刷された出版物に対して記述されているが、場合によっては、コンピューティングデバイスから読まれる電子書籍または本を、印刷された出版物の代わりに使用しうる。そのような場合、上述されるような個別のユーザデバイスは、電子書籍リーダーまたはコンピューティングデバイスとの無線通信を確立してもよく、それ以外の点では、他のプロセスは同一または類似である。言い換えれば、2つ以上の印刷された出版物をまとめて上述のような複合効果を引き起こすのではなく、電子書籍リーダーまたはコンピューティングデバイスは、同じスクリーン上に2つ以上の印刷された出版物の表紙を表示してもよく、および、 電子書籍リーダーまたはコンピューティングデバイスは、非視覚的なトリガーとしてシミュレートするかまたは働く送受信機を有していてもよい。いくつかの場合には、アプリはまた、電子書籍リーダーの役割を果たしてもよく、複合効果を引き起こすために、電子書籍リーダーまたはコンピューティングデバイスに、その送受信機を出版物に関連付けられた非視覚的なトリガーとして使用させながら、ディスプレイスクリーン上の複数の出版物を配置できるようになる可能性がある。 代替的な場合には、電子書籍の画像をキャプチャするために別のユーザデバイスを使用するのではなく、外部の送受信機などを使用せずに上記のプロセスを起動するためのオプションを提供しながら(おそらく、代わりにスクリーンキャプチャ技術を使用して、電子出版物などを示すスクリーンの画像をキャプチャするか、または単にスクリーンに表示されているトリガーを認識する)、アプリは電子書籍を読むことを可能にし得る。いくつかの場合には、ユーザがトリガーをクリックすることによって起動するように、視覚的なトリガーにフラグを立てることができ、その結果、引き起こされるメディアコンテンツが提示される。いくつかの実施形態によれば、3D投影またはホログラフィーデバイスなどは、デバイスのスクリーン上に3D投影を提示するために、電子書籍リーダー/ユーザデバイスと組み合わせて使用することができる(これは、対応する3D/ホログラフィック眼鏡をかけているユーザが投影を見ることを可能にすることができ、または眼鏡無しでのメディアコンテンツの3Dホログラフィック投影を可能にしうる)。
いくつかの実施形態では、電子書籍リーダーを用いてオーディオリーディングを行うことを、ユーザが電子書籍リーダーを読むことと組み合わせて利用してもよく、および、いくつかのトリガーは、限定されないが、テキストに関連したオーディオキーワード、オーディオトラックの下の隠しトラックとしてのサブボーカルキーワード、可聴音(audible tones)、可聴節(audible tunes)、サブ可聴音、サブ可聴節などを含む、オーディオトリガーを含みうる。例えば、オーディオトラックが出版物における特定のシーンについて述べた後、シーンの3Dアニメーションが投影され再生され、オーディオトラックが一時停止してもよい。
記載されるこれらのインタラクションおよびメディアコンテンツは本発明の実施形態と一致する単なる非限定的な例であり、他のインタラクションおよびメディアコンテンツが(本明細書に記載または示唆される実施形態と一致する限り)実施されてもよい。
その他の点で、同一でないにしても、図3のシステム(300)は図1のシステム(100)に類似していてもよく、システム(100)の構成要素の記載は、同様にシステム(300)の対応する構成要素に当てはまりうる。
図4は、様々な実施形態に従って、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する別の方法(400)を例示するフロー図である。
技術および手順は、例示を目的として特定の順序で図示および/または記載されているが、様々な実施形態の範囲内で特定の手順を並べ替えおよび/または省略することができることを理解されたい。さらに、図4に例示された方法は、図3のシステム(300)(またはその構成要素)によって、またはそれらと共に実施することができる(いくつかの場合には、これに関し以下で説明する)が、そのような方法は、任意の適切なハードウェア(またはソフトウェア)の実装を用いて実施することもできる。同様に、図3のシステム(300)(またはその構成要素)は、図4によって例示された方法に従い(例えばコンピュータ可読媒体上で具体化された命令の実行により)作動することができるが、図3のシステム(300)はまた、他のモードの手順に従い作動することができ、および/または、他の適切な手順を行なうことができる。
図4に関して、いくつかの実施形態によれば、方法(400)は、ブロック(405)において、ビジュアルアウトプットデバイス(図3のユーザデバイス(305)などに相当しうる)と、印刷された出版物(例えば図3の印刷された出版物(325)など)に関連する1つ以上の非視覚的なトリガーのうちの少なくとも1つのトリガー(図3の1つ以上のトリガー(330)などに相当しうる)と、の間で通信を確立する工程を含むことがある。いくつかの実施形態では、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信を確立する工程は、コンピュータシステムを用いて、ビジュアルアウトプットデバイスが印刷された出版物に関連する1つ以上の非視覚的なトリガーの通信範囲内にあるかどうかを判定する工程(任意選択のブロック(410))、および、ビジュアルアウトプットデバイスが1つ以上の非視覚的なトリガーのうちの少なくとも1つのトリガーの通信範囲内にあるという判定に基づいて、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信を確立する工程(任意選択のブロック(415))を含みうる。いくつかの実施形態では、印刷された出版物は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうるが、これに限定されない。いくつかの場合には、少なくとも1つのトリガーはそれぞれ、限定されないが、RFIDタグ、BLEタグ、NFCタグまたはRTLSタグのうちの1つなどを含みうる。
方法(400)はさらに、ビジュアルアウトプットデバイスと少なくとも1つのトリガーとの間の通信の確立に応じて、コンピューティングシステムを用いて、少なくとも1つのトリガーに関連する複数のメディアコンテンツのうちの1つ以上のメディアコンテンツを特定する工程(ブロック(420))を含みうる。いくつかの例では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックなどの少なくとも1つを含むことがあり、そのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などのうちの1つを含みうるが、これに限定されない。
ブロック(425)では、方法(400)は、コンピューティングシステムを用いて、ユーザの視野を判定する工程であって、該視野は印刷された出版物の少なくとも一部を含む、工程を含みうる。いくつかの実施形態では、ユーザの視野を判定する工程は、カメラ(図3のユーザデバイス(305)のカメラ(340)などに相当しうる)を用いて、ユーザが印刷された出版物の少なくとも一部を見ているときにユーザの目の1つ以上の画像をキャプチャする工程(任意選択のブロック(430))、および、コンピュータシステムを用いて、ユーザの目のキャプチャされた1つ以上の画像の分析(例えば、ユーザが印刷された出版物の少なくとも一部を見ている方向などに対して)に基づいて、ユーザの視野を判定する工程(任意選択のブロック(435))を含みうる。
方法(400)はさらに、ブロック(440)で、必要な場合(すなわち、1つ以上のメディアコンテンツの向きがまだユーザなどの視野と位置合わせされていないと判定された場合)、コンピュータシステムを用いて、1つ以上のメディアコンテンツの向きをユーザの視野と位置合わせするように修正する工程を含みうる。ブロック(445)では、方法(400)は、ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツが印刷された出版物の少なくとも一部に関して仮想オーバーレイとして提示される、工程を含む。ここで、ビジュアルアウトプットデバイスは上述のユーザデバイスに相当することがあり、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンのうちの1つを含みうるが、これに限定されない。いくつかの実施形態によれば、1つ以上のメディアコンテンツを提示することは、ビジュアルアウトプットデバイスを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを提示することであって、その結果、1つ以上のメディアコンテンツは、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。
その他の点で、同一でないにしても、図4の方法(400)は図2の方法(200)に類似していてもよく、方法(200)のプロセスの記載は、同様に方法(400)の対応するプロセスに当てはまりうる。
図5A−図5D(「図5」と総称する)は、様々な実施形態に従って、ユーザと物理的なオブジェクトの間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法(500)を例示するフロー図である。図5では、方法(500)のプロセスは、「A」で示される円形のマークに続いて図5Aから図5Bへと続き、「B」で示される円形のマークに続いて図5Aから図5Cへと続き、「C」で示される円形のマークに続いて図5Aから図5Dへと続き、「D」で示される円形のマークに続いて図5B−図5Dのそれぞれから図5Aへと戻る。
技術および手順は、例示を目的として特定の順序で図示および/または記載されているが、様々な実施形態の範囲内で特定の手順を並べ替えおよび/または省略することができることを理解されたい。さらに、図5によって例示された方法は、図1のシステム(100)(またはその構成要素)によって、またはそれらと共に実施することができる(いくつかの場合には、これに関し以下で説明する)が、そのような方法は、任意の適切なハードウェア(またはソフトウェア)の実装を用いて実施することもできる。同様に、図1のシステム(100)(またはその構成要素)または図3のシステム(300)(またはその構成要素)は、図3によって例示された方法に従い(例えばコンピュータ可読媒体上で具体化された命令の実行により)作動することができ、図1のシステム(100)(またはその構成要素)または図3のシステム(300)(またはその構成要素)はまた、他のモードの手順に従い作動することができ、および/または、他の適切な手順を行なうことができる。
図5Aに関して、方法(500)は、ブロック(500)において、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上のメディアコンテンツを提示する工程であって、その結果、1つ以上のメディアコンテンツは、物理的なオブジェクトの少なくとも一部に関して、仮想オーバーレイとして提示される、工程を含みうる。いくつかの実施形態では、物理的なオブジェクトは印刷された出版物を含んでもよく、ブロック(505)のプロセスは、図2の方法(200)のブロック(240)でのプロセスに相当し得(そして方法(200)のブロック(205)−(235)でのプロセスに続いてもよい)、または、図4の方法(400)のブロック(445)でのプロセスに相当することがある(そして方法(400)のブロック(405)−(440)でのプロセスに続いてもよい)。概して、物理的なオブジェクトは印刷された出版物である必要はなく、限定されないが、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、ポスター、クリスマスツリーの電球(Christmas tree bulb)、クリスマスツリーのオーナメント、ハヌカの燭台、石碑、ユーザに関連する感傷的な工芸品またはオーナメント(sentimental artifact or ornament)、または、ユーザに関連する別人に関連する感傷的な工芸品またはオーナメント、などのうちの1つを含むことができる。いくつかの実施形態では、ビジュアルアウトプットデバイスは、限定されないが、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォンなどのうちの1つを含むことができる。1つ以上のメディアコンテンツは、限定されないが、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックなどの少なくとも1つを含むことができる。
任意選択のブロック(510)では、方法(500)は、1つ以上のセンサを用いて、メディアコンテンツの提示からの刺激に応じてユーザの1つ以上の身体的特性を検出する工程を含みうる。いくつかの例では、1つ以上のセンサは、限定されないが、1つ以上のカメラ、1つ以上の心拍数モニタ、1つ以上のフィットネストラッカー、1つ以上のマイクロフォン、などうちの少なくとも1つを含みうる。1つ以上の身体的特性は、限定されないが、微笑む、笑う、声をあげる、叫ぶ、メディアコンテンツ内の仮想オブジェクトに向かって移動する、メディアコンテンツ内の仮想オブジェクトから遠ざかる、メディアコンテンツ内の仮想オブジェクトとインタラクションすることを試みる、などのうちの少なくとも1つを含み得る。あるいは、またはさらに、方法(500)は、任意選択のブロック(515)で、コンピューティングシステムを用いて、どのようにメディアコンテンツを提示すべきかという選択を示すユーザ入力を受信する工程を含みうる。例えば、ユーザ入力は、限定されないが、音声入力、触覚入力(tactile input)、触覚入力の試み、ジェスチャー、選択肢を目の動きで選択すること(eye movement selection of options)、瞬き、などを含みうる。
方法(500)はさらに、ブロック(520)で、コンピューティングシステムを用いて、どのように1つ以上のメディアコンテンツをユーザに提示すべきかを判定する工程を含むことがあり、これは、いくつかの場合には、ユーザまたは受信されたユーザ入力の検出された1つ以上の身体的特性の分析の少なくとも1つに基づく。該プロセスは、(仮想現実の提示については)マーク「A」に続いて図5Bのブロック(525)のプロセス、(混合現実の提示については)マーク「B」に続いて図5Cのブロック(535)のプロセス、または、(拡張現実の提示については)マーク「C」に続いて図5Dのブロック(545)のプロセス、のうちの1つに続いてもよい。
図5Bに関して、方法(500)は、1つ以上のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を仮想現実の提示へ変える工程(ブロック(525))、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第2のメディアコンテンツを提示する工程であって、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含む、工程(ブロック(530))を含みうる。該プロセスは、図5Aの任意選択のブロック(510)でのプロセスに戻っても良い。
図5Cに戻ると、方法(500)は、1つ以上のメディアコンテンツを複合現実の提示(mixed reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ複合現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を複合現実の提示へ変える工程(ブロック(535))、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第3のメディアコンテンツを提示する工程であって、該1つ以上の第3のメディアコンテンツは複合現実コンテンツを含む、工程(ブロック(540))を含む。ここで、「複合現実」とは、拡張現実および仮想現実の組み合わせを指す。例えば、シミュレートされた拡張現実の提示は、仮想現実の提示内に生成され埋め込まれてもよい。該プロセスは、図5Aの任意選択のブロック(510)でのプロセスに戻っても良い。
図5Dでは、方法(500)は、1つ以上のメディアコンテンツを拡張現実の提示(augmented reality presentation)として提示するという判定に基づいて、および、1つ以上のメディアコンテンツがまだ拡張現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、1つ以上のメディアコンテンツの提示を拡張現実の提示へ変える工程(ブロック(545))、および、ビジュアルアウトプットデバイスを用いて、ユーザに、1つ以上の第4のメディアコンテンツを提示する工程であって、該1つ以上の第4のメディアコンテンツは拡張現実コンテンツを含む、工程(ブロック(550))を含む。該プロセスは、図5Aの任意選択のブロック(510)でのプロセスに戻っても良い。
方法(500)の実施形態では、拡張現実が最初に引き起こされ、続いて、1つ以上の複合現実または仮想現実への懸け橋として機能する。ユーザに没入型のインタラクティブ体験を提供するために、コンピューティングシステム(上記のように、場合によってはコンピュータビジョンシステムである)は、拡張現実、複合現実、または仮想現実のうちの2つの間で動的または選択的にシフトする。
いくつかの実施形態では、仮想現実の提示は、仮想現実の提示内に埋め込まれたシミュレーテッドリアリティのセグメントを含みうる。そのような場合、ユーザは物理的な現実、拡張現実、および仮想現実を判別することができないだろう。例えば、ユーザは、自分の物理的または実際の寝室に入り、そこではトリガーがシステムにメディアの拡張現実提示を生成させることがあり、これは寝室の画像にオーバーレイすることがある。さらなるトリガーまたは選択が、寝室の仮想シミュレーションを生成させることがあり、これは寝室の正確な(またはほぼ正確な)レプリカを(寝室内の点に対するユーザの目の位置と動きに基づくユーザの適切な視点で)正確に再現しうる。その後、拡張現実の提示は、物理的な寝室の画像がシミュレートされた寝室の再現に変わったことにユーザが気づかないように、シミュレートされた寝室がシームレスに提示される仮想現実の提示に変わる。仮想空間では、シミュレートされた寝室は、拡張現実の提示を引き起こした物理的なオブジェクトまたは印刷された出版物のストーリーと一致する任意の適切な方法で、変形または操作することができる。例えば、ストーリーは、メインキャラクターの寝室が城、宇宙船、または幻想的な風景などに変形するシーンなどを含むことがある。そのような場合には、ユーザのシミュレートされた寝室(これはユーザに非常によく知られている)は、適切なトリガーで、城、または宇宙船、または幻想的な風景などに変形するだろう。このように、物理的または実際の現実から拡張現実、仮想現実へのシームレスな移行は、ユーザをストーリーにより完全に没入させるであろう。拡張現実、複合現実、または仮想現実のうちの2つを適時に変えることで没入プロセスを促進し、したがって、ストーリーに対するユーザの認知的および効果的または影響を受けた共感性を高める可能性が高い。同様に、実在の人物の画像が、ストーリー内のキャラクターに変換されてもよい(そして、これは、完全に変更されるか、または、実在の人物のいくつかの特性が仮想領域での変形後も残るように部分的に変更されることがある)。
いくつかの実施形態では、鏡が提示の中で使用された場合に、ユーザは自分を主役または敵役とみなすことがある。そのような場合、実際の鏡は、シミュレートされた鏡として完全に再現されてもよく、その場合、ユーザの変形した表現は、シミュレートされた鏡のシミュレートされた反射で提示されてもよい。あるいは、実際の鏡が部分的に複製され(残りは実際の鏡の像である)、鏡の一部がユーザの変形した表現のシミュレートされた反射を含むようにすることができる。このように、物理的または実際の現実から拡張現実、仮想現実へのシームレスな移行は、ユーザをストーリーにより完全に没入させるであろうし、ストーリー内の登場人物に対するユーザの認知的および効果的または影響を受けた共感性を改良する一人称視点を提供することがある。その後、提示は、ストーリー内のキャラクターの1人の役割をするユーザと、ストーリー内のシーンをシミュレートする。
いくつかの実施形態によれば、物理的または実際の現実からの、拡張現実へ、仮想現実へのシームレスな移行(またはそのようなシームレスな移行またはシフトの任意の組み合わせ)を介してユーザはストーリーに没入、移動、またはテレポートして、ストーリーの中のキャラクターの役に入る(inhabit the role)することができる。例えば、赤ずきんちゃんの話では、ユーザは、自分がこのようにして移動したりテレポートしたりして、赤ずきんちゃんの役に宿り、おばあちゃんを訪ねたり、オオカミに遭遇したりしうる。あるいは、またはさらに、ユーザは、オオカミに遭遇したときの祖母の役に入るように上記の方法で自分自身を移動させられたりまたはテレポートさせられたりしていることに気付くことがある。あるいは、またはさらに、ユーザは、オオカミがおばあちゃんの役をして赤ずきんちゃんに出会うように、オオカミの役に入るように上記の方法で自分自身を移動させられたりまたはテレポートさせられたりしていることに気付くことがある。別の例のセットでは、例えば3匹の小豚の話の中では、ユーザは、子豚が(藁、木の枝、またはレンガでできている)家を建てるとき、子豚のうちの1人の役に(あるいは順番に)入るために、自分が上記の方法で移動させられ、またはテレポートさせられていることに気付くことがあり、および/または、オオカミが藁の家および木の枝の家で腹を立て、ぷーぷー息を吹きつけて、吹き飛ばし、そしてレンガの家でもそのようにすることを試みるように、オオカミの役に入るために、自分が上記の方法で移動させられ、またはテレポートさせられていることに気付くことがある。ハリーポッター(登録商標)シリーズの本などのように、もっと洗練された、あるいはもっと複雑な話では、ユーザは、限定されないが、ハリーポッター(登録商標)、ロン・ウィーズリー、ハーマイオニー・グレンジャー、ヴォルデモート卿、アルバス・ダンブルドア、セブルス・スネイプなど、を含む、本中のキャラクターの役に入るように上記の方法で自分自身を移動させたりまたはテレポートさせたりしていることに気付くことがある。ユーザをさらにPotterの世界に没頭させるため、ユーザがいくつかの二次キャラクターと一緒にバックストーリーやサイドストーリーのシーンを体験できるようにする拡張されたストーリーやシーンなどを作るために、作者の著者のJ. K. Rowlingとのコラボレーションがなされてもよい。テレビに基づくストーリー、ビデオストリーミングサービスに基づくオリジナルストーリー(例えば、Netflix(登録商標)のオリジナルシリーズ、Amazon(登録商標)のオリジナルシリーズ、など)、他の映画に基づくストーリー(例えば、Inception、Marvel(登録商標)シネマティックユニバースシリーズ、Star Wars(登録商標)シリーズ、StarTrek(登録商標)シリーズ、など)、コミックまたはマンガのストーリー(例えば、Marvel(登録商標)コミックシリーズ、DC(登録商標)コミックシリーズ、Imageコミックシリーズ、など)、他の小説のストーリー、ビデオゲームのストーリー(例えばゲームのStar Wars(登録商標)シリーズ、ゲームのCall of Duty(登録商標)シリーズ、ゲームのファイナルファンタジーシリーズ、ゲームのマリオブラザーズ(登録商標)シリーズ、ゲームのゼルダ(登録商標)シリーズ、ゲームのMadden(登録商標)シリーズ、Myst(登録商標)、など)などについて、同様のユーザ体験が作られても良い。システムは、元となるストーリーから既存のストーリーおよびシーンを3D没入型の仮想/拡張/複合現実の環境およびシーンに適合させることができ、あるいは(おそらくオリジナルの制作者または認可団体とコラボレーションして)これらのオリジナルの元となるストーリーに基づいて(3D没入型の仮想/拡張/複合現実の環境およびシーンなどに適合する)新しいシーンおよびストーリーを作成することができる。これらの様々なユーザ体験で、ユーザは、キャラクターがストーリーの中で遭遇するある種の試練や苦難を体験すること、そしておそらく異なる観点から物事を見ることを学ぶことがどのようなものかを学ぶことができる。要するに、上述した移行技術は、ある意味で、ユーザが特定のキャラクターになることを可能にし、これにより、ストーリー内の登場人物に対するユーザの認知的および効果的または影響を受けた共感性を改良する。
いくつかの実施形態では、さまざまなユーザ体験設定およびコンテンツの集約、管理、および取得は、コンピューターシミュレーテッドリアリティのプラットフォーム(このシステムは図6および図7に関して下記で詳述される)内で実行または実装でき、ここで、設定、コンテンツ、および遷移/移行の実装の情報は、プラットフォームからアクセス可能なデータベースにライブラリの形式で格納されてもよい。
いくつかの例では、ユーザ体験は、ユーザの心理的状態に対処するため、ユーザのための曝露療法を実施するため、または、認知行動条件付け(cognitive behavior conditioning)を実行するために調整され得る。いくつかの場合には、システムとプラットフォームは、ユーザが特定の状況に対処したりその状況で成長したりできるようにする(特にユーザがそのような状況;例えば、ユーザに心的外傷後ストレス障害を引き起こす事象またはエピソード、大勢の前で話すことに対するユーザの一般的な/特定の恐怖、過去の虐待に起因するユーザの人々または家庭/学校環境に対する警戒心など、に躊躇したり恐怖を感じたりする場合)などのために、ユーザを悩ませている可能性のある特定の恐怖症(例、クモに対する恐怖、開所(open spaces)に対する恐怖、高所への恐怖など)に対処したり、それらを治癒するために使用されうる。
コンピュータシミュレーテッドリアリティのプラットフォーム(Computer−Simulated Reality Platform)
図6は、様々な実施形態に従って、仮想現実、拡張現実、および複合現実のうちの1つから、別の仮想現実、拡張現実、および複合現実へと変えることを可能にする、コンピュータシミュレーテッドリアリティのプラットフォームを実施するためのシステム(600)を例示する概略図である。図6において、システム(600)は、コンピューティングシステム(605)を含むことがあり、これは、限定されないが、サーバコンピュータ、クラウドコンピューティングシステム、または、ビジュアルアウトプットデバイス、などの少なくとも1つを含みうる。いくつかの場合には、コンピューティングシステム(605)は、図1のシステム(100)のコンピューティングシステム(110)または図3のシステム(300)のコンピューティングシステム(310)などに相当しうる。システム(600)はさらに、(上で詳細に記述されるような)アセットの統合および制御のシステム(610)を含んでもよく、これは、ネットワーク(615)(図1のシステム(100)のネットワーク(115)または図3のシステム(300)のネットワーク(315)などに相当しうる)を介してコンピューティングシステム(605)と通信で結び付けられうる。システム(600)はさらに1つ以上のビジュアルアウトプットデバイス(620)を含んでも良く、これはそれぞれ、限定されないが、VRヘッドセット、ARヘッドセット、ARグラスのセット、タブレットコンピュータ、バイオニクスコンタクトレンズのセット、VRヘッドセットの一部として適したスマートフォン、または、ARシステムの一部として適したスマートフォン、などのうちの1つを含みうる。1つ以上のビジュアルアウトプットデバイス(620)は、ネットワーク(615)を介してコンピューティングシステム(605)と通信で結び付けられるかもしれない。
システム(600)はさらに、アセット制作システム(625)および生産管理システム(630)(両方とも詳細に上述される)を含んでもよく、その各々は、ネットワーク(615)を介してコンピューティングシステム(605)と通信で結び付けられうる。いくつかの場合には、システム(600)はさらに、ネットワーク(615)を介してアクセス可能なデータベース(635)を含みうる。いくつかの場合には、データベース(635)は、図1のシステム(100)のデータベース(120)または図3のシステム(300)のデータベース(320)などに相当しうる。
いくつかの態様によれば、アセットの統合および制御のシステム(610)、1つ以上のビジュアルアウトプットデバイス(620)の各々、アセット制作システム(625)、および、生産管理システム(630)は、それぞれ、第1のAPI(640a)、第2のAPI(640b)、第3のAPI(640c)および第4のAPI(640d)(総称して「API(640)」)を介して、(ネットワーク(615)を介し)コンピューティングシステム(605)で通信で結び付けられうる。、VR、ARまたはMxRの1つから別のVR、ARまたはMxRへのシフトを実装する、コンピューティングシステム(605)、アセットの統合および制御システム(610)、1つ以上のビジュアルアウトプットデバイス(620)の各々、アセット制作システム(625)、および生産管理システム(630)(総称して「コンピューターシミュレーテッドリアリティのプラットフォーム」)中のインタラクションは、図7A−7Fに関し、以下に詳細に記述される。
ここで図7A−7F(総称して「図7」)に目を向けると、これらは、様々な実施形態に従って、VR、ARまたはMxRの1つから別のVR、ARまたはMxRへと変える(shift)ことを可能にするコンピューターシミュレーテッドリアリティのプラットフォームを実施する方法(700)を例示するフロー図である。図7では、方法(700)のプロセスは、「A」で示される円形のマークに続いて図7Aから図7Bへと続き、「B」で示される円形のマークに続いて図7Aから図7Cへと続き、「C」で示される円形のマークに続いて図7Aから図7Dへと続き、「D」で示される円形のマークに続いて図7Aから図7Eへと続き、「E」で示される円形のマークに続いて図7Eから図7Aに戻り、「F」で示される円形のマークに続いて図7B−Dから図7Fへと続く。
技術および手順は、例示を目的として特定の順序で図示および/または記載されているが、様々な実施形態の範囲内で特定の手順を並べ替えおよび/または省略することができることを理解されたい。さらに、図7に例示された方法は、図6のシステム(600)(またはその構成要素)によって、またはそれらと共に実施することができる(いくつかの場合によっては、これに関し以下で説明する)が、そのような方法は、任意の適切なハードウェア(またはソフトウェア)の実装を用いて実施することもできる。同様に、図6のシステム(600)(またはその構成要素)は、図7によって例示された方法に従い(例えば、コンピュータ可読媒体上で具体化された命令の実行により)作動することができるが、図6のシステム(600)は、他の操作のモードに従い作動することができ、および/または、他の適切な手順を実行することもできる。
図7Aに関して、方法(700)は、ブロック(705)で、複数のメディアコンテンツのうちの1つ以上の第1のメディアコンテンツ(これはVR/AR/MxRアセットおよびVR/AR/MxRコンテンツなどを含みうる)が、複数のビジュアルアウトプットデバイスへの配信の準備ができているかどうかを、コンピューティングシステムを用いて判定する工程を含みうる。そうならば、該プロセスはブロック(710)に続く。そうでなければ、該プロセスは図7Eのブロック(765)に進む。
ブロック(710)では、方法(700)は、1つ以上の第1のメディアコンテンツが配信の準備ができているという判定に基づいて、コンピューティングシステムを用いて、第1のAPIを介して生産管理システムへ1つ以上の第1のメッセージを送信する工程を含みうる。1つ以上の第1のメッセージは、生産管理システムに1つ以上の第1のメディアコンテンツのステータスを変更させて、1つ以上の第1のメディアコンテンツが複数のビジュアルアウトプットデバイスへの配信の準備ができていることを示す。方法(700)は、ブロック(715)で、コンピューティングシステムを用いて、第2のAPIを介してアセット制作システムへ1つ以上の第2のメッセージを送信する工程を含みうる。1つ以上の第2のメッセージは、アセット制作システムに、第2のAPIを介してコンピューティングシステムへと1つ以上の第1のメディアコンテンツを送信させる。
方法(700)はさらに、コンピューティングシステムを用いて、第2のAPIを介してアセット制作システムから1つ以上の第1のメディアコンテンツを受信する工程(ブロック(720))、および、コンピューティングシステムを用いて、画像キャプチャデバイス(図1のシステム(100)の第1のカメラ(135)などに相当しうる)から1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を受信する工程(ブロック(725))、を含みうる。ブロック(730)では、方法(700)は、コンピューティングシステムを用いて、複数のメディアコンテンツのうちの1つ以上の第1のメディアコンテンツ、または、1つ以上の物理的オブジェクトのうちの1つ以上のキャプチャされた画像、のうちの少なくとも1つをどのようにユーザに提示すべきかを判定する工程、を含みうる。該プロセスは、(仮想現実の提示については)マーク「A」に続いて図7Bのブロック(735)のプロセス、(拡張現実の提示については)マーク「B」に続いて図7Cのブロック(745)のプロセス、または、(混合現実の提示については)マーク「C」に続いて図7Dのブロック(755)のプロセス、のうちの1つに続いてもよい。
図7Bに目を向けると、方法(700)は、1つ以上の第1のメディアコンテンツを仮想現実の提示(virtual reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツがまだ仮想現実の提示として提示されていないという判定に基づいて、コンピューティングシステムを用いて、第3のAPIを介して、アセットの統合および制御のシステムを制御させる工程であって、アセットの統合および制御のシステムに第1のメディアコンテンツを修正させて1つ以上の第2のメディアコンテンツを生成させ、該1つ以上の第2のメディアコンテンツは仮想現実コンテンツを含む工程(ブロック(735))、および、コンピューティングシステムを用いて、第4のAPIを介して、1つ以上の第2のメディアコンテンツを、ユーザに1つ以上の第2のメディアコンテンツを提示する複数のビジュアルアウトプットデバイスのうちの第1のビジュアルアウトプットデバイスに送信させる工程(ブロック(740))、を含みうる。該プロセスは、図7Fの任意選択のブロック(775)でのプロセスに続いても良い。
図7Cに関して、方法(700)は、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を拡張現実の提示(augumented reality presentation)として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ拡張現実の提示として提示されていないという判定に基づき、第3のAPIを介して、アセットの統合および制御のシステムを制御し、1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に関して仮想オーバーレイとして1つ以上の第1のメディアコンテンツを修正することによって、アセットの統合および制御のシステムに、1つ以上の第3のメディアコンテンツを生成させる工程であって、該1つ以上の第3のメディアコンテンツは拡張現実コンテンツを含む、工程(ブロック(745))、および、第4のAPIを介して、コンピューティングシステムを用いて、1つ以上の第3のメディアコンテンツを、ユーザに1つ以上の第3のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信する工程(ブロック(750))、を含みうる。該プロセスは、図7Fの任意選択のブロック(775)でのプロセスに続いても良い。
図7Dに関して、方法(700)は、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像を仮想現実および拡張現実の要素と結合した複合現実の提示として提示するという判定に基づいて、および、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的なオブジェクトの1つ以上のキャプチャされた画像は、まだ複合現実の提示として提示されていないという判定に基づいて、第3のAPIを介してコンピューティングシステムを用いて、アセットの統合および制御のシステムを制御する工程であって、1つ以上の第1のメディアコンテンツおよび1つ以上の物理的オブジェクトの1つ以上のキャプチャされた画像に基づいて、アセットの統合および制御のシステムに、1つ以上の第4のメディアコンテンツを生成させる工程であって、該1つ以上の第4のメディアコンテンツは複合現実コンテンツを含む、工程(ブロック(755))、および、第4のAPIを介して、コンピューティングシステムを用いて、1つ以上の第4のメディアコンテンツを、ユーザに1つ以上の第4のメディアコンテンツを提示する第1のビジュアルアウトプットデバイスに送信する工程(ブロック(760))、を含みうる。該プロセスは、図7Fの任意選択のブロック(775)でのプロセスに続いても良い。
図7Aのブロック(705)に戻ると、1つ以上の第1のメディアコンテンツは配信の準備ができていないという判定に基づき、方法(700)は、マーク「D」に続いて図7Eのブロック(765)へと進むことがある。ブロック(765)では、方法(700)はコンピューティングシステムを用いて、第1のAPIを介して生産管理システムへと1つ以上の第3のメッセージを送信する工程を含みうる。1つ以上の第3のメッセージは、生産管理システムに1つ以上の第1のメディアコンテンツのステータスを変更させて、1つ以上の第1のメディアコンテンツは複数のビジュアルアウトプットデバイスへの配信の準備ができていないことを示す。方法(700)は、ブロック(770)で、コンピューティングシステムを用いて、第2のAPIを介して1つ以上の第4のメッセージをアセット制作システムに送信する工程であって、ここで、1つ以上の第4のメッセージは、1つ以上の第1のメディアコンテンツに関する作業を続けるように、アセット制作システムに1つ以上の第5のメッセージを1つ以上の開発者へと送信させる、工程を含みうる。該プロセスは、マーク「E」に続いて図7Aのブロック(705)のプロセスに戻ってもよい。
それぞれ図7B、7Cおよび7Dのブロック(740)、(750)および(760)の各々からマークFに続く図7Fの任意選択のブロック(775)に関して、該方法(700)はさらに、コンピューティングシステムを用いて、第1のAPIを介して生産管理システムについて、第2のAPIを介してアセット制作システムについて、第3のAPIを介してアセットの統合および制御のシステムについて、および、第4のAPIを介して複数のビジュアルアウトプットデバイスについて、これらのうちの少なくとも1つの各々における複数のメディアコンテンツの各々のリアルタイムステータスを追跡する工程を含みうる。方法(700)はさらに、アセット制作システムからアセットの統合および制御のシステムへの統合の準備ができていることを示すステータスを有する、複数のメディアコンテンツのうちの少なくとも1つの第5のメディアコンテンツを、コンピューティングシステムを用いて、配信する工程(任意選択のブロック(780));アセットの統合および制御のシステムから第1のビジュアルアウトプットデバイスへの配信の準備ができていることを示すステータスを有する、複数のメディアコンテンツのうちの少なくとも1つの第6のメディアコンテンツを、コンピューティングシステムを用いて、配信する工程(任意選択のブロック(785));コンピューティングシステムを用いて、少なくとも1つの第6のメディアコンテンツを、複数のビジュアルアウトプットデバイスのうちの1つ以上の第2のビジュアルアウトプットデバイスと同期させる工程であって、1つ以上の第2のビジュアルアウトプットデバイスは、第1のビジュアルアウトプットデバイスとは別個である、工程(任意選択のブロック(790));および、少なくとも1つの第6のメディアコンテンツに対する更新を受信することに応じて、コンピューティングシステムを用いて、少なくとも1つの第6のメディアコンテンツに対する更新を、第1のビジュアルアウトプットデバイスのそれぞれおよび1つ以上の第2のビジュアルアウトプットデバイスのそれぞれに送信する工程(任意選択のブロック(795))、を含みうる。
その他の点で、同一でないにしても、システム(600)は図1および3のシステム(100)および(300)に類似しており、方法(700)は、その他の点で、同一でないにしても、図2、4および5の方法(200)、(400)および(500)に類似しており、類似の構成要素またはプロセスの記載は、システム(600)の構成要素および方法(700)のプロセスに当てはまる。
典型的なシステムおよびハードウェアの実装
図8は、様々な実施形態に従って、例示的なコンピュータまたはシステムハードウェアアーキテクチャを例示するブロック図である。図8は、コンピュータシステム(800)の一実施形態の概略図を提供し、該システムは、本明細書に記載のように、他の様々な実施形態によって提供される方法を実行することができ、および/または、上述のように、コンピュータまたはハードウェアシステム(すなわちコンピューティングシステム(110)または(310)など)の、または任意の他のデバイス(たとえば、ユーザデバイス(105)または(305)など)の、機能を実行することができる。図8は、様々な構成要素の一般化された例示を提供することのみを意図しており、そのうちの1つ以上が必要に応じて利用され得る(または何も利用されない)ことに留意されたい。したがって、図8は、どのようにして個々のシステム要素が比較的分離された方法または比較的より統合された方法で実装され得るかを幅広く例示する。
コンピュータまたはハードウェアシステム(800)−これは、図1および3に関して上述される、コンピュータまたはハードウェアシステム(即ちコンピューティングシステム(110)または(310)など)の実施形態、または他の任意のデバイス(例えばユーザデバイス(105)または(305)など)の実施形態を表し得る−は、バス(805)を介して電気的に結合することができる(あるいは、他の方法で、適切に通信状態にあることができる)ハードウェア要素を含むと示されている。ハードウェア要素は、限定されないが、1つ以上の汎用プロセッサ、および/または、1つ以上の専用プロセッサ(デジタル信号処理チップ、グラフィックス加速プロセッサなど)、などを含む1つ以上のプロセッサ(810)と;限定されないが、マウス、キーボード、などを含むことができる1つ以上のインプットデバイス(815)と;限定されないが、ディスプレイデバイス、プリンター、などを含むことができる1つ以上のアウトプットデバイス(820)と;を含みうる。
コンピュータまたはハードウェアシステム(800)はさらに、限定されないがローカルおよび/またはネットワークでアクセス可能なストレージを含みうる1つ以上のストレージデバイス(825)を含むことがあり、および/または、限定されないが、プログラム可能でフラッシュ更新可能(flash−updateable)な、ディスクドライブ、ドライブアレイ、光学ストレージデバイス、ランダムアクセスメモリ(「RAM」)および/または、読み出し専用メモリ(「ROM」)などのソリッドステートストレージデバイスを含むことができる。そのようなストレージデバイスは、様々なファイルシステム、データベース構造などを含むがこれらに限定されない、任意の適切なデータストアを実装するように構成され得る。
コンピュータまたはハードウェアシステム(800)はまた、通信サブシステム(830)を含んでもよく、これは、限定されないが、モデム、ネットワークカード(無線または有線)、赤外線通信デバイス、無線通信デバイスおよび/またはチップセット(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、WWANデバイス、移動体通信設備など)、などを含むことができる。通信サブシステム(830)は、(一例を挙げれば、以下に記載されるネットワークなどの)ネットワークと、他のコンピュータまたはハードウェアシステムと、および/または本明細書に記載される他の任意のデバイスと、データを交換することを可能にし得る。多くの実施形態では、コンピュータまたはハードウェアシステム(800)はさらにワーキングメモリ(835)を含むだろうし、これは、上述のように、RAMまたはROMデバイスを含むことができる。
コンピュータまたはハードウェアシステム(800)はまた、(限定されないが、ハイパーバイザ、VMなどを含む)様々な実施形態によって提供されるコンピュータプログラムを含みうる1つ以上のアプリケーションプログラム(845)などの、オペレーティングシステム(840)、デバイスドライバ、実行可能ライブラリ、および/または、他のコードを含む、ワーキングメモリ(835)内に現在配置されているように示されるソフトウェア要素も含んでもよく、および/または、本明細書に記載のような他の実施形態によって提供される方法を実施および/またはそのようなシステムを構成するように設計されてもよい。ほんの一例として、上述される方法に対して記述された1つ以上の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実施することができ;一態様では、次いで、そのようなコードおよび/または命令は、記載された方法に従って1つ以上の動作を実行するように汎用コンピュータ(または他のデバイス)を構成および/または適合させるために使用することができる。
これらの命令および/またはコードのセットは、上述のストレージデバイス(複数可)(825)などの非一時的コンピュータ可読記憶媒体にエンコードおよび/または格納されうる。いくつかの場合には、記憶媒体は、システム(800)などのコンピュータシステム内に組み込まれてもよい。他の実施形態では、記憶媒体は、コンピュータシステム(すなわち、コンパクトディスクなどのリムーバブル媒体)とは別個であり得、および/または、インストールパッケージ中で提供され得、 このようにして、記憶媒体は、その上に記憶された命令/コードを有する汎用コンピュータをプログラム、構成、および/または適合させるために使用することができる。これらの命令は、コンピュータまたはハードウェアシステム(800)によって実行可能である実行可能コードの形をとっても良く、および/または、コンピュータまたはハードウェアシステム(800)へのコンパイルおよび/またはインストール時に(例えば、一般に入手可能な様々なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティなどのいずれかを使用して)実行可能コードの形をとる、ソースコードおよび/またはインストール可能コードの形をとり得る。
特定の要件に従って実質的な変形がなされ得ることは当業者には明らかであろう。例えば、カスタマイズされたハードウェア(プログラマブルロジックコントローラ、フィールドプログラマブルゲートアレイ、特定用途向け集積回路など)も使用することができ、および/または、特定の要素をハードウェア、ソフトウェア(アプレットなどの携帯用ソフトウェアなどを含む)、またはその両方で実装することができる。 さらに、ネットワーク入力/出力装置などの他のコンピューティングデバイスへの接続を使用することができる。
上述のように、一態様では、いくつかの実施形態は、本発明の様々な実施形態に従って方法を実行するためにコンピュータまたはハードウェアシステム(コンピュータまたはハードウェアシステム(800)など)を利用してもよい。1セットの実施形態によれば、そのような方法の手順のうちのいくつかまたはすべては、ワーキングメモリ(835)に含まれる1つ以上の命令(アプリケーションプログラム(845)などのオペレーティングシステム(840)および/または他のコードに組み込まれてもよい)の1つ以上のシークエンスをプロセッサ(810)が実行することに応じて、コンピュータまたはハードウェアシステム(800)によって行なわれる。そのような命令は、1つ以上のストレージデバイス(825)などの別のコンピュータ可読媒体からワーキングメモリ(835)へと読み込まれうる。ほんの一例として、ワーキングメモリ(835)に含まれる命令の配列の実行は、プロセッサ(810)に本明細書に記述された方法のうちの1つ以上の手順をさせることができる。
「機械可読媒体」および「コンピュータ可読媒体」という用語は、本明細書に使用されるように、マシンを特定の方法で作動させるデータの提供に参加するあらゆる媒体を指す。コンピュータまたはハードウェアシステム(800)を使用して実行された実施形態では、様々なコンピュータ読取可能記憶媒体は、実行のためにプロセッサ(810)に命令/コードを提供することに関与してもよく、および/または、そのような命令/コードを(たとえば信号として)格納および/または搬送するために使用されてもよい。多くの実装では、コンピュータ可読媒体は、非一時的で、物理的、および/または有形の記憶媒体である。いくつかの実施形態では、コンピュータ可読媒体は、不揮発性媒体、揮発性媒体などを含むがこれらに限定されない、多くの形をとってもよい。不揮発性媒体は、例えば、ストレージデバイス(825)などの光学ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定されないが、ワーキングメモリ(835)などの動的メモリを含む。いくつかの代替的な実施形態では、コンピュータ可読媒体は、伝送媒体の形式をとってもよく、これには、バス(805)を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバ、ならびに通信サブシステム(830)のさまざまな構成要素(および/または通信サブシステム(830)が他の機器との通信を提供する媒体)が含まれるがこれらに限定されない。代替的な実施形態のセットでは、伝送媒体はまた、波の形をとることもできる(電波および赤外線データ通信中に生成されるものなどの電波、音波、および/または光波を含むがこれらに限定されない)。
物理的または有形のコンピュータ可読媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または他の任意の磁気媒体、CD−ROM、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する他の任意の物理的媒体、RAM、PROMおよびEPROM、FLASH−EPROM、他の任意のメモリチップまたはカートリッジ、後述する搬送波、または、コンピュータが命令および/またはコードを読み取ることができる他の任意の媒体、が含まれる。
様々な形式のコンピュータ可読媒体が、実行のために1つ以上の命令の1つ以上のシーケンスをプロセッサ(810)に搬送することに関与しうる。ほんの一例として、命令は、最初にリモートコンピュータの磁気ディスクおよび/または光ディスクで搬送されてもよい。リモートコンピュータは、命令をその動的メモリにロードし、コンピュータまたはハードウェアシステム(800)によって受信および/または実行されるように信号として伝送媒体を介して命令を送信することができる。これらの信号は、電磁信号、音響信号、光信号などの形態であってもよく、すべて指示がそうでありうる搬送波の例である、本発明の様々な実施形態に従って命令をエンコードすることができる搬送波の全ての例である。
通信サブシステム(830)(そのおよび/または構成要素)は、概して信号を受け取り、次いでバス(805)は、信号(および/または信号によって搬送されるデータ、命令など)をワーキングメモリ(835)に運び、そこからプロセッサ(805)は命令を回収して実行する。ワーキングメモリ(835)によって受信された命令は、プロセッサ(810)による実行の前に、またはその実行の後に、ストレージデバイス(825)に随意に格納されてもよい。
上述のように、ある実施形態のセットは、コンピュータシミュレーテッドリアリティのインタラクションを実施するための方法およびシステムを含み、特定の実施形態では、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法、システムおよびコンピュータソフトウェアを含む。図9は、実施形態の1つのセットに従って使用することができるシステム(900)の概略図を例示する。システム(900)は1つ以上のユーザコンピュータまたはユーザデバイス(905)を含むことができる。ユーザコンピュータまたはユーザデバイス(905)は、汎用パーソナルコンピュータ(ほんの一例としては、Apple、Microsoft Corp.などのベンダーから入手可能である適切なオペレーティングシステムを実行する、デスクトップコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータなどを含む)、クラウドコンピューティングデバイス、サーバ、および/または、様々な市販のUNIX(登録商標)またはUNIX(登録商標)ライクなオペレーティングシステムのいずれかを実行しているワークステーションコンピュータ、であってもよい。ユーザコンピュータまたはユーザデバイス(905)はまた、(たとえば、上述のように)様々な実施形態によって提供される方法を実行するように構成された1つ以上のアプリケーション、ならびに1つ以上のオフィスアプリケーション、データベースクライアント、および/またはサーバアプリケーション、および/またはWebブラウザアプリケーションを含む様々なアプリケーションのいずれかを有することができる。あるいは、ユーザコンピュータまたはユーザデバイス(905)は、ネットワーク(例えば、後述のネットワーク(910))を介して通信でき、および/またはウェブページまたは他の種類の電子文書を表示およびナビゲートすることができる、シンクライアントコンピュータ、インターネットへの接続が可能な携帯電話、および/または携帯情報端末などの他の電子デバイスであってもよい。例示的なシステム(900)は4つのユーザコンピュータまたはユーザデバイス(905)とともに示されるが、任意の数のユーザコンピュータまたはユーザデバイスがサポートされうる。
特定の実施形態は、ネットワーク(910)を含みうる、ネットワーク接続された環境中で作動する。ネットワーク(910)は、TCP/IP、SNA(商標)、IPX(商標)、AppleTalk(商標)、などを含むがこれに限定されない、様々な市販の(および/または無料のまたは独自の)プロトコルのいずれかを使用してデータ通信をサポートすることができる、当業者に公知の任意のタイプのネットワークであってもよい。ほんの一例として、ネットワーク(910)(図1のネットワーク(115)または図3のネットワーク(315)などと類似)は各々、限定されないが、ファイバーネットワーク、イーサネット(登録商標)ネットワーク、Token−Ring(商標)ネットワークなどを含む、LAN;WAN;WWAN;VPNなどの仮想ネットワーク;インターネット;イントラネット;エクストラネット;PSTN;赤外線ネットワーク;限定されないが、IEEE 802.11プロトコルスイート、当技術分野で高知のBluetooth(登録商標)プロトコル、および/または他の任意のワイヤレスプロトコルのいずれかの下で動作するネットワークを含むワイヤレスネットワーク;および/または、これらおよび/または他のネットワークの任意の組み合わせ、を含むが、これに限定されない。特定の実施形態では、ネットワークは、サービスプロバイダ(例えばISP)のアクセスネットワークを含みうる。別の実施形態では、ネットワークは、サービスプロバイダのコアネットワーク、および/または、インターネット、を含みうる。
実施形態はさらに1つ以上のサーバコンピュータ(915)を含むことができる。サーバコンピュータ(915)のそれぞれは、限定されないが、任意の市販の(または無料で)利用可能なサーバオペレーティングシステムならびに上述のもののいずれかを含む、オペレーティングシステムを用いて構成することができる。サーバ(915)のそれぞれはまた、1つ以上のアプリケーションを実行してもよく、これは1つ以上のクライアント(905)および/または他のサーバ(915)にサービスを提供するように構成されうる。
ほんの一例として、上述のように、サーバ(915)のうちの1つは、データサーバ、ウェブサーバ、クラウドコンピューティングデバイスなどであってもよい。データサーバは、ほんの一例として、ユーザコンピュータ(905)からのウェブページまたは他の電子文書に対する要求を処理するために使用することができるウェブサーバを含む(またはそれと通信する)ことができる。ウェブサーバはまた、HTTPサーバ、FTPサーバ、CGIサーバ、データベースサーバ、Java(登録商標)サーバなどを含む様々なサーバアプリケーションを実行することができる。本発明のいくつかの実施形態において、ウェブサーバは、本発明の方法を実行するために1つ以上のユーザコンピュータ(905)上のウェブブラウザ内で操作することができるウェブページを提供するように構成されうる。
いくつかの実施形態では、サーバコンピュータ(915)は1つ以上のアプリケーションサーバを含んでもよく、これはクライアントコンピュータ(905)および/または他のサーバ(915)の1つ以上で動作するクライアントによってアクセス可能な1つ以上のアプリケーションで構成されうる。ほんの一例として、サーバ(915)は、ユーザコンピュータ(905)および/または他のサーバ(915)に応じてプログラムまたはスクリプトを実行することができる1つ以上の汎用コンピュータであってもよく、これはウェブアプリケーション(場合によっては、様々な実施形態によって提供される方法を実行するように構成されてもよい)を含むが限定されない。ほんの一例として、ウェブアプリケーションは、Java(登録商標)、C、C#(商標)または C++などの任意の適切なプログラミング言語、および/または、Perl、PythonまたはTCLなどの任意のスクリプト言語、ならびに、プログラミング言語やスクリプト言語の組み合わせ、で書かれた1つ以上のスクリプトまたはプログラムとして実装することができる。アプリケーションサーバはまた、Oracle(商標)、Microsoft(商標)、Sybase(商標)、IBM(商標)などから市販されているものを含むがこれに限定されないデータベースサーバを含むことができ、これは、ユーザコンピュータまたはユーザデバイス(905)および/または別のサーバ(915)上で動作している(構成によっては、専用データベースクライアント、APIクライアント、ウェブブラウザなどを含む)クライアントからの要求を処理することができる。いくつかの実施形態では、アプリケーションサーバは、上記で詳述したように、コンピュータシミュレーテッドリアリティのインタラクションを実行するための1つ以上のプロセスを実行でき、特定の実施形態では、ユーザと物理的な出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施する方法、システムおよびコンピュータソフトウェアを実行する。アプリケーションサーバによって提供されるデータは、(例えば、HTML、JavaScript(登録商標)などを含む)1つ以上のウェブページとしてフォーマットされてもよく、および/または(たとえば上述のように)ウェブサーバを介してユーザコンピュータ(905)に転送されてもよい。同様に、ウェブサーバは、ユーザコンピュータ(905)からウェブページ要求および/または入力データを受信し、および/またはウェブページ要求および/または入力データをアプリケーションサーバに転送することができる。いくつかの場合には、ウェブサーバがアプリケーションサーバに統合されてもよい。
さらなる実施形態に従って、1つ以上のサーバ(915)はファイルサーバとして機能することができ、および/または、ユーザコンピュータ(905)および/または別のサーバ(915)上で動作するアプリケーションによって組み込まれる、様々な開示された方法を実施するのに必要な、1つ以上のファイル(たとえばアプリケーションコード、データファイルなど)を含むことができる。 あるいは、当業者が理解するように、ファイルサーバはすべての必要なファイルを含むことができ、そのようなアプリケーションがユーザコンピュータまたはユーザデバイス(905)および/またはサーバ(915)によってリモートで呼び出されることを可能にする。
本明細書の様々なサーバ(例えば、アプリケーションサーバ、データベースサーバ、ウェブサーバ、ファイルサーバなど)に関して記載された機能は、実装に固有の(implementation−specific)ニーズおよびパラメータに応じて、単一のサーバおよび/または複数の専用サーバによって実行することができることに留意されたい。
特定の実施形態では、システムは1つ以上のデータベース(920a)および(920b)(総称して「データベース(920)」)を含むことができる。データベース(920)の各々の位置は任意である:ほんの一例として、データベース(920a)は、サーバ(915a)(および/またはユーザコンピュータもしくはユーザデバイス(905))に対してローカルな(および/またはそこに内在する)記憶媒体上に存在してもよい。あるいは、データベース(920b)は、(例えばネットワーク(910)を介して)これらのうちの1つ以上と通信することができる限り、コンピュータ(905)、(915)のいずれかまたはすべてから遠隔であってもよい。特定のセットの実施形態では、データベース(920)は、当業者に周知の記憶域ネットワーク(「SAN」)内に存在することができる。(同様に、適切なように、コンピュータ(905)、(915)に起因する機能を行なうための必要なファイルも、それぞれのコンピュータ上でローカルおよび/またはリモートで格納することができる。)1セットの実施形態では、データベース(920)は、SQL形式のコマンドに応答してデータを格納、更新、および検索するように適合された、オラクルデータベースなどのリレーショナルデータベースとすることができる。例えば、データベースは、上述のように、データベースサーバによって制御および/または維持されうる。
いくつかの実施形態によれば、システム(900)はさらに、印刷された出版物(925)(これは図1および3のそれぞれ印刷された出版物(125)または(325)に相当しうる)を含む。いくつかの実施形態では、印刷された出版物(925)は、フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、開催チケットまたはイベントチケットの半券、または、ポスターなどのうちの1つを含みうるが、これに限定されない。いくつかの場合には、印刷された出版物(925)は、印刷された出版物(925)の少なくとも一部上に1つ以上のトリガー(930)を含みうる。いくつかの例では、1つ以上のトリガーはそれぞれ、限定されないが、出版物の少なくとも一部上に提供されるQRコード(登録商標)、出版物の少なくとも一部上に提供されるバーコード、出版物の少なくとも一部に貼り付けられるステッカー上に提供されるグラフィカルコード、出版物の少なくとも一部上に印刷されるグラフィック、出版物の少なくとも一部上に印刷されるキーワードまたはキーコード、印刷された出版物の表紙画像、印刷された出版物の表紙上に印刷されたタイトル、印刷された出版物の表紙上に印刷された著者名、印刷された出版物の近くに位置し印刷された出版物に関連するぬいぐるみのキャラクター(a stuffed character)、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたキャラクター、または、印刷された出版物の近くに位置し印刷された出版物に関連する3D印刷されたオブジェクト、などのうちの1つを含む。あるいは、1つ以上のトリガーはそれぞれ、限定されないが、RFIDタグ、BLEタグ、NFCタグまたはRTLSタグのうちの1つなどを含みうる。ユーザデバイス(905)は1つ以上のトリガー検出器(935)を含んでもよく、これらは各々、限定されないが、カメラ、無線送受信機などのうちの1つを含んでもよい。無線送受信機は、RFIDスキャナ、BLEインターフェース、NFCインターフェース、RTLSインターフェースなどのうちの1つを含んでもよい。システム(900)はさらに、プラットフォーム、または、コンピュータシミュレーテッドリアリティのプラットフォーム(940)を含むことができ、これは、VR、ARまたはMxRのうちの1つから別のVR、ARまたはMxRへとシフトすることを可能にし、図6および7に関して詳細に記述される。
操作においては、1つ以上のトリガー検出器(935)のうちの少なくとも1つのトリガー検出器(935)が1つ以上のトリガー(930)のうちの少なくとも1つのトリガー(930)を検知することに応じて、ユーザデバイス(905)またはサーバ(915)は、少なくとも1つのトリガー(930)に関連する1つ以上のメディアコンテンツを特定しうる。いくつかの実施形態では、1つ以上のメディアコンテンツは、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックの少なくとも1つを含む。いくつかの例では、3D静止グラフィック、3Dアニメーショングラフィック、または3Dインタラクティブアニメーショングラフィックのそれぞれは、印刷された出版物に関係する1つ以上のキャラクターのグラフィック表現、印刷された出版物に関連する架空ではない地理的位置、印刷された出版物に関連する架空の地理的位置、印刷された出版物に関連する部屋、印刷された出版物に関連する建物、印刷された出版物に記載のシーン、印刷された出版物に記載のシーンにインスパイアされたシーン、印刷された出版物に記載の1つ以上のアイテム、または、印刷された出版物に記載の1つ以上のアイテムにインスパイアされた1つ以上のアイテム、などのうちの1つを含みうる。
ユーザデバイス(905)は、ユーザの視野を判定しうる(例えば、それぞれ図1および3のカメラ(140)または(340)のようなカメラの使用による)。視野は、印刷された出版物の少なくとも一部を含んでいてもよい。ユーザデバイス(905)またはサーバー(930)は、必要な場合、、ユーザの視野と位置合わせするように1つ以上のメディアコンテンツの向きを修正することがあり、および、ユーザデバイス(905)のディスプレイデバイス上で、ユーザの視野と位置合わせするように向きが修正された1つ以上のメディアコンテンツを表示することがあり、いくつかの場合には、その結果として、1つ以上のメディアコンテンツが、印刷された出版物の表紙の上方に仮想オーバーレイとして提示される、印刷された出版物の表紙上に仮想オーバーレイとして提示される、 印刷された出版物のそばに仮想オーバーレイとして提示される、印刷された出版物のページの上方に仮想オーバーレイとして提示される、印刷された出版物のページ上に仮想オーバーレイとして提示される、印刷された出版物の表面の前に仮想オーバーレイとして提示される、印刷された出版物の製本部(binding)の前に仮想オーバーレイとして提示される、印刷された出版物の一部に印刷された2Dグラフィックの上方に仮想オーバーレイとして提示される、 または、印刷された出版物の一部上に印刷された2Dグラフィック上の仮想オーバーレイとして提示される、ことなどのうちの少なくとも1つとなる、ことを含みうる。
デジタル処理装置
いくつかの実施形態では、本明細書に記載されるプラットフォーム、システム、媒体、および方法は、デジタル処理装置、またはデジタル処理装置の使用を含む。さらなる実施形態では、デジタル処理装置は、装置の機能を実行する1つ以上のハードウェア中央処理装置(CPU)または汎用グラフィック処理ユニット(GPGPU)を含む。またさらなる実施形態では、デジタル処理装置は、実行可能な命令を行うように構成された操作オペレーティングシステムをさらに含む。いくつかの実施形態では、デジタル処理装置は随意に接続されたコンピュータネットワークである。さらなる実施形態では、デジタル処理装置はワールド・ワイド・ウェブにアクセスするようにインターネットに随意に接続される。またさらなる実施形態では、デジタル処理装置は、クラウド・コンピューティング・インフラストラクチャーに随意に接続される。他の実施形態では、デジタル処理装置は、イントラネットに随意に接続される。他の実施形態では、デジタル処理装置は、データメモリに随意に接続される。
本明細書の記載に従って、適切なデジタル処理装置は、非限定的な例として、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、サブノートブックコンピュータ、ネットブックコンピュータ、ネットパッドコンピュータ、セットトップコンピュータ、メディアストリーミングデバイス、ハンドヘルドコンピュータ、インターネットアプライアンス、モバイルスマートフォン、タブレットコンピュータ、携帯情報端末、ビデオゲーム機、および媒体を含む。当業者は、多くのスマートフォンが、本明細書に記載されるシステムでの使用に適していることを認識するであろう。当業者は、随意のコンピュータネットワーク接続を有する、選択されたテレビ、ビデオプレーヤー、およびデジタル音楽プレーヤーが、本明細書に記載されるシステムにおける使用に適していることを認識するであろう。適切なタブレットコンピュータは、当業者に既知のブックレット、スレート、および変換可能な構成を有するものを含む。
いくつかの実施形態では、デジタル処理装置は、実行可能な命令を行うように構成されたオペレーティングシステムを含む。オペレーティングシステムは、例えば、装置のハードウェアを制御し、アプリケーションの遂行のためのサービスを提供する、プログラムおよびデータを含むソフトウェアである。当業者は、適切なサーバオペレーティングシステムが、非限定的な例として、FreeBSD、OpenBSD、NetBSD(登録商標)、リナックス(登録商標)、Apple(登録商標)Mac OS X Server(登録商標)、Oracle(登録商標)Solaris(登録商標)、Wiodows Server(登録商標)、およびNovell(登録商標)NetWare(登録商標)を含むことを認識するだろう。当業者は、適切なパソコンオペレーティングシステムが、非限定的な例として、Microsoft(登録商標)Windows(登録商標)、Apple(登録商標)Mac OS X(登録商標)、UNIX(登録商標)、およびGNU/Linux(登録商標)などのUNIX(登録商標)ライクなオペレーティングシステムを含むことを認識するだろう。いくつかの実施形態において、オペレーティングシステムは、クラウドコンピューティングによって提供される。当業者は、適切なモバイルスマートフォンオペレーティングシステムが、非限定的な例として、Nokia(登録商標)Symbian(登録商標)OS、Apple(登録商標)iOS(登録商標)、Research in Motion(登録商標)BlackBerry OS(登録商標)、Google(登録商標)Android(登録商標)、Microsoft(登録商標)Windows Phone(登録商標)OS、Microsoft(登録商標)Windows Mobile(登録商標)OS、Linux(登録商標)、およびPalm(登録商標)WebOS(登録商標)を含むことを認識するであろう。当業者は、適切なメディアストリーミング装置オペレーティングシステムが、非限定的な例として、Apple TV(登録商標)、Roku(登録商標)、Boxee(登録商標)、Google TV(登録商標)、Google Chromecast(登録商標)、Amazon Fire(登録商標)、およびSamsung(登録商標) HomeSync(登録商標)を含むことも認識するであろう。当業者は、適切なビデオゲーム機のオペレーティングシステムが、非限定的な例として、Sony(登録商標)PS3(登録商標)、Sony(登録商標)PS4(登録商標)、Microsoft(登録商標)Xbox 360(登録商標)、Microsoft Xbox One、Nintendo(登録商標)Wii(登録商標)、Nintendo(登録商標)Wii U(登録商標)、およびOuya(登録商標)を含むことも認識するであろう。
いくつかの実施形態では、デバイスはストレージデバイスおよび/またはメモリデバイスを含んでいる。ストレージデバイスおよび/またはメモリデバイスは、一時的または永久的にデータまたはプログラムを記憶するために使用される1つ以上の物理的な装置である。いくつかの実施形態において、デバイスは揮発性メモリであり、記憶した情報を維持するための電力を必要とする。いくつかの実施形態において、デバイスは不揮発性メモリであり、デジタル処理装置に電力が供給されないときに記憶した情報を保持する。さらなる実施形態において、不揮発性メモリはフラッシュメモリを含む。いくつかの実施形態において、不揮発性メモリは、ダイナミックランダムアクセスメモリ(DRAM)を含む。いくつかの実施形態において、不揮発性メモリは、強誘電体ランダムアクセスメモリ(FRAM(登録商標))を含む。いくつかの実施形態において、不揮発性メモリは、相変化ランダムアクセスメモリ(PRAM)を含む。他の実施形態において、デバイスは、非限定的な例として、CD−ROM、DVD、フラッシュメモリデバイス、磁気ディスクドライブ、磁気テープドライブ、光ディスクドライブ、およびクラウドコンピューティングベースのストレージデバイスを含むストレージデバイスである。さらなる実施形態において、ストレージデバイスおよび/またはメモリデバイスは、本明細書に開示されるものなどのデバイスの組み合わせである。
いくつかの実施形態では、デジタル処理装置は、ユーザへ視覚情報を送るためのディスプレイを含んでいる。いくつかの実施形態において、ディスプレイは液晶ディスプレイ(LCD)である。さらなる実施形態において、ディスプレイは薄膜トランジスタ液晶ディスプレイ(TFT−LCD)である。いくつかの実施形態において、ディスプレイは、有機発光ダイオード(OLED)ディスプレイである。様々なさらなる実施形態において、OLEDディスプレイは、パッシブ−マトリクスOLED(PMOLED)またはアクティブ−マトリクスOLED(AMOLED)のディスプレイである。いくつかの実施形態において、ディスプレイはプラズマディスプレイである。他の実施形態において、ディスプレイはビデオプロジェクターである。また他の実施形態では、ディスプレイは、VRヘッドセットなどの、デジタル処理装置と通信する頭部装着型ディスプレイである。さらなる実施形態では、適切なVRヘッドセットは、非限定的な例として、HTC Vive、Oculus Rift、Samsung Gear VR、Microsoft HoloLens、Razer OSVR、FOVE VR、Zeiss VR One、Avegant Glyph、Freefly VRヘッドセット、などを含む。またさらなる実施形態において、ディスプレイは、本明細書に開示されるものなどの装置の組み合わせである。
いくつかの実施形態では、デジタル処理装置は、ユーザから情報を受信するためのインプットデバイスを含んでいる。いくつかの実施形態において、インプットデバイスはキーボードである。いくつかの実施形態において、インプットデバイスは、非限定的な例として、マウス、トラックボール、トラックパッド、ジョイスティック、ゲームコントローラ、またはスタイラスを含むポインティング装置である。いくつかの実施形態において、インプットデバイスはタッチスクリーンまたはマルチタッチスクリーンである。他の実施形態において、インプットデバイスは、声または他の音入力を捕らえるマイクロフォンである。他の実施形態において、インプットデバイスは、動きまたは視覚入力を捕らえるビデオカメラまたは他のセンサである。さらなる実施形態において、インプットデバイスはKinect、Leap Motion、などである。またさらなる実施形態において、インプットデバイスは本明細書に開示されるものなどの装置の組み合わせである。
非一時的なコンピュータ読み取り可能な記憶媒体
いくつかの実施形態において、本明細書で開示されるプラットフォーム、システム、媒体、および方法は、随意にネットワーク接続されたデジタル処理装置のオペレーティングシステムによって実行可能な命令を含むプログラムでエンコードされた1つ以上の非一時的なコンピュータ読み取り可能な記憶媒体を含む。さらなる実施形態では、コンピュータ読み取り可能な記憶媒体はデジタル処理装置の触れることのできる構成要素である。またさらなる実施形態では、コンピュータ読み取り可能な記憶媒体は、デジタル処理装置から随意に除去可能である。いくつかの実施形態では、コンピュータ読み取り可能な記憶媒体は、非限定的な例として、CD−ROM、DVD、フラッシュメモリデバイス、ソリッドステートストレージデバイス、磁気ディスクドライブ、磁気テープドライブ、光ディスクドライブ、クラウドコンピューティングシステムおよびサービスなどを含む。場合によっては、プログラムと命令は媒体上で永久に、実質的に永久に、半永久に、または非一時的にエンコードされる。
コンピュータプログラム
いくつかの実施形態では、本明細書に開示されたプラットフォーム、システム、媒体、および方法は、少なくとも1つのコンピュータプログラム、またはコンピュータプログラムの使用を含む。コンピュータプログラムは、デジタル処理装置のCPUで実行可能であるとともに特定のタスクを実行するために書き込まれる、一連の指示を含む。コンピュータ読み取り可能な命令は、特定のタスクを行うか、または特定の抽出データタイプを実行する、機能、オブジェクト、アプリケーションプログラミングインターフェース(API)、データ構造などのプログラムモジュールとして実行されることもある。本明細書で提供される開示に照らして、当業者は、コンピュータプログラムが様々な言語の様々なバージョンで書き込まれてもよいことを認識するであろう。
コンピュータ読み取り可能な命令の機能性は、様々な環境で望まれるように、組み合わされることもあれば、分散されることもある。いくつかの実施形態では、コンピュータプログラムは1つの命令列を含む。いくつかの実施形態において、コンピュータプログラムは複数の命令列を含む。いくつかの実施形態では、コンピュータプログラムは1つの位置から提供される。他の実施形態では、コンピュータプログラムは複数の位置から提供される。様々な実施形態において、コンピュータプログラムは、1以上のソフトウェアモジュールを含む。様々な実施形態において、コンピュータプログラムは、一部または全体として、1つ以上のウェブアプリケーション、1つ以上のモバイルアプリケーション、1つ以上のスタンドアロンアプリケーション、1つ以上のウェブブラウザプラグイン、拡張、アドイン、またはアドオン、あるいはこれらの組み合わせを含む。
ウェブアプリケーション
いくつかの実施形態では、コンピュータプログラムはウェブアプリケーションを含んでいる。本明細書で提供される本開示に照らして、当業者は、ウェブアプリケーションが様々な実施形態において1つ以上のソフトウェアフレームワークと1つ以上のデータベースシステムを採用することを認識するであろう。いくつかの実施形態では、ウェブアプリケーションは、Microsoft(登録商標).NETまたはRuby on Rails(ルビーオンレイルズ)(RoR)などのソフトウェアフレームワークで作成される。いくつかの実施形態では、ウェブアプリケーションは、非限定的な例として、リレーショナルの、非リレーショナルの、オブジェクト指向の、結合性の、および、XMLのデータベースシステムを含む、1つ以上のデータベースシステムを利用する。さらなる実施形態では、適切なリレーショナルデータベースシステムは、非限定的な例として、Microsoft(登録商標)SQLサーバ、mySQL(商標)、およびOracle(登録商標)を含んでいる。当業者は、ウェブアプリケーションが様々な実施形態において1つ以上の言語の1つ以上のバージョンで書かれていることを認識するであろう。ウェブアプリケーションは、1つ以上のマークアップ言語、プレゼンテーション定義言語、クライアント側スクリプト言語、サーバ側コーディング言語、データベースクエリ言語、またはこれらの組み合わせで書かれてもよい。いくつかの実施形態では、ウェブアプリケーションは、ハイパーテキストマークアップ言語(HTML)、拡張可能ハイパーテキストマークアップ言語(XHTML)、または拡張可能マークアップ言語(XML)などのマークアップ言語である程度までは書かれている。いくつかの実施形態では、ウェブアプリケーションは、カスケーディング・スタイル・シート(CSS)などのプレゼンテーション定義言語である程度までは書かれている。いくつかの実施形態では、ウェブアプリケーションは、非同期Javascript(登録商標)およびXML(AJAX)、Flash(登録商標)Actionscript、Javascript(登録商標)、またはSilverlight(登録商標)などのクライアント側スクリプト言語である程度までは書かれている。いくつかの実施形態では、ウェブアプリケーションは、アクティブサーバーページ(ASP)、ColdFusion(登録商標)、Perl、Java(登録商標)、JavaServer Pages(JSP)、ハイパーテキストプリプロセッサ(PHP)、Python(商標)、Ruby、Tcl、スモールトーク、WebDNA(登録商標)、またはGroovyなどのサーバ側コーディング言語である程度までは書かれているいくつかの実施形態では、ウェブアプリケーションは、構造化クエリ言語(SQL)などのデータベースクエリ言語である程度までは書かれている。いくつかの実施形態では、ウェブアプリケーションは、IBM(登録商標)Lotus Domino(登録商標)などの企業側サーバ製品を統合する。いくつかの実施形態では、ウェブアプリケーションはメディアプレイヤー要素を含んでいる。様々なさらなる実施形態では、メディアプレイヤー要素は、非限定的な例として、Adobe(登録商標)Flash(登録商標)、HTML 5、Apple(登録商標)QuickTime(登録商標)、Microsoft(登録商標)Silverlight(登録商標)、Java(登録商標)、およびUnity(登録商標)を含む多くの適切なマルチメディア技術の1つ以上を利用する。
モバイルアプリケーション
いくつかの実施形態では、コンピュータプログラムは、モバイルデジタル処理装置に提供されるモバイルアプリケーションを含んでいる。いくつかの実施形態では、モバイルアプリケーションは製造時にモバイルデジタル処理装置に提供される。他の実施形態では、モバイルアプリケーションは、本明細書に記載されるコンピュータネットワークによってモバイルデジタル処理装置に提供される。
本明細書で提供される本開示を考慮して、モバイルアプリケーションは、当業者に既知のハードウェア、言語、および開発環境を使用して、当業者に既知の技術により作成される。当業者は、モバイルアプリケーションが複数の言語で書かれることを認識するであろう。適切なプログラミング言語は、非限定的な例として、C、C++、C#、オブジェクティブ−C、Java(登録商標)、Javascript(登録商標)、パスカル、オブジェクトパスカル、Python(商標)、Ruby、VB.NET、WML、およびCSSを含むまたは含まないXHTML/HTML、あるいはこれらの組み合わせを含む。
適切なモバイルアプリケーション開発環境はいくつかのソースから利用可能である。市販の開発環境は、非限定的な例として、AirplaySDK、alcheMo、Appcelerator(登録商標)、Celsius、Bedrock、フラッシュライト、.NETコンパクトフレームワーク、Rhomobile、およびWorkLightモバイルプラットフォームを含む。他の開発環境は、費用負担なく入手可能であり、非限定的な例として、Lazarus、MobiFlex、MoSync、およびPhonegapを含む。さらに、モバイルデバイスのメーカーは、非限定的な例として、iPhone(登録商標)およびiPad(登録商標)(iOS)SDK、アンドロイド(商標)SDK、BlackBerry(登録商標)SDK、BREW SDK、Palm(登録商標)OS SDK、Symbian SDK、webOS SDK、およびWindows(登録商標)モバイルSDKを含むソフトウェア開発者キットを販売している。
当業者は、非限定的な例として、Apple(登録商標)App Store、Google(登録商標)Play, Chrome WebStore、BlackBerry(登録商標)App World、Palmデバイスのためのアプリストア、webOSのためのアプリカタログ、モバイル用のWindows(登録商標)Marketplace、Nokia(登録商標)デバイスのためのOvi Store、Samsung(登録商標)アプリ、およびNintendo(登録商標)DSi Shopを含む、複数のWebStoreのフォーラムがモバイルアプリケーションの流通のために利用可能であることを認識するだろう。
スタンドアロンアプリケーション
いくつかの実施形態では、コンピュータプログラムはスタンドアロンアプリケーションを含み、これは独立したコンピュータープロセスとして実行され、既存のプロセスに対するアドオン、例えばプラグイン、ではない。当業者は、スタンドアロンアプリケーションがしばしばコンパイルされることを認識するであろう。コンパイラは、プログラミング言語で書かれたソースコードをアセンブリ言語または機械コードのようなバイナリオブジェクトコードに変換するコンピュータプログラムである。適切なコンパイルされたプログラミング言語は、非限定的な例として、C、C++、オブジェクティブ−C、COBOL、Delphi、Eiffel、Java(商標)、Lisp、Python(商標)、Visual Basic、およびVB.NET、またはこれらの組み合わせを含む。コンパイルは実行可能プログラムを作成するために少なくとも部分的に行われることが多い。いくつかの実施形態では、コンピュータプログラムは1つ以上の実行可能なコンパイルされたアプリケーションを含んでいる。
ウェブブラウザプラグイン
いくつかの実施形態では、コンピュータプログラムはウェブブラウザプラグイン(例えば拡張など)を含んでいる。コンピューティングにおいては、プラグインは、より大きなソフトウェアアプリケーションに特定の機能を加える1つ以上のソフトウェア構成要素である。ソフトウェアアプリケーションのメーカーはプラグインをサポートして、サードパーティの開発者がアプリケーションを拡張する機能を作成し、新しい特徴を容易に追加するのをサポートし、アプリケーションのサイズを縮小することを可能にする。サポートされている場合、プラグインはソフトウェアアプリケーションの機能のカスタマイズを可能にする。例えば、プラグインは、ビデオを再生し、インタラクションを生成し、ウィルスをスキャンし、特定のファイルタイプを表示するために、ウェブブラウザにおいて一般に使用される。当業者は、Adobe(登録商標)Flash(登録商標)プレーヤー、Microsoft(登録商標)Silverlight(登録商標)およびApple(登録商標)QuickTime(登録商標)を含むいくつかのウェブブラウザプラグインに精通しているだろう。
本明細書に提供される開示を考慮すると、非限定的な例として、C++、Delphi、Java(商標)、PHP、Python(商標)、およびVB.NET、またはその組み合わせを含む、様々なプログラミング言語でのプラグインの開発を可能にする、いくつかのプラグインのフレームワークが利用可能であることを当業者は認識するだろう。
ウェブブラウザ(インターネットブラウザとも呼ばれる)は、ネットワーク接続のデジタル処理装置での使用、およびワールド・ワイド・ウェブ上の情報資源の検索、表示、および横断のために設計されたソフトウェアアプリケーションである。適切なウェブブラウザは、非限定的なとしては、Microsoft(登録商標)Internet Explorer(登録商標)、Mozilla(登録商標)Firefox(登録商標)、Google(登録商標)Chrome、Apple(登録商標)Safari(登録商標)、OperaSoftware(登録商標)Opera(登録商標)およびKDE Konquerorを含む。いくつかの実施形態では、ウェブブラウザはモバイルウェブブラウザである。モバイルウェブブラウザ(マイクロブラウザ(mircrobrowser)、ミニブラウザおよび無線ブラウザとも呼ばれる)は、非限定的な例として、ハンドヘルドコンピュータ、タブレットコンピュータ、ネットブックコンピュータ、サブノートブックコンピュータ、スマートフォン、音楽プレーヤー、携帯情報端末(PDA)および携帯型ビデオゲームシステムを含む、モバイルデジタル処理装置での使用のために設計されている。適切なモバイルウェブブラウザは、非限定的な例として、Google(登録商標)Android(登録商標)ブラウザ、RIM BlackBerry(登録商標)ブラウザ、Apple(登録商標)Safari(登録商標)、Palm(登録商標)Blazer、Palm(登録商標)WebOS(登録商標)ブラウザ、モバイル用のMozilla(登録商標)Firefox(登録商標)、Microsoft(登録商標)InternetExplorer(登録商標)、モバイル、Amazon(登録商標)Kindle(登録商標)Basic Web、Nokia(登録商標)ブラウザ、OperaSoftware(登録商標)Opera(登録商標)モバイル、およびSony(登録商標)PSP(商標)ブラウザ、を含む。
ソフトウェアモジュール
いくつかの実施形態では、本明細書に開示されたプラットフォーム、システム、媒体、および方法は、ソフトウェア、サーバ、および/またはデータベースモジュール、あるいはこれらの使用を含んでいる。本明細書で提供される本開示を考慮して、ソフトウェアモジュールは、当該技術分野で既知のマシン、ソフトウェア、および言語を使用する、当業者に既知の技術によって作成される。本明細書に開示されるソフトウェアモジュールは多くの方法で実施される。様々な実施形態において、ソフトウェアモジュールは、ファイル、コードのセクション、プログラミングオブジェクト、プログラミング構造、またはそれらの組み合わせを含む。さらに様々な実施形態において、ソフトウェアモジュールは、複数のファイル、コードの複数のセクション、複数のプログラミングオブジェクト、複数のプログラミング構造、またはそれらの組み合わせを含む。様々な実施形態において、1つ以上のソフトウェアモジュールは、限定されないが、ウェブアプリケーション、モバイルアプリケーション、およびスタンドアロンアプリケーションを含む。いくつかの実施形態において、ソフトウェアモジュールは、1つのコンピュータプログラムまたはアプリケーション中にある。他の実施形態において、ソフトウェアモジュールは、1つ以上のコンピュータプログラムまたはアプリケーション中にある。いくつかの実施形態において、ソフトウェアモジュールは1つのマシン上でホストされる(hosted)。他の実施形態において、ソフトウェアモジュールは1つ以上のマシン上でホストされる。さらなる実施形態において、ソフトウェアモジュールは、クラウドコンピューティングプラットフォーム上でホストされる。いくつかの実施形態において、ソフトウェアモジュールは1つの位置にある1つ以上のマシン上でホストされる。他の実施形態において、ソフトウェアモジュールは、1つ以上の位置にある1つ以上のマシン上でホストされる。
データベース
いくつかの実施形態では、本明細書に開示されたプラットフォーム、システム、媒体、および方法は、1つ以上のデータベースまたは該データベースの使用を含む。本明細書で提供される本開示を考慮して、当業者は、多くのデータベースがユーザ、出版物、トリガー、ARコンテンツ、およびVRコンテンツの情報の保管と検索に適していることを認識するであろう。様々な実施形態では、適切なデータベースは、非限定的な例として、リレーショナルデータベース、非リレーショナルデータベース、オブジェクト指向型データベース、オブジェクトデータベース、エンティティ関係モデルデータベース、結合性データベース、およびXMLデータベースを含んでいる。さらなる非限定的な例には、SQL、PostgreSQL、MySQL、Oracle、DB2およびSybaseが含まれる。いくつかの実施形態では、データベースはインターネットを利用したものである。さらなる実施形態では、データベースはウェブを利用したものである。またさらなる実施形態では、データベースはクラウドコンピューティングを利用したものである。他の実施形態では、データベースは1つ以上のローカルコンピュータメモリデバイスを利用したものである。
以下の実例となる例は、本明細書に記載されるソフトウェアアプリケーション、システムおよび方法の実施形態の代表的なものであり、いかなる方法でも限定することを意味しない。
実施例1−ARおよびVRのユーザ体験を開始するトリガーを有する物理的な本
特定の実施形態では、ユーザは、「Morning Nightmare」というタイトルの幼い読者向けの電子書籍の形態の出版物を得る。図10−25で図示されるように、出版物は、思い出に残る冬のスクールバスの乗車のイラスト入りのストーリーを提示する。出版物で提示されるストーリーは、恐怖を克服し、自信を築くことについてのメッセージを含み、対処するスキルと紛争解決のテクニックを強調している。物語は一人称で提示される。
図19を参照すると、該出版物はQRコード(登録商標)を含み、これは、ユーザのモバイルコンピューティングデバイスによってスキャンされた時、本明細書に記述されるようにアプリケーションをダウンロードしてインストールするためのアクセスを提供する。該アプリケーションはまた、当分野で周知のアプリストアを介して利用可能である。一旦インストールされたアプリケーションにより、ユーザがモバイルコンピューティングデバイスのカメラを通じてその環境を見ることが可能になり、そのアウトプットはデバイスのスクリーンに表示される。
図26を参照すると、ユーザはアプリケーションをインストールし、アプリケーションを始めるためにアプリケーションアイコンをアクティブ化する。次いで、ユーザは、モバイルコンピューティングデバイスのディスプレイスクリーン上のカメラの出力を介して、デバイス上で作動するアプリケーションを用いてその環境を見る。そのようにして、ユーザの周囲のライブビデオフィードがアプリケーションに利用可能になる。引き続き図26を参照すると、電子書籍のプリントアウトされたもの(または電子書籍自体のオンスクリーン表示)がアプリケーションを作動させるデバイスを介して見られると、出版物の表紙アートがトリガーとして特定される。この場合、表紙アートの画像はデータベースにアップロードされ、メディアコンテンツと関連する。
図27を参照すると、該アプリケーションは、データベースを照会するために特定されたトリガーを使用し、そのトリガーに関連付けられているメディアコンテンツを特定する。この場合、特定されるメディアコンテンツは3Dで、アニメーションの、インタラクティブメディア要素である。メディアコンテンツは、出版物の表紙に重なるARコンテンツとして、デバイスのスクリーン上でユーザに提示される。引き続き図26を参照すると、ARコンテンツは、ストーリーのプロットとテーマに関連する活動を行う、出版物のストーリー由来のキャラクターを含む。この場合、雪玉を投げてユーザに相対している、バスの子供( a child from the bus)である。
いくつかの場合には、ユーザは、タッチスクリーン、マルチタッチスクリーン、ボタン、スタイラス、トラックボールなどのモバイルコンピューティングデバイスの入力要素を介してメディアコンテンツとインタラクションすることができる。特定の実施形態では、ユーザは、ARオーバーレイ中のキャラクターにタッチすることによりメディアコンテンツ中のキャラクターに雪玉を投げ返すことができる。
図28を参照すると、アプリケーションは、継続的にユーザの視野をモニタリングして、出版物およびその中の何らかのトリガーが視野内にあるかどうかを判定し、出版物および特定されたトリガーに対するユーザの視野角を判定する。引き続き図26を参照すると、ユーザの視野が出版物および特定されたトリガーに対して回転する時、メディアコンテンツの向きはARメディアコンテンツ中のユーザおよびキャラクターの視野と位置合わせするように修正され、ARメディアコンテンツ内のキャラクターはユーザの方を向く。
図31を参照すると、第1の改良されたインタラクティブ体験の完成は第2のものを引き起こし、これはVR体験である。ユーザは、第2の改良されたインタラクティブ体験を見るために、VRヘッドセットに自分のモバイルデバイスを置くように指示される。引き続き図31を参照すると、トリガーは特定され、第2のメディアコンテンツをさらに特定するために使用される。この場合、ストーリーに関連付けられ、ストーリーの一人称視点から提示される3Dインタラクティブシーンを表すVRメディアコンテンツである。
図32−36は、再び代替的な第2の改良されたインタラクティブ体験を示し、VRメディアコンテンツは、ストーリーに関連しかつストーリーのメインキャラクターの一人称視点から提示されるシーンを表す。この場合、ストーリーに関連する活動を行うストーリー由来の複数のキャラクターを示す雪景色である。ユーザの視野が空間内で回転すると、メディアコンテンツの向きは、3Dで360度VRのシーンを提供するように修正される。
特に図34を参照すると、VRメディアコンテンツはインタラクティブである。VR環境においてユーザの視野の中心にマークされた焦点を使用することによって、ユーザは凝視し、および凝視し続け、環境およびキャラクターとインタラクションすることができる。この場合、ストーリー由来のキャラクターとの雪合戦を再び選ぶことである。
ある特徴および態様が典型的な実施形態に関して記載されているが、当業者は多数の修正が可能であることを認識するだろう。例えば、本明細書に記載の方法とプロセスは、ハードウェア構成要素、ソフトウェア構成要素、および/または、その任意の組み合わせを使用して、実装されてもよい。さらに、本明細書に記載の様々な方法およびプロセスは、説明を容易にするために特定の構造的および/または機能的な構成要素に関して説明され得る一方で、様々な実施形態によって提供される方法は、任意の特定の構造的および/または機能的アーキテクチャに限定されず、代わりに任意の適切なハードウェア、ファームウェア、および/またはソフトウェア構成上で実施することができる。同様に、特定の機能は特定のシステム構成要素に帰すが、文脈がそうでないことを指示しない限り、この機能はいくつかの実施形態に従って様々な他のシステム構成要素間に分散させることができる。
さらに、本明細書で記載される方法およびプロセスの手順は、説明を容易にするために特定の順序で記載されるが、文脈がそうでないことを指示しない限り、様々な実施形態に従って様々な手順が並べ替えられ、追加され、および/または省略され得る。さらに、1つの方法またはプロセスに関して記述された手順は、他の記載された方法またはプロセス内に組み込まれてもよく;同様に、特定の構造的アーキテクチャに従って、および/または、1つのシステムに関して記載されたシステム構成要素は、代替的な構造的アーキテクチャで編成されてもよく、および/または他の記載されたシステム内に組み込まれてもよい。従って、説明を容易にし、それらの実施形態の例示的な態様を示すために、様々な実施形態が特定の特徴を伴って、または伴わずに説明されているが、特定の実施形態に関して本明細書で記載された様々な構成要素および/または特徴は、文脈が他に指示しない限り、他の説明された実施形態の中から置換、追加、および/または差し引かれることができる。従って、いくつかの典型的な実施形態が上述されているが、本発明は次の請求項の範囲内の修正および等価物をすべてカバーするように意図されているということが理解されよう。

Claims (27)

  1. 出版物を改良する、コンピュータで実施される方法であって、該方法は:
    a)ユーザによってキャプチャされたライブビデオを受信する工程であって、該ビデオは出版物のビデオを含み、該出版物は著作権を有するコンテンツを含む、工程;
    b)ライブビデオ中の少なくとも1つの第1のトリガーを特定する工程;
    c)少なくとも1つの第1のトリガーに関連し、著作権を有するコンテンツに関係する、1つ以上の第1の三次元のインタラクティブメディアを特定する工程;
    d)第1のビジュアルアウトプットデバイスを介して、ユーザに、第1の三次元のインタラクティブメディアを提示する工程;
    e)第1の三次元のインタラクティブメディア中の少なくとも1つのトリガーを特定する工程;
    f)少なくとも1つの第2のトリガーに関連し、著作権を有するコンテンツに関係する、1つ以上の第2の三次元のインタラクティブメディアを特定する工程;および、
    g)第1または第2のビジュアルアウトプットデバイスを介して、ユーザに、第2の三次元のインタラクティブメディアを提示する工程、を含む、方法。
  2. 出版物は印刷された出版物である、請求項1に記載の方法。
  3. 出版物は電子書籍である、請求項1に記載の方法。
  4. 出版物は:フィクション小説、ノンフィクション小説、児童図書、新聞、雑誌、漫画、コミックストリップ、グラフィックノベル、百科事典、辞書、地図、カレンダー、グリーティングカード、しおり、イベントチケット半券、および、ポスター、からなる群から選択される1つ以上を含む、請求項1に記載の方法。
  5. 少なくとも1つの第1のトリガーは、出版物に関連する、テキスト、画像、QRコード、または、バーコードを含む、請求項1に記載の方法。
  6. 少なくとも1つの第1のトリガーは、出版物に関連する三次元のオブジェクトを含む、請求項1に記載の方法。
  7. 第1の三次元のインタラクティブメディアは、360度ビデオを含む、請求項1に記載の方法。
  8. 第1の三次元のインタラクティブメディアは、拡張現実ディスプレイを含む、請求項1に記載の方法。
  9. 第1の三次元のインタラクティブメディアは、マルチメディアゲームを含む、請求項1に記載の方法。
  10. 第1のビジュアルアウトプットデバイスは、カメラおよびディスプレイスクリーンを含むモバイルデバイスである、請求項1に記載の方法。
  11. 少なくとも1つの第2のトリガーは、第1の三次元のインタラクティブメディアとのユーザのインタラクションを含む、請求項1に記載の方法。
  12. 少なくとも1つの第2のトリガーは、継続するインタラクションを含む、請求項11に記載の方法。
  13. 第2の三次元のインタラクティブメディアは、仮想現実環境、360度ビデオ、または、マルチメディアゲーム、を含む、請求項1に記載の方法。
  14. 第2の三次元のインタラクティブメディアは、仮想現実環境を含む、請求項13に記載の方法。
  15. 第2のビジュアルアウトプットデバイスは、仮想現実ヘッドセットである、請求項14に記載の方法。
  16. a)ユーザの視野を判定する工程であって、該視野は出版物の少なくとも一部を含む、工程;
    b)ユーザの視野と位置合わせするように、1つ以上の三次元のインタラクティブメディアコンテンツの向きを修正する工程;および、
    c)ビジュアルアウトプットデバイスを用いて、ユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上の三次元のインタラクティブメディアコンテンツを提示する工程であって、その結果、1つ以上の三次元のインタラクティブメディアコンテンツは、出版物の少なくとも一部に関して、仮想オーバレイとして提示される工程、
    をさらに含む、請求項1に記載の方法。
  17. ライブビデオは複数のトリガーを含む、請求項1に記載の方法。
  18. 複数の第1のトリガーに関連する1つ以上の第1の三次元のインタラクティブメディアを特定する工程は、前もって定義したトリガーの組み合わせに関連する1つ以上のメディアを特定する工程を含む、請求項17に記載の方法。
  19. 第1の三次元のインタラクティブメディアは複数のトリガーを含む、請求項1に記載の方法。
  20. 複数の第2のトリガーに関連する1つ以上の第2の三次元のインタラクティブメディアを特定する工程は、前もって定義したトリガーの組み合わせに関連する1つ以上のメディアを特定する工程を含む、請求項19に記載の方法。
  21. 第1の三次元のインタラクティブメディアおよび第2の三次元のインタラクティブメディアは、著作権を有するコンテンツに関する、テキスト、1つ以上のグラフィック、1つ以上のキャラクター、話の筋、テーマ、1つ以上のインタラクション、音楽、1つ以上のサウンドエフェクト、または、話されている言葉の音声、を含むものとして、著作権を有するコンテンツに関係する、請求項1に記載の方法。
  22. コンピュータで実施されるシステムであって、該システムはデジタル処理装置を含み、該デジタル処理装置は少なくとも1つのプロセッサ、メモリ、ディスプレイ、カメラ、実行可能命令を実行するように構成されたオペレーティングシステム、および、出版物を改良するためのアプリケーションを作成するためのデジタル処理装置によって実行可能な命令を含むコンピュータプログラム、を含み;該アプリケーションは:
    a)カメラを介してユーザによってキャプチャされたライブビデオを受信する第1のソフトウェアモジュールであって、該ライブビデオは出版物のビデオを含み、該出版物は著作権を有するコンテンツを含む、第1のソフトウェアモジュール;
    b)ライブビデオ中の少なくとも1つの第1のトリガーを特定し、少なくとも1つの第1のトリガーに関連しおよび著作権を有するコンテンツに関係する1つ以上の第1の三次元のインタラクティブメディアを特定し、および、ディスプレイを介してユーザに、第1の三次元のインタラクティブメディアを提示する、第2のソフトウェアモジュール;および、
    c)第1の三次元のインタラクティブメディア中の少なくとも1つの第2のトリガーを特定し、少なくとも1つの第2のトリガーに関連しおよび著作権を有するコンテンツに関係する1つ以上の第2の三次元のインタラクティブメディアを特定し、および、ディスプレイを介してユーザに第2の三次元のインタラクティブメディアを提示する、第3のソフトウェアモジュール、
    を含む、システム。
  23. アプリケーションは、さらに:
    第4のソフトウェアモジュールであって、ユーザの視野を判定し、該視野は出版物の少なくとも一部を含み、ユーザの視野と位置合わせするように、1つ以上の三次元のインタラクティブメディアコンテンツの向きを修正し、および、ディスプレイを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上の三次元のインタラクティブメディアコンテンツを提示し、
    その結果、1つ以上の三次元のインタラクティブメディアコンテンツは、出版物の少なくとも一部に関して、仮想オーバレイとして提示される、第4のソフトウェアモジュール、を含む、請求項22に記載のシステム。
  24. 第1の三次元のインタラクティブメディアおよび第2の三次元のインタラクティブメディアは、著作権を有するコンテンツに関連する、テキスト、1つ以上のグラフィック、1つ以上のキャラクター、話の筋、テーマ、1つ以上のインタラクション、音楽、1つ以上のサウンドエフェクト、または、話されている言葉の音声、を含むものとして、著作権を有するコンテンツに関係する、請求項22に記載のシステム。
  25. 出版物を改良するためのアプリケーションを作成するためにプロセッサによって実行可能な命令を含むコンピュータプログラムでエンコードされた非一時的なコンピュータ可読記憶媒体であって、該アプリケーションは:
    a)モバイルデバイスのカメラを介してユーザによってキャプチャされたライブビデオを受信する第1のソフトウェアモジュールであって、該ライブビデオは出版物のビデオを含み、該出版物は著作権を有するコンテンツを含む、第1のソフトウェアモジュール;
    b)ライブビデオ中の少なくとも1つの第1のトリガーを特定し、少なくとも1つの第1のトリガーに関連しおよび著作権を有するコンテンツに関係する1つ以上の第1の三次元のインタラクティブメディアを特定し、および、モバイルデバイスを介してユーザに、第1の三次元のインタラクティブメディアを提示する、第2のソフトウェアモジュール;および、
    c)第1の三次元のインタラクティブメディア中の少なくとも1つの第2のトリガーを特定し、少なくとも1つの第2のトリガーに関連しおよび著作権を有するコンテンツに関係する1つ以上の第2の三次元のインタラクティブメディアを特定し、および、モバイルデバイスを介してユーザに第2の三次元のインタラクティブメディアを提示する、第3のソフトウェアモジュール、
    を含む、媒体。
  26. アプリケーションは、さらに、第4のソフトウェアモジュールであって、ユーザの視野を判定し、該視野は出版物の少なくとも一部を含み、ユーザの視野と位置合わせするように、1つ以上の三次元のインタラクティブメディアコンテンツの向きを修正し、および、ディスプレイを用いてユーザに、ユーザの視野と位置合わせするように向きが修正された1つ以上の三次元のインタラクティブメディアコンテンツを提示し、その結果、1つ以上の三次元のインタラクティブメディアコンテンツは、出版物の少なくとも一部に関して、仮想オーバレイとして提示される、第4のソフトウェアモジュール、を含む、請求項25に記載の媒体。
  27. 第1の三次元のインタラクティブメディアおよび第2の三次元のインタラクティブメディアは、著作権を有するコンテンツに関連する、テキスト、1つ以上のグラフィック、1つ以上のキャラクター、話の筋、テーマ、1つ以上のインタラクション、音楽、1つ以上のサウンドエフェクト、または、話されている言葉の音声、を含むものとして、著作権を有するコンテンツに関係する、請求項25に記載の媒体。
JP2019515779A 2016-06-03 2017-06-02 ユーザと出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施するためのシステムおよび方法関連出願への相互参照 Active JP7021201B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662345320P 2016-06-03 2016-06-03
US62/345,320 2016-06-03
US15/445,806 2017-02-28
US15/445,806 US10748339B2 (en) 2016-06-03 2017-02-28 System and method for implementing computer-simulated reality interactions between users and publications
PCT/US2017/035620 WO2017210522A1 (en) 2016-06-03 2017-06-02 System and method for implementing computer-simulated reality interactions between users and publications

Publications (2)

Publication Number Publication Date
JP2019521460A true JP2019521460A (ja) 2019-07-25
JP7021201B2 JP7021201B2 (ja) 2022-02-16

Family

ID=60477985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019515779A Active JP7021201B2 (ja) 2016-06-03 2017-06-02 ユーザと出版物の間のコンピュータシミュレーテッドリアリティのインタラクションを実施するためのシステムおよび方法関連出願への相互参照

Country Status (7)

Country Link
US (7) US10748339B2 (ja)
JP (1) JP7021201B2 (ja)
KR (1) KR102339332B1 (ja)
CN (1) CN109690632B (ja)
AU (1) AU2017274518B2 (ja)
CA (1) CA3026337A1 (ja)
WO (1) WO2017210522A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919507B (zh) 2012-06-14 2018-06-26 百利游戏技术有限公司 用于增强现实游戏的系统和方法
US10120437B2 (en) * 2016-01-29 2018-11-06 Rovi Guides, Inc. Methods and systems for associating input schemes with physical world objects
US10748339B2 (en) 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
US10578880B2 (en) * 2016-06-21 2020-03-03 Intel Corporation Augmenting reality via antenna and interaction profile
US11696629B2 (en) 2017-03-22 2023-07-11 A Big Chunk Of Mud Llc Convertible satchel with integrated head-mounted display
WO2018194569A1 (en) * 2017-04-18 2018-10-25 Hewlett-Packard Development Company, L.P. Virtual input devices for pressure sensitive surfaces
WO2018200993A1 (en) * 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
KR20180131856A (ko) * 2017-06-01 2018-12-11 에스케이플래닛 주식회사 배송 물품 정보 제공 방법 및 이를 위한 장치
US10565452B2 (en) * 2017-10-06 2020-02-18 Steve Rad Virtual reality system and kit
US10430658B2 (en) * 2017-10-06 2019-10-01 Steve Rad Augmented reality system and kit
WO2019071209A1 (en) * 2017-10-06 2019-04-11 Rad Steve SYSTEM AND KIT OF INCREASED REALITY
JP2021508122A (ja) * 2017-12-19 2021-02-25 ロバート チュア プロダクション ハウス カンパニー リミテッドRobert Chua Production House Co.Ltd. インタラクティブな印刷出版物
US10846205B2 (en) * 2017-12-21 2020-11-24 Google Llc Enhancements to support testing of augmented reality (AR) applications
US10580215B2 (en) 2018-03-29 2020-03-03 Rovi Guides, Inc. Systems and methods for displaying supplemental content for print media using augmented reality
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
WO2019235849A1 (ko) * 2018-06-06 2019-12-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 미디어 처리 방법 및 그 장치
US10812486B2 (en) 2018-12-05 2020-10-20 Bank Of America Corporation Utilizing smart data tags to track and control secure enterprise data
WO2020181086A1 (en) * 2019-03-06 2020-09-10 Rad Steve Augmented and virtual reality system and kit
US11770569B2 (en) * 2019-04-05 2023-09-26 Q'ligent Corporation Providing risk based subscriber enhancements
US10949671B2 (en) * 2019-08-03 2021-03-16 VIRNECT inc. Augmented reality system capable of manipulating an augmented reality object and an augmented reality method using the same
CN110458928A (zh) * 2019-08-12 2019-11-15 苏州悠优互娱文化传媒有限公司 基于unity3d的AR动画生成方法、装置、介质
CN110874596B (zh) * 2019-11-06 2023-02-28 中国石油大学(北京) 一种仪表智能识别预警方法及系统
US20210375023A1 (en) * 2020-06-01 2021-12-02 Nvidia Corporation Content animation using one or more neural networks
CN112288840B (zh) * 2020-10-26 2021-08-24 北京优锘科技有限公司 一种三维渲染引擎结合JavaScript脚本引擎实现运行的方法
US11558472B2 (en) * 2021-03-01 2023-01-17 Daniel Goddard Augmented reality positioning and matching system
US11861801B2 (en) 2021-12-30 2024-01-02 Snap Inc. Enhanced reading with AR glasses
WO2023129380A1 (en) * 2021-12-30 2023-07-06 Snap Inc. Enhanced reading with ar glasses
EP4224289A1 (en) * 2022-02-08 2023-08-09 Nokia Technologies Oy Mediated reality
WO2023205393A1 (en) * 2022-04-22 2023-10-26 Quintar, Inc. Alignment of 3d graphics extending beyond frame in augmented reality system with remote presentation
KR102572990B1 (ko) 2022-10-18 2023-08-31 소라피리협동조합 에듀테인먼트 콘텐츠 제공 플랫폼 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008068060A (ja) * 2006-09-14 2008-03-27 Nintendo Co Ltd ポインティング入力を利用した、3d視点およびオブジェクト指定の制御方法および装置
US20130147836A1 (en) * 2011-12-07 2013-06-13 Sheridan Martin Small Making static printed content dynamic with virtual data
US20130307856A1 (en) * 2012-05-16 2013-11-21 Brian E. Keane Synchronizing virtual actor's performances to a speaker's voice
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1582458A (en) 1925-01-08 1926-04-27 Frank D Fortney Book
US2197152A (en) 1936-06-08 1940-04-16 F N Burt Company Inc Box
US2918997A (en) 1958-02-11 1959-12-29 Henry L Kotkins Luggage construction
JPS57924B2 (ja) 1974-05-30 1982-01-08
USD268098S (en) 1979-04-24 1983-03-01 Garrod & Lofthouse Limited Container for a cassette box or the like
USD271161S (en) 1981-02-27 1983-11-01 Compton Edward M Video cassette book cover storage receptacle package
JPS5891927U (ja) 1981-12-16 1983-06-22 池田物産株式会社 カバン
USD294124S (en) 1985-05-23 1988-02-09 Ex-Cell Home Fashions, Inc. Display box
JPS63197524U (ja) 1987-06-08 1988-12-20
JPH04207868A (ja) 1990-11-30 1992-07-29 Sony Corp 電子機器のバッテリー
USD354520S (en) 1992-06-11 1995-01-17 Paper House Limited Display stand
US5248037A (en) 1992-08-03 1993-09-28 Largely Literary Designs, Inc. Display box simulating a book
USD369829S (en) 1994-08-31 1996-05-14 Tomy Company, Ltd. Picture-displaying binder case
USD472420S1 (en) 1996-02-22 2003-04-01 Nexpak Corporation Video cassette storage container
USD385781S (en) 1996-10-02 1997-11-04 DML Associates, Inc. Display box for a doll and book
US20030059758A1 (en) * 2000-02-23 2003-03-27 Brett Cohen Enhanced reading system and method
JP2003044387A (ja) 2001-05-18 2003-02-14 Sharp Corp データサーバ装置、データ配信プログラム、データ配信プログラムを記録したコンピュータ読み取り可能な記録媒体およびクライアント装置
US7269632B2 (en) * 2001-06-05 2007-09-11 Xdyne, Inc. Networked computer system for communicating and operating in a virtual reality environment
JP3086669U (ja) 2001-12-13 2002-06-28 株式会社アカマツ バッグ
US6917370B2 (en) * 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
JP3093914U (ja) 2002-11-07 2003-05-23 百合子 小池 持ち手交換式かばん
US8028233B1 (en) * 2003-05-02 2011-09-27 Yahoo! Inc. Interactive graphical interface including a streaming media component and method and system of producing the same
USD495746S1 (en) 2003-09-26 2004-09-07 Officemate International Corporation Clipboard storage box
US20160267720A1 (en) 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US20050242771A1 (en) 2004-04-30 2005-11-03 Blum Ronald D Method and apparatus for recharging eyeglasses
US20060113203A1 (en) 2004-11-30 2006-06-01 Charles Daley Computer bag
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
CN2909320Y (zh) 2006-05-15 2007-06-06 普立尔科技股份有限公司 相机皮套
US20070201201A1 (en) 2006-07-12 2007-08-30 Daley Charles A Iii Bag computer
US7973786B2 (en) 2007-01-16 2011-07-05 Motorola Solutions, Inc. System and method for managing interaction in a virtual environment
USD566395S1 (en) 2007-05-07 2008-04-15 Target Brands, Inc. Container
US20090009938A1 (en) 2007-07-05 2009-01-08 Daley Iii Charles A Bag computer, front mount, top/bottom holder
US20090026749A1 (en) 2007-07-27 2009-01-29 Sandvik Innovations, Llc Interactive book having electronic circuits triggered by levels of illumination
USD624816S1 (en) 2008-04-02 2010-10-05 Philip Morris Usa Inc. Packaging container
WO2009133531A2 (en) * 2008-05-01 2009-11-05 Animation Lab Ltd. Device, system and method of interactive game
US7900757B2 (en) 2008-05-28 2011-03-08 Aviva Warter Sisitsky Carrying bag having a detachable bottom portion
USD654113S1 (en) 2008-08-27 2012-02-14 Americhip, Inc. Multi-spread video book
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
KR101531363B1 (ko) * 2008-12-10 2015-07-06 삼성전자주식회사 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법
US8457387B2 (en) * 2009-03-13 2013-06-04 Disney Enterprises, Inc. System and method for interactive environments presented by video playback devices
JP2011077960A (ja) 2009-09-30 2011-04-14 Brother Industries Ltd ヘッドマウントディスプレイ
US20110181497A1 (en) * 2010-01-26 2011-07-28 Roni Raviv Object related augmented reality play system
USD642743S1 (en) 2010-04-14 2011-08-02 Zena Shteysel Cosmetic holder
US8657138B2 (en) 2010-06-24 2014-02-25 Sussex Im, Inc. Container having a pre-curved lid
CA2799796A1 (en) 2010-06-29 2012-01-12 Targus Group International, Inc. Carrying cases having adjustable compartments for use with portable electronic devices and related methods
JP3164825U (ja) 2010-10-06 2010-12-16 株式会社エニックス 眼鏡ケース付きの物入れバッグ
US20120122570A1 (en) 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
WO2013085639A1 (en) * 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
US9536251B2 (en) 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US9101197B2 (en) 2011-12-23 2015-08-11 Tedolph Consolidated Industries Convertible camera kit bag
USD688420S1 (en) 2012-01-09 2013-08-20 Chao Ling Chemical Industry Co., Ltd. Cosmetic case
US9041739B2 (en) 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
JP6208151B2 (ja) 2012-02-06 2017-10-04 ソニー インタラクティブ エンタテインメント ヨーロッパ リミテッド 拡張現実のためのブックオブジェクト
US9928651B2 (en) * 2012-02-21 2018-03-27 Mahesh Babu Mariappan Overlaid virtual playground and overlaid virtual information delivery platform for restaurants, catering businesses and other businesses using menu cards, pizza boxes, salt and pepper shakers, and other objects
US10672018B2 (en) 2012-03-07 2020-06-02 Visa International Service Association Systems and methods to process offers via mobile devices
GB2500416B8 (en) 2012-03-21 2017-06-14 Sony Computer Entertainment Europe Ltd Apparatus and method of augmented reality interaction
US8818464B2 (en) 2012-03-21 2014-08-26 Google Inc. Device case with added functionality
GB2501921B (en) 2012-05-11 2017-05-03 Sony Computer Entertainment Europe Ltd Augmented reality system
US9165381B2 (en) * 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
WO2013192113A1 (en) 2012-06-18 2013-12-27 Brian Mark Shuster Transfer of virtual objects between applications
US9417692B2 (en) 2012-06-29 2016-08-16 Microsoft Technology Licensing, Llc Deep augmented reality tags for mixed reality
US9105210B2 (en) 2012-06-29 2015-08-11 Microsoft Technology Licensing, Llc Multi-node poster location
KR101861380B1 (ko) 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
EP2875491A4 (en) * 2012-07-19 2016-06-15 Gaurav Vats USER-CONTROLLED 3D SIMULATION PROVIDING REALISTIC AND ENHANCED VISUALIZATION AND INTERACTION EXPERIENCE WITH DIGITAL OBJECT
USD691653S1 (en) 2012-09-06 2013-10-15 Rodrigo Benadon Book
US20140078174A1 (en) 2012-09-17 2014-03-20 Gravity Jack, Inc. Augmented reality creation and consumption
JP2016502694A (ja) * 2012-10-04 2016-01-28 ディズニー エンタープライゼス インコーポレイテッド 没入型環境用のインタラクティブ型オブジェクト
AU2013358877B2 (en) 2012-12-14 2017-08-17 Andrew HAMRA Latch and carry detachable messenger bag and shoulder strap assembly for personal electronic devices
KR102056175B1 (ko) 2013-01-28 2020-01-23 삼성전자 주식회사 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
US9415621B2 (en) 2013-02-19 2016-08-16 Little Magic Books, Llc Interactive book with integrated electronic device
US9628783B2 (en) * 2013-03-15 2017-04-18 University Of Southern California Method for interacting with virtual environment using stereoscope attached to computing device and modifying view of virtual environment based on user input in order to be displayed on portion of display
USD692949S1 (en) 2013-03-15 2013-11-05 Ellis N. Shamoon Clipboard storage container
KR20140119291A (ko) * 2013-03-28 2014-10-10 최명진 미러월드 마케팅 플랫폼 기반 증강현실 장바구니 시스템
US9818150B2 (en) 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US20140367004A1 (en) 2013-06-17 2014-12-18 Emiko Miki Cell Phone Carrying Case
KR101536115B1 (ko) * 2013-08-26 2015-07-14 재단법인대구경북과학기술원 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
EP3042340A4 (en) 2013-09-02 2017-04-26 Suresh T. Thankavel Ar-book
USD701865S1 (en) 2013-09-03 2014-04-01 Scanavo Manufacturing HK Ltd. Storage case
US9652895B2 (en) 2014-03-06 2017-05-16 Disney Enterprises, Inc. Augmented reality image transformation
WO2015138266A1 (en) 2014-03-10 2015-09-17 Ion Virtual Technology Corporation Modular and convertible virtual reality headset system
USD741193S1 (en) 2014-08-20 2015-10-20 Suit Supply B.V. Package for garments
KR102230076B1 (ko) 2014-09-01 2021-03-19 삼성전자 주식회사 헤드 마운트 디스플레이 장치
US20160203645A1 (en) 2015-01-09 2016-07-14 Marjorie Knepp System and method for delivering augmented reality to printed books
USD780844S1 (en) 2015-02-09 2017-03-07 Westside Solutions Sàrl Book with multimedia screen
US9646400B2 (en) * 2015-02-12 2017-05-09 At&T Intellectual Property I, L.P. Virtual doorbell augmentations for communications between augmented reality and virtual reality environments
TWI540522B (zh) * 2015-02-26 2016-07-01 宅妝股份有限公司 採用虛擬實境與擴增實境技術的虛擬購物系統與方法
CN204617351U (zh) 2015-04-13 2015-09-09 内蒙古科技大学 一种适用于笔记本电脑的多功能电脑箱
US20160378296A1 (en) 2015-06-25 2016-12-29 Ashok Mishra Augmented Reality Electronic Book Mechanism
US10373392B2 (en) * 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
US10262466B2 (en) * 2015-10-14 2019-04-16 Qualcomm Incorporated Systems and methods for adjusting a combined image visualization based on depth information
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US20170293351A1 (en) * 2016-04-07 2017-10-12 Ariadne's Thread (Usa), Inc. (Dba Immerex) Head mounted display linked to a touch sensitive input device
US10748339B2 (en) 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
USD803315S1 (en) 2016-12-13 2017-11-21 Ipevo Corp. Book page holder
US11696629B2 (en) 2017-03-22 2023-07-11 A Big Chunk Of Mud Llc Convertible satchel with integrated head-mounted display
USD820080S1 (en) 2017-04-25 2018-06-12 Kinesio Ip Llc Box
USD882392S1 (en) 2017-11-13 2020-04-28 A Big Chunk Of Mud Llc Virtual reality enhanced book and packaging
USD850006S1 (en) 2017-11-27 2019-05-28 Mary Kay Inc. Cosmetic compact
US11420493B2 (en) 2019-10-25 2022-08-23 Caterpillar Inc. Space frame front lower suspension connection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008068060A (ja) * 2006-09-14 2008-03-27 Nintendo Co Ltd ポインティング入力を利用した、3d視点およびオブジェクト指定の制御方法および装置
US20130147836A1 (en) * 2011-12-07 2013-06-13 Sheridan Martin Small Making static printed content dynamic with virtual data
US20130307856A1 (en) * 2012-05-16 2013-11-21 Brian E. Keane Synchronizing virtual actor's performances to a speaker's voice
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARK BILLINGHURST, 他2名: "The MagicBook: A Transitional AR Interface", COMPUTERS & GRAPHICS, vol. Volume 25, Issue 5, JPN6021019157, October 2001 (2001-10-01), pages 745 - 753, ISSN: 0004512586 *

Also Published As

Publication number Publication date
JP7021201B2 (ja) 2022-02-16
US20210264676A1 (en) 2021-08-26
US11004268B2 (en) 2021-05-11
US11017607B2 (en) 2021-05-25
US20200334914A1 (en) 2020-10-22
US11481986B2 (en) 2022-10-25
US20180336735A1 (en) 2018-11-22
KR102339332B1 (ko) 2021-12-13
US20210233322A1 (en) 2021-07-29
US20170352187A1 (en) 2017-12-07
US20230260225A1 (en) 2023-08-17
US20210272374A1 (en) 2021-09-02
KR20190033511A (ko) 2019-03-29
US10748339B2 (en) 2020-08-18
US11481984B2 (en) 2022-10-25
AU2017274518A1 (en) 2019-01-24
CA3026337A1 (en) 2017-12-07
WO2017210522A1 (en) 2017-12-07
AU2017274518B2 (en) 2021-12-09
CN109690632B (zh) 2023-10-27
US11663787B2 (en) 2023-05-30
CN109690632A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
US11481986B2 (en) System and method for implementing computer-simulated reality interactions between users and publications
US10902034B2 (en) Method for populating a map with a plurality of avatars through the use of a mobile technology platform
Snickars et al. Moving data: The iPhone and the future of media
Jackson The glitch aesthetic
Guttentag et al. The future is now: how virtual reality and augmented reality are transforming tourism
Baker Virtual, artificial and mixed reality: New frontiers in performance
Shi et al. Restoration of traditional Chinese shadow play‐Piying art from tangible interaction
Fabola et al. A virtual museum installation for time travel
Seide et al. Virtual cinematic heritage for the lost Singaporean film Pontianak (1957)
WO2017205354A1 (en) Augmented content system and method
Jung et al. XR-Metaverse Cases: Business Application of AR, VR, XR and Metaverse
Seligmann Creating a mobile VR interactive tour guide
Cheng The role of immersive media in engaging Singapore's history & cultural heritage: Singapore history gallery and digiMuse as a case study (2006-2018)
Burnett Designing digital and physical interactions for the Digital Public Space
AKINSHIPE THE DESIGN AND IMPLEMENTATION OF A VIRTUAL TOUR APPLICATION FOR MOUNTAIN TOP UNIVERSITY VISITORS
Tan Virtual experience in augmented exhibition. Virtual technology application in real musems and its impact on exhibition spaces
Tree Adaptive Narratives For Immersive Spaces
Knise Immersive media in museums and museum education
Wade Game Developers Conference 2022 Report
Renom Cisa How to bring Virtual Reality to every home
Huang The implementation strategy of virtual & augmented reality for the real estate industry
Hornecker et al. Different Interaction Frames
Gallagher Embedded 3D Web Based Content for the Creation of an Interactive Medical Browser
Søndergaard (re) new configurations: Beyond the HCI/Art Challenge: Curating re-new 2011
Howse Illusion SDK: An Augmented Reality Engine for Flash 11

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210524

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210609

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220203

R150 Certificate of patent or registration of utility model

Ref document number: 7021201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150