JP2002535794A - 対話型エンターテイメントシステムおよび方法 - Google Patents

対話型エンターテイメントシステムおよび方法

Info

Publication number
JP2002535794A
JP2002535794A JP2000596441A JP2000596441A JP2002535794A JP 2002535794 A JP2002535794 A JP 2002535794A JP 2000596441 A JP2000596441 A JP 2000596441A JP 2000596441 A JP2000596441 A JP 2000596441A JP 2002535794 A JP2002535794 A JP 2002535794A
Authority
JP
Japan
Prior art keywords
page
physical object
audiovisual
physical
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000596441A
Other languages
English (en)
Inventor
シュミット,クリストファー,エッチ.
ジョードン,アダム,シー.
ピアノ,フィリップ,ピー.
セサロッティ,ウィリアム,エー.
パパドポーロス,デスピーナ
ペトラヴィック,ロビン,ジー.
ライチュリ,デビッド,ダブリュ.
ウィーチャフター,ジェニー,ダナ
Original Assignee
レゴ エー/エス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by レゴ エー/エス filed Critical レゴ エー/エス
Publication of JP2002535794A publication Critical patent/JP2002535794A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/54Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00Board games; Raffle games
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 対話型エンターテイメントシステムを開示する。このシステムには、エンターテイメントデバイスを表すベース(104)と、ベースから分離された物理センサオブジェクト(106)と、ベースに対する相対的なセンサオブジェクトの存在、位置、および識別を検出するように配置された検出器(102)と、ベースによって表されるエンターテイメントデバイスに関係するオーディオビジュアルセグメントを出力するように構成された対話型オーディオビジュアルプログラム(112)が含まれる。物理センサオブジェクトの検出によって、対話型オーディオビジュアルプログラムが、ベースに対する相対的なセンサオブジェクトの検出された位置に少なくとも部分的に基づき、センサオブジェクトによって検出可能と見なされるベース上の不可視の情報を含むオーディオビジュアルセグメントを出力する。

Description

【発明の詳細な説明】
【0001】 (発明の背景) 本発明は、全般的には、物理システムとのコンピュータ対話に関し、具体的に
は、物理的な書籍との対話に関する。本発明は、他の種類のエンターテイメント
システムにも適用可能である。
【0002】 一般に、通常の書籍は、登場人物および出来事の特定の組を有する物語を読者
に提供するテキストの束である。人が書籍を読む時に、読者は、登場人物の外見
と、彼らが異なる出来事に反応するさまを想像することができる。通常の書籍に
は、物語からの登場人物および出来事の視覚的な図を読者に与える絵も含めるこ
とができる。
【0003】 読者は、通常は、通常の書籍を最初から最後まで読み、物語の出来事が、テキ
ストの記述によって配置される所定の順序で順次展開される。言い換えると、物
語の筋からの逸脱はなく、書籍の物語またはテキストは固定されたままになる。
要するに、通常の書籍は、対話的ではなく、物語を提示する方法に関して読者が
入力することを許容しない。
【0004】 最近、一部の、限られた対話能力を提供する書籍が、設計された。たとえば、
一部の児童書に、書籍に組み込まれたボタンを押すことによって選択し、再生す
ることができるサウンドファイルが含まれる。これらのサウンドは、通常は、物
語に対応する。たとえば、農家の内庭の動物の声を、農家に関する物語と共に提
供することができる。
【0005】 従来の書籍は、限られた対話性を提供するが、改良された対話性を提供するた
めに書籍とインターフェースする改良された機構が望ましい。そのような機構に
よって、ユーザが、物語の方向を選択できるか、物語に追加される出来事を選択
できるようになることが好ましい。
【0006】 (発明の要約) したがって、本発明は、書籍または他の種類の物理的なエンターテイメントデ
バイスと複雑な形でインターフェースするシステムおよび装置を提供する。エン
ターテイメントデバイスには、書籍またはゲームボードまたはゲームプラットホ
ームなどの物理的なベースに配置するかそれに関連付けることができる物理オブ
ジェクトが含まれる。ユーザは、ベースの上で物理オブジェクトを動かすか、物
理オブジェクトをベースに追加し、除去することができる。ユーザが、物理オブ
ジェクトと対話する(たとえば、ベースに関してオブジェクトを動かすか、書籍
のページをめくる)時に、対応するオーディオビジュアルプログラムが実行され
て、物理エンターテイメントデバイス内で提示されるものに追加される1つまた
は複数のオーディオビジュアルセグメントが表示または再生される。
【0007】 本発明の一実施形態では、対話型エンターテイメントシステムが開示される。
上記システムは、エンターテイメントデバイスを表すベースと、上記ベースから
分離された物理センサオブジェクトと、上記ベースに対する相対的な上記センサ
オブジェクトの存在、位置、および識別を検出するように配置された検出器と、
上記ベースによって表される上記エンターテイメントデバイスに関係するオーデ
ィオビジュアルセグメントを出力するように構成された対話型オーディオビジュ
アルプログラムとを含む。上記物理センサオブジェクトの検出が、上記対話型オ
ーディオビジュアルプログラムに、上記ベースに対する相対的な上記センサオブ
ジェクトの上記検出された位置に少なくとも部分的に基づき、上記センサオブジ
ェクトによって検出可能と見なされる上記ベース上の不可視の情報を含むオーデ
ィオビジュアルセグメントを出力させる。
【0008】 好ましい実施形態では、上記センサオブジェクトが、それ自体は上記オーディ
オビジュアルセグメントに表示されない。もう1つの好ましい実施形態では、上
記エンターテイメントデバイスが、ゲーム、玩具、書籍、または物語のいずれか
である。代替案では、上記センサオブジェクトが、その機能を表す物理的形態を
有する。上記オーディオビジュアルプログラムによって出力される上記オーディ
オビジュアルセグメントが、上記センサオブジェクトの上記検出された位置に配
置された上記ベースの部分の拡張された図を含むか、上記センサオブジェクトの
上記検出された位置に配置された上記ベースの部分に関係するオーディオセグメ
ントを含むか、その両方であることが好ましい。
【0009】 代替実施形態では、エンターテイメントシステムが、エンターテイメントデバ
イスを表すベースと、上記対話型エンターテイメントシステム内の登場人物を表
す物理登場人物オブジェクトと、上記ベースに対する相対的な上記登場人物オブ
ジェクトの存在、位置、および識別を検出するように配置された検出器と、上記
登場人物オブジェクトの検出された状態に基づいて上記物理登場人物オブジェク
トのジェスチャ動きを認識するように配置されたジェスチャリコグナイザとを含
む。上記エンターテイメントシステムは、さらに、上記ベースによって表される
上記エンターテイメントデバイスに関係するオーディオビジュアルセグメントを
出力するように構成された対話型オーディオビジュアルプログラムを含む。上記
ジェスチャリコグナイザによる選択されたジェスチャの認識が、上記対話型オー
ディオビジュアルプログラムに、上記検出されたジェスチャに少なくとも部分的
に基づくオーディオビジュアルセグメントを出力させる。
【0010】 もう1つの実施形態では、対話型エンターテイメントシステムが、ゲーム、玩
具、または書籍からなるグループから選択されたエンターテイメントデバイスを
表すベースと、複数の物理オブジェクトとを含む。物理オブジェクトは、環境オ
ブジェクト、登場人物オブジェクト、およびセンサオブジェクトを含む。上記エ
ンターテイメントシステムは、上記ベースに対する相対的な上記物理オブジェク
トの存在、位置、および識別を検出するように配置された検出器と、上記ベース
に対する相対的な上記物理オブジェクトの上記検出された位置に少なくとも部分
的に基づく、上記ベースによって表される上記エンターテイメントデバイスに関
係するオーディオビジュアルセグメントを出力するように構成された対話型オー
ディオビジュアルプログラムとも含む。選択されたセンサオブジェクトの検出が
、上記対話型オーディオビジュアルプログラムに、上記ベース上で不可視である
が上記センサオブジェクトによって検出可能とみなされる情報を含むオーディオ
ビジュアルセグメントを出力させ、登場人物オブジェクトの検出が、上記対話型
オーディオビジュアルプログラムに、出力されるオーディオビジュアルセグメン
ト内に上記検出された登場人物を含めさせ、環境オブジェクトの検出が、上記対
話型オーディオビジュアルプログラムに、出力されるオーディオビジュアルセグ
メント内に上記検出された環境オブジェクトを含めさせる。
【0011】 代替実施形態では、複数の領域を有する書籍システムとインターフェースする
方法が開示される。上記書籍システムは、データを抽出するためにスキャンされ
る。この実施形態では、上記抽出されたデータが、上記書籍システムの一部であ
る物理オブジェクトの位置および識別子を含む。上記物理オブジェクトに最も近
い領域が、上記抽出されたデータに基づいて識別される。オーディオビジュアル
プログラムが、上記物理オブジェクトの識別子および上記識別された領域に関す
る上記物理オブジェクトの位置の判定に少なくとも部分的に基づいて実行される
【0012】 本発明の装置態様では、書籍システムと対話するコンピュータシステムが開示
される。上記コンピュータシステムは、上記書籍システムから抽出されたデータ
を受け取るように配置されたデータ入力デバイスを含む。上記抽出されたデータ
が、少なくとも、上記書籍システムの一部である選択された物理オブジェクトの
位置および識別を含む。上記コンピュータシステムは、上記抽出されたデータに
基づいて、上記選択された物理オブジェクトに最も近い領域を識別するように配
置されたデータインタープリタと、上記選択された物理オブジェクトの上記位置
および識別子と、上記最も近い領域および関連する識別子との判定に少なくとも
部分的に基づく対話型ビジュアルイメージを出力するように構成された表示デバ
イスとも含む。
【0013】 もう1つの態様では、複数の領域を有する書籍システムとインターフェースす
るプログラム命令を含むコンピュータ可読媒体が開示される。上記コンピュータ
可読媒体は、データを抽出するために上記書籍システムをスキャンするコンピュ
ータコードを含む。上記抽出されたデータが、上記書籍システムの一部である物
理オブジェクトの位置および識別子を含む。上記コンピュータ可読媒体は、上記
抽出されたデータに基づいて、上記物理オブジェクトに最も近い領域を識別する
コンピュータコードと、上記物理オブジェクトの上記識別子および上記識別され
た領域に関する上記物理オブジェクトの位置の判定に少なくとも部分的に基づく
オーディオビジュアルプログラムを実行するコンピュータコードと、上記コンピ
ュータ可読コードを保管するコンピュータ可読媒体とを含む。
【0014】 装置態様で、書籍システムが開示される。上記書籍システムは、各ページが1
つまたは複数の領域を有する複数のページと、上記ページの上で移動可能な物理
オブジェクトと、コンピュータシステムと結合することができる位置感知デバイ
スとを含む。上記位置感知デバイスは、上記ページの位置、上記物理オブジェク
トの識別、および上記物理オブジェクトの位置を検出するように上記コンピュー
タシステムによって構成可能である。上記コンピュータシステムが、上記ページ
および物理オブジェクトの上記位置および上記物理オブジェクトの識別を検出す
るように上記位置感知デバイスを構成する命令を用いてプログラムもされる。上
記コンピュータシステムが、上記物理オブジェクトに最も近い領域を判定し、上
記ページの位置と、上記物理オブジェクトの識別および位置と、上記最も近い領
域とに基づいてオーディオビジュアルプログラムを生成する命令を用いてプログ
ラムもされる。好ましい実施形態では、上記位置感知デバイスが、電磁感知機構
の形である。
【0015】 もう1つの実施形態では、複数のページ、第1物理オブジェクト、および第2
物理オブジェクトを有する書籍システムとインターフェースする方法が開示され
る。各物理オブジェクトを、複数のページの1つの近くに配置することができる
。上記書籍システムは、データを抽出するためにスキャンされ、上記抽出された
データが、上記第1物理オブジェクトが上記ページの1つの近くに配置される場
合に、少なくとも第1の選択された物理オブジェクトの第1位置および第1識別
子を含み、上記抽出されたデータが、上記第2物理オブジェクトが上記ページの
1つの近くに配置される場合に、上記第2物理オブジェクトの第2位置および第
2識別子を含む。上記第1の選択された物理オブジェクトに最も近い第1領域が
、上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上
記抽出されたデータに基づいて識別される。上記第2物理オブジェクトに最も近
い第2領域が、上記第2物理オブジェクトが上記ページの1つの近くに配置され
る場合に、上記抽出されたデータに基づいて識別される。オーディオビジュアル
プログラムが、上記第1物理オブジェクトが上記ページの1つの近くに配置され
る場合に、上記第1物理オブジェクトの上記第1位置および第1識別子と上記第
1領域の識別子とに少なくとも部分的に基づいて実行され、オーディオビジュア
ルプログラムが、上記第2物理オブジェクトが上記ページの1つの近くに配置さ
れる場合に、上記第2物理オブジェクトの上記第2位置および第2識別子と上記
第2領域の識別子とに少なくとも部分的に基づいて実行される。
【0016】 代替実施形態では、複数のページ、第1物理オブジェクト、および第2物理オ
ブジェクトを有する書籍システムとインターフェースするプログラム命令を含む
コンピュータ可読媒体が開示される。各物理オブジェクトを、複数のページの1
つの近くに配置することができ、上記コンピュータ可読媒体が、(i)データを
抽出するために上記書籍システムをスキャンするコンピュータコードであって、
上記抽出されたデータが、上記第1物理オブジェクトが上記ページの1つの近く
に配置される場合に、少なくとも第1の選択された物理オブジェクトの第1位置
および第1識別子を含み、上記抽出されたデータが、上記第2物理オブジェクト
が上記ページの1つの近くに配置される場合に、上記第2物理オブジェクトの第
2位置および第2識別子を含む、コンピュータコードと、(ii)上記第1物理
オブジェクトが上記ページの1つの近くに配置される場合に、上記抽出されたデ
ータに基づいて上記第1の選択された物理オブジェクトに最も近い第1領域を識
別するコンピュータコードと、(iii)上記第2物理オブジェクトが上記ペー
ジの1つの近くに配置される場合に、上記抽出されたデータに基づいて上記第2
物理オブジェクトに最も近い第2領域を識別するコンピュータコードと、(iv
)上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上
記第1物理オブジェクトの上記第1位置および第1識別子と上記第1領域の識別
子とに少なくとも部分的に基づいてオーディオビジュアルプログラムを実行する
コンピュータコードと、(v)上記第2物理オブジェクトが上記ページの1つの
近くに配置される場合に、上記第2物理オブジェクトの上記第2位置および第2
識別子と上記第2領域の識別子とに少なくとも部分的に基づいてオーディオビジ
ュアルプログラムを実行するコンピュータコードと、(vi)上記コンピュータ
可読コードを保管するコンピュータ可読媒体とを含む。
【0017】 (具体的な実施形態の詳細な説明) これから本発明の具体的な実施形態を詳細に参照する。これらの具体的な実施
形態の例を、添付図面に図示する。本発明を、これらの具体的な実施形態に関し
て説明するが、本発明を説明される実施形態に制限することが意図されていない
ことを理解されたい。逆に、請求項によって定義される本発明の趣旨および範囲
の中に含めることができる代替形態、修正形態、および同等物を含めることが意
図されている。以下の説明では、本発明の完全な理解を提供するために、多数の
具体的な詳細を示す。本発明は、これらの具体的な詳細の一部またはすべてなし
に実践することができる。他の場合には、本発明を不要に不明瞭にしないために
、周知の処理動作は詳細に説明しない。
【0018】 一般に、本発明の実施形態の1つに、複雑な形で書籍とインターフェースする
方法および装置が含まれる。読者が書籍のページをめくる時に、たとえば、ペー
ジ位置が、検出され、対応するオーディオビジュアルプログラムが、コンピュー
タシステム上で実行される。すなわち、ビジュアルイメージが表示されるか、サ
ウンドが再生されるか、その両方が行われる。オーディオビジュアルプログラム
は、物理書籍のテキストに関係し、読書経験に追加される。
【0019】 書籍システムに、物理書籍と共に使用することができ、オーディオビジュアル
プログラムの操作または変更を可能にするツールも含めることができる。例とし
て、特定のツール(たとえば拡大ツール)が、書籍の特定のページの特定の部分
(たとえば絵)に置かれる時に、対応するオーディオビジュアルプログラム(た
とえば絵の一部の拡大図)を表示することができる。
【0020】 言い換えると、ユーザが、ツールを使用するかページをめくることによって書
籍と対話する時に、ユーザに、コンピュータ上で対応するオーディオビジュアル
対話が提供され、その対話によって、書籍の経験が大幅に強化される。要するに
、書籍システムには、ページまたはツールの動きを検出する機構が含まれ、物理
書籍のページのテキストおよびイメージによって表される物語に加えて、出来事
または登場人物が、物語のオーディオビジュアル表現に挿入される。
【0021】 図1に、本発明の一実施形態による対話型書籍システム100を示す。検出シ
ステムに、物理書籍ユニット103、コンピュータシステム110、および物理
書籍ユニット103とコンピュータシステム110の間をインターフェースする
入出力ボード108が含まれる。図からわかるように、物理書籍ユニット103
には、アンテナ102を有するプリント回路(PC)ボード101、複数のペー
ジ104を有する物理書籍、および1つまたは複数のツール106が含まれる。
ツール106の一部に、ボタンなどの対話デバイス107も含めることができる
。書籍ユニット103に、スイッチまたはボタンなどの固定された対話デバイス
109(すなわち、このデバイスは固定された静止位置を有する)も含めること
ができる。
【0022】 コンピュータシステム110には、とりわけ、ドライバ114、アプリケーシ
ョンプログラム112、ディスプレイ116、およびスピーカ118が含まれる
。プロセッサおよびメモリユニットなどの、コンピュータシステムの複数の周知
のコンポーネントは、本発明を不明瞭にしないために、図1に含まれず、説明さ
れない。
【0023】 コンピュータシステム110は、物理書籍ユニット103とは別のコンポーネ
ントであるものとして図示されているが、もちろん、コンピュータシステム11
0を物理書籍ユニット103と統合することができる。さらに、テレビジョンシ
ステムまたはセットトップボックスなどの、他のタイプのインターフェースを使
用することができることを理解されたい。また、入出力ボード108を、物理書
籍ユニット103と統合することができる。
【0024】 対話型書籍システム100に、書籍ユニット103に関連するさまざまなツー
ル(たとえば106)およびページ(たとえば104)の存在、位置、および識
別を検出する適当な機構を含めることができる。たとえば、検出機構は、何ペー
ジが書籍の右側にめくられた(たとえばページ104a)か、および何ページが
書籍の左側にめくられた(たとえばページ104b)かを検出することができる
。検出機構は、どのツールが書籍ユニットのページの上に置かれているか、およ
びページのどの部分にツールが置かれているかを識別できるようにすることもで
きる。
【0025】 書籍ユニット103のページおよびツールを検出し、識別するために、少なく
ともいくつかのツールおよびページに、検出可能なマーカが含まれる。マーカが
、書籍ユニット103内に置かれるかそこで動かされる(たとえば、ツールをペ
ージ上に置くことによるか、ページをめくることによって)時に、マーカの位置
を、検出機構によって感知することができる。マーカによって、ツールまたはペ
ージも識別されることが好ましい。すなわち、検出機構は、異なるツールおよび
ページの異なるマーカの間で区別することができる。
【0026】 図示の実施形態では、書籍ユニットに、書籍のツールおよびページを検出し、
検出されたデータをコンピュータに入力するために、電磁検出システムが含まれ
る。適当な電磁検出システムを実施することができる。もちろん、光学センサま
たは電子センサなどの他の検出システムを使用できることを諒解されたい。
【0027】 図示の電磁検出システムでは、書籍ユニット103に、共振器が特定の共振周
波数を有する励起信号によって活動化された時にアンテナ102によって検出可
能な複数の共振器回路(図示せず)が含まれる。共振器回路は、書籍ユニット1
03のツールおよびページの検出を容易にする、適当な形で配置することができ
る。
【0028】 一実施形態では、ツール106およびページ104のそれぞれに、特定の共振
周波数で共振する単純な共振器回路(たとえば、キャパシタと直列のコイル)が
含まれる。1つまたは複数の共振器回路を活動化する周波数を有する励起信号が
、アンテナ102で放射される。共振器が励起信号の周波数で共振する時に、共
振信号が、共振器によってアンテナ102上で誘導される。要するに、アンテナ
102の励起信号が、活動化された共振器およびそれに対応する、アンテナに対
する相対位置によって影響される。
【0029】 一実施形態では、励起信号の変更を分析して、どの共振器が共振しているかと
、それに対応する位置を判定することができる。励起信号は、共振信号を独立に
分析できるように停止されることが好ましい。すなわち、アンテナの励起信号が
停止される時に、活動化された共振器が、「リンギング」信号を作り続け、この
信号が、アンテナ102上で誘導され続け、したがって、励起信号によって干渉
されずにアンテナ102上で明瞭に検出できるようになる。
【0030】 アンテナ102は、さまざまな共振器回路の位置を感知するのに適する形とす
ることができる。一実施形態では、アンテナが、PCボード101に埋め込まれ
るループの形である。アンテナ102は、共振回路およびその位置をアンテナ1
02によって感知できるように配置される。言い換えると、アンテナ102内に
誘導される共振信号は、アンテナ102に関する活動化された共振器の位置に依
存する。要するに、共振器の位置ならびに関連するツールまたはページの位置を
、アンテナ102内に誘導される共振信号を分析することによって、アンテナ1
02に対して相対的に判定することができる。
【0031】 書籍システムに、任意の数および種類のツールを含めることができる。ツール
は、書籍ユニット103の一部と対話するのに使用することができるオブジェク
トとして定義される。ツールは、視覚センサまたは聴覚センサを表すことができ
る。すなわち、ツールが書籍ユニットの選択された位置の上で動かされる時に、
選択された位置に関係する追加のイメージまたはサウンドもしくはその両方が、
オーディオビジュアルプログラムを介して示される。たとえば、ツールを使用し
て、ページのあるグラフィック部分を拡大することができ、その拡大図は、オー
ディオビジュアルプログラムによって生成される。もう1つの例として、ツール
を、書籍ユニットの諸部分に関係するサウンドを示すリスニングデバイスとして
使用することができる。ツールのほかに、書籍システムに、複数の状態を有する
オブジェクトとして定義される対話デバイスも含めることができる。たとえば、
対話デバイスは、ボタン、スイッチ、またはノブの形とすることができる。
【0032】 ツールおよび対話デバイスは、書籍ユニット103内で固定されるか、移動可
能とすることができる。対話デバイスは、特定のツールに関連付けることができ
、また、書籍ユニット103内の独立のオブジェクトとすることができる。各ツ
ール、ページ、および対話デバイスを、別個の周波数で共振する共振器を有する
ものとして構成することができる。もちろん、対話デバイスがツールに関連する
場合には、この対が単一の共振器を有することができる。
【0033】 この実施形態では、ツールおよび/または対話デバイスの位置を、アンテナ1
02を介して異なる周波数を有する励起信号を送信することによって、別々に検
出することができる。選択された周波数を有する特定の励起信号によって、対応
するツールまたは対話デバイスの共振器が活動化され、これによって、別個の共
振信号がアンテナ102内で作られる。したがって、各オブジェクトを、その特
定の共振周波数によって識別することができる。
【0034】 代替案では、ツールの共振器回路が、同一の共振周波数で共振することができ
るが、共振器が、ツール自体の中で変化する「z」位置に配置される。各ツール
は、共振器の関連するz位置によって一意に識別される。同一の周波数を有する
共振器を配置し、識別する、この実施形態ならびに複数の他の実施形態が、米国
特許出願第09/144951号明細書、表題「Detecting Phys
ical Object States Using ElectroMagn
etic Sensors」、出願人ベスコビ(Marcos R. Vesc
ovi)他、1998年9月1日出願に記載されており、この特許出願書は、参
照によってその全体を本明細書に組み込まれる。
【0035】 適当な機構を実施して、共振信号または検出された信号を、コンピュータシス
テムへの入力に適当な信号に変換することができる。図からわかるように、検出
された信号は、入出力ボード108を介し、ドライバ114を介して、アプリケ
ーションプログラム112に送られる。入出力ボード108は、検出された信号
をディジタル信号(たとえば2進パルス波)に変換するように配置される。アプ
リケーションソフトウェア112は、検出された信号を分析して、書籍ユニット
103のさまざまなオブジェクトの位置および識別を判定し、対応するオーディ
オビジュアルプログラムを生成する。ドライバ114は、アプリケーションソフ
トウェア112と入出力ボード108の間の通信を可能にするように配置される
【0036】 一般に、位置データは、検出された信号に基づいて判定され、位置データは、
オーディオビジュアルプログラムの生成またはトリガのために処理され、使用さ
れる。位置データに基づくオーディオビジュアルプログラムを生成する方法の例
が、米国特許出願第09/018023号明細書、1998年2月出願、表題「
Computer Method and Apparatus for In
teracting with a Physical System」、出願
人ピアノ(Piernot)他に記載されており、この特許出願書は、参照によ
ってその全体を本明細書に組み込まれる。
【0037】 具体的に言うと、検出された信号に、ツール、対話デバイス、および/または
ページなどの書籍ユニット103の1つまたは複数の物理オブジェクトの共振器
回路に関する位置データが含まれる。すなわち、1つまたは複数の物理オブジェ
クトの位置を、検出された信号を分析することによって、突き止めることができ
る。一実施形態では、位置データに、6自由度の位置状態すなわち、x位置、y
位置、z位置、回転角、チルト、およびヨーが含まれる。6自由度の位置データ
を関知する電磁感知システムの1例が、国際PCT特許出願第PCT/GB96
/02896号明細書、1997年5月29日公告、出願人デイムズ(Dame
s)他に記載されており、この特許出願書は、参照によってその全体を本明細書
に組み込まれる。もちろん、位置データに、この6自由度の位置状態のサブセッ
トを含めることができる。
【0038】 複数の物理オブジェクトに関する位置情報を検出する複数の検出機構を、これ
から図2Aないし2Fに関して説明する。図からわかるように、各物理オブジェ
クトは、書籍のページの形であり、位置情報に、ページがめくられたか否か、ペ
ージが現在めくられつつあるか否か、またはページの正確な位置(たとえば書籍
のとびらに対する相対的な角度)に関する情報を含めることができる。もちろん
、以下の機構を、些細な修正を加えて、ツール位置および/または対話デバイス
位置の検出に適用することができる。
【0039】 図2Aは、本発明の一実施形態による、電磁検出を使用するページ検出機構の
第1例の線図である。図からわかるように、複数のページ104が、PCボード
101に埋め込まれたアンテナ102の上に位置決めされている。もちろん、ア
ンテナ102は、PCボード101なしで単独とすることができる。
【0040】 各ページ104は、特定の共振周波数を有する埋め込まれた共振器202を有
する。各共振器202は、ページ位置(たとえば、物理書籍内のどのページが見
られているか)を正確に判定できるように、関連するページの適当な位置に位置
決めすることができる。図示の実施形態では、各共振器202が、ページがめく
られたか否かに応じて、アンテナ102の異なる位置の上に位置決めされる(各
共振器の軸204を見られたい)。
【0041】 図からわかるように、ページ104aの共振器202aが、アンテナの左部分
の上に位置決めされている時には、ページ104aが開かれ、めくられていない
。逆に、ページ104aの共振器202aが、アンテナの右部分の上に位置決め
されている時には、ページ104aがめくられ、新しいページ(すなわちページ
104b)が表示されている。さらに、ページ104aの共振器202aが、ア
ンテナの左部分と右部分の間に位置決めされている時には、ページ104aがめ
くられつつある(たとえば、書籍の左側から右側へ動かされつつあるか、その逆
)。
【0042】 図2Aの実施形態では、各共振器202が、アンテナ102を介して送信され
る励起信号の特定の周波数で共振する。たとえば、ページ104aの共振器20
2aを、第1周波数で送信することによって活動化することができ、ページ10
4bの共振器202bを、第2の異なる周波数で送信することによって活動化す
ることができる。励起信号が非活動化された時に、共振器202の1つの共振信
号を、アンテナ102によって検出することができる。
【0043】 複数のページが同一の向きに向けられる(たとえば、ページ104a、104
b、および104cが、すべて書籍の左側にめくられている)時には、これらの
ページの共振器202が、互いに重なり合う。しかし、より多数の共振器が重な
り合うにつれて、これらの共振器が互いに干渉する傾向を有し、個々の共振器か
ら検出される信号を分析することが困難になる可能性がある。したがって、各共
振器202が、アンテナ102の異なる位置の上に位置決めされることが好まし
い。各軸204によって示されるように、各共振器202は、アンテナ102の
異なる部分の上に位置決めされる。
【0044】 図2Bは、本発明の一実施形態による、電磁検出を使用するページ検出機構の
第2例の線図である。図からわかるように、ページ104が、埋め込まれた共振
器210を有するベース206の上に位置決めされている。共振器210および
ベース206は、アンテナ102の上に位置決めされる。各ページには、関連す
るコイル208(たとえば、キャパシタまたは共振器なし)が含まれる。
【0045】 ページがめくられる時に、コイル208のいくつかが、共振器210に隣接し
て位置決めされ、検出される信号が、隣接するコイル208によって影響される
。言い換えると、共振器210の共振信号は、何個のコイル208が共振器21
0からある距離以内に位置決めされるかに依存する。各コイル208は、共振器
210に隣接して位置決めされる(すなわち、ページが書籍の左側にめくられる
)か、共振器210の付近に位置決めされる(すなわち、ページがめくられつつ
ある)か、共振器210から離れて位置決めされる(すなわち、ページが書籍の
右側にめくられる)可能性がある。
【0046】 図からわかるように、共振器210は、書籍の左部分の中に配置される。図か
らわかるように、ページ104aないし104cは、書籍の左側にめくられ、し
たがって、コイル208aないし208cは、共振器210の付近に配置される
。対照的に、ページ104dないし104fは、書籍の右側にめくられ、したが
って、コイル208dないし208fは、共振器210から離れて配置される。
この配置では、ページ104aないし104cのコイルと共振器210の間に相
互インダクタンスがあり、この相互インダクタンスによって、共振器信号の振幅
が減る。この減少の量を分析して、何個のコイルならびにページが、共振器21
0の上に存在するかを判定することができる。
【0047】 代替実施形態では、コイルを、導電材料のストリップに置換することができる
。各ページからの導電材料の各ストリップによって、検出される信号を定量化可
能な形で変更することができる。したがって、検出される信号を分析して、何個
の導電材料のストリップが信号に影響しているかを判定でき、これによって、何
ページがめくられているかを判定することができる。
【0048】 図2Cは、本発明の一実施形態による、電磁検出を使用するページ検出機構の
第3例の線図である。図からわかるように、各ページが、関連するコイル211
を有する。コイル211は、共振キャパシタ212と共に、一緒に直列に結合さ
れて、共振器を形成する。ページがめくられる時に、関連するコイルもめくられ
、コイルが、逆方向に巻かれている状態になる。
【0049】 コイルの向きに応じて、各コイルは、共振信号の振幅を減らすか増やす。たと
えば、書籍の右側にめくられた各ページ(図示のように、ページ104dないし
104f)のように、めくられたページのコイル(コイル211dないし211
f)は、検出される信号の振幅を減らすことができる。この例では、めくられず
、書籍の左側に残っている各ページ(図示のように、ページ104aないし10
4c)について、各関連するコイル(コイル211aないし211c)が、検出
される信号の振幅に寄与し続ける。したがって、検出される信号を分析して、何
個のコイルが信号に寄与しているかを判定でき、これによって、何ページがめく
られたか、または何ページがめくられていないかを判定することができる。
【0050】 ページ検出を、電磁検出技法の実施に関して説明してきたが、もちろん、ペー
ジの検出に適する他のタイプの感知技法を使用することができる。たとえば、各
ページが、2つの点の間のキャパシタンス値に寄与することができる。言い換え
ると、導電材料のストリップを各ページ上で構成し、書籍のページがめくられる
時に、2点間のキャパシタンス値が増えるか減るようにすることができる。
【0051】 図2Dは、本発明の一実施形態による、キャパシタンス値検出を使用するペー
ジ検出機構の第1例の線図である。図からわかるように、第1点214aおよび
第2点214bが、ベース206上に配置される。これらの2つの点214の間
のキャパシタンス値は、何ページが点214の上および間に位置決めされるかに
よって影響される。図からわかるように、各ページ104は、2つの点214の
上に位置決めすることができる関連する導電ストリップ216を有する。
【0052】 図示の実施形態では、点214が、書籍の右部分に配置される。したがって、
ページが書籍の右側にめくられる時に、そのページの関連する導電ストリップ2
16が、2つの点214の間で測定されるキャパシタンス値に寄与する。図から
わかるように、ページ104d、104e、および104fの導電ストリップ2
16d、216e、および216fが、キャパシタンス値に寄与する。というの
は、これらのページが、2つの点214に上に位置決めされるからである。
【0053】 導電ストリップ216は、2つの点214の間のキャパシタンス値に影響する
適当な位置に位置決めすることができる。図2Dの実施形態では、ストリップ2
16が、対応するページが2つの点214の上に位置決めされた時に、2つの点
214の間に延びる。ストリップ216は、2つの点214と重なり合うか、2
つの点214の間の区域より大きい区域を覆うこともできる。その代わりに、ス
トリップ216が、2つの点214の間の区域より小さい区域を覆うことができ
る。
【0054】 図2Eは、本発明の一実施形態による、キャパシタンス値検出を使用するペー
ジ検出機構の第2例の線図である。図からわかるように、各ページ104は、関
連する導電ストリップ218を有し、これらのストリップを、互いに入り組ませ
ることができる。すなわち、ストリップ218を、点220aおよび220bの
間の異なる区域の上に位置決めすることができる。前の例と同様に、各ストリッ
プ218は、点220aおよび220bの間で測定されるキャパシタンス値に影
響する。キャパシタンス値が、何ページが点220の上に位置決めされるかに依
存するので、何ページが書籍の片側(すなわち、2つの側定点220を含む側)
にめくられているかを判定することができる。
【0055】 任意の個数の検出技術を実施して、ページ位置を検出することができる。図2
Fは、本発明の一実施形態による、抵抗値検出を使用するページ検出機構の線図
である。一般に、各ページは、複数の接点対の1つ(たとえば222c)をショ
ートさせる、関連する導電ストリップまたはワイヤ224を有する。
【0056】 図からわかるように、接点対222は、書籍の右端に沿って位置決めされる。
各ページが書籍の右側にめくられる時に、めくられたページの関連する導電スト
リップが、接点の対222の間に接触し、短絡を生じる。たとえば、ページ10
4fが書籍の右側にめくられる時に、ページ104fの導電ストリップ224f
が、接点対222fに接触する。同様に、ページ104cが右にめくられる時に
、導電ストリップ224cが、接点対222cをショートさせる。
【0057】 ページめくりは、接点対222の各対の間の抵抗値を測定することによって判
定することができる。抵抗値が相対的に大きい場合には、対応するページがめく
られていない。抵抗値が0である場合には、対応するページがめくられている。
【0058】 導電ストリップ224は、各ページ上で、2つの接点対222をショートさせ
るのに適する形で配置することができる。図2Fに示されているように、導電ス
トリップ224は、対応するページが接点対222の真上に位置決めされた時に
接点の対222の間に静止するように形成される。代替案では、導電ストリップ
またはワイヤに、ページがめくられた時に導電性の穴の対の中に挿入されるプラ
グを含めることができる。この実施形態では、2つの点の間で導電経路が形成さ
れることを保証する機構が提供される。プラグがないと、導電ストリップが、た
とえばページにしわがよった場合に、2つの接点に対して正しく位置合せされな
い可能性がある。
【0059】 代替実施形態では、書籍システムに、磁気感知デバイスを含めることができ、
各ページに、あるページ位置で磁気感知デバイスによって感知できる磁気タブを
含めることができる。たとえば、各ページが、異なる位置に位置決めされた磁気
タブを有することができる。磁気感知デバイスは、付近にある磁気タブによって
影響される信号を生成する。したがって、磁気感知デバイスの信号を分析するこ
とによって、あるページが磁気感知デバイスの付近に位置決めされているか否か
を判定することができる。
【0060】 もう1つの例として、光検出器を、書籍のベース内に配置することができる。
たとえば、光検出器を、ベースの片側の外側の縁の下に配置することができる。
各ページは、ページがめくられたかどうかに応じて、対応する光検出器がそのペ
ージによって覆われるか覆われなくなるようにするのに適する形状に構成される
。図2Fの実施形態に類似して、ページは、対応する光検出器(すなわち、各接
点対222の代わりに)をそれぞれが覆うか覆わないタブ(すなわち、各導電ス
トリップ224の代わりに)を有することができる。
【0061】 上で説明したページ検出技法のどれでも、本発明の書籍システム内に組み込む
ことができる。さらに、他の検出機構を実施して、他の移動可能な物理オブジェ
クトを検出することができる。たとえば、書籍システムに、書籍システムのペー
ジの上に配置し、動かすことができる、任意の個数の物理オブジェクトを含める
ことができる。
【0062】 図3は、本発明の一実施形態による、複数の物理オブジェクトを有する書籍シ
ステム103のディジタル写真である。図からわかるように、書籍104が、ベ
ース101の上にある。書籍システム103には、複数の移動可能な物理オブジ
ェクトまたはツール(たとえば106aないし106e)ならびに固定された物
理オブジェクト106fも含まれる。これらのツールは、物理書籍のあるページ
の特定の区域内に配置することができる。
【0063】 ツールを使用して、たとえば物語の筋に組み込まれるタスクを達成することが
できる。一実施形態では、ツールを使用して、スパイの身元に関する手がかりを
得る。したがって、スパイの身元を判定するための使用を助ける複数のツールを
、図4Aないし8Bに関して説明する。しかし、異なるツールを、異なる物語の
内容を有する書籍と共に使用することができる。例として、翻訳ツールの組を、
スペイン語の教科書と共に提供することができる。
【0064】 図4Aの図示の実施形態では、ユーザが、特定のページ104bの特定のテキ
スト部分702aの上でデコーディングデバイス106bを動かすことができる
。図4Bに示されているように、デコードされたメッセージ706が、オーディ
オビジュアルディスプレイウィンドウ704内に表示される。この例では、ユー
ザに、次に行うべきことに関する指示が与えられる。具体的に言うと、ユーザは
、次のページに進み、オーディオテープ読取ツールを使用して、音声の手がかり
を得るように指示される。図4Cに示されているように、第2のデコーディング
ツール106aが、複数のテープストリップ表現(たとえば708aないし70
8j)の1つの上に動かされる。
【0065】 一実施形態では、ユーザが、サウンドデコーディングツール106aを選択さ
れたテープの上に動かす時に、オーディオサンプルが再生されて、スパイの身元
に関する、ユーザのための手がかりが示される。サウンドは、ユーザがテープス
トリップ708に沿って左から右に、右から左に、またはその組合せで動かす時
に再生することができる。この実施形態では、オーディオセグメントが、ツール
106aが左から右に動かされる時に順方向で再生され、同一のオーディオセグ
メントが、ツール106aが右から左に動かされる時に逆方向で再生される。
【0066】 要するに、オーディオビジュアルプログラムに、サウンドデコーディングツー
ル106aのテープ読取ジェスチャなどのジェスチャを認識する技法を含めるこ
とができる。このジェスチャならびに他のジェスチャを認識するのに適するどの
ような技法でも実施することができる。たとえば、サウンドデコーディングツー
ル106aが、テープストリップ708内で動かされる時に、サウンドファイル
(たとえばwaveファイル)へのインデックスを、ストリップ708に沿った
ツール106aの位置に基づいて計算する。すなわち、ツール106aが、スト
リップ708の左端に位置決めされる場合には、インデックスは、サウンドファ
イルの先頭を参照する。ツール106aが、ストリップ708の中央へ動かされ
る時に、インデックスも、サウンドファイルの中央からサウンドファイルの終り
へ動かされる(サウンドも再生される)。
【0067】 特定のページの特定の部分の上に特定のツールを動かすことによってトリガさ
れる隠された手がかりをユーザが検索できるようにする、他のツールを提供する
ことができる。図5Aに示されているように、拡大デバイス106cを、ページ
104eのイメージ710aの特定の部分の上に置くことができる。図5Bに示
されているように、拡大鏡デバイス106cが、ピラミッドのイメージ710a
の上に置かれた時に、オーディオビジュアルディスプレイ704内に拡大された
図710bが表示される。
【0068】 オーディオビジュアルディスプレイ704に、実際に物理書籍に示されている
イメージ(すなわち710a)が含まれるだけではなく、追加の拡大されたイメ
ージ710bも示されている。したがって、提供されるツールを使用することに
よって、ユーザは、物理書籍内で提供されるテキストおよびイメージのほかに、
豊富なオーディオビジュアル材料へのアクセスを得る。
【0069】 同様に、モーフィングツール(図示せず)を提供することができる。モーフィ
ングツールが、物理書籍ページ内の特定のイメージの上に置かれた時に、その特
定のイメージが、オーディオビジュアルプログラムによって表示され、別のイメ
ージにモーフィングされる。例として、ユーザが、12歳の人物の写真の上にモ
ーフィングツールを置いた時に、その若い人物のイメージを表示し、50歳の同
一人物などの高齢の人物にモーフィングすることができる。
【0070】 追加のビジュアルイメージを表示するほかに、ユーザがページの特定の部分の
上で特定のツールを動かす時に、サウンドを再生することもできる(たとえばコ
ンピュータのスピーカを介して)。図6Aに示されているように、リスニングデ
バイス106dが、ページ104fの建物の特定の窓の上に置かれている。建物
の窓を介して聞くことができる適当なサウンドが、オーディオビジュアルプログ
ラム704内で再生される。図6Bに示されているように、ボイス信号712を
、オーディオビジュアルプログラム704内で表現し、表示することができる。
さらに、人物の音声が、たとえばコンピュータのスピーカを介して再生される。
図示の実施形態では、音声によって、スパイの身元を判定するために、重要な手
がかりを説明するか、ユーザを助ける他の手がかりを見つける場所を示すことが
できる。
【0071】 図示の実施形態では、書籍の特定のページに示される、あるイメージオブジェ
クトをユーザが選択できるようにするツールも提供される。図7Aに示されてい
るように、選択ツール106cが、ページ104gおよび104hの写真の中に
示された人のグループの中の特定の人物を選択するのに使用される。対応するオ
ーディオビジュアルディスプレイを、選択された人物に基づいて生成することが
できる。ミステリの文脈では、オーディオビジュアルプログラムによって、選択
された人物がスパイであるかどうかを示すことができる。図7Bに示されている
ように、オーディオビジュアルプログラム704によって、選択された人物71
4が、スパイでないことが示される。
【0072】 ツールは、書籍のページとは別に供給されるビジュアルイメージの形とするこ
ともできる。これらの別のイメージは、書籍のあるページに置くことができる。
図8Aに示されているように、異なる顔を有する複数のカード(たとえば106
eおよび106g)が提供される。この実施形態では、ユーザが、特定のカード
または人物106gを選択し、それをページ104iの中央に置く。
【0073】 理論的に、この機能を用いて、ユーザが物語の筋にビジュアルイメージを追加
することができる。この特定の例では、ユーザが、スパイとして識別した人物を
有するカードを選択する。その後、ユーザがスパイを正しく識別したかどうかを
示すオーディオビジュアルプログラムが生成される。図8Bに示されているよう
に、オーディオビジュアルディスプレイ704によって、ユーザがスパイ716
を正しく識別したことが示される。
【0074】 上で説明したように、ユーザが、書籍のページの上でツールを動かすか、対話
デバイスの状態を変更するか、ページをめくる時に、対応するオーディオビジュ
アルプログラムが生成される。書籍システム内のさまざまな物理オブジェクトの
位置に対応するオーディオビジュアルプログラムを生成するのに適するどのよう
な機構でも実施することができる。言い換えると、物理書籍に関するインターフ
ェースするソフトウェアに、物理書籍システムとのユーザの対話に対応する適当
なオーディオビジュアル表示および/またはサウンドを生成するという目的を達
成する、適当な動作を含めることができる。
【0075】 図9は、本発明の一実施形態による、図1の書籍システムなどの書籍システム
とインターフェースする処理300を示す流れ図である。当初、動作302で、
書籍システムを提供する。動作304で、書籍システムの諸部分をスキャンして
、データを抽出する。抽出されるデータには、書籍システムの物理オブジェクト
(たとえば、ツール、ページ、および対話デバイス)に関する情報が含まれる。
たとえば、抽出されるデータに、各物理オブジェクトの位置および向きが含まれ
る。また、抽出されるデータに、各物理オブジェクトに関連する識別子を含める
ことができる。
【0076】 電磁感知技術を含む書籍システムでは、アンテナで所定の周波数で励起信号を
開始することによって、データが抽出される。その後、励起信号を停止し、書籍
システム内の1つまたは複数の共振器からの検出された信号が、アンテナ上に存
在するかどうかを判定する。検出される信号に、書籍システムの応答する共振器
に関係する位置情報を含めることができる。所定の周波数は、応答する共振器の
識別に対応するものとすることができる。異なる所定の周波数を有する一連の励
起信号をアンテナ上で開始して、異なる共振周波数を有する複数の物理オブジェ
クトの存在、位置、および識別を検出することができる。
【0077】 書籍の諸部分からデータを抽出した後に、動作306で、抽出されたデータを
解釈する。たとえば、抽出されたデータを分析して、書籍ユニット内のさまざま
な物理オブジェクトの相対位置および識別を判定することができる。抽出された
データを分析して、書籍ユニットの検出された物理オブジェクトおよびさまざま
な領域の相対位置および識別を判定することもできる。動作306は、図10に
関してさらに詳細に説明する。
【0078】 データを解釈した後に、動作308で、抽出されたデータおよび前に抽出され
記録されたデータに基づいて、オーディオビジュアルプログラムを実行する。た
とえば、特定のページの領域の相対位置および前の物理オブジェクトの位置が、
前に記録されており、これによってアクセスされて、新しいオーディオビジュア
ルプログラムが生成される場合がある。動作308は、図11に関してさらに詳
細に説明する。
【0079】 オーディオビジュアルプログラムには、単に1つのビジュアルフレームを含め
ることができ、また、ビデオからのフレームのシーケンスの1フレームを含める
ことができる。たとえば、オーディオビジュアルプログラムを実行する動作で、
連続的なオーディオビジュアルシーケンス(たとえばQuickTimeムービ
ー)を開始するか、単にムービー内の特定の点で継続することができる。もう1
つの例として、オーディオビジュアルプログラムが1つのフレームだけを有する
ことができる。もう1つの例として、オーディオビジュアルプログラムに、対話
型ゲームを含めることができ、このゲームで、プレイヤが、書籍および物理オブ
ジェクトに関するある作業を実行するように指示されるものとすることができる
【0080】 オーディオビジュアルプログラムを開始または継続した後に、動作310で、
抽出されたデータの情報を記録する。抽出されたデータを記録した後に、動作3
12で、書籍の終りに達したかどうかを判定する。これは、適当な形で達成する
ことができる。たとえば、書籍を閉じた時に、これを検出し、書籍の終りとして
解釈することができる。書籍の終りに達していない場合には、この処理は、動作
304に戻り、ここで、書籍システムの諸部分をもう一度スキャンして、データ
を抽出する。書籍システムの諸部分をもう一度スキャンした後に、動作304な
いし312を繰り返し、前に記録されたデータを使用することができる。書籍の
終りに達した時に、処理300は、もう一度開始される(すなわち、書籍が開か
れる時)まで終了する。
【0081】 図10は、本発明の一実施形態による、抽出されたデータを解釈する図9の動
作306を示す流れ図である。当初、動作402で、存在するすべての物理オブ
ジェクトの位置を判定する。物理オブジェクトを書籍のページに一時に1つ置く
ことができるように、または、複数の物理オブジェクトを書籍ページに同時に置
くことができるように、書籍システムを設計することができる。動作404で、
すべての物理オブジェクトの識別子を判定する。たとえば、物理オブジェクトが
拡大デバイスの形であるかどうかを判定することができる。
【0082】 その後、動作406で、いずれかの物理オブジェクトが特定のページの領域ま
たは「ホットスポット」に関連するかどうかを判定する。言い換えると、各ペー
ジのある区域を、対話ゾーンとして定義することができる。すなわち、物理オブ
ジェクトがホットゾーン内に置かれる時に、対応するオーディオビジュアルプロ
グラムが生成される。代替案では、ページ全体を、対話ゾーンとして定義するこ
とができる。動作408で、物理オブジェクトに関連するホットスポットを識別
する。たとえば、物理オブジェクトに関連するページの番号および部分を識別し
て、その特定の物理オブジェクトに関してどのタイプの対話が行われるかを判定
することができる。具体的な例として、特定のページの部分を、拡大ツールがそ
の上に置かれた時に拡大される(すなわち、オーディオビジュアルプログラムに
よって)ものとして識別することができる。
【0083】 動作410で、すべての対話デバイスの状態を判定する。対話デバイスは、物
理オブジェクトの異なる状態を示すのに適する形とすることができる。たとえば
、物理オブジェクトに、押された状態または離された状態とすることができるボ
タンを含めることができる。その場合には、動作410で、ボタンが押されてい
るかどうかを判定する。その後、処理は、図9の動作308に戻り、ここで、抽
出されたデータの解釈に基づくオーディオビジュアルプログラムが実行される。
【0084】 動作402ないし410を、特定のアプリケーションに適当な任意の順序で実
行できることが、当業者には十分に理解されるに違いない。たとえば、動作40
2を、動作404の後に実行することができる。さらに、特定のアプリケーショ
ンの特定の必要に応じて、抽出されたデータからの他の情報を解釈するか、解釈
しないことができる。たとえば、書籍システムに対話デバイスが含まれない場合
には、動作410は不要である。もう1つの例として、図9の動作308で実行
するオーディオビジュアルプログラムを選択するのを助けるために、書籍自体の
識別を判定する動作を含めることができる。抽出されたデータを解釈した後に、
図9の動作308を実行する。
【0085】 図11は、本発明の一実施形態による、オーディオビジュアルプログラムを実
行する図9の動作308を示す流れ図である。当初、動作502で、ホットスポ
ット領域に関連する物理オブジェクトがあるかどうかを判定する。ホットスポッ
トは、特定のページ上の特定の部分またはページ全体として定義される。ホット
スポット領域は、移動可能なオブジェクトを置くことができる領域または、固定
された押しボタンなどの固定された対話デバイスが配置される領域として定義す
ることができる。ホットスポット領域に関連する物理オブジェクトがない場合に
は、この処理は、図9の動作310に戻り、抽出されたデータを記録する。
【0086】 ホットスポットに関連する物理オブジェクトがある場合には、動作504で、
物理オブジェクトを選択する。物理オブジェクトは、適当な形で選択することが
できる。たとえば、ページに最初に置かれた物理オブジェクトを、最初に選択す
ることができる。その後、動作506で、対応するオーディオビジュアルプログ
ラムを実行する。オーディオビジュアルプログラムは、選択された物理オブジェ
クト、物理オブジェクト識別子、関連する対話デバイスの状態、および関連する
ホットスポット識別子に基づく。言い換えると、オーディオビジュアルプログラ
ムは、どの物理オブジェクトが選択されたかと、そのような物理オブジェクトが
ホットスポット領域に関してどこに位置決めされているかに依存する。
【0087】 図11には示されていないが、オーディオビジュアルプログラムは、物理オブ
ジェクトが存在するか否かに無関係に、ページが現在めくられつつあるか否かに
も基づくものとすることができる。一実施形態では、ページがめくられつつある
と判定される場合に、隙間のオーディオビジュアルセグメントが生成される。具
体的な例として、ジャングルのシーンを有する第1ページが、砂漠のシーンを有
する第2ページにめくられる場合に、隙間のオーディオビジュアルセグメントに
、登場人物が飛行機を介してジャングルを去り、その飛行機でジャングルから砂
漠に飛行し、飛行機で砂漠に着陸するのを示すビデオクリップを含めることがで
きる。
【0088】 オーディオビジュアルプログラムが自然に進行した後に、動作508で、選択
すべき物理オブジェクトがまだあるかどうかを判定する。選択すべき物理オブジ
ェクトがまだある場合には、動作504でそのオブジェクトを選択する。その後
、動作506でもう1つのオーディオビジュアルプログラムを実行する。しかし
、選択すべき物理オブジェクトがもうない場合には、この処理は、図9の動作3
10に戻り、動作300の次の実行のために、抽出されたデータを記録する。
【0089】 本発明を、書籍との対話に適用可能であるものとして説明してきたが、もちろ
ん、説明された特徴の多くを、ボードゲームまたは玩具などの他のタイプのエン
ターテイメントデバイスに適用することができる。たとえば、説明されたツール
の一部を、他のタイプのエンターテイメントシステム内で使用することができる
。図12、図13A、および図13Bに、本発明の代替実施形態のディジタル写
真が含まれる。
【0090】 図12に示されているように、ゲームシステム1200に、遊戯面またはベー
ス1201上に位置決めすることができる複数の物理オブジェクト(たとえば、
1206a、1204a、および1202a)が含まれる。ベース1201は、
特定のエンターテイメントデバイスに適する任意の形状および/または配置とす
ることができる。図示の実施形態では、ベース1201が、平らな部分と高い部
分(たとえば橋1203)を含むボードゲームである。ベース1201の表面パ
ターンは、適当な遊戯面を表すことができる。図示の実施形態では、ベース12
01が、裏庭区域を表す。
【0091】 ゲームシステム1200に、本発明の説明されたツールのいずれかの形の物理
オブジェクトを含めることができる。さらに、ゲームシステムに、他の適当なタ
イプの物理オブジェクトを含めることができる。図示の実施形態では、物理オブ
ジェクトを、3つの一般的なタイプすなわち、登場人物オブジェクト、環境オブ
ジェクト、およびセンサオブジェクトに分類することができる。登場人物オブジ
ェクトは、ゲーム内の登場人物を表す物理オブジェクトである。たとえば、登場
人物オブジェクトは、人、動物、またはすべての生きているオブジェクトを表す
ことができる。一般に、登場人物は、ゲームの進行中に他のゲームオブジェクト
と対話する。したがって、オーディオビジュアルプログラムに、検出された登場
人物オブジェクトの位置に部分的に基づいて他の項目と対話する検出された登場
人物を示すセグメントが含まれる。
【0092】 環境オブジェクトは、一般に、副項目または背景項目もしくはゲームの環境態
様を表す。言い換えると、オーディオビジュアルプログラムを、環境オブジェク
ト位置の検出された位置にも基づくものとすることができるが、環境オブジェク
トは、主に、ゲームの環境に影響し、このゲームの環境は、通常は、ゲームの登
場人物およびゲームの登場人物のお互いとのおよび/またはそれを囲む環境との
対話により多く基づく。たとえば、環境オブジェクトを、オーディオビジュアル
セグメント内で、通常は主な焦点である登場人物オブジェクトに関して補助的な
オブジェクトとして表すことができる。もう1つの例として、環境オブジェクト
が、オーディオビジュアルセグメントの条件またはパラメータに影響する場合が
ある。環境オブジェクトの複数の例が、米国特許出願第09/018023号明
細書、1998年2月2日出願、表題「Computer Method an
d Apparatus for Interacting with a P
hysical System」、出願人ピアノ(Piernot)他にさらに
記載されており、この特許出願書は、参照によってその全体を本明細書に組み込
まれる。
【0093】 センサオブジェクトは、一般に、検出された時に、オーディオビジュアルプロ
グラムに、物理的なゲームシステム内で知覚されない(たとえば、ベースパター
ンの一部として表示されない)1つまたは複数のオーディオビジュアルセグメン
ト内のイメージおよび/またはサウンドを生成される物理オブジェクトである。
たとえば、上で説明したように、視覚的または聴覚的な手がかりを、オーディオ
ビジュアルプログラムを介して提示することができる。もう1つの例として、オ
ーディオビジュアルセグメントに、ベース上のパターンに関係するイメージまた
はサウンドを含めることができる。一実施形態では、オーディオビジュアルセグ
メントによって、使用されるセンサオブジェクトによって表される感知デバイス
のタイプによって検出された可能性があるオブジェクトが表示される。たとえば
、センサオブジェクトが拡大鏡を表す時に、オーディオビジュアルセグメントに
、センサオブジェクトの下に置かれたベースの部分の拡大図が含まれる。
【0094】 図12に示された実施形態では、ゲームシステム1200に、少女の裏庭の形
であるゲームのベース1201の上で動く少女の形の登場人物オブジェクト12
02aが含まれる。登場人物オブジェクトは、人、動物、神話の生き物、または
あらゆる種類の生きているオブジェクトなどの適当な形をとることができる。ゲ
ームシステム1200には、裏庭1201に「埋められた」オブジェクトを明ら
かにする(すなわち、オーディオビジュアルプログラムを介して)のに使用され
る「魔法の水晶」の形のセンサオブジェクト1204aも含まれる。ゲームシス
テム1200には、見晴らし台1210、木1206a、隠れ場所1208a、
切り株1212、および泉1214の形の複数の環境オブジェクトも含まれる。
【0095】 一部の環境オブジェクトの動きを、制限することができる。たとえば、切り株
1212は、x、y、およびz位置において制約されるが、さまざまなゲームオ
プション(たとえば難しさのレベル)を選択するために回転することができる。
これらのゲームオプションは、1つまたは複数のオーディオビジュアルセグメン
トの一部に影響するか、すべてのオーディオビジュアルセグメントにグローバル
に影響することができる。一部の環境オブジェクトを、移動可能にし、ベース上
の任意の場所に位置決めすることができる(たとえば木1206a)。一実施形
態では、オーディオビジュアルプログラムが、登場人物オブジェクト1202a
の近くに位置決めされない限り、環境オブジェクトの存在を無視する(たとえば
、オブジェクトが、オーディオビジュアルセグメント内に提示されない)。
【0096】 図13Aは、本発明の一実施形態による、図12の登場人物オブジェクト12
02aと、環境オブジェクト1206a(木)および1208a(隠れ場所)と
、感知オブジェクト1204a(魔法の水晶)に基づくオーディオビジュアルプ
ログラムからのディスプレイ出力1300を示すスクリーンショットである。オ
ーディオビジュアルセグメント1300に示されているように、物理登場人物オ
ブジェクト1202aに対応する登場人物1202bが表示される。物理登場人
物1202aから所定の距離の中に位置決めされた環境オブジェクトも、表示さ
れる。図からわかるように、木1206bおよび隠れ場所1208bは、登場人
物1202bに対して相対的に表示される。
【0097】 さらに、センサオブジェクト1204aの位置に基づいて、拡張された図12
04bが表示される。図示の実施形態では、センサオブジェクトが、ベース12
01の下に配置された地下のオブジェクト(図ではモグラ1204b)を検出す
ると見なされる「魔法の水晶」の形である。言い換えると、ユーザが、ベースの
ある区域を横切って「魔法の水晶」1204aを動かすことによって、「魔法の
水晶」1204aを使用してベース1201の下のオブジェクトを検出したかの
ように見える。センサオブジェクト1204aが、ベース1201を横切って動
かされる時に、地下のすべてのオブジェクトを含む、ベース区域の地下の図が、
オーディオビジュアルセグメント内でシミュレートされ、表示される。要するに
、物理ゲームベース1201内でのセンサオブジェクト1204aを介するオブ
ジェクト検出が、オーディオビジュアルプログラムによってシミュレートされる
【0098】 本発明に、物理オブジェクトのいずれかを使用して行われるジェスチャを識別
するジェスチャリコグナイザを含めることもできる。言い換えると、物理オブジ
ェクトによる特定の動きのシーケンスを検出でき、これを使用して、適当なオー
ディオビジュアルセグメントを生成することができる。例として、ユーザが、ベ
ース1201から登場人物オブジェクト1202aを持ち上げることによって、
「なわとび」ジェスチャを開始することができる。この登場人物は、回転するな
わを含むオーディオビジュアルセグメント内で提示される。表示される登場人物
のジャンプする動きは、物理登場人物のジャンプするジェスチャに対応する。言
い換えると、表示される登場人物の動きが、物理登場人物の動きと同期化される
【0099】 オーディオビジュアルセグメントに、登場人物オブジェクトの動きに基づく他
の特徴を含めることもできる。たとえば、物理登場人物(および表示される登場
人物)が、自分のジャンプと表示されるとびなわの回転との同期化に失敗する場
合に、表示される登場人物が、なわの上でつまづくか、なわで頭を打っているも
のとして示される。
【0100】 図13Bは、本発明の一実施形態による、図12の登場人物オブジェクト12
02aによって実行される「なわとび」ジェスチャに基くオーディオビジュアル
プログラムからのディスプレイ出力1301を示すスクリーンショットである。
図示の実施形態では、「なわとび」ジェスチャを、物理登場人物1202aをベ
ース1201から持ち上げることによって開始することができる。図13Bに示
されているように、物理登場人物1202aに対応する、表示される登場人物1
202cは、なわとびの動作にかかわっているものとして示される。2つの追加
の表示される登場人物1302aおよび1302bが、とびなわ1304を持ち
、回し、主登場人物1202cが、この登場人物のジャンプがなわの回転運動と
同期しているか否かに応じて、ジャンプするか、なわの上でつまずくか、なわが
登場人物1202cの上体にあたる。
【0101】 図14は、本発明の一実施形態による、図12の登場人物オブジェクトの「な
わとび」ジェスチャを分析する処理1400を示す流れ図である。当初、動作1
402で、物理登場人物オブジェクトの現在位置(たとえば図12の1202a
)を得る。その後、動作1404で、オーディオビジュアルプログラムが、得ら
れた位置に基づいて登場人物(たとえば図13Aの1202b)を表示する。そ
の後、動作1406で、物理登場人物(たとえば1202a)の位置が変化した
かどうかを判定する。この判定ステップは、登場人物の位置が変化するまで繰り
返される。
【0102】 登場人物の位置が変化したと判定される時に、動作1410で、登場人物の動
きが「なわとび」ジェスチャを示すかどうかを判定する。適当なタイプの動きに
よってジェスチャを示すことができる。たとえば、登場人物をz方向で上下に繰
り返して動かして、「なわとび」ジェスチャを示す。その後、検出されたジェス
チャに基づいて、新しいオーディオビジュアルセグメントを活動化することがで
きる。図示の例では、「なわとび」ジェスチャが開始される場合に、登場人物(
たとえば図13Bの1202c)が、登場人物の位置に基づいてなわとびをする
ものとして表示される(たとえば図13Bを参照されたい)。
【0103】 動作1414で、動きが検出されるまで、物理登場人物の位置をもう一度繰り
返して検査する。物理登場人物(たとえば1202a)が新しい位置に移動(た
とえばそのz位置を変更)した後に、物理登場人物の動きが、表示されるとびな
わの回転運動と同期しているかどうかを判定する。すなわち、物理オブジェクト
が、表示される飛び縄(たとえば1304)の上で正しくジャンプしているかど
うかを判定する。一実施形態では、物理登場人物のz位置を、表示されるとびな
わのz位置と比較して、表示される登場人物がなわを飛び越えた(またはなわが
登場人物の頭の上を通った)かどうかを判定する。この判定動作は、物理登場人
物が表示されるとびなわのタイミングと同期しなくなるまで繰り返される。その
後、動作1418で、物理登場人物のタイミングがずれたことに関する適当なオ
ーディオビジュアルセグメントを表示する。たとえば、表示される登場人物が、
表示されるなわの上でつまずいて表示される。
【0104】 前述の発明は、理解の明瞭さのためにある程度詳細に説明されたが、請求項の
範囲内で変更および修正を実践できることを諒解されたい。たとえば、各ページ
およびオブジェクトが対応するマーカ(たとえば共振器)を有するものとして説
明したが、もちろん、ページまたはツールの一部が、オーディオビジュアルプロ
グラムの生成に関係しない場合に、これらにマーカが含まれない場合がある。
【0105】 さらに、ツールタイプの特定の組だけを説明したが、もちろん、エンターテイ
メントシステムに、他のツールタイプを含めることができる。たとえば、このシ
ステムに、人または動物の図など、他の物理オブジェクトの上で動かすことがで
きるx線ツールを含めることができる。ユーザが、図の一部の上でx線ツールを
動かす時に、オーディオビジュアルプログラムによって、図の部分のx線図また
は内部図が表示される。上で図12ないし14のゲームシステムに関して説明し
たように、x線ツールも、ゲーム面の下に隠されていると見なされるオブジェク
ト(たとえば埋められたオブジェクト)を明らかにするのに使用することができ
る。同様に、ツールが、聴診器機能を有することができ、この場合、聴診器が図
の上で動かされる時に、心臓の鼓動または他のサウンドを聞くことができる。も
う1つの例として、エンターテイメントシステムに、やはり物理ゲームシステム
内の隠されたオブジェクトを明らかにするのに使用することができる懐中電灯ツ
ールも含めることができる。一実施形態では、懐中電灯ツールが表面の上で動か
される時に、オーディオビジュアルセグメントに、表面またはゲームベースの他
の前に隠されたオブジェクトを含めることができる照らされた部分が含まれる。
最後の例として、ツールが、金属検出器として機能することができる。
【0106】 また、上で説明した隙間の機能を、ページめくりのほかに、他のタイプの物理
オブジェクトの動きに適用することができる。たとえば、ヘリコプタの形の物理
オブジェクトが、第1位置の基地を去り、第2位置の基地に戻る時に、ヘリコプ
タが第1区域から離陸し、空中を飛び、第2区域に着陸するのを示す適当な隙間
のオーディオビジュアルセグメントを生成することができる。隙間のセグメント
が、ヘリコプタオブジェクトが飛行する時間の長さに基づくものとすることもで
きる。たとえば、ヘリコプタが、比較的長い時間の間基地から離れる場合に、隙
間のセグメントで、長距離(たとえばある国から別の国へ)を移動するヘリコプ
タを示すことができる。
【0107】 ジェスチャ機能も、説明した書籍システムならびに図12ないし13に示した
実施形態の中で実施することができる。たとえば、特定のツールのジェスチャを
認識するように書籍システムを構成することができる。具体的な例として、穴掘
りツールを使用して、選択されたページ部分で「ひっかく」動きを行うことがで
きる。対応するオーディオビジュアルセグメントを生成して、前に隠されたオブ
ジェクトを明らかにする。すなわち、隠されたオブジェクトが、隠されたオブジ
ェクトの上で「ひっかく」ジェスチャを行うことに応答して、オーディオビジュ
アルプログラムを介して掘り出される。
【0108】 さらに、本発明のエンターテイメントシステムに、物理オブジェクトの動きに
基づいて異なるスケーリングのオーディオビジュアルセグメントを提供する機構
を含めることができる。すなわち、物理オブジェクトが、ゲームの異なる領域の
中である距離だけ動かされる時に、各セグメントがこの距離を異なるスケールで
表す異なるオーディオビジュアルセグメントを表示することができる。具体的な
例では、物理オブジェクトが、ゲームの第1領域内である距離だけ動かされる時
に、オーディオビジュアルセグメントによって、第1スケール(たとえばズーム
アウトした表示)でその距離が表現される。対照的に、物理オブジェクトが、第
2領域内で同一の距離だけ動かされる時に、オーディオビジュアルセグメントに
よって、その距離が第2スケール(たとえばズームインした表示)で表現される
【0109】 したがって、これらの実施形態は、例示的であり、制限的ではないものとみな
されなければならず、本発明は、本明細書に示した詳細に制限されないが、請求
項の範囲および同等物の中で変更することができる。
【図面の簡単な説明】
【図1】 本発明の一実施形態による書籍システムの平面図である。
【図2A】 本発明の一実施形態による、電磁検出を使用するページ検出機構の第1例の線
図である。
【図2B】 本発明の一実施形態による、電磁検出を使用するページ検出機構の第2例の線
図である。
【図2C】 本発明の一実施形態による、電磁検出を使用するページ検出機構の第3例の線
図である。
【図2D】 本発明の一実施形態による、キャパシタンス値検出を使用するページ検出機構
の第1例の線図である。
【図2E】 本発明の一実施形態による、キャパシタンス値検出を使用するページ検出機構
の第2例の線図である。
【図2F】 本発明の一実施形態による、抵抗値検出を使用するページ検出機構の線図であ
る。
【図3】 本発明の一実施形態による、複数の物理オブジェクトを有する書籍のディジタ
ル写真である。
【図4A】 本発明の一実施形態による、デコーディングデバイスを書籍のページの上に位
置決めされた書籍システムのディジタル写真である。
【図4B】 本発明の一実施形態による、図4Aのデコーディングデバイスの位置に基づく
オーディオビジュアルプログラムによって生成されるスクリーンショットである
【図4C】 本発明の一実施形態による、第2のデコーディングデバイスを書籍のページの
上に位置決めされた書籍システムのディジタル写真である。
【図5A】 本発明の一実施形態による、拡大デバイスを書籍のページの上に位置決めされ
た書籍システムのディジタル写真である。
【図5B】 本発明の一実施形態による、図5Aの拡大デバイスの位置に基づくオーディオ
ビジュアルプログラムによって生成されるスクリーンショットである。
【図6A】 本発明の一実施形態による、リスニングデバイスを書籍のページの上に位置決
めされた書籍システムのディジタル写真である。
【図6B】 本発明の一実施形態による、図6Aのリスニングデバイスの位置に基づくオー
ディオビジュアルプログラムによって生成されるスクリーンショットである。
【図7A】 本発明の一実施形態による、選択デバイスを書籍のページの上に位置決めされ
た書籍システムのディジタル写真である。
【図7B】 本発明の一実施形態による、図7Aの選択デバイスの位置に基づくオーディオ
ビジュアルプログラムによって生成されるスクリーンショットである。
【図8A】 本発明の一実施形態による、イメージカードを書籍のページの上に位置決めさ
れた書籍システムのディジタル写真である。
【図8B】 本発明の一実施形態による、図8Aのイメージカードの位置に基づくオーディ
オビジュアルプログラムによって生成されるスクリーンショットである。
【図9】 本発明の一実施形態による、図1の書籍システムなどの書籍システムとインタ
ーフェースする処理を示す流れ図である。
【図10】 本発明の一実施形態による、抽出されたデータを解釈する図9の動作を示す流
れ図である。
【図11】 本発明の一実施形態による、オーディオビジュアルプログラムを実行する図9
の動作を示す流れ図である。
【図12】 本発明の一実施形態による、環境オブジェクト、登場人物オブジェクト、およ
びセンサオブジェクトをベースの上に位置決めされたゲームシステムのディジタ
ル写真である。
【図13A】 本発明の一実施形態による、図12の登場人物オブジェクト、環境オブジェク
ト、および感知オブジェクトに基づくオーディオビジュアルプログラムからのデ
ィスプレイ出力を示すスクリーンショットである。
【図13B】 本発明の一実施形態による、図12の登場人物オブジェクトを介するジェスチ
ャに基くオーディオビジュアルプログラムからのディスプレイ出力を示すスクリ
ーンショットである。
【図14】 本発明の一実施形態による、図12の登場人物オブジェクトのジェスチャを分
析する処理を示す流れ図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06F 17/30 360 G06F 17/30 360Z G10L 13/00 G10L 3/00 R (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SL,SZ,TZ,UG,ZW ),EA(AM,AZ,BY,KG,KZ,MD,RU, TJ,TM),AE,AL,AM,AT,AU,AZ, BA,BB,BG,BR,BY,CA,CH,CN,C R,CU,CZ,DE,DK,DM,EE,ES,FI ,GB,GD,GE,GH,GM,HR,HU,ID, IL,IN,IS,JP,KE,KG,KP,KR,K Z,LC,LK,LR,LS,LT,LU,LV,MA ,MD,MG,MK,MN,MW,MX,NO,NZ, PL,PT,RO,RU,SD,SE,SG,SI,S K,SL,TJ,TM,TR,TT,TZ,UA,UG ,UZ,VN,YU,ZA,ZW (72)発明者 ピアノ,フィリップ,ピー. アメリカ合衆国 94306 カリフォルニア, パロ アルト,カレッジ アヴェニュー ナンバー8 360 (72)発明者 セサロッティ,ウィリアム,エー. アメリカ合衆国 94114 カリフォルニア, サンフランシスコ,ツウェンティフォース ストリート ナンバー5 3730 (72)発明者 パパドポーロス,デスピーナ アメリカ合衆国 10012 ニューヨーク, ニューヨーク,グリーン ストリート 80 (72)発明者 ペトラヴィック,ロビン,ジー. アメリカ合衆国 94110 カリフォルニア, サンフランシスコ,ドロレス ストリート 1063 (72)発明者 ライチュリ,デビッド,ダブリュ. アメリカ合衆国 94306 カリフォルニア, パロ アルト,コロラド アヴェニュー 675 (72)発明者 ウィーチャフター,ジェニー,ダナ アメリカ合衆国 94043 カリフォルニア, マウンテン ヴュー,モンテベロ アヴェ ニュー ナンバー11 202 Fターム(参考) 2C001 AA11 BA06 BC05 BC09 CA01 CA08 CA09 CB01 CC02 CC08 5B075 KK07 ND06 ND16 PP10 PP28 PQ02 PQ04 PQ13 UU11 UU40 5D045 AB30 5E501 AA02 AA17 AC16 AC34 BA05 BA17 CA02 CC20 EB18 FA15 FA32 FA43 FB33 FB43

Claims (88)

    【特許請求の範囲】
  1. 【請求項1】 対話型エンターテイメントシステムであって、 エンターテイメントデバイスを表すベース(104)と、 上記ベースから分離された物理センサオブジェクト(106)と、 上記ベースに対する相対的な上記センサオブジェクトの存在、位置、および識
    別を検出するように配置された検出器(102)と、 上記ベースによって表される上記エンターテイメントデバイスに関係するオー
    ディオビジュアルセグメントを出力するように構成された対話型オーディオビジ
    ュアルプログラム(112、304、306、308)であって、上記物理セン
    サオブジェクトの検出が、上記対話型オーディオビジュアルプログラムに、上記
    ベースに対する相対的な上記センサオブジェクトの上記検出された位置に少なく
    とも部分的に基づき、上記センサオブジェクトによって検出可能と見なされる上
    記ベース上の不可視の情報を含むオーディオビジュアルセグメントを出力させる
    、対話型オーディオビジュアルプログラムと を含む対話型エンターテイメントシステム。
  2. 【請求項2】 上記センサオブジェクトが、それ自体は上記オーディオビジ
    ュアルセグメントに表示されない、請求項1に記載の対話型エンターテイメント
    システム。
  3. 【請求項3】 上記エンターテイメントデバイスが、ゲーム、玩具、書籍、
    および物語を含むグループから選択される、請求項1または2に記載の対話型エ
    ンターテイメントシステム。
  4. 【請求項4】 上記センサオブジェクトが、その機能を表す物理的形態を有
    する、請求項1ないし3のいずれかに記載の対話型エンターテイメントシステム
  5. 【請求項5】 上記オーディオビジュアルプログラムによって出力される上
    記オーディオビジュアルセグメントが、上記センサオブジェクトの上記検出され
    た位置に配置された上記ベースの部分の拡張された図を含む、請求項1ないし4
    のいずれかに記載の対話型エンターテイメントシステム。
  6. 【請求項6】 上記拡張された図が、上記センサオブジェクトの上記検出さ
    れた位置に配置された上記ベース部分の拡大図である、請求項5に記載の対話型
    エンターテイメントシステム。
  7. 【請求項7】 上記拡張された図が、上記センサオブジェクトの上記検出さ
    れた位置に配置された上記ベース部分のx線図である、請求項5に記載の対話型
    エンターテイメントシステム。
  8. 【請求項8】 上記拡張された図が、上記センサオブジェクトの上記検出さ
    れた位置に配置された上記ベース部分の照らされた図である、請求項5に記載の
    対話型エンターテイメントシステム。
  9. 【請求項9】 上記拡張された図が、上記センサオブジェクトの上記検出さ
    れた位置に配置された上記ベース部分のデコードされた図である、請求項5に記
    載の対話型エンターテイメントシステム。
  10. 【請求項10】 上記拡張された図が、上記センサオブジェクトの少なくと
    も一部のイメージである、請求項5ないし9のいずれかに記載の対話型エンター
    テイメントシステム。
  11. 【請求項11】 上記オーディオビジュアルプログラムによって出力される
    上記オーディオビジュアルセグメントが、上記センサオブジェクトの上記検出さ
    れた位置に配置された上記ベースの部分に関係するオーディオセグメントを含む
    、請求項1ないし11のいずれかに記載の対話型エンターテイメントシステム。
  12. 【請求項12】 上記ベース部分が、オーディオテープの表現を含み、上記
    オーディオセグメントが、上記オーディオテープから作られるサウンドを表す、
    請求項11に記載の対話型エンターテイメントシステム。
  13. 【請求項13】 上記ベース部分が、可聴のオブジェクトまたは人を隠すこ
    とができる構造の表現を含み、上記オーディオセグメントが、上記可聴のオブジ
    ェクトまたは人から作られるサウンドを表す、請求項11に記載の対話型エンタ
    ーテイメントシステム。
  14. 【請求項14】 上記オーディオビジュアルセグメントが、上記物理センサ
    オブジェクトの第1位置に基づく開始シーンと、上記第1位置と異なる上記物理
    センサオブジェクトの第2位置に基づく終了シーンとを有するビデオクリップを
    含む、請求項1ないし13のいずれかに記載の対話型エンターテイメントシステ
    ム。
  15. 【請求項15】 対話型エンターテイメントシステムであって、 エンターテイメントデバイスを表すベースと、 上記対話型エンターテイメントシステム内の登場人物を表す物理登場人物オブ
    ジェクトと、 上記ベースに対する相対的な上記登場人物オブジェクトの存在、位置、および
    識別を検出するように配置された検出器と、 上記登場人物オブジェクトの検出された状態に基づいて上記物理登場人物オブ
    ジェクトのジェスチャ動きを認識するように配置されたジェスチャリコグナイザ
    と、 上記ベースによって表される上記エンターテイメントデバイスに関係するオー
    ディオビジュアルセグメントを出力するように構成された対話型オーディオビジ
    ュアルプログラムであって、上記ジェスチャリコグナイザによる選択されたジェ
    スチャの認識が、上記対話型オーディオビジュアルプログラムに、上記検出され
    たジェスチャに少なくとも部分的に基づくオーディオビジュアルセグメントを出
    力させる、対話型オーディオビジュアルプログラムと を含む対話型エンターテイメントシステム。
  16. 【請求項16】 上記オーディオビジュアルセグメントが、上記登場人物オ
    ブジェクトの第1位置に基づく開始シーンと、上記第1位置と異なる上記登場人
    物オブジェクトの第2位置に基づく終了シーンとを有するビデオクリップを含む
    、請求項15に記載の対話型エンターテイメントシステム。
  17. 【請求項17】 上記オーディオビジュアルセグメントが、上記ベースによ
    って表される上記エンターテイメントデバイスに関係し、上記ジェスチャリコグ
    ナイザによる選択されたジェスチャの認識が、上記対話型オーディオビジュアル
    プログラムに、上記検出されたジェスチャに関連する動作を実行する上記登場人
    物オブジェクトによって表される登場人物を含むオーディオビジュアルセグメン
    トを出力させる、請求項15または16に記載の対話型エンターテイメントシス
    テム。
  18. 【請求項18】 対話型エンターテイメントシステムであって、 ゲーム、玩具、および書籍からなるグループから選択されたエンターテイメン
    トデバイスを表すベースと、 環境オブジェクト、登場人物オブジェクト、およびセンサオブジェクトを含む
    、複数の物理オブジェクトと、 上記ベースに対する相対的な上記物理オブジェクトの存在、位置、および識別
    を検出するように配置された検出器と、 上記ベースに対する相対的な上記物理オブジェクトの上記検出された位置に少
    なくとも部分的に基づく、上記ベースによって表される上記エンターテイメント
    デバイスに関係するオーディオビジュアルセグメントを出力するように構成され
    た対話型オーディオビジュアルプログラムと を含み、選択されたセンサオブジェクトの検出が、上記対話型オーディオビジ
    ュアルプログラムに、上記ベース上で不可視であるが上記センサオブジェクトに
    よって検出可能とみなされる情報を含むオーディオビジュアルセグメントを出力
    させ、登場人物オブジェクトの検出が、上記対話型オーディオビジュアルプログ
    ラムに、出力されるオーディオビジュアルセグメント内に上記検出された登場人
    物を含めさせ、環境オブジェクトの検出が、上記対話型オーディオビジュアルプ
    ログラムに、出力されるオーディオビジュアルセグメント内に上記検出された環
    境オブジェクトを含めさせる 対話型エンターテイメントシステム。
  19. 【請求項19】 上記センサオブジェクトが、それ自体は上記オーディオビ
    ジュアルセグメントに表示されない、請求項18に記載の対話型エンターテイメ
    ントシステム。
  20. 【請求項20】 上記ベースが、複数のページを有する書籍である、請求項
    18または19に記載の対話型エンターテイメントシステム。
  21. 【請求項21】 上記ベースが、ゲームボードである、請求項18または1
    9に記載の対話型エンターテイメントシステム。
  22. 【請求項22】 複数の領域を有する書籍システムとインターフェースする
    方法であって、 データを抽出するために上記書籍システムをスキャンすることであって、上記
    抽出されたデータが、上記書籍システムの一部である物理オブジェクトの位置お
    よび識別子を含む、スキャンすることと、 上記抽出されたデータに基づいて、上記物理オブジェクトに最も近い領域を識
    別することと、 上記物理オブジェクトの識別子および上記識別された領域に関する上記物理オ
    ブジェクトの位置の判定に少なくとも部分的に基づくオーディオビジュアルプロ
    グラムを実行することと を含む方法。
  23. 【請求項23】 上記抽出されたデータが、上記書籍システムの一部である
    対話デバイスの位置および識別子も含み、上記方法が、さらに、上記抽出された
    データに基づいて上記対話デバイスの状態を識別することを含み、上記オーディ
    オビジュアルプログラムが、上記対話デバイスの上記識別された状態にも基づく
    、請求項22に記載の方法。
  24. 【請求項24】 上記対話デバイスが、上記物理オブジェクトに関連する、
    請求項23に記載の方法。
  25. 【請求項25】 上記抽出されたデータが、上記書籍システムの一部である
    対話デバイスの位置および識別子も含み、上記方法がさらに、 上記抽出されたデータに基づいて上記対話デバイスの状態を識別することと、 上記対話デバイスの上記識別された状態に基づいてオーディオビジュアルプロ
    グラムを実行することと を含む、請求項22ないし24のいずれかに記載の方法。
  26. 【請求項26】 上記書籍システムが、複数のページを含み、上記物理オブ
    ジェクトが、選択されたページのうちで上記識別された領域の近くにある部分に
    配置することができるツールの形である、22ないし25のいずれかに記載の方
    法。
  27. 【請求項27】 上記物理オブジェクトが、拡大デバイスであり、上記拡大
    デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配
    置される時に、実行される上記オーディオビジュアルプログラムが、上記ページ
    のうちで上記識別された領域の近くにある上記部分の拡大図を含む、請求項26
    に記載の方法。
  28. 【請求項28】 上記物理オブジェクトが、x線デバイスであり、上記x線
    デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配
    置される時に、実行される上記オーディオビジュアルプログラムが、上記ページ
    のうちで上記識別された領域の近くにある上記部分のx線図を含む、請求項26
    に記載の方法。
  29. 【請求項29】 上記物理オブジェクトが、デコーディングデバイスであり
    、上記デコーディングデバイスが、上記ページのうちで上記識別された領域の近
    くにある上記部分に配置される時に、実行される上記オーディオビジュアルプロ
    グラムが、上記ページのうちで上記識別された領域の近くにある上記部分内で示
    されていないテキスト、聴覚オブジェクト、または視覚オブジェクトを含む、請
    求項26に記載の方法。
  30. 【請求項30】 上記物理オブジェクトが、リスニングデバイスであり、上
    記リスニングデバイスが、上記ページのうちで上記識別された領域の近くにある
    上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが
    、1つまたは複数のサウンドを生成する、請求項26に記載の方法。
  31. 【請求項31】 上記物理オブジェクトが、選択デバイスであり、上記選択
    デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配
    置される時に、上記オーディオビジュアルプログラムが、上記ページの上記部分
    を表示することと、上記ページの上記部分に基づく応答とを含む、請求項26に
    記載の方法。
  32. 【請求項32】 上記物理オブジェクトが、関連するイメージであり、上記
    物理オブジェクトが、上記ページのうちで上記識別された領域の近くにある上記
    部分に配置される時に、上記オーディオビジュアルプログラムが、上記物理オブ
    ジェクトに関連する上記イメージを表示することを含む、請求項26に記載の方
    法。
  33. 【請求項33】 上記オーディオビジュアルプログラムが、上記物理オブジ
    ェクトに関連する上記イメージに加えて、第2イメージを表示することも含む、
    請求項32に記載の方法。
  34. 【請求項34】 上記オーディオビジュアルプログラムが、上記物理オブジ
    ェクトに関連する上記イメージの第2イメージへのモーフィングも含む、請求項
    32に記載の方法。
  35. 【請求項35】 上記物理オブジェクトが、モーフィングデバイスであり、
    上記モーフィングデバイスが、上記ページのうちで上記識別された領域の近くに
    ある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記
    ページの上記部分の、上記ページのうちで上記識別された領域の近くにある上記
    部分に含まれないイメージへのモーフィングを含む、請求項26に記載の方法。
  36. 【請求項36】 上記オーディオビジュアルプログラムが、上記物理オブジ
    ェクトの第1位置に基づく開始シーンと、上記第1位置と異なる上記物理オブジ
    ェクトの第2位置に基づく終了シーンとを有するビデオクリップを表示する、請
    求項22ないし35のいずれかに記載の対話型エンターテイメントシステム。
  37. 【請求項37】 書籍システムと対話するコンピュータシステムであって、 上記書籍システムから抽出されたデータを受け取るように配置されたデータ入
    力デバイスであって、上記抽出されたデータが、少なくとも、上記書籍システム
    の一部である選択された物理オブジェクトの位置および識別を含む、データ入力
    デバイスと、 上記抽出されたデータに基づいて、上記選択された物理オブジェクトに最も近
    い領域を識別するように配置されたデータインタープリタと、 上記選択された物理オブジェクトの上記位置および識別子と、上記最も近い領
    域および関連する識別子との判定に少なくとも部分的に基づく対話型ビジュアル
    イメージを出力するように構成された表示デバイスと を含むコンピュータシステム。
  38. 【請求項38】 上記抽出されたデータが、上記書籍システムの一部である
    対話デバイスの位置および識別子も含み、上記データインタープリタが、上記抽
    出されたデータに基づいて上記対話デバイスの状態を識別するようにも配置され
    、上記表示デバイスが、さらに、上記対話デバイスの上記識別された状態に基づ
    いてオーディオビジュアルプログラムを実行するように構成される、請求項37
    に記載のコンピュータシステム。
  39. 【請求項39】 上記書籍システムが、複数のページを含み、上記物理オブ
    ジェクトが、選択されたページのうちで上記識別された領域の近くにある部分に
    配置することができるツールの形である、請求項37または38に記載のコンピ
    ュータシステム。
  40. 【請求項40】 上記物理オブジェクトが、拡大デバイスであり、上記拡大
    デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配
    置される時に、実行される上記オーディオビジュアルプログラムが、上記ページ
    のうちで上記識別された領域の近くにある上記部分の拡大図を含む、請求項39
    に記載のコンピュータシステム。
  41. 【請求項41】 上記物理オブジェクトが、デコーディングデバイスであり
    、上記デコーディングデバイスが、上記ページのうちで上記識別された領域の近
    くにある上記部分に配置される時に、実行される上記オーディオビジュアルプロ
    グラムが、上記ページのうちで上記識別された領域の近くにある上記部分内で示
    されていないテキスト、聴覚オブジェクト、または視覚オブジェクトを含む、請
    求項39に記載のコンピュータシステム。
  42. 【請求項42】 上記物理オブジェクトが、x線デバイスであり、上記x線
    デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配
    置される時に、実行される上記オーディオビジュアルプログラムが、上記ページ
    部分自体の中に表示されない上記ページ部分のx線図を含む、請求項39に記載
    のコンピュータシステム。
  43. 【請求項43】 上記物理オブジェクトが、リスニングデバイスであり、上
    記リスニングデバイスが、上記ページのうちで上記識別された領域の近くにある
    上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが
    、オーディオファイルの再生を含む、請求項39に記載のコンピュータシステム
  44. 【請求項44】 上記物理オブジェクトが、選択デバイスであり、上記選択
    デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配
    置される時に、上記オーディオビジュアルプログラムが、上記ページの上記部分
    を表示することと、上記ページの上記部分に基づく応答とを含む、請求項39に
    記載のコンピュータシステム。
  45. 【請求項45】 上記物理オブジェクトが、関連するイメージであり、上記
    物理オブジェクトが、上記ページのうちで上記識別された領域の近くにある上記
    部分に配置される時に、上記オーディオビジュアルプログラムが、上記物理オブ
    ジェクトに関連する上記イメージを表示することを含む、請求項39に記載のコ
    ンピュータシステム。
  46. 【請求項46】 上記物理オブジェクトが、モーフィングデバイスであり、
    上記モーフィングデバイスが、上記ページのうちで上記識別された領域の近くに
    ある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記
    ページの上記部分の、上記ページのうちで上記識別された領域の近くにある上記
    部分に含まれないイメージへのモーフィングを含む、請求項39に記載のコンピ
    ュータシステム。
  47. 【請求項47】 複数の領域を有する書籍システムとインターフェースする
    プログラム命令を含むコンピュータ可読媒体であって、 データを抽出するために上記書籍システムをスキャンするコンピュータコード
    であって、上記抽出されたデータが、上記書籍システムの一部である物理オブジ
    ェクトの位置および識別子を含む、コンピュータコードと、 上記抽出されたデータに基づいて、上記物理オブジェクトに最も近い領域を識
    別するコンピュータコードと、 上記物理オブジェクトの上記識別子および上記識別された領域に関する上記物
    理オブジェクトの位置の判定に少なくとも部分的に基づくオーディオビジュアル
    プログラムを実行するコンピュータコードと、 上記コンピュータ可読コードを保管するコンピュータ可読媒体と を含むコンピュータ可読媒体。
  48. 【請求項48】 上記抽出されたデータが、上記書籍システムの一部である
    対話デバイスの位置および識別子も含み、上記コンピュータ可読媒体が、さらに
    、 上記抽出されたデータに基づいて上記対話デバイスの状態を識別するコンピュ
    ータコードと、 上記対話デバイスの上記識別された状態に基づいてオーディオビジュアルプロ
    グラムを実行するコンピュータコードと を含む、請求項47に記載のコンピュータ可読媒体。
  49. 【請求項49】 上記書籍システムが、複数のページを含み、上記物理オブ
    ジェクトが、選択されたページのうちで上記識別された領域の近くにある部分に
    配置することができるツールの形である、請求項47または48に記載のコンピ
    ュータ可読媒体。
  50. 【請求項50】 上記物理オブジェクトが、拡大デバイスであり、上記拡大
    デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配
    置される時に、実行される上記オーディオビジュアルプログラムが、上記ページ
    のうちで上記識別された領域の近くにある上記部分の拡大図を含む、請求項49
    に記載のコンピュータ可読媒体。
  51. 【請求項51】 上記物理オブジェクトが、デコーディングデバイスであり
    、上記デコーディングデバイスが、上記ページのうちで上記識別された領域の近
    くにある上記部分に配置される時に、実行される上記オーディオビジュアルプロ
    グラムが、上記ページのうちで上記識別された領域の近くにある上記部分内で示
    されていないテキスト、聴覚オブジェクト、または視覚オブジェクトを含む、請
    求項49に記載のコンピュータ可読媒体。
  52. 【請求項52】 上記物理オブジェクトが、リスニングデバイスであり、上
    記リスニングデバイスが、上記ページのうちで上記識別された領域の近くにある
    上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが
    、オーディオファイルの再生を含む、請求項49に記載のコンピュータ可読媒体
  53. 【請求項53】 上記物理オブジェクトが、選択デバイスであり、上記選択
    デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配
    置される時に、上記オーディオビジュアルプログラムが、上記ページの上記部分
    を表示することと、上記ページの上記部分に基づく応答とを含む、請求項49に
    記載のコンピュータ可読媒体。
  54. 【請求項54】 上記物理オブジェクトが、関連するイメージであり、上記
    物理オブジェクトが、上記ページのうちで上記識別された領域の近くにある上記
    部分に配置される時に、上記オーディオビジュアルプログラムが、上記物理オブ
    ジェクトに関連する上記イメージを表示することを含む、請求項49に記載のコ
    ンピュータ可読媒体。
  55. 【請求項55】 上記物理オブジェクトが、モーフィングデバイスであり、
    上記モーフィングデバイスが、上記ページのうちで上記識別された領域の近くに
    ある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記
    ページの上記部分の、上記ページのうちで上記識別された領域の近くにある上記
    部分に含まれないイメージへのモーフィングを含む、請求項49に記載のコンピ
    ュータ可読媒体。
  56. 【請求項56】 書籍システムであって、 各ページが1つまたは複数の領域を有する複数のページと、 上記ページの上で移動可能な物理オブジェクトと、 コンピュータシステムと結合することができる位置感知デバイスであって、上
    記ページの位置、上記物理オブジェクトの識別、および上記物理オブジェクトの
    位置を検出するように上記コンピュータシステムによって構成可能である、位置
    感知デバイスと を含み、上記コンピュータシステムが、上記ページおよび物理オブジェクトの
    上記位置および上記物理オブジェクトの識別を検出するように上記位置感知デバ
    イスを構成する命令を用いてプログラムもされ、上記コンピュータシステムが、
    上記物理オブジェクトに最も近い領域を判定し、上記ページの位置と、上記物理
    オブジェクトの識別および位置と、上記最も近い領域とに基づいてオーディオビ
    ジュアルプログラムを生成する命令を用いてプログラムもされる 書籍システム。
  57. 【請求項57】 上記位置感知デバイスが、電磁感知機構の形である、請求
    項56に記載の書籍システム。
  58. 【請求項58】 各ページおよび上記物理オブジェクトが、関連する共振器
    回路を有し、上記位置感知デバイスが、上記共振器回路の位置および識別を検出
    できるように、上記関連する共振器回路の少なくとも1つを活動化するために、
    それを介して所定の周波数を有する励起信号を送信することができるアンテナを
    含む、請求項57に記載の書籍システム。
  59. 【請求項59】 各ページに関連する各共振器回路が、異なる周波数値に応
    答する、請求項58に記載の方法。
  60. 【請求項60】 各ページに関連する上記共振器回路の少なくともいくつか
    が、上記アンテナの異なる部分の上に位置決めされる、請求項59に記載の方法
  61. 【請求項61】 上記ページが、第1共振器回路を形成し、上記物理オブジ
    ェクトが、第2共振器回路を有し、上記位置感知デバイスが、上記共振器回路の
    位置および識別を検出できるように、上記共振器回路の少なくとも1つを活動化
    するために、それを介して所定の周波数を有する励起信号を送信することができ
    るアンテナを含む、請求項57に記載の書籍システム。
  62. 【請求項62】 各ページが、別のページの別のコイルに直列に結合される
    関連するコイルを有し、上記ページの上記コイルが、上記ページのうちの選択さ
    れた1つがめくられる時に上記関連するコイルが逆方向になるように、共振器キ
    ャパシタに直列に結合される、請求項61に記載の書籍システム。
  63. 【請求項63】 さらに、ベース共振器を含み、各ページが、関連するコイ
    ルを有し、各コイルが、上記ベース共振器の上に位置決めされることができ、上
    記位置感知デバイスが、上記ベース共振器に関する上記ページの上記位置を判定
    できるように、上記ベース共振器の近くに配置される関連するページのコイルに
    よって影響される検出された信号を上記ベース共振器に生成させるために、所定
    の周波数を有する励起信号をそれを介して送信することができるアンテナを含む
    、請求項57に記載の書籍システム。
  64. 【請求項64】 さらに、ベース共振器を含み、各ページが、関連する導電
    ストリップを有し、各導電ストリップが、上記ベース共振器の上に位置決めされ
    ることができ、上記位置感知デバイスが、上記ベース共振器に関する上記ページ
    の上記位置を判定できるように、上記ベース共振器の近くに位置決めされる関連
    するページの1つまたは複数の導電ストリップによって影響される検出された信
    号を上記ベース共振器に生成させるために、所定の周波数を有する励起信号をそ
    れを介して送信することができるアンテナを含む、請求項57に記載の書籍シス
    テム。
  65. 【請求項65】 上記位置感知デバイスが、上記ページの上記位置を判定す
    るために2つの接点の間のキャパシタンスを測定するキャパシタンス測定デバイ
    スを含む、請求項56に記載の方法。
  66. 【請求項66】 各ページが、上記測定されるキャパシタンスに影響するた
    めに、少なくとも上記2つの接点の上および間にある区域を覆うように位置決め
    されることができる導電ストリップを含む、請求項65に記載の方法。
  67. 【請求項67】 各導電ストリップが、上記測定されるキャパシタンスに影
    響するために、上記2つの接点の上および間にある区域全体を覆うように位置決
    めされることができる、請求項66に記載の方法。
  68. 【請求項68】 上記位置感知デバイスが、上記ページの上記位置を判定す
    るために複数の接点対の間の抵抗を測定する抵抗測定デバイスを含む、請求項5
    6に記載の方法。
  69. 【請求項69】 各ページが、関連する接点対の間でショートが形成される
    ように、上記接点対の関連する1つの間に配置されることができる導電ストリッ
    プを含む、請求項68に記載の方法。
  70. 【請求項70】 各導電ストリップが、2つのプラグを含み、上記関連する
    接点対が、上記2つのプラグを受ける2つのレセプタクルを含む、請求項68に
    記載の方法。
  71. 【請求項71】 各導電ストリップが、2つのレセプタクルを含み、上記関
    連する接点対が、上記2つのレセプタクルに挿入される2つのプラグを含む、請
    求項68に記載の方法。
  72. 【請求項72】 上記位置感知デバイスが、それぞれがページに関連する複
    数の光検出器デバイスを含み、各ページが、上記ページの上記位置を判定できる
    ように上記ページを上記関連する光検出器デバイスを覆うように位置決めできる
    ように形状を定められる、請求項56に記載の方法。
  73. 【請求項73】 上記位置感知デバイスが、磁気測定デバイスを含み、各ペ
    ージが、上記ページが所定の向きにめくられる時に上記磁気測定デバイスの近く
    に位置決めされることができる関連する磁気タブを含む、請求項56に記載の方
    法。
  74. 【請求項74】 上記位置感知デバイスが、x、y、およびz位置を検出す
    ることができる、56ないし73のいずれかに記載の方法。
  75. 【請求項75】 上記位置感知デバイスが、回転角度位置の検出も可能であ
    る、請求項74に記載の方法。
  76. 【請求項76】 上記ページの上に移動可能な第2物理オブジェクト をさらに含み、上記コンピュータシステムが、上記第2物理オブジェクトの位
    置および識別を検出するように上記位置感知デバイスを構成し、上記第2物理オ
    ブジェクトに最も近い領域を判定し、上記ページの位置と、上記第2物理オブジ
    ェクトの識別および位置と、上記第2物理オブジェクトに最も近い上記領域とに
    基づいて第2オーディオビジュアルプログラムを生成する命令を用いてプログラ
    ムもされる 56ないし75のいずれかに記載の書籍システム。
  77. 【請求項77】 複数のページ、第1物理オブジェクト、および第2物理オ
    ブジェクトを有する書籍システムとインターフェースする方法であって、各物理
    オブジェクトを、複数のページの1つの近くに配置することができ、 データを抽出するために上記書籍システムをスキャンすることであって、上記
    抽出されたデータが、上記第1物理オブジェクトが上記ページの1つの近くに配
    置される場合に、少なくとも第1の選択された物理オブジェクトの第1位置およ
    び第1識別子を含み、上記抽出されたデータが、上記第2物理オブジェクトが上
    記ページの1つの近くに配置される場合に、上記第2物理オブジェクトの第2位
    置および第2識別子を含む、スキャンすることと、 上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上
    記抽出されたデータに基づいて上記第1の選択された物理オブジェクトに最も近
    い第1領域を識別することと、 上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上
    記抽出されたデータに基づいて上記第2物理オブジェクトに最も近い第2領域を
    識別することと、 上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上
    記第1物理オブジェクトの上記第1位置および第1識別子と上記第1領域の識別
    子とに少なくとも部分的に基づいてオーディオビジュアルプログラムを実行する
    ことと、 上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上
    記第2物理オブジェクトの上記第2位置および第2識別子と上記第2領域の識別
    子とに少なくとも部分的に基づいてオーディオビジュアルプログラムを実行する
    ことと を含む方法。
  78. 【請求項78】 上記抽出されたデータに、上記書籍システムの一部である
    対話デバイスの位置および識別子も含まれ、上記方法がさらに、 上記抽出されたデータに基づいて上記対話デバイスの状態を識別することと、 上記対話デバイスの上記識別された状態に少なくとも部分的に基づいてオーデ
    ィオビジュアルプログラムを実行することと を含む、請求項77に記載の方法。
  79. 【請求項79】 上記第1物理オブジェクトが、選択されたページのうちで
    上記識別された第1領域の近くの部分に配置することができるツールの形である
    、請求項77または78に記載の方法。
  80. 【請求項80】 上記第1物理オブジェクトが、拡大デバイスであり、上記
    拡大デバイスが、上記ページのうちで上記識別された第1領域の近くにある上記
    部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上
    記ページのうちで上記識別された第1領域の近くにある上記部分の拡大図を含む
    、請求項79に記載の方法。
  81. 【請求項81】 上記第1物理オブジェクトが、x線デバイスであり、上記
    x線デバイスが、上記ページのうちで上記識別された第1領域の近くにある上記
    部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上
    記ページのうちで上記識別された第1領域の近くにある上記部分のx線図を含む
    、請求項79に記載の方法。
  82. 【請求項82】 上記第1物理オブジェクトが、デコーディングデバイスで
    あり、上記デコーディングデバイスが、上記ページのうちで上記識別された第1
    領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュ
    アルプログラムが、上記ページのうちで上記識別された第1領域の近くにある上
    記部分内で示されていないテキスト、聴覚オブジェクト、または視覚オブジェク
    トを含む、請求79に記載の方法。
  83. 【請求項83】 上記第1物理オブジェクトが、リスニングデバイスであり
    、上記リスニングデバイスが、上記ページのうちで上記識別された第1領域の近
    くにある上記部分に配置される時に、実行される上記オーディオビジュアルプロ
    グラムが、オーディオファイルの再生を含む、請求項79に記載の方法。
  84. 【請求項84】 上記第1物理オブジェクトが、選択デバイスであり、上記
    選択デバイスが、上記ページのうちで上記識別された第1領域の近くにある上記
    部分に配置される時に、上記オーディオビジュアルプログラムが、上記ページの
    上記部分を表示することと、上記ページの上記部分に基づく応答とを含む、請求
    項79に記載の方法。
  85. 【請求項85】 上記第1物理オブジェクトが、関連するイメージであり、
    上記物理オブジェクトが、上記ページのうちで上記識別された第1領域の近くに
    ある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記
    物理オブジェクトに関連する上記イメージを表示することを含む、請求項79に
    記載のコンピュータシステム。
  86. 【請求項86】 上記第1物理オブジェクトが、モーフィングデバイスであ
    り、上記モーフィングデバイスが、上記ページのうちで上記識別された第1領域
    の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラム
    が、上記ページの上記部分の、上記ページのうちで上記識別された第1領域の近
    くにある上記部分に含まれないイメージへのモーフィングを含む、請求項79に
    記載の方法。
  87. 【請求項87】 複数のページ、第1物理オブジェクト、および第2物理オ
    ブジェクトを有する書籍システムとインターフェースするプログラム命令を含む
    コンピュータ可読媒体であって、各物理オブジェクトを、複数のページの1つの
    近くに配置することができ、 データを抽出するために上記書籍システムをスキャンするコンピュータコード
    であって、上記抽出されたデータが、上記第1物理オブジェクトが上記ページの
    1つの近くに配置される場合に、少なくとも第1の選択された物理オブジェクト
    の第1位置および第1識別子を含み、上記抽出されたデータが、上記第2物理オ
    ブジェクトが上記ページの1つの近くに配置される場合に、上記第2物理オブジ
    ェクトの第2位置および第2識別子を含む、コンピュータコードと、 上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上
    記抽出されたデータに基づいて上記第1の選択された物理オブジェクトに最も近
    い第1領域を識別するコンピュータコードと、 上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上
    記抽出されたデータに基づいて上記第2物理オブジェクトに最も近い第2領域を
    識別するコンピュータコードと、 上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上
    記第1物理オブジェクトの上記第1位置および第1識別子と上記第1領域の識別
    子とに少なくとも部分的に基づいてオーディオビジュアルプログラムを実行する
    コンピュータコードと、 上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上
    記第2物理オブジェクトの上記第2位置および第2識別子と上記第2領域の識別
    子とに少なくとも部分的に基づいてオーディオビジュアルプログラムを実行する
    コンピュータコードと、 上記コンピュータ可読コードを保管するコンピュータ可読媒体と を含むコンピュータ可読媒体。
  88. 【請求項88】 上記物理オブジェクトによる上記物理オブジェクトのジェ
    スチャ動きを識別し、解釈するジェスチャリコグナイザをさらに含む、請求項3
    7に記載のコンピュータシステム。
JP2000596441A 1999-02-01 2000-01-31 対話型エンターテイメントシステムおよび方法 Pending JP2002535794A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US11838499P 1999-02-01 1999-02-01
US60/118,384 1999-02-01
US30664799A 1999-05-06 1999-05-06
US09/306,647 1999-05-06
PCT/US2000/002342 WO2000045250A2 (en) 1999-02-01 2000-01-31 Interactive entertainment systems and methods

Publications (1)

Publication Number Publication Date
JP2002535794A true JP2002535794A (ja) 2002-10-22

Family

ID=26816293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000596441A Pending JP2002535794A (ja) 1999-02-01 2000-01-31 対話型エンターテイメントシステムおよび方法

Country Status (9)

Country Link
EP (1) EP1159668A2 (ja)
JP (1) JP2002535794A (ja)
KR (1) KR20020003364A (ja)
CN (1) CN1342275A (ja)
AU (1) AU2746600A (ja)
CA (1) CA2360940A1 (ja)
NO (1) NO20013633L (ja)
PL (1) PL349814A1 (ja)
WO (1) WO2000045250A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020074197A (ja) * 2017-09-05 2020-05-14 株式会社バンダイ 情報提供システムおよび情報提供プログラム
JPWO2021186938A1 (ja) * 2020-03-18 2021-09-23

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009018988A2 (de) * 2007-08-03 2009-02-12 Ident Technology Ag Spielzeug, insbesondere in der art einer puppe oder stofftieres
US8545283B2 (en) 2008-02-20 2013-10-01 Ident Technology Ag Interactive doll or stuffed animal
DE102010004813A1 (de) * 2010-01-15 2011-07-21 Schubert, Peter, 01159 Wiedergabegerät für ein Druckerzeugnis
EP2600950A4 (en) * 2010-08-04 2013-12-18 Pure Imagination Llc INTERACTIVE PLAYING BOARD SYSTEM WITH CAPACITIVE MEASUREMENT AND IDENTIFICATION OF PLAY PARTS
TWI512547B (zh) * 2011-12-20 2015-12-11 Univ Nat Chiao Tung 互動式系統及互動式裝置
US10363486B2 (en) 2013-06-10 2019-07-30 Pixel Press Technology, LLC Smart video game board system and methods
WO2016162403A1 (en) * 2015-04-08 2016-10-13 Lego A/S Game system
CN112675555B (zh) * 2018-01-08 2022-09-27 克兹二世怡人合资有限公司 具有电容式触摸交互性的儿童玩具

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2607400A1 (fr) * 1986-11-27 1988-06-03 Chacun Patrick Perfectionnement aux jeux de societe
NZ291950A (en) * 1994-07-28 1998-06-26 Super Dimension Inc Computerised game board: location of toy figure sensed to actuate audio/visual display sequence

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020074197A (ja) * 2017-09-05 2020-05-14 株式会社バンダイ 情報提供システムおよび情報提供プログラム
JPWO2021186938A1 (ja) * 2020-03-18 2021-09-23
WO2021186938A1 (ja) * 2020-03-18 2021-09-23 Necソリューションイノベータ株式会社 判定装置、判定方法、記録媒体
JP7311205B2 (ja) 2020-03-18 2023-07-19 Necソリューションイノベータ株式会社 判定装置、判定方法、記録媒体

Also Published As

Publication number Publication date
KR20020003364A (ko) 2002-01-12
WO2000045250A3 (en) 2000-12-28
NO20013633D0 (no) 2001-07-24
WO2000045250A2 (en) 2000-08-03
AU2746600A (en) 2000-08-18
NO20013633L (no) 2001-09-12
PL349814A1 (en) 2002-09-09
CA2360940A1 (en) 2000-08-03
EP1159668A2 (en) 2001-12-05
CN1342275A (zh) 2002-03-27

Similar Documents

Publication Publication Date Title
US9349218B2 (en) Method and apparatus for controlling augmented reality
JP6044079B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP1672470B1 (en) Information processing apparatus and method
US9821225B2 (en) Game machine, control method used in same, and non-transitory computer readable storage medium
KR102028139B1 (ko) 증강현실 기반의 영상 표시방법
JP2002535794A (ja) 対話型エンターテイメントシステムおよび方法
WO2018142756A1 (ja) 情報処理装置及び情報処理方法
JP4671192B2 (ja) 画像処理装置および画像処理方法
CN109985382A (zh) 剧情节点的脚本执行方法、装置、设备及存储介质
CN111359209B (zh) 视频播放方法、装置和终端
CN103065345A (zh) 阅读器单元、服务器单元、显示控制方法及数字漫画编辑方法
WO2022001600A1 (zh) 信息解析方法及装置、设备、存储介质
CN111640192A (zh) 场景图像处理方法、装置、ar设备以及存储介质
JP2004088740A (ja) 動画像再生装置、スケジュール・データ、動画像再生方法、及びプログラム
JP6730461B2 (ja) 情報処理システム及び情報処理装置
JP2010252008A (ja) 撮影装置、表示装置、再生装置、撮影方法、および表示方法
JP5733941B2 (ja) ゲーム装置およびゲームシステム
WO2022040574A1 (en) Integrating overlaid digital content into displayed data via graphics processing circuitry
CN108388836A (zh) 一种用于获取视频语义信息的方法与装置
JP7160707B2 (ja) 仮想キャラクタを含む画像を提供するための方法
US8556712B2 (en) System for presenting interactive content
Paelke et al. Vision-based interaction-a first glance at playing MR games in the real-world around us
Marczak et al. Audio visual analysis of player experience: feedback-based gameplay metrics
KR102671284B1 (ko) 댄스 서비스 시스템
WO2023170744A1 (ja) 画像処理装置、画像処理方法、および記録媒体