JP2019527887A - インタラクティブなリーディングのためのシステム、装置、及び方法 - Google Patents

インタラクティブなリーディングのためのシステム、装置、及び方法 Download PDF

Info

Publication number
JP2019527887A
JP2019527887A JP2019501967A JP2019501967A JP2019527887A JP 2019527887 A JP2019527887 A JP 2019527887A JP 2019501967 A JP2019501967 A JP 2019501967A JP 2019501967 A JP2019501967 A JP 2019501967A JP 2019527887 A JP2019527887 A JP 2019527887A
Authority
JP
Japan
Prior art keywords
response
cues
responses
audible
computing devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019501967A
Other languages
English (en)
Inventor
トーマス フォーマン
トーマス フォーマン
ヒレン ジャキソン
ヒレン ジャキソン
Original Assignee
ザ マーケティング ストア ワールドワイド,エルピー
ザ マーケティング ストア ワールドワイド,エルピー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ マーケティング ストア ワールドワイド,エルピー, ザ マーケティング ストア ワールドワイド,エルピー filed Critical ザ マーケティング ストア ワールドワイド,エルピー
Publication of JP2019527887A publication Critical patent/JP2019527887A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/062Combinations of audio and printed presentations, e.g. magnetically striped cards, talking books, magnetic tapes with printed texts thereon
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/04Sound-producing devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8545Content authoring for generating interactive applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B17/00Teaching reading

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Signal Processing (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

インタラクティブなリーディングを容易にするためのシステム、装置、及び方法が、プログラム又はアプリケーションを有する電子デバイスを含み得る。一実施形態において、アプリケーションは、話を声に出して読むこと及び/又は1若しくは2以上の行為を実行することの結果として生じる、外部データソースと組み合わされた1又は2以上の合図を認識することができる。

Description

関連出願の相互参照
本出願は、2016年7月13日に出願した、「System and Method for Interactive Reading」と題した米国仮出願第62/361,644号明細書の優先権を主張するものであり、この米国仮出願は、その全体が参照により本明細書に組み込まれる。
音声の合図又は声に出したリーディングに応答するデバイスを提供することが、知られている。例えば、米国特許出願公開第2006/0073444号明細書は、本の読者が、デバイス上で適切なトラックを選択するために本の中の目印(indicia)を電子的にスキャンするために符号化目印デバイスを使用することを開示する。さらに、米国特許出願公開第2009/0246749号明細書は、ポータブルプロジェクター及び紫外線を含む光信号の使用を開示する。
米国特許出願公開第2006/0073444号明細書 米国特許出願公開第2009/0246749号明細書
ここに開示される技術は、上述の及びその他の従来技術の欠点を克服し、さらなる利点を提供する。例えば、一実施形態において、ここに開示される技術は、本又はその他の読み物がそれらの上又は中に任意の電子的識別子を有することを必要としない。一実施形態において、ここに開示される技術は、1又は2以上のユーザからの発話された語によってアクティブ化されたコンテンツを表示し、そのコンテンツとインタラクションすることができるタッチスクリーンディスプレイを使用する。
一実施形態において、本開示は、概して、インタラクティブなリーディングを可能にするか又は容易にするシステム及び方法に関する。1つの特定の実施形態においては、コンピュータアプリケーションが、子どもを本又は話に没頭させるのに役立つ。読者又は閲覧者の想像力が、伸ばされるか又は広げられ、それによって、本又は話のリーディングから気を逸らすことなく他にはない体験及び雰囲気を作り出すことができる。話が声に出して読まれるとき、アプリケーションは、音、色、モーションなどによって本の場面及び雰囲気を生き生きさせることができ、それらの音、色、モーションなどのすべては、アプリケーションから生成され得る。(音響効果、静止グラフィックス、アニメーションなどを含み得る)これらの場面は、読者の動き、地理的位置、時刻、季節のイベント、祝日、及び祭礼の自動カレンダ(automatic calendar)、並びにその他の変わり得る外部データソースなどの、デバイスを介して得られる外部データソースに応答してトリガされ、変更され得る。この体験は、読み続けるように子どもに促し、読む理由を子どもに与えることができる。読者は、自身の出版物のための独自の場面を生成することもできる。
別の実施形態において、本開示は、インタラクティブなリーディング体験を提供するように構成され得るシステムに関する。システムは、音声を少なくとも1つの電気信号に変換するように構成されたマイクロフォンと、少なくとも1つの電気信号を音声に変換するように構成されたスピーカと、少なくとも1つの電気信号を1又は2以上の視覚的表現に変換するように構成されたディスプレイと、マイクロフォン、スピーカ、及びディスプレイに動作可能に接続された1又は2以上のプロセッサと、1又は2以上のプロセッサに動作可能に接続され、1又は2以上のプロセッサのうちの少なくとも1つによって実行されたとき1又は2以上のプロセッサに、所定の原稿からの個人の声に出したリーディングからマイクロフォンによって複数の異なる聞き取ることができる合図を受け取ること、並びにスピーカ及びディスプレイのうちの少なくとも一方によって複数の応答を生成することであって、複数の応答の各応答が、複数の聞き取ることができる合図のうちの1つに基づく、生成することを行わせるコンピュータ可読命令を記憶する1又は2以上のメモリとを含み得る。
さらに別の実施形態において、本開示は、1又は2以上のコンピューティングデバイスによって実行されたとき、1又は2以上のコンピューティングデバイスに、1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、所定の原稿からの個人の声に出したリーディングから第1の聞き取ることができる合図を受け取ることと、1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、第1の聞き取ることができる合図に基づいて電子デバイスを通じた第1の応答を生成することと、1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、所定の原稿からの個人の声に出したリーディングから第2の聞き取ることができる合図を受け取ることであって、第2の聞き取ることができる合図が、第1の聞き取ることができる合図と異なる、受け取ることと、1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、第2の聞き取ることができる合図に基づいて電子デバイスを通じた第2の応答を生成することであって、第2の応答が、第1の応答と異なる、生成することとを行わせるコンピュータ可読コードを記憶する非一時的コンピュータ可読媒体に関する。
さらなる実施形態において、本開示は、インタラクティブなリーディング体験を生み出すために1又は2以上のコンピューティングデバイスによって実施される方法に関する。方法は、1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、所定の原稿からの個人の声に出したリーディングから1又は2以上の合図を受け取るステップと、1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、1又は2以上の合図の各合図に基づいて応答を生成するステップとを含み得る。1又は2以上の合図のうちの第1の合図に関連する応答は、1又は2以上の合図のうちの第2の合図に関連する応答と異なる可能性がある。
本発明の上述の概要及び以下の詳細な説明は、添付の図面と関連して読まれたときにより深く理解される。本発明を例示する目的で、さまざまな例示的な実施形態が図面に示される。しかし、本発明は、示される厳密な構成及び手段に限定されないことを理解されたい。
本開示の実施形態による多くの構成要素及びステップを示す図である。 本開示の実施形態による多くの構成要素及びステップを示す図である。 本開示の実施形態による多くの構成要素及びステップを示す図である。 本開示の実施形態によるいくつかのステップを示す図である。 本開示の実施形態による多くの構成要素及びステップを示す図である。 本明細書において開示されるプロセスを実行するのに有用な例示的なコンピューティングデバイスを示す図である。 本開示の実施形態によるいくつかのステップを示す図である。
特定の用語が、以下の説明において単に便宜上使用され、限定的でない。本明細書において使用される特定の語は、参照される図面における方向を示す。本明細書においてはっきりと述べられない限り、用語「a」、「an」、及び「the」は、1つの要素に限定されず、むしろ、「少なくとも1つの」を意味すると読まれるべきである。用語は、上述の語、それらの派生語、及び類似した意味の語を含む。
全体を通じて同様の参照番号が同様の要素を示す図面を詳細に参照すると、図1〜図7は、インタラクティブなリーディングを容易にするか又は促進するために設計されたシステム及び方法を示す。システム及び方法は、プログラム若しくはアプリケーションを有するか又はプログラム若しくはアプリケーションにアクセスすることができるハンドヘルドモバイル電話又はタブレット又はその他のコンピューティングデバイスなどの電子デバイスを含み得る。電子デバイスのアプリケーション及び/又は1若しくは2以上の部分は、話を声に出して読んだ結果として生じる1又は2以上の聞き取ることができる合図を(1又は2以上の)データ点と一緒に認識して、そして、それらの聞き取ることができる合図に対する応答を生じさせることができる。言い換えると、電子デバイスのアプリケーション及び/又は1若しくは2以上の部分は、発話されたときに、電子デバイスによって特定のコンテンツを自動的に再生するか又は開始するようにアプリケーションをトリガする聞き取ることができる合図を「聞く」ことができる音声認識技術(例えば、音声認識チップ、マイクロフォン、スピーカ、及び汎用又は特定用途向けプロセッサ又は集積回路)を使用し得る。特定のコンテンツは、話及び環境に関連するように設計される。
一実施形態の動作中に、ユーザ又は読者が話を声に出して読むとき、アプリケーションは、1又は2以上の聞き取ることができる合図(例えば、音、単語、語句、文章、抑揚など)及び1又は2以上の感知された又は受信されたデータ点又はその他の外部情報を特定及び/又は認識することができ、それらに対する1又は2以上の応答を生成する。1又は2以上の応答は、電子デバイスの画面上に画像、アニメーション、動画、及び/若しくはゲームを表示すること、並びに/又はコンピュータデバイスの1若しくは2以上のスピーカを通じた聞き取ることができるうるさい音若しくは歌を生成すること、振動すること、点滅すること、などである可能性がある。1又は2以上の応答は、話を補足又は向上させ、読者/閲覧者を熱中させるか又はより一層熱中させることができる。1又は2以上の応答は、ユーザの環境に合わせてより個人化されるように外部データソースによって影響を受ける可能性がある。
話は、本、雑誌、出版物、新聞、電子ブック、ウェブサイト、コンピュータアプリケーション、ゲーム(例えば、ボードゲーム)、広告掲示板などから読まれる可能性がある。電子デバイスは、ハンドヘルドモバイル電話又はタブレットであるように限定されない。そうではなく、電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、テレビ、ウェアラブル電子デバイス(例えば、スマートウォッチ)などである可能性がある。電子デバイスのアプリケーション及び/又は1若しくは2以上の部分は聞き取ることができる合図を認識することができるが、代替的に又は追加的に、電子デバイスのアプリケーション及び/又は1若しくは2以上の部分は、(例えば、電子デバイスのカメラを通した)視覚的合図及び/又は物理的合図(例えば、電子デバイスを振ること若しくはねじること)を認識する可能性がある。視覚的及び/又は物理的合図は、アプリケーション及び/又は電子デバイスからの応答をトリガする可能性がある。
図1及び図2は、本開示の実施形態を示す。例えば、語句「あらゆる種類の瓶と広口瓶」が声に出して読まれるとき、電子デバイスのアプリケーション及び/又は1若しくは2以上の部分は、それを特定及び/又は感知することができ、広口瓶がガタガタ及びカチカチいう音を電子デバイスのスピーカに出させることができる。代替的に又は追加的に、電子デバイスのアプリケーション及び/又は1若しくは2以上の部分は、材料が声に出して読まれることをアプリケーションが感知した後、ゴボゴボ及びガタガタいう音をスピーカに出させることができる。材料が声に出して読まれるとき、電子デバイスのアプリケーション及び/又は1若しくは2以上の部分は、コンピュータエレクトロニック(computer electronic)のディスプレイに、液体でいっぱいであるように見えるようにさせ、蒸気を表示させ、クロコダイルの写真を示させ、及び/又は回転する画像を表示させることができる。もちろん、複数の応答(それらの応答の例は上で説明されている)のいずれかが生成又は実行され得る。一実施形態においては、話が読まれるにつれて複数の応答が順次再生され得るように、各応答は、数秒の間だけ続き得る。
一実施形態において、トリガ又は応答の複数の組が、それぞれの話に関して生成される可能性がある。したがって、話が読まれる度に、話の異なる要素は、アプリケーションによって対処される又は生き生きさせられる可能性がある。例えば、特定の話が初めて読まれるとき、電子デバイスのアプリケーション及び/又は1若しくは2以上の部分は、10個の応答のうちの3つを生じさせる可能性がある。同じ話が2度目に読まれるとき、電子デバイスのアプリケーション及び/又は1若しくは2以上の部分は、どの3つの応答が既に生じさせられたかを(例えば、メモリによって)思い出すことができ、さらなる又は代替的な応答を生じさせることができる。
一実施形態において、同じ話が異なるデータ点、例えば、異なるジオロケーション、異なる時刻、異なる季節、異なる個人又は読者、話が声に出して読まれる異なる速さ、読者による異なる声の抑揚などを使用して読まれるとき、アプリケーションは、応答の1又は2以上の変化形を生成し得る。例えば、1又は2以上の場面及び/又は音が、読者の動き、読者の声の抑揚、地理的位置、時刻、季節のイベント、祝日、及び祭礼の自動カレンダ、並びにその他の変わり得る外部データソースなどの、デバイスを介して得られる外部データソースによってトリガされ、変更され得る。
この実施形態の一例は、キャラクタが馬に乗って逃げようとしている冒険についてユーザが読むことである。デバイスは、馬がギャロップで駆ける音によって応答する可能性があるが、ギャロップの音のペース及び/又はボリュームは、デバイスの動きによって影響を受ける可能性があり、つまり、デバイスを速く動かすこと又はセル電話を速く振ることが、より速いギャロップをもたらす。この実施形態の別の例は、現在日付のデータを与えられるデバイスによって、12月の間、背景にお祭りの音楽を再生することを含む。
図3は、電子デバイス上で特定の活動を完了させるか又は見るようにユーザ又は読者に指示する本開示の別の実施形態を示す。例えば、語句「今度はあなたの番」が声に出して読まれるとき、電子デバイスのアプリケーション及び/又は1若しくは2以上の部分は、ユーザがディスプレイの特定の部分にタッチすることによって操作されるか又は動かされる可能性がある一連のレバー及びボタンを電子デバイスのディスプレイに示させることができる。ユーザがボタンのうちの1又は2以上にタッチすることを感知すると、アプリケーションは、ディスプレイにアニメーションされる動画を再生させる、並びに/又はスピーカに音及び/若しくは歌を発させる可能性がある。動画は、どのボタン又はレバーがユーザ又は読者によって選択されるかに応じて異なる可能性がある。
図4は、本開示の、全体を400と表される方法の実施形態を示す。ユーザ又は読者は、本及び/又はHappy Meal(登録商標)などの製品を購入又は取得することができる(ステップ402)。製品は、ユーザがアプリケーションを電子デバイスに(例えば、インターネットから)インストールするか又はダウンロードするための情報又は指示を(例えば、指示カード、本、又はおもちゃに)含み得る(ステップ404)。ユーザは、アプリケーションに登録するか又はログインする必要があってもなくてもよい(ステップ406)。ユーザは、電子デバイスのディスプレイ上の1又は2以上のアイコンを選択又はクリックすることによってインタラクティブなリーディングの行使を開始することができる(ステップ408)。代替的に、アプリケーションが自動的にロードされる可能性がある。どちらの場合も、アプリケーションは、ユーザ又は読者からの合図を聞く又は感知するように準備され得る。
図5は、アプリケーションがロードされたか又は作動させられたときの本開示の方法の実施形態を示す。最初に、電子デバイスのアプリケーション及び/又は1若しくは2以上の部分が、電子デバイスのディスプレイに、ユーザ又は読者に話を選択するように促させることができる(ステップ502)。一実施形態において、利用可能な又は表示される話のリストは、所定の時間期間(例えば、各週)に基づいて制限される可能性がある。例えば、2つの話が、第1の週の間利用され得る可能性があり、2つのさらなる話が、その後の各週に利用され得る可能性がある。各週に関して、アプリケーションは、話に固有のアセット(asset)又は情報をロードすることができる。
話が選択されると、電子デバイスのアプリケーション及び/又は1若しくは2以上の部分が、電子デバイスのディスプレイに、ユーザ又は読者に指示又は助言を与えさせることができる(ステップ504)。助言の例は、最も良い結果を得るために話の各語を大きな声で、ゆっくりと、はっきり読むことである。それから、ユーザは、アプリケーションに聞き取ることができる合図を「聞くこと」を開始させるために「開始」又は「始動」ボタンを選択することができる。もちろん、ユーザ又は読者は、ディスプレイ上の適切なコントロールを使用して先に進むか又は後ろに戻ることができる。インタラクティブなリーディングの方法は、上で説明され、図1〜図3に示されたように継続し得る。
上述のシステム及び/又は方法のうちの1又は2以上は、1又は2以上の電子デバイス610(図6参照)上で実行されるソフトウェア、例えば、モジュールによって実装されるか、又は1又は2以上の電子デバイス610(図6参照)上で実行されるソフトウェア、例えば、モジュールを含む可能性がある。もちろん、本明細書において説明されるモジュールは、さまざまな機能を例示し、いかなる実施形態の構造又は機能も限定しない。むしろ、さまざまなモジュールの機能は、さまざまな設計の考慮事項に応じてより多くの又はより少ないモジュールによって異なるように分割され、実行される可能性がある。
各電子デバイス610は、1又は2以上のストレージデバイス613上に非一時的に記憶された命令、例えば、コンピュータ可読命令(つまり、コード)を処理するように設計された1又は2以上の処理デバイス611を含み得る。命令を処理することによって、(1又は2以上の)処理デバイス611は、本明細書において開示されるステップ及び/又は機能のうちの1又は2以上を実行する可能性がある。各処理デバイスは、現実的であるか又は仮想的である可能性がある。マルチプロセッシングシステムにおいては、処理能力を高めるために、複数の処理ユニットが、コンピュータが実行可能な命令を実行する可能性がある。(1又は2以上の)ストレージデバイス613は、任意の種類の非一時的ストレージデバイス(例えば、光ストレージデバイス、磁気ストレージデバイス、ソリッドステートストレージデバイスなど)である可能性がある。(1又は2以上の)ストレージデバイス613は、取り外し可能であるか又は取り外し不可能である可能性があり、磁気ディスク、磁気テープ若しくはカセット、CD−ROM、CD−RW、DVD、又は情報を記憶するために使用され得る任意のその他の媒体を含む。代替的に、命令は、1又は2以上の遠隔のストレージデバイス、例えば、ネットワーク又はインターネットを介してアクセスされるストレージデバイスに記憶される可能性がある。
各電子デバイス610は、さらに、メモリ612、1若しくは2以上の入力コントローラ616、1若しくは2以上の出力コントローラ615、及び/又は1若しくは2以上の通信接続640を有する可能性がある。メモリ612は、揮発性メモリ(例えば、レジスタ、キャッシュ、RAMなど)、不揮発性メモリ(例えば、ROM、EEPROM、フラッシュメモリなど)、又はこれらの何らかの組合せである可能性がある。少なくとも1つの実施形態において、メモリ612は、説明される技術を実装するソフトウェアを記憶する可能性がある。
バス、コントローラ、又はネットワークなどの相互接続メカニズム614が、(1又は2以上の)プロセッサ611、メモリ612、(1又は2以上の)ストレージデバイス613、(1又は2以上の)入力コントローラ616、(1又は2以上の)出力コントローラ615、(1又は2以上の)通信接続640、及び任意のその他のデバイス(例えば、ネットワークコントローラ、サウンドコントローラなど)を含むコンピューティングデバイス610の構成要素を動作可能に接続する可能性がある。(1又は2以上の)出力コントローラ615は、(1又は2以上の)出力コントローラ615が(例えば、実行されるモジュールに応答して)デバイス上の表示を変換することができるように1又は2以上の出力デバイス620(例えば、モニタ、テレビ、モバイルデバイスのスクリーン、タッチディスプレイ、プリンタ、スピーカなど)に(例えば、有線又はワイヤレス接続によって)動作可能に接続される可能性がある。(1又は2以上の)入力コントローラ616は、入力がユーザから受け取られ得るように入力デバイス630(例えば、マウス、キーボード、タッチパッド、スクロールボール、タッチディスプレイ、ペン、ゲームコントローラ、音声入力デバイス、スキャンデバイス、デジタルカメラなど)に(例えば、有線又はワイヤレス接続によって)動作可能に接続される可能性がある。
(1又は2以上の)通信接続640は、別のコンピューティングエンティティとの通信媒体を介した通信を可能にする。通信媒体は、変調されたデータ信号内でコンピュータが実行可能な命令、音声若しくは動画情報、又はその他のデータなどの情報を運ぶ。変調されたデータ信号は、その信号の特徴のうちの1又は2以上を、信号中に情報を符号化するような方法で設定又は変更させる信号である。限定ではなく例として、通信媒体は、電気、光、RF、赤外線、音響、又はその他のキャリアによって実装される有線又はワイヤレス技術を含む。
図6は、ただ特定を容易にするために電子デバイス610、出力デバイス620、及び入力デバイス630を別々のデバイスとして示す。しかし、電子デバイス610、(1若しくは2以上の)ディスプレイデバイス620、及び/又は(1若しくは2以上の)入力デバイス630は、別々のデバイスである可能性があり(例えば、モニタ及びマウスに有線で接続されたパーソナルコンピュータ)、単一のデバイスに統合される可能性があり(例えば、スマートフォン若しくはタブレットなどのタッチディスプレイを有するモバイルデバイス)、又はデバイスの任意の組合せである可能性がある(例えば、タッチスクリーンディスプレイデバイスに動作可能に接続されたコンピューティングデバイス、単一のディスプレイデバイス及び入力デバイスに取り付けられた複数のコンピューティングデバイスなど)。電子デバイス610は、1又は2以上のサーバ、例えば、ネットワーク化されたサーバのファーム、クラスタリングされたサーバ環境、又は遠隔のコンピューティングデバイス上で実行される(1若しくは2以上の)クラウドサービスである可能性がある。データソース650は、1又は2以上の外部ソースなどからデバイス610にデータを提供することができる。データソース650は、デバイス610の外になる可能性があり、インターネットなどの通信方法によって提供されるか、又はインターネットなどの通信方法に接続される可能性がある。
図7は、本開示の、全体を700と表される方法の実施形態を示す。データソース又は複数のデータソース(n)が、デバイスに入力され得る(ステップ702)。代替的に、デバイスは、1又は2以上のデータソースからデータを受信し得る。デバイスは、(1又は2以上の)データソースからイベント又は情報を継続的に受信する及び/又は聞くことができる(ステップ704)。デバイスは、イベント又は情報をデバイスに記憶されたイベント又は情報と比較することができる(ステップ706)。記憶されたイベント/情報と受信されたデータのイベント/情報との間に一致がある場合、デバイスは、データソースの現在の状態に対して保存された応答を処理するか又は開始して新しい他にはない応答を生成することができる(ステップ708及びステップ710)。それから、デバイスは、視覚的、聴覚的、及び/又は物理的に提示される可能性がある最終的な応答を出力することができる(ステップ712)。
従来技術のシステム及び方法とは対称的に、本開示のシステム及び方法は、本の中で拡張現実及び/又はマーカーをアクティブ化するために電話を特定の位置又は向きに保持することをユーザに求めない。本開示のシステム及び方法は、予め印刷された目標に頼らない。また、本開示のシステム及び方法は、本開示がユーザからの合図を感知するためにカメラのみに頼ることに加えて又はカメラのみに頼る代わりにオーディオ又はモーションセンサーを使用する可能性があるので、合図を感知するために電子デバイスのカメラに頼ることに限定されない。本開示のシステム及び方法は、アプリケーションが同じ合図に対して異なる反応を生成し得るので、話へのユーザの関心を効果的に高めることができる。
上述の実施形態の広い発明の概念を逸脱することなく上述の実施形態に対して変更がなされる可能性があることは、当業者に理解されるであろう。したがって、本開示は開示された特定の実施形態に限定されず、添付の請求項によって画定される本開示の趣旨及び範囲内の修正を包含することが意図されることが理解される。

Claims (22)

  1. インタラクティブなリーディング体験を提供するように構成されたシステムであって、
    音声を少なくとも1つの電気信号に変換するように構成されたマイクロフォンと、
    少なくとも1つの電気信号を音声に変換するように構成されたスピーカと、
    少なくとも1つの電気信号を1又は2以上の視覚的表現に変換するように構成されたディスプレイと、
    前記マイクロフォン、前記スピーカ、及び前記ディスプレイに動作可能に接続された1又は2以上のプロセッサと、
    前記1又は2以上のプロセッサに動作可能に接続され、前記1又は2以上のプロセッサのうちの少なくとも1つによって実行されたとき前記1又は2以上のプロセッサに、
    前記マイクロフォンによって複数の異なる聞き取ることができる合図を受け取ることであって、前記複数の異なる聞き取ることができる合図が、所定の原稿からの個人の声に出したリーディングから生じる、受け取ること、並びに
    前記スピーカ及び前記ディスプレイのうちの少なくとも一方によって複数の応答を生成することであって、前記複数の応答の各応答が、前記複数の聞き取ることができる合図のうちの1つに基づく、生成すること
    を行わせるコンピュータ可読命令を記憶する1又は2以上のメモリとを含む、前記システム。
  2. 複数の応答が、スピーカ及びディスプレイのうちの少なくとも一方によって逐次的に明示される、請求項1に記載のシステム。
  3. 1又は2以上のプロセッサのうちの少なくとも1つによって実行されたとき、1又は2以上のメモリが前記1又は2以上のプロセッサに
    複数の聞き取ることができる合図以外のデータを受け取ることであって、前記データが、全地球測位システム(GPS,Global Positioning System)ロケータ、モーションセンサー、時計、及びカレンダのうちの少なくとも1つから生じさせられた情報を含む、受け取ることと、
    前記データに基づいて1又は2以上の応答を生成することとを行わせ、
    前記データに基づく前記1又は2以上の応答のうちの少なくとも1つが、前記複数の聞き取ることができる合図に基づく複数の応答の各々と異なる、請求項1又は2に記載のシステム。
  4. 複数の聞き取ることができる合図が、個人の声に出したリーディングの少なくとも1つの音、語、語句、文章、及び声の抑揚を含む、請求項1又は2に記載のシステム。
  5. 複数の応答が、(i)ディスプレイ上の画像、(ii)前記ディスプレイ上のアニメーション、(iii)スピーカから生じる音、(iv)振動、(v)震え、及び(vi)点滅する光のうちの少なくとも1つを含む、請求項1又は2に記載のシステム。
  6. 所定の原稿が、本、雑誌、出版物、及びウェブサイトのうちの1つである、請求項1又は2に記載のシステム。
  7. 1又は2以上の画像又は動画を記録又はキャプチャするように構成されたカメラであって、1又は2以上のプロセッサに動作可能に接続される、カメラをさらに含み、
    前記1又は2以上のプロセッサのうちの少なくとも1つによって実行されたとき、1又は2以上のメモリが前記1又は2以上のプロセッサに
    電子デバイスの周りの外部環境から1又は2以上の視覚的合図を受け取ることと、
    スピーカ及びディスプレイのうちの少なくとも一方によって1又は2以上の応答を生成することであって、前記1又は2以上の応答の各々が、前記1又は2以上の視覚的合図に基づく、生成することとを行わせる、請求項1又は2に記載のシステム。
  8. 所定の原稿の連続した完全なリーディングが、異なる応答をもたらす、請求項1に記載のシステム。
  9. 1又は2以上のコンピューティングデバイスによって実行されたとき、前記1又は2以上のコンピューティングデバイスに
    前記1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、所定の原稿からの個人の声に出したリーディングから第1の聞き取ることができる合図を受け取ることと、
    前記1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、前記第1の聞き取ることができる合図に基づいて電子デバイスを通じた第1の応答を生成することと、
    前記1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、所定の原稿からの前記個人の声に出したリーディングから第2の聞き取ることができる合図を受け取ることであって、前記第2の聞き取ることができる合図が、前記第1の聞き取ることができる合図と異なり、前記第2の聞き取ることができる合図が、前記第1の聞き取ることができる合図の受け取りの後に受け取られる、受け取ることと、
    前記1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、前記第2の聞き取ることができる合図に基づいて前記電子デバイスを通じた第2の応答を生成することであって、前記第2の応答が、前記第1の応答と異なる、生成することとを行わせるコンピュータ可読コードを記憶する、非一時的コンピュータ可読媒体。
  10. 第1の応答が、1又は2以上の第1の画像又はアニメーションが電子デバイスのディスプレイ上に示されることを含み、第2の応答が、1又は2以上の第2の画像又はアニメーションが前記電子デバイスの前記ディスプレイ上に示されることを含む、請求項9に記載の媒体。
  11. 第1の応答が、1又は2以上の第1の音が電子デバイスのスピーカから再生されることであり、第2の応答が、1又は2以上の第2の音が前記電子デバイスの前記スピーカから再生されることを含む、請求項9又は10に記載の媒体。
  12. 1又は2以上のコンピューティングデバイスによって実行されたとき、前記1又は2以上のコンピューティングデバイスに
    1又は2以上の聞き取ることができる合図以外のデータを受け取ることであって、前記データが、全地球測位システム(GPS)ロケータ、モーションセンサー、及び時計のうちの少なくとも1つからの情報を含む、受け取ることと、
    前記データに基づいて1又は2以上の第3の応答を生成することとを行わせる、請求項9又は10に記載の媒体。
  13. 1又は2以上のデータソースが、少なくとも1つの全地球測位システム(GPS)ロケータ、モーションセンサー、及び時計を含む、請求項12に記載の媒体。
  14. 1又は2以上の聞き取ることができる合図が、音、語、語句、文章、及び声の抑揚のうちの少なくとも1つを含む、請求項9に記載の媒体。
  15. インタラクティブなリーディング体験を生み出すために1又は2以上のコンピューティングデバイスによって実施される方法であって、
    a)前記1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、所定の原稿からの個人の声に出したリーディングから1又は2以上の合図を受け取るステップと、
    b)前記1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、前記1又は2以上の合図の各合図に基づいて応答を生成するステップとを含み、
    前記1又は2以上の合図のうちの第1の合図に関連する応答が、前記1又は2以上の合図のうちの第2の合図に関連する応答と異なる、前記方法。
  16. 応答のうちの少なくとも1つが、スピーカによって明示される聞き取ることができる応答である、請求項15に記載の方法。
  17. 応答のうちの少なくとも1つが、ディスプレイによって明示される視覚的応答である、請求項15又は16に記載の方法。
  18. 1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、ステップa)の前に電子デバイスにアプリケーションをダウンロードするステップと、
    前記1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、ステップa)の前に前記電子デバイス上で前記アプリケーションを開始するステップとをさらに含む、請求項15又は16に記載の方法。
  19. 1又は2以上のコンピューティングデバイスのうちの少なくとも1つによって、1又は2以上の合図のそれぞれの合図に基づいて物理的応答を生成するステップをさらに含む、請求項15又は16に記載の方法。
  20. 物理的応答が、電子デバイスの振動及び震えのうちの少なくとも一方を含み、視覚的応答が、点滅する光、ディスプレイ上の画像、及び前記ディスプレイ上の動画のうちの少なくとも1つを含む、請求項19に記載の方法。
  21. 複数の聞き取ることができる合図以外のデータを受け取るステップであって、前記データが、全地球測位システム(GPS)、モーションセンサー、時計、及びカレンダのうちの少なくとも1つから生じさせられた情報を含むステップをさらに含む、請求項15又は16に記載に記載の方法。
  22. 受け取られたデータを記憶された情報と比較するステップと、
    前記データと前記記憶された情報との間に一致がある場合、前記データに基づいて1又は2以上の応答を生成するステップとをさらに含む、請求項21に記載の方法。
JP2019501967A 2016-07-13 2017-07-13 インタラクティブなリーディングのためのシステム、装置、及び方法 Pending JP2019527887A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662361644P 2016-07-13 2016-07-13
US62/361,644 2016-07-13
PCT/US2017/041836 WO2018013752A1 (en) 2016-07-13 2017-07-13 System, apparatus and method for interactive reading

Publications (1)

Publication Number Publication Date
JP2019527887A true JP2019527887A (ja) 2019-10-03

Family

ID=60952738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019501967A Pending JP2019527887A (ja) 2016-07-13 2017-07-13 インタラクティブなリーディングのためのシステム、装置、及び方法

Country Status (5)

Country Link
US (1) US11527167B2 (ja)
EP (1) EP3485368A4 (ja)
JP (1) JP2019527887A (ja)
CN (1) CN109661646A (ja)
WO (1) WO2018013752A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002215176A (ja) * 2001-01-22 2002-07-31 Casio Comput Co Ltd 音楽配信システム、音楽配信方法、記録媒体、及びプログラム
JP2016510132A (ja) * 2013-02-15 2016-04-04 コルヴァード・ラーニング・システムズ・エルエルシー インタラクティブな学習システム
JP2016126773A (ja) * 2014-12-29 2016-07-11 イマージョン コーポレーションImmersion Corporation 視線追跡に基づく触覚効果を生成するシステム及び方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985913B2 (en) * 2000-12-28 2006-01-10 Casio Computer Co. Ltd. Electronic book data delivery apparatus, electronic book device and recording medium
US7499860B2 (en) 2002-12-17 2009-03-03 Microsoft Corporation Computer system and method for enhancing experience using networked devices
US20060073444A1 (en) 2004-09-23 2006-04-06 Rines Robert H Method of and apparatus for supplementing the reading of selected passages of printed material in a book or the like by voice or acoustic pronouncement of coded indicia provided in the book at such passages, remotely to access the playing of corresponding coded tracks of pre-recorded video/audio supplemental material respectively related to the selected passages
US20080057480A1 (en) 2006-09-01 2008-03-06 K12 Inc. Multimedia system and method for teaching basal math and science
EP1912193A1 (en) 2006-10-02 2008-04-16 Koninklijke Philips Electronics N.V. Interactive storyteller system
WO2009150592A1 (en) * 2008-06-12 2009-12-17 Koninklijke Philips Electronics N.V. System and method for generation of an atmosphere
US20100068683A1 (en) * 2008-09-16 2010-03-18 Treasure Bay, Inc. Devices and methods for improving reading skills
US20110246888A1 (en) * 2009-03-03 2011-10-06 Karen Drucker Interactive Electronic Book Device
US20130297599A1 (en) 2009-11-10 2013-11-07 Dulcetta Inc. Music management for adaptive distraction reduction
US9421475B2 (en) * 2009-11-25 2016-08-23 Hallmark Cards Incorporated Context-based interactive plush toy
US8568189B2 (en) * 2009-11-25 2013-10-29 Hallmark Cards, Incorporated Context-based interactive plush toy
US20130307855A1 (en) * 2012-05-16 2013-11-21 Mathew J. Lamb Holographic story telling
WO2014059416A1 (en) * 2012-10-12 2014-04-17 Hallmark Cards, Incorporated Context-based interactive plush toy
US20140192140A1 (en) * 2013-01-07 2014-07-10 Microsoft Corporation Visual Content Modification for Distributed Story Reading
US20140195222A1 (en) 2013-01-07 2014-07-10 Microsoft Corporation Speech Modification for Distributed Story Reading
US20150302651A1 (en) * 2014-04-18 2015-10-22 Sam Shpigelman System and method for augmented or virtual reality entertainment experience
KR20160065503A (ko) * 2014-12-01 2016-06-09 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10249205B2 (en) 2015-06-08 2019-04-02 Novel Effect, Inc. System and method for integrating special effects with a text source
US20190088158A1 (en) * 2015-10-21 2019-03-21 Bee3Ee Srl. System, method and computer program product for automatic personalization of digital content
US10225431B2 (en) * 2016-12-15 2019-03-05 Liberty Pipeline Services, LLC System and method for importing scanned construction project documents

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002215176A (ja) * 2001-01-22 2002-07-31 Casio Comput Co Ltd 音楽配信システム、音楽配信方法、記録媒体、及びプログラム
JP2016510132A (ja) * 2013-02-15 2016-04-04 コルヴァード・ラーニング・システムズ・エルエルシー インタラクティブな学習システム
JP2016126773A (ja) * 2014-12-29 2016-07-11 イマージョン コーポレーションImmersion Corporation 視線追跡に基づく触覚効果を生成するシステム及び方法

Also Published As

Publication number Publication date
US20190251854A1 (en) 2019-08-15
EP3485368A1 (en) 2019-05-22
EP3485368A4 (en) 2020-01-08
US11527167B2 (en) 2022-12-13
WO2018013752A1 (en) 2018-01-18
CN109661646A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
US20130076788A1 (en) Apparatus, method and software products for dynamic content management
JP6505117B2 (ja) 模写によるデジタル携帯情報端末の対話、および応答時のリッチなマルチメディア
US10580319B2 (en) Interactive multimedia story creation application
US20160041981A1 (en) Enhanced cascaded object-related content provision system and method
US9330657B2 (en) Text-to-speech for digital literature
US20150032766A1 (en) System and methods for the presentation of media in a virtual environment
US20130305153A1 (en) Interactive storybook system and method
US20090254826A1 (en) Portable Communications Device
CN106951881B (zh) 一种三维场景呈现方法、装置及系统
CN103136972A (zh) 针对年轻学习者的基于计算机的语言浸入式教学
US20110246888A1 (en) Interactive Electronic Book Device
TW201837654A (zh) 互動式影音分享方法及系統
KR20180032161A (ko) 문자 카드 세트를 이용한 언어 학습 시스템 및 방법
US20230245587A1 (en) System and method for integrating special effects to a story
KR101790709B1 (ko) 구연동화 서비스 제공 시스템, 장치 및 구연동화 서비스 제공 방법
KR20180042116A (ko) 구연동화 서비스 제공 시스템, 장치 및 구연동화 서비스 제공 방법
JP6466391B2 (ja) 言語学習装置
KR20140015672A (ko) 캐릭터 어학 학습 서비스 제공 장치 및 방법
US11527167B2 (en) System, apparatus and method for interactive reading
KR20220113906A (ko) 스탠드형 스마트 리딩 기기 및 그 제어 방법
US20210134177A1 (en) System and method for displaying voice-animated multimedia content
US20160307453A1 (en) System and method for auditory capacity development for language processing
KR20170129979A (ko) 음향 효과 제공시스템
KR200486582Y1 (ko) 모바일 기기를 이용한 입체적인 독서 시스템
WO2012056459A1 (en) An apparatus for education and entertainment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210802

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211027

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220704