JP2013511214A - 電子視覚作品のためのサウンドトラックの動的音声再生 - Google Patents

Abstract

電子書籍は、読者が電子書籍を読んでいる間に聴くことができるサウンドトラックを備える。サウンドトラックは、読書体験を添付し拡張し、ここでは読者が、ストーリー又は電子書籍の一部である他の視覚媒体に基づいて一般的に頭の中にイメージを抱く。サウンドトラックの再生は、電子書籍の視覚表示と同期される。音声キューが、テキストの種々のポイントに関連付けられており、これらのキューが、電子書籍とのユーザのインタラクションに基づいて電子書籍の視覚表示と同期して動的に再生される。動的再生は、キューが同期される電子書籍の一部分の持続時間の予測に基づく持続時間を動的再生が有するように音声キューを編集及び再生することを含む。本システムが音声キューの再生を開始すると、システムは、次の音声キューを開始すべき時間を予測する。現在のキューは、予測された持続時間で再生され、次の音声キューへの移行が適切な時間に起動される。
【選択図】 図１

Description

関連出願

（関連出願の相互参照）
本出願は、米国特許法１１９条に基づき、引用により本明細書に組み込まれる２００９年１１月１０日出願の米国仮特許出願第６１／２５９，９９５号の優先権及びこの利益を請求する出願である。

電子書籍は、主としてテキストから構成されるマルチメディア作品の一種であるが、グラフィック及び画像などの他の視覚的媒体を含むこともできる。電子書籍におけるテキストは、他の視覚的媒体を添付することができ、一般的には、電子書籍は、必ずしも一度ではなく、最初から最後まで読まれることを意図している。

限定ではないが、種々のタイプのマークアップ言語文書タイプ（例えば、ＳＧＭＬ、ＨＴＭＬ、ＸＭＬ、ＬａＴｅｘ及び同様のものなど）、及びｐｄｆファイル、プレーンテキストファイル、その他のような他のデータファイルタイプを含む、電子書籍で使用される幾つかのファイルフォーマットがある。種々のファイルフォーマットは、Ａｍａｚｏｎ．ｃｏｍのＫＩＮＤＬＥリーダなどの電子書籍リーダと共に使用される。このような電子書籍リーダは、一般的に、パーソナルコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルデバイス又は電子書籍を読み取るための専用ハードウェアシステム（ＫＩＮＤＬＥリーダなど）のようなプラットフォーム上で実行されるよう設計されたコンピュータプログラムである。

Ｈｕｍａｎ Ｌａｎｇｕａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｎｆｅｒｅｎｃｅ ａｎｄ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（２００５年１０月）の会報におけるＣｅｃｉｌｉａ Ｏｖｅｓｄｏｔｔｅｒ Ａｌｍ等による「Ｅｍｏｔｉｏｎｓ ｆｒｏｍ ｔｅｘｔ： ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｆｏｒ ｔｅｘｔ−ｂａｓｅｄ ｅｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ」、５７９〜５８６頁

電子書籍は、電子書籍を読んでいる間に読者が聴くことのできるサウンドトラックを備えている。サウンドトラックの目的は、読書体験に同伴し且つこれを増強することであり、ここでは、読者は、一般に、ストーリー又は電子書籍の一部である他の視覚的媒体に基づいて頭の中にイメージを抱く。サウンドトラックの再生は、電子書籍の視覚表示と同期されている。

書籍が読者によって読まれている間にサウンドトラックの再生を電子書籍の視覚表示に同期させることは、困難な問題がある。個人毎に読む速度が異なるので、それぞれ別の時間に異なる速度で読書することになる。電子書籍の一部分の視覚表示の持続時間は、読者毎及び時間によって異なる。換言すると、電子書籍の一部分の視覚表示の持続時間は、電子書籍とのユーザインタラクションに応じて可変である。更に、サウンドトラック、つまり一種の時間依存媒体の再生は、この視覚表示と同期される。

複数の読者に適用可能な方法で良好な読書体験にサウンドトラックを提供するために、音声キューが、テキストの種々のポイントに関連付けられており、これらのキューは、電子書籍とのユーザのインタラクションに基づいて電子書籍の視覚表示と同期して動的に再生される。動的再生は、キューが同期される電子書籍の一部分の持続時間の予測に基づく持続時間を動的再生が有するように音声キューを編集及び再生することを含む。システムが音声キューの再生を開始すると、システムは、次の音声キューを開始すべき時間を予測する。現在のキューは、予測された持続時間で再生され、次の音声キューへの移行が適切な時間に起動される。

このようなサウンドトラックは、一般的に、単に普通の音楽又は音声だけではなく、ある音楽及び音声は、読書体験を拡張する代わりに読者の気を逸らすことができる。或いは、サウンドトラックは、テキストによって呼び起される感情と同様の感情を読者に呼び起こすよう設計された音楽及び音声を含む。一般的には、電子書籍用のサウンドトラックは、明るい瞬間的な音声が少ない、声がない、及び音楽に対する幾らかの予備的な催眠状態のような感覚のときに役立つ。ジャンルに関しては、速すぎるか又は強烈すぎる音楽は、気を逸らし読書するのが難しくなる可能性がある。

種々の態様において、本発明は、コンピュータに実装された処理、機械（電子装置、又は汎用コンピュータ、或いはコンピュータプログラムを実行することができるプラットフォームを提供する他の装置など）、これらの機械によって実行される処理、或いは製造物品において具現化することができる。このような製品は、コンピュータプログラム命令又はコンピュータ可読データが記憶されたコンピュータ可読記憶媒体を収容するコンピュータプログラム製品又はデジタル情報製品、及びこれらの製造物品を生成し使用する処理及び機械を含むことができる。

従って、１つの態様では、音声の動的再生は、電子視覚作品の一部分とのユーザインタラクションに関するデータを受信する段階を含む。電子視覚作品の一部分に関連付けられた再生される音声のセクションは、電子視覚作品とのユーザインタラクションに従って動的に長さが調整される。１つの実施構成では、電子視覚作品の一部分の視覚表示の持続時間は、電子視覚作品の一部分とのユーザインタラクションに関する受信されたデータに従って推定される。電子視覚作品の一部分に関連付けられた音声のサブミックスのシーケンスは、推定された持続時間に一致する音声要素を提供するように選択される。この推定は、読書速度の履歴を使用して行うことができる。

別の態様では、サウンドトラックは、電子視覚作品の表示と同期して再生される。電子視覚作品はメモリ内に受け入れられる。電子視覚作品の一部分をタグに関連付ける情報がメモリ内に受け入れられる。電子視覚作品の一部分は、ユーザインタラクションに応答して表示される。タグの付いた音声ファイルがアクセスされる。電子視覚作品の一部分に関連付けられる音声ファイルは、電子視覚作品の一部分に関連付けられたタグに従って選択される。電子視覚作品の一部分とのユーザインタラクションに関するデータが受信され、電子視覚作品のその特定の部分に関連付けられた音声の再生の持続時間が、ユーザインタラクションに従って動的に調整される。

別の態様では、電子視覚作品用のサウンドトラックが生成される。電子視覚作品は、メモリ内に受け入れられる。電子視覚作品は、電子視覚作品の一部分がタグ付けされた音声ファイルの特定の部分に関連付けるタグでマーク付けされるように、メモリにおいて処理される。次に適切なタグの付いた音声ファイルがアクセスされ、電子視覚作品の一部分に対する目標音声ファイルが選択されて関連付けられ、結果として生じるサウンドトラックを作成し再生する。電子視覚作品は、テキストを含むことができ、処理段階は、テキストを処理する段階を含む。タグは、感情記述子を含むことができる。

別の態様では、キューリストは、電子視覚作品の各部分に対して感情記述子を含み、ここで感情記述子は、音声データにも関連付けられた感情記述子に対応する。

別の態様では、音声キューは、音声データを提供するためにミックスすることができる音楽作品の複数のサブミックス（「ステム」と呼ばれる）に対する音声データと、ステムをどのように繰り返して結合して読者が聴く最終結果を作成できるかを示す情報とを含む。

別の態様では、サウンドトラック及びその関連の電子視覚作品の配信は、サウンドトラックが利用可能でないかのように電子視覚作品を同じ方式で視聴することができるようにして行われる。読者が電子視覚作品にアクセスした後、キューリストが識別されて読み取られる。バックグラウンドタスクとして、音声データは、サウンドトラックにおける第１のキューが電子視覚作品の表示と同期して再生されている間にダウンロードされる。

更に他の態様は、以下の詳細な説明において記載され、本発明のこれらの異なる態様の種々の組合せによって提供される。

動的音声プレーヤを備えた電子書籍リーダを示すデータフロー図である。 図１の動的音声プレーヤの詳細を示すデータフロー図である。 キューリストを示す図である。 音声キューファイルを示す図である。 電子書籍が開かれたときのセットアップ処理を示すフロー図である。 所望持続時間の音声データを作成するために音声キューファイルがどのように使用されるかを示すフロー図である。 読書速度がどのように計算されるかを示すフロー図である。 サウンドトラックを電子書籍に対して自動的に作成することができる方法を示すデータフロー図である。 コンピュータシステムを示すブロック図である。

以下の説明では、実施形態の完全な理解を提供するために特定の詳細事項が与えられている。しかしながら、この実施形態をこれらの特定の詳細事項なしに実施できることは、当業者には理解されるであろう。例えば、ソフトウェアモジュール、機能、回路、その他は、実施形態を不必要に曖昧にしないために、ブロック図で示すことができる。場合によっては、公知のモジュール、構造及び技術は、実施形態を曖昧にしないために詳細には示されていないことがある。

また、実施形態は、フローチャート、フロー図、構造図、又はブロック図として示される処理として記述できる点に留意されたい。フローチャートは、連続した処理として動作を記述することができるが、この動作の多くは、並行して或いは同時に実行することができる。更に、動作の順序は再配列することができる。処理は、その動作が完了したときに終了する。処理は、コンピュータプログラムにおける、方法、機能、手順、サブルーチン、サブプログラム、その他に対応することができる。処理が機能に対応する場合、その終了は、当該機能の呼出し機能又は主機能への復帰に対応する。

以下に説明するシステム及び方法の態様は、限定ではないが、デスクトップ、ラップトップ、ノートブック、タブレット又はモバイルデバイスを含む汎用コンピュータシステム又はコンピュータ装置のいずれのタイプでも動作することができる。「モバイルデバイス」という用語は、限定ではないが、無線装置、移動電話、移動通信装置、ユーザ通信装置、携帯情報端末、移動ハンドヘルドコンピュータ、ラップトップコンピュータ、電子書籍リーダ、及び電子コンテンツを読み取ることができる読取装置、及び／又は一般的に個人によって持ち運ばれ及び／又はある種の通信機能を有する（例えば、無線、赤外線、短距離無線、その他）他のタイプのモバイルデバイスを含む。

図９は、以下で更に詳細に説明するシステム及び方法の１つ又はそれ以上の態様で使用可能なコンピュータシステム９００の内部機能アーキテクチャを示すブロック図である。図９に示すように、コンピュータシステム９００は、コンピュータ実行可能処理ステップを実行するための中央処理ユニット（ＣＰＵ）９１４を含むことができ、コンピュータバス９１６に相互接続する。図９にはまた、ネットワークインターフェイス９１８、ディスプレイ装置インターフェイス９２０、キーボード又は入力インターフェイス９２２、ポインティングデバイスインターフェイス９２４、音声インターフェイス９２６、ビデオインターフェイス９３２、及びハードディスクドライブ９３４又は他の永続記憶装置が示されている。

上述のように、ディスク９３４は、オペレーティングシステムプログラムファイル、アプリケーションプログラムファイル、ウェブブラウザ、及び他のファイルを記憶することができる。これらのファイルの幾つかは、インストールプログラムを使用してディスク９３４に記憶することができる。例えば、ＣＰＵ９１４は、インストールプログラムのコンピュータ実行可能処理ステップを実行することができ、これによって、ＣＰＵ９１４は、アプリケーションプログラムを適切に実行することができるようになる。

ランダムアクセスメインメモリ（「ＲＡＭ」）９３６もまた、コンピュータバス９１６に相互接続され、ＣＰＵ９１４がメモリ記憶装置へアクセスできるようにすることができる。ディスク９３４から記憶されたコンピュータ実行可能処理ステップを実行すると、ＣＰＵ９１４は、ＲＡＭ９３６から処理ステップを記憶し実行する。処理されることになるデータはまた、このようなメモリ９３６又は記憶装置９３４から読み取られて、このようなメモリ９３６又は記憶装置９３４に記憶することができる。読出し専用メモリ（「ＲＯＭ」）９３８は、起動命令シーケンス又はキーボード９２２の動作のための基本入力／出力オペレーティングシステム（ＢＩＯＳ）シーケンスなどの、不変命令シーケンスを記憶するために設けることができる。

電子書籍リーダ、又は電子書籍及び他のマルチメディア作品の視覚表示を提供するための他のアプリケーションは、図９に示されるようなプラットフォーム上に実装することができる。

以下の説明では、電子書籍及び電子書籍リーダは、一種のマルチメディア作品及びサウンドトラックの再生を同期させることができる対応するビューワの実施例として使用される。作品の一部分の視覚表示の持続時間が作品とのユーザインタラクションに依存するマルチメディア作品の他の種類も、この種類の同期を使用することができる。電子書籍という用語は、主としてテキストであるか、或いはグラフィック又は他の視覚媒体を伴うテキストである、書籍、雑誌、ニュースレター、新聞、定期刊行物、地図、論文、及び他の作品を包含するものとする。

サウンドトラックは、電子書籍を含む多種多様な電子視覚作品のいずれにも関連付けることができる。使用することができる音楽又は音声のタイプは、作品のタイプに依存することになる。例えば、フィクション作品に対しては、サウンドトラックは、映画のサウンドトラックと類似した目的のものとなり、すなわち、サスペンスを創造し、恋愛対象を土台とし、或いは重要なクライマックスに至るようにストーリーを支えるものである。子供向けの本では、音楽は、場合によってはページをめくる時のようなより多くの音響効果を含む、漫画で使用されるものと類似することができる。教科書では、サウンドトラックは、毎分約１２８又は１３２ビートで及び重要なモード音調を使用した素材など、知識保持を増強するのに公知のリズム及び調性を含むことができる。瞑想を助けるよう設計された一部の書籍は、自然、周囲の僅かな音楽、柔らかい音調を有する楽器、及び同様のものの音を備えたサウンドトラックを有することができる。旅行書籍は、記載されている場所に固有の音楽及び音を有することができる。雑誌及び新聞では、種々の欄又は記事は、種々のサウンドトラック及び／又は種々のスタイルの音楽を備えることができる。同じページの異なるパスを読む場合でも、異なるサウンドトラックを有することができる。広告主はまた、これらの作品の読書中に再生されるその音声テーマを有することができる。このような場合、サウンドトラックは、テキストベースの広告が他の材料を伴うためにどのように選択されるかに類似した方式で選択することができる。

詳細には、ここで図１を参照すると、電子書籍１１０が、電子書籍リーダ１１２に入力され、電子書籍リーダ１１２は、電子書籍の視覚表示をエンドユーザ又は読者に提供する。電子書籍１１０は、少なくともテキストを含み、コンピュータプログラムがテキストを読み取り、フォーマット化し、表示できるように設計されたファイルフォーマットである１つ又はそれ以上のコンピュータデータファイルである。限定ではないが、マークアップ言語文書タイプの種々のタイプ（ＳＧＭＬ、ＨＴＭＬ、ＸＭＬ、ＬａＴｅｘ及び同様のものなど）、及び他の文書タイプを含む電子書籍の種々のファイルフォーマットがあり、その実施例には、限定ではないが、ＥＰＵＢ、ＦｉｃｔｉｏｎＢｏｏｋ、Ｐｌｕｃｋｅｒ、ＰａｌｍＤｏｃ、ｚＴｘｔ、ＴＣＲ、ＣＨＭ、ＲＴＦ、ＯＥＢ、ＰＤＦ、ｍｏｂｉｐｏｃｋｅｔ、Ｃａｌｉｂｒｅ、Ｓｔａｎｚａ、及びプレーンテキストが含まれる。一部のファイルフォーマットは、所有権によって保護されており、専用電子書籍リーダと共に使用されるよう設計されている。本発明は、どのような特定のファイルフォーマットにも限定されない。

電子書籍リーダ１１２は、図９に関して上述されるようなコンピュータプラットフォーム上で実行されるよう設計されたあらゆるコンピュータプログラムとすることができ、その実施例は、限定ではないが、パーソナルコンピュータ、タブレットコンピュータ、電子書籍を読み取り、電子書籍１１０のコンテンツを受信して表示するモバイルデバイス又は専用ハードウェアシステムを含む。多くの商用又は公共の電子書籍リーダが存在し、その実施例には、限定ではないが、Ａｍａｚｏｎ．ｃｏｍのＫＩＮＤＬＥリーダ、Ｂａｒｎｅｓ＆ＮｏｂｌｅのＮｏｏｋリーダ、Ｓｔａｎｚａリーダ、及びＦＢリーダソフトウェア、オープンソースプロジェクトが含まれる。しかしながら、本発明は、いずれの特定の電子書籍リーダにも限定されない。

電子書籍リーダ１１２はまた、電子書籍リーダ１１２とのユーザインタラクションを示すデータ１１４を出力し、これによってこのようなデータを動的音声プレーヤ１１６が使用することができるようになる。商用又は公共の電子書籍リーダは、これらの出力を提供するために本明細書の説明に従って修正することができる。

テキストとのユーザインタラクションに関するデータは、多種多様な形式で提供することができる。例えば、読み取られる書籍の識別子（ＩＳＢＮ、ｅ−ＩＳＢＮ番号又はハッシュコードなど）、及びテキストにおける現在の位置を提供することができる。一般的には、現在の位置は、表示されている電子書籍の現在の「ページ」又は部分として電子書籍リーダによって追跡される。電子書籍リーダは、この情報が変化したときにこの情報を出力することができる。電子書籍リーダ１１２によって提供される場合に有用とすることができる他の情報には、限定ではないが、表示されている文書の現在の範囲に対するワードカウント、ユーザが電子書籍リーダアプリケーションを終了させた時間の表示、及びリーダが読書を中断するか或いは中断後に読書を再開したかどうかの表示が含まれる。

電子書籍リーダと動的音声プレーヤとのの間で交換される情報及び命令は、アプリケーションプログラミングインターフェイス（ＡＰＩ）を介して実行することができ、これによって、動的音声プレーヤは、電子書籍リーダがステータス情報を提供するか、又はある動作を実行することを要求することができるようになり、或いは、これによって電子書籍リーダが、他のアプリケーションプログラムを制御することができるようになる。動的音声プレーヤは、このＡＰＩも同様に実行するようプログラムすることができる。ＡＰＩの例示的な実施構成は、限定ではないが、２つのインターフェイス、すなわち、電子書籍リーダアプリケーションからの呼出しのためのインターフェイスと、電子書籍リーダアプリケーションの呼出しのためのもう１つのインターフェイスとを含む。

電子書籍リーダが動的音声プレーヤに対して実施できる例示的な呼出しは、以下を含む。

「ｅｂｏｏｋＯｐｅｎｅｄｗｉｔｈＵｎｉｑｕｅｌＤ」−この機能は、アプリケーションが電子書籍を開いたときに電子書籍リーダによって呼び出される。この機能は、電子書籍の固有識別子及び電子書籍が以前に開かれていたかどうかを指定するパラメータを有する。この情報に応答して、動的音声プレーヤは、現在のキューを設定する。電子書籍を最初に開いたときに、現在の位置は、第１キューの開始に設定されることになる。

「ｅｂｏｏｋＣｌｏｓｅｄ」−この機能は、アプリケーションが電子書籍を閉じたときに電子書籍リーダによって呼び出される。この呼び出しに応答して、動的音声プレーヤは、メモリを開放して内部データをリセットすることができる。

「ｅｂｏｏｋＲｅｍｏｖｅｄ」−この機能は、電子書籍リーダがライブラリから電子書籍を取り除いたときに呼び出され、これによって、サウンドトラック及び音声ファイルも取り除くことができる。

「ｄｉｓｐｌａｙｅｄＰｏｓｉｔｉｏｎＲａｎｇｅＣｈａｎｇｅｄ」−この機能は、電子書籍リーダが、例えば、ページめくり、向き変更、フォント変更又は同様のものに起因してその表示を変更したときに呼び出され、新しく表示される作品の範囲のパラメータを提供する。この呼び出しに応答して、動的音声プレーヤは、作品の新しく表示される範囲の音声キューを設定することができる。

「ｒｅａｄｉｎｇＲｅｓｕｍｅｄ」−この機能は、電子書籍リーダが、読書が「休止」されていると判定された後、ユーザからの様々な入力（ページめくりコマンドなど）のいずれかを受信することによって検出する、非作動の拡張期間後にユーザが読書を再開したときに呼び出される。

「ｆｅｔｃｈＳｏｕｎｄｔｒａｃｋ」−この機能は、特定の固有識別子（この機能のパラメータとして提供される）を有する電子書籍に対して、サウンドトラックファイル、又はキューリストをフェッチ及びインポートするよう動的音声プレーヤに指示するために電子書籍リーダによって呼び出される。

「ａｕｄｉｏ Ｖｏｌｕｍｅ」−この機能は、音声再生の音量を設定するよう動的音声プレーヤに指示するために電子書籍リーダによって呼び出される。

「ｇｅｔＣｕｅＬｉｓｔｓ」−この機能は、現在開かれている電子書籍が利用可能なキューリスト及びグループに関する動的音声プレーヤからの情報を検索するために電子書籍リーダによって呼び出される。この機能によって、電子書籍リーダは、例えば、この情報を読者に提示することができる。

「ｃｕｅＬｉｓｔＥｎａｂｌｅｄ」−この機能は、特定のキューリスト、例えば、代替えのサウンドトラック、音響効果、記録されたリーダ又はテキスト対音声変換を有効又は無効にするよう動的音声プレーヤに指示するために電子書籍リーダによって呼び出される。

「ａｕｄｉｏＩｎｔｅｎｓｉｔｙ」−この機能は、例えば、音声合成防音機構を形成又はドラムステム（サブミックス）を消音するために、音声再生の強さを設定するよう動的音声プレーヤに指示するために電子書籍リーダによって呼び出される。

「ａｕｄｉｏＰｒｅｌｏａｄＤｅｆａｕｌｔ」−この機能は、一般的に電子書籍をダウンロードし提供し続けるための音声のデフォルト時間数を設定するために呼び出される。

「ａｕｄｉｏＰｒｅｌｏａｄＦｏｒＥｂｏｏｋ」−この機能は、特定の書籍に対してダウンロードし維持するための音声の時間数を設定するために呼び出される。

「ｄｏｗｎｌｏａｄＥｎａｂｌｅｄ」−この機能は、音声ダウンロードを有効又は無効にするために呼び出される。

動的音声プレーヤが電子書籍リーダに対して行うことができる例示的な呼び出しは以下を含む。

「ｒｅａｄｉｎｇＰａｕｓｅｄ」−この機能は、予想される時間内に電子書籍リーダから「ｄｉｓｐｌａｙｅｄＰｏｓｉｔｉｏｎＲａｎｇｅＣｈａｎｇｅｄ」を受信しなかった場合に動的音声プレーヤによって呼び出される。この情報から、ユーザがもはや読書していないことが動的音声プレーヤによって仮定される。この機能を呼び出した後、電子書籍リーダは、ユーザが再度読書を開始したときに「読書再開」機能を呼び出さなくてはならない。

「ｇｏｔｏＰｏｓｉｔｉｏｎ」−この機能は、「ｅｂｏｏｋＯｐｅｎｅｄＡｔＰａｔｈ」機能が呼び出されたことに応答して電子書籍が最初に開かれたときに、通常は第１キューの始点に書籍の現在の位置を設定するよう電子書籍リーダに指示するために動的音声プレーヤによって呼び出される。

「ｗｏｒｄＣｏｕｎｔＦｏｒＲａｎｇｅ」−この機能は、以下で詳細に説明されるように、プレイリストをスケジュールし読書速度を追跡するのに使用されることになる、電子書籍の指定された範囲に対するワードの数を提供するよう電子書籍リーダに指示するために動的音声プレーヤによって呼び出される。

これらのＡＰＩ呼出しの使用は、以下で更に詳細に説明する。

電子書籍１１０は、テキストの一部分に音声キュー１２０を関連付ける関連キューリスト１１８を有し、これは図３に関して以下で更に詳細に説明される。一般に、電子書籍１１０を固有に識別するのに使用される識別子は、キューリストに識別子を埋め込むか、或いは書籍の識別子をキューリスト１１８に関連付けるルックアップテーブル又はマップの形式を有することによって、キューリスト１１８を書籍に関連付けるために使用される。音声キュー１２０は、音声データを含むコンピュータデータファイルである。一般に、キューリスト１１８によってテキストの一部分に関連付けられる音声キュー１２０は、読者がテキストの当該部分を読んでいる間に再生される。例えば、テキストの一部分は、音声キューが再生を開始すべきテキストのポイント、或いは音声キューが再生すべきテキストの範囲によって指示することができる。動的音声プレーヤ１１６は、１つの音声キューの再生を中止する、及び別の音声キューの再生を開始する時間及び方法を決定する。

動的音声プレーヤ１１６は、電子書籍リーダ１１２とのユーザインタラクションに関するデータ１１４、並びにキュー１２０及びキューリスト１１８を受信する。以下で更に詳細に説明するように、動的音声プレーヤ１１６は、ユーザインタラクションデータ１１４及びキューリスト１１８を使用して、再生される音声キュー１２０、及びこれらを再生する時間及び方法を選択し、出力音声信号１２２を提供する。

サウンドトラックの再生中、動的音声プレーヤは、テキストとのユーザインタラクションに関するデータに基づいて、現在読まれているテキストの一部分に関連付けられる現在のキューを再生し、再生されることになる次のキューに移行する方法及び時間を決定する。従って、図２に更に詳細に示されるように、動的音声プレーヤ２００は、現在のキュー２０４及び次のキュー２１０を使用して、音声２０６を生成する。再生されることになるキュー２０４及び２１０は、ユーザインタラクションに関するデータ２１２及びキューリスト２０２を使用して、キュールックアップ２０８を介して決定される。動的音声プレーヤが現在のキュー２０４を再生している間、動的音声プレーヤは、着信データ２１２をモニタし、次のキューを再生すべき時間を決定する。現在のキュー２０４は、キューの実際の持続時間より長い又は短い時間で再生する必要がある。以下で更に詳細に説明するように、動的音声プレーヤは、ユーザがテキストの関連付けられた部分を読書するのに要する時間量に合わせるように現在のキューを長くするか又は短くし、次に、ユーザが次のキューに関連付けられたテキストに到達する推定時間にて、クロスフェードなどの移行を実行する。

ここで図３を参照し、図１のキューリスト１１８の例示的な実施構成を更に詳細に説明する。音声キュー（例えば、図１の１２０及び図２の２０４、２１０など）は、テキストの一部分に割り当てられている。この割り当ては、テキストの一部分を音声ファイルに関連付けるメタタグ情報ファイルを使用して行うことができる。音声ファイルとの関連付けは、直接又は間接とすることができ、静的又は動的に定義することができる。例えば、テキストの種々の部分には、テキストのこれらの部分に関連付けられる音楽の感情、ムード又はスタイルを示す種々のワード又は他のラベルを割り当てることができる。次に、音声ファイルには、このようなワード又はラベルを関連付けることができる。音声ファイルは、選択してテキストに静的に関連付けることができ、或いは、以下で更に詳細に説明するように、再生時に動的に選択することができる。代替として、テキストにおける種々のポイントに音声ファイルを直接関連付けることができる。

例示的なメタタグ情報ファイルが図３に示されている。メタタグ情報ファイルは、キューを表すデータのペア３０２のリスト３００である。キューを表す各ペア３０２は、テキスト文書内のマークアップ言語要素へのリファレンスなどのテキストへのリファレンス３０４、テキスト文書の始めからのオフセット、或いはテキスト文書内の範囲を含む。ペア３０２はまた、キューを指定するデータ３０６を含む。このデータは、感情タグなどのワード又はラベル、或いはファイル名などの音声ファイルの表示、或いは音声ファイルを選択するために使用することができるいずれかの他のデータとすることができる。作成者又はコンピュータプログラムがこのようなキューリストをどのように作成できるかを、以下で更に詳細に説明する。

メタタグ情報ファイルは、複数のメタデータファイルを含むアーカイブであるファイルとして実装することができる。これらのファイルは、ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）フォーマットとすることができる。メタタグ情報ファイルは、関連付けられる電子書籍の固有識別子、電子書籍のタイトル、スキーマバージョン（将来フォーマットが変更される場合の互換性目的のため）、及びアーカイブ内の他のファイルのリストなど、サウンドトラックに関する一般情報を完全性チェックのためのチェックサムと共に包含するマニフェストファイルを含むことができる。マニフェストファイルに加えて、メタタグ情報ファイルはまた、サウンドトラックで利用可能なキューリスト記述子のリストを含むキューリストファイルを含む。各キューリスト記述子は、ディスプレイ名、ルックアップ目的のための固有識別子、及びキューリストの任意選択的なグループ名を含む。一実施例として、一回の再生を有することのみ意味する複数の排他的メインキューリストが存在することができる。これらのキューリストは、「メイン」のグループ名を有することができるが、音響効果又は「読み上げ」キューリストによって、これらを同時に全て再生することが承認され、従って、グループ名を利用しないことになる。

メタタグ情報ファイルはまた、キューリストの全てに対するキュー記述子のリストを包含するキューファイルを含む。各キュー記述子は、プロデューサによってキュー記述子に与えられた記述名を含む。この記述子は、この目的で別のアプリケーションを使用して入力することができ、キューファイルのリストにおけるキューファイルの位置を探すのに使用されるキューファイル名などの情報、及び電子書籍における入力及び出力ポイントを含むことができる。

最後に、メタタグ情報ファイルは、キューファイル記述子のリストを含む「キューファイル」ファイルを含む。キューファイルファイルは、キューファイルのネットワーク位置を指定する。各キューファイル記述子は、プロデューサによってキューファイルに与えられ且つキュー記述子におけるキューファイル名として使用される記述名、キューファイルを検索するためのユニフォームリソースロケータ（ＵＲＬ）、及びキューファイルのオリジナルのファイル名を含む。

このようなキューリストで参照される音声キュー（図１の１２０）は、ＡＩＦＦ、ＭＰ３、ＡＡＣ、ｍ４ａ又は他のファイルタイプなどの音声ファイルフォーマットで記憶することができる音声データを含む。ここで図４を参照し、音声キューファイルの例示的な実施構成を説明する。音声キューファイル４００は、複数の「ステム」（サブミックス）４０２を含むことができ、この各々は、キューに対する複数部分音声ミックスの１つの部分を提供する別々の音声ファイルである。このようなステムの使用によって、動的音声プレーヤは、キューの再生時間を長くするために繰り返されるステムの中から選択することができる。音声キューファイルはまた、ループマーカ４０４、バーロケーション４０６及び推奨されるミックス情報４０８など、音声キューを再生する持続時間を修正するために動的音声プレーヤに有用な情報を含むことができる。推奨されるミックス情報は、音声ステムを結合するための命令のリストを含み、各命令は、使用されるステム及びセクション、及び適用されるいずれかの音声効果処理を示す。ジャンル、スタイル、楽器、感情、雰囲気、場所、時代を示す音声又はデータによって呼び起こされることが意図された感情又は気分を示すワード又はラベルなどの他の情報（記述子４１０とも呼ばれる）を提供することもできる。代替キーワード、キュー音量、クロスフェード又はフェード‐イン／アウトの形状／強さ、及び連続するキューに対する推奨される調和級数などの付加的な情報も含むことができる。

一実施例として、音声キューファイルは、ＪＳＯＮフォーマットでのメタデータファイル及びキューのステムに対する１つ又はそれ以上の音声ファイルを包含するアーカイブとして実装することができる。メタデータファイルは、バーロケーション、ループマーカ、推奨されるミックス情報、感情モード（感情コンテンツメタタグ）、音声動特性制御メタデータ（動的範囲圧縮）、楽器、雰囲気、及びジャンルを含む、音声ファイルに関連付けられるメタデータに対する記述子を含む。音声ファイルは、各ステムに対するデータ圧縮音声ファイル及び高解像度オリジナル音声ファイルを含むことができる。各ステムの高解像度版を保存することは、音楽制作ツールを用いた後編集を助ける。オリジナル音声ファイルのない音声キューファイルの複写は、電子書籍リーダへのより小さなダウンロードを可能にするために行うことができる。キューファイルは、エンドユーザアプリケーションにおける再生に使用されるファイルである、ステムに対する圧縮音声ファイルを含む。

キューファイルは、標準的な音声ステムのセットを入力し、別々のテキストファイルとして記述子、ループポイント及び推奨されるミックスメタ情報を追加し、ネットワーク配信のために音声を最適化し圧縮し、更にデータベースにアップロードすることができる単一のパッケージファイルを出力するソフトウェアツールを使用して作成することができる。音声ファイルは、種々の分析技術を使用して分析し、セクション、ビート、ラウドネス情報、フェード、ループポイント、及びリンクを位置付けることができる。キューは、記述子「ジャンル、スタイル、楽器、感情、場所、時代」を使用して選択することができ、読者によって使用されるときにネットワークを通じて配信することができる。

キューリスト及びキューファイルは、別個に暗号化して、そのためのサウンドトラックである特定の作品にリンクさせることができる。作品及びそのサウンドトラックにアクセスするために同じキーが使用される。従って、ファイルは、特定の作品、或いはそれを通じて作品がアクセスされる特定のビューイングデバイスに結び付けることができ、作品に関連付けられたデジタル著作権管理情報を使用することができる。

キューリスト、音声キュー、及び電子書籍リーダによって利用可能なインタラクションに関する前述の理解を得たと前提として、ここで動的音声プレーヤについて図５−７に関して更に詳細に説明する。

読者によって最初に書籍が開かれた（５００）ときに再生を開始するために、電子書籍リーダは、書籍の固有識別子とこの書籍が以前開かれたかどうかを示す「ｅｂｏｏｋＯｐｅｎｅｄｗｉｔｈＵｎｉｑｕｅｌＤ」機能を呼び出す（５０２）。動的音声プレーヤは、電子書籍の識別子を受信し（５０４）、識別された書籍に対するキューリストをダウンロード又は読み取る（５０６）。電子書籍リーダは、「ｇｅｔＣｕｅＬｉｓｔｓ」機能を呼び出す（５０８）ことによって、キューリストに関する情報を動的音声プレーヤに求める。動的音声プレーヤは、キューリストを送信（５１０）し、このキューリストを電子書籍リーダがユーザに提示して、書籍用のサウンドトラックの１つ（１つよりも多いサウンドトラックがある場合）を選択する（５１２）。このような選択は、ユーザがサウンドトラックを格付けできるようにする顧客フィードバック格付けシステムを使用することによって拡張することができ、これらの各付けは、サウンドトラックの選択がシステムによって要求されたときにユーザに表示することができる。次に「ｃｕｅＬｉｓｔＥｎａｂｌｅｄ」機能が呼び出され（５１４）、選択されたキューリストを動的音声プレーヤに通知し、該キューリストは、動的音声プレーヤが機能呼び出しを介して受信する（５１６）。「ｆｅｔｃｈＳｏｕｎｄｔｒａｃｋ」機能が呼び出され（５１８）、再生のためのキューをフェッチする（５２０）よう動的音声プレーヤに指示する。

このセットアップ処理が完了した後、動的音声プレーヤは、再生を開始するために開始キュー及びキューリスト、ひいては現在のキューを有する。再生は、電子書籍のこの部分が電子書籍リーダによって表示される時間付近で開始することができる。次に、動的プレーヤは、書籍とのユーザインタラクションに関するデータに基づいて、再生する次のキュー、キューを再生する時間、及び現在のキューから次のキューに移行する方法を決定する。

動的音声プレーヤは、推定総キュー持続時間に合うようにキューの音声ステムファイルの再生時間を延長又は短縮する。この推定キュー持続時間は、幾つかの方法で計算することができる。例示的な実施構成は、読書速度の推定値を使用し、この計算は、以下で更に詳細に説明する。現在のキュー持続時間は、「ｄｉｓｐｌａｙｅｄＰｏｓｉｔｉｏｎＲａｎｇｅＣｈａｎｇｅｄ」機能呼出しを介して全てのページめくりで提供されるような電子書籍リーダとのユーザインタラクションを記述するデータに応答して更新される。

一般的には、キューの音声ステムファイルの再生時間は、音声ステムファイルのセクションを自動的にループすること、個々のステムミックスを変化させること、及びリバーブ、遅延及びコーラスなどの種々の効果を動的に追加することによって修正される。音声ステムファイルに固有のループポイント及び他のミックス自動化データは、キューファイルのメタデータに記憶される。キューファイルには幾つかの異なるループポイントを存在させることができる。音声ステムのセクションは、ループ及びリミックスされたときに、最も効果的で面白い音楽的エンドユーザ経験を提供できるように選択することができる。この処理は、明らかな繰り返しを有する音楽の生成を避け、音声のオリジナル部分の何倍もの持続時間を有することができる音楽的に心地よい結果を提供するように音楽コンテンツを最大化する。次のキューがトリガされたときに、発信及び着信音声間の移行もまた、シームレスな音楽的移行を生成するために適切なクロスフェードのスタイル及び配置を定義するキューファイルメタデータを使用して、同じ処理によって管理される。

一実施例として、キューファイルが４つの音声ステム（メロディトラック、持続和音又は「パッド」トラック、リズムパーカッション（ドラムであることが多い）トラック、及びリズムハーモニートラック）を含むと仮定し、これは、単一のパスで再生される場合に４分間実行されることになる。この記録が３つの別個のセクション、Ａ、Ｂ及びＣを有すると更に仮定する。キューファイルにおけるメタ情報は以下を含む。

１．以前のキューからキューに移行する方法。これは、移行スタイル（すなわち、スロー、中間又はクイックフェードイン、又はリバーブテールで以前のキューを中止して、キューの始めから新しいキューを開始する）、音楽バー、及びビートマーカを含み、これによってクロスフェードが音楽的にシームレスになる。

２．Ａ、Ｂ及びＣセクションの各々をループすることができる時間位置。

３．４つのステムをどのようにリミックスできるかに関するキュープロデューサの入力。例えば、セクションＡだけを使用してステム１、２及び３を再生し、次にセクションＡだけを使用してステム１、３及び４を再生し、ステム３にリバーブを追加し、更にセクションＢを使用して単独で再生し、次いでセクションＢからステム３及び４を再生するなどである。これらの種類の命令を有することは、音声の典型的な４分間部分を、明らかな繰り返しなしに４０分又はそれ以上まで延長できることを意味する。更に、各ミックスは、ユーザにとって固有であり、サウンドトラックの許可されていない複製がより困難であるように再生時間に作成される。

一実施例として、ここで図６を参照し、この処理を更に詳細に説明する。キュー及び開始ポイントが与えられると、次のキューが再生されることになる持続時間が決定される（６００）。この持続時間を計算するための例示的な方法を以下で更に詳細に提供する。持続時間が与えられると、キュー製作者の入力が処理され、所望の持続時間のプレイリストを作成する。換言すると、リミックス情報における第１の指示が選択され（６０２）、プレイリストに追加される。音声ステムのこのセクションが、符号６０４で決定された所望の持続時間よりも短い持続時間を有する場合、次の指示が選択され（６０６）、所望持続時間のプレイリストが終了する（６０８）まで処理が繰り返される。キューの最後において、次のキューについてのメタデータの移行情報を用いて、現在のプレイリストにおける開始ポイントを選択（６１０）し、現在のキューから次のキューへのクロスフェードを実施する。

キューの持続時間を推定する１つの方法は、読者の読書速度（１分当たりのワード単位で）を推定し、キューにおけるワード数が与えられた場合、読者が書籍のこの部分を読み終わるのに要するであろう時間を決定することである。この推定値は、読者に対する読書速度情報の履歴から計算することができる。

ユーザが書籍を読み始めたときに、１分当たりの特定数のワードである初期読書速度が仮定される。この初期速度は、以前の書籍の読書によるユーザの以前の読書速度履歴に関する多種多様なデータから計算することができ、このようなデータは、著者毎、ジャンル毎、一日の時間毎、場所毎、及び全ての書籍にわたって編成することができる。以前の読書履歴が利用可能でない場合、他のユーザがこのタイトルをどのように読書たかという匿名のグローバル集計を使用することができる。他の履歴が利用可能でない場合、１分当たり４００ワードの一般的平均値が使用される。

ここで図７を参照すると、ユーザの読書速度は、「ｄｉｓｐｌａｙｅｄＰｏｓｉｔｉｏｎＲａｎｇｅＣｈａｎｇｅｄ」機能呼出しによって示されるように、表示された位置範囲が変更される度に追跡される。この機能呼出しが受信された（７００）場合、幾つかの条件がチェックされる（７０２）。これらの条件は、限定ではなく、必須でもないが、ユーザがアクティブに読書している、すなわち読書中断状態ではない、新しい表示された位置範囲が以前に表示された位置範囲よりも大きい、新しく表示された位置範囲の開始が以前に表示された位置範囲の最後に接する、及びワードカウントが最小数（現在のところ１５０ワード）を上回ることを含むことができる。また、最後の変化からの経過時間は、速度が正常な予想分散内にあるかどうかをチェックするための平均読書速度の標準偏差のような実用的範囲内になくてはならない。これらの条件が満足された場合、現在の時間が記録される（７０４）。表示される位置範囲への最後の変化からの経過時間は、以前に表示された位置範囲に対するワードカウントと共に計算されて記憶される（７０６）。このセクションにおける読書速度が計算される（７０８）。測定された読書速度のこの履歴データから、平均読書速度を計算し使用して、キュー持続時間を推定することができる。

ページｐに対する読書速度Ｓｐ（１秒当たりのワードの単位）を計算するための式は以下の通りである。

ここで、Ｗｐはページに対するワードカウント、Ｔｐは秒単位のページを読むのに必要な時間である。１つの実施構成では、平均読書速度に使用される統計値は、２０周期指数移動平均（ＥＭＡ）であり、これは、速度変動を平滑にし、同時に最新のページ速度をより重要であると考える。

ＥＭＡを計算するための式は以下の通りである。

ここで、ｎは周期数、すなわち２０である。

読書速度の変動を計算するために、発明者らは、最後の２０値にわたって変動を計算するためのＷｅｌｆｏｒｄの方法を用いている。

Ｍ₁＝Ｔ₁及びＳ₁＝０を初期化する。

Ｔの次の値に対して以下の再帰式を使用する。

≦ｋ≦ｎの場合、変数の第ｋ推定値は以下の通りである。

この読書速度情報は、ユーザの電子書籍リーダアプリケーションプラットフォーム上にローカルで記憶することができる。複数のユーザについてのこのような情報は、コンパイルして匿名方式でサーバ上に記憶することができる。本アプリケーションは、読書速度情報統計値を調べ、他者が作品或いは作品の一部をどのくらいの速度で読んだかを判定することができる。

読書速度の代わりに、或いはこれに加えて他のタイプのユーザインタラクションを使用して、再生を制御することができる。

１つの実施構成では、電子書籍とのユーザインタラクションに関するデータは、読者が書籍内のあるポイントから読書を始めたことを示す。このことは、一般的には読者は最初から最後まで書籍を一回で読み終わることはないので、頻繁に起こることである。場合によっては、読者が書籍内のあるポイントで読書を再開したとき、そのポイントにおけるサウンドトラックの音声レベル、或いは音声の「興奮」の他のレベルが適切でない可能性がある。すなわち、音声は、実際には、そのポイントで気持ちが逸らされる可能性がある。動的音声プレーヤは、現在の読書位置を含む書籍の一部に対して選択されている音声キューから代わりの音声キューを選択する機会として、書籍内のある位置から読者が読書を始めたという表示を使用することができる。

別の実施例として、読者は、セクションからセクションにスキップすることによって書籍を読むことができる。他のマルチメディア作品は、このような読書方式を促進することができる。このような場合、作品のセクションに関連付けられた音声キューが、そのセクションの表示が開始されたときに再生される。以前に表示されたセクションの音声から新しく表示されるセクションに対する音声への簡素なクロスフェードを実行することができる。一部の用途では、作品の性質が、いずれの特定のセクションのビューイング時間も予測しにくいようなものである場合、動的再生エンジンは、単に持続時間が不定であると推測することができ、別の音声キューを始めるための指示が受信されるまでキューファイルにおける指示に基づいて音声の生成を続けることができる。

別の実施例として、ユーザ入力に応答してキューファイルの種々のセクションを再生するために音声キューファイルを使用することができる。例えば、ポピュラーソングを幾つかのセクションに分割することができる。音声再生を制御するためのユーザインターフェイスを設けて、ユーザ入力に応答してプレーヤに次のセクション又は指定セクションにジャンプするよう指示することができる。

このような作品及びそれに伴うサウンドトラックをどのように作成できるかを説明してきたが、ここでこれらの配信を説明する。

電子書籍のサウンドトラックを作成する段階は、音声ファイルを電子書籍のテキストの一部分に関連付ける段階を含む。サウンドラックを作成できる幾つかの方法がある。

１つの実施構成では、作曲家が、テキストの各部分に対するオリジナル音楽を作曲し記録する。テキストの各部分は、そのようにして作曲及び記録される個々の音声ファイルに関連付けることができる。代替として、以前に記録された音楽を選択し、テキストの一部分に直接関連付けることができる。これらの実施構成では、音声ファイルは、テキストの一部分に静的及び直接的に割り当てられる。

別の実施構成では、音声ファイルは、テキストの一部分に間接的に割り当てられる。ワード又は他のラベルなどのタグが、テキストの一部分に関連付けられる。このようなタグは、コンピュータデータファイル又はデータベース内に記憶され、上述されたキューリストと同様に電子書籍に関連付けることができる。対応するタグはまた、音声ファイルに関連付けられる。１人又はそれ以上の作曲家が、特定の感情又は気分を呼び起こすことを意図したオリジナル音楽を作曲し記録する。代替として、以前に記録された音楽を選択することができる。これらの音声ファイルはまた、このようなタグに関連付けられ、データベース内に記憶することができる。テキストの一部分に関連付けられたタグを使用して、同じタグを有する対応する音声ファイルを自動的に選択することができる。書籍の１つのタグに対して複数の音声ファイルが識別された場合、コンピュータによって或いは人間の介入によって音声ファイルの１つを選択することができる。この実施構成によって、音声ファイルをデータベースに集めることができ、電子書籍及び音声ファイルに関連付けられたタグが与えられた場合に、音声ファイルを選択する処理を自動化することによってサウンドトラックの作成を半自動的に完了させることができる。

音声ファイルが電子書籍に間接的に関連付けられる実施構成では、音声ファイルは、再生に近い時間のタグを使用して動的に選択することができる。

タグを電子書籍に関連付ける処理はまた自動化することができる。詳細には、コンピュータによってテキストを処理し、テキストのワードの意味分析に基づいて感情記述子をテキストの一部分に関連付けることができる。このような意味分析についての例示的な技術は、限定ではないが、引用により本明細書に組み込まれる、Ｈｕｍａｎ Ｌａｎｇｕａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｎｆｅｒｅｎｃｅ ａｎｄ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（２００５年１０月）の会報におけるＣｅｃｉｌｉａ Ｏｖｅｓｄｏｔｔｅｒ Ａｌｍ等による「Ｅｍｏｔｉｏｎｓ ｆｒｏｍ ｔｅｘｔ： ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｆｏｒ ｔｅｘｔ−ｂａｓｅｄ ｅｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ」、５７９〜５８６頁に記載されるものを含む。これらのタグは、視聴している作品のセクションを支援する感情的感覚又は他の感情を記述することができる。例えば、これらの感情的感覚は、限定ではないが、「中間的な緊張状態」、「恋愛対象」、「緊張状態」、「陽気な」、「男性的な」、「暗い」、「陰気な」、「幽霊のような」、「幸福な」、「悲しい」、「切ない」、「セクシーな瞬間」、「明るい」及び「快活な」を含むことができる。

図８は、タグが関連付けられた音声ファイルを仮定して、電子書籍のためのサウンドトラックを作成するための完全自動化処理の実施例を示すデータフロー図である。電子書籍８００は、書籍の感情記述子及びテキスト範囲８０４を出力する感情記述子生成器８０２に入力される。感情記述子は、音声データベース８０６において、書籍の各範囲に対する感情記述子に一致する音声ファイル８１０を探すのに使用される。音声セレクタ８０８は、各テキスト範囲に対する音声ファイルの自動化された、ランダムな、或いは半自動化された選択を可能にし、キューリスト８１２を生成する。電子書籍に対して固有識別子が生成され、キューリスト８１２と共に記憶することができる。

このような電子書籍及びそのサウンドトラックは、限定ではないが、電子書籍の商用配信のために現在使用されている方法を含む、多種多様な方法のいずれかで配信することができる。１つの実施構成では、電子書籍及び電子書籍リーダは、従来の技術を使用してエンドユーザに配信される。付加的なサウンドトラック及び動的音声プレーヤの配信は、別々に完了される。サウンドトラックの配信は、一般的には２つのステップで完了され、最初にキューリストがダウンロードされ、次いで各音声ファイルがダウンロードされる。音声ファイルはオンデマンドでダウンロードすることができる。動的音声プレーヤは、電子書籍リーダが作動する同じデバイス上に記憶することができ、或いは遠隔で記憶することができる利用可能なキューファイルに関する情報を維持するファイルマネージャを含むことができる。

１つの実施構成では、電子書籍は、キューリスト及び動的音声プレーヤと共にエンドユーザに配信される。

別の実施構成では、電子書籍及びその関連のキューリストが一緒に配信される。次に、キューリストを用いて、バックグラウンドタスクとしてサウンドトラック用の音声ファイルをダウンロードする。１つの実施構成では、電子書籍が最初にダウンロードされて、キューリストのダウンロードがバックグラウンドタスクとして起動され、次に、第１キューに対する第１音声ファイルが直ちにダウンロードされる。

別の実施構成では、電子書籍リーダは、キューリストに従って再生のために選択することができる多種多様な感情記述子を有するローカルの汎用キューを含むローカル記憶装置を備えたデバイスである。これらの汎用キューは、リモート音声ファイルが利用できなくなった場合に音声の再生を可能にする。

１つの実施構成では、電子書籍リーダアプリケーションが、電子媒体の配信者とそれを介して通信することができるインターネットなどのネットワークへのアクセスが可能なプラットフォーム上にロードされる。このような配信者は、電子媒体を購入及び／又はダウンロードする要求をユーザから受信することができる。要求を受信した後、配信者は、データベースから要求された作品及びそれに伴うサウンドトラック情報を検索することができる。検索された電子書籍は暗号化され、電子書籍リーダアプリケーションのユーザに送信することができる。電子媒体は、電子媒体が単一の電子書籍リーダでのみ再生できるように暗号化することができる。一般的には、作品に関連付けられたデジタル著作権管理情報もまたサウンドトラック情報に加えられる。

上記において、記憶媒体は、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリ装置及び／又は情報を記憶するための他の機械可読媒体を含む、データを記憶するための１つ又はそれ以上の装置を表すことができる。「機械可読媒体」及び「コンピュータ可読媒体」という用語は、限定ではないが、携帯式又は固定記憶装置、光学記憶装置、及び／又は、命令及び／又はデータを記憶、包含、又は保持することができる種々の他の媒体を含む。

更に、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、又はこれらのいずれかの組合せによって実施することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されたときに、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体又は他の記憶装置などの機械可読媒体内に記憶することができる。プロセッサは、必要なタスクを実行することができる。コードセグメントは、手順、機能、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、或いは、命令、データ構造、又はプログラム命令文のいずれかの組合せを表すことができる。コードセグメントは、情報、データ、引数、パラメータ、又はメモリコンテンツの受け渡し及び／又は受信によって、別のコードセグメント又はハードウェア回路に結合することができる。情報、引数、パラメータ、データなどは、メモリ共有、メッセージ受け渡し、トークン受け渡し、ネットワーク送信などを含む、いずれかの適切な手段を介して受け渡し、転送、又は送信を行うことができる。

本明細書で開示される実施例に関して説明された種々の例示的な論理ブロック、モジュール、回路、要素、及び／又は構成要素は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラム可能論理構成要素、離散的ゲート又はトランジスタ論理回路、離散的ハードウェア構成要素、或いは本明細書で説明される機能を実行するよう設計されたこれらのいずれかの組合せによって実施又は実行することができる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替として、プロセッサは、いずれかの従来のプロセッサ、コントローラ、マイクロコントローラ、回路、及び／又は状態機械とすることができる。プロセッサはまた、コンピュータ構成要素の組合せ、例えば、ＤＳＰとマイクロプロセッサの組合せ、幾つかのマイクロプロセッサ、ＤＳＰコアに連結した１つ又はそれ以上のマイクロプロセッサ、或いは他のいずれかのこのような構成として実装することができる。

本明細書で開示された実施例に関して説明された方法又はアルゴリズムは、ハードウェアにおいて、プロセッサによって実行可能なソフトウェアモジュールにおいて、或いは両方の組合せにおいて、処理ユニット、プログラミング命令、又は他の指示の形式で直接具現化することができ、単一の装置に包含するか、或いは複数の装置にわたって分散させることができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバルディスク、ＣＤ−ＲＯＭ、或いは当該技術分野で公知の記憶媒体の他のいずれかの形式で備えることができる。記憶媒体は、プロセッサに結合することができ、これによって、プロセッサは、記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができる。代替として、記憶媒体は、プロセッサに一体化してもよい。

図に示された構成要素及び機能の１つ又はそれ以上は、単一の構成要素に再構成及び／又は結合することができ、或いは本発明から逸脱することなく幾つかの構成要素に実装することができる。付加的な要素又は構成要素を本発明から逸脱することなく追加することもできる。更に、本明細書で説明された特徴は、ソフトウェア、ハードウェアにおいて、ビジネス方法として、及び／又はこれらの組合せで実施することができる。

特定の例示的な実施形態を説明し添付の図面に示してきたが、このような実施形態は、単に例証として提示され、広範囲な本発明を限定するものではなく、当業者には種々の他の修正形態が想起できるので、本発明は、図示され説明される特定の構造及び構成に限定されない点を理解されたい。

１１０ 電子書籍
１１２ 電子書籍リーダ
１１４ ユーザインタラクション情報
１１６ 動的音声プレーヤ
１１８ キューリスト
１２０ キュー
１２２ 音声出力

Claims (9)

1. 音声の動的再生のためのコンピュータに実装された方法であって、
   電子視覚作品の一部分とのユーザインタラクションに関するデータを受信する段階と、
   前記ユーザインタラクションに従って前記電子視覚作品の一部分に関連付けられる音声の再生の持続時間を動的に調整する段階と、
   を含む、コンピュータに実装された方法。
2. 前記電子視覚作品の一部分とのユーザインタラクションに関する前記受信されたデータに従って、前記電子視覚作品の一部分の視覚表示のための持続時間を推定する段階と、
   前記電子視覚作品の一部分に関連付けられた音声のステムのミックスのシーケンスを選択し、音声に前記推定された持続時間を提供するようにする段階と、
   を更に含む、請求項１に記載のコンピュータに実装された方法。
3. 前記持続時間は、読書速度の履歴を使用して推定される、請求項２に記載のコンピュータに実装された方法。
4. 電子視覚作品の表示と同期してサウンドトラックを再生するためのコンピュータに実装された方法であって、
   前記電子視覚作品をメモリ内に受け入れる段階と、
   前記電子視覚作品の一部分にタグを関連付ける情報をメモリ内に受け入れる段階と、
   ユーザインタラクションに応答して前記電子視覚作品の一部分を表示する段階と、
   タグの付いた音声ファイルにアクセスする段階と、
   前記プロセッサを使用して、前記電子視覚作品の一部分に関連付けられたタグに従って前記電子視覚作品の一部分に関連付けられる音声ファイルを選択する段階と、
   前記電子視覚作品の一部分とのユーザインタラクションに関するデータを受信する段階と、
   前記ユーザインタラクションに従って前記電子視覚作品の一部分に関連付けられた音声の再生の持続時間を動的に調整する段階と、
   を含む、コンピュータに実装された方法。
5. 電子視覚作品用のサウンドトラックを生成するためのコンピュータに実装された方法であって、
   前記電子視覚作品をメモリ内に受け入れる段階と、
   プロセッサによって、前記メモリ内の前記電子視覚作品を処理し、メモリにおいてタグを前記電子視覚作品の一部分に関連付けることによって前記電子視覚作品の一部分にマーク付けする段階と、
   タグの付いた音声ファイルにアクセスする段階と、
   前記プロセッサを使用して、前記電子視覚作品の一部分に関連付けられたタグに従って前記電子視覚作品の一部分に対する音声ファイルを選択する段階と、
   を含む、コンピュータに実装された方法。
6. 前記電子視覚作品がテキストを含み、前記処理段階が、前記テキストを処理する段階を含む、請求項５に記載のコンピュータに実装された方法。
7. 前記タグが感情記述子を含む、請求項６に記載のコンピュータに実装された方法。
8. デジタル情報製品であって、
   コンピュータ可読媒体と、
   前記コンピュータ可読媒体に記憶されたコンピュータ可読データと、
   を備え、前記コンピュータ可読データは、コンピュータによって処理されたときに前記コンピュータによって翻訳されて、電子視覚作品の各部分に対して感情記述子を有するキューリストを含むコンピュータ可読ファイルを定義し、前記感情記述子が、音声データにも関連付けられた感情記述子に対応する、デジタル情報製品。
9. デジタル情報製品であって、
   コンピュータ可読媒体と、
   前記コンピュータ可読媒体に記憶されコンピュータ可読データと、
   を備え、前記コンピュータ可読データは、コンピュータによって処理されたときに前記コンピュータによって翻訳されて、ミックスして音声データを提供できる複数のステムの音声データとステムをどのように繰り返して結合できるかを示す及び情報とを含む、音声キューを定義するデータを有するコンピュータ可読ファイルを定義する、デジタル情報製品。

Images