JP2022157293A - コンテンツ再生制御システム及びプログラム - Google Patents

Abstract

【課題】コンテンツに登場するキャラクタなどの発話させるためのデータを当該コンテンツとは別に提供するサービスを実現するシステムを提供し、ユーザやシステム事業者などの労力を低減させて利用しやすい環境を構築することが可能なコンテンツ再生制御システムなどを提供すること。【解決手段】サーバ装置１０は、ユーザの指示の下に、コンテンツに登場するキャラクタに音素データを割り当てるとともに、コンテンツのキャラクタ数や配役数、コストによる制限、又は、再生時のシステム容量などコンテンツを再生する際にユーザが割り当てた音素データに基づく音声を用いることができない場合、又は、ランダムに音声を選択することによって遊び感覚的な目的によって視聴を希望する場合に、ユーザが利用可能な音声を用いてコンテンツをユーザに視聴させる構成を有している。【選択図】図４

Description

本発明は、コンテンツ再生制御システム及びプログラムなどに関する。

従来から、テキストだけでなく、漫画などのコンテンツに含まれるテキストに音声データを割り当てて、様々な音声によってテキストを朗読させるコンテンツ再生システムなるものが登場している。

特に、最近では、漫画データにおけるキャラクタのセリフを音声として出力するための音声データの選択を受け付け、当該漫画データを表示させる際に、選択された音声データに基づいて、表示された漫画データのキャラクタにおけるセリフを音声として出力させるシステムが知られている（例えば、特許文献１）。

特開２０１８－１６９６９１号公報

しかしながら、特許文献１に記載のシステムにあっては、単に音声データをテキストに割り当てるだけであり、例えば、視聴者の好みに合わせて視聴者の音声の素材データを別に用意して当該コンテンツを提供するシステムとしては実現されておらず、当該特許文献１に記載のシステムによって、このようなシステムを適用するには更なる工夫が必要である。

特に、当該特許文献１に記載のシステムにあっては、視聴者の好みに合わせて視聴者の音声の素材データを別に用意して当該コンテンツを提供する場合には、登場するキャラクタや配役が多くなればなるほど、多くの素材データを用意する必要があり、コンテンツを提供する事業者も、当該コンテンツを視聴する視聴者も多くの素材データを用意する必要性があるものの、お互いにその労力が高くなることが予想される。

本発明は、上記課題を解決するためになされたものであり、その目的は、コンテンツに登場するキャラクタなどの発話させるためのデータを当該コンテンツとは別に提供するサービスを実現するシステムを提供すること、及び、その場合に、コンテンツを提供する事業者、又は、当該コンテンツを視聴する視聴者であっても、その労力を低減させて利用しやすい環境を構築することが可能なコンテンツ再生制御システムなどを提供することにある。

（１）上記課題を解決するため、本発明は、
記憶手段に記憶されている情報であって、ユーザに関するユーザ情報と、当該ユーザ情報に対応付けられており、かつ、発話者から採取された音素データから構成される発話音素情報と、を管理するユーザ情報管理手段と、
前記発話者の音声によって音声言語化するためのテキストがデータ化されたテキストデータ及び当該テキストを発話するキャラクタに関するキャラクタデータを少なくとも含むコンテンツデータから構成されるコンテンツ情報を管理するコンテンツ管理手段と、
所与の指示に基づいて、前記キャラクタデータに、前記音素データを割り当てて、前記
コンテンツデータのテキストを音声言語化するための音声言語データを生成する音声言語データ生成処理を含む生成制御処理を実行する生成制御手段と、
前記コンテンツデータのテキストに沿って前記キャラクタの音声を再生出力する再生出力手段に、前記生成された音声言語データを提供する提供制御処理を実行する提供制御手段と、
を備え、
前記生成制御手段が、
特定の前記キャラクタ又は特定の前記テキストの少なくとも一部に割り当てる音声言語データとして、他のキャラクタ又は他のテキストに割り当てられた音素データと同一の音素データを、当該他のキャラクタ又は当該他のテキストの音声言語データを生成するときと異なる所与の加工処理に基づいて、又は、当該加工処理がなされた音素データに基づいて、前記音声言語データ生成処理とは異なる処理であって、前記コンテンツデータのテキストの少なくとも一部について、発話制御を実行するための発話制御データを生成する発話制御データ生成処理を実行する、構成を有している。

この構成により、本発明は、ユーザが保有する音素データを、キャラクタに割り付けること、及び、ユーザが使用可能な（例えば、保有する）音素データを様々なキャラクタやコンテンツに割り当てることができる。

したがって、本発明は、コンテンツに登場するキャラクタなどの発話させるためのデータを当該コンテンツとは別に提供するサービスを実現するシステムを提供し、その場合に、ユーザやシステム事業者などの労力を低減させて利用しやすい環境を構築することができる。

また、本発明は、このようなサービスを提供する際に、例えば、ユーザの音素データ又はコンテンツの所有状況や課金などを含めた視聴状況に基づいて、コンテンツに登場する全てのキャラクタに音素データを割り当てることができなかった場合、又は、割り当てる音素データや割当先のキャラクタ数が多くコスト（コンテンツを再生させる上で必要は費用）が想定より多くなってしまう場合などに、対象のコンテンツの該当するキャラクタやテキストについて、割り当てた音素データに基づいて音声言語データを生成する処理に代えて、又は、当該処理に加えて、代替音声による出力制御だけでなく、無音声による出力制御を実行することもできる。

すなわち、本発明は、キャラクタ数や配役数、コストによる制限、又は、再生時のシステム容量などコンテンツを再生する際にユーザが割り当てた音素データに基づく音声を用いることができない場合、又は、ランダムに音声を選択することによって遊び感覚的な目的によって視聴を希望する場合などに、代替音声を用いることによって、又は、一部のテキストを無音声にすることによって対応することができる。

したがって、本発明は、コンテンツに登場するキャラクタなどを発話させるためのデータを当該コンテンツとは別に提供するサービスとして実現する場合に、コンテンツに登場するキャラクタなどを発話させるためのデータを当該コンテンツとは別に提供する場合に、数多くの音素データを準備してユーザに提供することなく、又は、数多くの音素データを用意するために必要以上な支出が要求されることなく、ユーザにコンテンツを視聴させることができる。

この結果、本発明は、コンテンツを提供する事業者、又は、当該コンテンツを視聴する視聴者に対する労力を低減させて利用しやすい環境を提供することができる。

なお、「発話者」とは、例えば、声優、俳優、又は、アナウンサーなどの実際に声を発
する者を示す。

そして、「音素データ」とは、子音・母音・半母音などの分節音素、当該分節音素の関係性を示す声調・イントネーションを含む音の高さ、強勢やアクセント、方言の種別、言語の種別（日本語や英語）、及び、文字間における子音と母音のつながり（すなわち、連接要素）などの連接要素などが規定されている音の素となるデータを示す。

また、「キャラクタデータ」とは、テキストをセリフとして発する（すなわち、発話する）キャラクタのデータであり、例えば、映画、漫画、ゲーム、アニメーション、又は、小説などのコンテンツ内に登場するキャラクタに関するデータを示す。

さらに、「コンテンツデータ」とは、例えば、ゲーム、アニメーション、映画、又は、漫画などの画像（静止画及び動画を含む。）、コンテンツに登場するキャラクタに関するキャラクタデータ、及び、画像に合わせた各キャラクタなどのセリフなどのテキストデータ、から構成されるコンテンツデータが記憶される。ただし、当該「コンテンツデータ」には、画像が無く、テキストデータ及びキャラクタデータから構成されるものが含まれてもよい。

そして、「コンテンツ情報の管理」とは、データベースに読み出し可能に記憶されていること、又は、ネットワークなどの外部から取得することなどを示す。

上記に加えて、「提供制御処理」には、再生出力手段（例えば、ユーザの端末装置）にダウンロードさせて当該端末装置における再生を制御するための各種のデータを提供する処理、又は、音声言語データを含み、コンテンツ情報を再生し、その再生出力データをリアルタイムでユーザの端末装置に提供するストリーミング方式によって提供する処理が含まれる。ただし、再生出力手段は、システムに組み込まれた手段であってもよく、この場合には、提供制御処理として、再生出力手段を制御する制御処理を実行する。

そして、「発話制御データ生成処理」とは、例えば、ユーザの指示に基づいて割り当てられた音声言語データなどを利用せずに、代替音声を生成するための音声言語データ（以下、「代替音声データ」）を生成する処理（以下、「代替音声データ生成処理」ともいう。）、又は、該当するキャラクタやテキストを無音声にする再生制御データ（以下、「無音声制御データ」という。）を生成するための処理（以下、「無音声制御データ生成処理」という。）を示す。

例えば、「代替音声を生成する」とは、他のキャラクタに割り当てられた音素データと同一の音素データを用いて音声言語データを生成すること、及び、予めデフォルトの音声として設定された音素データを用いて音声言語データを生成することなどが含まれる。ただし、「他のキャラクタに割り当てられた音素データと同一の音素データを用いて音声言語データを生成する」場合には、音素データに対して他のキャラクタとは、声の高低、イントネーション、アクセントなどの声調を含む、発話音声における各種の声質について異なる加工を実行して、音声言語データを生成することが好ましい。

また、例えば、「無音声制御データ」とは、コンテンツデータの再生中（すなわち、ユーザにコンテンツを視聴させている際に）、該当するテキスト（例えば、セリフ）に関する音声を出力しないための制御データを示す。

そして、「特定のキャラクタ」とは、例えば、ユーザによって音素データが割り当てられなかったキャラクタ、コストの関係で音素データの割り当てが不能となったキャラクタ、又は、ユーザによって指定されたキャラクタなどが含まれる。

さらに、「特定のテキストの少なくとも一部」とは、例えば、ユーザによって音素データが割り当てられなかったキャラクタのテキスト若しくはそのテキストの一部、コストの関係で音素データの割り当てが不能となったキャラクタのテキスト若しくはそのテキストの一部、又は、ユーザによって指定されたキャラクタのテキスト若しくはそのテキストの一部などが含まれる。

さらにまた、「所与の加工処理」とは、上述したように、例えば、同一の音素データが割り当てられている他のキャラクタや当該キャラクタのテキストの一部の発話音声において、声の高低、イントネーション、アクセントなどの声調を含む、発話音声における各種の声質について変化（すなわち、加工）させるための処理を示す。

そして、「他のキャラクタ又は他のテキストの音声言語データを生成するときと異なる所与の加工処理に基づいて、又は、当該加工処理がなされた音素データに基づいて、前記発話制御データを生成する」とは、
（Ａ１）発話制御データ生成処理時に該当する音素データに上記のような加工処理を実行して発話制御データ生成処理を実行してもよいし、
（Ａ２）既に当該加工処理を実現された音素データを用いて発話制御データ生成処理を実行してもよい。

特に、「既に当該加工処理がなされた音素データ」とは、例えば、音素データをテキストに割り当てることによって発話音（すなわち、音声としての発話される音）を構築して発話音声データを生成する際に、各テキストやコンテンツの属性情報に対応付けて各音素の変化量や変化態様などの特徴量を抽出し、当該抽出された特徴量について機械学習をすることなどによって生成された音素データのモデルデータを示す。ただし、このモデルデータは、学習される毎に更新されてもよいし、新たなモデルデータとして記憶され、各テキストやコンテンツ情報が同じ場合などの所与の条件が合致する場合の音素データとして（すなわち、新たなバリエーションとして）用いるようにしてもよい。

（２）また、本発明は、
前記生成制御手段が、
前記発話制御データ生成処理として、該当する前記キャラクタのテキスト又は該当する前記テキストに対する音声を無音声とする再生制御データを生成する、構成を有している。

この構成により、本発明は、コンテンツに登場するキャラクタなどを発話させるためのデータを当該コンテンツとは別に提供する場合に、数多くの音素データを準備してユーザに提供することなく、又は、数多くの音素データを用意するために必要以上な支出が要求されることなく、ユーザにコンテンツを視聴させることができる。

なお、「音声を無音声とする再生制御データ」とは、該当するキャラクタやテキストを、コンテンツに規定された発話タイミング（すなわち、音声出力タイミング）において完全に無音した状態でコンテンツを視聴させるための制御データである。

特に、「再生制御データ」には、該当するタイミングで、該当するキャラクタの音声が出力されないことを示す演出（画像演出や音演出）を実行するための制御データが含まれる。

例えば、「再生制御データ」には、画像演出用の再生制御データとして、該当するテキストを画像表示する表示制御データが含まれていてもよく、特に、映画の字幕のような発
話タイミングに合わせて１文から２文のテキストを表示させるための表示制御、また、発話タイミングに従って、テキストの各文字の色を徐々に変化させるための表示制御を行うためのデータが含まれてもよい。

（３）また、本発明は、
前記生成制御手段が、
前記発話制御データとして、特定の前記キャラクタ又は特定の前記テキストの少なくとも一部に、基準データとして予め定められた音素データ、又は、ユーザによって既に使用可能となっている音素データのいずれかを割り当てて音声言語データを生成する前記発話制御データ生成処理を実行する、構成を有している。

この構成により、本発明は、例えば、コンテンツやコンテンツを聴取や視聴するサービスで予め有しているデフォルト的な基準の音声データを用いてキャラクタやテキストが発話する際の音声言語データを生成することができる。

したがって、本発明は、コンテンツに登場するキャラクタなどを発話させるためのデータを当該コンテンツとは別に提供する場合に、数多くの音素データを準備してユーザに提供することなく、又は、数多くの音素データを用意するために必要以上な支出が要求されることなく、ユーザにコンテンツを視聴させることができる。

（４）また、本発明は、
前記生成制御処理が実行される際に、前記ユーザの音素データの割り当てに関する割り当て状況が、当該割り当てに関する所与の制約が規定された制約条件を具備しているか否かを判定する割り当て状況判定処理を実行する状況判定処理手段を更に備え、
前記生成制御手段が、
前記割り当て状況判定処理によって前記割り当てた状況が前記制約条件を具備したと判定された場合には、前記音声言語データ生成処理を実行し、
当該割り当てた状況が前記制約条件を具備していないと判定された場合には、前記発話制御データ生成処理を実行する、構成を有している。

この構成により、本発明は、コンテンツに登場するキャラクタなどを発話させるためのデータを当該コンテンツとは別に提供する場合に、数多くの音素データを準備してユーザに提供することなく、又は、数多くの音素データを用意するために必要以上な支出が要求されることなく、ユーザにコンテンツを視聴させることができる。

なお、「制約条件」とは、音素データ、キャラクタデータ又はテキストデータに対してコンテンツを視聴する際にデータの使用に対して規定されたコストに関する条件であって、例えば、割り当てた音素データを使用する際のコスト、当該音素データの割り当て先のキャラクタを使用する際のコスト、音素データによって生成される発話音声を出力するためのテキストを使用する際のコスト、に対する支払いの有無、又は、予め定められた限界値内による使用の有無などの条件を示す。

（５）また、本発明は、
前記生成制御処理に用いる音素データ、キャラクタデータ及びテキストデータのうち、いずれか１のデータのコストが規定されたコストパラメータを管理するコスト管理手段と、前記コストパラメータに基づいて、前記生成制御処理を実行する際の前記ユーザに要求される実行コストを算出する算出処理を実行するコスト算出手段と、
を更に備え、前記状況判定処理手段が、
前記制約条件として、前記算出処理によって算出された実行コストに対する前記ユーザの支払いに基づく条件を用いる、構成を有している。

この構成により、本発明は、ユーザによって実行コストの支払いが無い場合には、発話制御データ生成処理を実行させることができるので、ユーザにおけるコストの支払いの有無に応じて、音素データの使用の有無やその数を制限することができる。

したがって、本発明は、数多くの音素データを準備してユーザに提供することなく、より少ない音素データによってもコンテンツを視聴させることができるとともに、数多くの音素データを用意するために必要以上な支出が要求されることなく、ユーザにコンテンツを視聴させることができる。

なお、「コストパラメータ」とは、例えば、キャラクタデータ、テキストデータ若しくは音素データの音声言語データを生成するために必要なデータのコスト（費用）やアイテムなどの消費量を定めたパラメータを示す。

特に、「コストパラメータ」としては、システム内通貨若しくはシステム内で用いるアイテム（例えば、アイテム種別や数）に基づいて規定される消費量、又は、課金額が規定されている。

（６）また、本発明は、
前記生成制御処理に用いる音素データ、キャラクタデータ及びテキストデータのうち、いずれか１のデータのコストが規定されたコストパラメータを管理するコスト管理手段を更に備え、
前記状況判定処理手段が、
前記制約条件として、前記コストパラメータと、予め設定されたコストの限界値と、の関係性を示す条件を用いる、構成を有している。

この構成により、本発明は、予めユーザが既に支払った範囲内か否か（サブスクリプションなどの予め定められた支払い額の範囲内か否か）によって、音素データの使用の有無やその数を制限することができる。

したがって、本発明は、数多くの音素データを準備してユーザに提供することなく、より少ない音素データによってもコンテンツを視聴させることができるとともに、数多くの音素データを用意するために必要以上な支出が要求されることなく、ユーザにコンテンツを視聴させることができる。

なお、「予め設定されたコストの限界値」とは、例えば、ユーザが予め支払ったコストなどの上限値やそれに対応する値を示し、コンテンツに対応付けられて設定されている値（例えば、コンテンツ毎に設定された値）でもよいし、ユーザに対応付けられた値であってもよい。

（７）また、本発明は、
前記ユーザのコンテンツに関する所与の状況を検出するユーザ状況検出手段を更に備え、
前記コスト管理手段が、
前記検出されたユーザのコンテンツに関する状況に基づいて、前記コストパラメータの変動を制御する変動制御処理を実行する、構成を有している。

この構成により、本発明は、コンテンツを聴取や視聴するサービスを利用するユーザに応じて支払うコスト、割り当て可能な音素データの数、又は、利用可能なコンテンツ数を変化させることができる。

したがって、本発明は、ユーザに対するコンテンツの視聴環境を充実させることができるとともに、ユーザの状況に応じて数少ない音素データしか割り当てることができない場合であっても、コンテンツの視聴を適切に実行することができる。

なお、「ユーザの状況」には、例えば、
（Ｂ１）ユーザの現在までの課金額の総計、
（Ｂ２）コンテンツを聴取や視聴するサービスにログインすることによってコンテンツの再生制御を行う場合には、ログイン状況（ログインの頻度、総ログイン時間、又は、ログインによって獲得した特典の数・種別及び量）、
（Ｂ３）コンテンツの現在までの利用時間（聴取時間や視聴時間）又は利用することによって獲得したポイント、及び、
（Ｂ４）ユーザのランクやレベルなどの他のユーザからの優位性を示す優位度、
などが含まれる。

また、「検出されたユーザの状況に基づいて、コストパラメータの変動を制御する」とは、変動値とコストパラメータとが対応付けられたテーブルデータを参照することによって当該変動値を定めること、又は、所与の演算式によってユーザの状況に基づいて変動値を算出することなどを示す。

（８）また、本発明は、
前記コスト管理手段が、
前記コンテンツデータ、キャラクタデータ及びテキストデータのうち、いずれか１のデータに関する情報を示す関連情報に基づいて、前記コストパラメータの変動を制御する変動制御処理を実行する、構成を有している。

この構成により、本発明は、例えば、キャラクタの発話回数や人気度などの属性に応じて、支払うコスト、割り当て可能な音素データの数、又は、利用可能なコンテンツ数を変化させることができる。

したがって、本発明は、コンテンツや音素データを提供する事業者の収益をも確保することができるとともに、数少ない音素データによってもコンテンツを視聴させることができるので、ユーザのコンテンツの視聴に関する満足度を向上させることができる。

なお、「関連情報」とは、コンテンツデータの場合には、例えば、コンテンツのジャンルを示すジャンル情報、及び、テキストデータ又はキャラクタデータの場合には、例えば、テキスト又はキャラクタの属性を示す属性情報などが含まれる。

また、「関連情報」とは、音素データの場合には、声優やアナウンサーなどの発話者のジャンル、性別、年齢や年代、又は、人気度などの音素データを生成する際の発話者の属性を示す属性情報が含まれる。

そして、テキストの属性には、例えば、小説、漫画、ノンフィクション、新聞などのテキストの種別、及び、当該テキストが属するキャラクタ（当該テキストが発話されるキャラクタ）の属性が含まれる。

さらに、キャラクタの属性（すなわち、キャラクタの属性）には、動物・ロボット・人間などの種別、性別や年齢、方言やテキストの言語（他言語）の種別、人気度などの属性が含まれる。

（９）また、本発明は、
前記生成制御手段が、
前記キャラクタの属性、及び、前記テキストの属性の少なくともいずれか一方の属性に基づいて生成された音素データのデータモデルを示すモデル情報に従って、前記音声言語データを生成する前記生成処理を実行し、
当該生成した音声言語データに基づいて前記モデル情報を学習させる学習処理を実行し、
前記コスト管理手段が、
前記モデル情報の学習処理の状況に基づいて、前記コストパラメータの変動を制御する変動制御処理を実行する、構成を有している。

この構成により、本発明は、例えば、音声言語データが生成されればされるほど、すなわち、利用されればされるほど支払うコストを低減又は増加させることができるので、少ない音素データによってより品質のよい音声言語データを生成すること、又は、高付加価値の音素データによって音声言語データを生成することができる。

したがって、本発明は、ユーザに対するコンテンツの視聴環境を充実させることができるとともに、ユーザの状況に応じて数少ない音素データしか割り当てることができない場合であっても、コンテンツの視聴を適切に実行することができる。

なお、「属性情報に基づいて生成された音素データのデータモデルを示すモデル情報」とは、人工知能（ＡＩ：Artificial Intelligent）の技術を用いたモデルの情報あって、例えば、音素データをテキストに割り当てることによって発話音（すなわち、音声としての発話される音）を構築して発話音声データを生成する際に、各テキストやコンテンツの属性情報に対応付けて各音素の変化量や変化態様などの特徴量を抽出し、当該抽出された特徴量について機械学習をすることなどによって生成された音素データのモデル情報をいう。

また、「学習処理」とは、例えば、評価された音声言語データ（すなわち、発話された音）を教師データとして用いるサポートベクターマシンやニューラルネットワーク（例えば、再帰型ニューラルネットワーク）などのディープラーニングを含む機械学習、又は、ＧＡＮ（敵対的生成ネットワーク）やアソシエーション分析などの教師データ無しのディープラーニングを含む機械学習を実行する処理を示す。

さらに、「学習状況」には、例えば、学習回数、学習進度（所与期間における学習回数）、学習した音声言語データの評価値（例えば、人気度などの利用回数を含む。）、などが含まれる。

（１０）また、上記課題を解決するため、本発明は、
記憶手段に記憶されている情報であって、ユーザに関するユーザ情報と、当該ユーザ情報に対応付けられており、かつ、発話者から採取された音素データから構成される発話音素情報と、を管理するユーザ情報管理手段、
前記発話者の音声によって音声言語化するためのテキストがデータ化されたテキストデータ及び当該テキストを発話するキャラクタに関するキャラクタデータを少なくとも含むコンテンツデータから構成されるコンテンツ情報を管理するコンテンツ管理手段、
所与の指示に基づいて、前記キャラクタデータに、前記音素データを割り当てて、前記コンテンツデータのテキストを音声言語化するための音声言語データを生成する音声言語データ生成処理を含む生成制御処理を実行する生成制御手段、及び、
前記コンテンツデータのテキストに沿って前記キャラクタの音声を再生出力する再生出力手段に、前記生成された音声言語データを提供する提供制御処理を実行する提供制御手
段、
としてコンピュータを機能させ、
前記生成制御手段が、
特定の前記キャラクタ又は特定の前記テキストの少なくとも一部に割り当てる音声言語データとして、他のキャラクタ又は他のテキストに割り当てられた音素データと同一の音素データを、当該他のキャラクタ又は当該他のテキストの音声言語データを生成するときと異なる所与の加工処理に基づいて、又は、当該加工処理がなされた音素データに基づいて、前記音声言語データ生成処理とは異なる処理であって、前記コンテンツデータのテキストの少なくとも一部について、発話制御を実行するための発話制御データを生成する発話制御データ生成処理を実行する、構成を有している。

この構成により、本発明は、ユーザが保有する音素データを、キャラクタに割り付けること、及び、ユーザが使用可能な（例えば、保有する）音素データを、を様々なキャラクタやコンテンツに割り当てることができる。

したがって、本発明は、コンテンツに登場するキャラクタなどの発話させるためのデータを当該コンテンツとは別に提供するサービスを実現するシステムを提供し、その場合に、ユーザやシステム事業者などの労力を低減させて利用しやすい環境を構築することができる。

一実施形態のゲームシステムの構成を示すシステム構成の一例を示す図である。 一実施形態のサーバ装置の機能ブロックを示す図である。 一実施形態の端末装置の機能ブロックを示す図である。 一実施形態における割り当て状況判定処理を説明するための図である。 一実施形態のコンテンツ情報記憶部、又は、音素情報記憶部のそれぞれに記憶されコンテンツ情報、又は、音素情報の一例を示す図である。 一実施形態のユーザ情報記憶部に記憶されユーザ情報の一例を示す図である。 一実施形態の発話制御データ生成処理について説明するための図（その１）である。 一実施形態の発話制御データ生成処理について説明するための図（その２）である。 一実施形態の実行コスト算出処理を含む実行コストに基づく割り当て状況判定処理を説明するための図（その１）である。 一実施形態の実行コスト算出処理を含む実行コストに基づく割り当て状況判定処理を説明するための図（その２）である。 一実施形態の実行コストと限界値とに基づく割り当て状況判定処理について説明するための図（その１）である。 一実施形態の実行コストと限界値とに基づく割り当て状況判定処理について説明するための図（その２）である。 一実施形態のサーバ装置によって実行されるデータ生成制御処理、及び、実行コストに基づく割り当て状況判定処理を含むコンテンツの視聴を開始する際のコンテンツ試聴開始処理の動作を示すフローチャートである。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

［１］コンテンツ提供システム
まず、図１を用いて本実施形態のコンテンツ提供システム１の概要及び概要構成について説明する。なお、図１は、本実施形態のコンテンツ提供システム１の構成を示すシステム構成の一例を示す図である。

本実施形態のコンテンツ提供システム１は、図１に示すように、ユーザに、漫画（アニメ）、映画、又はゲームなどのコンテンツを視聴（以下、「聴取」のみも含む。）させるサービスを提供するサーバ装置１０と、当該コンテンツを視聴するためにユーザが用いる端末装置２０（例えば、端末装置２０Ａ、２０Ｂ、２０Ｃ）と、がインターネット（ネットワークの一例）に接続可能に構成されている。

ユーザは、端末装置２０からサーバ装置１０にアクセスすることにより、インターネットを介してサーバ装置１０から送信されてくる各種のデータを受信し、コンテンツを視聴することができるようになっている。

そして、ユーザは、端末装置２０からサーバ装置１０にアクセスすることにより、他のユーザとの間でコミュニケーションを図ることができるようになっている。

サーバ装置１０は、インターネットを介して通信接続された端末装置２０を用いて、ユーザにコンテンツを視聴させる（提供する）サービス（以下、「コンテンツ視聴サービス」ともいう。）を提供することが可能な情報処理装置である。

また、サーバ装置１０は、コミュニケーション型のサービスを提供するＳＮＳサーバとして機能してもよい。

なお、ＳＮＳサーバとは、複数のユーザ間でコミュニケーションを提供することが可能なサービスを提供する情報処理装置である。

特に、サーバ装置１０は、例えば、ＳＮＳサーバとして機能する場合には、提供するＳＮＳの動作環境（ＡＰＩ（アプリケーションプログラミングインタフェース）、プラットフォーム等）を利用してコンテンツ（具体的には、コンテンツを視聴させるために構成されたコンテンツデータ）を提供することができるようになっている。

具体的には、サーバ装置１０は、端末装置２０のＷｅｂブラウザ、例えばＨＴＭＬ、ＦＬＡＳＨ（登録商標）、ＣＧＩ、ＰＨＰ、ｓｈｏｃｋｗａｖｅ、Ｊａｖａ（登録商標）アプレット、ＪａｖａＳｃｒｉｐｔ（登録商標）など様々な言語で作られたブラウザ又は専用のアプリケーションを介して提供することができるようになっている。

一方、サーバ装置１０は、１つの（装置、プロセッサ）で構成されていてもよいし、複数の（装置、プロセッサ）で構成されていてもよい。

そして、サーバ装置１０の記憶領域（後述する記憶部１４０）に記憶される課金情報、ログイン情報、コンテンツに関する各情報を、ネットワーク（イントラネット又はインターネット）を介して接続されたデータベース（広義には記憶装置、メモリ）に記憶するようにしてもよいし、ＳＮＳサーバとして機能する場合には、記憶領域に記憶されるユーザ情報記憶部１４８等の情報を、ネットワーク（イントラネット又はインターネット）を介して接続されたデータベース（広義には記憶装置、メモリ）に記憶するようにしてもよい。

具体的には、本実施形態のサーバ装置１０は、端末装置２０のユーザ（すなわち、コンテンツの視聴を希望するユーザ）の操作に基づく入力情報を受信し、受信した入力情報に
基づいてコンテンツの提供や視聴に関する各種の処理を行うようになっている。

そして、サーバ装置１０は、ユーザによって選択されたコンテンツを視聴させるためのデータ（すなわち、コンテンツデータ）などを端末装置２０に送信し、端末装置２０は、サーバ装置１０から受信したコンテンツデータなどを端末装置２０にユーザに視聴可能に提供する各種の処理を行うようになっている。

なお、サーバ装置１０は、端末装置２０を介してユーザにコンテンツを視聴させる際に、ストリーミング方式によってコンテンツデータを提供してもよいし、ダウンロードさせて提供してもよい。

端末装置２０は、スマートフォン、携帯電話、ＰＨＳ、コンピュータ、ゲーム装置、ＰＤＡ等、画像生成装置などの情報処理装置であり、インターネット（ＷＡＮ）、ＬＡＮなどのネットワークを介してサーバ装置１０に接続可能な装置である。なお、端末装置２０とサーバ装置１０との通信回線は、有線でもよいし無線でもよい。

特に、端末装置２０は、Ｗｅｂページ（ＨＴＭＬ形式のデータ）を閲覧可能なＷｅｂブラウザを備えている。すなわち、端末装置２０は、サーバ装置１０との通信を行うための通信制御機能、及び、サーバ装置１０から受信したデータ（Ｗｅｂデータ、ＨＴＭＬ形式で作成されたデータなど）を用いて表示制御を行うとともに、ユーザ操作のデータをサーバ装置１０に送信するＷｅｂブラウザ機能などを備える。

そして、端末装置２０は、Ｗｅｂブラウザ機能によって、サーバ装置１０から提供されたコンテンツを視聴するためのコンテンツデータや制御情報を取得して所定の処理を実行し、ユーザにコンテンツを視聴させる。

具体的には、端末装置２０は、所定コンテンツの視聴を希望する旨の要求をサーバ装置１０に対して行うと、サーバ装置１０のコンテンツを提供するサイトに接続され、コンテンツの視聴が開始される。

そして、端末装置２０は、必要に応じてＡＰＩを用いることにより、ＳＮＳサーバとして機能するサーバ装置１０に所定の処理を行わせ、又は、ＳＮＳサーバとして機能するサーバ装置１０が管理するユーザ情報記憶部１４８を取得させて種々のＳＮＳなどと連動させてコンテンツの提供を実行する構成を有している。

［２］サーバ装置
次に、図２を用いて本実施形態のサーバ装置１０について説明する。なお、図２は、本実施形態のサーバ装置１０の機能ブロックを示す図である。また、本実施形態のサーバ装置１０は図２の構成要素（各部）の一部を省略した構成としてもよい。

サーバ装置１０は、管理者やその他の入力に用いるための入力部１２０、所定の表示を行う表示部１３０、所定の情報が記憶された情報記憶媒体１８０、端末装置２０やその他と通信を行う通信部１９６、主に提供するコンテンツに関する処理を実行する処理部１００、及び、主にコンテンツに用いる各種のデータを記憶する記憶部１４０を含む。

入力部１２０は、システム管理者等がコンテンツに関する設定やその他の必要な設定、データの入力に用いるものである。例えば、本実施形態の入力部１２０は、マウスやキーボード等によって構成される。

表示部１３０は、システム管理者用の操作画面を表示するものである。例えば、本実施
形態の表示部１３０は、液晶ディスプレイ等によって構成される。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などによって構成される。

通信部１９６は、外部（例えば、端末、他のサーバや他のネットワークシステム）との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどによって構成される。

記憶部１４０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能は、ＲＡＭ（ＶＲＡＭ）などによって構成される。

なお、記憶部１４０に記憶される情報は、データベースで管理してもよい。また、本実施形態の記憶部１４０は、本発明の記憶手段を構成する。

また、本実施形態の記憶部１４０は、主記憶部１４２の他に、
（Ａ１）各コンテンツに関するデータ（以下、「コンテンツデータ」という。）を有し、各コンテンツデータに基づいてコンテンツを視聴する際のコストに関する情報（以下、「コンテンツコスト情報」という。）を含む、コンテンツ情報が記憶されるコンテンツ情報記憶部１４４と、
（Ａ２）コンテンツを再生する際に、当該コンテンツに登場するキャラクタに割り当てられ、発話者から予め採取された音素データ（例えば、後述のデータモデル）を有し、当該音素データを使用する際のコストに関する情報（以下、「音素データコスト情報」という。）を含む音素情報が記憶される音素情報記憶部１４６と、
（Ａ３）各ユーザが所有するコンテンツ（所有の有無に関係なく視聴可能なコンテンツを含む。）の情報、及び、ユーザが使用可能な音素データ（所有の有無に関係なく使用可能な音素データを含む。）の情報と、各ユーザに関する情報と、を有するユーザ情報と、各ユーザにおける当該コンテンツを視聴する際に支払われるコストの管理に関する情報（以下。「ユーザコスト情報」ともいう。）と、が各ユーザに対応付けて記憶されるユーザ情報記憶部１４８と、
（Ａ４）コンテンツデータのテキストを音声言語化するための音声言語データを生成する生成処理（以下、「音声言語データ生成処理」という。）を含む、各処理を実行するためのアプリケーションなどのコンテンツの視聴を実行するために必要なデータ（例えば、テーブルデータなど）が記憶されるアプリケーション情報記憶部１４９と、
を有している。

処理部１００は、記憶部１４０内の主記憶部１４２をワーク領域として各種処理を行う。処理部１００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

例えば、処理部１００（プロセッサ）は、情報記憶媒体に記憶されているプログラムに基づいて、サーバ装置１０全体の制御を行うとともに、各部間におけるデータ等の受け渡しの制御などの各種の処理を行う。さらに、端末装置２０からの要求に応じた各種サービ
スを提供する処理を行う。

具体的には、本実施形態の処理部１００は、通信制御部１０１、Ｗｅｂ処理部１０２、ログイン管理部１０３、ユーザ管理部１０４、コンテンツ管理部１０５、発話音声生成処理部１０６、コスト管理部１０７、タイマ管理部１０９、及び、情報提供部１１０を少なくとも有している。

なお、例えば、本実施形態のユーザ管理部１０４は、本発明のユーザ情報管理手段及びユーザ状況検出手段を構成し、コンテンツ管理部１０５は、本発明のコンテンツ管理手段、及び、提供制御処理手段を構成する。また、発話音声生成処理部１０６は、本発明の生成制御手段を構成し、コスト管理部１０７は、本発明のコスト算出手段、コスト管理手段、状況判定処理手段及び組み合わせ検出手段を構成する。

通信制御部１０１は、端末装置２０とネットワークを介してデータを送受信する処理を行う。すなわち、サーバ装置１０は、通信制御部１０１によって端末装置２０等から受信した情報に基づいて各種処理を行う。

特に、本実施形態の通信制御部１０１は、ユーザの端末装置２０からの要求に基づいて、コンテンツデータ及び当該コンテンツデータの再生に用いられるデータや情報を、当該ユーザの端末装置２０に送信する処理を行う。

また、通信制御部１０１は、端末装置２０に入力されたユーザの指示を受け付けるための各種の処理を実行する。

Ｗｅｂ処理部１０２は、Ｗｅｂサーバとして機能する。例えば、Ｗｅｂ処理部１０２は、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等の通信プロトコルを通じて、端末装置２０にインストールされているＷｅｂブラウザ２１１の要求に応じてデータを送信する処理、及び、端末装置２０のＷｅｂブラウザ２１１によって送信されるデータを受信する処理を行う。

なお、本実施形態のサーバ装置１０は、コンテンツ用のサーバと、ＳＮＳ用のサーバとを別々に形成してもよいし、同一のサーバによって構成されてもよい。また、本実施形態のコンテンツをユーザに視聴及び提供させるための各種の処理は、サーバ装置１０が一部又は全部を実行してもよいし、各ユーザの端末装置２０がその一部を実行してもよい。

ログイン管理部１０３は、各ユーザのコンテンツ視聴サービスに対するログインに関する管理を行う。

具体的には、ログイン管理部１０３は、各ユーザにおける、ログイン回数（総ログイン回数・所定期間内のログイン回数）及び連続ログイン日数、並びに、コンテンツの総視聴時間や所定期間内（例えば、直近１週間や１月）の視聴期間をユーザ情報記憶部１４８に登録し、プレーヤ毎にプレーヤ関連情報として管理する。

ユーザ管理部１０４は、ユーザ毎に、ユーザ毎に、ユーザ情報記憶部１４８に、ユーザ情報とユーザコスト情報とを記録して管理する。

コンテンツ管理部１０５は、コンテンツ情報記憶部１４４に記憶されている各コンテンツにおけるコンテンツ情報と、音素情報記憶部１４６に記憶された各発話音素情報と、を管理する。

特に、コンテンツ管理部１０５は、端末装置２０にコンテンツデータを含むコンテンツ情報を提供し、各ユーザにおけるコンテンツデータの提供及び再生の制御に関する処理を実行する。

発話音声生成処理部１０６は、プレーヤの指示に基づいて、又は、プログラムに従って、コンテンツデータに含まれるキャラクタに、発話音素情報に含まれる音素データを割り当てて、コンテンツデータの当該キャラクタが発話するテキストを音声言語化するための音声言語データを生成する音声言語データ生成処理を含む、コンテンツを視聴する際のキャラクタの発話に関する制御を行うデータ生成制御処理を実行する。

コスト管理部１０７は、生成処理に用いる音素データ、キャラクタデータ及びテキストデータの使用に関するコストが規定されたパラメータ（以下、「コストパラメータ」ともいう。）を管理する。

特に、コスト管理部１０７は、生成処理などコンテンツをユーザに視聴するための処理を実行する際のコスト（以下、「実行コスト」という。）を算出する算出処理を実行する。

タイマ管理部１０９は、タイマ機能を有し、ストリーミングなどによって端末装置２０にコンテンツを提供する際に、当該コンテンツの再生状況を管理するために用いる。特に、タイマ管理部１０９は、コンテンツ管理部１０５と連動し、現在時刻や予め設定された時刻を各部に出力する。また、タイマ管理部１０９は、各端末装置２０と同期を取るために用いられる。

情報提供部１１０は、端末装置２０によってコンテンツを再生させるため各種のコンテンツ情報を生成して該当する端末装置２０に提供する。

［３］端末装置
次に、図３を用いて本実施形態の端末装置２０について説明する。なお、図３は、本実施形態の端末装置２０の機能ブロックを示す図である。また、本実施形態の端末装置２０は図２の構成要素（各部）の一部を省略した構成としてもよい。

入力部２６０は、ユーザからの入力情報を入力するための機器であり、ユーザの入力情報を処理部２００に出力する。本実施形態の入力部２６０は、ユーザの入力情報（入力信号）を検出する検出部２６２を備える。入力部２６０は、例えば、レバー、ボタン、ステアリング、マイク、タッチパネル型ディスプレイ、キーボード、マウスなどがある。

記憶部２７０は、処理部２００や通信部２９６などのワーク領域となるもので、その機能はＲＡＭ（ＶＲＡＭ）などにより実現できる。そして、本実施形態の記憶部２７０は、ワーク領域として使用される主記憶部２７１と、最終的な表示画像等が記憶される画像バッファ２７２とを含む。なお、これらの一部を省略する構成としてもよい。

情報記憶媒体２８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などにより実現できる。

処理部２００は、情報記憶媒体２８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。情報記憶媒体２８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプ
ログラム）を記憶することができる。

なお、本実施形態では、サーバ装置１０が有する情報記憶媒体１８０や記憶部１４０に記憶されている本実施形態の各部としてコンピュータを機能させるためのプログラムやコンテンツデータを含むコンテンツ情報などを、ネットワークを介して受信し、受信したプログラムやデータを情報記憶媒体２８０に記憶する。

なお、記憶部２７０には、サーバ装置１０から受信したプログラムやデータが記憶される。このようにプログラムやデータを受信してネットワークシステムを機能させる場合も本発明の範囲内に含む。

表示部２９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレー）などにより実現できる。

音出力部２９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。

通信部２９６は、外部（例えば他の端末、サーバ）との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。

処理部２００（プロセッサ）は、通信部２９６を介してサーバ装置１０から取得したコンテンツデータを含むコンテンツに関する情報、取得し入力部２６０からの入力情報、又は、プログラムなどに基づいて、コンテンツ処理、表示制御、画像生成処理、或いは、音生成処理などの処理を行う。

この処理部２００は、記憶部２７０内の主記憶部２７１をワーク領域として各種処理を行う。処理部２００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

処理部２００は、通信制御部２１０、Ｗｅｂブラウザ２１１、コンテンツ処理部２１２、表示制御部２１３、描画部２２０、音処理部２３０を含む。なお、これらの一部を省略する構成としてもよい。

通信制御部２１０は、サーバ装置１０、それぞれとデータを送受信する処理を行う。また、通信制御部２１０は、サーバ装置１０から受信したデータを記憶部２７０に格納する処理、受信したデータを解析する処理、その他のデータの送受信に関する制御処理等を行う。

なお、通信制御部２１０は、サーバの宛先情報（ＩＰアドレス、ポート番号）を情報記憶媒体２８０に記憶し、管理する処理を行うようにしてもよい。そして、通信制御部２１０は、ユーザからの通信開始の入力情報を受け付けた場合に、サーバ装置１０との通信を行うようにしてもよい。

特に、通信制御部２１０は、サーバ装置１０にユーザの識別情報や操作情報を送信して、コンテンツに関する情報（ユーザ情報、コンテンツ情報（音声言語データ及びテキストデータなどを含む、コンテンツデータ））、及び、ユーザのＷｅｂページをサーバ装置１０から受信する処理を行う。

なお、通信制御部２１０は、所定周期でサーバ装置１０とデータ送受信を行ってもよいし、入力部２６０からの入力情報を受け付けた場合に、サーバ装置１０とデータ送受信を行ってもよい。

Ｗｅｂブラウザ２１１は、Ｗｅｂページ（コンテンツの表示画面）を閲覧するためのアプリケーションプログラムであって、Ｗｅｂサーバ（サーバ装置１０）から、ＨＴＭＬファイルや画像ファイル等をダウンロードし、レイアウトを解析して表示制御する。また、Ｗｅｂブラウザ２１１は、入力フォーム（リンクやボタンやテキストボックス等）を用いてデータをＷｅｂサーバ（サーバ装置１０）に送信する。

本実施形態のＷｅｂブラウザ２１１は、ブラウザコンテンツを実現することができる。例えば、Ｗｅｂブラウザ２１１は、Ｗｅｂサーバ（サーバ装置１０）から受信したＪａｖａＳｃｒｉｐｔ（登録商標）、ＦＬＡＳＨ（登録商標）、Ｊａｖａ（登録商標）等で記述されたプログラムを実行するものであってもよい。

端末装置２０は、Ｗｅｂブラウザ２１１によって、インターネットを介してＵＲＬによって指定されたＷｅｂサーバからの情報を表示させることができる。例えば、端末装置２０は、サーバ装置１０から受信したコンテンツ（ＨＴＭＬ等のデータ）をＷｅｂブラウザ２１１によって表示させることができる。

コンテンツ処理部２１２は、コンテンツを表示するための種々の処理を実行する。例えばコンテンツ処理部２１２は、コンテンツ開始条件が満たされた場合にコンテンツを開始する処理、コンテンツデータ及び音声言語データに基づいてコンテンツを再生制御する処理、及び、コンテンツの再生終了条件が満たされた場合にコンテンツの再生を終了する処理などがある。

特に、コンテンツ処理部２１２は、コンテンツデータに基づいて画像を生成しつつ、テキストデータによって示されるテキストに従って音声言語データを再生し、画像の再生に沿ってキャラクタの発話のための制御処理を実行する。

表示制御部２１３は、表示部２９０に表示する処理を行う。例えば、表示制御部２１３は、Ｗｅｂブラウザ２１１を用いて表示してもよい。

描画部２２０は、処理部２００で行われる種々の処理（例えば、コンテンツ処理）に基づいて描画処理を行い、これにより画像を生成し、表示制御部２１３によって表示部２９０に出力する。描画部２２０が生成する画像は、いわゆる２次元画像であってもよいし、いわゆる３次元画像であってもよい。

音処理部２３０は、処理部２００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのコンテンツ音を生成し、音出力部２９２に出力する。

［４］本実施形態の手法
［４．１］概要
次に、図４を用いて本実施形態の手法（割り当て状況判定処理）の概要について説明する。なお、図４は、本実施形態の手法（割り当て状況判定処理）を説明するための図である。

本実施形態のサーバ装置１０は、端末装置２０と連動し、ユーザ毎に、ユーザが希望するコンテンツを当該ユーザに提供させる装置であって、コンテンツに登場するキャラクタに、ユーザの希望する音声によって発話させつつ、当該コンテンツをユーザに視聴させる
ための装置である。

特に、本実施形態のサーバ装置１０は、ユーザの指示の下に、コンテンツに登場するキャラクタに音素データを割り当てるとともに、当該キャラクタのテキストに沿って割り当てた音素データによって発話するための音声言語データを生成する音声言語データ生成処理を実行し、当該生成した音声言語データ及びコンテンツデータを含むコンテンツ情報を該当する端末装置２０に提供し、コンテンツをユーザに視聴させる構成を有している。

すなわち、本実施形態のサーバ装置１０は、コンテンツに登場するキャラクタなどの発話させるためのデータを当該コンテンツとは別に提供するサービスを実現するシステムを提供し、その場合に、ユーザやシステム事業者などの労力を低減させて利用しやすい環境を構築するために、ユーザが保有する音素データを、キャラクタに割り付けること、及び、ユーザが使用可能な（例えば、保有する）音素データを、を様々なキャラクタやコンテンツに割り当てることが可能な構成を有している。

そして、本実施形態のサーバ装置１０は、コンテンツのキャラクタ数や配役数、コストによる制限、又は、再生時のシステム容量などコンテンツを再生する際にユーザが割り当てた音素データに基づく音声を用いることができない場合、又は、ランダムに音声を選択することによって遊び感覚的な目的によって視聴を希望する場合に、代替音声を用いることによって、又は、一部のテキストを無音声にすることによって、コンテンツをユーザに視聴させるための構成を有している。

例えば、本実施形態のサーバ装置１０は、例えば、ユーザの音素データ又はコンテンツの所有状況や課金などを含めた視聴状況に基づいて、コンテンツに登場する全てのキャラクタに音素データを割り当てることができなかった場合、又は、割り当てる音素データや割当先のキャラクタ数が多く、コスト（コンテンツを再生させる上で必要な費用）が想定より多くなってしまう場合に、対象のコンテンツのキャラクタやテキストについて、ユーザの指示によって割り当てた音素データに基づいて音声言語データを生成する処理に代えて、又は、当該処理に加えて、代替音声による出力制御、又は、無音声による出力制御を実行する構成を有している。

具体的には、サーバ装置１０は、例えば、図４に示すように、
（Ａ１）ユーザが使用可能な音素データの情報を有するユーザ情報と、
（Ａ２）コンテンツに割り当てられる音素データを含む音素情報と、
（Ａ３）音声言語化するためのテキストがデータ化されたテキストデータ及び当該テキストを発話するキャラクタに関するキャラクタデータを含むコンテンツデータから構成されるコンテンツ情報と、
を管理する構成を有している。

そして、サーバ装置１０は、例えば、図４に示すように、
（Ｂ１）プレーヤの指示又はプログラムの指示などの所与の指示に基づいて、キャラクタデータ（又は、テキストデータ）に、音素データを割り当てて、コンテンツデータのテキストを音声言語化するための音声言語データを生成する音声言語データ生成処理を含むデータ生成制御処理、
（Ｂ２）コンテンツデータのテキストに沿ってキャラクタの音声を再生出力する、該当する端末装置２０に、生成した音声言語データを提供する処理（以下、「コンテンツ提供制御処理」という。）、及び
（Ｂ３）特定のキャラクタ又は特定のテキストの少なくとも一部に割り当てる音声言語データとして、他のキャラクタ又は他のテキストに割り当てられた音素データと同一の音素データを、当該他のキャラクタ又は当該他のテキストの音声言語データを生成するときと
異なる所与の加工処理に基づいて、又は、当該加工処理がなされた音素データに基づいて、音声言語データ生成処理とは異なる処理であって、前記コンテンツデータのテキストの少なくとも一部について、発話制御を実行するための発話制御データを生成する発話制御データ生成処理、
を実行する構成を有している。

また、サーバ装置１０は、上記の構成に加えて、例えば、図４に示すように、
（Ｃ１）生成制御処理が実行される際に、ユーザの音素データの割り当てに関する割り当て状況が、当該割り当てに関する所与の制約が規定された制約条件を具備しているか否かを判定する割り当て状況判定処理を実行し、
（Ｃ２）割り当て状況判定処理によって割り当てた状況が前記制約条件を具備したと判定された場合には、前記音声言語データ生成処理を実行し、
（Ｃ３）当該割り当てた状況が前記制約条件を具備していないと判定された場合には、前記発話制御データ生成処理を実行する、
構成を有している。

特に、制約条件としては、音素データ、キャラクタデータ又はテキストデータに対してコンテンツを視聴する際にデータの使用に対して規定されたコストに関する条件であって、例えば、
（Ｄ１）割り当てた音素データの使用する際のコスト、当該音素データの割り当て先のキャラクタを使用する際のコスト、及び、音素データによって生成される発話音声を出力するためのテキストを使用する際のコストに対するの支払いの有無（実行コストの全部又は一部を支払ったか否かを含む。）、又は、
（Ｄ２）予め定められた限界値内による使用の有無、
などの条件を示す。

そして、サーバ装置１０は、データ生成制御処理としては、例えば、図４に示すように、
（Ｂ１－１）割り当て状況判定処理によって割り当てた状況が制約条件を具備したと判定された場合には、ユーザによって割り当てた音素データに基づいて音声言語データを生成する音声言語データ生成処理を実行し、
（Ｂ１－２）当該割り当てた状況が制約条件を具備していないと判定された場合には、音声言語データ生成処理とは異なる処理であって、特定のキャラクタなどのコンテンツデータのテキストの少なくとも一部について、発話制御を実行するための発話制御データを生成する発話制御データ生成処理を実行する、
構成を有している。

なお、基本的には、本実施形態においては、サーバ装置１０は、当該割り当てた状況が制約条件を具備していないと判定された場合には、割り当て状況判定処理の結果に応じて、特定のキャラクタに対する発話制御データを生成するとともに、その他のキャラクタについては、制約条件を具備した場合と同様に、音声言語データを生成するようになっている。

また、サーバ装置１０は、発話制御データ生成処理として、ユーザの指示に基づいて割り当てられた音声言語データなどを利用せずに、代替音声を生成するための音声言語データ（以下、「代替音声データ」）を生成する処理（以下、「代替音声データ生成処理」ともいう。）、又は、該当するキャラクタやテキストを無音声にする再生制御データ（以下、「無音声制御データ」という。）を生成するための処理（以下、「無音声制御データ生成処理」という。）を実行する構成を有している。

そして、サーバ装置１０は、例えば、図４に示すように、提供制御処理として、発話制御データが生成された場合には、該当する端末装置２０に、当該発話制御データを提供する構成を有している。

なお、図４には、サーバ装置１０に、ユーザが使用可能な音素データの情報として音素データＩＤを含むユーザ情報と、音素データ及び各音素データに対応付けられたコストパラメータから構成される音素情報と、キャラクタデータ及びテキストデータを有するコンテンツ情報と、が管理されていることが示されている（図４の［１］）。ただし、図４は、音素情報に含まれるコスト情報のみ使用した場合の例が示されている。

また、図４には、キャラクタ１、２及び３に割り当てる音素データＡ、Ｃ及びＥが選択され、かつ、当該選択された音素データＡ、Ｃ及びＥのコスト（実行コスト）を支払ったこと、又は、当該実行コストが予め定められた限界値内であることを制約条件とした場合の例が示されている（図４の［２］）。

そして、図４には、制約条件を具備した場合に、キャラクタ１、２及び３に音素データＡ、Ｃ及びＥを割り当てて音声言語データを生成し、かつ、当該生成された音声言語データを端末装置２０に提供されること、及び、制約条件を具備しなかった場合に、キャラクタ１及び３に音素データＡ及びＥを割り当てて音声言語データを生成しつつ、キャラクタ２について代替音声を用いる発話制御データを生成し、かつ、当該生成された音声言語データ及び発話制御データを端末装置２０に提供されること、が示されている（図４の［３ａ］及び［３ｂ］）。

本実施形態においては、このような構成を有することによって、キャラクタ数や配役数、コストによる制限、又は、再生時のシステム容量などコンテンツを再生する際にユーザが割り当てた音素データに基づく音声を用いることができない場合、又は、ランダムに音声を選択することによって遊び感覚的な目的によって視聴を希望する場合に、代替音声を用いることによって、又は、一部のテキストを無音声にすることによって対応することができるようになっている。

そして、本実施形態においては、コンテンツに登場するキャラクタなどを発話させるためのデータを当該コンテンツとは別に提供する場合に、数多くの音素データを準備してユーザに提供することなく、又は、数多くの音素データを用意するために必要以上な支出が要求されることなく、ユーザにコンテンツを視聴させることができるようになっている。

この結果、本実施形態においては、コンテンツを提供する事業者、又は、当該コンテンツを視聴する視聴者に対する労力を低減させて利用しやすい環境を提供することができるようになっている。

［４．２］コンテンツ情報等
次に、図５を用いて、本実施形態のコンテンツ情報、音素情報及びユーザ情報について説明する。

なお、図５は、本実施形態のコンテンツ情報記憶部１４４、又は、音素情報記憶部１４６にそれぞれ記憶されコンテンツ情報、又は、音素情報の一例を示す図であり、図６は、本実施形態のユーザ情報記憶部１４８に記憶されユーザ情報の一例を示す図である。

（コンテンツ情報）
各コンテンツ情報は、それぞれ、例えば、映画、漫画、ゲーム、アニメーション、又は、小説などのユーザが視聴するコンテンツに関する情報であって、端末装置２０によって
視聴可能な各種のデータ及び情報を有しており、コンテンツ情報記憶部１４４に記憶され、かつ、コンテンツ管理部１０５によって管理される。

例えば、各コンテンツ情報には、図５（Ａ）に示すように、コンテンツＩＤに対応付けて、
（Ａ１）画像データ、キャラクタデータ及びテキストがデータ化されたテキストデータを含むコンテンツデータ、
（Ａ２）コンテンツが視聴される際のコスト（アイテムやポイントなどの消費量を含む。）が規定されているコンテンツコスト情報及び各コンテンツにおける発話音声データ生成処理時などに設定されている実行コストの限界値を示す限界値情報を含むコスト関連情報、
（Ａ３）コンテンツデータに音声言語データを割り当てて、コンテンツデータ及びテキストデータを含めて、端末装置２０において再生させるための再生制御データから構成される再生制御情報、及び、
（Ａ４）題名、あらすじ及び予告編や広告のためのコンテンツなどの書誌的な情報であって付加的な情報（以下、「付加情報」という。）、
などが含まれる。

特に、キャラクタデータとしては、テキストをセリフとして発するキャラクタのデータであり、例えば、映画、漫画、ゲーム、アニメーション、又は、小説などのコンテンツ内に登場するキャラクタの属性に関する情報（すなわち、属性情報）が規定されたデータを示す。

例えば、属性には、動物・ロボット・人間などのキャラクタの種別や役割（役どころ）、キャラクタの性別や年齢、キャラクタの特徴（性格）、キャラクタが使用する方言やテキストの言語（他言語）の種別、及び、キャラクタの人気度などの属性が含まれる。

また、テキストデータは、コンテンツに登場する各キャラクタのセリフや各シーンを説明するための文章（例えば、ト書き）、１又は２以上の文章、又は、章・ページ・段落・節などの区切り毎のテキストのデータである。

なお、テキストデータには、形態素解析、構文解析、意味解析及び文脈解析などの自然言語処理が既に実行されて、その解析結果に関する情報（以下、「テキスト解析情報」という。）、及び、当該テキストが用いられるキャラクタの属性（すなわち、当該テキストを発話するキャラクタに関する属性）を示す情報（すなわち、属性情報）が規定されていてもよい。

例えば、テキスト解析情報には、単語、文字や文字列、及び、文章などの各テキストにおける品詞に関する情報、係り受けに関する情報、意味を示す情報、及び、推定された代名詞や省略された名詞の対象に関する情報などが含まれる。

すなわち、テキストデータには、各テキストに関する品詞、係り受け、意味、代名詞や省略された対象などの各情報を有していてもよい。

一方、コンテンツコスト情報において、キャラクタデータを規定するコスト情報は、コンテンツに登場する全てのキャラクタに対して規定されたパラメータ（すなわち、コストパラメータ）であってもよいし、メインのキャラクタに対して、又は、コンテンツ上、重要なキャラクタに対して規定されたコストパラメータであってもよい。

また、コンテンツコスト情報において、テキストデータを規定するコスト情報は、コン
テンツデータ全体のみならず、シーン毎、セリフ毎、及び、キャラクタ毎などの予め定められた部分毎に規定されていてもよい。

そして、コンテンツコスト情報は、コンテンツ視聴サービスで用いられるサービス内通貨若しくは当該サービスで用いるアイテム（例えば、数、又は、種別とその数）に基づいて規定される消費量などのコスト、又は、コストに対応する課金額が規定されているパラメータ（以下、「コンテンツコストパラメータ」ともいう。）である。

なお、本実施形態においては、コンテンツデータには、画像に関するデータが無く、テキストデータ及びキャラクタデータから構成されるものが含まれる。

また、本実施形態のコンテンツ情報は、コンテンツ情報記憶部１４４に記憶されているが、図示ししない他のデータベースから取得してもよい。

（音素情報）
各音素情報は、それぞれ、例えば、声優、俳優、又は、アナウンサーなどの発話者から予め採取されて生成された音素に関する情報であって、コンテンツのキャラクタをテキストに基づいて、発話させる際に用いる音声言語データを生成する際に用いる情報である。

例えば、各音素情報には、図５（Ｂ）に示すように、音素データＩＤに対応付けて、
（Ｂ１）子音・母音・半母音などの分節音素、当該分節音素の関係性を示す声調（トーン）・イントネーションを含む音の高さ、強勢やアクセント、及び、英語などの連接要素などが規定されている音素データ、
（Ｂ２）音素データが音声言語データ生成処理に用いられる際のコスト（アイテムなどの消費量や課金額）が規定されている音素コスト情報、及び、
（Ｂ３）音素情報をユーザに説明するため書誌的な情報などの付加的な情報（以下、「付加情報」ともいう。）、
が含まれる。

なお、音素コスト情報は、コンテンツコスト情報と同様に、コンテンツ視聴サービスで用いられるサービス内通貨若しくは当該サービスで用いるアイテム（例えば、数、又は、種別とその数）に基づいて規定される消費量などのコスト、又は、当該コストに対応する課金額が規定されているパラメータ（以下、「音素コストパラメータ」ともいう。）である。

（ユーザ情報）
ユーザ情報には、図６に示すように、ユーザ毎に
（Ｃ１）ユーザのニックネームやユーザＩＤ、
（Ｃ２）現在のランク、ポイント、経験値、エネルギーパラメータ値（ライフエネルギー値、体力値やパワー値でコンテンツ視聴サービスなどにゲーム的な要素が含まれている場合など）などの属性に関する情報（以下、「属性情報」ともいう。）、
（Ｃ３）使用可能なコンテンツデータ、キャラクタデータ、テキストデータ及び音素情報に関する利用可能であることを示す情報（以下、「利用可能情報」といい、例えば、音素ＩＤ又はコンテンツＩＤに対応付けて視聴回数などの数な制限、視聴期間などの時期的制限又はユーザレベルなどのユーザ毎の個別的な制限を示す情報）、
（Ｃ４）コンテンツ視聴サービスへの支払い状況などを含む。当該サービスに関する課金履歴及び課金額などの課金に関する情報（ユーザコスト情報）、及び、支払い制限などの発話音声データ生成処理時などの限界値を示す情報（以下、「限界値情報」ともいう。）と、
（Ｃ５）コンテンツ視聴サービスへのログインの回数、その時間及びその頻度などのログ
イン履歴に関する情報（以下、「アクセス履歴情報」という。）、
（Ｃ６）登録されたフレンドやフォロワーなどの一定の関係性を有する他のユーザ（以下、「関連ユーザ」ともいう。）に関する情報（以下、「関連ユーザ情報」という。）、
などが記憶される。

［４．３］データ生成制御処理
［４．３．１］データ生成制御処理の原理
次に、本実施形態のデータ生成制御処理の原理について説明する。

発話音声生成処理部１０６は、割り当て状況判定処理の結果を前提に、プレーヤの指示に基づいて、又は、プログラムに従って、データ生成制御処理として、コンテンツデータに含まれるキャラクタデータに、音素情報に含まれる音素データを割り当てて、コンテンツデータのテキストを音声言語化するための音声言語データを生成する音声言語データ生成処理を実行するとともに、必要に応じて、当該キャラクタデータに対して代替音声、又は、無音声によって制御するための発話制御データ生成処理を、データ生成制御処理として、実行する。

すなわち、発話音声生成処理部１０６は、割り当て状況判定処理によって制約条件を具備した場合には、そのまま、ユーザによって指定された音素データに基づいて各キャラクタに対する音声言語データを生成する音声言語データ生成処理を実行する。

その一方、発話音声生成処理部１０６は、割り当て状況判定処理によって制約条件を具備しなかった場合に、ユーザによって指定された音素データが割り当てられるキャラクタ（以下、「特別割り当てキャラクタ」ともいう。）と、それ以外のキャラクタ（すなわち、特定キャラクタ）と、に設定する。

そして、この場合に、発話音声生成処理部１０６は、データ生成制御処理として、特別割り当てキャラクタについては、そのまま、上記の音声言語データ生成処理を実行し、特定キャラクタ又は当該特定キャラクタが発話する特定テキストについては、代替音声データ生成処理及び無音声制御データ生成処理を含む発話制御データ生成処理を実行する。

具体的には、発話音声生成処理部１０６は、プレーヤの指示によって、又は、プログラムに従って自動的に、コンテンツ情報が選択されると、当該選択されたコンテンツ情報からコンテンツに登場するすべてのキャラクタ又は音素データを割り当て可能なキャラクタの情報（すなわち、キャラクタ情報）を抽出する。

そして、発話音声生成処理部１０６は、抽出した各キャラクタ情報に基づいて、プレーヤに音素データを割り当てるキャラクタの種別や当該キャラクタに関する情報を含む、キャラクタ選択情報をそれぞれ生成し、選択可能な各キャラクタをプレーヤに選択可能に提示させるために、当該生成したキャラクタ選択情報を送信する。

また、発話音声生成処理部１０６は、プレーヤが割り当て可能な音素データの発話音素情報を取得し、当該音素データの種別や特徴を示す情報を含む、割り当て可能音素選択情報を生成し、割り当て可能な音素データをプレーヤに選択可能に提示させるために、当該生成した割り当て音素選択情報を送信する。

そして、発話音声生成処理部１０６は、プレーヤによって選択されたキャラクタと当該キャラクタに割り当てを希望する音素データとの組み合わせを示す組み合わせ情報と、制約条件と、に基づいて、割り当て状況判定処理が実行されると、発話音声生成処理部１０６は、その結果に基づいて、データ生成制御処理として、
（Ａ１）音声言語データ生成処理、又は、
（Ａ２）当該音声言語データ生成処理及び発話制御データ生成処理（代替音声データ生成処理及び無音声制御データ生成処理）、
を実行する。

なお、発話音声生成処理部１０６は、割り当て状況判定処理によって制約条件を具備した場合には、全てのキャラクタ又は全てのテキストについて、発話制御データ生成処理を実行してもよい。

［４．３．２］音声言語データ生成処理
次に、本実施形態の音声言語データ生成処理について説明する。

（音声言語データ生成処理の原理）
発話音声生成処理部１０６は、音声言語データ生成処理としては、プレーヤに選択されたキャラクタのテキストにおける解析情報を取得し、又は、当該選択されたキャラクタのテキストに対して自然言語処理（すなわち、形態素解析や構文解析など）などの所定の解析を実行して当該解析情報を取得する。

そして、発話音声生成処理部１０６は、選択された音素データに基づきつつ、該当するテキストにおける解析情報に従って、かつ、各テキスト（すなわち、文字列や個々の文字）に沿って、子音・母音・半母音などの分節音素を割り当てつつ、当該分節音素の関係性を示す声調（トーン）・イントネーションを含む音の高さ、強勢やアクセント、方言の種別、言語の種別（日本語や英語）、及び、文字間における子音と母音のつながり（すなわち、連接要素）などを調整し、発話音声言語データを生成する。

具体的には、発話音声生成処理部１０６は、音素データをテキストに割り当てることによって発話音（すなわち、音声としての発話される音）を構築して発話音声データを生成する場合に、テキストの解析情報に基づいて、分節音素の割り当て、及び、声調（トーン）・イントネーションを含む音の高さ、強勢やアクセント、及び、連接などの調整を実行する際に、解析情報を含めて機械学習などのＡＩ技術を用いて発話音声言語データを生成する。

すなわち、発話音声生成処理部１０６は、文字列や個々の文字への音素（分節音素）の割り当て、及び、音の高さ・強勢やアクセント・連接などの調整を行う際に、自然言語処理における解析情報とともに、音素データの割り当て先のキャラクタの属性、又は、テキストの属性に基づいて予め生成された学習可能な当該音素データのデータモデルから構成される人工知能（ＡＩ：Artificial Intelligent）の技術を用いた音素データのモデル情報を用いる。

特に、発話音声生成処理部１０６は、コンテンツ、キャラクタ又はテキストなどの各属性（特に、キャラクタの属性及びテキストの属性）に対応付けて各音素の変化量や変化態様などの特徴量を抽出し、当該抽出した特徴量について機械学習をすることによって生成された音素データのモデル情報を用いる。

すなわち、発話音声生成処理部１０６は、自然言語処理における解析情報に基づきつつ、キャラクタの属性、及び、テキストの属性の少なくともいずれか一方の属性に基づいて生成された音素データのデータモデルを示すモデル情報に従って、テキストを発話者の音声にするための音声言語データを生成する音声言語データ生成処理を実行する。

例えば、発話音声生成処理部１０６は、既に、評価された発話音声言語データ（すなわ
ち、発話された音）を教師データとして用いるサポートベクターマシンやニューラルネットワーク（例えば、再帰型ニューラルネットワーク）などのディープラーニングを含む機械学習、又は、ＧＡＮ（敵対的生成ネットワーク）やアソシエーション分析などの教師データ無しのディープラーニングを含む機械学習が実行された音素データのモデル情報を用いる。

そして、発話音声生成処理部１０６は、このような音素データのモデル情報を用いて発話音声データ生成処理を実行する。

一方、発話音声生成処理部１０６は、当該生成した音声言語データに基づいて音素データのモデル情報を学習させる学習処理を実行する。

すなわち、発話音声生成処理部１０６は、当該発話音声言語データを生成する毎に、当該モデル情報を学習させて新たなモデル情報を生成して更新し、更新したモデル情報を用いて次回以降の発話音声言語データの生成に用いている。

［４．３．３］発話制御データ生成処理
次に、図７及び図８を用いて本実施形態の発話制御データ生成処理について説明する。なお、図７及び図８は、本実施形態の発話制御データ生成処理について説明するための図である。

（発話制御データ生成処理の原理）
発話音声生成処理部１０６は、特定のキャラクタ又は特定のテキストの少なくとも一部に割り当てる音声言語データとして、他のキャラクタ又は他のテキストに割り当てられた音素データと同一の音素データを、当該他のキャラクタ又は当該他のテキストの音声言語データを生成するときと異なる所与の加工処理に基づいて、又は、当該加工処理がなされた音素データに基づいて、音声言語データ生成処理とは異なる処理であって、前記コンテンツデータのテキストの少なくとも一部について、発話制御を実行するための発話制御データを生成する発話制御データ生成処理を実行する。

そして、発話音声生成処理部１０６は、他のキャラクタなどに割り当てられた音素データに対して、他のキャラクタ又は他のテキストの音声言語データを生成するときと異なる加工処理に基づいて、音声発話音声データ生成処理を実行する。

特に、発話音声生成処理部１０６は、割り当て状況判定処理の結果を前提に、上述のように、コンテンツのキャラクタ数や配役数、コストによる制限、又は、再生時のシステム容量などコンテンツを再生する際にユーザが割り当てた音素データに基づく音声を用いることができない場合、又は、ランダムに音声を選択することによって遊び感覚的な目的によって視聴を希望する場合に、
（Ａ１）コンテンツに登場する一部の特定のキャラクタ（以下、「特定キャラクタ」ともいう。）、若しくは、当該特定キャラクタに割り当てられた特定のテキスト（以下、「特定テキスト」という。）に対して割り当てる代替音声データを生成する代替音声データ生成処理、又は、
（Ａ２）当該特定キャラクタや当該特定テキストを無音声として制御する無音声制御データを生成する無音声制御データ生成処理、
をデータ生成制御処理として実行する。

すなわち、発話音声生成処理部１０６は、割り当て状況判定処理によって制約条件を具備しなかったと判定された場合に、視聴するコンテンツのうち、ユーザによって指示された音素データが割り当てられる特別割り当てキャラクタと、それ以外のキャラクタ（すな
わち、特定キャラクタ）と、に設定する。

そして、発話音声生成処理部１０６は、特別割り当てキャラクタについては、そのまま、上記の音声言語データ生成処理を実行し、特定キャラクタ又は当該特定キャラクタが発話する特定テキストに対しては、代替音声データ生成処理及び無音声制御データ生成処理を含むデータ生成制御処理を実行する。

また、発話音声生成処理部１０６は、特定キャラクタ又は当該特定キャラクタが発話する特定テキストに対しては、代替音声データ生成処理、又は、無音声制御データ生成処理をデータ生成制御処理として実行する。

具体的には、発話音声生成処理部１０６は、特定キャラクタとしては、ユーザの指示（積極的な指示だけでなく、音素データを割り当てないという消極的な指示も含む。）に基づいて、又は、登場回数・発話回数・テキストの文字数などに基づく発話量が他のキャラクタに比べて少ない場合（例えば、キャラクタ全体に対する平均の半分以下など）に、又は、予めキャラクタのコンテンツ内における重要度などを示すランクが定められている場合にはそのランクに応じて、代替音声となるキャラクタ（以下、「代替音声キャラクタ」という。）、又は、無音声となるキャラクタ（以下、「無音声キャラクタ」という。）を設定する。

また、発話音声生成処理部１０６は、特定テキストとしては、代替音声キャラクタ又は無音声キャラクタなどの特定キャラクタに割り当てられたテキスト又はその一部を設定する。

なお、本実施形態においては、特定テキストとしては、ユーザによって直接テキストへの音素データを割り当てることができる場合には、当該音素データが割り当てられなかったテキスト若しくはそのテキストの一部、コストの関係で音素データの割り当てが不能となったテキスト若しくはそのテキストの一部、又は、ユーザによって指定されたテキスト若しくはそのテキストの一部などが含まれる。

（代替音声データ生成処理）
発話音声生成処理部１０６は、代替音声キャラクタ、又は、特定テキストに割り当てる音声言語データとして、他のキャラクタ（すなわち、代替音声キャラクタ以外のキャラクタであって、特別割り当てキャラクタ）又は他のテキスト（すなわち、特定テキスト以外のテキスト）に割り当てられた音素データと同一の音素データを用いる。

そして、発話音声生成処理部１０６は、当該他のキャラクタなどに割り当てられた音素データに対して、他のキャラクタ又は他のテキストの音声言語データを生成するときと異なる加工処理に基づいて、音声発話音声データ生成処理を実行することによって、発話制御データとして代替音声データを生成する代替音声データ生成処理を実行する。

すなわち、発話音声生成処理部１０６は、加工処理として、代替音声キャラクタや当該代替音声キャラクタのテキストの一部の発話音声において、声の高低、イントネーション、アクセントなどの声調を含む、発話音声における各種の声質について変化（すなわち、加工）させるための処理を実行し、同一の音素データであっても異なる発話音声になるための処理を、代替音声データ生成処理、として、実行している。

具体的には、発話音声生成処理部１０６は、図７に示すように、発話制御データ生成処理時に該当する音素データに対して、上記のような加工処理を実行して代替音声データを生成する代替音声データ生成処理を実行する。

特に、発話音声生成処理部１０６は、代替音声データ生成処理としては、音素データをテキストに割り当てることによって発話音（すなわち、音声としての発話される音）を構築して発話音声データを生成する際に、各キャラクタの属性（例えば、年齢、性別、性格（特徴）、職業、経歴、使用する方言、使用言語）又はコンテンツの属性（例えば、コメディやホラーなどのジャンルや視聴対象年齢など）などの各属性情報に対応付けて各音素の変化量や変化態様などの特徴量を抽出し、当該抽出された特徴量について機械学習をすることなどによって生成された音素データのモデルデータを用いる。

なお、図７には、コンテンツのキャラクタ２について、キャラクタ１と同じ音素データＡを用いつつ、キャラクタ１における加工処理１（通常の音声加工）とは異なる加工処理２によって音声言語データ（すなわち、代替音声データ）を生成していることが示されている。

また、発話音声生成処理部１０６は、代替音声データ生成処理としては、基準データとして予め定められた音素データ（すなわち、コンテンツ毎、又は、コンテンツ視聴サービス全体においてデフォルトとして予め定められた音素データ）、又は、ユーザによって所有している音素データなどの既に当該ユーザによって使用可能となっている音素データのいずれかを割り当てて音声言語データを生成してもよい。

さらに、代替音声データ生成処理が実行された際に用いられたモデルデータは、上述と同様に、学習されるが、当該学習される毎に更新されてもよいし、新たなモデルデータとして記憶され、各キャラクタ又はコンテンツ情報が同じ場合などの所与の条件が合致する場合の音素データとして（すなわち、新たなバリエーションとして）用いるようにしてもよい。

そして、代替音声データ生成処理として、基準データを用いる場合を含め、音素データを用いて音声言語データを生成する場合には、基本的には、上記のように、音素データのモデルデータを用いた音声言語データ生成処理と同様な処理であるため、その説明を省略する。

（無音声制御データ生成処理）
発話音声生成処理部１０６は、上述の代替音声データ生成処理に代えて、無音声制御データ生成処理として、無音声キャラクタのテキスト、又は、特定テキストを、コンテンツに規定された発生タイミング（すなわち、音声出力タイミング）において完全に無音にした状態でコンテンツを視聴させるための再生制御データを生成する。

具体的には、発話音声生成処理部１０６は、再生制御データとして、該当するタイミングで、音声が出力されないことを示す演出（画像演出や音演出）を実行するための制御データを生成する。

例えば、発話音声生成処理部１０６は、図８に示すように、無音シーンの画像演出用の再生制御データとして、該当するテキストを画像表示する表示制御データ、特に、映画の字幕のような発話タイミングに合わせて１文から２文のテキストを表示させるための表示制御、又は、発話タイミングに従って、テキストの各文字の色を徐々に変化させるための表示制御を行うためのデータを生成する。

また、例えば、発話音声生成処理部１０６は、無音シーンの音演出用の再生制御データとして、特定の演出音楽を再生するためのデータを生成してもよい。

［４．４］割り当て状況判定処理
［４．４．１］割り当て状況判定処理の基本原理
次に、本実施形態の割り当て状況判定処理の基本原理について説明する。

コンテンツ管理部１０５は、上述のように、音声言語データ生成処理及び発話制御データ生成処理を含む、生成制御処理（具体的には、音声言語データ割り当て処理）が実行される際に、ユーザの音素データの割り当てに関する割り当て状況が、当該割り当てに関する制約条件を具備しているか否かを判定する割り当て状況判定処理を実行する。

特に、コンテンツ管理部１０５は、コスト管理部１０７に、ユーザの音素データの割り当てに関する割り当て状況として、視聴対象のコンテンツの種別、割り当てられた音素データの種別や数、当該音素データが割り当てられたキャラクタの種別や数、割り当てられたテキストの種別、又は、これらの組み合わせによって、コンテンツを視聴する際にデータの使用に対して規定されたコスト（すなわち、実行コスト）を算出する実行コスト算出処理を実行させる。

そして、コンテンツ管理部１０５は、制約条件として、
（Ａ１）割り当てた音素データの使用する際の実行コスト、当該音素データの割り当て先のキャラクタを使用する際の実行コスト、及び、音素データによって生成される発話音声を出力するためのテキストを使用する際の実行コストに基づく条件（以下、「実行コストに基づく条件」ともいう。）、又は、
（Ａ２）予め定められた限界値内による使用に関する条件（以下、「限界値に基づく条件」ともいう。）、
を用いることによって、割り当て状況判定処理を実行する。

すなわち、コンテンツ管理部１０５は、生成制御処理が実行される際に、使用する各データのコストパラメータに基づいて、使用するコンテンツデータ又は音素データのコストが実行コストとして、算出されると、制約条件として、当該算出された実行コストのユーザにおける支払いの有無、又は、当該実行コスが予め定められた限界値内か否かを判定する割り当て状況判定処理を実行する。

なお、発話音声生成処理部１０６は、上述のように、
（Ｂ１－１）割り当て状況判定処理によって割り当てた状況が制約条件を具備したと判定された場合には、音声言語データ生成処理を実行し、
（Ｂ１－２）当該割り当てた状況が制約条件を具備していないと判定された場合には、前記音声言語データ生成処理とは異なる処理であって、前記コンテンツデータのテキストの少なくとも一部について、発話制御を実行するための発話制御データを生成する発話制御データ生成処理を実行する、
構成を有している。

また、コンテンツ管理部１０５は、割り当てた状況が制約条件を具備していないと判定された場合には、プレーヤの指示に基づいて、又は、プログラムにしたがって、ユーザの支払い済みのコストや支払うコストに応じて、ユーザの希望する音素データを割り当てるキャラクタ（すなわち、特別割り当てキャラクタ）、及び、発話制御データ生成処理を実行するキャラクタ（すなわち、特定キャラクタ）を決定する。

そして、コンテンツ管理部１０５は、特別割り当てキャラクタに対しては、ユーザによって設定された音素データに基づく音声言語データ生成処理を実行し、特定キャラクタに対しては、ユーザによって設定された音素データに基づく音声言語データ生成処理に代えて、発話制御データ生成処理を実行する。

［４．４．２］実行コスト算出処理を含む実行コストに基づく割り当て状況判定処理
次に、図９及び図１０を用いて、本実施形態の実行コスト算出処理を含む実行コストに基づく割り当て状況判定処理について説明する。

なお、図９及び図１０は、本実施形態の実行コスト算出処理を含む実行コストに基づく割り当て状況判定処理を説明するための図である。

（基本原理）
コスト管理部１０７は、音素データなどのコストパラメータの管理を前提にしつつ、当該音素データなどの実行コスト（アイテムなどの消費量）に対するユーザの支払いの有無に基づいて、制約条件を具備しているか否かを判定する割り当て状況判定処理を実行する。

すなわち、コスト管理部１０７は、ユーザによって実行コストの支払いが無い場合には音声言語データの生成などを実行せず、当該ユーザによって実行コストの支払いがある場合には音声言語データの生成などを実行させるため、このような割り当て状況判定処理を実行する構成を有している。

具体的には、コスト管理部１０７は、生成処理に用いる音素データ、キャラクタデータ及びテキストデータのうち、いずれか１のデータの使用に関するコストが規定されたコストパラメータを管理する。

特に、コスト管理部１０７は、コンテンツ情報記憶部１４４に記憶されているコンテンツコスト情報に含まれる各キャラクタのコストパラメータ、及び、各テキスト（コンテンツ全体のテキストやその一部のテキストを含む。）のコストパラメータ（基準値）を管理する。

また、コスト管理部１０７は、音素情報記憶部１４６に記憶されている音素コスト情報に含まれる各音素データの使用に関するコストパラメータ（基準値）を管理する。

そして、コスト管理部１０７は、上述した音声言語データ生成処理の実行時に、ユーザによって選択された、又は、プログラムによって従って自動的に選択された、音素データ、キャラクタデータ、テキストデータ、又は、これらの２以上の組み合わせのそれぞれのコストパラメータ（基準値）に基づいて、当該音声言語データ生成処理のトータルのコスト（すなわち、実行コスト）を算出する算出処理（すなわち、実行コスト算出処理）を実行する。

そして、コンテンツ管理部１０５は、このように算出した実行コストに基づいて、該当するユーザに対して、所定の方法による支払いを要求（以下、「実行コスト支払い要求」ともいう。）し、当該ユーザの支払いの有無及びその額に基づいて、制約条件を具備しているか否かを判定する割り当て状況判定処理を実行する。

（実行コスト算出処理）
コスト管理部１０７は、実行コスト算出処理としては、キャラクタ又はテキストに割り当てる音素データがユーザによって又はプログラムによって１以上選択された場合に、当該選択された各音素データに、又は、当該各音素データが割り当てられると想定されるそれぞれのキャラクタデータ若しくはテキストデータに対応付けて管理されているコストパラメータを読み出す。

そして、コスト管理部１０７は、読み出した各コストパラメータを合算など所与の演算を実行することによって実行コストを算出する。

特に、コスト管理部１０７は、実行コスト算出処理としては、例えば、図９に示すように、ユーザが割り当てを希望する各音素データに規定されているコストパラメータに基づいて所定の演算（例えば、合算）を実行し、その演算結果を実行コストとして算出する処理（以下、「音素データ実行コスト算出処理」という。）を行う。

例えば、図９に示すように、ユーザによって音素データＡ（コスト：５０ポイント）、音素データＢ（コスト：５０ポイント）、音素データＣ（コスト：４０ポイント）、音素データＤ（コスト：６０ポイント）及び音素データＥ（コスト：４５ポイント）が使用可能な状態であって、そのうち、音素データＡ、Ｃ及びＥが選択された場合を想定する。

この場合には、コスト管理部１０７は、図９に示すように、実行コスト算出処理を実行し、実行コストとして、１３５ポイントを算出する。

一方、コスト管理部１０７は、実行コスト算出処理としては、上記に代えて、例えば、ユーザが希望する音素データを割り当て先である各キャラクタに規定されているコストに基づいて所定の演算（例えば、合算）を実行し、その演算結果を実行コストとして算出する処理（以下、「キャラクタコスト演算処理」という。）を実行してもよい。

例えば、図１０に示すように、ユーザによって音素データＡ、音素データＢ、音素データＣ、音素データＤ及び音素データＥが使用可能な状態であって、そのうち、音素データＡ、Ｃ及びＥが選択され、かつ、音素データを割り当てるコンテンツには、それぞれコストが設定されたキャラクタ１（コスト：１００ポイント）、２（コスト：５０ポイント）及び３（コスト：４０ポイント）が登場する場合を想定する。

この場合には、コスト管理部１０７は、図１０に示すように、キャラクタコスト演算処理を実行し、実行コストとして、１９０ポイントを算出する。

なお、本実施形態においては、音素データ又はキャラクタに基づいて実行コストが算出されているが、音素データが割り当てられるテキスト（一部も含む。）に規定されているコストに基づいて、実行コストが算出されてもよいし、音声言語データ生成処理に用いる音素データ、キャラクタ、又は、テキストの２以上の組み合わせのそれぞれのコストパラメータに基づいて、実行コストが算出されてもよい。

（割り当て状況判定処理）
コンテンツ管理部１０５は、上述のように実行コストが算出されると、実行コスト支払い要求として、該当するユーザの端末装置２０に、システム内通貨若しくはシステム内で用いるアイテム（例えば、数、又は、種別とその数）に基づいて規定されるコスト、又は、コストに対応する課金額を、提示する。

具体的には、コンテンツ管理部１０５は、算出したアイテムの消費量又は課金額を示す情報とともに、当該アイテムの消費又は課金額による支払いを促すための実行コスト支払い要求を、情報提供部１１０を介して、該当する端末装置２０に送信する。

そして、コンテンツ管理部１０５は、端末装置２０を介して、提示した対価の支払いに関する情報、又は、課金に関する情報を受信すると、当該受信した情報によって当該ユーザの支払いの有無を判定する割り当て状況判定処理を実行する。

一方、コンテンツ管理部１０５は、割り当てた状況が制約条件を具備していないと判定された場合には、プレーヤの指示に基づいて、又は、プログラムにしたがって、ユーザの支払い済みのコストや支払うコストに応じて、ユーザの希望する音素データのキャラクタ（すなわち、特別割り当てキャラクタ）への割り当て、及び、発話制御データ生成処理を実行するキャラクタ（すなわち、特定キャラクタ）を決定する。

なお、音声データ生成処理は、上述のように、特別割り当てキャラクタに対しては、ユーザによって設定された音素データに基づく音声言語データ生成処理を実行し、特定キャラクタに対しては発話制御データ生成処理を実行する。

［４．４．３］限界値に基づく割り当て状況判定処理
次に、図１１及び図１２を用いて、本実施形態の実行コストと限界値とに基づく割り当て状況判定処理について説明する。

なお、図１１及び図１２は、本実施形態の実行コストと限界値とに基づく割り当て状況判定処理について説明するための図である。

コスト管理部１０７は、上記の割り当て状況判定処理に代えて、上記の実行コスト算出処理によって算出した実行コストと予め定められているコストの限界値とが所与の関係性条件を具備していると判定した場合には、制約条件を具備しているか否かを判定する割り当て状況判定処理を実行してもよい。

特に、コンテンツ管理部１０５は、予め設定されたコストの限界値としては、例えば、ユーザが予め支払ったコスト（事前にアイテムを消費させた消費量や課金額）、又は、サブスクリプションなど一定額を支払うと一定のサービスを享受できる場合の限度額（アイテムやポイントの消費量を含む。以下同じ。）、又は、コンテンツ提供者が予め設定した場合の限度額を示す値などの上限値やそれに対応する値であって、コンテンツ毎に対応付けられて設定されている値（例えば、コンテンツ毎に設定された値）であってもよいし、ユーザ毎に対応付けられた値であってもよい。

そして、コンテンツ管理部１０５は、所与の関係性条件として、生成処理に用いる音素データのコストが、これらの限界値を超えていない場合などの条件を用いる。

すなわち、限界値に基づく割り当て状況判定処理としては、コンテンツ管理部１０５は、生成処理に用いる音素データのコストが、このようなコストの限界値を超えていない場合など所与の関係性条件が具備されていない場合には音声言語データの生成などの実行をさせず、当該限界値を超えている場合など、所与の関係性条件が具備されている場合には、音声言語データの生成などを実行させるため、このような割り当て状況判定処理を実行する構成を有している。

具体的には、コスト管理部１０７は、上述と同様に、音素情報記憶部１４６に記憶されている音素コスト情報に含まれる各音素データのコストのパラメータ（基準値）を管理する。

また、コスト管理部１０７は、上述した音声言語データ生成処理の実行時に、ユーザによって選択された、又は、プログラムによって従って自動的に選択された、音素データのコストパラメータ（基準値）に基づいて、当該音声言語データ生成処理のトータルのコスト（すなわち、実行コスト）を算出する算出処理（すなわち、実行コスト算出処理）を実行する。

そして、コンテンツ管理部１０５は、このように算出した実行コストが、予めユーザが既に支払ったコストに基づく限界値以内か否かを判定する割り当て状況判定処理を実行する。

例えば、図１１に示すように、ユーザによって音素データＡ（コスト：５０ポイント）、音素データＢ（コスト：５０ポイント）、音素データＣ（コスト：４０ポイント）、音素データＤ（コスト：６０ポイント）及び音素データＥ（コスト：４５ポイント）が使用可能な状態であって、ユーザＡに設定されたコスト上限（既にユーザＡが支払った金額に対応するポイント）が、１５０ｐｔの場合を想定する。

この場合には、図１１に示すように、音素データＡ、Ｃ及びＥが選択された場合には、コスト管理部１０７は、実行コストとして、１３５ｐｔを算出し、上限値の１５０ｐｔ以内となるため、音声言語データ生成処理の実行を許可する旨の判定を行う。

なお、限界値は、ユーザ毎に設定されている点に代えて、コンテンツ毎に設定されていてもよい。

例えば、この場合には、図１２に示すように、ユーザによって音素データＡ（コスト：５０ポイント）、音素データＢ（コスト：５０ポイント）、音素データＣ（コスト：４０ポイント）、音素データＤ（コスト：６０ポイント）及び音素データＥ（コスト：４５ポイント）が使用可能な状態であって、コンテンツＩＤがＩＤＣ０００１のコンテンツに設定されたコスト上限が、１５０ｐｔの場合を想定する。

この場合には、図１２に示すように、音素データＡ、Ｃ及びＥが選択された場合には、コスト管理部１０７は、実行コストとして、１３５ｐｔを算出し、上限値の１５０ｐｔ以内となるため、音声言語データ生成処理の実行を許可する旨の判定を行う。

一方、コンテンツ管理部１０５は、割り当てた状況が制約条件を具備していないと判定された場合には、プレーヤの指示に基づいて、又は、プログラムにしたがって、限界値内のコストに収まるように、ユーザの希望する音素データのキャラクタ（すなわち、特別割り当てキャラクタ）への割り当て、及び、発話制御データ生成処理を実行するキャラクタ（すなわち、特定キャラクタ）を決定する。

なお、発話音声生成処理部１０６は、特別割り当てキャラクタに対しては、ユーザによって設定された音素データに基づく音声言語データ生成処理を実行し、特定キャラクタに対しては発話制御データ生成処理を実行する。

［４．５］コンテンツ提供制御御処理
次に、本実施形態のコンテンツ提供制御御処理について説明する。

コンテンツ管理部１０５は、情報提供部１１０と連動し、通信制御部１１１を介して、コンテンツのテキストに沿ってキャラクタの音声を再生出力する端末装置２０に、コンテンツ情報とともに、発話音声データ生成処理によって生成した音声言語データ、及び、代替音声データ生成処理及び無音声制御データ生成処理を含むデータ生成制御処理によって生成された音声言語データや再生制御データを送信（提供）する提供制御処理を実行する。

特に、コンテンツ管理部１０５は、提供制御処理としては、発話音声データや再生制御データとともに、テキストに沿って発話音声データに基づく発話させる発話制御、及び、テキストとに従って端末装置２０に画像を表示させるための画像生成制御などの再生制御
データを含む、コンテンツ情報（再生制御情報を含む。）を該当する端末装置２０に提供する。

［４．６］変形例
次に、本実施形態の変形例について説明する。

（コストパラメータの変動に伴う割り当て状況判定処理１／ユーザ状況）
本変形例は、上記の実施形態において、実行コストを算出する際にコストパラメータ（基準値）を用いている点に代えて、該当するユーザのコンテンツに関する状況（すなわち、ユーザ状況）に基づいて基準値から変動させたコストパラメータを用いて割り当て状況判定処理が実行されてもよい。

すなわち、本変形例においては、コンテンツ視聴サービスに対するログイン状況などユーザ状況に基づいて、音素データ、キャラクタデータ又はテキストデータにおけるコストパラメータを基準値から変動させて実行コストを変化させ、当該変化させた実行コストによって実行コストに基づく割り当て状況判定処理又は限界値に基づく割り当て状況判定処理が実行されてもよい。

具体的には、ユーザ管理部１０４は、ユーザのコンテンツに関する所与の状況を検出する。

例えば、ユーザ管理部１０４は、ユーザ状況として、
（Ａ１）ユーザの課金額、
（Ａ２）当該コンテンツを聴取や視聴するサービス（すなわち、コンテンツ視聴サービス）に対するログイン状況（ログインの頻度、総ログイン時間、又は、ログインによって獲得した特典）、
（Ａ３）コンテンツの利用時間（聴取時間や視聴時間）又は利用することによって獲得したポイント、及び、
（Ａ４）ユーザのランクやレベルなどの他のユーザからの優位性を示す優位度、などを検出する。

また、コスト管理部１０７は、検出されたユーザ状況と、各ユーザ状況に対応付けて記憶されているコストパラメータ（基準値）の変動値を有するテーブルデータと、に基づいて、当該検出されたユーザの状況におけるコストパラメータ（音素データ、キャラクタデータ又はテキストデータのコストパラメータ）の変動値を特定する変動制御処理を実行し、特定した変動値に基づいて、上述のように、音素データなどの実行コストを算出する。

そして、この場合には、コンテンツ管理部１０５は、変動値に基づいて算出された実行コストを用いて、各種の割り当て状況判定処理（すなわち、実行コストに基づく割り当て状況判定処理又は限界値に基づく割り当て状況判定処理）を実行する。

なお、このように、実行コストを変動させることによって、コンテンツ視聴サービスのユーザに対する割引その他のサービスを充実させることができるので、ユーザのコンテンツ利用の満足度を向上させることができるようになっている。

（コストパラメータの変動に伴う割り当て状況判定処理２／コンテンツ関連情報）
本変形例は、上記の実施形態において、実行コストを算出する際にコンテンツの種別やキャラクタの属性などのコンテンツに関する関連情報（以下、「コンテンツ関連情報」という。）又は音素に関する関連情報（以下、「音素データ関連情報」といいう。）に基づいて、基準値から変動させたコストパラメータを用いて割り当て状況判定処理が実行され
てもよい。

すなわち、本変形例においては、キャラクタの発話回数や人気度などの関連情報としての属性に応じて、音素データ、キャラクタデータ又はテキストデータにおけるコストパラメータを変動させて実行コストを変化させ、当該変化させた実行コストによって実行コストに基づく割り当て状況判定処理又は限界値に基づく割り当て状況判定処理が実行されてもよい。

具体的には、コスト管理部１０７は、コンテンツ情報記憶部１４４に記憶されているキャラクタやテキストの情報を含む、該当するコンテンツ情報中からコンテンツ関連情報を特定し、又は、音素情報記憶部１４６に記憶されている該当する発話音素情報の中から音素データ関連情報を特定する。

特に、コスト管理部１０７は、コンテンツ関連情報としては、コンテンツのジャンル（コメディ、ホラー、恋愛、アクション又はアクション）を示すジャンル情報、テキストデータにおける小説・漫画・ノンフィクション・新聞などの属性を示す属性情報、又は、キャラクタデータにおける、動物・ロボット・人間などの種別、性別や年齢、方言（標準語、関西弁、東北弁又は九州訛りなど）やテキストの言語（他言語）の種別及び人気度などの属性を示す属性情報を特定する。

また、コスト管理部１０７は、音素データ関連情報としては、声優やアナウンサーなどの発話者のジャンル、性別、年齢や年代、又は、人気度などの属性情報を特定する。

そして、コスト管理部１０７は、これらのコンテンツ関連情報、音素データ関連情報又はその双方と、コンテンツ関連情報、音素データ関連情報又はその双方に対応付けてコストパラメータの変動値を有するテーブルデータと、に基づいて、コンテンツ関連情報や音素データ関連情報に対応するコストパラメータ（音素データ、キャラクタデータ又はテキストデータのコストパラメータ）の変動値を特定する変動制御処理を実行し、特定した変動値に基づいて、上述のように、音素データなどの実行コストを算出する。

そして、この場合には、コンテンツ管理部１０５は、上述のように、変動値に基づいて算出された実行コストを用いて、各種の割り当て状況判定処理（すなわち、実行コストに基づく割り当て状況判定処理又は限界値に基づく割り当て状況判定処理）を実行する。

なお、このように、実行コストを変動させることによって、コンテンツ視聴サービスのユーザに対する割引その他のサービスを充実させることができるので、ユーザのコンテンツ利用の満足度を向上させることができるようになっている。

（コストパラメータの変動に伴う割り当て状況判定処理３／音素データの組み合わせ）
本変形例は、上記の実施形態において、実行コストを算出する際にコストパラメータ（基準値）を用いている点に代えて、音声言語データ生成処理に用いた（すなわち、キャラクタに割り当てた）音素データの組み合わせに基づいて基準値から変動させたコストパラメータを用いて割り当て状況判定処理が実行されてもよい。

すなわち、本変形例においては、同一の発話者によって採取されたデータであることなど、キャラクタに割り当てた音素データの組み合わせに応じて、音素データにおけるコストパラメータを変動させて実行コストを変化させ、当該変化させた実行コストによって実行コストに基づく割り当て状況判定処理又は限界値に基づく割り当て状況判定処理が実行されてもよい。

具体的には、コスト管理部１０７は、音声言語データ生成処理が実行されると、キャラクタに割り当てられた各音素データにおける、音素情報記憶部１４６に記憶されている該当する発話音素情報の中から音素データ関連情報を特定する。

特に、コスト管理部１０７は、音素データ関連情報としては、割り当てられた各音素データにおける、声優やアナウンサーなどの発話者のジャンル、性別、年齢や年代、又は、人気度などの属性情報を特定する。

そして、コスト管理部１０７は、特定した音素データ関連情報の組み合わせと、音素データ関連情報の組み合わせに対応付けてコストパラメータの変動値を有するテーブルデータと、に基づいて、当該組み合わせにおけるコストパラメータの変動値を特定する変動制御処理を実行し、特定した変動値に基づいて、上述のように、音素データなどの実行コストを算出する。

そして、この場合には、コンテンツ管理部１０５は、上述のように、変動値に基づいて算出された実行コストを用いて、各種の割り当て状況判定処理（すなわち、実行コストに基づく割り当て状況判定処理又は限界値に基づく割り当て状況判定処理）を実行する。

なお、このように、実行コストを変動させることによって、コンテンツ視聴サービスのユーザに対する割引その他のサービスを充実させることができるので、ユーザのコンテンツ利用の満足度を向上させることができるようになっている。

また、本変形例においては、同一の発話者によって採取されたデータであることなど、キャラクタに割り当てた音素データの組み合わせに応じて、キャラクタデータやテキストデータにおけるコストパラメータを変動させて実行コストを変化させてもよい。

（コストパラメータの変動に伴う割り当て状況判定処理４／モデル情報の学習状況）
本変形例は、上記の実施形態において、実行コストを算出する際にコストパラメータ（基準値）を用いている点に代えて、音声言語データ生成処理が繰り返し実行された際のデータモデルの学習状況に基づいて基準値から変動させたコストパラメータを用いて割り当て状況判定処理が実行されてもよい。

すなわち、本変形例においては、モデル情報の学習回数、学習進度（所与期間における学習回数）、又は、学習した音声言語データの評価値（例えば、人気度などの利用回数を含む。）などの学習状況に応じて、音素データにおけるコストパラメータを変動させて実行コストを変化させ、当該変化させた実行コストによって実行コストに基づく割り当て状況判定処理又は限界値に基づく割り当て状況判定処理が実行されてもよい。

具体的には、コスト管理部１０７は、音声言語データ生成処理の実行時に、アプリケーション情報記憶部１４９に記憶されたモデル情報とともに、記憶された学習回数や人気度などの学習状況を示す学習状況情報を取得する。

そして、コスト管理部１０７は、学習状況情報と、当該学習状況情報に対応付けてコストパラメータの変動値を有するテーブルデータと、に基づいて、生成される発話音声言語データにおけるコストパラメータの変動値を特定する変動制御処理を実行し、特定した変動値に基づいて、上述のように、音素データなどの実行コストを算出する。

そして、この場合には、コンテンツ管理部１０５は、上述のように、変動値に基づいて算出された実行コストを用いて、各種の割り当て状況判定処理（すなわち、実行コストに基づく割り当て状況判定処理又は限界値に基づく割り当て状況判定処理）を実行する。

なお、このように、実行コストを変動させることによって、コンテンツ視聴サービスのユーザに対する割引その他のサービスを充実させることができるので、ユーザのコンテンツ利用の満足度を向上させることができるようになっている。

また、本変形例においては、同一の発話者によって採取されたデータであることなど、キャラクタに割り当てた音素データの組み合わせに応じて、キャラクタデータやテキストデータにおけるコストパラメータを変動させて実行コストを変化させてもよい。

［５］本実施形態における動作
次に、図１３を用いて本実施形態のサーバ装置１０によって実行されるデータ生成制御処理、及び、実行コストに基づく割り当て状況判定処理を含むコンテンツの視聴を開始する際のコンテンツ試聴開始処理の動作について説明する。

なお、図１３は、本実施形態のサーバ装置１０によって実行されるデータ生成制御処理、及び、実行コストに基づく割り当て状況判定処理を含むコンテンツの視聴を開始する際のコンテンツ試聴開始処理の動作を示すフローチャートである。

本動作は、ユーザの選択によって音素データを、視聴を希望するコンテンツのキャラクタに、割り当てるとともに、音素データの実行コストがコンテンツに予め設定された限界値内であることを制約条件として用いた場合の動作である。

また、本動作においては、コンテンツは、ストリーミングによって端末装置２０に視聴可能に提供されるものとする。

そして、本動作においては、ユーザが希望するコンテンツが既にコンテンツ情報記憶部１４４に記憶されているとともに、割り当てられる各音素データについては既にそのコストを示すコストパラメータを含めて音素情報記憶部１４６に記憶されているものとする。

さらに、本動作においては、アプリケーション情報記憶部１４９には、既に、ユーザによって割り当てられる音素データのモデルがモデル情報として登録されているものとし、かつ、視聴可能なコンテンツ毎に、割り当てることが可能な実行コストの上限値となる限界値が設定されているものとする。

なお、本動作の実行開始前には、ユーザに対して視聴させるコンテンツの選択及び割り当てを希望する音素情報の選択のための情報が提示されているものとする。

まず、コンテンツ管理部１０５によって、通信制御部１０１を介して端末装置２０から送信された、ユーザにおけるコンテンツの視聴指示とともに、視聴するコンテンツ、及び、当該コンテンツに登場するキャラクタに割り当てる音素データに関する情報（すなわち、ユーザによって選択された音素データの情報）が受信されると（ステップＳ１０１）、コスト管理部１０７は、割り当てられた音素データの音素コスト情報を音素情報記憶部１４６から読み出し、割り当てられた音素データによって音声言語データを生成する際の実行コストを算出する（ステップＳ１０２）。

次いで、コスト管理部１０７は、算出した実行コストと、予め設定された割り当て可能なコストの上限値（すなわち、限界値）と、を比較し（ステップＳ１０３）、制約条件を具備しているか否か（例えば、当該実行コストが上限値以内であるか否か）を判定する実行許可判定処理を実行する（ステップＳ１０４）。

このとき、コスト管理部１０７は、算出した実行コストが予め設定された割り当て可能なコストの上限値内であると判定した場合（すなわち、制約条件を具備した場合）には、ステップＳ１０５の処理に移行し、算出した実行コストが予め設定された割り当て可能なコストの上限値を超えたと判定した場合（すなわち、制約条件を具備していない場合）には、ステップＳ１０７の処理に移行する。

次いで、発話音声生成処理部１０６は、実行コストが予め設定された割り当て可能なコストの上限値内であると判定された場合には、ユーザによって選択された各音素データを当該ユーザが希望するコンテンツの各キャラクタに割り当てて、当該キャラクタに属するテキストに対する発話音声となる音声言語データをそれぞれ生成する音声言語データ生成処理を実行する（ステップＳ１０５）。

次いで、コンテンツ管理部１０５は、ユーザが希望するコンテンツのコンテンツ情報と、当該生成された発話音声データと、に基づいて、該当する端末装置２０に対してストリーミング形式による再生を実行するための各種のデータの送信を開始し（ステップＳ１０６）、本動作を終了させる。

一方、コスト管理部１０７は、実行コストが予め設定された割り当て可能なコストの上限値内でないと判定された場合には、当該コストの上限値内に収まる実行コストとなるユーザによって指定された音素データとキャラクタとの組み合わせを検出する（ステップＳ１０７）。

このとき、コンテンツ管理部１０５は、当該組み合わせに含まれるキャラクタを特別割り当てキャラクタとして設定し、それ以外のキャラクタを特定キャラクタとして設定する。

次いで、発話音声生成処理部１０６は、データ生成制御処理として、各特別割り当てキャラクタに対してはユーザによって指定された音素データに基づいて音声言語データを生成するとともに、特定キャラクタに対しては、特別割り当てキャラクタに用いた音素データに基づいて音声言語データを生成する代替音声データ生成処理を実行する（ステップＳ１０８）。

次いで、コンテンツ管理部１０５は、ユーザが希望するコンテンツのコンテンツ情報と、当該生成された各キャラクタに対する発話に関するデータと、に基づいて、該当する端末装置２０に対してストリーミング形式による再生を実行するための各種のデータの送信を開始し（ステップＳ１０９）、本動作を終了させる。

［６］その他
本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。例えば、明細書又は図面中の記載において広義や同義な用語として引用された用語は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。

本実施形態は、１のサーバ装置１０によって各コンテンツを端末装置２０に提供してもよいし、複数のサーバ装置１０を連動させてサーバシステムを構築し、各コンテンツを端末装置に提供してもよい。

また、本実施形態においては、サーバ装置１０の機能を備えた単一のコンテンツ再生装置、すなわち、サーバ装置と端末装置とにわけることなく、ネットワークを介してコンテンツ情報及び音素情報を取得する装置だけで、上記の各処理及びコンテンツの再生などを実現してもよい。

特に、この場合には、コンテンツ再生装置は、内部に再生出力部を有し、当該再生出力部が、音声言語データに基づいてキャラクタによる音声を出力させつつ、当該コンテンツの画像を表示部に表示する構成を有している。

そして、このようなコンテンツ端末装置を有線又は無線によって複数連結させ、１のコンテンツ装置がサーバ装置１０として機能して、複数のコンテンツ装置によって実現することも可能である。

また、本実施形態においては、ネットワークを通じて端末装置２０と連動して実行するサーバ装置１０に本発明のコンテンツ提供システムを適用しているが、タブレット型情報端末装置やパーソナルコンピュータなどの端末装置としても適用することができる。

すなわち、この場合には、端末装置は、上記のサーバ装置１０の各機能とコンテンツデータを再生する再生機能を有し、音素データを割り当てた音声言語データとともにコンテンツデータを再生する構成を有している。

本発明は、実施形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施形態で説明した構成に公知技術を付加した構成を含む。

上記のように、本発明の実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。したがって、このような変形例はすべて本発明の範囲に含まれるものとする。

１ ：コンテンツ提供システム
１０ ：サーバ装置
２０ ：端末装置
１００ ：処理部
１０１ ：通信制御部
１０２ ：Ｗｅｂ処理部
１０３ ：ログイン管理部
１０４ ：ユーザ管理部
１０５ ：コンテンツ管理部
１０６ ：発話音声生成処理部
１０７ ：コスト管理部
１０９ ：タイマ管理部
１１０ ：情報提供部
１１１ ：通信制御部
１２０ ：入力部
１３０ ：表示部
１４０ ：記憶部
１４２ ：主記憶部
１４４ ：コンテンツ情報記憶部
１４６ ：音素情報記憶部
１４８ ：ユーザ情報記憶部
１４９ ：アプリケーション情報記憶部
１８０ ：情報記憶媒体
１９６ ：通信部
２００ ：処理部
２１０ ：通信制御部
２１１ ：Ｗｅｂブラウザ
２１２ ：コンテンツ処理部
２１３ ：表示制御部
２２０ ：描画部
２３０ ：音処理部
２６０ ：入力部
２６２ ：検出部
２７０ ：記憶部
２７１ ：主記憶部
２７２ ：画像バッファ
２８０ ：情報記憶媒体
２９０ ：表示部
２９２ ：音出力部
２９６ ：通信部

Claims (10)

1. 記憶手段に記憶されている情報であって、ユーザに関するユーザ情報と、当該ユーザ情報に対応付けられており、かつ、発話者から採取された音素データから構成される発話音素情報と、を管理するユーザ情報管理手段と、
   前記発話者の音声によって音声言語化するためのテキストがデータ化されたテキストデータ及び当該テキストを発話するキャラクタに関するキャラクタデータを少なくとも含むコンテンツデータから構成されるコンテンツ情報を管理するコンテンツ管理手段と、
   所与の指示に基づいて、前記キャラクタデータに、前記音素データを割り当てて、前記コンテンツデータのテキストを音声言語化するための音声言語データを生成する音声言語データ生成処理を含む生成制御処理を実行する生成制御手段と、
   前記コンテンツデータのテキストに沿って前記キャラクタの音声を再生出力する再生出力手段に、前記生成された音声言語データを提供する提供制御処理を実行する提供制御手段と、
   を備え、
   前記生成制御手段が、
   特定の前記キャラクタ又は特定の前記テキストの少なくとも一部に割り当てる音声言語データとして、他のキャラクタ又は他のテキストに割り当てられた音素データと同一の音素データを、当該他のキャラクタ又は当該他のテキストの音声言語データを生成するときと異なる所与の加工処理に基づいて、又は、当該加工処理がなされた音素データに基づいて、前記音声言語データ生成処理とは異なる処理であって、前記コンテンツデータのテキストの少なくとも一部について、発話制御を実行するための発話制御データを生成する発話制御データ生成処理を実行することを特徴とするコンテンツ再生制御システム。
2. 請求項１に記載のコンテンツ再生制御システムにおいて、
   前記生成制御手段が、
   前記発話制御データ生成処理として、該当する前記キャラクタのテキスト又は該当する前記テキストに対する音声を無音声とする再生制御データを生成する、コンテンツ再生制御システム。
3. 請求項１又は２に記載のコンテンツ再生制御システムにおいて、
   前記生成制御手段が、
   前記発話制御データとして、特定の前記キャラクタ又は特定の前記テキストの少なくとも一部に、基準データとして予め定められた音素データ、又は、ユーザによって既に使用可能となっている音素データのいずれかを割り当てて音声言語データを生成する前記発話制御データ生成処理を実行する、コンテンツ再生制御システム。
4. 請求項１～３のいずれか１項に記載のコンテンツ再生制御システムにおいて、
   前記生成制御処理が実行される際に、前記ユーザの音素データの割り当てに関する割り当て状況が、当該割り当てに関する所与の制約が規定された制約条件を具備しているか否かを判定する割り当て状況判定処理を実行する状況判定処理手段を更に備え、
   前記生成制御手段が、
   前記割り当て状況判定処理によって前記割り当てた状況が前記制約条件を具備したと判定された場合には、前記音声言語データ生成処理を実行し、
   当該割り当てた状況が前記制約条件を具備していないと判定された場合には、前記発話制御データ生成処理を実行する、コンテンツ再生制御システム。
5. 請求項４に記載のコンテンツ再生制御システムにおいて、
   前記生成制御処理に用いる音素データ、キャラクタデータ及びテキストデータのうち、いずれか１のデータのコストが規定されたコストパラメータを管理するコスト管理手段と
   、
   前記コストパラメータに基づいて、前記生成制御処理を実行する際の前記ユーザに要求される実行コストを算出する算出処理を実行するコスト算出手段と、
   を更に備え、
   前記状況判定処理手段が、
   前記制約条件として、前記算出処理によって算出された実行コストに対する前記ユーザの支払いに基づく条件を用いる、コンテンツ再生制御システム。
6. 請求項４に記載のコンテンツ再生制御システムにおいて、
   前記生成制御処理に用いる音素データ、キャラクタデータ及びテキストデータのうち、いずれか１のデータのコストが規定されたコストパラメータを管理するコスト管理手段を更に備え、
   前記状況判定処理手段が、
   前記制約条件として、前記コストパラメータと、予め設定されたコストの限界値と、の関係性を示す条件を用いる、コンテンツ再生制御システム。
7. 請求項５又は６に記載のコンテンツ再生制御システムにおいて、
   前記ユーザのコンテンツに関する所与の状況を検出するユーザ状況検出手段を更に備え、
   前記コスト管理手段が、
   前記検出されたユーザのコンテンツに関する状況に基づいて、前記コストパラメータの変動を制御する変動制御処理を実行する、コンテンツ再生制御システム。
8. 請求項５～７のいずれか１項に記載のコンテンツ再生制御システムにおいて、
   前記コスト管理手段が、
   前記コンテンツデータ、キャラクタデータ及びテキストデータのうち、いずれか１のデータに関する情報を示す関連情報に基づいて、前記コストパラメータの変動を制御する変動制御処理を実行する、コンテンツ再生制御システム。
9. 請求項５～７のいずれか１項に記載のコンテンツ再生制御システムにおいて、
   前記生成制御手段が、
   前記キャラクタの属性、及び、前記テキストの属性の少なくともいずれか一方の属性に基づいて生成された音素データのデータモデルを示すモデル情報に従って、前記音声言語データを生成する前記音声言語データ生成処理を実行し、
   当該生成した音声言語データに基づいて前記モデル情報を学習させる学習処理を実行し、
   前記コスト管理手段が、
   前記モデル情報の学習処理の状況に基づいて、前記コストパラメータの変動を制御する変動制御処理を実行する、コンテンツ再生制御システム。
10. 記憶手段に記憶されている情報であって、ユーザに関するユーザ情報と、当該ユーザ情報に対応付けられており、かつ、発話者から採取された音素データから構成される発話音素情報と、を管理するユーザ情報管理手段、
    前記発話者の音声によって音声言語化するためのテキストがデータ化されたテキストデータ及び当該テキストを発話するキャラクタに関するキャラクタデータを少なくとも含むコンテンツデータから構成されるコンテンツ情報を管理するコンテンツ管理手段、
    所与の指示に基づいて、前記キャラクタデータに、前記音素データを割り当てて、前記コンテンツデータのテキストを音声言語化するための音声言語データを生成する音声言語データ生成処理を含む生成制御処理を実行する生成制御手段、及び、
    前記コンテンツデータのテキストに沿って前記キャラクタの音声を再生出力する再生出
    力手段に、前記生成された音声言語データを提供する提供制御処理を実行する提供制御手段、
    としてコンピュータを機能させ、
    前記生成制御手段が、
    特定の前記キャラクタ又は特定の前記テキストの少なくとも一部に割り当てる音声言語データとして、他のキャラクタ又は他のテキストに割り当てられた音素データと同一の音素データを、当該他のキャラクタ又は当該他のテキストの音声言語データを生成するときと異なる所与の加工処理に基づいて、又は、当該加工処理がなされた音素データに基づいて、前記音声言語データ生成処理とは異なる処理であって、前記コンテンツデータのテキストの少なくとも一部について、発話制御を実行するための発話制御データを生成する発話制御データ生成処理を実行することを特徴とするプログラム。
    

Images