JP2008217226A - コンテンツ生成装置及びコンテンツ生成プログラム - Google Patents

Abstract

【課題】演出条件に応じて適切なモーションデータを含むコンテンツを効率的に生成する。
【解決手段】仮想空間上に存在するキャラクタの動作を表すモーションデータを含んだコンテンツを生成するコンテンツ生成装置において、前記キャラクタの所定の動作内容に対する演出を設定する演出設定手段と、予め生成されたコンテンツのスクリプトデータを読み込み、前記演出設定手段により設定された演出条件に適合するか否かを判定する判定手段と、前記判定手段により前記演出条件に適合したスクリプトに対して、前記演出設定手段により設定された前記キャラクタに対するモーションデータを追加又は置換するモーションデータ編集手段とを有することにより、上記課題を解決する。
【選択図】図１

Description

本発明は、コンテンツ生成装置及びコンテンツ生成プログラムに係り、特に、演出条件に応じて適切なモーションデータを含むコンテンツを効率的に生成するためのコンテンツ生成装置及びコンテンツ生成プログラムに関する。

従来より、ニュースやスポーツ等の情報提供番組等の映像コンテンツを映像コンテンツ制作者が制作する際に、映像を生成する前に所定の記述様式により予め台本を作成し、これを専用のソフトウェア等に入力することで、台本に従ったＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）キャラクタ等の仮想物体の仮想空間上の動作やカメラワークを行う映像を生成することが可能な仕組みが存在している（例えば、特許文献１参照。）。

なお、上述した特許文献１に示されている技術では、ＴＶＭＬ（ＴＶ ｐｒｏｇｒａｍ Ｍａｒｋｉｎｇ Ｌａｎｇｕａｇｅ）を用いて番組の制作を行っている。ここで、ＴＶＭＬとは、テレビ番組を制作するためのオブジェクトベース記述言語である。ＴＶＭＬは、テレビ番組の映像と音声を、素材と台本（演出内容）とに分けて記述するものであり、番組台本を記述すれば、パソコン等で動作するソフトウェア等がこれを読取り、即座にテレビ番組として視聴（提示）することができるものである。

また、ＴＶＭＬを用いた番組制作では、制作者側で制作された番組の台本や、その台本に記述される番組制作エンジン（ＡＰＥ：Ａｕｔｏｍａｔｉｃ Ｐｒｏｄｕｃｔｉｏｎ Ｅｎｇｉｎｅ）、制作した番組に用いられる素材データ等を用いて番組を制作する。ここで、上述した番組制作エンジンとは、番組に登場する番組司会者や出演者等のＣＧキャラクタや番組における１つの動作の単位で「タイトル表示」、「ズームイン」、「ＣＧキャラクタの動作」等のイベントが予め定義されたものであり、この番組制作エンジンを用いることにより、ニュースやバラエティ、スポーツ、ドラマ等の所定のジャンルの番組制作を効率的に実現することができる。

また従来では、例えば番組等のコンテンツについて、ＣＧキャラクタ等を動作させる場合に、例えばＢＶＨファイル形式のモーションデータファイルを使用したものが知られている（例えば、特許文献２，３参照。）。

ここで、モーションデータファイルとは、例えばＣＧキャラクタの仮想空間上の動作情報を扱うファイルであり、実際に人体等の動作を計測して作成したデータであるため、ＣＧキャラクタの自然な動作を可能とする。モーションデータファイルには、データの総フレーム数とフレームあたりの時間長の記述、及び動作中の各関節の回転角度が時系列に記述されている。なお、上述したＴＶＭＬでは、ＢＶＨファイルフォーマットに対応している。
特開２００５−３１８２５４号公報 特開平０７−２３９９４９号公報 特開２００１−０８７５４３公報

しかしながら、上述した従来技術の場合、番組等のコンテンツを制作する際に、ＢＶＨファイル形式のモーションデータを使用することは可能であったが、その場合には番組制作時に人手によりモーションを実行するスクリプトをその都度記述する必要があった。また、番組の進行状況やコメント内容に従ってモーションデータを動的に選択し、番組に適応させることは実現できていなかった。

また、従来技術では、ユーザの操作に従って現在の姿勢を判別し、モーションを付加する技術は存在しているが、番組型コンテンツの進行状況やＣＧキャラクタのコメント内容に応じてＣＧキャラクタに動作を付加する技術は存在していなかった。また、番組制作時のＣＧキャラクタ動作に関する記述は人手で行うしかなく、作業に手間がかかっていた。

更に、ＴＶＭＬ番組の出演者であるＣＧキャラクタの動作は、予め番組制作エンジン等で定義された動作「相手を見る」や「お辞儀をする」等を台本に記述することで実現しているが、標準で定義されている動作は限られており、また、その都度台本への記述が必要となるため、実際のテレビ番組の出演者のような、身振り手振りを交えた細かい動作を実現することは困難であった。

本発明は、上述した問題点に鑑みなされたものであり、演出条件に応じて適切なモーションデータを含むコンテンツを効率的に生成するためのコンテンツ生成装置及びコンテンツ生成プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、仮想空間上に存在するキャラクタの動作を表すモーションデータを含んだコンテンツを生成するコンテンツ生成装置において、前記キャラクタの所定の動作内容に対する演出を設定する演出設定手段と、予め生成されたコンテンツのスクリプトデータを読み込み、前記演出設定手段により設定された演出条件に適合するか否かを判定する判定手段と、前記判定手段により前記演出条件に適合したスクリプトに対して、前記演出設定手段により設定された前記キャラクタに対するモーションデータを追加又は置換するモーションデータ編集手段とを有することを特徴とする。

請求項１記載の発明によれば、演出条件に応じて適切なモーションデータを含むコンテンツを効率的に生成することができる。

請求項２に記載された発明は、前記スクリプトデータの記述内容を所定単位毎に解析して、前記キャラクタの動作に関するデータの有無を判断する記述内容解析手段を有することを特徴とする。

請求項２記載の発明によれば、スクリプトデータの記述内容を所定単位毎に解析してキャラクタの動作に関するデータ部分のみを予め抽出しておき、その内容から演出条件に適合するか否かの判定を行うことにより、効率的に適合処理を行うことができる。

請求項３に記載された発明は、前記モーションデータ編集手段は、前記追加又は置換するモーションの動作開始及び終了時に前記キャラクタが同一の姿勢になるように設定することを特徴とする。

請求項３記載の発明によれば、モーションデータを追加又は置換した場合でもＣＧキャラクタの一連の動きに違和感がないコンテンツを提供することができる。

請求項４に記載された発明は、前記モーションデータ編集手段は、新たに追加又は置換される複数のモーションデータを１つのモーションデータとして前記スクリプトに追加又は置換することを特徴とする。

請求項４記載の発明によれば、複数のモーションを１つの新たなモーションとして設定することで、キャラクタに対する複数のモーションを一度に設定することができるため、効率的にコンテンツを生成することができる。

請求項５に記載された発明は、前記演出設定手段は、前記キャラクタの動作に対応する少なくとも１つからなる演出条件と、前記演出条件に対応するモーションデータとして、モーションファイル名又はＵＲＬを設定することを特徴とする。

請求項５記載の発明によれば、モーションファイル名やＵＲＬ等を指定することにより、容易にモーションの設定を行うことができる。更に、ＵＲＬを指定することで更新作業が必要なく、常に最新のモーションを取得してキャラクタに動作させることができる。

請求項６に記載された発明は、仮想空間上に存在するキャラクタの動作を表すモーションデータを含んだコンテンツを生成するコンテンツ生成処理をコンピュータに実行させるためのコンテンツ生成プログラムにおいて、前記キャラクタの所定の動作内容に対する演出を設定する演出設定処理と、予め生成されたコンテンツのスクリプトデータを読み込み、前記演出設定処理により設定された演出条件に適合するか否かを判定する判定処理と、前記判定処理により前記演出条件に適合したスクリプトに対して、前記演出設定処理により設定された前記キャラクタに対するモーションデータを追加又は置換するモーションデータ編集処理とをコンピュータに実行させる。

請求項６記載の発明によれば、演出条件に応じて適切なモーションデータを含むコンテンツを効率的に生成することができる。また、実行プログラムをコンピュータにインストールすることにより、容易にコンテンツの生成を実現することができる。

本発明によれば、演出条件に応じて適切なモーションデータを含むコンテンツを効率的に生成することができる。

＜本発明の概要＞
本発明では、例えばコンテンツの演出（例えば、進行状況等）とコンテンツに含まれる１又は複数のキャラクタ等の仮想物体の仮想空間上のモーションデータとを関連付ける演出ルール（演出条件）を設定する。つまり、事前に設定される演出ルールに従い、コンテンツの進行内容に応じてコンテンツの適切な箇所に、適切なモーションを実行するスクリプトを記述することにより、効率的なコンテンツの生成を実現する。

以下に、上述したような特徴を有する本発明におけるコンテンツ生成装置及びコンテンツ生成プログラムを好適に実施した形態について、図面を用いて詳細に説明する。

なお、本実施形態では、コンテンツの一例として番組を用いる。更に、本実施形態では、番組の生成や提示等に用いられるスクリプトの一例として、ＴＶＭＬを用いる。なお、本発明は、ＴＶＭＬに限定されるものではなく、ＴＶＭＬ以外の表現形式を用いてもよい。

＜コンテンツ生成装置：機能構成例＞
図１は、コンテンツ生成装置の一構成例を示す図である。図１に示すコンテンツ生成装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、演出設定手段１４と、記述内容解析手段１５と、進行状況判定手段１６と、モーションデータ編集手段１７と、再生手段１８と、送受信手段１９と、制御手段２０とを有するよう構成されている。

入力手段１１は、コンテンツ生成に関する使用者や制作者等からのコンテンツ生成指示や、音楽や肉声、合成音声等の各種音声入力指示、演出ルールの設定の入力、スクリプト等の入力を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。

出力手段１２は、入力手段１１により入力された指示内容や音声、指示内容に基づいて生成されたコンテンツ、そのコンテンツに係る映像及び音声等の編集内容、設定された演出ルール等の内容を表示したり、音声等を出力する。なお、出力手段１２は、ディスプレイやスピーカ等からなる。

蓄積手段１３は、入力される音声や、コンテンツを生成するための画像や映像、音声、テキストデータ等の各種データからなる複数の素材データ、番組制作エンジン、番組の台本（スクリプト）、演出ルールの設定内容、本実施形態により生成される前及び後のコンテンツ等を蓄積する。

また、蓄積手段１３は、台本に対応するＴＶＭＬスクリプト、番組制作エンジンに対応するＡＰＥスクリプト、番組や対話シーンの生成時に使用することができる番組セットアップ用のＴＶＭＬスクリプト、番組生成データ（テンプレート）、番組に登場するキャラクタとの対話シーンを実現するための対話シーン生成データ（テンプレート）、対話応答用辞書（レスポンススクリプト）等が蓄積される。

ここで、上述した番組セットアップ用のＴＶＭＬスクリプトとは、番組としてどのようなスタジオセット、小道具、照明、出演者（出演者同士の関係（性別、年齢、性格、職業（歌手、コメンテータ、コメディアン等）も含む）、音声を用いるか等の番組の初期設定情報が指定されたスクリプトである。また、対話応答用辞書とは、例えば視聴者からの問い合わせに対して想定される回答データが蓄積されたものである。したがって、蓄積手段１３は、例えばデータベース等のように文字情報や画像情報、その他の情報の集合物であり、問い合わせの内容から蓄積された各種情報を検索することができるように体系的に構成されていてもよい。

なお、蓄積手段１３は、上述した各種データを、送受信手段１９を介してインターネットやや通信回線等に代表される通信ネットワークに接続された外部装置等から取得することもできる。

演出設定手段１４は、番組の進行状況と、モーションデータを関連付ける演出ルールと呼ぶテンプレートを制作して演出ルールを設定する。また、演出設定手段１４は、設定された演出ルールのテンプレートを蓄積手段１３に出力する。

つまり、演出設定手段１４では、テレビ番組等で定型化されたキャラクタ等の仮想物体の仮想空間上の所定の動作に基づいて演出ルールを設定し、モーションキャプチャした動作を、設定した演出ルールに従ってＴＶＭＬ番組に自動的に適用させる仕組みを設ける。

記述内容解析手段１５は、蓄積手段１３に蓄積されたＴＶＭＬスクリプトや、送受信手段１９を介して通信ネットワーク等に接続された外部装置等から取得したＴＶＭＬスクリプトを読み込み、スクリプトの記述内容を解析する。

具体的には、記述内容解析手段１５は、例えば既に制作された番組の台本ファイル（スクリプト）を文字列として入力し、入力した文字列を所定単位（例えば、１行、又は１コマンド等）毎に読み込み、そのスクリプトに記載されている内容を言語仕様に基づいて解析する。

なお、記述内容解析手段１５は、所定の条件として、例えば読み込んだ行又はコマンドスクリプトがキャラクタの動作内容（キャラクタアクション）のスクリプトであるか否を判断する。なお、所定の条件となるキャラクタの動作内容の詳細については、後述する。

また、進行状況判定手段１６は、記述内容解析手段１５により得られる１又は複数のスクリプトが、演出設定手段１４により設定された演出ルールに適合しているか否かを判定する。なお、判定の具体的な内容については、後述する。また、進行状況判定手段１６は、判定の結果、入力したスクリプトが演出ルールに適合している場合には、その適合した結果をモーションデータ編集手段１７に出力する。

なお、進行状況判定手段１６は、記述内容解析手段１５を介さずに既に制作された番組の台本ファイル（スクリプト）を直接読み込んで、演出ルールとの適合処理を行うこともできる。しかしながら、多くの演出ルールが設定されている場合には、進行状況判定手段１６における適合処理に時間がかかるため、上述した予め記述内容解析手段１５により抽出される所定の条件のスクリプトだけを用いることで、効率的に適合処理を行うことができる。

モーションデータ編集手段１７は、演出ルールに適合するスクリプトに対して、演出ルールのルールアクションに設定されているモーションデータファイル等を有するコマンドスクリプトを番組に追記する。

具体的には、モーションデータ編集手段１７は、台本ファイル（スクリプト）から番組の進行状況に対応して所定の位置に上述したモーションデータファイル等を有するコマンドスクリプトを追加する。また、モーションデータ編集手段１７は、既に読み込んだ台本ファイルにルールアクションが設定されている場合には、新たなルールアクションに置換する。

ここで、上述したモーションデータ編集を台本ファイルの最終行まで繰り返し、結果としてモーションデータファイルを含む複数の動作コマンドスクリプトを番組に追加したＴＶＭＬスクリプトが生成されることになる。

なお、モーションデータ編集手段１７は、例えば複数のモーションデータを１つのモーションデータとしてスクリプトに追加又は置換することもできる。これにより、複数のモーションを１つの新たなモーションとして設定することで、キャラクタに対する複数の動作を一度に設定することができるため、効率的に番組を生成することができる。

再生手段１８は、モーションデータ編集手段１７により得られる最終的な本実施形態によるＣＧキャラクタの演出を含む映像ＴＶＭＬスクリプトを再生する。ここで、再生手段１８は、ＴＶＭＬプレイヤー等の機能を有している。ＴＶＭＬプレイヤーとは、ＴＶＭＬで記述されたスクリプトを読み取り、番組の映像や音声をリアルタイムに出力することができるソフトウェアである。また、ＴＶＭＬプレイヤーは、スタジオセットをリアルタイムＣＧで生成し、ＣＧスタジオセットの中に登場する番組司会者や出演者等のＣＧキャラクタがＴＶＭＬスクリプト中に記述された台詞を合成音声で喋り、演技するところを表示する機能を有する。

また、ＴＶＭＬプレイヤーは、その他にも動画再生、文字フォント及び画像によるタイトル表示やスーパーインポーズ、オーディオデータファイル再生によるＢＧＭ再生、合成音声によるナレーション等をリアルタイムに生成し、番組の映像、音声を作成する機能を有する。再生手段１８は、これらの機能を用いることで効率的で高精度な番組及び対話シーン等を再生することができる。

送受信手段１９は、インターネットや通信回線等に代表される通信ネットワークを介して接続される外部装置等から既存の演出ルールや台本、モーションデータ、各種スクリプト群等を受信するための通信インタフェイスである。また、送受信手段１９は、本実施形態により生成されたモーションデータファイルを含む番組や、新たに設定された演出ルール等を上述の外部装置等に送信することもできる。

制御手段２０は、コンテンツ生成装置１０における各機能構成全体の制御を行う。具体的には、制御手段２０は、入力手段１１により入力された使用者等からの入力情報に基づいて演出設定手段１４による演出ルールの設定処理をさせたり、記述内容解析手段１５による記述内容の解析処理をさせたり、進行状況判定手段１６による進行状況の判定処理をさせたり、モーションデータ編集手段１７による台本ファイルへのモーションデータの追加及び置換等の編集処理をさせたり、再生手段１８による番組の再生処理をさせる等の各処理を行う。

これにより、演出条件に応じて適切なモーションデータを含むコンテンツを効率的に生成する。具体的には、本発明によれば、例えばＣＧ番組の制作者等は、制作時にモーションコマンドの記述をする必要がなく、自動的にモーションデータを追加及び置換することにより台本ファイルを編集することができる。また、本発明によれば、番組の進行状況やコメント内容等の演出ルールに応じたＣＧキャラクタの適切な動作を実現することができる。

＜キャラクタの動作内容＞
ここで、表現可能なＣＧキャラクタの動作例について説明する。図２は、表現可能なＣＧキャラクタの動作の一例を示す図である。ＣＧキャラクタを動作させる場合、例えば図２に示すように「カメラ目線」、「前を向く」、「相手を見る」等の動作を表現することができる。

また、ＴＶＭＬでは、ＢＶＨフォーマットによるモーションデータファイルを利用することが可能である。なお、モーションデータファイルは、現在ｗｅｂ（ウェブ）上の多数のアーカイブで公開されており、他分野への再利用や有効活用方法が検討されている。そこで、本発明では定型化された動作をモーションキャプチャし、作成したモーションデータを後述する演出ルールに従ってＴＶＭＬ番組へ適用させている。

＜演出設定：ルールアクション＞
次に、演出設定手段１４における演出ルールの設定処理例について説明する。なお、本実施形態では、キャラクタの一例として人間の自然な動作をＴＶＭＬで実現する場合について以下に説明する。

まず実際に放送されたテレビ番組を調査すると、人間の動作はテレビ番組の種類毎に大きく異なるため、本実施形態では人間の立ち位置の変化が少なく、定型化された動作を多用しているニュースや情報提供番組を対象として、ルールアクションを設定する。図３は、本実施形態におけるルールアクションの一例を示す例である。

なお、図３には、各演出ルールのルール条件に適合した場合のルールアクションとしてのキャラクタの動作内容と、その動作を行う予め設定されたモーション名（ＢＶＨファイル）の例が示されている。図３に示すように、設定される演出ルールとして、例えば「次の話題に移る際に原稿に目を落とす（ｇｅｎｋｏ．ｂｖｈ）」、「写真を表示したら写真を見る（ｌｏｏｋ＿ｉｍａｇｅ．ｂｖｈ）」等の設定を行うことができる。

ここで、ＴＶＭＬでは、上述したＢｉｏｖｉｓｉｏｎの“．ＢＶＨ（Ｂｉｏ Ｖｉｓｉｏｎ Ｈｉｅｒａｒｃｈｙ）”ファイルフォーマットに対応しているが、本発明においてはこの限りではなく、例えばＡｃｃｌａｉｍの“．ＡＳＦ／．ＡＭＣ”、Ｍｏｔｉｏｎ Ａｎａｌｙｓｉｓの“．ＨＴＲ”（Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｌａｔｉｏｎ−Ｒｏｔａｔｉｏｎ）等のファイルフォーマットを利用することができる。また、モーションデータファイルには、データの総フレーム数とフレームあたりの時間長の記述、及び動作中の各関節の回転角度等が時系列に記述されている。

また、モーションデータファイルには、キャラクタの各関節に関する各付属部品のポリゴンユニット毎に相対座標データ、角度データ及びその各部品の所定の中心と基本部品の中心間の距離データ、及び連結関係のデータ等が記述されていてもよい。つまり、モーションデータファイルの記述内容を用いて、キャラクタを所定時間において、各関節を基準に回転させ、スムーズな動作を実現することができる。

なお、各モーションデータファイルは、上述したように送受信手段１９を介して通信ネットワーク等に接続される外部装置等によりｗｅｂ（ウェブ）等に公開している各モーションライブラリ（例えば、ｈｔｔｐ：／／ｍｏｃａｐｄａｔａ．ｃｏｍ／？＆ｌ＝ｊａ（株式会社Ｅｙｅｓ，ＪＡＰＡＮ（ＢＶＨ形式等））、ｈｔｔｐ：／／ｍｏｃａｐ．ｃｓ．ｃｍｕ．ｅｄｕ／（カーネギーメロン大（ａｓｆ−ａｍｃ形式等）））から取得することができる。

本実施形態では、上述したようルールアクションに従って、ＴＶ４Ｕで制作されたＴＶＭＬ番組の適切な箇所へモーションを挿入することにより、動作演出を付加したＴＶＭＬ番組を生成することができる。また、番組の種類毎に「ニュース風」や「バラエティ風」等のように各演出ルールを目的に応じて設定することで、ＣＧキャラクタの動作演出の違いを詳細に表現することができる。

＜演出設定例、進行状況判定例、及びモーションデータ編集例＞
次に、演出設定例、進行状況判定例、及びモーションデータ編集例について図を用いて説明する。図４は、演出設定の一例を示す図である。図４に示すように、演出設定手段１４により設定される演出ルールには、例えば＜ルール名＞、＜ルール条件＞、及び＜ルールアクション＞を含む少なくとも１つの演出ルールファイルが設定され、そのファイルが蓄積手段１３等に蓄積されている。

進行状況判定手段１６は、記述内容解析手段１５により得られる所定のスクリプトが図４に示すような演出ルールの条件（＜ルール条件＞）に適合しているか否かを判定する。なお、ルール条件では、１又は複数（図４では２つ）のスクリプトを設定することができる。

図４に示す例では、ルール条件として、＜状況パラメータ＞と＜コマンド＞とがそれぞれ１つずつ設定されている。具体的には、再撮画面に小道具として写真が表示され（状況パラメータ）、かつ、動作主（キャラクタ）Ａが“この写真は”と発言する（コマンド）という条件が設定されている。

したがって、進行状況判定手段１６は、演出ルールの状況パラメータ（演出ルール＃１の場合、ｐｒｏｐ：ｖｉｓｉｂｌｅ（ｎａｍｅ＝ｐｒｏｐｉｍａｇｅｂｏａｒｄ，ｓｗｉｔｃｈ＝ｏｎ））で設定された状況であるか否かにより番組の進行状況を判定する。また、進行状況判定手段１６は、状況パラメータの状況下である場合に、演出ルールのコマンド（演出ルール＃１の場合、ｃｈａｒａｃｔｅｒ：ｔａｌｋ（ｎａｍｅ＝Ａ，ｔｅｘｔ＝”この写真は”））が存在するか否かを判定する。

また、図４に示す演出ルールでは、上述のルール条件に適合する箇所に、ルールアクションとして、手で表示された写真を指すモーションを実行するコマンドスクリプトを追記する演出ルールが設定されている。

具体的には、図４に示すように、「ｃｈａｒａｃｔｅｒ：ｏｐｅｎｋｅｙｆｒａｍｅ（ｎａｍｅ＝Ａ，ｋｅｙｆｒａｍｅ＝ｍｏｔｉｏｎ１，ｆｉｌｅｎａｍｅ＝“ｐｏｉｎｔ＿ｉｍａｇｅ．ｂｖｈ”）、ｃｈａｒａｃｔｅｒ：ｋｅｙｆｒａｍｅ（ｎａｍｅ＝Ａ，ｋｅｙｆｒａｍｅ＝ｍｏｔｉｏｎ１）がルール条件にあるコメント（ｃｈａｒａｃｔｅｒ：ｔａｌｋ（ｎａｍｅ＝Ａ，ｔａｌｋ＝“この写真は”））の直前に追記される。

ここで、演出ルールの条件に適合する処理において、図４の例では、手で表示された写真を指すモーションを実行するコマンドスクリプトを追記するため、モーションデータ編集手段１７は、この番組のスクリプトから得られる進行状況に基づいて、上述した演出ルールのルールアクションに設定されているコマンドスクリプトを動作主Ａが発言するコメント（“この写真は・・・”）の前に追記（追加）する編集を行う。

このようにして、１又は複数行のコマンドスクリプトがモーションデータ編集手段１７において追記され、結果として複数の動作コマンドスクリプトを追記したＴＶＭＬスクリプトを出力する。

なお、上述の例では、モーションデータのファイル名を「ｆｉｌｅｎａｍｅ＝“ｐｏｉｎｔ＿ｉｍａｇｅ．ｂｖｈ”」として直接指定したが、本発明においてはこの限りではなく、例えば、送受信手段１９により通信ネットワークに接続された他の外部装置（モーションライブラリ等）から取得してもよい。この場合、ファイル名としては、ＵＲＬ（例えば、ｗｗｗ．ｍｏｔｉｏｎｄａｔａ．ｎｎｎｎｎ．ｊｐ／・・・）を直接指定してもよい。ＵＲＬ等を指定することにより、更新作業が必要なく、常に最新のモーションを取得してキャラクタに動作させることができる。

また、図５は、本実施形態により生成されたＴＶＭＬスクリプト番組の再生時のＣＧキャラクタの動作の一例を示す図である。なお、図５では、上述した図４に示す演出ルールに従ってコマンドスクリプトを番組に追記し、出力されたＴＶＭＬスクリプト番組の再生時のＣＧキャラクタの動作例を示している。

図５に示すように、ＴＶＭＬ番組３１に演出ルールにより得られるモーションデータファイル３２の内容を追記（追加又は置換等を含む）する追記処理３３を行い、追記されたＴＶＭＬスクリプト番組を再生することにより、スクリプト再生画面３４では、手で写真（画像）を指す動作を行うＣＧキャラクタ３５が表示されることになる。

＜モーションデータによるＣＧキャラクタの動作例＞
ここで、モーションデータによるＣＧキャラクタの動作例について図を用いて説明する。図６は、モーションデータを用いたスクリプト再生の様子を説明するための一例の図である。

ここで、図６（ａ）では、ＣＧキャラクタが横を向いている例を示しており、図６（ｂ）では、ＣＧキャラクタが右手で右手後方に表示される再撮画像を指して説明する例を示している。

なお、上述したように、演出ルールに従ってモーションデータを含むコマンドスクリプトを追記して出力されたＴＶＭＬスクリプトからなる番組における再生時のＣＧキャラクタの動作は、基本姿勢からスタートし、モーションデータに基づく所定の動作を行い、動作終了後に基本姿勢に戻るように設定されている。これにより、１又は複数のモーションデータを追記した場合でもＣＧキャラクタの一連の動きに違和感がない番組を提供することができる。

＜他の実施形態＞
上述した実施形態では、動作コマンドの記述されていない台本ファイルとしてのＴＶＭＬスクリプトを入力し、番組の該当する部分にモーションデータが適用されたＴＶＭＬスクリプトが出力されている。つまり、演出ルールのルール条件に適合する箇所にルールアクションに含まれるモーションデータを追記する編集を行っているが、例えばルール条件にあてはまらない箇所にも、基本姿勢において、例えば人体の自然な揺らぎを計測したモーションデータを追記することで、番組の開始から終了までを一貫してＣＧキャラクタをモーションデータにより自動的に動作させることができる。

また、これにより、番組の開始から終了までに適用された全てのモーションデータが、最終的に時系列に１つのモーションデータとして生成することで、ＣＧキャラクタ１体につき１つのモーションデータファイルで構成することができる。

更に、複数のＣＧキャラクタが出演する番組ではＣＧキャラクタ毎にモーションデータを１つずつ構成してもよく、また複数のＣＧキャラクタが出演する場合にもまとめて１つのモーションデータで構成してもよい。

これにより、一連のモーションデータ群のうち複数のモーションを１つの新たなモーションとして設定することで、関連する複数のモーションを一度に設定することができるため、効率的にコンテンツを生成することができる。

＜コンテンツ生成プログラム＞
ここで、上述したコンテンツ生成装置１０は、上述した専用の装置構成により本発明におけるコンテンツ生成を行うこともできるが、各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えば、汎用のパーソナルコンピュータやサーバ等にプログラムをインストールすることにより、コンテンツ生成処理を実現することができる。

＜ハードウェア構成＞
ここで、本発明における実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図７は、本発明におけるコンテンツ生成処理が実現可能なハードウェア構成の一例を示す図である。

図７におけるコンピュータ本体には、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、メモリ装置４５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４６と、ネットワーク接続装置４７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置４１は、使用者等が操作するキーボード及びマウス等のポインティングデバイスやマイク等の音声入力デバイス等を有しており、使用者等からのプログラムの実行等、各種操作信号を入力する。出力装置４２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイや音声を出力するスピーカ等を有し、ＣＰＵ４６が有する制御プログラムによりプログラムの実行経過や結果等を表示又は音声出力することができる。

ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えばＣＤ−ＲＯＭ等の記録媒体４８等により提供される。プログラムを記録した記録媒体４８は、ドライブ装置４３にセット可能であり、記録媒体４８に含まれる実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。

補助記憶装置４４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

メモリ装置４５は、ＣＰＵ４６により補助記憶装置４４から読み出された実行プログラム等を格納する。なお、メモリ装置４５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。

ＣＰＵ４６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置４５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。また、ＣＰＵ４６は、プログラムの実行中に必要な各種情報を補助記憶装置４４から取得することができ、またＣＰＵ４６は、処理結果等を格納することもできる。

ネットワーク接続装置４７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。

上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで効率的にコンテンツ生成処理を実現することができる。また、プログラムをインストールすることにより、コンテンツ生成処理を容易に実現することができる。

＜コンテンツ生成処理＞
次に、本発明における実行プログラムによるコンテンツ生成処理手順についてフローチャートを用いて説明する。なお、以下の処理の説明では、コンテンツの一例として「番組」を用いているが本発明においては特に限定されるものではない。

図８は、本実施形態におけるコンテンツ生成処理手順の一例を示すフローチャートである。図８において、まず、演出ルールの設定を行う（Ｓ０１）。なお、Ｓ０１の処理は、コンテンツ生成処理の前段階で行われていればよく、その場合には設定された演出ルールは、蓄積手段１３等に予め蓄積される。

次に、既に存在する台本ファイル（スクリプト）を文字列として１行読み込み（Ｓ０２）、番組に関する記述内容の解析を行う（Ｓ０３）。ここで、Ｓ０３の処理では、具体的には、例えばスクリプト内に番組に登場するＣＧキャラクタの動作（アクション）に関するスクリプトが存在するか否を判断する。

ここで、ＣＧキャラクタの動作（アクション）に関するスクリプトが存在すると、そのスクリプトによる番組の進行状況を判定する（Ｓ０４）。つまり、Ｓ０３の処理により得られるスクリプトが、Ｓ０１の処理により設定された演出ルールに適合しているか否かを判断する（Ｓ０５）。

ここで、Ｓ０２〜Ｓ０５までの処理を上述した図４に示す演出ルール＃１に適用させて説明する。まず、Ｓ０２の処理において入力された文字列を行単位で読み込むと、Ｓ０３の処理では、読み込んだスクリプトが言語仕様に基づき、例えばイベントタイプが”ｃｈａｒａｃｔｅｒ”であるか、”ｐｒｏｐ”であるか、コマンド名が”ｔａｌｋ”であるか”ｖｉｓｉｂｌｅ”である等の解析を行う。なお、ＴＶＭＬイベント書式仕様は、例えば「イベントタイプ：コマンド名（ａｒｇ１＝ｄａｔａ１，ａｒｇ２＝ｄａｔａ２，ａｒｇ３＝ｄａｔａ３，・・・）」等のように示されている。

また、Ｓ０４の処理においては、演出ルールの状況パラメータ（演出ルール＃１の場合、ｐｒｏｐ：ｖｉｓｉｂｌｅ（ｎａｍｅ＝ｐｒｏｐｉｍａｇｅｂｏａｒｄ，ｓｗｉｔｃｈ＝ｏｎ））で設定された状況であるか否かの番組の進行状況を判定する。

つまり、Ｓ０３の処理により得られるスクリプトが状況パラメータで設定されたものであるか否かを判定する。ここで、演出ルール＃１の場合、”ｓｗｉｔｃｈ＝ｏｎ”されてから”ｓｗｉｔｃｈ＝ｏｆｆ”までの間、状況パラメータのルール条件を満たすことになる。そこで、読み込まれる各行について、全ての演出ルールで設定された状況であるか否かを判定する。

また、現在処理しているスクリプトが設定された状況下のイベントであれば、Ｓ０５の処理においてルール条件のコマンド（演出ルール＃１の場合、ｃｈａｒａｃｔｅｒ：ｔａｌｋ（ｎａｍｅ＝Ａ，ｔｅｘｔ＝”この写真は”））と文字列が一致するか否か（スクリプトが動作主Ａのｔａｌｋコマンドにおける台詞内容に”この写真は”が含まれるか否か）の判定処理を行う。また、設定したルールが複数ある場合には、Ｓ０３〜Ｓ０５の処理を繰り返し行う。

Ｓ０５の処理において、演出ルールに適合する場合（Ｓ０５のおいて、ＹＥＳ）、演出ルールのルールアクションに設定されているモーションデータを含むコマンドスクリプトを読み込んだ台本の適切な位置に追記する編集を行う（Ｓ０６）。また、Ｓ０６の処理の終了後、又はＳ０５において演出ルールに適合しない場合（Ｓ０５において、ＮＯ）、台本の最終行の解析が終了したか否かを判断する（Ｓ０７）。

ここで、最終行の解析まで終了していない場合（Ｓ０７において、ＮＯ）、Ｓ０２に戻り、以降の処理を継続して台本の最終行になるまで繰り返し処理を行う。また、Ｓ０７の処理において、最終行の解析まで終了した場合（Ｓ０７において、ＹＥＳ）、番組台本（スクリプト）を出力し（Ｓ０８）、処理を終了する。

上述したように本発明によれば、演出条件に応じて適切なモーションデータを含むコンテンツを効率的に生成する。具体的には、本発明によれば、例えば番組等のコンテンツ制作者等は、コンテンツ制作時にモーションコマンドの記述をする必要がなく自動的にモーションデータファイルを用いたキャラクタの動作を編集することができる。

また、本発明によれば、番組の進行状況やコメント内容等の演出ルールに応じたＣＧキャラクタの適切な動作を実現することができる。また、上述では、演出ルールに従って、モーションキャプチャした自然な動作をＴＶＭＬ番組に適用させる手法を示したが、番組の種類毎にモーションデータと演出ルールを設定することで、より適切に番組中のＣＧキャラクタを動かすことが可能となる。これにより、効率的な番組制作が実現できる。

また、本発明によるコンテンツ生成手法は、例えばＴＶ４Ｕ等のようなインターネット等の通信ネットワーク上で番組を制作・公開するシステムにおいて、サーバサイドに独自のモーションデータのアーカイブを持つことで、一般ユーザがＡＰＥに定義されていない動作を演出ルールに設定することで、外部から番組制作時に好みの動作を取得し、キャラクタ等に実行させることが可能となる。

また、本発明におけるコンテンツ生成処理により生成したコンテンツは、例えば使用者が自分のチャンネルに自分の作成した台本をアップロードして番組としてインターネット上に公開するといった、いわゆるブログテレビとして使用したり、ニュース番組を自動生成したり、コミュニティ番組の制作、教育ツール、広告ツールとして広く適用することができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

コンテンツ生成装置の一構成例を示す図である。 表現可能なＣＧキャラクタの動作の一例を示す図である。 本実施形態におけるルールアクションの一例を示す例である。 演出設定の一例を示す図である。 図５は、本実施形態により生成されたＴＶＭＬスクリプト番組の再生時のＣＧキャラクタの動作の一例を示す図である。 モーションデータを用いたスクリプト再生の様子を説明するための一例の図である。 本発明におけるコンテンツ生成処理が実現可能なハードウェア構成の一例を示す図である。 本実施形態におけるコンテンツ生成処理手順の一例を示すフローチャートである。

符号の説明

１０ コンテンツ生成装置
１１ 入力手段
１２ 出力手段
１３ 蓄積手段
１４ 演出設定手段
１５ 記述内容解析手段
１６ 進行状況判定手段
１７ モーションデータ編集手段
１８ 再生手段
１９ 送受信手段
２０ 制御手段
３１ ＴＶＭＬ番組
３２ モーションデータファイル
３３ 追記処理
３４ スクリプト再生画面
３５ ＣＧキャラクタ
４１ 入力装置
４２ 出力装置
４３ ドライブ装置
４４ 補助記憶装置
４５ メモリ装置
４６ ＣＰＵ
４７ ネットワーク接続装置
４８ 記録媒体

Claims (6)

1. 仮想空間上に存在するキャラクタの動作を表すモーションデータを含んだコンテンツを生成するコンテンツ生成装置において、
   前記キャラクタの所定の動作内容に対する演出を設定する演出設定手段と、
   予め生成されたコンテンツのスクリプトデータを読み込み、前記演出設定手段により設定された演出条件に適合するか否かを判定する判定手段と、
   前記判定手段により前記演出条件に適合したスクリプトに対して、前記演出設定手段により設定された前記キャラクタに対するモーションデータを追加又は置換するモーションデータ編集手段とを有することを特徴とするコンテンツ生成装置。
2. 前記スクリプトデータの記述内容を所定単位毎に解析して、前記キャラクタの動作に関するデータの有無を判断する記述内容解析手段を有することを特徴とする請求項１に記載のコンテンツ生成装置。
3. 前記モーションデータ編集手段は、
   前記追加又は置換するモーションの動作開始及び終了時に前記キャラクタが同一の姿勢になるように設定することを特徴とする請求項１又は２に記載のコンテンツ生成装置。
4. 前記モーションデータ編集手段は、
   新たに追加又は置換される複数のモーションデータを１つのモーションデータとして前記スクリプトに追加又は置換することを特徴とする請求項１乃至３の何れか１項に記載のコンテンツ生成装置。
5. 前記演出設定手段は、
   前記キャラクタの動作に対応する少なくとも１つからなる演出条件と、前記演出条件に対応するモーションデータとして、モーションファイル名又はＵＲＬを設定することを特徴とする請求項１乃至４の何れか１項に記載のコンテンツ生成装置。
6. 仮想空間上に存在するキャラクタの動作を表すモーションデータを含んだコンテンツを生成するコンテンツ生成処理をコンピュータに実行させるためのコンテンツ生成プログラムにおいて、
   前記キャラクタの所定の動作内容に対する演出を設定する演出設定処理と、
   予め生成されたコンテンツのスクリプトデータを読み込み、前記演出設定処理により設定された演出条件に適合するか否かを判定する判定処理と、
   前記判定処理により前記演出条件に適合したスクリプトに対して、前記演出設定処理により設定された前記キャラクタに対するモーションデータを追加又は置換するモーションデータ編集処理とをコンピュータに実行させるためのコンテンツ生成プログラム。